本発明の一実施形態によって、インター予測のための参照映像を決定する方法は、ブロックを含むスライスのスライスタイプを確認する段階と、前記スライスタイプが単一方向予測または双方向予測が可能なBスライスタイプであるならば、前記ブロックのインター予測方向を、第1方向、第2方向及び双方向のうち一つに決定する段階と、前記インター予測方向が第2方向ではないならば、前記ブロックのための参照インデックスとして、第1方向参照ピクチャリストのうちから第1方向参照インデックスを決定する段階と、前記インター予測方向が第1方向ではないならば、前記ブロックのための参照インデックスとして、第2方向参照ピクチャリストのうちから第2方向参照インデックスを決定する段階と、を含む。
一実施形態によって、前記インター予測方向が双方向予測であるならば、前記第1方向参照ピクチャリストのうちから、前記第1方向参照インデックスを決定し、前記第2方向参照ピクチャリストのうちから、前記第2方向参照インデックスを決定することができる。
一実施形態による前記参照映像決定方法は、前記インター予測方向を示すインター予測モード情報を2ビットとして決定する段階と、前記2ビットのインター予測モード情報に対応する2つのビン(bin)のうち、最初のビンに係わるコンテクストモデルのために、4個のコンテクストモデル・インデックスのうち一つを選択する段階と、前記2つのビンのうち2番目のビンに係わるコンテクストモデルのために、1つのコンテクストモデル・インデックスを選択する段階と、をさらに含んでもよい。
一実施形態による参照映像決定方法は、前記スライスを含むピクチャにおいて、時間的動きベクトル推定子(tmvp:tempral motion vector predictor)を利用することができる場合、前記スライスタイプがBスライスタイプであるならば、前記第1方向参照ピクチャリストのうちコロケーテッド(collocated)ブロックを含むピクチャがあるか否かということを決定する段階を含んでもよい。
本発明の一実施形態による参照映像決定装置は、ブロックを含むスライスのスライスタイプを確認し、前記スライスタイプが単一方向予測または双方向予測が可能なBスライスタイプであるならば、前記ブロックのインター予測方向を、第1方向、第2方向及び双方向のうち一つに決定するインター予測方向決定部と、前記インター予測方向が第2方向ではないならば、前記ブロックのための参照インデックスとして、第1方向参照ピクチャリストのうちから第1方向参照インデックスを決定し、前記インター予測方向が第1方向ではないならば、前記ブロックのための参照インデックスとして、第2方向参照ピクチャリストのうちから第2方向参照インデックスを決定する参照インデックス決定部と、を含む。
本発明は、一実施形態による参照映像決定方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
以下、図1Aないし図10を参照し、一実施形態によって、単一方向予測または双方向予測が可能な参照映像決定方法及びその装置、並びにそれに相応する動き予測方法及びその装置、動き補償方法及びその装置について開示する。また、図11ないし図23を参照し、一実施形態による、ツリー構造の符号化単位に基づくビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について開示する。また、図24ないし図30を参照し、一実施形態による、ビデオ符号化方法、ビデオ復号化方法が適用可能な多様な実施形態について開示する。以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示す。
図1Aは、一実施形態による参照映像決定装置10のブロック図を図示している。図1Bは、一実施形態による参照映像決定方法のフローチャートを図示している。
一実施形態による参照映像決定装置10は、インター予測方向決定部12及び参照インデックス決定部14を含む。
一実施形態による参照映像決定装置10は、インター予測方向決定部12及び参照インデックス決定部14を総括的に制御する中央プロセッサ(図示せず)を含んでもよい。または、インター予測方向決定部12及び参照インデックス決定部14が、それぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が相互有機的に作動することにより、参照映像決定装置10が全体的に作動することもできる。または、一実施形態による参照映像決定装置10の外部プロセッサ(図示せず)の制御により、インター予測方向決定部12及び参照インデックス決定部14が制御されもする。
一実施形態による参照映像決定装置10は、参照ピクチャリスト決定部12及びインター予測部14の入出力データが保存される一つ以上のデータ保存部(図示せず)を含んでもよい。参照映像決定装置10は、データ保存部(図示せず)のデータ入出力を管轄するメモリ制御部(図示せず)を含んでもよい。
一実施形態による参照映像決定装置10は、ビデオの映像について、時間的予測のために利用される参照映像を決定する。参照映像決定装置10は、現在映像と参照映像間との位置差、残差成分(residue)などを示す予測情報を決定する。従って、映像の全体データの代わりに、予測情報を利用して、映像情報が記録されもする。
時間的予測符号化によれば、再生時間上において、前後映像を参照し、現在映像が予測されもする。再生時間上においては、先立っても遅れてもよいが、符号化順序上または復元手順上では、現在映像より先に符号化されたり、先に復元されたりする映像が、現在映像の予測符号化のために参照される。現在映像及び参照映像は、ピクチャ、フレーム、フィールド、スライスなどを含む映像データ単位でもある。
一実施形態による参照映像決定装置10は、インター予測の迅速な演算のために、現在映像を多数のブロックに分割し、ブロックに対してインター予測を行うことができる。すなわち、現在映像が分割された多数のブロックのうち現在ブロックに対するインター予測のために、参照映像が分割された多数のブロックのうち1つのブロックを参照することができる。
参照ピクチャリストは、参照方向により、L0リストとL1リストとに区分される。例えば、Pスライスタイプである映像の前方予測(forward prediction)のための参照ピクチャリストは、リスト0予測(list 0 prediction)のためのL0リストを含んでもよい。前方予測、後方予測(backward prediction)、双方予測(bi-directional prediction)を含む双予測が可能なBスライスタイプである映像のための参照ピクチャリストは、L0リストだけではなく、リスト1予測(list 1 prediction)のためのL1リストを含んでもよい。
L0リスト、L1リストは、それぞれ一つ以上の参照映像を示すインデックスと、参照順序情報を含んでもよい。参照ピクチャリストに割り当てられる参照映像の基本有効個数は、あらかじめ制限される。しかし、各映像ごとに、必要によって、参照映像の個数や参照手順が変更されてもよい。従って、参照映像決定装置10は、参照ピクチャリストの参照映像の基本有効個数についての情報、参照映像枚数の変更についての情報、参照映像の変更についての情報、及び参照手順の変更についての情報などを設定することができる。
一実施形態によるインター予測方向決定部12は、現在映像のインター予測のために参照する映像が現在映像より先行するか(前方方向)、それとも後になるか(フバングヒャング)ということを決定することができる。現在映像において、参照映像を決定するとき、参照映像の方向によって、L0リスト及びL1リストのうち少なくともいずれか1つの参照ピクチャリストのうち参照映像が決定される。
参照ピクチャリストは、参照映像と、参照映像の参照手順についての情報と、を含んでもよい。例えば、L0リストは、前方予測のための参照映像に係わるインデックスを優先的に含み、L1リストは、後方予測のための参照映像に係わるインデックスを優先的に含んでもよい。ただし、必ずしもL0リスト及びL1リストが、それぞれ前方予測及び後方予測のための参照情報のみを含むように制限されるというだけではない。
一実施形態による参照映像決定装置10は、各参照ピクチャリストに割り当てられる参照映像の参照手順を決定することができる。例えば、参照ピクチャリストに割り当てられる参照映像のうち、現在映像とディスプレイ手順上近い参照映像を優先的に参照するように参照手順が決定される。
一実施形態による参照映像決定装置10は、参照ピクチャリストに割り当てられる参照映像基本有効個数、参照ピクチャリスト変更のような参照ピクチャリスト関連特性(attribute)を設定することができる。
一実施形態による参照ピクチャリスト変更の関連特性は、参照映像枚数の変更方式、参照ピクチャリストに割り当てられた参照映像の変更方式、または参照手順の変更方式を含んでもよい。
一実施形態によるインター予測方向決定部12は、ブロックを含むスライスのスライスタイプを確認し、スライスタイプによって、インター予測方向を決定することができる。
一実施形態によるインター予測方向決定部12は、スライスが単一方向予測または双方向予測が可能なBスライスタイプであるならば、ブロックのインター予測方向を、第1方向、第2方向及び双方向のうち一つに決定することができる。第1方向、第2方向は、それぞれ前方、後方でもある。
一実施形態による参照インデックス決定部14は、インター予測方向に基づいて、参照ピクチャリストのうち、参照映像を示す参照インデックスを決定することができる。
例えば、参照インデックス決定部14は、ブロックのための参照インデックスとして、第1方向参照ピクチャリストのうちから第1方向参照インデックスを決定したり、第2方向参照ピクチャリストのうちから第2方向参照インデックスを決定したりすることができる。第1方向参照ピクチャリスト及び第2方向参照ピクチャリストは、それぞれL0リスト及びL1リストを示すことができる。
以下、一実施形態による参照映像決定装置10が、インター予測のために参照映像を決定する過程について、図1Bを参照して記述する。
段階11において、インター予測方向決定部12は、ブロックを含むスライスのスライスタイプを確認することができる。段階13において、インター予測方向決定部12は、現在スライスタイプがBスライスタイプであるならば、ブロックのインター予測方向を、第1方向、第2方向及び双方向のうち一つに決定することができる。
段階15において、参照インデックス決定部14は、インター予測方向決定部12で決定されたインター予測方向が第2方向ではないならば、ブロックのための参照インデックスとして、第1方向参照ピクチャリストのうちから第1方向参照インデックスを決定することができる。すなわち、インター予測方向が第1方向または双方向である場合、第1方向参照ピクチャリストのうち少なくとも1つの参照インデックスが選択される。
インター予測方向決定部12で決定されたインター予測方向が第2方向であるならば、第1方向参照インデックスを決定せずに、段階17に進む。
段階17において、参照インデックス決定部14は、インター予測方向決定部12で決定されたインター予測方向が第1方向ではないならば、ブロックのための参照インデックスとして、第2方向参照ピクチャリストのうちから第2方向参照インデックスを決定することができる。すなわち、インター予測方向が、第2方向または双方向である場合、第2方向参照ピクチャリストのうち少なくとも1つの参照インデックスが選択される。
インター予測方向決定部12で決定されたインター予測方向が第1方向であるならば、第2方向参照インデックスを決定せずに、段階17に進む。
従って、インター予測方向が双方向である場合には、段階15及び段階17を介して、第1方向参照ピクチャリストのうち少なくとも1つの第1方向参照インデックスが決定され、第2方向参照ピクチャリストのうち少なくとも1つの第2方向参照インデックスが決定される。
段階15において、参照インデックス決定部14は、第1方向参照インデックスを決定し、第1方向参照インデックスが示す参照映像内で、参照ブロックを示す第1動きベクトルの差分値も決定することができる。
段階17において、参照インデックス決定部14は、第2方向参照インデックスを決定し、第2方向参照インデックスが示す参照映像内で、参照ブロックを示す第2動きベクトルの差分値も決定することができる。
参照インデックスは、参照ピクチャリストに属する参照映像間の手順を示し、動きベクトルは、所定の参照映像内で、参照ブロックの位置を示すことができる。従って、参照インデックス及び動きベクトルを基に、ブロックのインター予測のための参照映像及び参照ブロックが決定される。
一実施形態による参照映像決定装置10は、インター予測方向を示す情報として、2ビットのインター予測モード情報を利用することができる。
一実施形態による2ビットのインター予測モード情報に対して、コンテクスト基盤のエントロピー符号化またはエントロピー復号化を行うために、インター予測モード情報を示すシンボルの確率情報を含むコンテクストモデルが利用される。特に、シンボルのビンごとに、コンテクストモデルが決定されるので、インター予測モード情報の2ビットにそれぞれ対応する2つのビンについて、コンテクストモデルがそれぞれ決定される。
一実施形態によるインター予測モード情報のビンのうち最初のビンは、インター予測方向が単一方向であるか、あるいは双方向であるかということを示すことができる。最初のビンが双方向インター予測を示すものであるならば、2番目のビンは、定義される必要がない。ただし、最初のビンが単一方向インター予測を示す場合には、2番目のビンは、単一方向のうち第1方向であるか、あるいは第2方向であるかということを示すことができる。
具体的な例として、インター予測モード情報によれば、Pスライスタイプ及びBスライスタイプである場合、共通してインター予測が、前方向予測(L0予測)であるか、あるいは逆方向予測(L1予測)であるかということを示すことができる。一例によるインター予測モードは、ブロックサイズによって、予測方向の種類が制限される。例えば、ブロックサイズが4x8,8x4である場合のように、ブロックの縦横サイズの和が12である場合には、Bスライスタイプのブロックにも、双方向インター予測が許容されない。従って、ブロックの縦横サイズの和が12である場合には、Bスライスタイプのブロックのインター予測モード情報は、前方向予測または逆方向予測を示すことができる。
縦横サイズの和が12ではない場合には、Bスライスタイプのブロックに対して、前方向予測、逆方向予測、双方向予測のうちいずれか一つを示すインター予測モード情報が決定される。
一実施形態による参照映像決定装置10は、一つ以上のコンテクストモデルのうち選択された一つを利用して、インター予測モード情報をエントロピー符号化(復号化)することができる。選択可能なコンテクストモデルに対して、それぞれのコンテクストモデル・インデックスが割り当てられる。
一実施形態による参照映像決定装置10は、インター予測モード情報の最初のビンに係わるコンテクストモデルのために、4個のコンテクストモデル・インデックスのうち一つを選択することができる。また、インター予測モード情報の2番目のビンに係わるコンテクストモデルのために、1個のコンテクストモデル・インデックスを選択することができる。
具体的な実施形態として、2ビットのインター予測モード情報に対応する2つのビンのうち、最初のビンに係わるコンテクストモデルのために、現在ブロックの符号化単位深度に基づいて、4個のコンテクストモデル・インデックスのうち一つが選択される。2つのビンのうち2番目のビンに係わるコンテクストモデルのために、他のシンボルを考慮する必要なしに、独立して1つのコンテクストモデル・インデックスが決定される。
他の実施形態による参照映像決定装置10は、インター予測モード情報の最初のビンに係わるコンテクストモデルのために、3個のコンテクストモデル・インデックスのうち一つを選択することができる。インター予測モード情報の2番目のビンに係わるコンテクストモデルのために、3個のコンテクストモデル・インデックスを選択することができる。
さらに他の例として、L0リスト及びL1リストが一致する場合には、インター予測モード情報の2番目のビンは、符号化されずに、0に類推される。L0リスト及びL1リストが一致する場合には、インター予測モード情報の最初のビンは、単一方向予測であるということを示すものであるので、結果的に、L0単一方向予測が決定される。
さらに他の例として、現在ブロックのインター予測モード情報の最初のビンのためのコンテクストモデル・インデックスは、現在ブロックの左側、上端または左側及び上端に隣接する隣接ブロックのインター予測モード情報の最初のビンの値を利用して符号化される。
さらに他の例として、現在ブロックのインター予測モード情報の最初のビンのためのコンテクストモデル・インデックスは、現在符号化単位の深度値を利用して符号化される。符号化単位の深度は、最大符号化単位から現在符号化単位まで分割した回数を示す。
さらに他の例として、現在ブロックのインター予測モード情報の最初のビンのためのコンテクストモデル・インデックスは、定数に設定されて符号化される。
さらに他の例として、現在ブロックのインター予測モード情報の2番目のビンのためのコンテクストモデル・インデックスは、現在ブロックの左側、上端または左側及び上端に隣接する隣接ブロックのインター予測モード情報の2番目のビンの値を利用して符号化される。
さらに他の例として、現在ブロックのインター予測モード情報の2番目のビンのためのコンテクストモデル・インデックスは、現在符号化単位の深度値を利用して符号化される。
さらに他の例として、現在ブロックのインター予測モード情報の2番目のビンのためのコンテクストモデル・インデックスは、定数に設定されて符号化される。
他の実施形態による参照映像決定装置10は、スライスを含むピクチャにおいて、時間的動きベクトル推定子(tmvp)を利用することができるか否かということ決定することができる。また、他の実施形態による参照映像決定装置10は、Bスライスタイプの現在スライスのために、第1方向参照ピクチャリストのうちコロケーテッド(collocated)・ブロックを含むピクチャがあるか否かということを決定することができる。
コロケーテッド・ブロックとは、実際参照ピクチャに位置する実際参照ブロックではないが、実際参照ピクチャではない他のピクチャであるコロケーテッド・ピクチャに位置するブロックである。参照ピクチャ内の参照ブロックの位置と、コロケーテッド・ピクチャ内でのコロケーテッド・ブロックの位置とが互いに同一である。従って、コロケーテッド・ブロックを示す動きベクトルを参照し、参照ブロックを示す動きベクトルを推定することにより、参照ブロックが決定されもする。
他の実施形態による参照映像決定装置10は、時間的動きベクトル推定子利用可能性が認められたピクチャに属するスライスのうち、Bスライスタイプのスライスに対して、第1方向参照ピクチャリストのうちコロケーテッド・ブロックを含むピクチャを決定することができる。従って、第1方向参照ピクチャリストのうち選択されたピクチャに含まれたコロケーテッド・ブロックを利用して、現在ブロックの参照ブロックが決定される。
他の実施形態による参照映像決定装置10は、現在スライスにおいて、時間的動きベクトル推定子を利用することができる場合、所定参照ピクチャリストのうち、コロケーテッド・ブロックを含むピクチャのインデックス情報を決定することができる。すなわち、先に、Bスライスタイプのスライスに対して、所定方向参照ピクチャリストのうちコロケーテッド・ブロックを含むピクチャが決定された場合、所定方向参照ピクチャリストのうち、コロケーテッド・ブロックを含むピクチャのインデックス情報(コロケーテッド参照インデックス)を決定することができる。または、Pスライスタイプのスライスについては、前方予測のための参照ピクチャだけが許容されるので、第1方向参照ピクチャリストのうち、コロケーテッド参照インデックスに対応する参照ピクチャが決定される。
コロケーテッド・ブロックの動きベクトルを利用して、現在ブロックの動きベクトル推定子が決定されれば、現在ブロックの動きベクトル推定子を利用して、現在ブロックの動きベクトルが決定され、決定された動きベクトルを利用して、現在ブロックの参照ブロックが決定される。
以下、図2A及び図2Bを参照し、一実施形態による参照映像決定装置10で決定された参照ピクチャを利用して、動き予測を行う過程について詳細に説明する。また、図3A及び図3Bを参照し、一実施形態による参照映像決定装置10で決定された参照ピクチャを利用して、動き補償を行う過程について詳細に説明する。
図2Aは、一実施形態による、参照映像決定装置10に相応する動き予測装置20のブロック図を図示している。図2Bは、一実施形態による参照映像決定方法を遂行する動き予測方法のフローチャートを図示している。
一実施形態による動き予測装置20は、動き予測部22及びインター予測情報伝送部24を含む。
段階21において、一実施形態による動き予測部22は、現在ブロックのスライスタイプを確認することができる。現在ブロックのスライスタイプが、Pスライスタイプであるか、あるいはBスライスタイプであるかということにより、現在ブロックのインター予測方向が単一方向であるか、あるいは双方向であるかということが決定される。
段階23において、一実施形態による動き予測部22は、第1方向参照ピクチャリスト及び第2方向参照ピクチャリストのうち少なくとも一つに属した参照ピクチャを利用して、ブロックに対する動き予測を行うことができる。一実施形態による動き予測部24は、参照ピクチャリスト決定部12で決定された参照ピクチャリストに割り当てられた参照映像のうち、現在ブロックのための参照ピクチャを決定することができる。
一実施形態による動き予測部22は、決定された参照映像のブロックと、現在映像の現在ブロックとの類似度を決定し、現在ブロックと誤差が最小であるブロックを検出する。すなわち、動き予測を介して、最も類似したブロックが検出され、検出されたブロックが参照ブロックとして決定される。また、検出された参照ブロックを含むピクチャが参照ピクチャとして決定される。現在ブロックと最も類似した少なくとも1つの参照ブロックが決定される場合には、少なくとも1つの参照ピクチャが決定される。
段階23において、動き予測部22で、参照ブロック及び参照ピクチャが決定されるにより、段階25では、参照ピクチャを示す情報、例えば、参照ピクチャリストに属する映像のうち、参照ピクチャの番号、すなわち、参照インデックスが決定される。
一実施形態による動き予測部22は、第1方向参照ピクチャリスト及び第2方向参照ピクチャリストのうち少なくとも一つにおいて、先に段階21で決定された参照ピクチャを示す参照インデックスを決定することができる。すなわち、第1方向参照ピクチャリストに属する参照ピクチャであるならば、第1方向参照インデックスが決定される。第2方向参照ピクチャリストに属する参照ピクチャであるならば、第2方向参照インデックスが決定される。
段階27において、一実施形態によるインター予測情報伝送部24は、参照インデックス情報を符号化することができる。
インター予測情報伝送部24は、動き予測部22で決定された参照ピクチャが、第2方向参照リストに属していないのであるならば、第1方向参照インデックスを符号化することができる。また、インター予測情報伝送部24は、動き予測部22で決定された参照ピクチャが、第1方向参照リストに属していないのであるならば、第2方向参照インデックスを符号化することができる。
また、動き予測部22では、参照映像のブロックのうち、参照ブロックを示す動きベクトルが決定される。動き予測部24は、参照ブロックと現在ブロックとの残差成分を決定することができる。これにより、インター予測情報伝送部24は、参照ピクチャを示す動きベクトル、残差成分、インター予測方向及び参照インデックスを符号化することができる。符号化された予測情報は、ビットストリームのブロック領域に挿入されて伝送される。
一実施形態によるインター予測情報伝送部24は、ビットストリームにおいて、現在スライスのためのスライスヘッダに、スライスタイプを示すスライスタイプ情報を挿入することができる。
インター予測が行われる現在ブロックを予測単位(prediction unit)と命名することができる。
インター予測モード情報伝送部24は、ビットストリームにおいて、ブロックの予測情報を含む予測単位領域に、第1方向予測、第2方向予測及び双方向予測のうちいずれか一つを示すインター予測モード情報を挿入することができる。
また、インター予測モード情報伝送部24は、インター予測モード情報が、第2方向予測を示すものではないならば、予測単位領域に、第1方向参照インデックス情報、及び第1動きベクトルの差分値情報を挿入することができる。ピクチャ・パラメータセットにおいて、時間的動きベクトル推定子利用可能性が認められた場合には、現在予測単位において、第1方向動きベクトル推定子がいずれの動きベクトル推定子であるかということについての情報も予測単位領域に挿入される。
一実施形態による動きベクトル推定子についての情報は、所定個数の動きベクトル推定子のうち一つを示すインデックスでもって表現される。例えば、2個の動きベクトル推定子のうち一つを示す動きベクトル推定子についての情報は、0、1のインデックスでもって表現されるので、フラグ形態で利用される。従って、現在予測単位のためのL0リストの動きベクトル推定子インデックスが予測単位領域に挿入される。また、インター予測モード情報伝送部24は、インター予測モード情報が、第1方向予測を示すものではないならば、予測単位領域に、第2方向参照インデックス情報、及び第2動きベクトルの差分値情報を挿入することができる。ピクチャ・パラメータセットにおいて、時間的動きベクトル推定子利用可能性が認められた場合には、現在予測単位において、第2方向動きベクトル推定子がいずれの動きベクトル推定子であるかということについての情報も、予測単位領域に挿入される。現在予測単位のためのL0リストの動きベクトル推定子インデックスが予測単位領域に挿入される。
これにより、一実施形態によるインター予測モード情報伝送部24は、インター予測の結果として生成された情報を、スライスヘッダ及び予測単位領域に挿入し、スライスヘッダ及び予測単位領域を含むビットストリームを伝送することができる。
他の実施形態によるインター予測モード情報伝送部24は、ピクチャのピクチャ・パラメータセットに、時間的動きベクトル推定子の利用可能性を示す情報を挿入することができる。インター予測モード情報伝送部24は、時間的動きベクトル推定子の利用が可能なピクチャにおいて、スライスヘッダに挿入されたスライスタイプ情報がBスライスタイプを示すものであるならば、第1方向参照ピクチャリストのうち、コロケーテッド・ブロックを含むピクチャがあるか否かということを示す情報を、スライスヘッダに挿入することができる。
さらに他の実施形態によるインター予測モード情報伝送部24は、時間的動きベクトル推定子の利用が可能なピクチャにおいて、Pスライスタイプであるか、あるいはBスライスタイプであるかということに係わりなく、コロケーテッド参照インデックス情報をスライスヘッダに挿入することができる。
一実施形態によるインター予測モード情報伝送部24は、インター予測モード情報の各ビンごとに決定されたコンテクストモデルを利用して、インター予測モード情報をエントロピー符号化することができる。インター予測モード情報伝送部24は、先にインター予測の結果として生成された各種シンボル、すなわち、インター予測モード情報だけではなく、動きベクトルの差分値情報、参照インデックス情報などについてエントロピー符号化を行って生成されたビット列を伝送することができる。
図3Aは、一実施形態による、参照映像決定装置10に相応する動き補償装置30のブロック図を図示している。図3Bは、一実施形態による参照映像決定方法を遂行する動き補償方法のフローチャートを図示している。
一実施形態による動き補償装置30は、インター予測モード情報受信部32及び動き補償部34を含む。
一般的に、ビデオ符号化過程において、動き予測及び動き補償が行われる。また、ビデオ復号化過程において、動き補償が行われる。原本映像に対する動き予測後に、動き補償を介して、原本映像と同一である復元映像を生成するためには、動き予測を介して生成された参照情報と残差成分とを利用して、動き補償が行われなければならない。従って、ビデオ符号化過程及びビデオ復号化過程において、インターモードブロックに対する符号化及び復号化のためには、参照情報(参照インデックス、動きベクトル)及び残差成分についての情報が送受信されなければならない。
段階31において、一実施形態によるインター予測モード情報受信部32は、受信されたビットストリームにおいて、スライスヘッダからスライスタイプ情報をパージングすることができる。パージングされたスライスタイプ情報を利用して、現在スライスのスライスタイプが決定される。
段階33において、一実施形態によるインター予測モード情報受信部32は、受信されたビットストリームにおいて、予測単位領域から現在ブロック(予測単位)のインター予測方向を示すインター予測モード情報をパージングすることができる。これにより、動き補償部34は、パージングされたインター予測モード情報から、現在ブロックのインター予測モード情報が、第1方向予測、第2方向予測及び双方向予測のうちいずれか一つを示すかということを読み取ることができる。
一実施形態によるインター予測モード情報受信部34は、ビットストリームにおいて、インター予測モード情報を含むビット列に対して、各ビンごとに決定されたコンテクストモデルを利用するエントロピー復号化を行い、インター予測モード情報を復元することができる。
一実施形態によるインター予測モード情報受信部32は、受信されたビットストリームにおいて、ブロックの予測情報を含む予測単位領域から、第1方向参照インデックス情報、及び第1動きベクトルの差分値情報をパージングすることができる。また、予測単位領域から、第2方向参照インデックス情報、及び第2動きベクトルの差分値情報がパージングされる。
従って、段階35において、一実施形態によるインター予測モード情報受信部32は、インター予測モード情報から読み取られたインター予測方向が第2方向ではなければ、予測単位領域から、第1方向参照インデックス情報をパージングすることができる。パージングされた第1方向参照インデックス情報に基づいて、第1方向参照ピクチャリストのうち第1方向参照ピクチャが決定される。インター予測方向が第2方向ではないならば、予測単位領域から、第1方向参照インデックスと共に、第1動きベクトルの差分値情報がパージングされる。ピクチャ・パラメータセットにおいて、時間的動きベクトル推定子利用可能性が認められた場合には、予測単位領域から、現在予測単位において、第1方向動きベクトル推定子が使用されるか否かということについての情報もパージングされる。
また、段階37において、一実施形態によるインター予測モード情報受信部32は、インター予測モード情報から読み取られたインター予測方向が第1方向ではなければ、予測単位領域から、第2方向参照インデックス情報をパージングすることができる。パージングされた第2方向参照インデックス情報に基づいて、第2方向参照ピクチャリストのうち第2方向参照ピクチャが決定される。インター予測方向が第1方向ではないならば、予測単位領域から、第2方向参照インデックスと共に第2動きベクトルの差分値情報がパージングされる。ピクチャ・パラメータセットにおいて、時間的動きベクトル推定子利用可能性が認められた場合には、予測単位領域から、現在予測単位において、第2方向動きベクトル推定子が使用されるか否かということについての情報もパージングされる。
すなわち、一実施形態によるインター予測モード情報受信部32は、インター予測モード情報から読み取られたインター予測方向が双方向であるならば、予測単位領域から、第1方向参照インデックス情報、及び第1動きベクトルの差分値情報と、第2方向参照インデックス情報、及び第2動きベクトルの差分値情報とをパージングし、双方向の参照インデックス、動きベクトル差分値及び時間的動きベクトル推定子使用情報を読み取ることができる。
他の実施形態によるインター予測モード情報受信部32は、受信されたビットストリームにおいて、現在ピクチャに係わるピクチャ・パラメータセットから、時間的動きベクトル推定子の利用可能性を示す情報をパージングすることができる。時間的動きベクトル推定子の利用が可能である場合、他の実施形態によるインター予測モード情報受信部32は、第1方向参照ピクチャリストのうち、コロケーテッド・ブロックを含むピクチャがあるか否かということを示す情報を、スライスヘッダからパージングすることができる。
また、時間的動きベクトル推定子の利用が可能である場合、他の実施形態によるインター予測モード情報受信部32は、所定参照ピクチャリストのうち、コロケーテッド・ブロックを含むピクチャのインデックス情報を、スライスヘッダからパージングすることができる。コロケーテッド参照インデックス情報は、Pスライスタイプであるか、あるいはBスライスタイプであるかということに係わりなく、スライスヘッダからパージングすることができる。
一実施形態によるインター予測モード情報受信部32は、受信されたビットストリームにおいて、スライスに属したインターモードのブロックごとに、参照インデックス情報、動きベクトルの差分値及び残差成分をパージングすることができる。
段階39において、一実施形態による動き補償部34は、現在映像のブロックごとに参照ピクチャを決定し、動き補償を行うことができる。
一実施形態による動き補償部34は、参照ピクチャリストのうち、参照インデックスが示す参照映像を決定することができる。動きベクトルの差分値及び以前動きベクトルを利用して、現在ブロックの動きベクトルを決定し、参照映像のブロックのうち、動きベクトルが示す参照ブロックが決定される。動き補償部34は、参照ブロックに残差成分ほど補償することにより、現在ブロックを復元することができる。
従って、一実施形態による動き補償部34は、ブロックごとに決定された参照ピクチャ、動きベクトル及び残差成分を利用して動き補償を行い、復元映像を生成することもできる。
一実施形態による動き予測装置20は、映像の全体データの代わりに、予測情報を利用して、映像を表現することができるので、ビデオデータ量の節減が必要なビデオ圧縮符号化を行うビデオ符号化に適用される。
具体的に見れば、一実施形態による動き予測装置20は、ビデオの映像を空間領域別に分割した符号化単位に基づいて、ビデオを符号化するビデオエンコーダに含まれたり、あるいは連繋されたりし、ビデオ符号化のためのインター予測を行うことができる。また、符号化単位に対するインター予測のために、符号化単位は、予測単位及びパーティションに分割され、予測単位及びパーティションを基にインター予測が行われる。
一実施形態による符号化単位は、固定的に決定された形態のブロックだけではなく、一実施形態によるツリー構造による符号化単位を含んでもよい。一実施形態により、ツリー構造による符号化単位、それによる予測単位及びパーティションについては、以下、図11ないし図23を参照して詳細に説明する。
一実施形態による動き予測装置20は、映像のブロック、符号化単位の映像データに対してインター予測を行い、参照映像に係わる予測誤差、すなわち、残差成分を出力することができる。動き予測装置20は、残差成分について、変換、量子化を行った変換係数を生成し、変換係数、参照情報、符号化情報などのシンボルに対してエントロピー符号化を行い、ビットストリームを出力することができる。一実施形態による動き予測装置20は、各参照ピクチャリストに属する映像の参照手順や映像の個数などについての情報を含むL0リスト関連情報、L1リスト関連情報、参照ピクチャリストの変更関連情報のような参照ピクチャリスト関連情報を含むシンボルも符号化して出力することができる。
動き予測装置20は、変換係数に対して、さらに逆量子化、逆変換、予測補償を経て、空間領域の映像を復元し、インループ・フィルタリングを行うことにより、復元映像を生成することもできる。すなわち、一実施形態による動き予測装置20は、Bスライスである現在映像についてインター予測を行うために、L0リスト及びL1リストのうち少なくとも一つを利用して、ビデオエンコーダによって生成された復元映像を参照することができる。かように生成された復元映像は、次の入力映像の動き予測のための参照映像に利用されるので、動き予測装置20は、さらに次の入力映像に係わるインター予測を介して、参照情報及び残差成分を決定することができる。
従って、動き予測装置20の動き予測を経て、ビデオ圧縮符号化が具現される。
一実施形態による動き予測装置20は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディング・プロセッサ、または外部ビデオエンコーディング・プロセッサと連繋して作動することにより、動き予測を含んだビデオ符号化動作を遂行することができる。一実施形態による動き予測装置20の内部ビデオエンコーディング・プロセッサは、別個のプロセッサとして具現されもし、中央処理装置、グラフィック演算装置がビデオエンコーディング・プロセッシング・モジュールを駆動することにより、基本的なビデオ符号化動作を具現する場合も含んでもよい。
次に、ビデオ復号化過程について説明する。
一実施形態による動き復元装置30は、動き予測を介して圧縮されたビットストリームを受信し、映像の全体データの代わりに予測情報を利用して、映像を復元することができる。
一実施形態による動き補償装置30は、ビットストリームのブロック領域から、現在ブロックのための参照ピクチャを示す参照インデックス、動きベクトル及び残差成分をパージングすることができる。
一実施形態による動き補償装置30は、ビデオの映像を空間領域別に分割した符号化単位に基づいて、ビデオを復号化するビデオデコーダに含まれたり、あるいは連繋されたりし、ビデオ復号化のための動き補償を行うことができる。また、動き補償のための符号化単位は、予測単位及びパーティションを含み、予測単位及びパーティションを基に、動き補償が行われる。一実施形態による符号化単位は、固定的に決定された形態のブロックだけではなく、一実施形態によるツリー構造による符号化単位を含んでもよいということは、前述の通りである。
一実施形態による動き補償装置30は、受信されたビットストリームに対して、エントロピー復号化を行い、変換係数、参照情報、符号化情報などのシンボルをパージングすることができる。一実施形態による動き補償装置30は、参照ピクチャリスト関連情報を含むシンボルもパージングすることができる。
一実施形態による動き補償装置30は、変換単位別にパージングされた変換係数に対して逆量子化及び逆変換を行い、空間領域の残差成分を復元することができる。
一実施形態による動き補償装置30は、パーティション別に、参照ブロックに残差成分ほど補償する動き補償を介して、空間領域の映像を復元することができる。一実施形態による動き補償装置30は、Bスライスである現在パーティションに対する動き補償のために、L0リスト及びL1リストのうち少なくとも一つに含まれた先に復元された映像を参照し、参照映像を決定し、参照映像のうち動きベクトルが示す参照ブロックを決定することができる。かように決定された参照ブロックに残差成分を合算することにより、復元ブロックが生成される。
一実施形態による動き補償装置30は、空間領域の復元ブロックに対して、デブロッキング・フィルタリング及びSAO(sample adaptive offset)フィルタリングを行うことにより、復元ブロックと原本ブロックとの誤差を最小化することができる。復元ブロックは、次のブロックの予測のための参照ブロックとして利用される。
従って、動き補償装置30の動き補償を経て、ビデオ圧縮復号化が具現される。
一実施形態による動き補償装置30は、ビデオ復号化結果を出力するために、内部に搭載されたビデオデコーディング・プロセッサまたは外部ビデオデコーディング・プロセッサと連繋して作動することにより、動き補償を含んだビデオ復号化動作を遂行することができる。一実施形態による動き補償装置30の内部ビデオデコーディング・プロセッサは、別個のプロセッサとして具現されもし、中央処理装置、グラフィック演算装置がビデオデコーディング・プロセッシング・モジュールを駆動することにより、基本的なビデオ復号化動作を具現する場合も含んでもよい。
以下、図4ないし図10を参照し、一実施形態による動き予測装置20が伝送し、動き補償装置30がパージングするインター予測関連情報のシンタックスについて詳細に説明する。
図4は、イントラ予測方向情報の2つの実施形態を図示している。
第1実施形態によるインター予測モード情報(inter_pred_flag)40は、Pスライスタイプである場合には、別途に定義されない。Pスライスタイプである場合には、インター予測モード情報40が定義されないとしても、L0リストを利用する前方予測であるということが類推される。ただし、Bスライスタイプである場合にのみ、インター予測モード情報(inter_pred_flag)40は、組み合わされた参照ピクチャリスト(list combination)による双予測方向(Pred_LC)であるか、あるいは双方向予測(Pred_BI)であるかということを示すことができる。
第1実施形態によるインター予測モード情報40によれば、Bスライスタイプである場合、インター予測方向が双予測方向であるとしても、実際に参照ピクチャは、L0リスト及びL1リストのうち一つに属している映像である。しかし、双予測方向のインター予測方向情報40に基づいて提供される参照インデックス情報が、組み合わされた参照ピクチャリスト上の参照インデックスであるので、L0リスト及びL1リストを利用して、参照ピクチャリストを組み合わせた後、それによるインデックスを再構成しなければならないという不都合が加重される。
第2実施形態によるインター予測モード情報(inter_pred_idc)45では、組み合わされた参照ピクチャリストによる参照インデックスを使用しない。従って、L0リスト及びL1リストを組み合わせる必要がない。
inter_pred_idc 45によれば、Bスライスタイプのブロックのインター予測方向がL0予測方向(Pred_L0)であるか、あるいはL1予測方向(Pred_L1)であるかということを示すことができる。Pスライスでは、前方予測(PRED_L0)のみが許容されるので、inter_pred_idc45を利用しない。すなわちPスライスタイプのインター予測方向を示すために、inter_pred_idc 45の決定される必要はない。従って、別途のinter_pred_idc 45がないとしても、Pスライスタイプのインター予測は、前方予測であるということを類推することができる。
第2実施形態によるインター予測モード情報(inter_pred_idc)45は、Bスライスタイプの予測単位のインター予測のためにのみ決定される。特に、nPbWとnPbHは、それぞれ現在予測単位の縦横サイズを示す。従って、予測単位の大きさが4x8、8x4のように、予測単位の縦横サイズの和(nPbW+nPbH)が12である場合には、Bスライスタイプの予測単位にも、双方向インター予測が許容されない。縦横サイズの和が12ではない場合には、Bスライスタイプの予測単位について、前方向予測(Pred_L0)、逆方向予測(Pred_L1)、双方向予測(Pred_BI)のうちいずれか一つを示すインター予測モード情報45が決定される。
従って、動き予測装置20は、Bスライスタイプである現在予測単位の縦横サイズの和が12ではない場合、ビットストリームにおいて予測単位領域に、前方向予測(Pred_L0)、逆方向予測(Pred_L1)、双方向予測(Pred_BI)のうちいずれか一つを示すインター予測モード情報45を挿入することができる。ただし、現在予測単位の縦横サイズの和が12である場合には、ビットストリームにおいて予測単位領域に、前方向予測(Pred_L0)、逆方向予測(Pred_L1)のうちいずれか一つを示すインター予測モード情報45を読み取ることができる。
動き補償装置30は、Pスライスタイプの予測単位については、inter_pred_idc 45をパージングしない。別途のinter_pred_idc 45がないとしても、Pスライスタイプのインター予測は、前方予測であるということが類推される。
従って、動き補償装置30は、ビットストリームの予測単位領域から、第2実施形態によるインター予測モード情報45をパージングすれば、現在予測単位の縦横サイズの和が12ではない場合、インター予測モード情報45から、前方向予測(Pred_L0)、逆方向予測(Pred_L1)、双方向予測(Pred_BI)のうちいずれか一つを読み取ることができる。ただし、現在予測単位の縦横サイズの和が12である場合には、インター予測モード情報45から前方向予測(Pred_L0)、逆方向予測(Pred_L1)のうちいずれか一つを読み取ることができる。
結果として、第2実施形態によるインター予測モード情報45によれば、双方向予測の場合にも、新たな参照ピクチャリストを構成したり、新たな参照インデックスを検索したりする必要がないので、さらに簡単なプロシージャを介して、参照映像を決定することができる。
図5は、一実施形態によって、変更されるスライスヘッダ(slice header)50の一部分のシンタックスを図示している。図6は、一実施形態によって、削除される組み合わされた参照ピクチャリスト(list combination)のパラメータセットのシンタックスを図示している。
「slice_header()」50は、スライスヘッダを示す。「ref_pic_list_combination()」60は、参照ピクチャリスト組み合わせ関連パラメータセットを示す。「ref_pic_list_modification()」54は、参照ピクチャリスト変更関連パラメータセットを示す。
動き予測装置20は、現在スライスを復号化するのに必要な各種情報を、「slice_header()」50に含めることにより、スライス関連パラメータを符号化することができる。動き補償装置30は、「slice_header()」50から、スライス関連パラメータをパージングし、現在スライスを復号化するのに必要な各種情報を読み取ることができる。
スライスごとに、スライスタイプによって、参照ピクチャリストが決定される。
一実施形態による動き予測装置20は、シーケンス・パラメータセットに含まれた「lists_modification_present_flag」52が、現在シーケンスで決定される参照ピクチャリストのリスト変更が可能であるということと示す場合、具体的な参照ピクチャリスト変更方式についての情報を含む「ref_pic_list_modification()」54を「slice_header()」60に挿入することができる。
第2実施形態によるインター予測モード情報45により、Bスライスタイプの双方向予測のためにも組み合わされた参照ピクチャリストを利用しないので、「ref_pic_list_combination()」60が、「slice_header()」50に挿入されない。
一実施形態による動き補償装置30は、シーケンス・パラメータセットで読み取られた「lists_modification_present_flag」52が、現在シーケンスで決定される参照ピクチャリストのリスト変更が可能であるということを示す場合、「slice_header()」50から、具体的な参照ピクチャリスト変更方式についての情報を含む「ref_pic_list_modification()」54をパージングすることができる。
また、第2実施形態によるインター予測モード情報45により、Bスライスタイプの双方向予測のためにも組み合わされた参照ピクチャリストを利用しないので、「slice_header()」50から、「ref_pic_list_combination()」60は、パージングされない。
図7は、一実施形態によって、変更される予測加重値テーブル(prediction weight table)70のシンタックスを図示している。
一実施形態による予測加重値テーブル70は、現在スライスにおいて、ルマ成分別及びクロマ成分別に、予測関連パラメータに適用される加重値と係わる情報を含む。
特に、現在スライスタイプがBスライスタイプであるならば(71)、L1予測のための予測関連パラメータの加重値情報73が決定される。ただし、第2実施形態によるインター予測モード情報45により、Bスライスタイプの双方向予測のためにも組み合わされた参照ピクチャリストを利用しないので、一実施形態による動き予測装置20は、現在組み合わされた参照ピクチャリストがあるか否かということを確認する過程なしにも、L1予測のための予測関連パラメータの加重値情報73を、予測加重値テーブル70に含めることができる。また、予測加重値テーブル70に組み合わされた参照ピクチャリストを利用した予測関連パラメータの加重値情報75は、それ以上含まれる必要がない。
同様に、一実施形態による動き補償装置30は、ビットストリームのスライスヘッダから、予測加重値テーブル70をパージングすることができる。また、現在スライスがBスライスタイプである場合、現在組み合わされた参照ピクチャリストがあるか否かということを判断する必要なしに、予測加重値テーブル70から、L1予測のための予測関連パラメータの加重値情報73をパージングすることができる。また、予測加重値テーブル70から、組み合わされた参照ピクチャリストを利用した予測関連パラメータの加重値情報75が、パージングされる過程も省略される。
図8は、一実施形態によって、変更される予測単位(prediction unit)領域80のシンタックスを図示している。
一実施形態による予測単位領域80は、現在予測単位において、予測方向によって決定された参照インデックス「ref_idx_l0」,「ref_idx_l1」と、動きベクトル関連情報「mvd_l0」,「mvd_l1」,「mvp_l0_flag」,「mvd_l1_flag」と、を含む予測情報を含む。
一実施形態による動き予測装置20は、現在スライスタイプ「slice_type」がBスライスタイプであるならば(81)、予測単位領域80に、現在予測単位のインター予測方向「inter_pred_flag」82を挿入することができる。ただし、第2実施形態によるインター予測モード情報45により、Bスライスタイプについても、組み合わされた参照ピクチャリストを利用した双方向予測を利用しないので、一実施形態による動き予測装置20は、予測単位領域80に、組み合わされた参照ピクチャリストと係わる予測情報83を挿入しない。
一実施形態による動き予測装置20は、現在予測単位のインター予測がL1予測ではなく(84)、L0リストに有効な参照映像が存在するならば(85)、予測単位領域80に、L0予測による予測情報86を含めることができる。また、現在予測単位のインター予測が双方向予測であるか否かということは、判断する必要なく(87)、インター予測がL0予測ではなく(88)、L1リストに有効な参照映像が存在するのであるならば(89)、予測単位領域80に、L1予測による予測情報90が含まれる。
一実施形態による動き補償装置30は、現在スライスタイプ「slice_type」がBスライスタイプであるならば(81)、予測単位領域80から、現在予測単位のインター予測方向「inter_pred_flag」82をパージングすることができる。ただし、一実施形態による動き補償装置30は、予測単位領域80から、組み合わされた参照ピクチャリストと係わる予測情報83をパージングしない。
一実施形態による動き補償装置30は、現在予測単位のインター予測が、L1予測ではなく(84)、L1リストに有効な参照映像が存在するのであるならば(85)、予測単位領域80から、L0予測による予測情報86をパージングすることができる。また、現在予測単位のインター予測が双方向予測であるか否かということは、判断する必要なく(87)、インター予測がL0予測ではなく(88)、L1リストに有効な参照映像が存在するのであるならば(89)、予測単位領域80から、L1予測による予測情報90がパージングされる。
図9は、一実施形態によるスライスヘッダ(slice header)のシンタックスを図示している。スライスヘッダは、独立したスライス・セグメント(independent slice segment)のスライス・セグメント・ヘッダ(slice segment header)と相応する。
一実施形態による動き予測装置20は、現在ピクチャにおいて、時間的動きベクトル推定子の利用が可能であるか否かということを決定することができる。それにより、一実施形態による動き予測装置20は、スライスヘッダ91に、時間的動きベクトル推定子の利用可能性情報「slice_temporal_mvp_enabled_flag」93を挿入することができる。一実施形態による時間的動きベクトル推定子は、コロケーテッド映像の動きベクトルを利用して、現在ブロックの動きベクトルを推定するために利用される。スライスヘッダ91ごとに、時間的動きベクトル推定子の利用可能性情報93が収録されるので、毎スライスごとに、時間的動きベクトル推定子の利用いかんが決定される。
時間的動きベクトル推定子の利用可能性情報「slice_temporal_mvp_enabled_flag」93は、現在ピクチャにおいて、インター予測のために、時間的動きベクトル推定子を使用することができるか否かということを示す。時間的動きベクトル推定子は、参照ピクチャでの動きベクトルを利用して、現在動きベクトルを決定するために利用される。ピクチャにおいて、「slice_temporal_mvp_enabled_flag」93が認められれば、現在ピクチャに含まれた少なくとも1つのスライスにおいて、動きベクトル推定子が利用される。
同様に、一実施形態による動き補償装置30は、スライスヘッダ91から、時間的動きベクトル推定子の利用可能性情報「slice_temporal_mvp_enabled_flag」93をパージングすることができる。パージングされた時間的動きベクトル推定子の利用可能性情報93を読み取り、現在ピクチャにおいて、時間的動きベクトル推定子を利用して、現在動きベクトルを推定することができるか否かということを決定することができる。スライスヘッダ91ごとに、時間的動きベクトル推定子の利用可能性情報93がパージングされるので、毎スライスごとに、時間的動きベクトル推定子の利用いかんが決定される。
図10は、一実施形態によって、変更されるスライスヘッダ(slice header)の他の一部分のシンタックスを図示している。
先に、図9のスライスヘッダ91で利用された時間的動きベクトル推定子の利用可能性情報「slice_temporal_mvp_enabled_flag」93に基づいて、現在スライスにおいて、コロケーテッド参照ピクチャが利用されるか否かということが決定される。
他の実施形態による動き予測装置20は、現在シーケンスにおいて、時間的動きベクトル推定子が利用可能な場合(101)、現在スライスヘッダ91に、現在スライスのためのコロケーテッド・ピクチャと係わる情報105が挿入される。
例えば、コロケーテッド・ピクチャと係わる情報105は、現在スライスタイプ「slice_type」がBスライスタイプである場合(103)、L0リストに属する参照ピクチャ内に、コロケーテッド・ブロックがあるか否かということを示す情報「collocated_from_l0_flag」を、現在スライスヘッダ91に含めることができる。また、Pスライスタイプであるか、あるいはBスライスタイプであるかということには係わりなく、コロケーテッド・ピクチャの参照インデックス情報「collocated_ref_idx」などを含んでもよい。例えば、参照インデックス情報「collocated_ref_idx」は、先に決定された方向に位置した参照映像のうち、現在参照映像のインデックスを示すことができる。
他の実施形態による動き補償装置30は、現在シーケンス・パラメータセット91において、時間的動きベクトル推定子が利用可能であると決定した場合(101)、現在スライスヘッダ91から、現在スライスのためのコロケーテッド・ピクチャと係わる情報105をパージングすることができる。コロケーテッド・ピクチャと係わる情報105は、現在スライスタイプ「slice_type」がBスライスタイプであるならば(103)、L0リストに属する参照ピクチャ内に、コロケーテッド・ブロックがあるか否かということを示す情報がパージングされ、コロケーテッド・ピクチャの参照インデックス情報もパージングされる。
具体的には、時間的動きベクトル推定子が使用され、Bスライスタイプである場合、「collocated_from_l0_flag」から、いずれの方向に位置したコロケーテッド・ブロックを利用するかということが決定される。
また、時間的動きベクトル推定子が使用される場合、既決定の方向に位置した参照映像のうち、いずれの参照ピクチャからコロケーテッド・ブロックを決定するかということは、「collocated_ref_idx」から読み取られる。「collocated_ref_idx」は、Pスライスタイプである場合にも利用される。
以上、時間的動きベクトル推定子が利用される場合にのみ、現在スライダーヘッダ65に、所定方向にコロケーテッド映像があるか否かということを示す「collocated_from_l0_flag」や、コロケーテッド・ピクチャの参照インデックス情報「collocated_ref_idx」などが収録されるので、現在スライスにおいて、時間的動きベクトル推定子が利用される場合にのみ、前記コロケーテッド・ピクチャと係わる同一性情報がシグナリングされる。
以上、従って、多様な実施形態による参照映像決定装置10、動き予測装置20、動き補償装置30のうち少なくとも一つにより、双方向インター予測の場合にも、L0リスト及びL1リスト以外に、新たな参照ピクチャリストを構成したり、新たな参照インデックスを検索したりする必要がないので、さらに簡単なプロシージャを介して、単一方向予測及び双方向予測のための参照映像を決定することができる。また、組み合わされた参照ピクチャリストに係わるシンボル・コーディングが不要であるので、不要な参照ピクチャリスト関連情報の伝送過程が省略されるので、伝送ビット量が軽減される。同様に、不要な参照ピクチャリスト関連情報のパージング過程が省略されるので、データパージング過程も短縮される。
以上、図1Aないし図10を参照して詳細に説明した多様な実施形態による参照映像決定装置10、動き予測装置20、動き補償装置30において、ツリー構造による符号化単位で決定されたパーティション別に、動き予測及び動き補償が行われるということは、前述の通りである。以下、図11ないし図23を参照し、一実施形態によるツリー構造による符号化単位に基づいたビデオ符号化方法及びビデオ復号化方法について詳細に説明する。
図11は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置100のブロック図を図示している。
一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、符号化単位決定部120及び出力部130を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、「ビデオ符号化装置100」と縮約して指称する。
符号化単位決定部120は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも1つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ32x32,64x64,128x128,256x256のようなデータ単位であり、縦横サイズが2の累乗である正方形のデータ単位でもある。
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度というのは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさが小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域(spatial domain)の映像データが、深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。
符号化単位決定部120は、深度ごとに、最大符号化単位の領域が分割された少なくとも1つの分割領域を符号化し、少なくとも1つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部120は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部130に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも1つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも1つの符号化深度が決定される。
最大符号化単位の大きさは、深度が深くなることにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、1つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、1つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、1つの最大符号化単位について、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
従って、一実施形態による符号化単位決定部120は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内において、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第1最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第2最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が0であるとするとき、最大符号化単位が1回分割された符号化単位の深度は、1に設定され、2回分割された符号化単位の深度は、2に設定される。その場合、最大符号化単位から4回分割された符号化単位が最小符号化単位であるならば、深度0,1,2,3及び4の深度レベルが存在するので、第1最大深度は、4に、第2最大深度は、5に設定される。
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも1つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。
一実施形態によるビデオ符号化装置100は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用されもし、段階別にデータ単位が変更される。
例えば、ビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基になる、それ以上さらに分割されない符号化単位を「予測単位」と指称する。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。
例えば、サイズ2Nx2N(ただし、Nは、正の整数)の符号化単位が、それ以上分割されない場合、サイズ2Nx2Nの予測単位になり、パーティションの大きさは、2Nx2N、2NxN、Nx2N、NxNなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、1:nまたはn:1のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、2Nx2N,2NxN,Nx2N,NxNサイズのパーティションについて遂行される。また、スキップモードは、2Nx2Nサイズのパーティションについてのみ遂行される。符号化単位以内の1つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、一実施形態によるビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ2Nx2Nの現在符号化単位の変換単位の大きさが、2Nx2Nであるならば、変換深度0に、変換単位の大きさがNxNであるならば、変換深度1に、変換単位の大きさがN/2xN/2であるならば、変換深度2に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部120は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位/パーティション、並びに変換単位の決定方式については、図13ないし図23を参照して詳しく説明する。
符号化単位決定部120は、深度別符号化単位の符号化誤差をラグランジュ乗数(Lagrangian multiplier)基盤の率・歪曲最適化技法(rate-distortion optimization)を利用して測定することができる。
出力部130は、符号化単位決定部120で決定された少なくとも1つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードについての情報をビットストリーム形態に出力する。
符号化された映像データは、映像の残差データの符号化結果でもある。
深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位で分割されるように定義される。
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的(recursive)符号化が行われる。
1つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも1つの符号化モードについての情報が決定されなければならないので、1つの最大符号化単位については、少なくとも1つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードについての情報が設定される。
従って、一実施形態による出力部130は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位の中に含まれる最大サイズの正方形データ単位でもある。
例えば、出力部130を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。
ピクチャ別、スライス別またはGOP(group of pictures)別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダ、シーケンス・パラメータセットまたはピクチャ・パラメータセットなどに挿入される。
また、現在ビデオについて許容される変換単位の最大サイズについての情報、及び変換単位の最小サイズについての情報も、ビットストリームのヘッダ、シーケンス・パラメータセットまたはピクチャ・パラメータセットなどを介して出力される。出力部130は、予測と係わる参照情報、予測情報、スライスタイプ情報などを符号化して出力することができる。
ビデオ符号化装置100の最も簡単な形態の実施形態によれば、深度別符号化単位は、1階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが2Nx2Nであるならば、下位深度の符号化単位の大きさは、NxNである。また、2Nx2Nサイズの現在符号化単位は、NxNサイズの下位深度符号化単位を最大4個含んでもよい。
従って、ビデオ符号化装置100は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
従って、映像の解像度が非常に高かったり、データ量が非常に多かったりする映像を、既存マクロブロック単位に符号化するのであるならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。
ビデオ符号化装置100は、図2A及び図2Bを参照して説明した動き予測方式により、参照ピクチャリストを決定してインター予測を行うことができる。
符号化単位決定部120は、最大符号化単位ごとに、ツリー構造による符号化単位別に、インター予測のための予測単位を決定し、予測単位及びそのパーティションごとにインター予測を行うことができる。
符号化単位決定部120は、ビデオの映像について、時間的予測のために利用される参照映像を決定する。参照映像決定装置10は、現在映像と周辺映像との時間的距離、残差成分(residue)などを示す予測情報を決定する。従って、映像の全体データの代わりに、予測情報を利用して映像情報が記録される。
一実施形態による符号化単位決定部120は、現在映像のインター予測のために参照する映像が、現在映像より先行するか(第1方向)、あるいは後になるか(第2方向)ということを決定することができる。現在映像において参照映像を決定するとき、参照映像の方向によって、L0リスト及びL1リストのうち少なくともいずれか1つの参照ピクチャリストのうち参照映像が決定される。
一実施形態による符号化単位決定部120は、各参照ピクチャリストに割り当てられる参照映像の参照順序を決定することができる。例えば、参照ピクチャリストに割り当てられる参照映像のうち、現在映像とディスプレイ順序上で近い参照映像を優先的に参照するように参照順序が決定される。
一実施形態による符号化単位決定部120は、ブロックを含むスライスのスライスタイプを確認し、スライスタイプによって、インター予測方向を決定することができる。
一実施形態による符号化単位決定部120は、スライスが単一方向予測または双方向予測が可能なBスライスタイプであるならば、ブロックのインター予測方向を、第1方向、第2方向及び双方向のうち一つに決定することができる。第1方向、第2方向は、それぞれ前方、後方でもある。
一実施形態による符号化単位決定部120は、インター予測方向に基づいて、参照ピクチャリスト上で、参照映像を示す参照インデックスを決定することができる。
例えば、符号化単位決定部120は、ブロックのための参照インデックスとして、第1方向参照ピクチャリストのうち、第1方向参照インデックスを決定し、第2方向参照ピクチャリストのうち、第2方向参照インデックスを決定することができる。第1方向参照ピクチャリスト及び第2方向参照ピクチャリストは、それぞれL0リスト及びL1リストを示すことができる。
符号化単位決定部120は、現在映像と周辺映像との時間的距離、残差成分などと共に、参照インデックスを示す予測情報を決定する。
一実施形態による出力部120は、ブロックのインター予測方向を示すインター予測モード情報、参照インデックス、動きベクトルなどを符号化して出願することができる。
図12は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置200のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、受信部、映像データ及び符号化情報抽出部220及び映像データ復号化部230を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、「ビデオ復号化装置200」と縮約して指称する。
一実施形態によるビデオ復号化装置200の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図8及びビデオ符号化装置100を参照して説明したところと同一である。
受信部210は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部230に出力する。映像データ及び符号化情報抽出部220は、現在ピクチャに係わるヘッダ、シーケンス・パラメータセットまたはピクチャ・パラメータセットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。
また、映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部230に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部230をして、最大符号化単位ごとに映像データを復号化させる。
最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定されもし、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出される。
映像データ及び符号化情報抽出部220が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置100のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置200は、最小符号化誤差を発生させる符号化方式によって、データを復号化して映像を復元することができる。
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部220は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているのであれば、同一符号化深度及び符号化モードについての情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
映像データ復号化部230は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部230は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。
映像データ復号化部230は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
また、映像データ復号化部230は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
映像データ復号化部230は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度において、それ以上分割されないということを示しているのであるならば、現在深度が符号化深度である。従って、映像データ復号化部230は、現在最大符号化単位の映像データについて、現在深度の符号化単位を予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。
すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部230によって、同一符号化モードで復号化する1つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードについての情報を獲得し、現在符号化単位の復号化が行われる。
また、ビデオ復号化装置200は、図3A及び図3Bを参照して説明した動き補償方式により、参照ピクチャリストのうちから参照インデックスを決定して動き補償を行うことができる。
一実施形態による抽出部は、ビットストリームから、ブロックのインター予測方向を示すインター予測モード情報、参照インデックス、動きベクトルなどをパージングすることができる。
映像データ復号化部230は、最大符号化単位ごとに、ツリー構造による符号化単位別に、動き補償のための予測単位を決定し、予測単位及びそのパーティションごとに、動き補償を行うことができる。
映像データ復号化部230は、ビデオの映像について、時間的予測のために利用される参照映像を決定する。映像データ復号化部230は、インター予測モード情報から、現在映像のインター予測のために参照する映像が、現在映像より先行するか(第1方向)、あるいは後になるか(第2方向)ということを決定することができる。現在映像において、参照映像を決定するとき、参照映像の方向によって、L0リスト及びL1リストのうち少なくともいずれか1つの参照ピクチャリストのうち参照映像が決定される。
一実施形態による映像データ復号化部230は、ブロックを含むスライスのスライスタイプを確認し、スライスタイプによって、インター予測方向を決定することができる。一実施形態による映像データ復号化部230は、スライスが単一方向予測または双方向予測が可能なBスライスタイプであるならば、ブロックのインター予測方向を、第1方向、第2方向及び双方向のうち一つに決定することができる。第1方向、第2方向は、それぞれ前方、後方でもある。
一実施形態による映像データ復号化部230は、決定されたインター予測方向に基づいて、参照ピクチャリスト上で、参照映像を示す参照インデックスを決定することができる。
例えば、映像データ復号化部230は、ブロックのための参照インデックスとして、第1方向参照ピクチャリストのうちから第1方向参照インデックスを決定し、第2方向参照ピクチャリストのうちから第2方向参照インデックスを決定することができる。第1方向参照ピクチャリスト及び第2方向参照ピクチャリストは、それぞれL0リスト及びL1リストを示すことができる。
映像データ復号化部230は、参照ピクチャリストに属する参照ピクチャのうち、参照インデックスが示す参照ピクチャを決定し、参照ピクチャ内で、動きベクトルが示す参照ブロックを決定することができる。映像データ復号化部230は、参照ブロックに残差成分を補償することにより、現在ブロックを復元することができる。
図13は、本発明の一実施形態による符号化単位の概念を図示している。
符号化単位の例は、符号化単位の大きさは、幅x高さで表現され、サイズ64x64である符号化単位から、サイズ32x32,16x16,8x8を含んでもよい。サイズ64x64の符号化単位は、サイズ64x64,64x32,32x64,32x32のパーティションに分割され、サイズ32x32の符号化単位は、サイズ32x32,32x16,16x32,16x16のパーティションに分割され、サイズ16x16の符号化単位は、サイズ16x16,16x8,8x16,8x8のパーティションに分割され、サイズ8x8の符号化単位は、サイズ8x8,8x4,4x8,4x4のパーティションに分割される。
一実施形態によるインター予測のためのパーティションは、4x4サイズのパーティションを含まないこともある。
ビデオデータ310については、解像度が1920x1080に、符号化単位の最大サイズが64に、最大深度が2に設定されている。ビデオデータ320については、解像度が1920x1080に、符号化単位の最大サイズが64に、最大深度が3に設定されている。ビデオデータ330については、解像度が352x288に、符号化単位の最大サイズが16に、最大深度が1に設定されている。図13に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
解像度が高かったり、データ量が多かったりする場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ330に比べ、解像度が高いビデオデータ310,320は、符号化サイズの最大サイズが64に選択される。
ビデオデータ310の最大深度が2であるので、ビデオデータ310の符号化単位315は、長軸サイズが64である最大符号化単位から、2回分割されて深度が2階層深くなり、長軸サイズが32,16である符号化単位まで含んでもよい。一方、ビデオデータ330の最大深度が1であるので、ビデオデータ330の符号化単位335は、長軸サイズが16である符号化単位から、1回分割されて深度が1階層深くなり、長軸サイズが8である符号化単位まで含んでもよい。
ビデオデータ320の最大深度が3であるので、ビデオデータ320の符号化単位325は、長軸サイズが64である最大符号化単位から、3回分割されて深度が3階層深くなり、長軸サイズが32,16,8である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能が向上する。
図14は、本発明の一実施形態による符号化単位に基づいた映像符号化部400のブロック図を図示している。
一実施形態による映像符号化部400は、ビデオ符号化装置100の符号化単位決定部120において、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部410は、現在フレーム405において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部420及び動き補償部425は、インターモードの現在フレーム405及び参照フレーム495を利用して、インター推定及び動き補償を行う。
イントラ予測部410、動き推定部420及び動き補償部425から出力されたデータは、変換部430及び量子化部440を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部460、逆変換部470を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部480及びオフセット調整部490を経て後処理され、参照フレーム495として出力される。量子化された変換係数は、エントロピー符号化部450を経て、ビットストリーム455として出力される。
一実施形態によるビデオ符号化装置100に適用されるためには、映像符号化部400の構成要素であるイントラ予測部410、動き推定部420、動き補償部425、変換部430、量子化部440、エントロピー符号化部450、逆量子化部460、逆変換部470、デブロッキング部480及びオフセット調整部490が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を遂行しなければならない。
特に、イントラ予測部410、動き推定部420及び動き補償部425は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部430は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。
動き推定部420及び動き補償部425は、図1A及び図1Bを参照して説明したインター予測方式に基づいて、参照インデックスを決定し、参照ピクチャリストのうちから参照インデックスに対応する参照ピクチャを利用して、インター予測を行うことができる。
図15は、本発明の一実施形態による符号化単位に基づいた映像復号化部500のブロック図を図示している。
ビットストリーム505がパージング部510を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピー復号化部520及び逆量子化部530を経て、逆量子化されたデータとして出力され、逆変換部540を経て、空間領域の映像データが復元される。
空間領域の映像データについて、イントラ予測部550は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部560は、参照フレーム585を共に利用して、インターモードの符号化単位について動き補償を行う。
イントラ予測部550及び動き補償部560を経た空間領域のデータは、デブロッキング部570及びオフセット調整部580を経て後処理され、復元フレーム595として出力される。また、デブロッキング部570及びオフセット調整部580を経て後処理されたデータは、参照フレーム585として出力される。
ビデオ復号化装置200の映像データ復号化部230において、映像データを復号化するために、一実施形態による映像復号化部500のパージング部510以後の段階別作業が遂行される。
一実施形態によるビデオ復号化装置200に適用されるためには、映像復号化部500の構成要素であるパージング部510、エントロピー復号化部520、逆量子化部530、逆変換部540、イントラ予測部550、動き補償部560、デブロッキング部570及びオフセット調整部580が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を遂行しなければならない。
特に、イントラ予測部550、動き補償部560は、ツリー構造による符号化単位ごとにそれぞれ、パーティション及び予測モードを決定し、逆変換部540は、符号化単位ごとに、変換単位の大きさを決定しなければならない。
動き補償部560は、図1A及び図1Bを参照して説明したインター予測方式に基づいて参照インデックスを決定し、参照ピクチャリストのうちから参照インデックスに対応する参照ピクチャを利用して、動き補償を行うことができる。
図16は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。
一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定さ、ユーザの要求によって多様に設定される。あらかじめ設定された符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造600は、符号化単位の最大高及び最大幅が64であり、最大深度が3である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造600の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
すなわち、符号化単位610は、符号化単位の階層構造600において、最大符号化単位であり、深度が0であり、符号化単位の大きさ、すなわち、高さ及び幅が64x64である。縦軸に沿って深度が深くなり、サイズ32x32である深度1の符号化単位620、サイズ16x16である深度2の符号化単位630、サイズ8x8である深度3の符号化単位640が存在する。サイズ4x4である深度3の符号化単位640は、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度0のサイズ64x64の符号化単位610が予測単位であるならば、予測単位は、サイズ64x64の符号化単位610に含まれるサイズ64x64のパーティション610、サイズ64x32のパーティション612、サイズ32x64のパーティション614、サイズ32x32のパーティション616に分割される。
同様に、深度1のサイズ32x32の符号化単位620の予測単位は、サイズ32x32の符号化単位620に含まれるサイズ32x32のパーティション620、サイズ32x16のパーティション622、サイズ16x32のパーティション624、サイズ16x16のパーティション626に分割される。
同様に、深度2のサイズ16x16の符号化単位630の予測単位は、サイズ16x16の符号化単位630に含まれるサイズ16x16のパーティション630、サイズ16x8のパーティション632、サイズ8x16のパーティション634、サイズ8x8のパーティション636に分割される。
同様に、深度3のサイズ8x8の符号化単位640の予測単位は、サイズ8x8の符号化単位640に含まれるサイズ8x8のパーティション640、サイズ8x4のパーティション642、サイズ4x8のパーティション644、サイズ4x4のパーティション646に分割される。
一実施形態によるインター予測のためのパーティションは、サイズ4x4のパーティション646を含まないこともある。
一実施形態によるビデオ符号化装置100の符号化単位決定部120は、最大符号化単位610の符号化深度を決定するために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度1の符号化単位一つを含むデータについて、深度2の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、1つの深度1の符号化単位、及び4つの深度2の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度において、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位610において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位610の符号化深度及びパーティションタイプに選択される。
図17は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり復号化したりする。符号化過程のうち、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
例えば、一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200において、現在符号化単位710が64x64サイズであるとき、32x32サイズの変換単位720を利用して変換が行われる。
また、64x64サイズの符号化単位710のデータを、64x64サイズ以下の32x32,16x16,8x8,4x4サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図18は、本発明の一実施形態による深度別符号化情報を図示している。
一実施形態によるビデオ符号化装置100の出力部130は、符号化モードについての情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報800、予測モードについての情報810、変換単位サイズについての情報820を符号化して伝送することができる。
パーティションタイプについての情報800は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態についての情報を示す。例えば、サイズ2Nx2Nの現在符号化単位CU_0は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806、サイズNxNのパーティション808のうち、いずれか1つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報800は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806、及びサイズNxNのパーティション808のうち一つを示すように設定される。
予測モードについての情報810は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報810を介して、パーティションタイプについての情報800が示すパーティションが、イントラモード812、インターモード814及びスキップモード81)のうち一つで予測符号化が行われるかということが設定される。
また、変換単位サイズについての情報820は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第1イントラ変換単位サイズ822、第2イントラ変換単位サイズ824、第1インター変換単位サイズ826、第2インター変換単位サイズ828のうち一つでもある。
一実施形態によるビデオ復号化装置200の220は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報800、予測モードについての情報810、変換単位サイズについての情報820を抽出し、復号化に利用することができる。
図19は、本発明の一実施形態による深度別符号化単位を図示している。
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
深度0及び2N_0x2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0x2N_0サイズのパーティションタイプ912、2N_0xN_0サイズのパーティションタイプ914、N_0x2N_0サイズのパーティションタイプ916、N_0xN_0サイズのパーティションタイプ918を含んでもよい。予測単位が対称的な比率に分割されたパーティション912,914,916,918だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
パーティションタイプごとに、1つの2N_0x2N_0サイズのパーティション、2つの2N_0xN_0サイズのパーティション、2つのN_0x2N_0サイズのパーティション、4つのN_0xN_0サイズのパーティションごとに反復的に予測符号化が行われなければならない。サイズ2N_0x2N_0、サイズN_0x2N_0、サイズ2N_0xN_0及びサイズN_0xN_0のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ2N_0x2N_0のパーティションについてのみ予測符号化が行われる。
サイズ2N_0x2N_0のパーティションタイプ912,サイズ2N_0xN_0のパーティションタイプ914、及びサイズN_0x2N_0のパーティションタイプ916のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要ない。
サイズN_0xN_0のパーティションタイプ918による符号化誤差が最小であれば、深度0を1に変更しながら分割し(920)、深度2及びサイズN_0xN_0のパーティションタイプの符号化単位930について反復的に符号化を行い、最小符号化誤差を検索していくことができる。
深度1及びサイズ2N_1x2N_1(=N_0xN_0)の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1x2N_1のパーティションタイプ942、サイズ2N_1xN_1のパーティションタイプ944、サイズN_1x2N_1のパーティションタイプ946、サイズN_1xN_1のパーティションタイプ948を含んでもよい。
また、サイズN_1xN_1のパーティションタイプ948による符号化誤差が最小であれば、深度1を深度2に変更しながら分割し(950)、深度2及びサイズN_2xN_2の符号化単位960について反復的に符号化を行い、最小符号化誤差を検索していくことができる。
最大深度がdである場合、深度別符号化単位は、深度d−1になるまで設定され、分割情報は、深度d−2まで設定される。すなわち、深度d−2から分割され(970)、深度d−1まで符号化が行われる場合、深度d−1及びサイズ2N_(d−1)x2N_(d−1)の符号化単位980の予測符号化のための予測単位990は、サイズ2N_(d−1)x2N_(d−1)のパーティションタイプ992、サイズ2N_(d−1)xN_(d−1)のパーティションタイプ994、サイズN_(d−1)x2N_(d−1)のパーティションタイプ996、サイズN_(d−1)xN_(d−1)のパーティションタイプ998を含んでもよい。
パーティションタイプにおいて、1つのサイズ2N_(d−1)x2N_(d−1)のパーティション、2つのサイズ2N_(d−1)xN_(d−1)のパーティション、2つのサイズN_(d−1)x2N_(d−1)のパーティション、4つのサイズN_(d−1)xN_(d−1)のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
サイズN_(d−1)xN_(d−1)のパーティションタイプ998による符号化誤差が最小であるとしても、最大深度がdであるので、深度d−1の符号化単位CU_(d−1)は、それ以上下位深度への分割過程を経ず、現在最大符号化単位900に係わる符号化深度が深度d−1として決定され、パーティションタイプは、N_(d−1)xN_(d−1)と決定される。また、最大深度がdであるので、深度d−1の符号化単位952について、分割情報が設定されない。
データ単位999は、現在最大符号化単位に係わる「最小単位」であると指称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。
かように、深度0,1,…,d−1,dの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度0から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「0」に設定され、符号化深度を除いた深度別分割情報は、「1」に設定されなければならない。
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部220は、符号化単位900に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位912を復号化するのに利用することができる。一実施形態によるビデオ復号化装置200は、深度別分割情報を利用して、分割情報が「0」である深度を符号化深度で把握して、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。
図20,図21及び図22は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
符号化単位1010は、最大符号化単位について、一実施形態によるビデオ符号化装置100が決定した符号化深度別符号化単位である。予測単位1060は、符号化単位1010において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位1070は、それぞれの符号化深度別符号化単位の変換単位である。
深度別符号化単位1010は、最大符号化単位の深度が0であるとするならば、符号化単位1012,1054は、深度が1であり、符号化単位1014,1016,1018,1028,1050,1052は、深度が2であり、符号化単位1020,1022,1024,1026,1030,1032,1048は、深度が3であり、符号化単位1040,1042,1044,1046は、深度が4である。
予測単位1060において、一部パーティション1014,1016,1022,1032,1048,1050,1052,1054は、符号化単位が分割された形態である。すなわち、パーティション1014,1022,1050,1054は、2NxNのパーティションタイプであり、パーティション1016,1048,1052は、Nx2Nのパーティションタイプであり、パーティション1032は、NxNのパーティションタイプである。深度別符号化単位1010の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
変換単位1070において、一部変換単位1052の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位1014,1016,1022,1032,1048,1050,1052,1054は、予測単位1060において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、同一符号化単位に係わるイントラ予測/動き推定/動き補償作業、及び変換/逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表1は、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200で設定することができる一例を示している。
一実施形態によるビデオ符号化装置100の出力部130は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置200の符号化情報抽出部220は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度dの分割情報が0であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって1段階さらに分割されなければならない場合には、分割された4個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ2Nx2Nでのみ定義される。
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ2Nx2N,2NxN,Nx2N及びNxNと、非対称的な比率に分割された非対称的パーティションタイプ2NxnU,2NxnD,nLx2N,nRx2Nと、を示すことができる。非対称的パーティションタイプ2NxnU及び2NxnDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションタイプnLx2N及びnRx2Nは、それぞれ幅が1:3及び3:1に分割された形態を示す。
変換単位サイズは、イントラモードにおいて二種の大きさ、インターモードにおいて二種の大きさに設定される。すなわち、変換単位分割情報が0であるならば、変換単位の大きさが、現在符号化単位のサイズ2Nx2Nに設定される。変換単位分割情報が1であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ2Nx2Nである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位の大きさは、NxNに、非対称形パーティションタイプであるならば、N/2xN/2に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態として、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。
図23は、表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。
最大符号化単位1300は、符号化深度の符号化単位1302,1304,1306,1312,1314,1316,1318を含む。そのうち1つの符号化単位1318は、符号化深度の符号化単位であるので、分割情報が0に設定される。サイズ2Nx2Nの符号化単位1318のパーティションタイプ情報は、パーティションタイプ2Nx2N 1322,2NxN 1324,Nx2N 1326,NxN 1328,2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定される。
変換単位分割情報(TU size flag)は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
例えば、パーティションタイプ情報が、対称形パーティションタイプ2Nx2N 1322,2NxN 1324,Nx2N 1326及びNxN 1328のうち一つに設定されている場合、変換単位分割情報が0であるならば、サイズ2Nx2Nの変換単位1342が設定され、変換単位分割情報が1であるならば、サイズNxNの変換単位1344が設定される。
パーティションタイプ情報が非対称形パーティションタイプ2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定された場合、変換単位分割情報(TU size flag)が0であるならば、サイズ2Nx2Nの変換単位1352が設定され、変換単位分割情報が1であるならば、サイズN/2xN/2の変換単位1354が設定される。
図23を参照して説明した変換単位分割情報(TU size flag)は、0または1の値を有するフラグであるが、一実施形態による変換単位分割情報が1ビットのフラグに限定されるものではなく、設定によって、0、1、2、3、…のように増大し、変換単位が階層的に分割される。変換単位分割情報は、変換インデックスの一実施形態として利用される。
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置100は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、SPS(sequence parameter set)に挿入される。一実施形態によるビデオ復号化装置200は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
例えば、(a)現在符号化単位がサイズ64x64であり、最大変換単位サイズが32x32であるならば、(a−1)変換単位分割情報が0であるとき、変換単位の大きさは、32x32に、(a−2)変換単位分割情報が1であるとき、変換単位の大きさは、16x16に、(a−3)変換単位分割情報が2であるとき、変換単位の大きさは、8x8に設定される。
他の例として、(b)現在符号化単位がサイズ32x32であり、最小変換単位サイズが32x32であるならば、(b−1)変換単位分割情報が0であるとき、変換単位の大きさは、32x32に設定され、変換単位の大きさが32x32より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
さらに他の例として、(c)現在符号化単位がサイズ64x64であり、最大変換単位分割情報が1であるならば、変換単位分割情報は、0または1であり、他の変換単位分割情報が設定されることがない。
従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が0である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位において、可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式(1)のように定義される。
CurrMinTuSize
=max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex)) (1)
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式(1)によれば、「RootTuSize/(2^MaxTransformSizeIndex)」は、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なる。
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式(2)によって決定される。数式(2)において、「MaxTransformSize」は、最大変換単位サイズ、「PUSize」は、現在予測単位サイズを示す。
RootTuSize=min(MaxTransformSize,PUSize) (2)
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式(3)によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
RootTuSize=min(MaxTransformSize,PartitionSize) (3)
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないということに留意しなければならない。
図11ないし図23を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法により、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに、復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されたり、記録媒体に保存されたり、ネットワークを介して伝送されたりもする。
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体(例えば、ROM(read-only memory)、フロッピー(登録商標)ディスク、ハードディスクなど)、光学的判読媒体(例えば、CD(compact disc)−ROM、DVD(digital versatile disc))のような記録媒体を含む。
説明の便宜のために、先に図1Aないし図23を参照して説明したインター予測方法、動き予測方法、動き補償方法によるビデオ符号化方法は、「本発明のビデオ符号化方法」とする。また、先に図1Aないし図23を参照して説明した説明したインター予測方法、動き補償方法によるビデオ復号化方法は、「本発明のビデオ復号化方法」とする。
また、先に図1Aないし図23を参照して説明した参照映像決定装置10、動き予測装置20、動き補償装置30、ビデオ符号化装置100、または映像符号化部400で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」とする。また、先に図1Aないし図23を参照して説明した参照映像決定装置10、動き補償装置30、ビデオ復号化装置200または映像復号化部500で構成されたビデオ復号化装置は、「本発明のビデオ復号化装置」とする。
一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体が、ディスク26000である実施形態について、以下で詳細に説明する。
図24は、一実施形態によるプログラムが保存されたディスク26000の物理的構造を例示している。記録媒体として説明したディスク26000は、ハードドライブ、CD−ROMディスク、ブルーレイ((登録商標)Blu-ray)ディスク、DVDディスクでもある。ディスク26000は、多数の同心円のトラックTrから構成され、トラックTrは、円周方向に沿って、所定個数のセクタSeに分割される。前述の一実施形態によるプログラムを保存するディスク26000において、特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータ・システムについて、図25を参照して説明する。
図25は、ディスク26000を利用して、プログラムを記録して判読するためのディスクドライブ26800を図示している。コンピュータ・システム26700は、ディスクドライブ26800を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムをディスク26000に保存することができる。ディスク26000に保存されたプログラムを、コンピュータ・システム26700上で実行するために、ディスクドライブ26800によって、ディスク26000からプログラムが読み取られ、プログラムがコンピュータ・システム26700に伝送される。
図24及び図25で例示されたディスク26000だけではなく、メモリカード、ROMカセット、SSD(solid state drive)にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。
前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて説明する。
図26は、コンテンツ流通サービス(content distribution service)を提供するためのコンテンツ供給システム(content supply system)11000の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルにベースステーションになる無線基地局11700,11800,11900,12000が設置される。
コンテンツ供給システム11000は、多数の独立デバイスを含む。例えば、コンピュータ12100、PDA(personal digital assistant)12200、カメラ12300及び携帯電話12500のような独立デバイスが、インターネットサービス・プロバイダ11200、通信網11400、及び無線基地局11700,11800,11900,12000を経て、インターネット11100に連結される。
しかし、コンテンツ供給システム11000は、図26に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結されもするる。独立デバイスは、無線基地局11700,11800,11900,12000を経ずに、通信網11400に直接連結されもする。
ビデオカメラ12300は、デジタル・ビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話12500は、PDC(personal digital communications)、CDMA(code division multiple access)、W−CDMA(wideband code division multipleaccess)、GSM((登録商標)global system for mobile communications)及びPHS(personal handyphone system)方式のような多様なプロトコルのうち少なくとも1つの通信方式を採択することができる。
ビデオカメラ12300は、無線基地局11900及び通信網11400を経て、ストリーミングサーバ11300に連結される。ストリーミングサーバ11300は、ユーザがビデオカメラ12300を使用して伝送したコンテンツをリアルタイム放送でストリーミング伝送することができる。ビデオカメラ12300から受信されたコンテンツは、ビデオカメラ12300またはストリーミングサーバ11300によって符号化される。ビデオカメラ12300に撮影されたビデオデータは、コンピュータ12100を経て、ストリーミングサーバ11300に伝送される。
カメラ12600で撮影されたビデオデータも、コンピュータ12100を経て、ストリーミングサーバ11300に伝送される。カメラ12600は、デジタルカメラのように、静止映像とビデオ映像とをいずれも撮影することができる撮像装置である。カメラ12600から受信されたビデオデータは、カメラ12600またはコンピュータ12100によって符号化される。ビデオ符号化及びビデオ復号化のためのソフトウェアは、コンピュータ12100がアクセスすることができるCD−ROMディスク、フロッピー(登録商標)ディスク、ハードディスクドライブ、SSD、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。
また、携帯電話12500に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話12500から受信される。
ビデオデータは、ビデオカメラ12300、携帯電話12500またはカメラ12600に搭載されたLSI(large scale integrated circuit)システムによって符号化される。
一実施形態によるコンテンツ供給システム11000で、例えば、コンサートの現場録画コンテンツのように、ユーザが、ビデオカメラ12300、カメラ12600、携帯電話12500または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ11300に伝送される。ストリーミングサーバ11300は、コンテンツデータを要請した他のクライアントにコンテンツデータをストリーミング伝送することができる。
クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ12100、PDA 12200、ビデオカメラ12300または携帯電話12500でもある。従って、コンテンツ供給システム11000は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム11000は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムに復号化して再生させ、個人放送(personal broadcasting)を可能にさせる。
コンテンツ供給システム11000に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
図27及び図28を参照し、コンテンツ供給システム11000における携帯電話12500の一実施形態について詳細に説明する。
図27は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話12500の外部構造を図示している。携帯電話12500は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり拡張させたりすることができるスマートフォンでもある。
携帯電話12500は、無線基地局12000とRF(radio frequency)信号を交換するための内蔵アンテナ12510を含み、カメラ12530によって撮影された映像、またはアンテナ12510によって受信されて復号化された映像をディスプレイするためのLCD(liquid crystal display)画面、OLED(organic light emitting diodes)画面のようなディスプレイ画面12520を含む。スマートフォン12510は、制御ボタン、タッチパネルを含む動作パネル12540を含む。ディスプレイ画面12520がタッチスクリーンである場合、動作パネル12540は、ディスプレイ画面12520のタッチ感知パネルをさらに含む。スマートフォン12510は、音声、音響を出力するためのスピーカ12580または他の形態の音響出力部;及び音声、音響が入力されるマイクロフォン12550または他の形態の音響入力部;を含む。スマートフォン12510は、ビデオ及び静止映像を撮影するためのCCD(charge coupled device)カメラのようなカメラ12530をさらに含む。また、スマートフォン12510は、カメラ12530によって撮影されたり、電子メール(E−mail)で受信されたり、他の形態に獲得されたりするビデオや静止映像のように、符号化されたり復号化されたりするデータを保存するための記録媒体12570;及び記録媒体12570を携帯電話12500に装着するためのスロット12560;を含んでもよい。記録媒体12570は、SDカード、またはプラスチックケースに内蔵されたEEPROM(electrically erasable programmable read-only memory)のような他の形態のフラッシュメモリでもある。
図28は、携帯電話12500の内部構造を図示している。ディスプレイ画面12520及び動作パネル12540によって構成された携帯電話12500の各パートを組織的に制御するために、電力供給回路12700、動作入力制御部12640、映像符号化部12720、カメラ・インターフェース12630、LCD制御部12620、映像復号化部12690、マルチプレクサ/デマルチプレクサ(MUX/DEMUX:multiplexer/demultiplexer)12680、記録/判読部12670、変調/復調(modulation/demodulation)部12660及び音響処理部12650が、同期化バス12730を介して、中央制御部12710に連結される。
ユーザが電源ボタンを動作し、「電源OFF」状態から「電源ON」状態に設定すれば、電力供給回路12700は、バッテリパックから携帯電話12500の各パートに電力を供給することにより、携帯電話12500が動作モードにセッティングされる。
中央制御部12710は、CPU(central processing unit)、ROM及びRAM(random-access memory)を含む。
携帯電話12500が外部に通信データを送信する過程では、中央制御部12710の制御によって、携帯電話12500においてデジタル信号が生成される、例えば、音響処理部12650では、デジタル音響信号が生成され、映像符号化部12720では、デジタル映像信号が生成され、動作パネル12540及び動作入力制御部12640を介して、メッセージのテキストデータが生成される。中央制御部12710の制御によって、デジタル信号が変調/復調部12660に伝達されれば、変調/復調部12660は、デジタル信号の周波数帯域を変調し、通信回路12610は、帯域変調されたデジタル音響信号について、D/A変換(digital−analog conversion)処理及び周波数変換(frequency conversion)処理を行う。通信回路12610から出力された送信信号は、アンテナ12510を介して、音声通信基地局または無線基地局12000に送出される。
例えば、携帯電話12500が通話モードであるとき、マイクロフォン12550によって獲得された音響信号は、中央制御部12710の制御によって、音響処理部12650でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調/復調部12660及び通信回路12610を経て送信信号に変換され、アンテナ12510を介して送出される。
データ通信モードにおいて、電子メールのようなテキストメッセージが伝送される場合、動作パネル12540を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部12640を介して、中央制御部12610に伝送される。中央制御部12610の制御により、テキストデータは、変調/復調部12660及び通信回路12610を介して送信信号に変換され、アンテナ12510を介して、無線基地局12000に送出される。
データ通信モードにおいて、映像データを伝送するために、カメラ12530によって撮影された映像データが、カメラ・インターフェース12630を介して、映像符号化部12720に提供される。カメラ12530によって撮影された映像データは、カメラ・インターフェース12630及びLCD制御部12620を介して、ディスプレイ画面12520に直ちにディスプレイされる。
映像符号化部12720の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部12720は、カメラ12530から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを多重化/逆多重化部12680に出力することができる。カメラ12530の録画中に、携帯電話12500のマイクロフォン12550によって獲得された音響信号も、音響処理部12650を経て、デジタル音響データに変換され、デジタル音響データは、多重化/逆多重化部12680に伝達することができる。
多重化/逆多重化部12680は、音響処理部12650から提供された音響データと共に、映像符号化部12720から提供された符号化された映像データを多重化する。多重化されたデータは、変調/復調部12660及び通信回路12610を介して送信信号に変換され、アンテナ12510を介して送出される。
携帯電話12500が外部から通信データを受信する過程では、アンテナ12510を介して受信された信号を、周波数復元(frequency recovery)処理及びA/D変換(analog−digital conversion)処理を介して、デジタル信号を変換する。変調/復調部12660は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部12690、音響処理部12650またはLCD制御部12620に伝達する。
携帯電話12500は、通話モードであるとき、アンテナ12510を介して受信された信号を増幅し、周波数変換処理及びA/D変換処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部12710の制御によって、変調/復調部12660及び音響処理部12650を経て、アナログ音響信号に変換され、アナログ音響信号がスピーカ12580を介して出力される。
データ通信モードにおいて、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ12510を介して、無線基地局12000から受信された信号は、変調/復調部12660の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化/逆多重化部12680に伝達される。
アンテナ12510を介して受信された多重化されたデータを復号化するために、多重化/逆多重化部12680は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス12730により、符号化されたビデオデータストリームは、ビデオ復号化部12690に提供され、符号化されたオーディオデータストリームは、音響処理部12650に提供される。
映像復号化部12690の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部12690は、前述の本発明のビデオ復号化方法を利用して、符号化されたビデオデータを復号化し、復元されたビデオデータを生成し、復元されたビデオデータを、LCD制御部12620を経て、ディスプレイ画面12520に、復元されたビデオデータを提供することができる。
それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面1252にディスプレイされる。それと同時に、音響処理部12650も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ12580に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ12580で再生される。
携帯電話12500、または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号化装置のみを含む受信端末機でもある。
本発明の通信システムは、図26を参照して説明した構造に限定されるものではない。例えば、図29は、本発明による通信システムが適用されたデジタル放送システムを図示している。図29の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星または地上波ネットワークを介して伝送されるデジタル放送を受信することができる。
具体的には、放送局12890は、電波を介して、ビデオデータストリームを通信衛星または放送衛星12900に伝送する。放送衛星12900は、放送信号を伝送し、放送信号は、家庭にあるアンテナ12860によって、衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームはTV(television)受信機12810、セットトップボックス(set-top box)12870または他のデバイスによって復号化されて再生される。
再生装置12830において、本発明のビデオ復号化装置が具現されることにより、再生装置12830が、ディスク及びメモリカードのような記録媒体12820に記録された符号化されたビデオストリームを読み取って復号化することができる。それにより、復元されたビデオ信号は、例えば、モニタ12840で再生される。
衛星/地上波放送のためのアンテナ12860、またはケーブルTV受信のためのケーブルアンテナ12850に連結されたセットトップボックス12870にも、本発明のビデオ復号化装置が搭載される。セットトップボックス12870の出力データも、TVモニタ12880で再生される。
他の例として、セットトップボックス12870の代わりに、TV受信機12810自体に本発明のビデオ復号化装置が搭載される。
適切なアンテナ12910を具備した自動車12920が、衛星12800または無線基地局11700から送出される信号を受信することもできる。自動車12920に搭載された自動車ナビゲーションシステム12930のディスプレイ画面に、復号化されたビデオが再生される。
ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的には、DVDレコーダによって、映像信号がDVDディスク12960に保存されたり、ハードディスクレコーダ12950によって、ハードディスクに映像信号が保存されたりする。他の例として、ビデオ信号は、SDカード12970に保存される。ハードディスクレコーダ12950が、一実施形態による本発明のビデオ復号化装置を具備すれば、DVDディスク12960、SDカード12970、または他の形態の記録媒体に記録されたビデオ信号が、モニタ12880で再生される。
自動車ナビゲーションシステム12930は、図28のカメラ12530、カメラ・インターフェース12630及び映像符号化部12720を含まないこともある。例えば、コンピュータ12100(図26)及びTV受信機12810も、図28のカメラ12530、カメラ・インターフェース12630及び映像符号化部12720を含まないこともある。
図30は、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティング・システムのネットワーク構造を図示している。
本発明のクラウドコンピューティング・システムは、クラウドコンピューティングサーバ14100、ユーザDB(database)14100、コンピューティング資源14200及びユーザ端末機を含んでなる。
クラウドコンピューティング・システムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源14200のオンデマンド・アウトソーシング・サービスを提供する。クラウドコンピューティング環境において、サービス・プロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザに必要とするサービスを提供する。サービスユーザは、アプリケーション(application)、ストレージ(storage)、運用体制(OS)、保安(security)のようなコンピューティング資源を各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望する時点で所望するほどに選んで使用することができる。
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ14100に接続する。ユーザ端末機は、クラウドコンピューティングサーバ14100から、クラウドコンピューティング・サービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップPC(personal computer)14300、スマートTV 14400、スマートフォン14500、ノート型パソコン14600、PMP(portable multimedia player)14700、タブレットPC 14800など、インターネット接続が可能な全ての電子機器にもなる。
クラウドコンピューティングサーバ14100は、クラウド網に分散している多数のコンピューティング資源14200を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源14200は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピューティングサーバ14100は、多くのところに分散している動画データベースを、仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザDB 14100には、クラウドコンピューティング・サービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報、住所、氏名など個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス(index)を含んでもよい。ここで、インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含んでもよい。
ユーザDB 14100に保存された動画についての情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン14600から再生要請され、ノート型パソコン14600に所定動画サービスを提供した場合、ユーザDB 14100に 所定動画サービスの再生ヒストリーが保存される。スマートフォン14500から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ14100は、ユーザDB 14100を参照し、所定動画サービスを求めて再生する。スマートフォン14500が、クラウドコンピューティングサーバ14100を介して、動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先に図27及び図28を参照して説明した携帯電話12500の動作と類似している。
クラウドコンピューティングサーバ14100は、ユーザDB 14100に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ14100は、ユーザ端末機から、ユーザDB 14100に保存された動画に対する再生要請を受信する。動画が、それ以前に再生中であったならば、クラウドコンピューティングサーバ14100は、ユーザ端末機への選択によって、最初から再生するか、以前停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ14100は、ユーザ端末機に当該動画を最初のフレームからストリーミング伝送する。一方、端末機が、以前停止時点から引き続いて再生するように要請した場合には、クラウドコンピューティングサーバ14100は、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。
そのとき、ユーザ端末機は、図1Aないし図23を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図1Aないし図23を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図1Aないし図23を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。
図1Aないし図23を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について、図24ないし図30において説明した。しかし、図1Aないし図23を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されたり、本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現されたりする多様な実施形態は、図24ないし図30の実施形態に限定されるものではない。
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということをを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。