本開示の一実施形態によれば、映像の復号方法において、映像から分割された第1カラー成分の第1符号化ブロック、及び前記第1符号化ブロックに対応する第2カラー成分の第2符号化ブロックを決定する段階と、前記第1符号化ブロックの大きさが所定サイズ以下であるならば、ビットストリームから、前記第1符号化ブロックに係わる第1分割形態モード情報、及び前記第2符号化ブロックに係わる第2分割形態モード情報を獲得する段階と、前記第1分割形態モード情報に基づき、前記第1符号化ブロックの分割モードを決定し、前記第2分割形態モード情報に基づき、前記第2符号化ブロックの分割モードを決定する段階と、前記第1符号化ブロックの分割モードに基づいて決定された第1カラー成分の符号化ブロック、及び前記第2符号化ブロックの分割モードに基づいて決定された第2カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する段階と、を含んでもよい。
一実施形態において、前記第1符号化ブロックの大きさが所定サイズより大きければ、前記第1符号化ブロック及び前記第2符号化ブロックの分割モードを既定の分割モードに決定する段階と、前記既定の分割モードにより、前記第1符号化ブロックから決定された第1カラー成分の符号化ブロック、及び前記第2符号化ブロックから決定された第2カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する段階と、をさらに含んでもよい。
前記映像の復号方法は、前記既定の分割モードにより、前記第1符号化ブロックから決定された第1カラー成分の符号化ブロックの大きさが、前記所定サイズ以下であるならば、前記第1カラー成分の符号化ブロック、及びそれに対応する第2カラー成分の符号化ブロックの分割モードを、前記ビットストリームから獲得される第1分割形態モード情報及び第2分割形態モード情報に基づき、独立して決定する段階をさらに含んでもよい。
前記第2符号化ブロックは、再帰的に分割されるが、第2符号化ブロックが再帰的に分割されることによって決定される前記第2カラー成分の符号化ブロックのチャイルド符号化ブロックの大きさが最小サイズ以下であるならば、前記第2カラー成分の符号化ブロックの分割は、許容されないのである。
前記第1符号化ブロックの許容可能な最大深度は、前記第2符号化ブロックの許容可能な最大深度よりも大きくなる。
前記映像の復号方法は、前記第1符号化ブロックの分割モードを考慮し、前記第1符号化ブロックから決定された前記第1カラー成分の符号化ブロックの分割モードを決定する段階をさらに含んでもよい。
前記映像の復号方法は、前記第1符号化ブロックから決定された前記第1カラー成分の符号化ブロックのブロック形態、及び前記第1カラー成分の符号化ブロックから決定されうるチャイルド符号化ブロックのブロック形態のうち少なくとも一つに基づき、前記第1カラー成分の符号化ブロックについて許容可能な分割モードを決定する段階と、前記許容可能な分割モード、及び前記第1カラー成分の符号化ブロックについて許容されない分割モードを区分するのに必要な情報を、前記ビットストリームからパージングしない段階と、をさらに含んでもよい。
前記第1符号化ブロックから決定された前記第1カラー成分の符号化ブロックが、第1符号化ブロックからターナリー分割された符号化ブロックのうち、所定位置の符号化ブロックに該当する場合、前記第1カラー成分の符号化ブロックの分割は、許容されないのである。
前記映像の復号方法は、前記第1カラー成分の符号化ブロックに対応する変換ブロックの幅または幅が2nに対応しない場合、幅または幅が2nに対応する符号化ブロックの変換係数を逆変換する段階をさらに含んでもよい。
前記映像の復号方法は、前記第1カラー成分の符号化ブロックに対応する変換ブロックの幅または幅が2nに対応しない場合、前記第1カラー成分の符号化ブロックの予測モードを、逆変換が不要な予測モードに決定する段階をさらに含んでもよい。
前記映像の復号方法は、前記第1カラー成分の符号化ブロックに対応する変換ブロックの幅または幅が2nに対応しない場合、前記変換ブロックの変換係数を0に決定するか、あるいは前記ビットストリームから獲得されるDC値に決定する段階をさらに含んでもよい。
前記第1カラー成分の符号化ブロックの幅または幅が2nに対応しない場合、前記第1カラー成分の符号化ブロックは、幅及び幅が2nに対応する少なくとも1つの符号化ブロックにも分割される。
本開示の一実施形態によれば、映像の復号装置において、前記映像の符号化結果を含むビットストリームを獲得するビットストリーム獲得部と、前記映像から分割された第1カラー成分の第1符号化ブロック、及び前記第1符号化ブロックに対応する第2カラー成分の第2符号化ブロックを決定し、前記第1符号化ブロックの大きさが所定サイズ以下であるならば、前記ビットストリームから、前記第1符号化ブロックに係わる第1分割形態モード情報、及び前記第2符号化ブロックに係わる第2分割形態モード情報を獲得し、前記第1分割形態モード情報に基づき、前記第1符号化ブロックの分割モードを決定し、前記第2分割形態モード情報に基づき、前記第2符号化ブロックの分割モードを決定し、前記第1符号化ブロックの分割モードに基づいて決定された第1カラー成分の符号化ブロック、及び前記第2符号化ブロックの分割モードに基づいて決定された第2カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する復号部と、を含んでもよい。
本開示の一実施形態によれば、映像の符号化方法において、映像から分割された第1カラー成分の第1符号化ブロック、及び前記第1符号化ブロックに対応する第2カラー成分の第2符号化ブロックを決定する段階と、前記第1符号化ブロックの大きさが所定サイズ以下であるならば、前記第1符号化ブロックに係わる第1分割モード、及び前記第2符号化ブロックに係わる第2分割形態モードを決定する段階と、前記第1符号化ブロックの分割モードに基づいて決定された第1カラー成分の符号化ブロック、及び前記第2符号化ブロックの分割モードに基づいて決定された第2カラー成分の符号化ブロックを符号化する段階と、前記第1分割モードを示す第1分割形態モード情報及び前記第2分割モードを示す第2分割形態モード情報を含むビットストリームを生成する段階と、を含んでもよい。
本開示は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、それについて詳細な説明を介して詳細に説明する。しかし、それらは、本開示の実施形態について限定するものではなく、本開示は、さまざまな実施形態の思想及び技術範囲に含まれる全ての変更、均等物あるいは代替物を含むものであると理解されなければならない。
本実施形態についての説明において、関連公知技術に係わる具体的な説明が、本開示の要旨を必要以上に不明確にしうると判断される場合、その詳細な説明を省略する。また、明細書の説明過程において利用される数(例えば、第1、第2など)は、1つの構成要素を他の構成要素と区分するための識別記号に過ぎない。
また、本明細書において、一構成要素が他の構成要素と「連結される」としたり、「接続される」としたりするように言及されたときには、前記一構成要素が、前記他の構成要素と直接連結されるか、あるいは直接接続されもするが、特別に反対となる記載が存在しない以上、中間に、さらに他の構成要素を媒介させて連結されたり、接続されたりもすると理解されなければならないのである。
また、本明細書において、「~部(ユニット)」、「モジュール」のように表現される構成要素は、2個以上の構成要素が1つの構成要素に合わされるか、あるいは1つの構成要素がさらに細分化され、機能別に2個以上にも分化される。また、以下で説明する構成要素それぞれは、自体が担当する主機能以外にも、他の構成要素が担当する機能のうち一部、または全部の機能を追加して遂行することもでき、該構成要素それぞれが担当する主機能のうち一部機能が、他の構成要素によって専用担当されても遂行されるということは、言うまでもない。
また、本明細書において、「映像(image)」または「ピクチャ」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示すことができる。
また、本明細書において「サンプル」は、映像のサンプリング位置に割り当てられたデータであって、プロセシング対象になるデータを意味する。例えば、空間領域の映像において、画素値、変換領域上の変換係数がサンプルでもある。そのような少なくとも1つのサンプルを含む単位をブロックと定義することができる。
以下においては、図1ないし図24を参照し、一実施形態による、ツリー構造の符号化単位及び変換単位に基づく、映像符号化方法及びその装置、映像復号方法及びその装置が開示される。
図1は、一実施形態による映像復号装置100のブロック図を図示する。
映像復号装置100は、ビットストリーム獲得部110及び復号部120を含んでもよい。
ビットストリーム獲得部110及び復号部120は、少なくとも1つのプロセッサを含んでもよい。また、ビットストリーム獲得部110及び復号部120は、少なくとも1つのプロセッサが遂行するインストラクションを保存するメモリを含んでもよい。
ビットストリーム獲得部110は、ビットストリームを受信することができる。該ビットストリームは、後述される映像符号化装置200が映像を符号化した情報を含む。また、該ビットストリームは、映像符号化装置200からも送信される。映像符号化装置200及び映像復号装置100は、有線または無線によっても連結され、ビットストリーム獲得部110は、有線ネットワークまたは無線ネットワークを介し、該ビットストリームを受信することができる。ビットストリーム獲得部110は、光学メディア、ハードディスクのような記録媒体から該ビットストリームを受信することもできる。
復号部120は、受信されたビットストリームから獲得された情報に基づき、映像を復元することができる。復号部120は、映像復元のためのシンタックスエレメントをビットストリームから獲得することができる。復号部120は、該シンタックスエレメントに基づき、映像を復元することができる。
復号部120の動作について詳細に説明すれば、復号部120は、ビットストリームから、符号化単位の分割形態モードに対応するビンストリングを獲得する動作を遂行することができる。そして、復号部120は、符号化単位の分割規則を決定する動作を遂行することができる。また、復号部120は、分割形態モードに対応するビンストリング、及び前記分割規則のうち少なくとも一つに基づき、符号化単位を、複数の符号化単位に分割する動作を遂行することができる。
以下においては、本開示の一実施形態により、符号化単位の分割について詳細に説明する。
まず、1つの映像は1以上のスライス、または1以上のタイルにも分割される。1つのスライス、または1つのタイルは、1以上の最大符号化単位(CTU:coding tree unit)のシーケンスでもある。最大符号化単位(CTU)と対比される概念として、最大符号化ブロック(CTB:coding tree block)がある。
最大符号化ブロック(CTB)は、NxN個のサンプルを含むNxNブロックを意味する(Nは、整数である)。各カラー成分は、1以上の最大符号化ブロックにも分割される。
映像が3個のサンプルアレイ(Y,Cr,Cb成分別のサンプルアレイ)を有する場合、最大符号化単位(CTU)とは、ルマサンプルの最大符号化ブロック、及びそれに対応するクロマサンプルの2個の最大符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。映像がモノクローム映像である場合、最大符号化単位とは、モノクロームサンプルの最大符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。
1つの最大符号化ブロック(CTB)は、MxN個のサンプルを含むMxN符号化ブロ
ック(coding block)にも分割される(M、Nは、整数である)。
映像がY,Cr,Cb成分別サンプルアレイを有する場合、符号化単位(CU:coding unit)とは、ルマサンプルの符号化ブロック、及びそれに対応するクロマサンプルの2個の符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。映像がモノクローム映像である場合、符号化単位とは、モノクロームサンプルの符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。
前述のように、最大符号化ブロックと最大符号化単位は、互いに区別される概念であり、符号化ブロックと符号化単位は、互いに区別される概念である。すなわち、(最大)符号化単位は、サンプルを含む(最大)符号化ブロックと、それに対応するシンタックス構造と、を含むデータ構造を意味する。しかし、当業者が(最大)符号化単位または(最大)符号化ブロックが所定個数のサンプルを含む所定サイズのブロックを指すということを理解することができるので、以下、明細書においては、最大符号化ブロック及び最大符号化単位、または符号化ブロック及び符号化単位を、特別な事情がない限り、区別せずに言及する。
映像は、最大符号化単位(CTU)にも分割される。最大符号化単位の大きさは、ビットストリームから獲得された情報に基づいても決定される。最大符号化単位の形態は、同一サイズの正方形を有することができる。しかし、それに限定されるものではない。
例えば、ビットストリームから、ルマ符号化ブロックの最大サイズに係わる情報が獲得されうる。例えば、ルマ符号化ブロックの最大サイズに係わる情報が示すルマ符号化ブロックの最大サイズは、4x4、8x8、16x16、32x32、64x64、128x128、256x256のうち一つでもある。
例えば、ビットストリームから、2分割が可能なルマ符号化ブロックの最大サイズに係わる情報と、ルマブロック大きさ差に係わる情報とが獲得されうる。ルマブロックサイズ差に係わる情報は、最大ルマ符号化ブロックと、2分割が可能な最大ルマ符号化ブロックとの大きさ差を示すことができる。従って、ビットストリームから獲得された2分割が可能なルマ符号化ブロックの最大サイズに係わる情報と、ルマブロックサイズ差に係わる情報と、を結合すれば、ルマ最大符号化ブロックの大きさが決定されうる。ルマ最大符号化ブロックの大きさを利用すれば、クロマ最大符号化ブロックの大きさも決定されうる。例えば、カラーフォーマットにより、Y:Cb:Cr比率が4:2:0であるならば、クロマブロックの大きさは、ルマブロックの大きさの半分でもあり、同様に、クロマ最大符号化ブロックの大きさは、ルマ最大符号化ブロックの大きさの半分でもある。
一実施形態によれば、バイナリー分割(binary split)が可能なルマ符号化ブロックの最大サイズに係わる情報は、ビットストリームから獲得するので、バイナリー分割が可能なルマ符号化ブロックの最大サイズは、可変的に決定されうる。それと異なり、ターナリー分割(ternary split)が可能なルマ符号化ブロックの最大サイズは、固定されうる。例えば、I映像において、ターナリー分割が可能なルマ符号化ブロックの最大サイズは、32x32であり、P映像またはB映像において、ターナリー分割が可能なルマ符号化ブロックの最大サイズは、64x64でもある。
また、最大符号化単位は、ビットストリームから獲得された分割形態モード情報に基づき、符号化単位に階層的にも分割される。分割形態モード情報として、多分割いかんを示す情報、クアッド分割(quad split)いかんを示す情報、分割方向情報、及び分割タイプ情報のうち少なくとも一つがビットストリームから獲得されうる。
例えば、多分割いかんを示す情報は、現在符号化単位がそれ以上分割されないか(NO_SPLIT)、あるいは分割されるか(SPLIT)ということを示すことができる。
現在符号化単位が分割される場合、クアッド分割(quad split)いかんを示す情報は、現在符号化単位がクアッド分割(QUAD_SPLIT)されるか、あるいはクアッド分割されないかということを示すことができる。
現在符号化単位がクアッド分割されなければ、分割方向情報は、現在符号化単位が、水平方向または垂直方向のうち一つに分割されることを示す。
現在符号化単位が水平方向または垂直方向に分割されれば、分割タイプ情報は、現在符号化単位がバイナリー分割またはターナリー分割によって分割されることを示す。
分割方向情報及び分割タイプ情報により、現在符号化単位の分割モードが決定されうる。現在符号化単位が水平方向にバイナリー分割される場合の分割モードは、バイナリー水平分割(SPLIT_BT_HOR)、水平方向にターナリー分割される場合の分割モードは、ターナリー水平分割(SPLIT_TT_HOR)、垂直方向にバイナリー分割される場合の分割モードは、バイナリー垂直分割(SPLIT_BT_VER)、及び垂直方向にターナリー分割される場合の分割モードは、ターナリー垂直分割(SPLIT_BT_VER)に決定されうる。
復号部120は、ビットストリームから、分割形態モード情報を1つのビンストリングから獲得することができる。ビットストリーム獲得部110が受信したビットストリームの形態は、Fixed length binary code、Unary code、Truncated unary code、既定のバイナリーコードなどを含んでもよい。該ビンストリングは、情報を2進数の羅列で示したものである。該ビンストリングは、少なくとも1ビットによっても構成される。復号部120は、分割規則に基づき、該ビンストリングに対応する分割形態モード情報を獲得することができる。復号部120は、1つのビンストリングに基づき、符号化単位を分割しないか否かということ、クアッド分割するか否かということ、分割方向及び分割タイプを決定することができる。
符号化単位は、最大符号化単位より小さいか、あるいはそれと同じでもある。例えば、最大符号化単位も、最大サイズを有する符号化単位であるので、符号化単位の一つである。最大符号化単位に係わる分割形態モード情報が分割されないということを示す場合、最大符号化単位に決定される符号化単位は、最大符号化単位と同サイズを有する。最大符号化単位に係わる分割形態モード情報が分割されることを示す場合、最大符号化単位は、符号化単位にも分割される。また、符号化単位に係わる分割形態モード情報が分割を示す場合、符号化単位は、さらに小サイズの符号化単位にも分割される。ただし、映像の分割は、それに限定されるものではなく、最大符号化単位及び符号化単位は、区別されえない。符号化単位の分割については、図3ないし図16において、さらに詳細に説明する。
また、符号化単位から、予測のための1以上の予測単位が決定されうる。予測単位の大きさは、符号化単位の大きさと同じであるか、あるいは符号化単位の大きさよりも小さい。また、符号化単位から、変換のための1以上の変換単位が決定されうる。変換単位の大きさは、符号化単位の大きさと同じであるか、あるいは符号化単位の大きさよりも小さい。
変換単位と予測単位との形態及び大きさは、互いに係わりがないのである。
一実施形態において、符号化単位が予測単位として、符号化単位を利用した予測が行われうる。また、符号化単位が変換単位として、符号化単位を利用した変換が行われうる。
多様な分割形態モードにより、符号化単位から決定される変換単位の幅または高さが2n(nは、整数である)に該当しないのである。言い換えれば、変換単位の幅方向または高さ方向に沿って配列されたサンプルの個数が、2n個に該当しないのである。変換単位に含まれる変換係数を逆変換するための変換カーネル(transform kernel)の幅及び高さが2nに該当する場合、幅または高さが2nに該当しない変換単位に対する逆変換に変換カーネルを利用することができない。その場合、幅または高さが2nに該当しない変換カーネルが必要になるが、それは、変換及び逆変換の複雑性を増大させることになる。従って、本開示においては、変換単位の幅または高さが2nに該当せず、正確な周波数変換または周波数逆変換がなされない問題点を解決するための方案を提案する。それについては、図21及び図22を参照して後述する。
符号化単位の分割については、図3ないし図16において、さらに詳細に説明する。
図3は、一実施形態により、復号部120が現在符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
ブロック形態は、4Nx4N、4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxNまたはNx8Nを含んでもよい。ここで、Nは、正の整数でもある。ブロック形態情報は、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つを示す情報である。
符号化単位の形態は、正方形(square)及び非正方形(non-square)を含んでもよい。符号化単位の幅及び高さが同じである場合(すなわち、符号化単位のブロック形態が、4Nx4Nである場合)、復号部120は、符号化単位のブロック形態情報を正方形に決定することができる。
符号化単位の幅及び高さが異なる場合(すなわち、符号化単位のブロック形態が、4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxNまたはNx8Nである場合)、復号部120は、符号化単位のブロック形態情報を非正方形に決定することができる。符号化単位の形態が非正方形である場合、復号部120は、符号化単位のブロック形態情報において、幅及び高さの比率を、1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32、32:1のうち少なくとも一つに決定することができる。また、符号化単位の幅の長さ及び高さの長さに基づき、復号部120は、符号化単位が水平方向であるか、あるいは垂直方向であるかということを決定することができる。また、符号化単位の幅の長さ、高さの高さ、または広さのうち少なくとも一つに基づき、復号部120は、符号化単位の大きさを決定することができる。
一実施形態により、復号部120は、ブロック形態情報を利用し、符号化単位の形態を決定することができ、分割形態モード情報を利用し、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、復号部120が利用するブロック形態情報が、いかなるブロック形態を示すかということにより、分割形態モード情報が示す符号化単位の分割方法が決定されうる。
復号部120は、ビットストリームから、分割形態モード情報を獲得することができる。しかし、それに限定されるものではなく、復号部120及び映像符号化装置200の符号化部220は、ブロック形態情報に基づき、あらかじめ約束された分割形態モード情報を決定することができる。復号部120は、最大符号化単位または最小符号化単位に対し、あらかじめ約束された分割形態モード情報を決定することができる。例えば、復号部120は、最大符号化単位に対し、分割形態モード情報をクアッド分割と決定することができる。また、復号部120は、最小符号化単位に対し、分割形態モード情報を「分割しない」と決定することができる。具体的には、復号部120は、最大符号化単位の大きさを256x256に決定することができる。復号部120は、あらかじめ約束された分割形態モード情報をクアッド分割に決定することができる。クアッド分割は、符号化単位の幅及び高さをいずれも二等分する分割形態モードである。復号部120は、分割形態モード情報に基づき、256x256サイズの最大符号化単位から、128x128サイズの符号化単位を獲得することができる。また、復号部120は、最小符号化単位の大きさを4x4に決定することができる。復号部120は、最小符号化単位に対し、「分割しない」を示す分割形態モード情報を獲得することができる。
また、復号部120は、親(parent)符号化単位の分割形態モード情報に基づき、チャイルド(child)符号化単位の分割形態モード情報を決定することができる。チャイルド符号化単位は、符号符号化単位から分割された符号化単位を意味する。例えば、親符号化単位の分割形態モード情報がバイナリー垂直分割である場合、チャイルド符号化単位の分割形態は、バイナリー垂直分割以外の分割形態でもある。
また、復号部120は、親符号化単位が分割されることによって生成されるチャイルド符号化単位のブロック形態を考慮し、親符号化単位の分割形態を決定することもできる。例えば、親符号化単位が、ターナリー垂直分割されることによって生成されるチャイルド符号化単位の大きさが、既定の大きさより小さければ、復号部120は、親符号化単位の分割形態を、ターナリー垂直分割以外の分割形態に決定することができる。
一実施形態により、復号部120は、現在符号化単位が正方形状であるということを示すブロック形態情報を利用することができる。例えば、復号部120は、分割形態モード情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、4個の符号化単位に分割するかということなどを決定することができる。
図3を参照すれば、現在符号化単位300のブロック形態情報が、正方形状を示す場合、復号部120は、分割されないことを示す分割形態モード情報により、現在符号化単位300から分割されていない符号化単位310aを決定するか、あるいは所定分割方法を示す分割形態モード情報に基づき、現在符号化単位300から分割された符号化単位310b,310c,310d,310e,310fを決定することができる。
図3を参照すれば、復号部120は、一実施形態により、垂直方向にバイナリー分割されることを示す分割形態モード情報に基づき、現在符号化単位300を垂直方向に分割した2つの符号化単位310bを決定することができる。復号部120は、水平方向にバイナリー分割されることを示す分割形態モード情報に基づき、現在符号化単位300を水平方向に分割した2つの符号化単位310cを決定することができる。復号部120は、垂直方向及び水平方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位300を、垂直方向及び水平方向に分割した4つの符号化単位310dを決定することができる。復号部120は、垂直方向にターナリー分割されることを示す分割形態モード情報に基づき、現在符号化単位300を垂直方向に分割した3つの符号化単位310eを決定することができる。復号部120は、水平方向にターナリー分割されることを示す分割形態モード情報に基づき、現在符号化単位300を水平方向に分割した3つの符号化単位310fを決定することができる。ただし、正方形の符号化単位が分割されうる分割形態は、前述の形態に限定して解釈されるものではなく、分割形態モード情報が示すことができる多様な形態が含まれてもよい。正方形の符号化単位の分割形態は、以下において、多様な実施形態を介して具体的に説明することにする。
図4は、一実施形態により、復号部120が非正方形状である符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
一実施形態により、復号部120は、現在符号化単位が非正方形状であるということを示すブロック形態情報を利用することができる。復号部120は、分割形態モード情報により、非正方形の現在符号化単位を分割しないか、あるいは所定方法によって分割するかということを決定することができる。図4を参照すれば、現在符号化単位400または450のブロック形態情報が非正方形状を示す場合、復号部120は、分割されないことを示す分割形態モード情報により、現在符号化単位400または450と同一サイズを有する符号化単位410または460を決定するか、あるいは所定分割方法を示す分割形態モード情報に基づいて分割された符号化単位420a、420b,430a,430b,430c,470a,470b,480a,480b,480cを決定することができる。非正方形の符号化単位が分割される所定分割方法は、以下において、多様な実施形態を介して具体的に説明することにする。
一実施形態により、復号部120は、分割形態モード情報を利用し、符号化単位が分割される形態を決定することができ、その場合、分割形態モード情報は、符号化単位が分割されて生成される少なくとも1つの符号化単位の個数を示すことができる。図4を参照すれば、分割形態モード情報が2つの符号化単位に、現在符号化単位400または450が分割されることを示す場合、復号部120は、分割形態モード情報に基づき、現在符号化単位400または450を分割し、現在符号化単位に含まれる2つの符号化単位420a,420bまたは470a,470bを決定することができる。
一実施形態により、復号部120が分割形態モード情報に基づき、非正方形状の現在符号化単位400または450を分割する場合、復号部120は、非正方形の現在符号化単位400または450の長辺位置を考慮し、現在符号化単位を分割することができる。例えば、復号部120は、現在符号化単位400または450の形態を考慮し、現在符号化単位400または450の長辺を分割する方向に、現在符号化単位400または450を分割し、複数個の符号化単位を決定することができる。
一実施形態により、分割形態モード情報が、奇数個のブロックに符号化単位を分割(ターナリー分割)することを示す場合、復号部120は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができる。例えば、分割形態モード情報が、3個の符号化単位に、現在符号化単位400または450を分割することを示す場合、復号部120は、現在符号化単位400または450を、3個の符号化単位430a,430b,430cまたは480a,480b,480cに分割することができる。
一実施形態により、現在符号化単位400または450の幅及び高さの比率が、4:1または1:4でもある。幅及び高さの比率が4:1である場合、幅の長さが高さの高さより大きいので、ブロック形態情報は、水平方向でもある。幅及び高さの比率が1:4である場合、幅の長さが高さの高さより小さいので、ブロック形態情報は、垂直方向にもある。復号部120は、分割形態モード情報に基づき、現在符号化単位を奇数個のブロックに分割することを決定することができる。また、復号部120は、現在符号化単位400または450のブロック形態情報に基づき、現在符号化単位400または450の分割方向を決定することができる。例えば、現在符号化単位400が垂直方向である場合、復号部120は、現在符号化単位400を水平方向に分割し、符号化単位430a,430b,430cを決定することができる。また、現在符号化単位450が水平方向である場合、復号部120は、現在符号化単位450を垂直方向に分割し、符号化単位480a,480b,480cを決定することができる。
一実施形態により、復号部120は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさがいずれも同一ではないのである。例えば、決定された奇数個の符号化単位430a,430b,430c,480a,480b,480cにおいて、所定符号化単位430bまたは480bの大きさは、他の符号化単位430a,430c,480a,480cとは異なる大きさを有することもできる。すなわち、現在符号化単位400または450が分割されて決定されうる符号化単位は、複数種類の大きさを有することができ、場合によっては、奇数個の符号化単位430a,430b,430c,480a,480b,480cがそれぞれ互いに異なる大きさを有することもできる。
一実施形態により、分割形態モード情報が、奇数個のブロックに符号化単位が分割されることを示す場合、復号部120は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、さらには、復号部120は、分割されて生成される奇数個の符号化単位のうち少なくとも1つの符号化単位に対し、所定制限を置くことができる。図4を参照すれば、復号部120は、現在符号化単位400または450が分割されて生成された3個の符号化単位430a,430b,430c,480a,480b,480cのうち、中央に位置する符号化単位430b,480bに対する復号過程を、他の符号化単位430a,430c,480a,480cと異ならせることができる。例えば、復号部120は、中央に位置する符号化単位430b,480bについては、他の符号化単位430a,430c,480a,480cと異なり、それ以上分割されないように制限するか、あるいは所定回数ほどだけ分割されるように制限することができる。
図5は、一実施形態により、復号部120が、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、符号化単位を分割する過程を図示する。
一実施形態により、復号部120は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、正方形状の第1符号化単位500を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、分割形態モード情報が、水平方向に第1符号化単位500を分割することを示す場合、復号部120は、第1符号化単位500を水平方向に分割し、第2符号化単位510d,510eを決定することができる。一実施形態により、利用される第1符号化単位、第2符号化単位、第3符号化単位は、符号化単位間の分割前後関係理解のために利用された用語である。例えば、第1符号化単位を分割すれば、第2符号化単位が決定され、第2符号化単位が分割されれば、第3符号化単位が決定されうる。以下においては、利用される第1符号化単位、第2符号化単位及び第3符号化単位の関係は、前述の特徴によるとも理解される。
一実施形態により、復号部120は、第2符号化単位510eを、分割形態モード情報に基づき、第3符号化単位に分割するか、あるいは分割しないと決定することができる。図5を参照すれば、復号部120は、分割形態モード情報に基づき、第1符号化単位500を分割して決定された非正方形状の第2符号化単位510eを、少なくとも1つの第3符号化単位520a,520b,520c,520dに分割するとか、あるいは第2符号化単位510eを分割しないのである。
復号部120は、分割形態モード情報を獲得することができ、復号部120は、獲得した分割形態モード情報に基づき、第1符号化単位500を分割し、多様な形態の複数個の第2符号化単位510b,510c,510d,510e,510f,510g,510h,510iを決定することができ、第2符号化単位510b,510c,510d,510e,510f,510g,510h,510iは、分割形態モード情報に基づき、第1符号化単位500が分割された方式によっても分割される。一実施形態により、第1符号化単位500が、第1符号化単位500に係わる分割形態モード情報に基づき、第2符号化単位510b,510c,510d,510e,510f,510g,510h,510iに分割された場合、第2符号化単位510b,510c,510d,510e,510f,510g,510h,510iも、第2符号化単位510b,510c,510d,510e,510f,510g,510h,510iに係わる分割形態モード情報に基づき、第3符号化単位にも分割される。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態モード情報に基づき、再帰的にも分割される。従って、非正方形状の符号化単位において、正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定されうる。一実施形態により、第1符号化単位500が、第1符号化単位500に係わる分割形態モード情報に基づき、第2符号化単位510b,510c,510d,510e,510f,510g,510h,510iに分割された場合、第2符号化単位510b,510c,510d,510e,510f,510g,510h,510iの分割形態は、第1符号化単位500の分割形態以外の分割形態を有することができる。例えば、第1符号化単位500の分割形態モード情報が、クアッド分割を示す場合、第2符号化単位510f,510g,510h,510iの分割形態は、クアッド分割以外の分割形態を有することができる。その場合、復号部120は、第2符号化単位510f,510g,510h,510iの分割形態モードを決定するとき、クアッド分割いかんを示す情報は、ビットストリームからパージングしないのである。また、第1符号化単位500の分割形態モード情報がバイナリー垂直分割を示す場合、第2符号化単位510b,510cの分割形態は、バイナリー垂直分割以外の分割形態を有することができる。その場合、復号部120は、第2符号化単位510b,510cの分割形態を決定するとき、垂直方向を示す分割方向情報、及びバイナリー分割を示す分割タイプ情報は、ビットストリームからパージングしないのである。
図5を参照すれば、非正方形状の第2符号化単位510eが分割されて決定される奇数個の第3符号化単位520b,520c,520dにおいて、所定符号化単位(例えば、真ん中に位置する符号化単位、または正方形状の符号化単位)は、再帰的にも分割される。一実施形態により、奇数個の第3符号化単位520b,520c,520dのうち1つの正方形状の第3符号化単位520cは、水平方向に分割され、複数個の第4符号化単位にも分割される。複数個の第4符号化単位530a,530b,530c,530dのうち1つの非正方形状の第4符号化単位530bまたは530dは、さらに複数個の符号化単位にも分割される。例えば、非正方形状の第4符号化単位530bまたは530dは、奇数個の符号化単位にもさらに分割される。符号化単位の再帰的分割に利用されうる方法については、多様な実施形態を介して後述することにする。
一実施形態により、復号部120は、分割形態モード情報に基づき、第3符号化単位520a,520b,520c,520dそれぞれを、第4符号化単位に分割することができる。また、復号部120は、分割形態モード情報に基づき、第2符号化単位510b,510c,510d,510e,510f,510g,510h,510iを分割しないと決定することができる。復号部120は、一実施形態により、非正方形状の第2符号化単位510eを、奇数個の第3符号化単位520b,520c,520dに分割することができる。復号部120は、奇数個の第3符号化単位520b,520c,520dのうち所定第3符号化単位に対し、所定制限を置くことができる。例えば、復号部120は、奇数個の第3符号化単位520b,520c,520dのうち、真ん中に位置する符号化単位520cについては、それ以上分割されないように制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。
図5を参照すれば、復号部120は、非正方形状の第2符号化単位510eに含まれる奇数個の第3符号化単位520b,520c,520dのうち、真ん中に位置する符号化単位520cは、それ以上分割されないか、あるいは所定分割形態に分割(例えば、4個の符号化単位への分割、第2符号化単位510eの分割形態と同一分割形態への分割、第2符号化単位510eの分割形態以外の分割形態への分割、または第2符号化単位510eの分割方向以外の分割方向への分割)されると制限するか、あるいは所定回数だけに分割(例えば、n回だけ分割、n>0)されると制限することができる。本開示において、符号化単位の分割形態が、所定分割形態(例えば、分割せず、クアッド分割、バイナリー水平分割、バイナリー垂直分割、ターナリー水平分割またはターナリー垂直分割)に制限されるというのは、符号化単位が、所定分割形態だけに分割されうるということを意味する。また、符号化単位の分割回数が、所定分割回数に制限されるというのは、符号化単位が、所定分割回数だけに分割可能であるということを意味する。
奇数個の第3符号化単位520b,520c,520dのうち、真ん中に位置する符号化単位520cの分割が許容されない場合、復号部120は、真ん中に位置する符号化単位520cの分割形態モード情報を、ビットストリームからパージングしないのである。また、奇数個の第3符号化単位520b,520c,520dのうち、真ん中に位置する符号化単位520cの分割形態が、所定分割形態に制限された場合、復号部120は、前記所定分割形態を決定するために必要な情報を、ビットストリームからパージングしないのである。例えば、復号部120は、符号化単位520cの分割形態が水平分割に制限される場合、水平方向または垂直方向を示す分割方向情報は、ビットストリームからパージングしないのである。復号部120は、符号化単位520cの分割形態がバイナリー分割に制限される場合、バイナリー分割またはターナリー分割を示す分割タイプ情報は、ビットストリームからパージングしないのである。ただし、真ん中に位置した符号化単位520cに対する前記制限は、単なる実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位520cが、他の符号化単位520b,520dと異なるようにも復号される多様な制限を含むものであると解釈されなければならない。
一実施形態により、復号部120は、現在符号化単位を分割するために利用される分割形態モード情報を、現在符号化単位内の所定位置から獲得することができる。
図6は、一実施形態により、復号部120が、奇数個の符号化単位のうち所定符号化単位を決定するための方法を図示する。
図6を参照すれば、現在符号化単位600,650の分割形態モード情報は、現在符号化単位600,650に含まれる複数個のサンプルのうち所定位置のサンプル(例えば、真ん中に位置するサンプル640,690)からも獲得される。ただし、そのような分割形態モード情報のうち少なくとも一つが獲得されうる現在符号化単位600内の所定位置が、図6で図示する真ん中位置に限定して解釈されるものではなく、所定位置には、現在符号化単位600内に含まれうる多様な位置(例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端)が含まれてもよいと解釈されなければならない。復号部120は、所定位置から獲得される分割形態モード情報を獲得し、現在符号化単位を、多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。
一実施形態により、復号部120は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち1つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様でもあり、そのような方法に係わる説明は、以下の多様な実施形態を介して後述することにする。
一実施形態により、復号部120は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
一実施形態により、復号部120は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図6を参照すれば、復号部120は、現在符号化単位600または現在符号化単位650を分割し、奇数個の符号化単位620a,620b,620c、または奇数個の符号化単位660a,660b,660cを決定することができる。復号部120は、奇数個の符号化単位620a,620b,620c、または奇数個の符号化単位660a,660b,660cの位置に係わる情報を利用し、真ん中符号化単位620bまたは真ん中符号化単位660bを決定することができる。例えば、復号部120は、符号化単位620a,620b,620cに含まれる所定サンプルの位置を示す情報に基づき、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。具体的には、復号部120は、符号化単位620a,620b,620cの左側上端のサンプル630a,630b,630cの位置を示す情報に基づき、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。
一実施形態により、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、符号化単位620a,620b,620cの映像内における位置または座標に係わる情報を含んでもよい。一実施形態により、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、現在符号化単位600に含まれる符号化単位620a,620b,620cの幅または高さを示す情報を含んでもよく、そのような幅または高さは、符号化単位620a,620b,620cの映像内における座標間差を示す情報にも該当する。すなわち、復号部120は、符号化単位620a,620b,620cの映像内における位置または座標に係わる情報を直接利用するか、あるいは座標間差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位620bを決定することができる。
一実施形態により、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報は、(xa,ya)座標を示すことができ、真ん中符号化単位620bの左側上端のサンプル530bの位置を示す情報は、(xb,yb)座標を示すことができ、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報は、(xc,yc)座標を示すことができる。復号部120は、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの座標を利用し、真ん中符号化単位620bを決定することができる。例えば、左側上端のサンプル630a,630b,630cの座標を昇順または降順に整列させたとき、真ん中に位置するサンプル630bの座標である(xb,yb)を含む符号化単位620bを、現在符号化単位600が分割されて決定された符号化単位620a,620b,620cのうち、真ん中に位置する符号化単位に決定することができる。ただし、左側上端のサンプル630a,630b,630cの位置を示す座標は、映像内における絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位620aの左側上端のサンプル630aの位置を基準に、真ん中符号化単位620bの左側上端のサンプル630bの相対的位置を示す情報である(dxb,dyb)座標、下端符号化単位620cの左側上端のサンプル630cの相対的位置を示す情報である(dxc,dyc)座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法と解釈されなければならない。
一実施形態により、復号部120は、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、符号化単位620a,620b,620cのうち、所定基準により、符号化単位を選択することができる。例えば、復号部120は、符号化単位620a,620b,620cのうち大きさが異なる符号化単位620bを選択することができる。
一実施形態により、復号部120は、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報である(xa,ya)座標、真ん中符号化単位620bの左側上端のサンプル630bの位置を示す情報である(xb,yb)座標、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報である(xc,yc)座標を利用し、符号化単位620a,620b,620cそれぞれの幅または高さを決定することができる。復号部120は、符号化単位620a,620b,620cの位置を示す座標である(xa,ya)、(xb,yb)、(xc,yc)を利用し、符号化単位620a,620b,620cそれぞれの大きさを決定することができる。一実施形態により、復号部120は、上端符号化単位620aの幅を、現在符号化単位600の幅に決定することができる。復号部120は、上端符号化単位620aの高さを、yb-yaに決定することができる。一実施形態により、復号部120は、真ん中符号化単位620bの幅を、現在符号化単位600の幅に決定することができる。復号部120は、真ん中符号化単位620bの高さを、yc-ybに決定することができる。一実施形態により、復号部120は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位620a及び真ん中符号化単位620bの幅及び高さと、を利用して決定することができる。復号部120は、決定された符号化単位620a,620b,620cの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、復号部120は、上端符号化単位620a及び下端符号化単位620cの大きさと異なる大きさを有する真ん中符号化単位620bを、所定位置の符号化単位に決定することができる。ただし、前述の復号部120が、他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定サンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。
復号部120は、左側符号化単位660aの左側上端のサンプル670aの位置を示す情報である(xd,yd)座標、真ん中符号化単位660bの左側上端のサンプル670bの位置を示す情報である(xe,ye)座標、右側符号化単位660cの左側上端のサンプル670cの位置を示す情報である(xf,yf)座標を利用し、符号化単位660a,660b,660cそれぞれの幅または高さを決定することができる。復号部120は、符号化単位660a,660b,660cの位置を示す座標である(xd,yd)、(xe,ye)、(xf,yf)を利用し、符号化単位660a,660b,660cそれぞれの大きさを決定することができる。
一実施形態により、復号部120は、左側符号化単位660aの幅を、xe-xdに決定することができる。復号部120は、左側符号化単位660aの高さを、現在符号化単位650の高さと決定することができる。一実施形態により、復号部120は、真ん中符号化単位660bの幅を、xf-xeに決定することができる。復号部120は、真ん中符号化単位660bの高さを、現在符号化単位600の高さと決定することができる。一実施形態により、復号部120は、右側符号化単位660cの幅または高さは、現在符号化単位650の幅または高さと、左側符号化単位660a及び真ん中符号化単位660bの幅及び高さと、を利用して決定することができる。復号部120は、決定された符号化単位660a,660b,660cの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、復号部120は、左側符号化単位660a及び右側符号化単位660cの大きさと異なる大きさを有する真ん中符号化単位660bを、所定位置の符号化単位に決定することができる。ただし、前述の復号部120が、他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定サンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されうるとも解釈される。
一実施形態により、復号部120は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位において、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、復号部120は、水平方向に沿い、所定位置の符号化単位を決定することができる。すなわち、復号部120は、水平方向に位置を異ならせる符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、復号部120は、垂直方向に沿い、所定位置の符号化単位を決定することができる。すなわち、復号部120は、垂直方向に位置を異ならせる符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。
一実施形態により、復号部120は、偶数個の符号化単位において、所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。復号部120は、現在符号化単位を分割(バイナリー分割)し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図6において説明した奇数個の符号化単位において、所定位置(例えば、真ん中位置)の符号化単位を決定する過程に対応する過程でもあるので、省略することにする。
一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位において、所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定情報を利用することができる。例えば、復号部120は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態モード情報のうち少なくとも一つを利用することができる。
図6を参照すれば、復号部120は、分割形態モード情報に基づき、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、複数個の符号化単位620a,620b,620cのうち、真ん中に位置する符号化単位620bを決定することができる。さらには、復号部120は、分割形態モード情報が獲得される位置を考慮し、真ん中に位置する符号化単位620bを決定することができる。すなわち、現在符号化単位600の分割形態モード情報は、現在符号化単位600の真ん中に位置するサンプル640からも獲得され、前記分割形態モード情報に基づき、現在符号化単位600が、複数個の符号化単位620a,620b,620cに分割された場合、前記サンプル640を含む符号化単位620bを、真ん中に位置する符号化単位に決定することができる。ただし、真ん中に位置する符号化単位に決定するために利用される情報が、分割形態モード情報に限定して解釈されるものではなく、多様な種類の情報が、真ん中に位置する符号化単位を決定する過程で利用されうる。
一実施形態により、所定位置の符号化単位を識別するための所定情報は、決定する符号化単位に含まれる所定サンプルからも獲得される。図6を参照すれば、復号部120は、現在符号化単位600が分割されて決定された複数個の符号化単位620a,620b,620cのうち所定位置の符号化単位(例えば、複数個に分割された符号化単位のうち、真ん中に位置する符号化単位)を決定するために、現在符号化単位600内の所定位置のサンプル(例えば、現在符号化単位600の真ん中に位置するサンプル)から獲得される分割形態モード情報を利用することができる。すなわち、復号部120は、現在符号化単位600のブロック形態を考慮し、前記所定位置のサンプルを決定することができ、復号部120は、現在符号化単位600が分割されて決定される複数個の符号化単位620a,620b,620cにおいて、所定情報(例えば、分割形態モード情報)が獲得されうるサンプルが含まれた符号化単位620bを決定し、所定制限を置くことができる。図6を参照すれば、一実施形態により、復号部120は、所定情報が獲得されうるサンプルとして、現在符号化単位600の真ん中に位置するサンプル640を決定することができ、復号部120は、そのようなサンプル640が含まれる符号化単位620bを、復号過程における所定制限を置くことができる。ただし、所定情報が獲得されうるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定する符号化単位620bに含まれる任意の位置のサンプルとも解釈される。
一実施形態により、所定情報が獲得されうるサンプルの位置は、現在符号化単位600の形態によっても決定される。一実施形態により、ブロック形態情報は、現在符号化単位の形態が、正方形であるか、または非正方形であるかということを決定することができ、形態により、所定情報が獲得されうるサンプルの位置を決定することができる。例えば、復号部120は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用し、現在符号化単位の幅及び高さのうち少なくとも一つを半分に分割する境界上に位置するサンプルを、所定情報が獲得されうるサンプルと決定することができる。他の例を挙げれば、復号部120は、現在符号化単位に係わるブロック形態情報が非正方形状であるということを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定情報が獲得されうるサンプルと決定することができる。
一実施形態により、復号部120は、現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位において、所定位置の符号化単位を決定するために、分割形態モード情報を利用することができる。一実施形態により、復号部120は、分割形態モード情報を、符号化単位に含まれた所定位置のサンプルから獲得することができ、復号部120は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用して分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用し、再帰的にも分割される。符号化単位の再帰的分割過程については、図5を介して説明したので、詳細な説明は、省略することにする。
一実施形態により、復号部120は、現在符号化単位を分割し、少なくとも1つの符号化単位を決定することができ、そのような少なくとも1つの符号化単位が復号される順序を、所定ブロック(例えば、現在符号化単位)によって決定することができる。
図7は、一実施形態により、復号部120が、現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
一実施形態により、復号部120は、分割形態モード情報により、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定するか、第1符号化単位700を水平方向に分割し、第2符号化単位730a,730bを決定するか、あるいは第1符号化単位700を、垂直方向及び水平方向に分割し、第2符号化単位750a,750b,750c,750dを決定することができる。
図7を参照すれば、復号部120は、第1符号化単位700を垂直方向に分割して決定された第2符号化単位710a,710bに対し、水平方向710cに処理されるように順序を決定することができる。復号部120は、第1符号化単位700を水平方向に分割して決定された第2符号化単位730a,730bの処理順序を、垂直方向730cに決定することができる。復号部120は、第1符号化単位700を、垂直方向及び水平方向に分割して決定された第2符号化単位750a,750b,750c,750dを、1行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定順序(例えば、ラスタースキャン順序((raster scan order)またはzスキャン順序(Z scan order)750eによって決定することができる。
一実施形態により、復号部120は、符号化単位を再帰的に分割することができる。図7を参照すれば、復号部120は、第1符号化単位700を分割し、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを決定することができ、決定された複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dそれぞれを、再帰的に分割することができる。複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを分割する方法は、第1符号化単位700を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dは、それぞれ独立し、複数個の符号化単位にも分割される。図7を参照すれば、復号部120は、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定することができ、さらには、第2符号化単位710a,710bそれぞれを独立させて分割するか、あるいは分割しないと決定することができる。
一実施形態により、復号部120は、左側の第2符号化単位710aを水平方向に分割し、第3符号化単位720a,720bに分割することができ、右側の第2符号化単位710bは、分割しないのである。
一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいても決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。復号部120は、左側の第2符号化単位710aが分割されて決定された第3符号化単位720a,720bが処理される順序を、右側の第2符号化単位710bと独立させて決定することができる。左側の第2符号化単位710aが水平方向に分割され、第3符号化単位720a,720bが決定されたので、第3符号化単位720a,720bは、垂直方向720cにも処理される。また、左側の第2符号化単位710a、及び右側の第2符号化単位710bが処理される順序は、水平方向710cに該当するので、左側の第2符号化単位710aに含まれる第3符号化単位720a,720bが、垂直方向720cに処理された後、右側符号化単位710bが処理されうる。前述の内容は、符号化単位がそれぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定順序によって独立して処理されることができる多様な方法によっても利用されると解釈されなければならない。
図8は、一実施形態により、復号部120が、所定順序で符号化単位が処理されえない場合、現在符号化単位が、奇数個の符号化単位に分割されることを決定する過程を図示する。
一実施形態により、復号部120は、獲得された分割形態モード情報に基づき、現在符号化単位が、奇数個の符号化単位に分割されることを決定することができる。図8を参照すれば、正方形状の第1符号化単位800が非正方形状の第2符号化単位810a,810bにも分割され、第2符号化単位810a,810bは、それぞれ独立し、第3符号化単位820a,820b,820c,820d,820eにも分割される。一実施形態により、復号部120は、第2符号化単位において、左側符号化単位810aは、水平方向に分割し、複数個の第3符号化単位820a,820bを決定することができ、右側符号化単位810bは、奇数個の第3符号化単位820c,820d,820eに分割することができる。
一実施形態により、復号部120は、第3符号化単位820a,820b,820c,820d,820eが所定順序にも処理されるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図8を参照すれば、復号部120は、第1符号化単位800を再帰的に分割し、第3符号化単位820a,820b,820c,820d,820eを決定することができる。復号部120は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、第1符号化単位800、第2符号化単位810a,810bまたは第3符号化単位820a,820b,820c,820d,820eが分割される形態のうち、奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第2符号化単位810a,810bにおいて、右側に位置する符号化単位が、奇数個の第3符号化単位820c,820d,820eにも分割される。第1符号化単位800に含まれる複数個の符号化単位が処理される順序は、所定順序(例えば、Zスキャン順序830)にもなり、復号部120は、右側第2符号化単位810bが奇数個に分割されて決定された第3符号化単位820c,820d,820eが、前記所定順序によっても処理される条件を満足するか否かということを判断することができる。
一実施形態により、復号部120は、第1符号化単位800に含まれる第3符号化単位820a,820b,820c,820d,820eが、所定順序によっても処理される条件を満足するか否かということを決定することができ、前記条件は、第3符号化単位820a,820b,820c,820d,820eの境界に沿い、第2符号化単位810a,810bの幅及び高さのうち少なくとも一つを半分に分割するか否かということと係わる。例えば、非正方形状の左側第2符号化単位810aの高さを半分に分割して決定される第3符号化単位820a,820bは、条件を満足することができる。右側第2符号化単位810bを、3個の符号化単位に分割して決定される第3符号化単位820c,820d,820eの境界が、右側第2符号化単位810bの幅または高さを半分に分割することができないので、第3符号化単位820c,820d,820eは、条件を満足することができないとも決定される。復号部120は、そのような条件不満足の場合、スキャン順序の断絶(disconnection)と判断し、該判断結果に基づき、右側第2符号化単位810bは、奇数個の符号化単位に分割されると決定することができる。一実施形態により、復号部120は、奇数個の符号化単位に分割される場合、分割された符号化単位において、所定位置の符号化単位に対し、所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略することにする。
図9は、一実施形態により、復号部120が第1符号化単位900を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
一実施形態により、復号部120は、ビットストリーム獲得部110を介して獲得した分割形態モード情報に基づき、第1符号化単位900を分割することができる。正方形状の第1符号化単位900は、4個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図9を参照すれば、第1符号化単位900は、正方形であり、分割形態モード情報が、非正方形の符号化単位に分割されることを示す場合、復号部120は、第1符号化単位900を複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態モード情報が、第1符号化単位900を、水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、復号部120は、正方形状の第1符号化単位900を、奇数個の符号化単位として垂直方向に分割されて決定された第2符号化単位910a,910b,910c、または水平方向に分割されて決定された第2符号化単位920a,920b,920cに分割することができる。
一実施形態により、復号部120は、第1符号化単位900に含まれる第2符号化単位910a,910b,910c,920a,920b,920cが、所定順序によっても処理される条件を満足するか否かということを決定することができ、前記条件は、第2符号化単位910a,910b,910c,920a,920b,920cの境界に沿い、第1符号化単位900の幅及び高さのうち少なくとも一つを半分に分割するか否かということと係わる。図9を参照すれば、正方形状の第1符号化単位900を垂直方向に分割して決定される第2符号化単位910a,910b,910cの境界が、第1符号化単位900の幅を半分に分割することができないので、第1符号化単位900は、所定順序によっても処理される条件を満足することができないとも決定される。また、正方形状の第1符号化単位900を水平方向に分割して決定される第2符号化単位920a,920b,920cの境界が、第1符号化単位900の幅を半分に分割することができないので、第1符号化単位900は、所定順序によっても処理される条件を満足することができないとも決定される。復号部120は、そのような条件不満足の場合、スキャン順序の断絶と判断し、該判断結果に基づき、第1符号化単位900は、奇数個の符号化単位に分割されると決定することができる。一実施形態により、復号部120は、奇数個の符号化単位に分割される場合、分割された符号化単位において、所定位置の符号化単位に対し、所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略することにする。
図9を参照すれば、復号部120は、正方形状の第1符号化単位900、非正方形状の第1符号化単位930または950を多様な形態の符号化単位に分割することができる。
図10は、一実施形態により、第1符号化単位1000から分割されて決定された非正方形状の第2符号化単位が、所定条件を満足する場合、第2符号化単位の分割形態が制限されることを図示する。
一実施形態により、復号部120は、ビットストリーム獲得部110を介して獲得した分割形態モード情報に基づき、正方形状の第1符号化単位1000を、非正方形状の第2符号化単位1010a,1010b,1020a,1020bに分割すると決定することができる。第2符号化単位1010a,1010b,1020a,1020bは、独立して分割されうる。それにより、復号部120は、第2符号化単位1010a,1010b,1020a,1020bそれぞれに係わる分割形態モード情報に基づき、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、復号部120は、垂直方向に、第1符号化単位1000が分割されて決定された非正方形状の左側第2符号化単位1010aを水平方向に分割し、第3符号化単位1012a,1012bを決定することができる。ただし、復号部120は、左側第2符号化単位1010aを水平方向に分割した場合、右側第2符号化単位1010bは、左側第2符号化単位1010aが分割された方向と同一に、水平方向に分割されることがないように制限することができる。もし右側第2符号化単位1010bが同一方向に分割され、第3符号化単位1014a,1014bが決定された場合、左側第2符号化単位1010a及び右側第2符号化単位1010bが水平方向にそれぞれ独立して分割されることにより、第3符号化単位1012a,1012b,1014a,1014bが決定されうる。しかし、それは、復号部120が、分割形態モード情報に基づき、第1符号化単位1000を、4個の正方形状の第2符号化単位1030a,1030b,1030c,1030dに分割したところと同一結果であり、それは、映像復号側面において、非効率的でもある。
一実施形態により、復号部120は、水平方向に、第1符号化単位1000が分割されて決定された非正方形状の第2符号化単位1020aまたは1020bを、垂直方向に分割し、第3符号化単位1022a,1022b,1024a,1024bを決定することができる。ただし、復号部120は、第2符号化単位のうち一つ(例えば、上端第2符号化単位1020a)を垂直方向に分割した場合、前述の理由により、他の第2符号化単位(例えば、下端符号化単位1020b)は、上端第2符号化単位1020aが分割された方向と同一に、垂直方向に分割されることがないように制限することができる。
また、一実施形態により、復号部120は、ビットストリーム獲得部110を介して獲得した分割形態モード情報に基づき、正方形状の第1符号化単位1000をターナリー垂直分割し、非正方形状の第2符号化単位1040a,1040b,1040cを決定することができる。第2符号化単位1040a,1040b,1040cは、独立して分割されうる。それにより、復号部120は、第2符号化単位1040a,1040b,1040cそれぞれに係わる分割形態モード情報に基づき、第2符号化単位1040a,1040b,1040cを、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、復号部120は、第1符号化単位1000がターナリー垂直分割されて決定された非正方形状の左側第2符号化単位1040a及び右側第2符号化単位1040cを分割しないと決定した場合、真ん中符号化単位1040bの分割形態を、バイナリー垂直分割以外の分割形態に制限することができる。なぜならば、第1符号化単位1000がバイナリー垂直分割されると決定された第2符号化単位1010a,1010bそれぞれをバイナリー垂直分割した結果(すなわち、第3符号化単位1011a,1011b,1011c,1011d)と同一結果であり、それは、映像復号側面において、非効率的でもあるためである。
分割規則により、符号化単位の所定分割形態への分割が許容されない場合、復号部120は、前記所定分割形態を決定するために、必要な情報をビットストリームからパージングしないのである。例えば、復号部120は、符号化単位の水平分割が許容されない場合、水平方向または垂直方向を示す分割方向情報は、ビットストリームからパージングしないのである。また、復号部120は、符号化単位のバイナリー分割が許容されない場合、バイナリー分割またはターナリー分割を示す分割タイプ情報は、ビットストリームからパージングしないのである。
図11は、一実施形態により、分割形態モード情報が、4個の正方形状の符号化単位に分割されることを示すことができない場合、復号部120が正方形状の符号化単位を分割する過程を図示する。
一実施形態により、復号部120は、分割形態モード情報に基づき、第1符号化単位1100を分割し、第2符号化単位1110a,1110b,1120a,1120bを決定することができる。分割形態モード情報には、符号化単位が分割されうる多様な形態に係わる情報が含まれてもよいが、多様な形態に係わる情報には、正方形状の4個の符号化単位に分割するための情報が含まれえない場合がある。そのような分割形態モード情報によれば、復号部120は、正方形状の第1符号化単位1100を、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割することができない。分割形態モード情報に基づき、復号部120は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bを決定することができる。
一実施形態により、復号部120は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bをそれぞれ独立して分割することができる。再帰的な方法を介し、第2符号化単位1110a,1110b,1120a,1120bそれぞれが所定順にも分割され、それは、分割形態モード情報に基づき、第1符号化単位1100が分割される方法に対応する分割方法でもある。
例えば、復号部120は、左側第2符号化単位1110aから水平方向に分割された正方形状の第3符号化単位1112a,1112bを決定することができ、右側第2符号化単位1110bから水平方向に分割された正方形状の第3符号化単位1114a,1114bを決定することができる。さらには、復号部120は、左側第2符号化単位1110a及び右側第2符号化単位1110bのいずれもから水平方向に分割された正方形状の第3符号化単位1116a,1116b,1116c,1116dを決定することもできる。そのような場合、第1符号化単位1100が、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態に符号化単位が決定されうる。
他の例を挙げれば、復号部120は、上端第2符号化単位1120aから垂直方向に分割された正方形状の第3符号化単位1122a,1122bを決定することができ、下端第2符号化単位1120bから垂直方向に分割された正方形状の第3符号化単位1124a,1124bを決定することができる。さらには、復号部120は、上端第2符号化単位1120a及び下端第2符号化単位1120bのいずれもから垂直方向に分割された正方形状の第3符号化単位1126a,1126b,1126a,1126bを決定することもできる。そのような場合、第1符号化単位1100が、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態に符号化単位が決定されうる。
図12は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によっても異なることを図示したものである。
一実施形態により、復号部120は、分割形態モード情報に基づき、第1符号化単位1200を分割することができる。ブロック形態が正方形であり、分割形態モード情報が、第1符号化単位1200が、水平方向及び垂直方向のうち少なくとも1つの方向に分割されることを示す場合、復号部120は、第1符号化単位1200を分割し、例えば、第2符号化単位1210a,1210b,1220a,1220bを決定することができる。図12を参照すれば、第1符号化単位1200が水平方向または垂直方向だけに分割されて決定された非正方形状の第2符号化単位1210a,1210b,1220a,1220bは、それぞれに係わる分割形態モード情報に基づき、独立して分割されうる。例えば、復号部120は、第1符号化単位1200が垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、第1符号化単位1200が水平方向に分割されて生成された第2符号化単位1220a,1220bを垂直方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができる。そのような第2符号化単位1210a,1210b,1220a,1220bの分割過程は、図11と係わって説明したので、詳細な説明は、省略することにする。
一実施形態により、復号部120は、所定順序によって符号化単位を処理することができる。所定順序による符号化単位の処理に係わる特徴は、図7と係わって説明したので、詳細な説明は、省略することにする。図12を参照すれば、復号部120は、正方形状の第1符号化単位1200を分割し、4個の正方形状の第3符号化単位1216a,1216b,1216c,1216dまたは1226a,1226b,1226c,1226dを決定することができる。一実施形態により、復号部120は、第1符号化単位1200が分割される形態により、第3符号化単位1216a,1216b,1216c,1216dまたは1226a,1226b,1226c,1226dの処理順序を決定することができる。
一実施形態により、復号部120は、垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、復号部120は、左側第2符号化単位1210aに含まれる第3符号化単位1216a,1216cを垂直方向にまず処理した後、右側第2符号化単位1210bに含まれる第3符号化単位1216b,1216dを垂直方向に処理する順序1217により、第3符号化単位1216a,1216b,1216c,1216dを処理することができる。
一実施形態により、復号部120は、水平方向に分割されて生成された第2符号化単位1220a,1220bを垂直方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができ、復号部120は、上端第2符号化単位1220aに含まれる第3符号化単位1226a,1226bを水平方向にまず処理した後、下端第2符号化単位1220bに含まれる第3符号化単位1226c,1226dを水平方向に処理する順序1227により、第3符号化単位1226a,1226b,1226c,1226dを処理することができる。
図12を参照すれば、第2符号化単位1210a,1210b,1220a,1220bがそれぞれ分割され、正方形状の第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dが決定されうる。垂直方向に分割されて決定された第2符号化単位1210a,1210b、及び水平方向に分割されて決定された第2符号化単位1220a,1220bは、互いに異なる形態に分割されたものであるが、その後決定される第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dによれば、結局、同一形態の符号化単位に、第1符号化単位1200が分割された結果になる。それにより、復号部120は、分割形態モード情報に基づき、異なる過程を介し、再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定するにしても、同一形態に決定された複数個の符号化単位を、互いに異なる順序で処理することができる。
図13は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。
一実施形態により、復号部120は、符号化単位の深度を所定基準によって決定することができる。例えば、該所定基準は、符号化単位の長辺長にもなる。復号部120は、現在符号化単位の長辺長が分割される前の符号化単位の長辺長より、2n(n>0)倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりnほど深度が増大されたと決定することができる。以下においては、深度が増大された符号化単位を、下位深度の符号化単位と表現することにする。
図13を参照すれば、一実施形態により、正方形状であるということを示すブロック形態情報(例えば、ブロック形態情報は、「0:SQUARE」を示すことができる)に基づき、復号部120は、正方形状である第1符号化単位1300を分割し、下位深度の第2符号化単位1302、第3符号化単位1304などを決定することができる。正方形状の第1符号化単位1300の大きさを2Nx2Nとするならば、第1符号化単位1300の幅及び高さを1/2倍に分割して決定された第2符号化単位1302は、NxNの大きさを有することができる。さらには、第2符号化単位1302の幅及び高さを1/2サイズに分割して決定された第3符号化単位1304は、N/2xN/2の大きさを有することができる。その場合、第3符号化単位1304の幅及び高さは、第1符号化単位1300の1/4倍に該当する。第1符号化単位1300の深度がDである場合、第1符号化単位1300の幅及び高さの1/2倍である第2符号化単位1302の深度は、D+1でもあり、第1符号化単位1300の幅及び高さの1/4倍である第3符号化単位1304の深度は、D+2でもある。
一実施形態により、非正方形状を示すブロック形態情報(例えば、ブロック形態情報は、高さが幅より大きい非正方形であるということを示す「1:NS_VER」または幅が高さより大きい非正方形であるということを示す「2:NS_HOR」を示すことができる)に基づき、復号部120は、非正方形状である第1符号化単位1310または1320を分割し、下位深度の第2符号化単位1312または1322、第3符号化単位1314または1324などを決定することができる。
復号部120は、Nx2Nサイズの第1符号化単位1310の幅及び高さのうち少なくとも一つを分割し、例えば、第2符号化単位1302,1312,1322を決定することができる。すなわち、復号部120は、第1符号化単位1310を水平方向に分割し、NxNサイズの第2符号化単位1302、またはNxN/2サイズの第2符号化単位1322を決定することができ、水平方向及び垂直方向に分割し、N/2xNサイズの第2符号化単位1312を決定することもできる。
一実施形態により、復号部120は、2NxNサイズの第1符号化単位1320の幅及び高さのうち少なくとも一つを分割し、例えば、第2符号化単位1302,1312,1322を決定することもできる。すなわち、復号部120は、第1符号化単位1320を垂直方向に分割し、NxNサイズの第2符号化単位1302、またはN/2xNサイズの第2符号化単位1312を決定することができ、水平方向及び垂直方向に分割し、NxN/2サイズの第2符号化単位1322を決定することもできる。
一実施形態により、復号部120は、NxNサイズの第2符号化単位1302の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、復号部120は、第2符号化単位1302を垂直方向及び水平方向に分割し、N/2xN/2サイズの第3符号化単位1304を決定するか、N/4xN/2サイズの第3符号化単位1314を決定するか、あるいはN/2xN/4サイズの第3符号化単位1324を決定することができる。
一実施形態により、復号部120は、N/2xNサイズの第2符号化単位1312の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、復号部120は、第2符号化単位1312を水平方向に分割し、N/2xN/2サイズの第3符号化単位1304、またはN/2xN/4サイズの第3符号化単位1324を決定するか、あるいは垂直方向及び水平方向に分割し、N/4xN/2サイズの第3符号化単位1314を決定することができる。
一実施形態により、復号部120は、NxN/2サイズの第2符号化単位1322の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、復号部120は、第2符号化単位1322を垂直方向に分割し、N/2xN/2サイズの第3符号化単位1304、N/4xN/2サイズの第3符号化単位1314を決定するか、あるいは垂直方向及び水平方向に分割し、N/2xN/4サイズの第3符号化単位1324を決定することができる。
一実施形態により、復号部120は、例えば、正方形状の符号化単位1300,1302,1304を水平方向または垂直方向に分割することができる。例えば、2Nx2Nサイズの第1符号化単位1300を垂直方向に分割し、Nx2Nサイズの第1符号化単位1310を決定するか、あるいは水平方向に分割し、2NxNサイズの第1符号化単位1320を決定することができる。一実施形態により、深度が、符号化単位の最長辺長に基づいて決定される場合、2Nx2Nサイズの第1符号化単位1300が、水平方向または垂直方向に分割されて決定される符号化単位の深度は、第1符号化単位1300の深度と同一でもある。
一実施形態により、第3符号化単位1314または1324の幅及び高さは、第1符号化単位1310または1320の1/4倍にも該当する。第1符号化単位1310または1320の深度がDである場合、第1符号化単位1310または1320の幅及び高さの1/2倍である第2符号化単位1312または1322の深度は、D+1でもあり、第1符号化単位1310または1320の幅及び高さの1/4倍である第3符号化単位1314または1324の深度は、D+2でもある。
図14は、一実施形態により、符号化単位の形態及び大きさによっても決定される深度、及び符号化単位区分のためのインデックス(PID:part index)を図示する。
一実施形態により、復号部120は、正方形状の第1符号化単位1400を分割し、多様な形態の第2符号化単位を決定することができる。図14を参照すれば、復号部120は、分割形態モード情報により、第1符号化単位1400を垂直方向及び水平方向のうち少なくとも1つの方向に分割し、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。すなわち、復号部120は、第1符号化単位1400に係わる分割形態モード情報に基づき、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。
一実施形態により、正方形状の第1符号化単位1400に係わる分割形態モード情報によって決定される第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dは、長辺長に基づき、深度が決定されうる。例えば、正方形状の第1符号化単位1400の一辺長と、非正方形状の第2符号化単位1402a,1402b,1404a,1404bの長辺長とが同一であるので、第1符号化単位1400と、非正方形状の第2符号化単位1402a,1402b,1404a,1404bとの深度は、Dとして同一であると見ることができる。それに対し、復号部120が分割形態モード情報に基づき、第1符号化単位1400を4個の正方形状の第2符号化単位1406a,1406b,1406c,1406dに分割した場合、正方形状の第2符号化単位1406a,1406b,1406c,1406dの一辺長は、第1符号化単位1400の一辺長の1/2倍であるので、第2符号化単位1406a,1406b,1406c,1406dの深度は、第1符号化単位1400の深度であるDより1深度下位であるD+1の深度でもある。
一実施形態により、復号部120は、高さが幅より大きい形態の第1符号化単位1410を分割形態モード情報によって水平方向に分割し、複数個の第2符号化単位1412a,1412b,1414a,1414b,1414cに分割することができる。一実施形態により、復号部120は、幅が高さより大きい形態の第1符号化単位1420を分割形態モード情報によって垂直方向に分割し、複数個の第2符号化単位1422a,1422b,1424a,1424b,1424cに分割することができる。
一実施形態により、非正方形状の第1符号化単位1410または1420に係わる分割形態モード情報によって決定される第2符号化単位1412a,1412b,1414a,1414b,1414c,1422a,1422b,1424a,1424b,1424cは、長辺長に基づき、深度が決定されうる。例えば、正方形状の第2符号化単位1412a,1412bの一辺長は、高さが幅より大きい非正方形状の第1符号化単位1410の一辺長の1/2倍であるので、正方形状の第2符号化単位1412a,1412bの深度は、非正方形状の第1符号化単位1410の深度Dより1深度下位の深度であるD+1である。
さらには、復号部120が分割形態モード情報に基づき、非正方形状の第1符号化単位1410を、奇数個の第2符号化単位1414a,1414b,1414cに分割することができる。奇数個の第2符号化単位1414a,1414b,1414cは、非正方形状の第2符号化単位1414a,1414c、及び正方形状の第2符号化単位1414bを含んでもよい。その場合、非正方形状の第2符号化単位1414a,1414cの長辺長、及び正方形状の第2符号化単位1414bの一辺長は、第1符号化単位1410の一辺長の1/2倍であるので、第2符号化単位1414a,1414b,1414cの深度は、第1符号化単位1410の深度であるDより1深度下位であるD+1の深度でもある。復号部120は、第1符号化単位1410と係わる符号化単位の深度を決定する前記方式に対応する方式により、幅が高さより大きい非正方形状の第1符号化単位1420と係わる符号化単位の深度を決定することができる。
一実施形態により、復号部120は、分割された符号化単位の区分のためのインデックス(PID)決定において、奇数個に分割された符号化単位が互いに等しいサイズではない場合、符号化単位間の大きさの比率に基づき、インデックス(PID)を決定することができる。図14を参照すれば、奇数個に分割された符号化単位1414a,1414b,1414cのうち、真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cと幅は同一であるが、高さが異なる符号化単位1414a,1414cの高さの2倍でもある。すなわち、その場合、真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cの二つを含んでもよい。従って、スキャン順序により、真ん中に位置する符号化単位1414bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1414cは、インデックス(PID)が2増加した3でもある。すなわち、インデックス(PID)値の不連続性が存在しうる。一実施形態により、復号部120は、そのような分割された符号化単位間区分のためのインデックス(PID)の不連続性の存在いかんに基づき、奇数個に分割された符号化単位が互いに同一サイズではないか否かということを決定することができる。
一実施形態により、復号部120は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックス(PID)値に基づき、特定分割形態に分割されたものであるか否かということを決定することができる。図14を参照すれば、復号部120は、高さが幅より大きい直方形状の第1符号化単位1410を分割し、偶数個の符号化単位1412a,1412bを決定するか、あるいは奇数個の符号化単位1414a,1414b,1414cを決定することができる。復号部120は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス(PID)を利用することができる。一実施形態により、インデックス(PID)は、それぞれの符号化単位の所定位置のサンプル(例えば、左側上端サンプル)からも獲得される。
一実施形態により、復号部120は、符号化単位区分のためのインデックス(PID)を利用して分割されて決定された符号化単位において、所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より大きい直方形状の第1符号化単位1410に係わる分割形態モード情報が、3個の符号化単位に分割されることを示す場合、復号部120は、第1符号化単位1410を3個の符号化単位1414a,1414b,1414cに分割することができる。復号部120は、3個の符号化単位1414a,1414b,1414cそれぞれに係わるインデックス(PID)を割り当てることができる。復号部120は、奇数個に分割された符号化単位のうち真ん中符号化単位を決定するために、各符号化単位に係わるインデックス(PID)を比較することができる。復号部120は、符号化単位のインデックス(PID)に基づき、インデックス(PID)のうち真ん中値に該当するインデックス(PID)を有する符号化単位1414bを、第1符号化単位1410が分割されて決定された符号化単位のうち真ん中位置の符号化単位として決定することができる。一実施形態により、復号部120は、分割された符号化単位区分のためのインデックス(PID)決定において、符号化単位が互いに同一サイズではない場合、符号化単位間の大きさの比率に基づき、インデックス(PID)を決定することができる。図14を参照すれば、第1符号化単位1410が分割されて生成された符号化単位1414bは、他の符号化単位1414a,1414cと幅は同一であるが、高さが異なる符号化単位1414a,1414cの高さの2倍でもある。その場合、真ん中に位置する符号化単位1414bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1414cは、インデックス(PID)が2増加した3でもある。そのような場合のように、均一にインデックス(PID)が増加していていて、増加幅が異なる場合、復号部120は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる、一実施形態により、分割形態モード情報が、奇数個の符号化単位に分割されることを示す場合、復号部120は、奇数個の符号化単位において、所定位置の符号化単位(例えば、真ん中符号化単位)が、他の符号化単位と大きさが異なる形態に、現在符号化単位を分割することができる。その場合、復号部120は、符号化単位に係わるインデックス(PID)を利用し、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス(PID)、決定する所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定したものであるので、それに限定して解釈されるものではなく、多様なインデックス(PID)、符号化単位の位置及び大きさが利用されうると解釈されなければならない。
一実施形態により、復号部120は、符号化単位の再帰的な分割が始まる所定データ単位を利用することができる。
図15は、一実施形態により、映像に含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する。
一実施形態により、所定データ単位は、符号化単位が分割形態モード情報を利用し、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在映像を分割する複数個の符号化単位が決定される過程において利用される最上位深度の符号化単位にも該当する。以下では、説明上の便宜のために、そのような所定データ単位を、基準データ単位と称することにする。
一実施形態により、基準データ単位は、所定の大きさ及び形態を示すことができる。一実施形態により、基準符号化単位は、MxNのサンプルを含んでもよい。ここで、M及びNは、互いに同一であっても、異なっていてもよく、2の乗数で表現される整数でもある。すなわち、該基準データ単位は、正方形または非正方形状を示すことができ、この後、整数個の符号化単位にも分割される。
一実施形態により、復号部120は、現在映像を、複数個の基準データ単位に分割することができる。一実施形態により、復号部120は、現在映像を分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割形態モード情報を利用して分割することができる。そのような基準データ単位の分割過程は、クアッドツリー(quad-tree)構造を利用した分割過程にも対応する。
一実施形態により、復号部120は、現在映像に含まれる基準データ単位が有することができる最小サイズをあらかじめ決定することができる。それにより、復号部120は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、分割形態モード情報を利用し、少なくとも1つの符号化単位を決定することができる。
図15を参照すれば、復号部120は、正方形状の基準符号化単位1500を利用することができ、または非正方形状の基準符号化単位1502を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも1つの基準符号化単位を含む多様なデータ単位(例えば、シーケンス(sequence)、映像(picture)、スライス(slice)、スライスセグメント(slice segment)、タイル(tile)、タイルグループ(tile group)、最大符号化単位など)によっても決定される。
一実施形態により、ビットストリーム獲得部110は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前述の多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形状の基準符号化単位1500に含まれる少なくとも1つの符号化単位が決定される過程は、図3の現在符号化単位300が分割される過程を介して説明し、非正方形状の基準符号化単位1502に含まれる少なくとも1つの符号化単位の決定される過程は、図4の現在符号化単位400または450が分割される過程を介して説明したので、詳細な説明は、省略することにする。
一実施形態により、復号部120は、所定条件に基づいてあらかじめ決定される一部データ単位により、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、ビットストリーム獲得部110は、ビットストリームから、前述の多様なデータ単位(例えば、シーケンス、映像、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位など)のうち所定条件(例えば、スライス以下の大きさを有するデータ単位)を満足するデータ単位として、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスのみを獲得することができる。復号部120は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、該ビットストリームの利用効率が良好でもないので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち少なくとも一つは、あらかじめ決められてもいる。すなわち、復号部120は、既定の基準符号化単位の大きさ及び形態のうち少なくとも一つを、インデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。
一実施形態により、復号部120は、1つの最大符号化単位に含む少なくとも1つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも1つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介し、符号化単位が決定されうる。一実施形態により、該最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも1つの整数倍にも該当する。一実施形態により、該基準符号化単位の大きさは、最大符号化単位を、クアッドツリー構造により、n回分割した大きさでもある。すなわち、復号部120は、最大符号化単位を、クアッドツリー構造によってn回分割し、基準符号化単位を決定することができ、多様な実施形態により、基準符号化単位を、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づいて分割することができる。
図16は、一実施形態により、映像1600に含まれる基準符号化単位の決定順序を決定する基準になるプロセシングブロックを図示する。
一実施形態により、復号部120は、映像を分割する少なくとも1つのプロセシングブロックを決定することができる。プロセシングブロックとは、映像を分割する少なくとも1つの基準符号化単位を含むデータ単位であり、プロセシングブロックに含まれる少なくとも1つの基準符号化単位は、特定順に決定されうる。すなわち、それぞれのプロセシングブロックと決定される少なくとも1つの基準符号化単位の決定順序は、基準符号化単位が決定されうる多様な順序の種類のうち一つに該当し、それぞれのプロセシングブロックと決定される基準符号化単位決定順序は、プロセシングブロックごとにも異なる。プロセシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン(raster scan)、Zスキャン(Z-scan)、Nスキャン(N-scan)、右上向き対角スキャン(up-right diagonal scan)、水平的スキャン(horizontal scan)、垂直的スキャン(vertical scan)のような多様な順序のうち一つでもあるが、決定されうる順序は、前記スキャン順序に限定して解釈されるものではない。
一実施形態により、復号部120は、プロセシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも1つのプロセシングブロックの大きさを決定することができる。復号部120は、プロセシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも1つのプロセシングブロックの大きさを決定することができる。そのようなプロセシングブロックの大きさは、プロセシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
一実施形態により、ビットストリーム獲得部110は、ビットストリームから、プロセシングブロックの大きさに係わる情報を、特定のデータ単位ごとに獲得することができる。例えば、プロセシングブロックの大きさに係わる情報は、映像、シーケンス、映像、スライス、スライスセグメント、タイル、タイルグループのようなデータ単位で、ビットストリームからも獲得される。すなわち、ビットストリーム獲得部110は、前述のさまざまなデータ単位ごとに、ビットストリームから、プロセシングブロックの大きさに係わる情報を獲得することができ、復号部120は、獲得されたプロセシングブロックの大きさに係わる情報を利用し、映像を分割する少なくとも1つのプロセシングブロックの大きさを決定することができ、そのようなプロセシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
一実施形態により、復号部120は、映像1600に含まれるプロセシングブロック1602,1612の大きさを決定することができる。例えば、復号部120は、ビットストリームから獲得されたプロセシングブロックの大きさに係わる情報に基づき、プロセシングブロックの大きさを決定することができる。図16を参照すれば、復号部120は、一実施形態により、プロセシングブロック1602,1612の横サイズを、基準符号化単位横サイズの4倍、縦サイズを、基準符号化単位の縦サイズの4倍に決定することができる。復号部120は、少なくとも1つのプロセシングブロック内において、少なくとも1つの基準符号化単位が決定される順序を決定することができる。
一実施形態により、復号部120は、プロセシングブロックの大きさに基づき、映像1600に含まれるそれぞれのプロセシングブロック1602,1612を決定することができ、プロセシングブロック1602,1612に含まれる少なくとも1つの基準符号化単位の決定順序を決定することができる。一実施形態により、基準符号化単位の決定は基準符号化単位の大きさ決定を含んでもよい。
一実施形態により、復号部120は、ビットストリームから、少なくとも1つのプロセシングブロックに含まれる少なくとも1つの基準符号化単位の決定順序に係わる情報を獲得することができ、獲得した決定順序に係わる情報に基づき、少なくとも1つの基準符号化単位が決定される順序を決定することができる。決定順序に係わる情報は、プロセシングブロック内において、基準符号化単位が決定される順序または方向とも定義される。すなわち、該基準符号化単位が決定される順序は、それぞれのプロセシングブロックごとに独立して決定されうる。
一実施形態により、復号部120は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報を、ビットストリームから獲得することができる。例えば、ビットストリーム獲得部110は、基準符号化単位の決定順序に係わる情報を、映像、シーケンス、映像、スライス、スライスセグメント、タイル、タイルグループ、プロセシングブロックのようなデータ単位路ごとに、ビットストリームから獲得することができる。基準符号化単位の決定順序に係わる情報は、プロセシングブロック内における基準符号化単位決定順序を示すので、決定順序に係わる情報は、整数個のプロセシングブロックを含む特定データ単位ごとにも獲得される。
復号部120は、一実施形態により、決定された順序に基づき、少なくとも1つの基準符号化単位を決定することができる。
一実施形態により、ビットストリーム獲得部110は、ビットストリームから、プロセシングブロック1602,1612と係わる情報として、基準符号化単位決定順序に係わる情報を獲得することができ、復号部120は、前記プロセシングブロック1602,1612に含まれた少なくとも1つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、映像1600に含まれる少なくとも1つの基準符号化単位を決定することができる。図16を参照すれば、復号部120は、それぞれのプロセシングブロック1602,1612と係わる少なくとも1つの基準符号化単位の決定順序1604,1614を決定することができる。例えば、基準符号化単位の決定順序に係わる情報が、プロセシングブロックごとに獲得される場合、それぞれのプロセシングブロック1602,1612と係わる基準符号化単位決定順序は、プロセシングブロックごとにも異なる。プロセシングブロック1602と係わる基準符号化単位決定順序1604がラスタースキャン順序である場合、プロセシングブロック1602に含まれる基準符号化単位は、ラスタースキャン順序によっても決定される。それに対し、他のプロセシングブロック1612と係わる基準符号化単位決定順序1614がラスタースキャン順序の逆順である場合、プロセシングブロック1612に含まれる基準符号化単位は、ラスタースキャン順序の逆順によっても決定される。
復号部120は、一実施形態により、決定された少なくとも1つの基準符号化単位を復号することができる。復号部120は、前述の実施形態を介して決定された基準符号化単位に基づき、映像を復号することができる。基準符号化単位を復号する方法は、映像を復号する多様な方法を含んでもよい。
一実施形態により、復号部120は、現在符号化単位の形態を示すブロック形態情報、または現在符号化単位を分割する方法を示す分割形態モード情報を、ビットストリームから獲得して利用することができる。分割形態モード情報は、多様なデータ単位と係わるビットストリームに含まれてもよい。例えば、復号部120は、シーケンスパラメータセット(sequence parameter set)、映像パラメータセット(picture parameter set)、ビデオパラメータセット(video parameter set)、スライスヘッダ(slice header)、スライスセグメントヘッダ(slice segment header)、タイルヘッダ(tile header)、タイルグループヘッダ(tile group header)に含まれた分割形態モード情報を利用することができる。さらには、復号部120は、最大符号化単位、基準符号化単位、プロセシングブロックごとに、ビットストリームから、ブロック形態情報または分割形態モード情報に対応するシンタックスエレメントをビットストリームから獲得して利用することができる。
以下、本開示の一実施形態による分割規則を決定する方法について詳細に説明する。
復号部120は、映像の分割規則を決定することができる。該分割規則は、映像復号装置100及び映像符号化装置200の間に既定でもある。復号部120は、ビットストリームから獲得された情報に基づき、映像の分割規則を決定することができる。復号部120は、シーケンスパラメータセット、映像パラメータセット、ビデオパラメータセット、スライスヘッダ、スライスセグメントヘッダ、タイルヘッダ、タイルグループヘッダのうち少なくとも一つから獲得された情報に基づき、分割規則を決定することができる。復号部120は、分割規則を、フレーム、スライス、タイル、テンポラルレイヤ(temporal layer)、最大符号化単位または符号化単位により、異ならせて決定することができる。
復号部120は、符号化単位のブロック形態に基づき、分割規則を決定することができる。ブロック形態は、符号化単位の大きさ、形態、広さ、幅及び高さの比率、方向を含んでもよい。映像符号化装置200及び映像復号装置100は、符号化単位のブロック形態に基づき、分割規則をあらかじめ決定することができる。復号部120は、映像符号化装置200から受信されたビットストリームから獲得された情報に基づき、分割規則を決定することもできる。
符号化単位の形態は、正方形(square)及び非正方形(non-square)を含んでもよい。符号化単位の幅及び高さの大きさが同じである場合、復号部120は、符号化単位の形態を正方形に決定することができる。また、符号化単位の幅及び高さの大きさが同じではない場合、復号部120は、符号化単位の形態を非正方形に決定することができる。
符号化単位の大きさは、4x4、8x4、4x8、8x8、16x4、16x8、…、256x256の多様な大きさを含んでもよい。符号化単位の大きさは、符号化単位の長辺長、短辺長、またはそれらの広さによっても分類される。復号部120は、同一グループに分類された符号化単位に、同一分割規則を適用することができる。例えば、復号部120は、同一長辺長を有する符号化単位を、同一サイズに分類することができる。また、復号部120は、同一長辺長を有する符号化単位に対し、同一分割規則を適用することができる。
符号化単位の幅及び高さの比率は、1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1または1:32などを含んでもよい。また、符号化単位の方向は、水平方向及び垂直方向を含んでもよい。水平方向は、符号化単位の幅の長さが、高さの高さより大きい場合を示すことができる。垂直方向は、符号化単位の幅の長さが、高さの高さより小さい場合を示すことができる。
復号部120は、符号化単位のブロック形態に基づき、分割規則を適応的に決定することができる。復号部120は、ブロック形態に基づき、許容可能な分割形態モードを異ならせて決定することができる。例えば、復号部120は、符号化単位の大きさに基づき、分割が許容されるか否かということを決定することができる。復号部120は、符号化単位の大きさにより、分割方向を決定することができる。復号部120は、符号化単位の大きさにより、許容可能な分割タイプを決定することができる。
復号部120は、符号化単位の大きさ、形態、広さ、幅及び高さの比率及び方向のうち少なくとも一つを所定基準と比較し、符号化単位の分割形態を、所定分割形態に制限することができる。例えば、符号化単位の大きさがMxNであり、高さと幅との比率が1:4である場合、符号化単位は、分割が許容されないか、バイナリー水平分割だけが許容されるか、あるいはクアッド分割が許容されないのである。その場合、復号部120は、符号化単位に対して許容される分割形態を決定するための情報は、ビットストリームからパージングしないのである。例えば、符号化単位に対し、クアッド分割が許容されない場合、復号部120は、クアッド分割いかんを示す情報をパージングしないのである。
符号化単位の大きさに基づき、分割規則決定は、映像符号化装置200及び映像復号装置100の間に既定の分割規則でもある。また、復号部120は、ビットストリームから獲得された情報に基づき、分割規則を決定することもできる。
復号部120は、符号化単位の位置に基づき、分割規則を適応的に決定することができる。復号部120は、符号化単位が映像で占める位置に基づき、分割規則を適応的に決定することができる。
また、復号部120は、互いに異なる分割経路に生成された符号化単位が、同一ブロック形態を有さないように、分割規則を決定することができる。例えば、図10と係わって説明したように、第1符号化単位1000のクアッド分割が可能である場合、第1符号化単位100からバイナリー垂直分割を介して決定される第2符号化単位1010a,1010bいずれものバイナリー水平分割は、許容されず、第1符号化単位1000からバイナリー水平分割を介して決定される第2符号化単位1020a,1020bいずれものバイナリー垂直分割は、許容されないのである、ただし、それに限定されるものではなく、互いに異なる分割経路に生成された符号化単位は、同一ブロック形態を有することができる。互いに異なる分割経路に生成された符号化単位は、互いに異なる復号処理順序を有することができる。復号処理順序については、図12と共に説明したので、詳細な説明は、省略する。
図17は、一実施形態により、符号化単位が分割されうる形態の組み合わせが、映像ごとに互いに異なる場合、それぞれの映像ごとに決定されうる符号化単位を図示する。
図17を参照すれば、復号部120は、映像ごとに符号化単位が分割されうる分割形態の組み合わせを異ならせて決定することができる。例えば、復号部120は、4個の符号化単位にも分割される映像1700、2個または4個の符号化単位にも分割される映像1710、及び2個、3個または4個の符号化単位にも分割される映像1720を利用して映像を復号することができる。復号部120は、映像1700を、複数個の符号化単位に分割するために、4個の正方形の符号化単位に分割されることを示す分割形態情報のみを利用することができる。復号部120は、映像1710を分割するために、2個または4個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。復号部120は、映像1720を分割するために、2個、3個または4個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。前述の分割形態の組み合わせは、復号部120の動作について説明するための実施形態に過ぎないので、前述の分割形態の組み合わせは、前記実施形態に限定して解釈されるものではなく、所定データ単位ごとに、多様な形態の分割形態の組み合わせが利用されうると解釈されなければならない。
一実施形態により、ビットストリーム獲得部110は、分割形態情報の組み合わせを示すインデックスを含むビットストリームを、所定データ単位単位(例えば、シーケンス、映像、スライス、スライスセグメント、タイルまたはタイルグループなど)ごとに獲得することができる。例えば、ビットストリーム獲得部110は、シーケンスパラメータセット、映像パラメータセット、スライスヘッダ、タイルヘッダまたはタイルグループヘッダにおいて、分割形態情報の組み合わせを示すインデックスを獲得することができる。復号部120は、獲得したインデックスを利用し、所定データ単位ごとに、符号化単位が分割されうる分割形態の組み合わせを決定することができ、それにより、所定データ単位ごとに、互いに異なる分割形態の組み合わせを利用することができる。
図18は、一実施形態により、バイナリー(binary)コードによっても表現される分割形態モード情報に基づいても決定される符号化単位の多様な形態を図示する。
一実施形態により、復号部120は、ビットストリーム獲得部110を介して獲得したブロック形態情報、及び分割形態モード情報を利用し、符号化単位を多様な形態に分割することができる。分割されうる符号化単位の形態は、前述の実施形態を介して説明した形態を含む多様な形態にも該当する。
図18を参照すれば、復号部120は、分割形態モード情報に基づき、正方形状の符号化単位を、水平方向及び垂直方向のうち少なくとも1つの方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。
一実施形態により、復号部120が正方形状の符号化単位を、水平方向及び垂直方向に分割し、4個の正方形の符号化単位に分割することができる場合、正方形の符号化単位に係わる分割形態モード情報が示すことができる分割形態は、4種でもある。一実施形態により、分割形態モード情報は、2桁のバイナリーコードとしても表現され、それぞれの分割形態ごとに、バイナリーコードが割り当てられるのである。例えば、符号化単位が分割されない場合、分割形態モード情報は、(00)bとも表現され、符号化単位が、水平方向及び垂直方向に分割される場合、分割形態モード情報は、(01)bとも表現され、符号化単位が水平方向に分割される場合、分割形態モード情報は、(10)bとも表現され、符号化単位が垂直方向に分割される場合、分割形態モード情報は、(11)bとも表現される。
一実施形態により、復号部120は、非正方形状の符号化単位を、水平方向または垂直方向に分割する場合、分割形態モード情報が示すことができる分割形態の種類は、いくつの符号化単位に分割するかということによっても決定される。図18を参照すれば、復号部120は、一実施形態により、非正方形状の符号化単位を3個まで分割することができる。復号部120は、符号化単位を、2つの符号化単位に分割することができ、その場合、分割形態モード情報は、(10)bとも表現される。復号部120は、符号化単位を3つの符号化単位に分割することができ、その場合、分割形態モード情報は、(11)bとも表現される。復号部120は、符号化単位を分割しないと決定することができ、その場合、分割形態モード情報は、(0)bとも表現される。すなわち、復号部120は、分割形態モード情報を示すバイナリーコードを利用するために、固定長コーディング(FLC:fixed length coding)ではなく、可変長コーディング(VLC:variable length coding)を利用することができる。
一実施形態により、図18を参照すれば、符号化単位が分割されないことを示す分割形態モード情報のバイナリーコードは、(0)bとも表現される。もし符号化単位が分割されないことを示す分割形態モード情報のバイナリーコードが(00)bに設定された場合であるならば、(01)bに設定された分割形態モード情報がないにもかかわらず、2ビットの分割形態モード情報のバイナリーコードをいずれも利用しなければならない。しかし、図18で図示するように、非正方形状の符号化単位に係わる3種の分割形態を利用する場合であるならば、復号部120は、分割形態モード情報として、1ビットのバイナリーコード(0)bを利用しても、符号化単位が分割されないことを決定することができるので、ビットストリームを効率的に利用することができる。ただし、分割形態モード情報が示す非正方形状の符号化単位の分割形態は、ただ図18で図示する3種形態だけに限って解釈されるものではなく、前述の実施形態を含む多様な形態に解釈されなければならない。
図19は、一実施形態により、バイナリーコードによっても表現される分割形態モード情報に基づいても決定される符号化単位の他の形態を図示する。
図19を参照すれば、復号部120は、分割形態モード情報に基づき、正方形状の符号化単位を、水平方向または垂直方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。すなわち、分割形態モード情報は、正方形状の符号化単位を一方方向に分割されることを示すことができる。そのような場合正方形状の符号化単位が分割されないことを示す分割形態モード情報のバイナリーコードは、(0)bとも表現される。もし符号化単位が分割されないことを示す分割形態モード情報のバイナリーコードが(00)bに設定された場合であるならば、(01)bに設定された分割形態モード情報がないにもかかわらず、2ビットの分割形態モード情報のバイナリーコードをいずれも利用しなければならない。しかし、図19で図示するように、正方形状の符号化単位に係わる3種の分割形態を利用する場合であるならば、復号部120は、分割形態モード情報として、1ビットのバイナリーコード(0)bを利用しても、符号化単位が分割されないことを決定することができるので、ビットストリームを効率的に利用することができる。ただし、分割形態モード情報が示す正方形状の符号化単位の分割形態は、ただ図19で図示する3種形態だけで限って解釈されるものではなく、前述の実施形態を含む多様な形態に解釈されなければならない。
一実施形態により、ブロック形態情報または分割形態モード情報は、バイナリーコードを利用しても表現され、そのような情報が、直ちにビットストリームにも生成される。また、バイナリーコードによっても表現されるブロック形態情報または分割形態モード情報は、すぐビットストリームに生成されず、CABAC(context adaptive binary arithmetic coding)に入力されるバイナリーコードとしても利用される。
一実施形態により、復号部120は、CABACを介し、ブロック形態情報または分割形態モード情報に係わるシンタックスを獲得する過程について説明する。ビットストリーム獲得部110を介し、前記シンタックスに係わるバイナリーコードを含むビットストリームを獲得することができる。復号部120は、獲得したビットストリームに含まれるビンストリングを逆二進化し、ブロック形態情報または分割形態モード情報を示すシンタックス要素(syntax element)を検出することができる。一実施形態により、復号部120は、復号するシンタックス要素に該当するバイナリービンストリングの集合を求め、確率情報を利用し、それぞれのビンを復号することができ、復号部120は、そのような復号されたビンで構成されるビンストリングが、以前に求めたビンストリングのうち一つと同じになるまで反復することができる。復号部120は、ビンストリングの逆二進化を行い、シンタックス要素を決定することができる。
一実施形態により、復号部120は、適応的二陣算術コーディング(adaptive binary arithmetic ccoding)の復号過程を遂行し、ビンストリングに係わるシンタックスを決定することができ、復号部120は、ビットストリーム獲得部110を介して獲得したビンに係わる確率モデルを更新することができる。図18を参照すれば、ビットストリーム獲得部110は、一実施形態により、分割形態モード情報を示すバイナリーコードを示すビットストリームを獲得することができる。獲得した1ビットまたは2ビットの大きさを有するバイナリーコードを利用し、復号部120は、分割形態モード情報に係わるシンタックスを決定することができる。復号部120は、分割形態モード情報に係わるシンタックスを決定するために、2ビットのバイナリーコードにおいて、それぞれのビットに係わる確率を更新することができる。すなわち、復号部120は、2ビットのバイナリーコードのうち最初ビンの値が、0または1のうちいずれの値であるということかにより、次のビンを復号するとき、0または1の値を有する確率を更新することができる。
一実施形態により、復号部120は、シンタックスを決定する過程において、シンタックスに係わるビンストリングのビンを復号する過程において利用されるビンに係わる確率を更新することができ、復号部120は、前記ビンストリングにおいて特定ビットにおいては、確率を更新せず、同一確率を有すると決定することができる。
図18を参照すれば、非正方形状の符号化単位に係わる分割形態モード情報を示すビンストリングを利用し、シンタックスを決定する過程において、復号部120は、非正方形状の符号化単位を分割しない場合には、0の値を有する1つのビンを利用し、分割形態モード情報に係わるシンタックスを決定することができる。すなわち、ブロック形態情報が、現在符号化単位は、非正方形状であるということを示す場合、分割形態モード情報に係わるビンストリングの最初ビンは、非正方形状の符号化単位が分割されない場合、0であり、2個または3個の符号化単位に分割される場合、1でもある。それにより、非正方形の符号化単位に係わる分割形態モード情報のビンストリングの最初ビンが0である確率は、1/3であり、1である確率は、2/3でもある。前述のように、復号部120は、非正方形状の符号化単位が分割されないことを示す分割形態モード情報は、0の値を有する1ビットのビンストリングのみが表現されうるので、復号部120は、分割形態モード情報の最初ビンが1である場合だけ、2番目ビンが0であるか、または1であるかということを判断し、分割形態モード情報に係わるシンタックスを決定することができる。一実施形態により、復号部120は、分割形態モード情報に係わる最初ビンが1である場合、2番目ビンが0または1である確率は、互いに同一確率であると見て、ビンを復号することができる。
一実施形態により、復号部120は、分割形態モード情報に係わるビンストリングのビンを決定する過程において、それぞれのビンに係わる多様な確率を利用することができる。一実施形態により、復号部120は、非正方形ブロックの方向に沿い、分割形態モード情報に係わるビンの確率を異ならせて決定することができる。一実施形態により、復号部120は、現在符号化単位の広さまたは長辺長により、分割形態モード情報に係わるビンの確率を異ならせて決定することができる。一実施形態により、復号部120は、現在符号化単位の形態及び長辺長のうち少なくとも一つにより、分割形態モード情報に係わるビンの確率を異ならせて決定することができる。
一実施形態により、復号部120は、所定サイズ以上の符号化単位については、分割形態モード情報に係わるビンの確率を同一であると決定することができる。例えば、符号化単位の長辺長を基準に、64サンプル以上の大きさの符号化単位については、分割形態モード情報に係わるビンの確率が同一であると決定することができる。
一実施形態により、復号部120は、分割形態モード情報のビンストリングを構成するビンに係わる初期確率は、スライスタイプ(例えば、Iスライス、PスライスまたはBスライス)に基づいても決定される。
一実施形態において、復号部120は、符号化単位の分割形態モード情報を決定するとき、ルマ符号化ブロックの分割形態モード情報と、クロマ符号化ブロックの分割形態モード情報とを独立して決定することができる。例えば、復号部120は、デュアルツリー分割が遂行されるということを示す情報(例えば、dual_tree_flag)がビットストリームに含まれている場合、ルマ符号化ブロックの分割形態モード情報と、クロマ符号化ブロックの分割形態モード情報とを独立して決定することができる。また、復号部120は、デュアルツリー分割が行われるということを示す情報が、ビットストリームに含まれており、分割対象である符号化単位を含む現在スライスが、Iスライスである場合、ルマ符号化ブロックの分割形態モード情報と、クロマ符号化ブロックの分割形態モード情報とを独立して決定することができる。
復号部120は、デュアルツリー分割が行われないということを示す情報が、ビットストリームに含まれているか、あるいは符号化単位を含む現在スライスが、Iスライスではない場合、ルマ符号化ブロックの分割形態モード情報と、クロマ符号化ブロックの分割形態モード情報とを同一に決定(すなわち、シングルツリー分割)することができる。
一例において、デュアルツリー分割が行われる場合、復号部120は、所定サイズ以下のルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するとき、ルマ符号化ブロックの分割形態モード情報と、クロマ符号化ブロックの分割形態モード情報とを、ビットストリームから獲得することができる。そして、復号部120は、ルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロックを分割し、クロマ符号化ブロックの分割形態モード情報により、クロマ符号化ブロックを分割することができる。ルマ符号化ブロック及びクロマ符号化ブロックは、前述のように、クアッド分割、ターナリー分割、バイナリー分割などにより、再帰的にも分割される。前記所定サイズは、32x32、64x64、128x128または256x256でもあるが、それに限定されるものではない。一実施形態において、所定サイズ以下のルマ符号化ブロックと、それに対応するクロマ符号化ブロックとが再帰的に分割される間、クロマ符号化ブロックのチャイルド符号化ブロックの大きさが、既定最小サイズ以下であるならば、親ブロックに該当するクロマ符号化ブロックの分割は、許容されないのである。また、一実施形態において、所定サイズ以下のルマ符号化ブロックと、それに対応するクロマ符号化ブロックとが分割されるとき、分割結果として生成されるクロマ符号化ブロックの最大深度は、分割結果として生成されるルマ符号化ブロックの最大深度よりも低い。
デュアルツリー分割が行われる場合、復号部120は、所定サイズ(例えば、64x64)より大きいルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するとき、既定の分割モード、例えば、クアッド分割モードで、ルマ符号化ブロック及びクロマ符号化ブロックを分割することができる。その場合、ルマ符号化ブロックとクロマ符号化ブロックは、同一形態にも分割される。他の例として、復号部120は、所定サイズ(例えば、64x64)より大きいルマ符号化ブロックの分割形態モード情報をビットストリームから獲得し、ルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロック及びクロマ符号化ブロックを分割することができる。すなわち、所定サイズより大きいルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックは、ルマ符号化ブロックの分割形態モード情報により、同一分割形態にも分割される。所定サイズ(例えば、64x64)より大きいルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックに係わる分割結果として、所定サイズ以下のルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックが決定されれば、前述のように、ルマ符号化ブロックの分割形態モード情報、及びクロマ符号化ブロックの分割形態モード情報により、所定サイズ以下のルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックが独立して分割されうる。
他の例として、デュアルツリー分割が行われる場合、復号部120は、所定深度以上のルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するとき、ルマ符号化ブロックの分割形態モード情報と、クロマ符号化ブロックの分割形態モード情報とを、ビットストリームから獲得することができる。そして、復号部120は、ルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロックを分割し、クロマ符号化ブロックの分割形態モード情報により、クロマ符号化ブロックを分割することができる。一実施形態において、所定深度以上のルマ符号化ブロックと、それに対応するクロマ符号化ブロックとが再帰的に分割される間、クロマ符号化ブロックのチャイルド符号化ブロックの大きさが、既定の最小サイズ以下であるならば、親ブロックに該当するクロマ符号化ブロックの分割は、許容されないのである。また、一実施形態において、所定深度以上のルマ符号化ブロックと、それに対応するクロマ符号化ブロックとが分割されるとき、分割結果として生成されるクロマ符号化ブロックの最大深度は、分割結果として生成されるルマ符号化ブロックの最大深度よりも低い。
デュアルツリー分割が行われる場合、復号部120は、所定深度より低いルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するとき、既定の分割モード、例えば、クアッド分割モードにより、ルマ符号化ブロック及びクロマ符号化ブロックを分割することができる。他の例として、復号部120は、所定深度より低いルマ符号化ブロックの分割形態モード情報を、ビットストリームから獲得することができる。そして、復号部120は、ルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロック及びクロマ符号化ブロックを同一に分割することができる。
さらに他の例として、デュアルツリー分割が行われる場合、復号部120は、所定サイズ以下または所定深度以上のルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するとき、ルマ符号化ブロックの分割形態モード情報を、ビットストリームから獲得し、ルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロックを分割し、ルマ符号化ブロックの分割形態モード情報と無関係に、クロマ符号化ブロックを、既定の分割モードによって分割することもできる。復号部120は、所定サイズより大きいか、あるいは所定深度より低いルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するときには、既定の分割モードにより、ルマ符号化ブロック及びクロマ符号化ブロックを分割するか、あるいはルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロック及びクロマ符号化ブロックを同一に分割することができる。
さらに他の例として、デュアルツリー分割が行われる場合、復号部120は、所定サイズ以下または所定深度以上のルマ符号化ブロック、及びそれに対応するクロマ符号化ブロックを分割するとき、ルマ符号化ブロックの分割形態モード情報を、ビットストリームから獲得し、ルマ符号化ブロックの分割形態モード情報により、ルマ符号化ブロック及びクロマ符号化ブロックを同一に分割することができる。このとき、分割形態モード情報に基づいて決定される分割形態により、クロマ符号化ブロックが分割されたときに決定されるチャイルド符号化ブロックの大きさが、最小サイズ以下であるならば、親ブロックに該当するクロマ符号化ブロックの分割は、許容されないのである。
図20は、ループフィルタリングを行う映像の符号化システム及び復号システムのブロック図を示した図面である。
映像の符号化システム及び復号システム2000の符号化端2010は、映像の符号化されたビットストリームを伝送し、復号化端2050は、ビットストリームを受信して復号することによって復元映像を出力する。ここで、符号化端2010は、後述する映像符号化装置200にも対応し、復号化端2050は、映像復号装置100にも対応する。
符号化端2010において、予測符号化部2015は、符号化単位に係わるインター予測及びイントラ予測を介して予測データを出力し、変換及び量子化部2020は、予測データと現在入力映像とのレジデュアルデータを、変換単位を基準で変換し、変換係数を量子化して出力する。エントロピー符号化部2025は、量子化された変換係数を符号化し、ビットストリームとして出力する。量子化された変換係数は、逆量子化及び逆変換部2030を経て、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキングフィルタリング部2035及びループフィルタリング部2040を経て、復元映像として出力される。該復元映像は、予測符号化部2015を経て、次の入力映像の参照映像としても使用される。
復号化端2050に受信されたビットストリームにおいて符号化された映像データは、エントロピー復号部2055と逆量子化及び逆変換部2060とを経て、空間領域のレジデュアルデータに復元される。予測復号部2075から出力された予測データ及びレジデュアルデータが組み合わされ、空間領域の映像データが構成され、デブロッキングフィルタリング部2065及びループフィルタリング部2070は、空間領域の映像データに対してフィルタリングを行い、現在原本映像に係わる復元映像を出力することができる。該復元映像は、予測復号部2075により、次の原本映像に係わる参照映像としても利用されうる。
符号化端2010のループフィルタリング部2040は、ユーザ入力またはシステム設定によって入力されたフィルタ情報を利用し、ループフィルタリングを行う。ループフィルタリング部2040によって使用されたフィルタ情報は、エントロピー符号化部2025に出力され、符号化された映像データと共に、復号化端2050に伝送される。復号化端2050のループフィルタリング部2070は、復号化端2050から入力されたフィルタ情報に基づき、ループフィルタリングを行うことができる。
前述のように、変換係数の逆変換は、変換単位を基準にも行われる。多様な分割形態モードにより、符号化単位から決定される変換単位の幅または高さが、2n(nは、整数である)に該当しないのである。言い換えれば、変換単位の幅方向または高さ方向に沿って配列されたサンプルの個数が2n個に該当しないのである。変換単位に含まれる変換係数を逆変換するための変換カーネル(transform kernel)の幅及び高さが2nに該当する場合、幅または高さが2nに該当しない変換単位に係わる逆変換に変換カーネルが利用されえる。その場合、幅または高さが2nではない変換カーネルが必要になるが、それは、変換及び逆変換の複雑性を増大させる要因になる。
一実施形態において、復号部120は、現在変換単位の幅または高さが2nに該当しない場合、復号部120は、現在変換単位を含む符号化単位を基準に逆変換を行うことができる。言い換えれば、現在符号化単位から現在変換単位が決定され、現在変換単位の幅または高さが2nに該当しない場合、復号部120は、現在符号化単位に含まれる変換係数を逆変換することができる。復号部120は、現在変換単位を含む符号化単位の幅または高さが2nに該当しない場合には、符号化単位の親符号化単位を基準に変換係数を逆変換することができる。
一実施形態において、復号部120は、現在変換単位の幅または高さが2nに該当しない場合、現在変換単位を含む現在符号化単位の予測モードを、逆変換が必要ではない予測モードに決定することができる。例えば、現在符号化単位の予測モードをスキップ(skip)モード、マージスキップ(merge skip)モードまたはアフィンスキップ(affine skip)モードに決定することができる。復号部120は、現在変換単位の幅または高さが2nに該当しない場合、現在符号化単位の予測モード情報をビットストリームから獲得せず、現在符号化単位の予測モードをスキップモード、マージスキップモードまたはアフィンスキップモードに決定することができる。現在変換単位を含む現在符号化単位の予測モードを逆変換が必要ではない予測モードに決定することは、符号化単位を基準に逆変換が行われる場合に有用でもある。すなわち、再帰的分割過程を介して決定された現在符号化単位の幅または高さが2nに該当しない場合、復号部120は、現在符号化単位の予測モードを逆変換が必要ではない予測モードに決定することができる。
また、一実施形態において、復号部120は、現在変換単位の幅または高さが2nに該当しない場合、現在変換単位につき、逆変換が必要ではないと決定することができる。復号部120は、現在変換単位の逆変換の必要いかんを示す情報(例えば、transform skip flag)をビットストリームから獲得せず、現在変換単位に係わる逆変換が必要ではないと決定することができる。その場合、ビットストリームには、量子化されたレジデュアルデータが含まれ、復号部120は、量子化されたレジデュアルデータを逆量子化し、空間領域のレジデュアルデータを獲得することができる。
また、一実施形態において、復号部120は、現在変換単位の幅または高さが2nに該当しない場合、現在変換単位に含まれる変換係数の値を0に決定することができる。復号部120は、0ではない変換係数が現在変換単位に含まれているか否かということを示す情報(例えば、tu_cbf)をビットストリームから獲得せず、現在変換単位に含まれた変換係数の値がいずれも0であると決定することができる。
また、一実施形態において、復号部120は、現在変換単位の幅または高さが2nに該当しない場合、現在変換単位の変換係数をビットストリームから獲得されるDC値に決定することができる。該DC値は、現在変換単位に含まれる変換係数の平均値でもある。復号部120は、現在変換単位に対して逆変換を行わず、現在変換単位の変換係数の値を、ビットストリームから獲得されるDC値に決定することができる。
また、一実施形態において、図21に図示されているように、復号部120は、現在符号化単位2100の幅(3x2b)または高さ(2a)が2nに該当しない場合、チャイルド符号化単位の幅及び高さが2nに該当するように、現在符号化単位を分割することができる。該チャイルド符号化単位の幅及び高さが2nに該当することにより、該チャイルド符号化単位から決定される変換単位の幅及び高さも、2nにも該当する。
また、一実施形態において、図22に図示されているように、復号部120は、現在符号化単位2200の幅(3x2b)または高さ(2a)が2nに該当しない場合、幅及び高さが2nに該当する変換単位を、現在符号化単位から決定することもできる。
前述の多様な実施形態は、映像復号装置100が遂行する映像復号方法と係わる動作について説明したものである。以下においては、そのような映像復号方法に対して逆順の過程に該当する映像符号化方法を遂行する映像符号化装置200の動作について、多様な実施形態を介して説明することにする。
図2は、一実施形態により、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、映像を符号化することができる映像符号化装置200のブロック図を図示する。
映像符号化装置200は、符号化部220及びビットストリーム生成部210を含んでもよい。符号化部220は、入力映像を受信し、入力映像を符号化することができる。符号化部220は、入力映像を符号化し、少なくとも1つのシンタックスエレメントを獲得することができる。該シンタックスエレメントは、skip flag、prediction mode、motion vector difference、motion vector prediction method(または、index)、transform quantized coefficient、coded block pattern、coded block flag、intra prediction mode、direct flag、merge flag、delta QP、reference index、prediction direction、transform Index、dual tree flagのうち少なくとも一つを含んでもよい。符号化部220は、符号化単位の形態、方向、幅及び高さの比率または大きさのうち少なくとも一つを含むブロック形態情報に基づき、コンテクストモデルを決定することができる。
ビットストリーム生成部210は、符号化された入力映像に基づき、ビットストリームを生成することができる。例えば、ビットストリーム生成部210は、コンテクストモデルに基づき、シンタックスエレメントをエントロピー符号化することにより、ビットストリームを生成することができる。また、映像符号化装置200は、ビットストリームを、映像復号装置100に伝送することができる。
一実施形態により、映像符号化装置200の符号化部220は、符号化単位の形態を決定することができる。例えば、符号化単位が正方形であるか、あるいは非正方形状を有することができ、そのような形態を示す情報は、ブロック形態情報に含まれてもよい。
一実施形態により、符号化部220は、符号化単位がいかなる形態に分割されるかということを決定することができる。符号化部220は、符号化単位に含まれる少なくとも1つの符号化単位の形態を決定することができ、ビットストリーム生成部210は、そのような符号化単位の形態に係わる情報を含む分割形態モード情報を含むビットストリームを生成することができる。符号化部220は、符号化単位のデュアルツリー分割が行われるか否かということを決定し、ビットストリーム生成部210は、当該情報を含むビットストリームを生成することができる。
一実施形態により、符号化部220は、符号化単位が分割されるか、あるいは分割されないかということを決定することができる。符号化部220が、符号化単位に1つの符号化単位だけが含まれるか、あるいは符号化単位が分割されないと決定する場合、ビットストリーム生成部210は、符号化単位が分割されないことを示す分割形態モード情報を含むビットストリームを生成することができる。また、符号化部220が、符号化単位を、複数個の符号化単位に分割すると決定した場合、ビットストリーム生成部210は、符号化単位は、複数個の符号化単位に分割されることを示す分割形態モード情報を含むビットストリームを生成することができる。
一実施形態により、符号化単位をいくつの符号化単位に分割するかということを示すか、あるいはどの方向に分割するかということを示す情報が、分割形態モード情報に含まれてもよい。例えば、該分割形態モード情報は、垂直方向及び水平方向のうち少なくとも1つの方向に分割することを示すか、あるいは分割しないということを示すことができる。
符号化部220の映像分割過程は、図3ないし図22を参照して説明した映像復号装置100の映像分割過程に対応するので、詳細な説明は、省略する。ただし、ビットストリーム生成部210は、符号化単位の分割形態が、分割規則により、所定分割形態に制限されるか、符号化単位の分割が許容されないか、あるいは符号化単位の分割形態が所定分割形態以外の分割形態だけに許容される場合、それと係わる情報を、ビットストリームに含めないのである。例えば、符号化単位の分割形態が水平分割に制限される場合、水平方向または垂直方向を示す分割方向情報は、ビットストリームに含めないのである。また、符号化単位の分割形態がバイナリー分割に制限される場合、バイナリー分割またはターナリー分割を示す分割タイプ情報は、ビットストリームに含めないのである。また、符号化単位の分割が許容されない場合、符号化単位の分割いかんを示す情報は、ビットストリームに含めないのである。すなわち、符号化単位の分割形態が、映像復号装置100及び映像符号化装置200に既定分割規則による場合、分割規則による分割形態モードを決定するために、必要な情報は、ビットストリームに含めないのである。
また、一実施形態において、ビットストリーム生成部210は、符号化単位の予測モードが、既定の規則により、所定予測モードに制限される場合、符号化単位の予測モードを示す情報をビットストリームに含めないのである。例えば、符号化単位の予測モードが、変換係数の逆変換を制限するモード(例えば、スキップモード、マージスキップモードまたはアフィンスキップモード)に決定される場合、現在変換単位の逆変換の必要いかんを示す情報(例えば、transform skip flag)は、ビットストリームに含めないのである。
また、一実施形態において、現在変換単位の幅または高さが2nに該当しない場合、0ではない変換係数が現在変換単位に含まれているか否かということを示す情報(例えば、tu_cbf)は、ビットストリームに含めないのである。
また、一実施形態において、現在変換単位の幅または高さが2nに該当しない場合、ビットストリーム生成部210は、現在変換単位の変換係数の平均値をビットストリームに含めないのである。
符号化部220は、符号化単位の分割形態モードに基づき、分割形態モードに係わる情を決定する。符号化部220は、符号化単位の形態、方向、幅及び高さの比率または大
きさのうち少なくとも一つに基づき、コンテクストモデルを決定する。そして、ビットストリーム生成部210は、該コンテクストモデルに基づき、符号化単位を分割するための分割形態モードに係わる情報をビットストリームに生成する。
符号化部220は、コンテクストモデルを決定するために、符号化単位の形態、方向、幅及び高さの比率または大きさのうち少なくとも一つと、コンテクストモデルに係わるインデックスとを対応させるための配列を獲得することができる。符号化部220は、該配列において、符号化単位の形態、方向、幅及び高さの比率または大きさのうち少なくとも一つに基づき、コンテクストモデルに係わるインデックスを獲得することができる。符号化部220は、該コンテクストモデルに対するインデックスに基づき、コンテクストモデルを決定することができる。
符号化部220は、コンテクストモデルを決定するために、符号化単位に隣接した周辺符号化単位の形態、方向、幅及び高さの比率または大きさのうち少なくとも一つを含むブロック形態情報にさらに基づき、コンテクストモデルを決定することができる。また、該周辺符号化単位は、符号化単位の左下側、左側、左上側、上側、右上側、右側または右下側に位置した符号化単位のうち少なくとも一つを含んでもよい。
また、符号化部220は、コンテクストモデルを決定するために、上側周辺符号化単位の幅長と、符号化単位の幅長を比較することができる。また、符号化部220は、左側及び右側の周辺符号化単位の高さの高さと、符号化単位の高さの高さとを比較することができる。また、映像符号化装置200は、該比較結果に基づき、コンテクストモデルを決定することができる。
映像符号化装置200の動作は、図3ないし図22で説明したビデオ復号装置100の動作と類似した内容を含んでいるので、詳細な説明は、省略する。
図23は、一実施形態による映像復号方法について説明するための順序図である。
S2310段階において、映像復号装置100は、映像から分割された第1カラー成分の第1符号化ブロック、及び第1符号化ブロックに対応する第2カラー成分の第2符号化ブロックを決定する。前記第1カラー成分は、ルマでもあり、第2カラー成分は、クロマでもある。前述のように、ルマ符号化ブロック及びクロマ符号化ブロックは、符号化単位に含まれてもよい。カラーフォーマットにより、Y:Cb:Cr比率が、4:2:0であるならば、クロマ符号化ブロックの大きさは、ルマ符号化ブロックの大きさの半分でもある。
S2320段階において、映像復号装置100は、第1符号化ブロックの大きさが所定サイズ以下であるならば、ビットストリームから、第1符号化ブロックに係わる第1分割形態モード情報、及び第2符号化ブロックに係わる第2分割形態モード情報を獲得する。該第1分割形態モード情報及び該第2分割形態モード情報は、分割いかんを示す情報、クアッド分割いかんを示す情報、分割タイプを示す情報、及び分割方向を示す情報のうち少なくとも一つを含んでもよい。
S2330段階において、映像復号装置100は、第1分割形態モード情報に基づき、第1符号化ブロックの分割モードを決定し、第2分割形態モード情報に基づき、第2符号化ブロックの分割モードを決定する。該分割モードは、分割せず、クアッド分割、バイナリー垂直分割、バイナリー水平分割、ターナリー垂直分割またはターナリー水平分割を含んでもよい。前述のように、ブロック形態、親符号化ブロックの分割モード、及びチャイルド符号化ブロックのブロック形態のうち少なくとも一つにより、第1符号化ブロック及び第2符号化ブロックの分割モードが制限されうる。
S2340段階において、映像復号装置100は、第1符号化ブロックの分割モードに基づいて決定された第1カラー成分の符号化ブロック、及び第2符号化ブロックの分割モードに基づいて決定された第2カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する。第1カラー成分の符号化ブロックの大きさは、第1符号化ブロックの大きさと同じであるか、あるいはそれよりもさらに小さくもあり、第2カラー成分の符号化ブロックの大きさは、第2符号化ブロックの大きさと同じでもあるか、あるいはそれよりもさらに小さくもある。
映像復号装置100は、ビットストリームから獲得された予測モード情報により、第1カラー成分の符号化ブロック、及び第2カラー成分の符号化ブロックの予測データを生成することができる。そして、映像復号装置100は、ビットストリームから獲得されるレジデュアルデータを逆変換及び逆量子化した後、予測データに加え、第1カラー成分の符号化ブロック、及び第2カラー成分の符号化ブロックを復号することができる。該予測モードにより、前記レジデュアルデータは、ビットストリームに含まれもせず、その場合、該予測データに基づき、第1カラー成分の符号化ブロック、及び第2カラー成分の符号化ブロックが復号されうる。
一実施形態において、映像復号装置100は、第1カラー成分の符号化ブロック、及び第2カラー成分の符号化ブロックを、ビットストリームから獲得される分割形態モード情報に基づき、独立的及び階層的に分割することができる。
一実施形態において、図23に図示されたS2320ないしS2340は、第1符号化ブロックの深度が、所定深度以上である場合にも遂行される。
また、映像復号装置100は、第1符号化ブロックの大きさが、所定サイズより大きい(あるいは、深度が所定深度未満である)ものであるならば、第1符号化ブロック及び第2符号化ブロックを、既定の分割モードにより、同一に分割することができる。
図24は、一実施形態による映像符号化方法について説明するための順序図である。
S2410段階において、映像符号化装置200は、映像から分割された第1カラー成分の第1符号化ブロック、及び第1符号化ブロックに対応する第2カラー成分の第2符号化ブロックを決定する。前記第1カラー成分は、ルマでもあり、第2カラー成分は、クロマでもある。
S2420段階において、映像符号化装置200は、第1符号化ブロックの大きさが所定サイズ以下であるならば、第1符号化ブロックの第1分割モード、及び第2符号化ブロックの第2分割モードを決定する。映像符号化装置200は、第1分割モード及び第2分割モードを独立して決定することができる。
S2430段階において、映像符号化装置200は、第1分割モードに基づき、第1符号化ブロックから決定された第1カラー成分の符号化ブロック、及び第2分割モードに基づき、第2符号化ブロックから決定された第2カラー成分の符号化ブロックを符号化する。
映像符号化装置200は、第1カラー成分の符号化ブロック、及び第2カラー成分の符号化ブロックの予測モードを決定し、該予測モードにより、予測データを生成することができる。そして、映像符号化装置100は、第1カラー成分の符号化ブロック、及び第2カラー成分の符号化ブロックのサンプル値と予測データとのレジデュアルデータを決定し、該レジデュアルデータを変換及び量子化することができる。量子化された変換係数と係わる情報は、エントロピー符号化され、ビットストリームに含まれてもよい。
S2440段階において、映像符号化装置100は、第1符号化ブロックに係わる第1分割形態モード情報、及び第2符号化ブロックに係わる第2分割形態モード情報を含むビットストリームを生成する。
一実施形態において、図24に図示されたS2420ないしS2440は、第1符号化
ブロックの深度が所定深度以上である場合にも遂行される。
また、映像符号化装置100は、第1符号化ブロックの大きさが、所定サイズより大きければ(あるいは、深度が所定深度以下であるなば)、既定の分割モードにより、第1符号化ブロックと第2符号化ブロックとを同一に分割することができる。
なお、前述の本開示の実施形態は、コンピュータで実行されうるプログラムに作成可能であり、作成されたプログラムは、媒体にも保存される。
該媒体は、コンピュータで実行可能なプログラムを続けて保存するか、あるいは実行またはダウンロードのために臨時保存するものでもある。また、該媒体は、単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されるものではなく、ネットワーク上に分散存在するものでもある。該媒体の例示としては、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体;CD-ROM(compact disc read only memory)及びDVD(digital versatile disc)のような光記録媒体;フロプティカルディスク(floptical disk)のような磁気・光媒体(magneto-optical medium);並びにROM(read only memory)、RAM(random access memory)、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。また、他の媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給したり流通させたりするサイト、サーバなどで管理する記録媒体あるいは記録媒体も挙げることができる。
以上、本開示の技術的思想について、望ましい実施形態を挙げて詳細に説明したが、本開示の技術的思想は、前述の実施形態に限定されるものではなく、本開示の技術的思想の範囲内において、当分野で当業者により、さまざまな変形及び変更が可能である。
以下に出願当初の特許請求の範囲の内容を実施例として記載しておく。
[実施例1]
映像の復号方法において、
映像から分割された第1カラー成分の第1符号化ブロック、及び前記第1符号化ブロックに対応する第2カラー成分の第2符号化ブロックを決定する段階と、
前記第1符号化ブロックの大きさが所定サイズ以下であるならば、ビットストリームから、前記第1符号化ブロックに係わる第1分割形態モード情報、及び前記第2符号化ブロックに係わる第2分割形態モード情報を獲得する段階と、
前記第1分割形態モード情報に基づき、前記第1符号化ブロックの分割モードを決定し、前記第2分割形態モード情報に基づき、前記第2符号化ブロックの分割モードを決定する段階と、
前記第1符号化ブロックの分割モードに基づいて決定された第1カラー成分の符号化ブロック、及び前記第2符号化ブロックの分割モードに基づいて決定された第2カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する段階と、を含むことを特徴とする映像の復号方法。
[実施例2]
前記映像の復号方法は、
前記第1符号化ブロックの大きさが、所定サイズより大きければ、前記第1符号化ブロック及び前記第2符号化ブロックの分割モードを、既定の分割モードに決定する段階と、
前記既定の分割モードにより、前記第1符号化ブロックから決定された第1カラー成分の符号化ブロック、及び前記第2符号化ブロックから決定された第2カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する段階と、をさらに含むことを特徴とする実施例1に記載の映像の復号方法。
[実施例3]
前記映像の復号方法は、
前記既定の分割モードにより、前記第1符号化ブロックから決定された第1カラー成分の符号化ブロックの大きさが、前記所定サイズ以下であるならば、前記第1カラー成分の符号化ブロック、及びそれに対応する第2カラー成分の符号化ブロックの分割モードを、前記ビットストリームから獲得される第1分割形態モード情報及び第2分割形態モード情報に基づき、独立して決定する段階をさらに含むことを特徴とする実施例2に記載の映像の復号方法。
[実施例4]
前記第2符号化ブロックは、再帰的に分割されるものの、
第2符号化ブロックが再帰的に分割されることによって決定される前記第2カラー成分の符号化ブロックのチャイルド符号化ブロックの大きさが最小サイズ以下であるならば、前記第2カラー成分の符号化ブロックの分割は、許容されないことを特徴とする実施例1に記載の映像の復号方法。
[実施例5]
前記第1符号化ブロックの許容可能な最大深度は、前記第2符号化ブロックの許容可能な最大深度より高いことを特徴とする実施例1に記載の映像の復号方法。
[実施例6]
前記映像の復号方法は、
前記第1符号化ブロックの分割モードを考慮し、前記第1符号化ブロックから決定された前記第1カラー成分の符号化ブロックの分割モードを決定する段階をさらに含むことを特徴とする実施例1に記載の映像の復号方法。
[実施例7]
前記映像の復号方法は、
前記第1符号化ブロックから決定された前記第1カラー成分の符号化ブロックのブロック形態、及び前記第1カラー成分の符号化ブロックから決定されうるチャイルド符号化ブロックのブロック形態のうち少なくとも一つに基づき、前記第1カラー成分の符号化ブロックについて許容可能な分割モードを決定する段階と、
前記許容可能な分割モード、及び前記第1カラー成分の符号化ブロックについて許容されない分割モードを区分するのに必要な情報を、前記ビットストリームからパージングしない段階と、をさらに含むことを特徴とする実施例1に記載の映像の復号方法。
[実施例8]
前記第1符号化ブロックから決定された前記第1カラー成分の符号化ブロックが、第1符号化ブロックからターナリー分割された符号化ブロックのうち、所定位置の符号化ブロックに該当する場合、前記第1カラー成分の符号化ブロックの分割は、許容されないことを特徴とする実施例1に記載の映像の復号方法。
[実施例9]
前記映像の復号方法は、
前記第1カラー成分の符号化ブロックに対応する変換ブロックの幅または幅が、2n(nは、整数である)に対応しない場合、幅または幅が2nに対応する符号化ブロックの変換係数を逆変換する段階をさらに含むことを特徴とする実施例1に記載の映像の復号方法。
[実施例10]
前記映像の復号方法は、
前記第1カラー成分の符号化ブロックに対応する変換ブロックの幅または幅が、2nに対応しない場合、前記第1カラー成分の符号化ブロックの予測モードを、逆変換が不要な予測モードに決定する段階をさらに含むことを特徴とする実施例1に記載の映像の復号方法。
[実施例11]
前記映像の復号方法は、
前記第1カラー成分の符号化ブロックに対応する変換ブロックの幅または幅が、2nに対応しない場合、前記変換ブロックの変換係数を0に決定するか、あるいは前記ビットストリームから獲得されるDC値に決定する段階をさらに含むことを特徴とする実施例1に記載の映像の復号方法。
[実施例12]
前記第1カラー成分の符号化ブロックの幅または幅が、2nに対応しない場合、前記第1カラー成分の符号化ブロックは、幅及び幅が2nに対応する少なくとも1つの符号化ブロックに分割されることを特徴とする実施例1に記載の映像の復号方法。
[実施例13]
映像の復号装置において、
前記映像の符号化結果を含むビットストリームを獲得するビットストリーム獲得部と、
前記映像から分割された第1カラー成分の第1符号化ブロック、及び前記第1符号化ブロックに対応する第2カラー成分の第2符号化ブロックを決定し、前記第1符号化ブロックの大きさが所定サイズ以下であるならば、前記ビットストリームから、前記第1符号化ブロックに係わる第1分割形態モード情報、及び前記第2符号化ブロックに係わる第2分割形態モード情報を獲得し、前記第1分割形態モード情報に基づき、前記第1符号化ブロックの分割モードを決定し、前記第2分割形態モード情報に基づき、前記第2符号化ブロックの分割モードを決定し、前記第1符号化ブロックの分割モードに基づいて決定された第1カラー成分の符号化ブロック、及び前記第2符号化ブロックの分割モードに基づいて決定された第2カラー成分の符号化ブロックを、前記ビットストリームから獲得される情報に基づいて復号する復号部と、を含むことを特徴とする映像の復号装置。
[実施例14]
映像の符号化方法において、
映像から分割された第1カラー成分の第1符号化ブロック、及び前記第1符号化ブロックに対応する第2カラー成分の第2符号化ブロックを決定する段階と、
前記第1符号化ブロックの大きさが所定サイズ以下であるならば、前記第1符号化ブロックに係わる第1分割モード、及び前記第2符号化ブロックに係わる第2分割形態モードを決定する段階と、
前記第1符号化ブロックの分割モードに基づいて決定された第1カラー成分の符号化ブロック、及び前記第2符号化ブロックの分割モードに基づいて決定された第2カラー成分の符号化ブロックを符号化する段階と、
前記第1分割モードを示す第1分割形態モード情報、及び前記第2分割モードを示す第2分割形態モード情報を含むビットストリームを生成する段階と、を含むことを特徴とする映像の符号化方法。
[実施例15]
実施例1に記載の映像復号方法を実行するためのプログラムを保存するコンピュータで読み取り可能な記録媒体。