JP6141900B2 - 固定小数点変換のためのビット深度調節を伴うビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置 - Google Patents

Description

本発明は、固定小数点変換／逆変換を伴うビデオ符号化／復号化に関する。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり、あるいは復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。

周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べて、周波数領域の係数が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差で表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続的に反復的に発生するデータを、小サイズのデータに置き換えることにより、データ量を節減している。

本発明は、符号化されたサンプルを復元する過程でのビット深度（bit depth）を調節するために、符号化された出力データの範囲を調整するビデオ符号化方法と、復号化の各細部段階ごとに出力データのオーバーフローを防止するビデオ復号化方法と、を提案する。

本発明の一実施形態によるビデオ復号化方法において、受信されたビットストリームから、映像ブロック別に量子化された変換係数パージングして復元する段階と、前記量子化された変換係数に対して逆量子化を行い、第１ビット深度以下の変換係数を復元する段階と、前記変換係数に対して、一次元逆変換及び逆スケーリングを行い、第２ビット深度以下のサンプルを復元する段階と、を含む。

ビデオ復号化過程中、固定小数点変換で発生しうるオーバーフローが防止され、クリッピング動作を遂行するためのハードウェアを節減することができるので、経済的にも有利な効果が導き出される。

一実施形態によるビデオ符号化装置のブロック図である。 一実施形態によるビデオ復号化装置のブロック図である。 一実施形態によって、符号化／復号化システムで、ビット深度が変わる段階を図示する図面である。 一実施形態によるビデオ符号化方法のフローチャートである。 一実施形態によるビデオ復号化方法のフローチャートである。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態に、よる符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。

本発明の一実施形態によるビデオ復号化方法において、受信されたビットストリームから、映像ブロック別に、量子化された変換係数をパージングして復元する段階と、前記量子化された変換係数に対して逆量子化を行い、第１ビット深度以下の変換係数を復元する段階と、前記変換係数に対して、一次元逆変換及び逆スケーリングを行い、第２ビット深度以下のサンプルを復元する段階と、を含む
一実施形態による、前記変換係数を復元する段階は、前記逆量子化を行って生成された変換係数に対するクリッピング動作なしに、前記逆量子化後、前記第１ビット深度以下の変換係数を生成する段階を含み、前記第１データサイズは、前記逆量子化後に生成された変換係数が保存される第１ストレージの大きさでもある。

一実施形態による、前記サンプル値を復元する段階は、前記一次元逆変換及び逆スケーリングを遂行して生成されたサンプルに対するクリッピング動作なしに、前記一次元逆変換及び逆スケーリング後、前記第２ビット深度以下のサンプルを生成する段階を含み、前記第２データサイズは、前記逆変換及び逆スケーリング後に生成されたサンプルが保存される第２ストレージの大きさでもある。

一実施形態による、前記量子化された係数をパージングして復元する段階は、前記逆量子化後、前記第１ビット深度以下の変換係数が生成され、前記逆変換及び逆スケーリング後、前記第２ビット深度以下のサンプルが生成されるように、最大範囲が調整された前記量子化された変換係数をパージングして復元する段階を含んでもよい。

一実施形態によって、前記一次元逆変換後に生成されたデータを、所定ビット数ほどビットシフト（bit-shift）することによって逆スケーリングが行われる場合、前記量子化された変換係数の最大範囲は、前記一次元逆変換後の逆スケーリングのためのシフト回数に基づいて決定されてもよい。

本発明の一実施形態によるビデオ符号化方法は、映像ブロック別に、変換及び量子化を行って量子化された変換係数を生成する段階と、前記量子化された変換係数に対する逆量子化の出力データ及び／または変換係数に対する一次元逆変換及び逆スケーリングの出力データが、所定ビット深度以下になるための、前記量子化された変換係数の最大範囲を決定する段階と、前記決定された最大範囲内に、前記量子化された変換係数の範囲を調整する段階と、を含む。

一実施形態による前記量子化された変換係数の範囲を決定する段階は、サンプル復元過程で前記逆量子化を行った後、クリッピング動作なしに、第１ビット深度以下の前記変換係数が生成されるように、前記第１ビット深度を利用して、前記量子化された変換係数の最大範囲を決定する段階を含み、前記第１ビット深度は、前記変換係数が保存される第１ストレージの大きさでもある。

一実施形態による前記量子化された変換係数の範囲を決定する段階は、サンプル復元過程で、前記一次元逆変換及び逆スケーリングを行った後、クリッピング動作なしに、前記第２ビット深度以下の前記サンプルが生成されるように、前記第２ビット深度を利用して、前記量子化された変換係数の最大範囲を決定する段階を含み、前記第２ビット深度は、前記サンプルが保存される第２ストレージの大きさでもある。

一実施形態による前記量子化された変換係数の範囲を決定する段階は、前記逆スケーリング後に生成された前記サンプルに対するクリッピング動作なしに、前記一次元逆変換後に生成されたデータを、所定ビット数ほどビットシフトし、前記第２ビット深度以下のサンプルを生成するために、前記所定ビット数を利用して、前記量子化された変換係数の最大範囲を決定する段階を含んでもよい。

一実施形態による前記量子化された変換係数の範囲を調整する段階は、前記量子化された変換係数の範囲を、前記決定された最大範囲以内にクリッピングする段階を含んでもよい。

本発明の一実施形態によるビデオ復号化装置は、受信されたビットストリームから、ブロックごとに量子化された変換係数をパージングして復元する受信部と、前記量子化された変換係数に対して逆量子化を行い、第１ビット深度以下の変換係数を復元する逆量子化部と、前記変換係数に対して、一次元逆変換及び逆スケーリングを行い、第２ビット深度以下のサンプルを復元する逆変換部と、前記ブロックごとに復元された前記サンプルを利用して、映像を復元する映像復元部と、を含む。

本発明の一実施形態によるビデオ符号化装置は、映像ブロック別に、変換及び量子化を行って量子化された変換係数を生成する変換量子化部と、前記量子化された変換係数に対する逆量子化の出力データ及び／または変換係数に対する一次元逆変換及び逆スケーリングを介して生成された出力データが、所定ビット深度以下になるための前記量子化された変換係数の最大範囲を決定する最大範囲決定部と、前記決定された最大範囲内に前記量子化された変換係数を調整し、ビットストリームを出力する出力部と、を含む。

本発明は、一実施形態によるビデオ復号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

本発明は、一実施形態によるビデオ符号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

以下、図１ないし図５を参照し、一実施形態によって、固定小数点（fixed-point）変換及び逆変換のビット深度（bit depth）を調節するビデオ符号化技法及びビデオ復号化技法を開示する。また、図６ないし図１８を参照し、一実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号化技法において、固定小数点変換及び逆変換のビット深度が調節される実施形態を開示する。以下、「映像（image）」は、ビデオの静止映像（still image）や動画（moving picture）、すなわち、ビデオそのものを示すものとする。

まず、図１ないし図５を参照し、一実施形態によって、固定小数点変換及び逆変換のビット深度を調節するビデオ符号化技法及びビデオ復号化技法を開示する。

図１は、一実施形態によるビデオ符号化装置１０のブロック図を図示している。一実施形態によるビデオ符号化装置１０は、変換量子化部１２、最大範囲決定部１４及び出力部１６を含む。

一実施形態によるビデオ符号化装置１０は、ビデオ映像を入力され、それぞれの映像をブロックに区画し、ブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位においては、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式は、図６ないし図１８を参照して後述する。

一実施形態によるビデオ符号化装置１０は、映像ブロック別に、イントラ予測、インター予測、変換、量子化を行ってサンプルを生成して、サンプルに対してエントロピー符号化を行い、ビットストリームの形態で出力することができる。

一実施形態による変換量子化部１２は、映像ブロック別に、変換及び量子化を行い、量子化された変換係数を生成することができる。変換量子化部１２は、映像の予測符号化を介して生成されたピクセル値またはピクセル値差分情報を受信し、受信されたデータに対して、変換単位別に変換を行い、変換係数を生成することができる。変換量子化部１２は、変換係数に対して量子化を行い、量子化された変換係数、すなわち、量子化係数を生成することができる。一実施形態による変換量子化部１２は、変換を行うとき、固定小数点変換を行う。

サンプル復元過程では、量子化された変換係数から、変換係数を復元するためには、逆量子化が必要であり、逆量子化の出力データは、所定データサイズのストレージに保存されもする。

逆量子化後に生成された変換係数が保存される第１ストレージのデータサイズは、第１ビット深度のデータが保存される大きさでもある。従って、逆量子化の出力データは、第１ビット深度以下のデータでもある。

以下、データは、ビット深度によって、データの最大絶対値が決定され、データ値は、最小値／最大値間の値であるので、ビット深度によって、データの範囲（dynamic range）が決定されてもよい。また、所定ビット深度のデータが保存されるストレージのデータサイズも、データのビット深度によって決定されてもよい。従って、以下の説明で、データのビット深度、最大絶対値及び範囲、並びにストレージのデータサイズは、いずれも類似の意味を有する用語である。

サンプル復元過程では、固定小数点変換によって生成された変換係数から、原本データを復元するために、変換係数に対して逆変換が行われる。固定小数点変換に対応して、固定小数点逆変換によって生成される出力データは、所定ビット深度以下に、逆スケーリングされる。一実施形態による固定小数点逆変換後に逆スケーリングを行って生成された出力データは、所定データサイズのストレージに保存される。すなわち、逆変換及び逆スケーリング後に生成されたサンプルが保存される第２ストレージのデータサイズは、第２ビット深度のデータが保存される大きさでもある。従って、逆変換及び逆スケーリングの出力データは、第２ビット深度以下のデータである。

二次元ブロックに対する二次元変換の代わりに、一次元変換が２回連続的に行われもする。サンプル復元過程で、変換量子化部１２に対応する逆変換の場合にも、二次元逆変換のために、一次元逆変換が２回連続して行われる。毎回一次元逆変換後には、逆スケーリングが行われる。

一実施形態によれば、逆変換によって生成される出力データを、所定ビット数ほどビットシフトすることによって、逆変換の逆スケーリングが具現される。従って、逆スケーリングのためにビットシフトされた出力データのビット深度は、第２ビット深度以下であることが望ましい。

逆変換後の逆スケーリングによって生成される出力データのビット深度が、第２ビット深度に制限されるならば、第２ビット深度に基づいて、逆変換の入力である変換係数も、所定範囲の値に制限される。

また、逆量子化によって生成された変換係数が、逆変換の入力範囲以内の値に制限するために、逆量子化の入力である量子化された変換係数も、他の範囲以内の値に制限される。

従って、一実施形態によるビデオ符号化装置１０は、ビットストリームとして出力する量子化された変換係数の動的範囲（dynamic range）を、逆量子化の出力範囲及び逆変換／逆スケーリングの出力範囲を考慮して調節することができる。これにより、最大範囲決定部１４は、ビデオ符号化装置１０が出力する量子化された変換係数の最大範囲を決定することができる。

一実施形態によって、サンプル復元過程で、量子化された変換係数に対する逆量子化及び／または変換係数に対する逆変換と逆スケーリングとの出力データが、所定ビット深度以下になるように、最大範囲決定部１４は、量子化された変換係数の最大範囲を決定することができる。

一実施形態によって、サンプル復元過程で、逆量子化を行って生成された変換係数に対するクリッピング動作なしにも、第１ビット深度以下の変換係数が生成されるように、最大範囲決定部１４は、第１ビット深度に基づいて、量子化された変換係数の最大範囲を決定することができる。

一実施形態によって、サンプル復元過程で、一次元逆変換及び逆スケーリングを行って生成されたサンプルに対するクリッピング動作なしにも、第２ビット深度以下のサンプルが生成されるように、最大範囲決定部１４は、第２ビット深度に基づいて、量子化された変換係数の最大範囲を決定することができる。

一実施形態によって、サンプル復元過程で、一次元逆変換後の逆スケーリングのためデータを、所定ビット数ほどビットシフトする場合には、最大範囲決定部１４は、シフトされるビット数に基づいて、量子化された変換係数の最大範囲を決定することができる。

一実施形態による出力部１６は、最大範囲決定部１４で決定された最大範囲内に、量子化された変換係数の範囲を調整し、ビットストリームを出力することができる。量子化された変換係数は、最大範囲決定部１４で決定された最大範囲以下の値にクリッピングされる。

前述のように、最大範囲決定部１４が、サンプル復元過程での逆量子化後にクリッピングを省略し、逆変換後にクリッピングをいずれも省略するように、量子化された変換係数の最大範囲を決定することができる。他の例として、最大範囲決定部１４は、サンプル復元過程での逆量子化後にクリッピングのみを省略するように、量子化された変換係数の最大範囲を決定することもできる。

一実施形態によるビデオ符号化装置１０は、変換量子化部１２、最大範囲決定部１４及び出力部１６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、変換量子化部１２、最大範囲決定部１４及び出力部１６が、それぞれの自体プロセッサ（図示せず）によって作動して、プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ符号化装置１０が全体的に作動することもできる。または、一実施形態によるビデオ符号化装置１０の外部プロセッサ（図示せず）の制御によって、変換量子化部１２、最大範囲決定部１４及び出力部１６が制御されもする。

一実施形態によるビデオ符号化装置１０は、変換量子化部１２、最大範囲決定部１４及び出力部１６の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ符号化装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。

一実施形態によるビデオ符号化装置１０は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディング・プロセッサまたは外部ビデオエンコーディング・プロセッサと連繋して作動することによって、変換を含んだビデオ符号化動作を遂行することができる。一実施形態によるビデオ符号化装置１０の内部ビデオエンコーディング・プロセッサは、別個のプロセッサだけではなく、ビデオ符号化装置１０、または中央演算装置、グラフィック演算装置がビデオエンコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も含んでもよい。

図２は、一実施形態によるビデオ復号化装置２０のブロック図を図示している。一実施形態によるビデオ復号化装置２０は、受信部２２、逆量子化部２４、逆変換部２６及び映像復元部２８を含む。

一実施形態によるビデオ復号化装置２０は、ビデオの符号化されたデータを含むビットストリームを受信する。ビデオ復号化装置２０は、受信したビットストリームから、符号化されたビデオサンプルをパージングし、映像ブロック別に、エントロピー復号化、逆量子化、逆変換、予測及び動き補償を行って復元ピクセルを生成し、結果として、復元映像を生成することができる。

一実施形態による受信部２２は、受信されたビットストリームから、映像ブロック別に、量子化された変換係数をパージングして復元する。従って、一実施形態による受信部２２は、ビットストリームから、所定最大範囲以内の量子化変換係数をパージングして復元することができる。一実施形態によって、ビットストリームからパージングされた量子化変換係数は、符号化過程で、すでに所定最大範囲内に調整されたまま、ビットストリームの形態で出力されたのである。

一実施形態による逆量子化部２４は、量子化された変換係数に対して逆量子化を行い、第１ビット深度以下の変換係数を復元することができる。第１ビット深度は、逆量子化後に生成された変換係数が保存される第１ストレージのデータサイズでもある。一実施形態による逆量子化部２４は、逆量子化を行って生成された変換係数に対するクリッピング動作なしにも、逆量子化後、第１ビット深度以下の変換係数を生成することができる。

一実施形態による逆変換部２６は、変換係数に対して、少なくとも１回の一次元逆変換及び逆スケーリングを行い、第２ビット深度以下のサンプルを復元することができる。例えば、二次元逆変換のために、２回の一次元逆変換及び逆スケーリングが、２回連続して行われる。第２ビット深度は、逆変換及び逆スケーリング後に生成されたサンプルが保存される第２ストレージのデータサイズでもある。

一実施形態による逆変換部２６は、一次元逆変換及び逆スケーリングを行って生成されたサンプルに対するクリッピング動作なしにも、一次元逆変換及び逆スケーリングを遂行した結果、第２ビット深度以下のサンプルを生成することができる。

一実施形態による逆変換部２６は、逆スケーリングのために、一次元逆変換後に生成されたデータを、所定ビット数ほどビットシフトすることができる。受信部２２は、逆スケーリングのためのシフトされるビット数に基づいて決定された最大範囲によってクリッピングされた量子化変換係数を受信することができる。

前述のように、逆量子化部２４が、クリッピング動作なしにも、第１ビット深度以下の変換係数を出力するためには、逆量子化部２４に、制限された範囲の量子化された変換係数が入力されなければならない。それと同様に、逆変換部２６が、クリッピング動作なしにも、第２ビット深度以内のサンプルを出力するためには、逆変換部２６に、制限された範囲の変換係数が入力されなければならない。

受信部１０が受信した量子化変換係数が所定最大範囲内に制限されているので、逆量子化部２４の逆量子化後、第１ビット深度以下の変換係数が生成され、逆変換部２６の逆変換及び逆スケーリング後、第２ビット深度以下のサンプルが生成される。

一実施形態による映像復元部２８は、ブロックごとに復元されたサンプルを利用して、映像を復元することができる。ブロックごとに復元されたサンプルを利用して、イントラ予測または動き補償を行い、映像を復元することができる。

一実施形態によれば、受信された量子化された変換係数の最大範囲によって、逆量子化部２４の逆量子化後のクリッピング動作と、逆変換部２６の逆変換以後のクリッピング動作とがいずれも省略される。他の例によれば、受信された量子化された変換係数の最大範囲によって、逆量子化部２４の逆量子化後のクリッピング動作だけ省略されもする。

一実施形態によるビデオ復号化装置２０は、受信部２２、逆量子化部２４、逆変換部２６及び映像復元部２８を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、受信部２２、逆量子化部２４、逆変換部２６及び映像復元部２８が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することによって、ビデオ復号化装置２０が全体的に作動することもできる。または、一実施形態によるビデオ復号化装置２０の外部プロセッサ（図示せず）の制御によって、受信部２２、逆量子化部２４、逆変換部２６及び映像復元部２８が制御されもする。

一実施形態によるビデオ復号化装置２０は、受信部２２、逆量子化部２４、逆変換部２６及び映像復元部２８の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ復号化装置２０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。

一実施形態によるビデオ復号化装置２０は、ビデオ復号化を介してビデオを復元するために、内部に搭載されたビデオデコーディング・プロセッサまたは外部ビデオデコーディング・プロセッサと連繋して作動することによって、ビデオ復号化動作を遂行することができる。一実施形態によるビデオ復号化装置２０の内部ビデオデコーディング・プロセッサは、別個のプロセッサだけでなく、ビデオ復号化装置２０、または中央演算装置、グラフィック演算装置がビデオデコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ復号化動作を具現する場合も含んでもよい。

一実施形態によるビデオ符号化装置１０は、サンプル復元過程で、逆量子化及び逆変換の後に生成されたデータが保存される臨時バッファのようなストレージの大きさに基づいて、量子化された変換係数のデータ範囲をあらかじめ制限するので、ビデオ復号化装置２０は、受信された量子化された変換係数に対する逆量子化及び逆変換過程で、出力データに対するクリッピング動作を省略しても、固定されたビット深度の臨時バッファに出力データを保存することができる。従って、ビデオ復号化過程において、固定小数点変換で発生しうるオーバーフローが防止されながら、クリッピング動作を遂行するためのハードウェアを節減することができるので、経済的にも有利な効果が導き出される。

図３は、一実施形態によって、ビデオ符号化／復号化システム３０で、ビット深度が変動する段階を図示している。図３は、ビデオ符号化／復号化システム３０の符号化過程において、量子化部３１、及び復号化過程において、パージング部３３、逆量子化部３４、第１次一次元逆変換部３６及び第２次一次元逆変換部３８を含む。

量子化部３１は、ビデオ符号化過程を介して生成された変換係数に対して量子化を行い、量子化された変換係数のビット列を含むビットストリームを出力することができる。量子化された変換係数の出力範囲は、あらかじめ所定範囲内に制限される。そのために、変換係数が所定範囲内にクリッピングされる。

パージング部３３は、ビットストリームから、量子化された変換係数をパージングして復元することができる。逆量子化部３４は、量子化された変換係数に対して逆量子化を行って変換係数を復元するが、変換係数は、逆量子化部３４から出力される前に、一時的に（temporarily）ストレージ３５に保存することができる。従って、逆量子化部３４の出力データは、ストレージ３５の第１ビット深度以下に制限される。

第１次一次元逆変換部３６は、変換係数に対して、第１方向に一次元逆変換を行い、第２次一次元逆変換部３８は、第１次一次元逆変換部３６が出力した第１次逆変換データに対して、第２方向に一次元逆変換を行うことができる。

第１次一次元逆変換部３６と、第２次一次元逆変換部３８とがそれぞれ固定小数点逆変換を行い、逆変換結果を逆スケーリングすることができる。第１次一次元逆変換部３６は、第１方向に一次元逆変換されたデータの逆スケーリングのために、一次元逆変換されたデータを、第１シフトビット数（shift １）ほどビットシフトすることができる。第２次一次元逆変換部３８は、第２方向に一次元逆変換されたデータの逆スケーリングのために、一次元逆変換データを、第２シフトビット数（shift ２）ほどビットシフトすることができる。

第１次一次元逆変換部３６は、出力したデータを一時的にストレージ３７に保存することができる。従って、第１次一次元逆変換部３６の出力データの大きさは、ストレージ３７のデータサイズ以下に制限されることが望ましい。

それと同様に、第２次一次元逆変換部３８は、出力したデータを一時的にストレージ３９に保存することができる。従って、第２次一次元逆変換部３８の出力データの大きさは、ストレージ３９のデータサイズ以下に制限される。

例えば、逆量子化部３４によって逆量子化された変換係数Ｃの最大絶対値ＭａｘＣは、下記数式（１）のように制限される。

｜Ｃ｜＜ＭａｘＣ＝２^ｂｑ−１ （１）
ここで、ストレージ３５のデータサイズのビット深度がｂｑビットサイズであるならば、変換係数Ｃの最大絶対値ＭａｘＣは、２^ｂｑ−１であり、変換係数Ｃは、｛−２^ｂｑ，…，２^ｂｑ−１｝の範囲内で出力される。

それと同様に、第１次一次元逆変換部３６及び第２次一次元逆変換部３８のように、第ｋ次一次元逆変換によって逆変換されたデータＣ_ｋの最大絶対値Ｍａｘｋは、下記数式（２）のように制限される。

｜Ｃ_ｋ｜＜Ｍａｘｋ＝２^ｂｋ−１ （２）
ここで、ストレージ３７，３９がｂｋビットサイズであるならば、逆変換されたデータＣ_ｋの最大絶対値Ｍａｘｋは、２^ｂｋ−１であり、変換係数Ｃは、｛−２^ｂｋ，…，２^ｂｋ−１｝の最大範囲内で出力される。

従って、逆量子化部３４、第１次一次元逆変換部３６及び第２次一次元逆変換部３８でオーバーフローが発生しないようにするためには、出力データの範囲が数式（１），（２）によって制限される必要がある。

従来逆量子化部３４、第１次一次元逆変換部３６及び第２次一次元逆変換部３８の出力データの大きさは、それぞれ数式（１），（２）によって、ストレージ３５，３７，３９のデータサイズ以下に制限されるために、クリッピング動作が利用される。

しかし、一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、ビデオ復号化装置２０のクリッピング動作を最小化するために、量子化部３１が出力する量子化された変換係数の最大範囲を調節する方式を提案する。

第１次一次元逆変換部３６または第２次一次元逆変換部３８の出力データの大きさを、所定ビット深度以下に制限するためには、入力データの大きさが制限され、そのためには、逆量子化部３４の出力データの大きさが制限される。また、逆量子化部３４の出力データの大きさが、所定ビット深度以下に制限されるためには、逆量子化部３４に入力される量子化された変換係数の大きさが、所定ビット深度以下に制限される。従って、量子化部３１が出力する量子化された変換係数の最大範囲を調節することによって、逆量子化部３４、第１次一次元逆変換部３６、第２次一次元逆変換部３８は、クリッピングなしにも出力データの範囲が制限される。

まず、第１次一次元逆変換部３６及び第２次一次元逆変換部３８の出力データの範囲を制限するために要求される入力データの最大範囲は、下記数式（３）のように、変換マトリックスに基づいて決定される。

Ｙ＝ＴＲ＿ＭＡＴＲＩＸ×Ｘ （３）
ベクトルＸは、逆変換に対するサイズＮの入力データ、ベクトルＹは、サイズＮの出力データであり、ＴＲ＿ＭＡＴＲＩＸは、サイズＮｘＮの変換マトリックスである。ベクトルＸのエレメントの最大絶対値を、ｍａｘ＿ａｂｓ＿Ｘとし、変換マトリックスＴＲ＿ＭＡＴＲＩＸのｉ行目のエレメントの最大絶対値をｍａｘ＿ａｂｓ＿ＴＲ＿ＭＡＴＲＩＸ_ｉとするとき、出力データＹ_ｉの最大絶対値と、ベクトルＹのエレメントの最大絶対値ｍａｘ＿ａｂｓ＿Ｙは、下記数式（４）のように決定されてもよい。

Ｙ_ｉ＝ｍａｘ＿ａｂｓ＿ＴＲ＿ＭＡＴＲＩＸ_ｉ＊ｍａｘ＿ａｂｓ＿Ｘ；
ｍａｘ＿ａｂｓ＿Ｙ＝Ｍａｘ｛ｍａｘ＿ａｂｓ＿ＴＲ＿ＭＡＴＲＩＸ_ｉ｝＊ｍａｘ＿ａｂｓ＿Ｘ； （４）
そのとき、Ｍａｘ｛ｍａｘ＿ａｂｓ＿ＴＲ＿ＭＡＴＲＩＸ_ｉ｝値は、ｋ番目変換の変換マトリックスのＬ１平均（Ｌ１−ｎｏｒｍ）、すなわち、Ｌ１＿ＴＲ＿ＭＡＴＲＩＸ＿ｋと呼ぶ。ｋ番目一次元変換の最終過程は、逆スケーリングのためのビットシフト過程である。従って、ｋ番目一次元変換の間に発生するビット深度の総増加量は、数式（５）によって決定される。

ｍａｘ＿ａｂｓ＿Ｙ＝（Ｌ１＿ＴＲ＿ＭＡＴＲＩＸ＿ｋ＊ｍａｘ＿ａｂｓ＿Ｘ＋ｏｆｆ＿ｓｅｔ＿ｋ）＞＞shift＿ｋ； （５）
ここで、ｋ番目逆スケーリングのためのオフセットoff＿set＿ｋは、２^{shift＿ｋ−１}である。

前述のように、一次元変換の出力データＹの大きさがｂｋビット深度以下であるならば、出力データＹの範囲は、数式（６）の通りである。

−２^ｂｋ≦Ｙ≦２^ｂｋ−１；
ｍａｘ＿ａｂｓ＿Ｙ≦２^ｂｋ−１； （６）
従って、数式（５）及び（６）を組み合わせれば、以下のような不等式が誘導される。

（（Ｌ１＿ＴＲ＿ＭＡＴＲＩＸ＿ｋ＊ｍａｘ＿ａｂｓ＿Ｘ＋off＿set＿ｋ）＞＞shift＿ｋ）≦（２^ｂｋ−１）；
（Ｌ１＿ＴＲ＿ＭＡＴＲＩＸ＿ｋ＊ｍａｘ＿ａｂｓ＿Ｘ＋off＿set＿ｋ）≦（２^{ｂｋ＋shift＿ｋ}−２^shift＿ｋ）；
ｍａｘ＿ａｂｓ＿Ｘ≦（２^{ｂｋ＋shift＿ｋ}−２^shift＿ｋ−２^{shift＿ｋ−１}）／Ｌ１＿ＴＲ＿ＭＡＴＲＩＸ＿ｋ； （７）
数式（７）の最後の不等式によって、逆変換の入力データの範囲が制限されるならば、逆変換の出力データのオーバーフローが防止される。

従って、数式（６）及び（７）のｂｋビット深度をＭａｘ＿ｋと一般化すれば、ｋ番目逆変換の入力データの最大範囲は、下記数式（８）のように一般化される。

ｍａｘ＿ａｂｓ＿Ｙ≦Ｍａｘ＿ｋ；
ｍａｘ＿ａｂｓ＿Ｘ≦（Ｍａｘ＿ｋ＊２^shift＿ｋ−２^{shift＿ｋ−１}）／Ｌ１＿ＴＲ＿ＭＡＴＲＩＸ＿ｋ； （８）
すなわち、ｋ番目逆変換の入力データの最大範囲は、ストレージサイズ（Ｍａｘ＿ｋ）、逆スケーリングのためのシフトビット数（shift＿ｋ）及び変換マトリックスのＬ１平均（Ｌ１＿ＴＲ＿ＭＡＴＲＩＸ＿ｋ）に基づいて決定される。

次に、逆量子化部３４の出力データの範囲を制限するために要求される入力データの範囲は、下記数式（９）のように、逆量子化変数に基づいて決定される。下記数式（９）によって、量子化された変換係数ｑＣは、逆量子化を介して変換係数Ｃに復元される。

Ｃ＝（（（ｑＣ＊scale（ＱＰ））＜＜bits（ＱＰ））＋ｉＡｄｄ）＞＞ｉShift； （９）
変換係数Ｃの大きさが数式（１）のように、最大限界値ＭａｘＣに制限されるならば、逆量子化の入力データｑＣの最大範囲は、下記数式（１０）によって決定される。

−ＭａｘＣ≦（（（ｑＣ＊scale（ＱＰ））＜＜bits（ＱＰ））＋ｉＡｄｄ）＞＞ｉShift≦ＭａｘＣ；
｜ｑＣ｜≦（（ＭａｘＣ＜＜ｉShift）−ｉＡｄｄ）＞＞bits（ＱＰ）／scale（ＱＰ）； （１０）
すなわち、逆量子化の入力データの最大範囲は、出力データの最大限界値（ＭａｘＣ）と逆量子化変数とに基づいて決定される。

次に、逆量子化及び逆変換を順次に行いながら、各段階の出力データ限界値と、入力データに要求される最大範囲との関係は、以下の通りである。

従って、逆量子化と、第１次一次元逆変換及び第２次一次元逆変換との出力で、オーバーフローが発生せずに、クリッピング動作を省略するためには、下記数式（１１）及び（１２）のような制限条件が必要である。

Ｍａｘ＿１≦（Ｍａｘ＿２＊２^shift＿２−２^{shift＿２−１}）／Ｌ１＿ＴＲ＿ＭＡＴＲＩＸ＿２； （１１）
ＭａｘＣ≦（Ｍａｘ＿１＊２^shift＿１−２^{shift＿１−１}）／Ｌ１＿ＴＲ＿ＭＡＴＲＩＸ＿１； （１２）
｜ｑＣ｜≦（（ＭａｘＣ＜＜ｉShift）−ｉＡｄｄ）＞＞bits（ＱＰ）／scale（ＱＰ）； （１３）
数式（１２）によれば、第１次一次元逆変換の出力データに対するクリッピング動作を省略するためには、逆量子化の出力データの最大絶対値が、第１次一次元逆変換の入力データの最大範囲より小さいか、あるいはそれと同一である必要がある。

数式（１１）によれば、第２次一次元逆変換の出力データに対するクリッピング動作を省略するためには、第１次一次元逆変換の出力データの最大絶対値が、第２次一次元逆変換の入力データの最大範囲より小さいか、あるいはそれと同一である必要がある。

数式（１３）によれば、逆量子化の出力データに対するクリッピング動作を省略するためには、ビットストリームから復元された量子化された変換係数の最大絶対値が、逆量子化の入力データの最大範囲より小さいか、あるいはそれと同一である必要がある。

一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０では、復号化過程において、逆量子化及び逆変換の後に遂行されるクリッピング動作を、一つ以上省略することができる。

例えば、量子化された変換係数の最大範囲が、数式（１３）の条件のみを満足し、逆量子化されたデータと、第１次逆変換されたデータは、それぞれ数式（１１）と数式（１２）との条件を満足しない場合、逆量子化後に遂行されるクリッピング動作だけが省略される。すなわち、逆量子化後に遂行されるクリッピング動作のみを省略しようとすれば、ビデオ符号化装置１０は、数式（１１），（１２）の条件は考慮する必要なく、数式（１３）の条件によって量子化された変換係数の最大範囲だけ制限することができる。

他の例として、ビデオ符号化装置１０が出力し、ビデオ復号化装置２０が受信した量子化された変換係数の最大範囲が、数式（１３）の条件を満足し、逆量子化されたデータが、数式（１２）の条件を満足する場合には、逆量子化後のクリッピング動作が省略され、第１次一次元逆変換後のクリッピング動作も省略される。

以下、一実施形態によるビデオ復号化装置２０が、逆量子化後及び一次元逆変換後の出力データを、１６ビットバッファに保存する場合、前述の逆量子化及び一次元逆変換後のクリッピング動作を省略するための量子化された変換係数の条件について説明する。

１６ビットバッファには、値−２^１５，…，２^１５−１のサンプルが保存されもする。逆量子化、逆変換など各段階動作の出力データの絶対値が、２^１５−１、すなわち、３２７６７より小さければ、逆量子化及び逆変換の後にデータを保存するために、１６ビットバッファ以外に、それ以上のストレージが必要なく、クリッピング過程も必要ない。従って、一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、逆量子化動作及び逆変換動作の各出力データの絶対値を、２^１５−１に制限するために、逆量子化動作及び逆変換動作の各入力データの範囲も制限する。

例えば、入力データと出力データとがｐビットデータであると仮定する。逆変換の出力データは、残差値として、範囲｛−２^ｐ＋１，…，２^ｐ−１｝に含まれる。従って、第２次一次元逆変換の出力データの最大絶対値Ｍａｘ＿２は、２^ｐ−１でもある。

一般的に、ビデオコーデックで、サンプル値のビット深度は、最大１４であり、１４ビット以下のサンプルが利用される。ＨＥＶＣ（high efficiency video coding）標準規格によるビデオコーデックでのビット深度は、８ビットまたは１０ビットである。従って、第２次一次元逆変換の出力データは、１６ビットバッファのデータ範囲内であるので、別途のクリッピング動作が必要ない。

第１次一次元逆変換の出力データが、１６ビットバッファに保存されるためには、第１次一次元逆変換の入力データである逆量子化された変換係数の範囲が、数式（１）の条件を満足しなければならない。

また、逆量子化の出力データが１６ビットバッファに保存されるためには、逆量子化の入力データである量子化された変換係数の範囲が、数式（１３）の条件を満足しなければならない。

例えば、ビデオ符号化装置１０及びビデオ復号化装置２０は、数式（１４）のような逆量子化変数を利用することができる。

ｉShift＝ｐ−９＋log_２Ｓ；
bits（ＱＰ）＝ｉＱＰ／６＋ｐ−８； （１４）
ここで、Ｓは、ブロックサイズを示し、ＱＰ及びｉＱＰは、量子化パラメータ及び逆量子化パラメータ値を示す。

また、scale（ＱＰ）値は、ＱＰ％６値によって、互いに異なる６個の値を有する。例えば、ＱＰ％６値が、０，１，２，３，４，５であることにより、scale（ＱＰ）値は、４０，４５，５１，５７，６４，７２に変動する。

数式（１４）の逆量子化変数を利用すれば、数式（１３）の条件は、下記数式（１５）のように変形される。

｜ｑＣ｜≦ＭａｘＣ＊２＾（log_２Ｓ−１−ｉＱＰ／６）／scale（ＱＰ）； （１５）
従って、ビデオ符号化装置１０が出力する量子化された変換係数が、数式（１５）の条件による最大範囲を満足し、ビデオ復号化装置２０が、ビットストリームから、数式（１５）の条件による最大範囲を満足する量子化された変換係数を復元して逆量子化する場合、逆量子化後のクリッピング動作を省略することができる。数式（１５）によって、ビデオ符号化装置１０が出力する量子化された変換係数の最大範囲は、逆量子化の出力データが保存されるバッファサイズＭａｘＣ、ブロックサイズＳ及び量子化パラメータＱＰ，ｉＱＰによって決定される。

また、数式（１５）と数式（１２）とを組み合わせれば、下記数式（１６）の通りである。

｜ｑＣ｜≦（Ｍａｘ＿１＊２^shift＿１−２^{shift＿１−１}）＊２＾（log_２Ｓ−１−ｉＱＰ／６）／（Ｌ１＿ＴＲ＿ＭＡＴＲＩＸ＿１＊scale（ＱＰ））； （１６）
従って、ビデオ符号化装置１０が、数式（１６）の条件による最大範囲を満足する量子化された変換係数を出力し、ビデオ復号化装置２０が、ビットストリームから、数式（１６）の条件による最大範囲を満足する量子化された変換係数を復元し、逆量子化及び逆変換を行う場合、逆量子化後及び第１次一次元逆変換後のクリッピング動作をいずれも省略することができる。数式（１６）によって、ビデオ符号化装置１０が出力する量子化された変換係数の最大範囲は、第１次一次元逆変換の出力データが保存されるバッファサイズＭａｘ＿１、ブロックサイズＳ及び量子化パラメータＱＰ，ｉＱＰによって決定される。

一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０が、第１変換／逆変換テーブルを利用する場合、量子化された変換係数の最大絶対値ＭＡＸｑＣは、下記表Ａのように決定される。量子化パラメータＱＰが０である場合と、５１である場合との量子化された変換係数の最大絶対値ＭＡＸｑＣが図示されている。

他の例として、ビデオ符号化装置１０及びビデオ復号化装置２０が、第２変換／逆変換テーブルを利用する場合、量子化された変換係数の最大絶対値ＭＡＸｑＣは、下記表Ｂのように決定される。

表Ａ及び表Ｂで、「Ｉｎｖ．Ｔｒ．」列は、変換／逆変換のための変換マットリックス・タイプを示し、変換マットリックス・タイプでの数字は、正方形変換ブロックの幅を示す。「Ｌ１」列は、各変換マットリックス・タイプによって、変換マットリックスのＬ１平均を示す。逆変換後の逆スケーリングのためのシフトビット数Shift１は、固定値である。第１次一次元逆変換されたデータの最大絶対値Ｍａｘ１も、サンプルのビット深度によって決定されるので、固定値である。

すなわち、表Ａ及び表Ｂによれば、各変換マットリックス・タイプによって、変換マットリックスのＬ１平均が変動され、変換マットリックスのＬ１平均が変動することにより、逆量子化された変換係数の最大絶対値ＭａｘＣが、異なって決定される。そのような結果は、数式（１２）の条件と符合する。従って、量子化パラメータＱＰが０である場合、それぞれの逆量子化された変換係数の最大絶対値ＭａｘＣによって、量子化された変換係数の最大絶対値ＭＡＸｑＣが変動されるということが確認される。そのような結果は、数式（１５）の条件と符合する。

ただし、量子化パラメータＱＰが５１である場合のような所定の場合には、量子化された変換係数の大きさが、逆量子化された変換係数の最大範囲ＭａｘＣと係わりなく一定値に決定されもする。

変換マトリックスのＬ１平均を２の累乗値の形態に近似化することにより、前述の数式（１２），（１６）を簡潔に表現することができる。例えば、表Ａでは、第１変換／逆変換システムでは、変換マトリックスのＬ１平均を、２＾（log_２Ｓ＋６）に近似化し、表Ｂについては、２＾（log_２Ｓ＋１２）に近似化することができる。

例えば、変換マトリックスのＬ１平均を近似化した２＾（log_２Ｓ＋６）を利用すれば、数式（１２），（１６）の条件は、数式（１７）の条件によって単純になる。

｜ＭａｘＣ｜≦Ｍａｘ＿１＊２＾（shift＿１−log_２Ｓ−６）；
｜ｑＣ｜≦Ｍａｘ＿１＊２＾（shift＿１−７−ｉＱＰ／６）／scale（ＱＰ）；
ＭａｘｑＣ＝Ｍａｘ＿１＊２＾（shift＿１−７−ｉＱＰ／６）／scale（ＱＰ）； （１７）
そのように簡略化された最大範囲の条件によれば、ビデオ符号化装置１０が出力し、ビデオ復号化装置２０が受信する量子化された変換係数の最大絶対値ＭａｘｑＣは、第１次一次元逆変換の出力データが保存されるバッファサイズＭａｘ＿１、及び量子化パラメータＱＰ，ｉＱＰによって決定される。量子化された変換係数の最大絶対値によって、最大範囲も決定される。

第１次一次元逆変換後の逆スケーリングのためのシフトビット数Shift１が、ビデオ符号化／復号化システムで固定された定数でもある。シフトビット数Shift１が、可変的な値である場合には、ビデオ符号化装置１０及びビデオ復号化装置２０は、シフトビット数Shift１をシグナリングすることができる。

従って、一実施形態によるビデオ符号化装置１０は、サンプル復元過程で、逆量子化及び逆変換の後に生成されたデータが保存される臨時バッファのようなストレージの大きさに基づいて、量子化された変換係数のデータ範囲をあらかじめ制限することができる。ビデオ復号化装置２０は、最大範囲が制限された量子化された変換係数を受信し、量子化された変換係数に対する逆量子化及び逆変換の過程で、クリッピング動作を省略しても、バッファにデータを保存することができる。

図４は、一実施形態によるビデオ符号化方法のフローチャートを図示している。

段階４１で、映像ブロック別に、変換及び量子化を行い、量子化された変換係数が生成される。

段階４２で、量子化された変換係数に対する逆量子化の出力データ及び／または変換係数に対する一次元逆変換、並びに逆スケーリングの出力データが、所定ビット深度以下になるように、量子化された変換係数の最大範囲が決定される。

段階４３で、先に決定された最大範囲内に、量子化された変換係数の範囲が調整される。量子化された変換係数が、最大範囲内にクリッピングされる。

一実施形態によれば、サンプル復元過程で逆量子化を行った後、クリッピング動作なしに、第１ビット深度以下の変換係数が生成されるように、サンプル生成過程で、第１ビット深度を利用して、量子化された変換係数の最大範囲があらかじめ制限される。そのとき、第１ビット深度は、サンプル復元過程で変換係数が保存される第１ストレージのデータサイズでもある。

一実施形態によれば、サンプル復元過程で、一次元逆変換及び逆スケーリングを行った後、クリッピング動作なしに、第２ビット深度以下のサンプルが生成されるように、サンプル生成過程で、第２ビット深度を利用して、量子化された変換係数の最大範囲があらかじめ制限される。そのとき、第２ビット深度は、サンプル復元過程でサンプルが保存される第２ストレージのデータサイズでもある。

一次元逆変換後に生成されたデータを、所定ビット数ほどビットシフトすることによって、逆スケーリングが行われる場合、逆変換の逆スケーリング後に生成されたサンプルに対するクリッピング動作なしに、第２ビット深度以下のサンプルを生成するために、量子化された変換係数の最大範囲は、所定シフトビット数を利用して決定される。

図５は、一実施形態によるビデオ復号化方法のフローチャートを図示している。段階５１で、受信されたビットストリームから、ブロックごとに量子化された変換係数がパージングされて復元される。逆量子化によって、第１ストレージのビット深度以下の逆量子化された変換係数を出力し、逆変換及び逆スケーリングによって、第２ストレージのビット深度以下のサンプルを出力することができるように、符号化過程であらかじめ最大範囲が調整された量子化された変換係数が、ビットストリームからパージングされて復元される。

段階５３で、量子化された変換係数に対して逆量子化を行い、第１ビット深度以下の変換係数が復元される。逆量子化を行って生成された変換係数に対するクリッピング動作なしにも、変換係数が保存される第１ストレージのビット深度以下の変換係数が生成される。

段階５５で、変換係数に対して、一次元逆変換及び逆スケーリングを行い、第２ビット深度以下のサンプルが復元される。一次元逆変換及び逆スケーリングを行って生成されたサンプルに対するクリッピング動作なしにも、生成されたサンプルが保存される第２ストレージのビット深度以下のサンプルが生成される。

一次元逆変換後に生成されたデータを、所定ビット数ほどビットシフトして逆スケーリングされる場合には、量子化された変換係数の最大範囲は、一次元逆変換後の逆スケーリングのためのシフトビット数に基づいて決定される。

一実施形態によるビデオ符号化装置１０、及び他の実施形態によるビデオ復号化装置２０で、ビデオデータが分割されるブロックが、ツリー構造の符号化単位に分割され、最大符号化単位または符号化単位ごとに、ピクセル分類によるオフセット値を決定することができるということは、前述の通りである。以下、図６ないし図１８を参照し、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置を開示する。

図６は、本発明の一実施形態によって、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。

一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して呼ぶ。

最大符号化単位分割部１１０は、、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが、最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横に大きさが２の累乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは縮小されるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データは、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

深度が深くなるにつれ、符号化単位が階層的に分割され、最大符号化単位の大きさが分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれるあらゆる深度別符号化単位のうち、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示す。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２、３及び４の深度レベルが存在するので、第１最大深度が４、第２最大深度が５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基にして行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなることによって生成されるあらゆる深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われる。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を、多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、あらゆる段階にわたって、同一データ単位が使用され、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基になるそれ以上分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、サイズ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的なタイプに分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同サイズの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含んでもよい。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によってツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深図１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけでなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、及び変換単位の決定方式については、図７ないし図１８を参照して詳細に説明する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに係わる情報を、ビットストリーム形態で出力する。

符号化された映像データは、映像の残差データの符号化結果でもある。

深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。

符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなけばならないので、現在深度の分割情報は、下位深度の符号化単位で分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位中に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されるので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるあらゆる符号化単位、予測単位、パーティション単位及び変換単位の中に含まれる最大サイズの正方形データ単位でもある。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別の符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別の符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。

ピクチャ別、スライス別またはＧＯＰ（group of pictures）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットなどに挿入される。

また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットなどを介して出力される。出力部１３０は、図１ないし図５参照して説明した予測と係わる参照情報、予測情報、単一方向予測情報、第４スライスタイプを含むスライスタイプ情報などを符号化して出力することができる。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが、２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を、最大４個含んでもよい。

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増大させながら、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が向上する。

図６のビデオ符号化装置１００は、図１を参照して説明したビデオ符号化装置１０の動作を遂行することができる。

符号化単位決定部１２０は、ビデオ符号化装置１０の変換量子化部１２（図１）の動作を遂行することができる。符号化単位決定部１２０は、変換ブロック別に変換及び量子化を行い、量子化された変換係数が生成される。出力部１３０は、ビデオ符号化装置１０の最大範囲決定部１４及び出力部１６の動作を遂行することができる。

出力部１３０は、量子化された変換係数に対する逆量子化の出力データ及び／または変換係数に対する一次元逆変換及び逆スケーリングの出力データが、所定ビット深度以下になるように、量子化された変換係数の最大範囲を決定する。出力部１３０は、量子化された変換係数を、最大範囲内にクリッピングした後、ビットストリームの形態で出力することができる。

一実施形態によれば、サンプル復元過程で逆量子化を行った後、クリッピング動作なしに、第１ビット深度以下の変換係数が生成されるように、サンプル復元過程で、変換係数が保存される第１ストレージの大きさまたは変換係数のビット深度を考慮して、量子化された変換係数の最大範囲があらかじめ制限される。

一実施形態によれば、サンプル復元過程で、一次元逆変換及び逆スケーリングを行った後、クリッピング動作なしに、第２ビット深度以下のサンプルが生成されるように、サンプル復元過程でサンプルが保存される第２ストレージの大きさまたは固定小数点の変換マットリックスを利用して、量子化された変換係数の最大範囲があらかじめ制限される。

一次元逆変換後に生成されたデータを、所定ビット数ほどビットシフトすることによって逆スケーリングが行われる場合、逆変換の逆スケーリング後に生成されたサンプルに対するクリッピング動作なしに、第２ビット深度以下のサンプルを生成するための量子化された変換係数の最大範囲は、所定ビット数を利用して決定される。

図７は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図を図示している。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約して呼ぶ。

一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図７及びビデオ符号化装置１００を参照して説明したところと同一である。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が、最大符号化単位ごとに映像データを復号化する。

最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位に対して割り当てられ、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度であり、それ以上分割されないことを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。そのように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。

また、図７のビデオ復号化装置２００は、図２を参照して説明したビデオ復号化装置２０の動作を遂行することができる。

映像データ及び符号化情報抽出部２２０と受信部２１０は、ビデオ復号化装置２０の受信部２２の動作を遂行することができる。映像データ復号化部２３０は、ビデオ復号化装置２０の逆量子化部２４、逆変換部２６及び映像復元部２８の動作を遂行することができる。

映像データ及び符号化情報抽出部２２０は、受信されたビットストリームから、変換ブロックごとに量子化された変換係数をパージングして復元することができる。復元された量子化された変換係数は、符号化端で、すでに所定最大範囲内にクリッピングされた結果値でもある。量子化された変換係数の最大範囲は、逆量子化後にクリッピングする必要ないように、第１ストレージのビット深度以内のデータを出力し、逆変換及び逆スケーリングの後、クリッピングする必要がないように、第２ストレージのビット深度以内のデータが出力されるように、符号化端で、あらかじめ決定される。一次元逆変換後に生成されたデータを、所定ビット数ほどビットシフトして逆スケーリングされる場合には、量子化された変換係数の最大範囲は、一次元逆変換後の逆スケーリングのためのシフトビット数に基づいて決定された値でもある。

これにより、映像データ復号化部２３０は、量子化された変換係数に対して、逆量子化を行って変換係数を復元し、変換係数に対するクリッピング動作なしにも、第１ストレージのビット深度以内の変換係数を生成することができる。

また、映像データ復号化部２３０は、変換係数に対して、一次元逆変換及び逆スケーリングを行ってサンプルを復元し、一次元逆変換及び逆スケーリングを行って生成されたサンプルに対するクリッピング動作なしにも、第２ストレージのビット深度以内の変換係数を生成することができる。

結局、ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

図８は、本発明の一実施形態による符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図８に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。

図９は、本発明の一実施形態による、符号化単位に基づいた映像符号化部４００のブロック図を図示している。一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を遂行しなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

映像符号化部４００は、現在フレーム４０５の変換単位ごとに、変換及び量子化を行い、量子化された変換係数を決定し、量子化された変換係数の最大範囲内にクリッピングした後で伝送することができる。サンプル復元過程で、逆量子化後の出力データと、逆変換及び逆スケーリングの後の出力データとが、クリッピングなしにも、所定ビット深度以下のデータを生成することができるように、量子化された変換係数の最大範囲は、サンプル復元過程でのビット深度またはストレージサイズ、及び逆スケーリングのためのビット移動数を考慮して決定される。

図１０は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を図示している。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０後の段階別作業が遂行される。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を遂行しなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。

映像復号化部５００は、ビットストリームから、変換単位ごとに変換及び量子化を行い、量子化された変換係数をパージングして復元することができる。量子化された変換係数に対する逆量子化を行った結果、所定ストレージのビット深度以下のデータが生成されるので、逆量子化後、クリッピング動作が必要ない。また、逆量子化後の逆スケーリング後のクリッピング動作が省略されても、最大ビット深度以内のサンプルが復元される。

図１１は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高、最大幅及び最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含まれるデータについて、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図１２は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同サイズの符号化単位で映像を符号化したり、あるいは復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基にして選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が、６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図１３は、本発明の一実施形態による深度別符号化情報を図示している。一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションのタイプに係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで、予測符号化が行われるか否かが設定される。

また、変換単位サイズに係わる情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうちいずれか一つである。

一実施形態によるビデオ復号化装置２００の映像データ、及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出して復号化に利用することができる。

図１４は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために分割情報が利用される。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションによってのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要はない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報が設定されない。

データ単位９９９は、現在最大符号化単位に対する「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードとして設定される。

そのように、深度０，１，…，ｄ−１，ｄのあらゆる深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。

図１５、図１６及び図１７は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０において、一部変換単位１０５２の映像データについては、符号化単位に比べて小サイズのデータ単位で、変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一の符号化単位に対するイントラ予測作業／動き推定作業／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階されに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、あらゆるパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで二種の大きさ、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に対するパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が、周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が、直接参照されて利用される。

他の実施形態で、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されもする。

図１８は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図１８を参照し、前述の変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって、０，１，２，３，…などに増加し、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ及び変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳ（sequence parameter set）に挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズがサイズ３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさが１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさが８ｘ８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

従って、最大変換単位分割情報を「ＭａｘTransformSizeIndex」、最小変換単位サイズを「ＭｉｎTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（Ａ）のように定義される。

CurrMinTuSize
＝ｍａｘ（ＭｉｎTransformSize，RootTuSize／（２＾ＭａｘTransformSizeIndex）） （Ａ）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（Ａ）によれば、「RootTuSize／（２＾ＭａｘTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。

一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なりもする。

例えば、現在予測モードがインターモードであるならば、「RootTuSize」は下記数式（Ｂ）によって決定される。数式（Ｂ）で、「ＭａｘTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

RootTuSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （Ｂ）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（Ｃ）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootTuSize＝ｍｉｎ（ＭａｘTransformSize，PartitionSize） （Ｃ）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がそれに限定されるものではないということに留意しなければならない。

図６ないし図１８を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ、及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されたり、記録媒体に保存されたり、ネットワークを介して伝送される。

また、ピクチャごと、スライスごと、最大符号化単位ごと、ツリー構造による符号化単位ごと、符号化単位の予測単位ごと、または符号化単位の変換単位ごとに、オフセット・パラメータがシグナリングされる。一例として、最大符号化単位ごとに受信されたオフセット・パラメータに基づいて復元されたオフセット値を利用して、最大符号化単位の復元ピクセル値を調整することによって、原本ブロックとの誤差が最小化される最大符号化単位が復元される。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異は、本発明に含まれたものであると解釈されなければならないのである。

以上の実施形態に関し、更に、以下の項目を開示する。

（１）ビデオ復号化方法において、
受信されたビットストリームから、映像ブロック別に、量子化された変換係数をパージングして復元する段階と、
前記量子化された変換係数に対して逆量子化を行い、第１ビット深度以下の変換係数を復元する段階と、
前記変換係数に対して、一次元逆変換及び逆スケーリングを行い、第２ビット深度以下のサンプルを復元する段階と、を含むことを特徴とするビデオ復号化方法。

（２）前記変換係数を復元する段階は、
前記逆量子化を行って生成された変換係数に対するクリッピング動作なしに、前記逆量子化後、前記第１ビット深度以下の変換係数を生成する段階を含み、
前記第１データサイズは、前記逆量子化後に生成された変換係数が保存される第１ストレージの大きさであることを特徴とする（１）に記載のビデオ復号化方法。

（３）前記サンプル値を復元する段階は、
前記一次元逆変換及び逆スケーリングを行って生成されたサンプルに対するクリッピング動作なしに、前記一次元逆変換及び逆スケーリング後、前記第２ビット深度以下のサンプルを生成する段階を含み、
前記第２データサイズは、前記逆変換及び逆スケーリング後に生成されたサンプルが保存される第２ストレージの大きさであることを特徴とする（１）に記載のビデオ復号化方法。

（４）前記量子化された係数をパージングして復元する段階は、
前記逆量子化後、前記第１ビット深度以下の変換係数が生成され、前記逆変換及び逆スケーリング後、前記第２ビット深度以下のサンプルが生成されるように、最大範囲が調整された前記量子化された変換係数をパージングして復元する段階を含むことを特徴とする（１）に記載のビデオ復号化方法。

（５）前記一次元逆変換後に生成されたデータを、所定ビット数ほどビットシフトすることによって逆スケーリングが行われる場合、前記量子化された変換係数の最大範囲は、前記一次元逆変換後の逆スケーリングのためのシフト回数に基づいて決定されたことを特徴とする（４）に記載のビデオ復号化方法。

（６）ビデオ符号化方法において、
映像ブロック別に、変換及び量子化を行い、量子化された変換係数を生成する段階と、
前記量子化された変換係数に対する逆量子化の出力データ及び／または変換係数に対する一次元逆変換及び逆スケーリングの出力データが、所定ビット深度以下になるための、前記量子化された変換係数の最大範囲を決定する段階と、
前記決定された最大範囲内に、前記量子化された変換係数の範囲を調整する段階と、を含むことを特徴とするビデオ符号化方法。

（７）前記量子化された変換係数の範囲を決定する段階は、
サンプル復元過程で前記逆量子化を行った後、クリッピング動作なしに、第１ビット深度以下の前記変換係数が生成されるように、前記第１ビット深度を利用して、前記量子化された変換係数の最大範囲を決定する段階を含み、
前記第１ビット深度は、前記変換係数が保存される第１ストレージの大きさであることを特徴とする（６）に記載のビデオ符号化方法。

（８）前記量子化された変換係数の範囲を決定する段階は、
サンプル復元過程で、前記一次元逆変換及び逆スケーリングを行った後、クリッピング動作なしに、前記第２ビット深度以下の前記サンプルが生成されるように、前記第２ビット深度を利用して、前記量子化された変換係数の最大範囲を決定する段階を含み、
前記第２ビット深度は、前記サンプルが保存される第２ストレージの大きさであることを特徴とする（６）に記載のビデオ符号化方法。

（９）前記量子化された変換係数の範囲を決定する段階は、
前記逆スケーリング後に生成された前記サンプルに対するクリッピング動作なしに、前記一次元逆変換後に生成されたデータを、所定ビット数ほどビットシフトし、前記第２ビット深度以下のサンプルを生成するために、前記所定ビット数を利用して、前記量子化された変換係数の最大範囲を決定する段階を含むことを特徴とする（８）に記載のビデオ符号化方法。

（１０）前記量子化された変換係数の範囲を調整する段階は、
前記量子化された変換係数の範囲を、前記決定された最大範囲内にクリッピングする段階を含むことを特徴とする（６）に記載のビデオ符号化方法。

（１１）ビデオ復号化装置において、
受信されたビットストリームから、ブロックごとに量子化された変換係数をパージングして復元する受信部と、
前記量子化された変換係数に対して逆量子化を行い、第１ビット深度以下の変換係数を復元する逆量子化部と、
前記変換係数に対して、一次元逆変換及び逆スケーリングを行い、第２ビット深度以下のサンプルを復元する逆変換部と、
前記ブロックごとに復元された前記サンプルを利用して、映像を復元する映像復元部と、を含むことを特徴とするビデオ復号化装置。

（１２）ビデオ符号化装置において、
映像ブロック別に、変換及び量子化を行い、量子化された変換係数を生成する変換量子化部と、
前記量子化された変換係数に対する逆量子化の出力データ及び／または変換係数に対する一次元逆変換及び逆スケーリングを介して生成された出力データが、所定ビット深度以下になるための前記量子化された変換係数の最大範囲を決定する最大範囲決定部と、
前記決定された最大範囲内に前記量子化された変換係数を調整し、ビットストリームを出力する出力部と、を含むことを特徴とするビデオ符号化装置。

（１３）（１）に記載のビデオ復号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

（１４）（６）に記載のビデオ符号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

Claims (4)

1. 符号化されたピクチャを含むビットストリームからブロックの変換係数を獲得するステップと、
   前記変換係数に対して逆量子化及び第１クリッピングを行って逆量子化された変換係数を生成するステップと、
   前記逆量子化された変換係数に対して垂直方向の逆変換を行って逆変換された係数を生成するステップと、
   前記逆変換された係数に対してスケーリング及び第２クリッピングを行って中間サンプル値を生成するステップと、
   前記中間サンプル値に対して水平方向の逆変換を行って前記ブロックのレジデュアル値を生成するステップとを含み、
   前記スケーリングは７ビットほど右側ビットシフトを行うものであり、前記第２クリッピングの前に行われ、
   前記第１クリッピングは、前記逆量子化された変換係数を第１ビット深度の範囲に制限するためのものであり、
   前記第２クリッピングは、前記中間サンプル値を第２ビット深度の範囲に制限するためのものであり、
   前記ピクチャは、複数の最大符号化単位で分割され、前記最大符号化単位は分割情報によって現在深度及び下位深度のうち少なくとも一つを含む深度の符号化単位で階層的に分割され、
   前記ブロックは、前記現在深度及び下位深度のうち少なくとも一つを含む深度の符号化単位のうち一つの符号化単位に含まれることを特徴とするビデオ復号化方法。
2. 前記第１ビット深度の範囲に制限された前記逆量子化された変換係数は、１６ビットのビット深度のサイズを有することを特徴とする請求項１に記載のビデオ復号化方法。
3. 前記第２ビット深度の範囲に制限された前記中間サンプル値は、１６ビットのビット深度のサイズを有することを特徴とする請求項１に記載のビデオ復号化方法。
4. 符号化されたピクチャを含むビットストリームからブロックの変換係数を獲得する受信部と、
   前記変換係数に対して逆量子化及び第１クリッピングを行って逆量子化された変換係数を生成する逆量子化部と、
   前記逆量子化された変換係数に対して垂直方向の逆変換を行って逆変換された係数を生成し、前記逆変換された係数に対してスケーリング及び第２クリッピングを行って中間サンプル値を生成し、前記中間サンプル値に対して水平方向の逆変換を行って前記ブロックのレジデュアル値を生成する逆変換部とを備え、
   前記スケーリングは７ビットほど右側ビットシフトを行うものであり、前記第２クリッピングの前に行われ、
   前記第１クリッピングは前記逆量子化された変換係数を第１ビット深度の範囲に制限するためのものであり、
   前記第２クリッピングは前記中間サンプル値を第２ビット深度の範囲に制限するためのものであり、
   前記ピクチャは、複数の最大符号化単位で分割され、前記最大符号化単位は分割情報によって現在深度及び下位深度のうち少なくとも一つを含む深度の符号化単位で階層的に分割され、
   前記ブロックは、前記現在深度及び下位深度のうち少なくとも一つを含む深度の符号化単位のうち一つの符号化単位に含まれることを特徴とするビデオ復号化装置。

Images