JP6382807B2 - Ｓａｏ符号化又は復号化のための方法及び装置 - Google Patents

Ｓａｏ符号化又は復号化のための方法及び装置 Download PDF

Info

Publication number
JP6382807B2
JP6382807B2 JP2015523005A JP2015523005A JP6382807B2 JP 6382807 B2 JP6382807 B2 JP 6382807B2 JP 2015523005 A JP2015523005 A JP 2015523005A JP 2015523005 A JP2015523005 A JP 2015523005A JP 6382807 B2 JP6382807 B2 JP 6382807B2
Authority
JP
Japan
Prior art keywords
sao
information
unit
component
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015523005A
Other languages
English (en)
Other versions
JP2015528250A (ja
Inventor
アルシナ，エレナ
アルシン，アレクサンダー
パク，ジョン−フン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2015528250A publication Critical patent/JP2015528250A/ja
Application granted granted Critical
Publication of JP6382807B2 publication Critical patent/JP6382807B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、ビデオ符号化及びビデオ復号化の動作において、原本映像と復元映像との誤差を最小化させるために、サンプルに適応的に決定されたオフセットほど復元ピクセル値を調整する方法に関する。
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり、あるいは復号化したりするビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式によって符号化されている。
周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差で表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続的に反復して発生するデータを小サイズのデータに置換することにより、データ量を節減している。
本発明は、ビデオ符号化及びビデオ復号化の動作において、原本映像と復元映像との誤差を最小化させるために決定されたＳＡＯ（sample adaptive offset）パラメータのシグナリングに係わるものである。
本発明の一実施形態によるＳＡＯ（sample adaptive offset）復号化方法は、最大符号化単位のビットストリームから、コンテクスト（context）に基づいてエントロピー符号化された左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報を獲得する段階と、前記ビットストリームから、カラー成分別に、コンテクストに基づいてエントロピー符号化されたＳＡＯオンオフ（on／off）情報を獲得する段階と、前記ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、前記ビットストリームから、カラー成分別に、バイパスモード（bypass mode）でエントロピー符号化されたＳＡＯカテゴリー別オフセット絶対値情報を獲得する段階と、前記ビットストリームから、カラー成分別に、バイパスモードでエントロピー符号化されたバンド位置情報及びエッジクラス情報のうち一つを獲得する段階と、を含む。
本発明の多様な実施形態によるＳＡＯパラメータの符号化方法及び復号化方法によって、ＳＡＯパラメータにおいて、ＳＡＯ併合情報及びＳＡＯオンオフ情報に対してのみ、コンテクストに基づいたエントロピー符号化／復号化が行われ、残りのビット列については、バイパスモードでエントロピー符号化／復号化が行われるので、ＳＡＯパラメータ復号化のための全体演算量が減少する。
また、ＳＡＯパラメータにおいてカラー成分別に、全て異なって決定されるパラメータだけでなく、第１クロマ成分及び第２クロマ成分については、同一に設定されるパラメータ、またはルマ成分、並びに第１クロマ成分及び第２クロマ成分いずれについても、同一に設定されるパラメータが利用されるので、ＳＡＯパラメータの全体ビット長が短くなり、パージングされるデータ量も減縮される。
また、コンテクスト符号化／復号化と、バイパス符号化／復号化との転換回数が減り、全体ＳＡＯパラメータに係わるエントロピー符号化／復号化動作の効率も向上する。
一実施形態によるＳＡＯ符号化装置のブロック図である。 一実施形態によるＳＡＯ符号化方法のフローチャートである。 一実施形態によるＳＡＯ復号化装置のブロック図である。 一実施形態によるＳＡＯ復号化方法のフローチャートである。 一実施形態によるビデオ復号化装置のブロック図である。 一実施形態による、エッジタイプのエッジクラスを図示する図面である。 一実施形態による、エッジタイプのカテゴリーを図示する図面である。 一実施形態による、エッジタイプのカテゴリーを図示する図面である。 現在最大符号化単位とＳＡＯパラメータとを併合するために参照される隣接最大符号化単位を図示する図面である。 他の実施形態によるＳＡＯパラメータのエントロピー符号化方式を図示する図面である。 一実施形態による符号化単位のＳＡＯ関連シンタックスを図示する図面である。 一実施形態による符号化単位のＳＡＯ関連シンタックスを図示する図面である。 一実施形態による符号化単位のＳＡＯ関連シンタックスを図示する図面である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用して、プログラムを記録して判読するためのディスクドライブを図示する図面である。 コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の内部構造を図示する図面である。 本発明による通信システムが適用されたデジタル放送システムを図示する図面である。 本発明の一実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。
本発明の一実施形態によるＳＡＯ（sample adaptive offset）復号化方法は、最大符号化単位のビットストリームから、コンテクスト（context）に基づいてエントロピー符号化された左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報を獲得する段階と、前記ビットストリームから、カラー成分別に、コンテクストに基づいてエントロピー符号化されたＳＡＯオンオフ（on／off）情報を獲得する段階と、前記ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、前記ビットストリームから、カラー成分別に、バイパスモード（bypass mode）でエントロピー符号化されたＳＡＯカテゴリー別オフセット絶対値情報を獲得する段階と、前記ビットストリームから、カラー成分別に、バイパスモードでエントロピー符号化されたバンド位置情報及びエッジクラス情報のうち一つを獲得する段階と、を含む。
一実施形態による前記ＳＡＯオンオフ情報を獲得する段階は、前記ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、前記ビットストリームから、カラー成分別に、バイパスモードでエントロピー符号化されたエッジバンド区別情報をさらに獲得する段階を含み、前記最大符号化単位のＳＡＯタイプ情報のうち最初のビンである前記ＳＡＯオンオフ情報に対して、コンテクストに基づいてエントロピー復号化を行い、前記ＳＡＯタイプ情報のうち、前記ＳＡＯオンオフ情報を除いた残りのビットに対して、バイパスモードでエントロピー復号化を行うことができる。
一実施形態によって、前記バンド位置情報またはエッジクラス情報を獲得する段階は、前記獲得されたエッジバンド区別情報がバンドタイプを示すならば、前記ビットストリームから、カラー成分別に、前記バイパッドモードでエントロピー符号化されたバンド位置情報を獲得する段階を含み、前記バンド位置情報を獲得する段階は、前記ＳＡＯカテゴリー別に獲得されたオフセット絶対値情報が０でなければ、前記ビットストリームから、カラー成分別に、バイパスモードでエントロピー符号化されたオフセット符号情報及び前記バンド位置情報を獲得する段階を含み、前記バンド位置情報は、前記最大符号化単位のＳＡＯパラメータのうちから獲得される最後のパラメータでもある。
一実施形態によって、前記バンド位置情報またはエッジクラス情報を獲得する段階は、前記獲得されたエッジバンド区別情報がエッジタイプを示すならば、前記ビットストリームから、カラー成分別に、前記バイパスモードでエントロピー符号化されたエッジクラス情報を獲得する段階を含み、前記エッジクラス情報は、ルマ成分のためのエッジクラス情報、及び第１クロマ成分のためのエッジクラス情報を含み、前記第１クロマ成分のためのエッジクラス情報は、第２クロマ成分に同一に適用される。
一実施形態による第１クロマ成分のための前記ＳＡＯオンオフ情報、及び前記エッジバンド区別情報は、第２クロマ成分に同一に適用され、前記左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報は、前記最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に対して同一に適用される。
一実施形態によって、前記左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報を獲得する段階は、前記左向きＳＡＯ併合情報のコンテクストに基づいた確率モデルを決定し、前記決定された左向きＳＡＯ併合情報の確率モデルを利用したエントロピー復号化を行い、前記左向きＳＡＯ併合情報を復元する段階と、前記上向きＳＡＯ併合情報のコンテクストに基づいた確率モデルを決定し、前記決定された上向きＳＡＯ併合情報の確率モデルを利用したエントロピー復号化を行い、前記上向きＳＡＯ併合情報を復元する段階と、を含み、前記ＳＡＯオンオフ情報を獲得する段階は、前記ＳＡＯオンオフ情報のコンテクストに基づいた確率モデルを決定し、前記決定されたＳＡＯオンオフ情報の確率モデルを利用したエントロピー復号化を行い、前記ＳＡＯオンオフ情報を復元する段階を含んでもよい。
一実施形態による前記オフセット絶対値情報を獲得する段階は、前記オフセット絶対値情報のコンテクストに基づいた確率モデルを決定し、前記決定されたオフセット絶対値情報のコンテクストに基づいた確率モデルなしにエントロピー復号化を行い、前記オフセット絶対値情報を復元する段階を含み、前記オフセット符号情報及び前記バンド位置情報を獲得する段階は、前記オフセット符号情報のコンテクストに基づいた確率モデルなしにエントロピー復号化を行い、前記オフセット符号情報を復元する段階と、前記バンド位置情報のコンテクストに基づいた確率モデルなしにエントロピー復号化を行い、前記バンド位置情報を復元する段階と、を含んでもよい。
一実施形態によって、前記エッジクラス情報を獲得する段階は、前記エッジクラス情報のコンテクストに基づいた確率モデルなしにエントロピー復号化を行い、前記エッジクラス情報を復元する段階を含んでもよい。
本発明の一実施形態によるＳＡＯ符号化方法は、最大符号化単位の左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報に対して、それぞれのコンテクストに基づいたエントロピー符号化を行って生成された前記左向きＳＡＯ併合情報の１ビット、及び前記上向きＳＡＯ併合情報の１ビットを出力する段階と、カラー成分別に、ＳＡＯオンオフ情報に対して、コンテクストに基づいたエントロピー符号化を行って生成されたＳＡＯオンオフ情報の１ビットを出力する段階と、前記ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、カラー成分別に、ＳＡＯカテゴリー別オフセット絶対値情報に対して、バイパスモードでエントロピー符号化を行って生成されたオフセット絶対値情報のビット列を出力する段階と、カラー成分別に、バンド位置情報及びエッジクラス情報のうち一つに対して、バイパスモードでエントロピー符号化を行って生成された残りのビット列を出力する段階と、を含む。
一実施形態によって、前記ＳＡＯオンオフ情報の１ビットを出力する段階は、前記ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、カラー成分別に、エッジバンド区別情報に対して、バイパスモードでエントロピー符号化を行って生成されたエッジバンド区別情報の１ビットをさらに出力する段階を含み、前記最大符号化単位のＳＡＯタイプ情報のうち最初のビンである前記ＳＡＯオンオフ情報に対して、コンテクストに基づいてエントロピー符号化を行い、前記ＳＡＯタイプ情報のうち、前記ＳＡＯオンオフ情報を除いた残りのビットに対して、バイパスモードでエントロピー符号化を行うことができる。
一実施形態によって、前記残りのビット列を出力する段階は、前記エッジバンド区別情報がバンドタイプを示すならば、カラー成分別に、前記バンド位置情報に対して、バイパッドモードでエントロピー符号化を行って生成された前記バンド位置情報のビット列を出力する段階を含み、前記バンド位置情報のビット列を出力する段階は、前記ＳＡＯカテゴリー別オフセット絶対値情報が０でなければ、オフセット符号情報に対して、バイパッドモードでエントロピー符号化を行って生成された前記オフセット符号情報のビット列と、前記生成されたバンド位置情報のビット列とを出力する段階を含み、前記バンド位置情報は、前記最大符号化単位のＳＡＯパラメータのうちから獲得される最後のパラメータでもある。
一実施形態によって、前記残りのビット列を獲得する段階は、前記エッジバンド区別情報がエッジタイプを示すならば、カラー成分別に、前記エッジクラス情報に対して、バイパスモードでエントロピー符号化を行って生成された前記エッジクラス情報のビット列を出力する段階を含んでもよい。
本発明の一実施形態によるＳＡＯ復号化装置は、最大符号化単位のビットストリームから、コンテクストに基づいてエントロピー符号化された左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報を獲得し、カラー成分別に、コンテクストに基づいてエントロピー符号化されたＳＡＯオンオフ情報を獲得するＳＡＯコンテクスト復号化部；前記ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、前記ビットストリームから、カラー成分別に、バイパスモードでエントロピー符号化されたＳＡＯカテゴリー別オフセット絶対値情報を獲得し、カラー成分別に、バイパスモードでエントロピー符号化されたバンド位置情報及びエッジクラス情報のうち一つを獲得するＳＡＯバイパス復号化部；及び前記ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、前記獲得された情報を利用して、前記最大符号化単位の復元値を、前記ＳＡＯカテゴリー別に、オフセット絶対値情報に基づいて調整するＳＡＯ調整部；を含む。
本発明の一実施形態によるＳＡＯ符号化装置において、最大符号化単位に対してＳＡＯ動作を遂行するＳＡＯ遂行部；前記最大符号化単位の左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報に対して、それぞれのコンテクストに基づいたエントロピー符号化を行い、前記左向きＳＡＯ併合情報のビット列、及び上向きＳＡＯ併合情報のビット列を生成し、カラー成分別に、ＳＡＯオンオフ情報に対して、コンテクストに基づいたエントロピー符号化を行い、前記ＳＡＯオンオフ情報の１ビットを生成して出力するＳＡＯコンテクスト符号化部；及び前記ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、カラー成分別に、ＳＡＯカテゴリー別オフセット絶対値情報に対して、バイパスモードでエントロピー符号化を行い、前記オフセット絶対値情報のビット列を生成し、カラー成分別に、バンド位置情報及びエッジクラス情報のうち一つに対して、バイパスモードでエントロピー符号化を行い、残りのビット列を生成して出力するＳＡＯバイパス符号化部；を含む。
本発明は、一実施形態による方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
以下、図１ないし図７Ｃを参照し、一実施形態による、ピクセル分類によるＳＡＯ調整を利用する、ビデオ符号化技法及びビデオ復号化技法を開示する。また、図８ないし図２０を参照し、一実施形態による、ツリー構造の符号化単位に基づいた、ビデオ符号化技法及びビデオ復号化技法において、ピクセル分類によるＳＡＯ調整が利用される実施形態を開示する。以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示す。
まず、図１ないし図７Ｃを参照し、一実施形態による、ピクセル分類によるＳＡＯ調整を利用する、ビデオ符号化技法及びビデオ復号化技法を開示する。また、図１Ａ、図１Ｂ、図２Ａ及び図２Ｂを参照して説明する一実施形態による、ＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０は、原本ピクセルと復元ピクセルとの誤差を最小化させるために、ＳＡＯ調整を行い、ＳＡＯ調整のためのＳＡＯパラメータを送受信する。
一実施形態によるＳＡＯ調整を利用するＳＡＯ符号化装置１０は、映像ブロックごとに、ピクセルを既定ピクセルグループに分類し、各ピクセルを、当該ピクセルグループに割り当て、同一ピクセルグループに含まれた、原本ピクセルと復元ピクセルとの誤差の平均値を示すオフセット値を符号化する。
ＳＡＯ符号化装置１０とＳＡＯ復号化装置２０との間で、サンプルがシグナリングされる。すなわち、ＳＡＯ符号化装置１０は、ビデオ符号化を介して生成されたサンプルを符号化し、ビットストリームのタイプで伝送し、ＳＡＯ復号化装置２０は、受信したビットストリームから、サンプルをパージングして復元することができる。
一実施形態によって、ＳＡＯ符号化装置１０とＳＡＯ復号化装置２０は、ピクセル分類を介して決定されたオフセットほど復元ピクセル値を調整し、原本ピクセルと復元ピクセルとの誤差を最小化させるために、ＳＡＯ調整のためのＳＡＯパラメータをシグナリングする。ＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０の間で、ＳＡＯパラメータとして、オフセット値が符号化されて伝送されて受信され、ＳＡＯパラメータからオフセット値が復号化される。
従って、一実施形態によるＳＡＯ復号化装置２０は、受信されたビットストリームを復号化し、映像ブロックごとに復元ピクセルを生成し、ビットストリームからオフセット値を復元し、復元ピクセルを当該オフセットほど調整することにより、原本映像との誤差が最小化された復元映像を生成することができる。
以下、図１Ａ及び図１Ｂを参照し、ＳＡＯ調整を行うＳＡＯ符号化装置１０の動作について詳細に説明し、図２Ａ及び図２Ｂを参照し、ＳＡＯ調整を行うＳＡＯ復号化装置２０の動作について詳細に説明する。
図１Ａ及び図１Ｂは、一実施形態によるＳＡＯ符号化装置１０のブロック図と、ＳＡＯ調整方法のフローチャートとを図示している。
一実施形態によるＳＡＯ符号化装置１０は、ＳＡＯ遂行部１２、エントロピー符号化部１４を含む。一実施形態によるエントロピー符号化部１４は、ＳＡＯパラメータを符号化するためのＳＡＯコンテクスト符号化部１６及びＳＡＯバイパス符号化部１８を含む。
一実施形態によるＳＡＯ符号化装置１０は、ビデオのスライスのような映像を入力され、それぞれの映像をブロックに区画し、ブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位（ＬＣＵ：largest coding unit）、符号化単位（ＣＵ：coding unit）などでもある。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式については、図８ないし図２０を参照して説明する。
一実施形態によるＳＡＯ符号化装置１０は、それぞれの入力映像を最大符号化単位に区画し、最大符号化単位ごとに、サンプルに対して、予測、変換、エントロピー符号化を行って生成された結果データを、ビットストリームの形態で出力することができる。最大符号化単位のサンプルは、最大符号化単位に含まれたピクセルのピクセル値データでもある。
一実施形態によるＳＡＯ符号化装置１０は、ピクチャの最大符号化単位ごとに、符号化を個別的に行うことができる。一実施形態によるＳＡＯ符号化装置１０は、現在最大符号化単位から分割されたツリー構造の符号化単位を基に、現在最大符号化単位を符号化することができる。
一実施形態によるＳＡＯ符号化装置１０は、現在最大符号化単位の符号化のために、現在符号化単位に含まれたツリー構造の符号化単位ごとに、イントラ予測、インター予測、変換、量子化を行い、サンプルを符号化することができる。
一実施形態によるＳＡＯ符号化装置１０は、またツリー構造の符号化単位ごとに、符号化されたサンプルに対して、逆量子化、逆変換、インター予測または動き補償を介して復号化し、現在最大符号化単位に含まれたサンプルを復元することができる。符号化されたサンプルに対して、以前スライスに対して符号化していて復号化を行い、復元映像を生成することができる。現在スライスのインター予測のために、以前スライスの復元映像が参照される。
一実施形態によるＳＡＯ遂行部１２は、現在最大符号化単位が符号化される前の原本ピクセルと、さらに復号化した後の復元ピクセルとの誤差を最小化させるために、原本ピクセルと復元ピクセルとの差値を示すオフセット値を決定することができる。
一実施形態によるＳＡＯ遂行部１２は、カラー成分別に、ＳＡＯ調整を行う。例えば、ＹＣｒＣｂカラー映像については、ルマ成分（Ｙ成分）、並びに第１クロマ成分（Ｃｒ成分）及び第２クロマ成分（Ｃｂ成分）別にＳＡＯ調整が行われる。
一実施形態によるＳＡＯ遂行部１２は、現在スライスのルマ成分に対して、ＳＡＯ調整を行うか否かということを決定することができる。一実施形態によるＳＡＯ遂行部１２は、現在スライスの第１クロマ成分及び第２クロマ成分に対して、ＳＡＯ調整を行うか否かということを決定するが、同一に決定することができる。すなわち、第１クロマカラー成分に対して、ＳＡＯ調整が行われるならば、第２クロマ成分に対しても、ＳＡＯ調整が行われ、第１クロマカラー成分に対して、ＳＡＯ調整が行われないならば、第２クロマ成分に対しても、ＳＡＯ調整が行われない。
一実施形態によるエントロピー符号化部１４は、現在スライスに係わるスライスＳＡＯパラメータを生成し、現在スライスに係わるスライスヘッダに、ＳＡＯパラメータを含めることができる。
また、一実施形態によるＳＡＯ遂行部１２は、最大符号化単位別に、ＳＡＯ遂行いかんを決定することができる。一実施形態によるＳＡＯコンテクスト符号化部１６は、ＳＡＯ遂行部１２の決定により、ルマ成分に対して、ＳＡＯ調整を行うか否かということを示すルマＳＡＯオンオフ情報を生成することができる。また、一実施形態によるＳＡＯコンテクスト符号化部１６は、ＳＡＯ遂行部１６の決定によって、第１クロマ成分及び第２クロマ成分に対して、ＳＡＯ調整を行うか否かということを示すクロマＳＡＯオンオフ情報を生成することができる。
一実施形態によるＳＡＯコンテクスト符号化部１６は、ルマＳＡＯオンオフ情報及びクロマＳＡＯオンオフ情報を、最大符号化単位のＳＡＯパラメータに含めることができる。
一実施形態によるＳＡＯ遂行部１２は、最大符号化単位別に、オフセット値を決定することができる。オフセット値、ＳＡＯタイプ及びＳＡＯクラスを含むＳＡＯパラメータも、最大符号化単位別に決定することができる。
一実施形態によるＳＡＯ遂行部１２は、現在最大符号化単位のピクセル値分類方式によって、ＳＡＯタイプを決定することができる。一実施形態によるＳＡＯタイプは、エッジタイプまたはバンドタイプとして決定される。現在ブロックのピクセル値分類方式によって、現在ブロックをエッジタイプによってピクセルを分類するか、あるいはバンド形態によってピクセルを分類するのが適するかということが決定される。
一実施形態によるＳＡＯタイプがエッジタイプである場合、現在最大符号化単位の復元ピクセルが、隣接ピクセルと形成するエッジの方向及び形態によって、復元ピクセルと原本ピクセルとのオフセットが決定される。
一実施形態によるＳＡＯタイプがバンドタイプである場合、現在最大符号化単位の復元ピクセルのピクセル値の全範囲を分割した多数のバンドのうち、各バンドに属する復元ピクセルと原本ピクセルとのオフセットが決定される。場合によっては、バンドは、ピクセル値の全範囲を均等な間隔で分割するか、あるいは均等ではない間隔で分割することもできる。
従って、一実施形態によるＳＡＯ遂行部１２は、現在最大符号化単位のピクセル値の空間的特性に基づいて、エッジタイプであるか、あるいはバンドタイプであるかということを示す現在最大符号化単位のＳＡＯタイプを決定することができる。
一実施形態によるＳＡＯ遂行部１２は、現在最大符号化単位のＳＡＯタイプによって、復元ピクセルごとに、ＳＡＯクラスを決定することができる。一実施形態によるＳＡＯクラスは、エッジクラスまたはバンドクラスとして決定される。
エッジタイプの場合、一実施形態によるエッジクラスは、復元ピクセルが隣接ピクセルと形成するエッジの方向を示すことができる。一実施形態によるエッジクラスは、０゜、９０゜、４５゜または１３５゜のエッジ方向を示すことができる。
一実施形態によるＳＡＯ遂行部１２は、ＳＡＯタイプがエッジタイプである場合、現在最大符号化単位の復元ピクセルごとに エッジクラスを決定することができる。
バンドタイプの場合、現在最大符号化単位のピクセル値の全範囲が、所定個数の連続するピクセル値区間に分割されるとき、各ピクセル値区間をバンドと称することができる。一実施形態によるバンドクラスは、復元ピクセルのピクセル値が属するバンドを示すバンド位置を示すことができる。
例えば、一実施形態によるピクセル値が、８ビットであるサンプルである場合、ピクセル値の全範囲は、０ないし２５５であり、ピクセル値は、全３２個のバンドに分割される。その場合、全３２個のバンドのうちから、復元ピクセルのピクセル値が属する所定個数のバンドが決定される。一実施形態によるバンドクラスは、連続する所定個数のバンドの開始位置（左側開始地点）を示し、最も先立つバンドの位置は、０ないし３１のバンドインデックスで表現される。
エッジタイプの場合、現在最大符号化単位の復元ピクセルは、隣接ピクセルと形成するエッジ形態によって、所定個数のカテゴリーに分類される。例えば、凹状エッジ（concave）の局部最低点（local valley）、凹状エッジの曲線コーナー（corner）、凸状エッジ（convex）の曲線コーナー、凸状エッジの局部最高点（local peak）の４種エッジ形態により、復元ピクセルが４個のカテゴリーに分類される。現在最大符号化単位の復元ピクセルごとに、いかなる形態のエッジを形成するかということにより、４個のカテゴリーのうち１つのカテゴリーに属すると決定される。
バンドタイプの場合、現在最大符号化単位の復元ピクセルのピクセル値が属するバンド位置によって、所定個数のカテゴリーに分類される。例えば、バンドクラスが示す開始位置、すなわち、最左側バンドの開始地点から連続する４個のバンドのバンドインデックスにより、復元ピクセルが４個のカテゴリーに分類される。現在最大符号化単位の復元ピクセルごとに、４個のバンドのうちいずれのバンドに属するかということにより、４個のカテゴリーのうち１つのカテゴリーに属すると決定される。
一実施形態によるＳＡＯ遂行部１２は、現在最大符号化単位の復元ピクセルごとに、カテゴリーを決定することができる。一実施形態によるＳＡＯ遂行部１２は、現在符号化単位において、同一カテゴリーに属する復元ピクセルに対して、復元ピクセルと原本ピクセルとの差値を利用して、オフセット値を決定することができる。各カテゴリーごとに、復元ピクセルと原本ピクセルとの差値の平均、すなわち、復元ピクセルの平均誤差を、現在カテゴリーに対応するオフセット値として決定することができる。一実施形態によるＳＡＯ遂行部１２は、カテゴリーごとにオフセット値を決定し、現在最大符号化単位のためのオフセット値として、全てのカテゴリーのオフセット値を決定することができる。
例えば、現在最大符号化単位のＳＡＯタイプがエッジタイプであり、エッジ形態によって、復元ピクセルが４個のカテゴリーに分類されるか、あるいは現在最大符号化単位のＳＡＯタイプがバンドタイプであり、連続する４個のバンドのインデックスによって、復元ピクセルが４個のカテゴリーに分類される場合、一実施形態によるＳＡＯ遂行部１２は、４個のカテゴリーごとに、属する復元ピクセルと原本ピクセルとの平均誤差を決定するので、４個のオフセット値を決定することができる。
一実施形態によるオフセット値は、それぞれ既設定の最小値より大きいか、あるいはそれと同じであり、既設定の最大値より小さいか、あるいはそれと同じである。
一実施形態によるエントロピー部符号化部１４は、ＳＡＯ遂行部１２で決定された現在最大符号化単位のＳＡＯタイプ、ＳＡＯクラス及びオフセット値を含むＳＡＯパラメータを符号化して出力することができる。
各ブロックのＳＡＯパラメータは、各ブロックのＳＡＯタイプとオフセット値とを含んでもよい。ＳＡＯタイプとして、オフ（off）タイプ、エッジ（edge）タイプまたはバンド（band）タイプが出力される。
ＳＡＯタイプがオフタイプである場合、現在最大符号化単位について、ＳＡＯ調整技法が適用されないということを示すことができる。その場合、現在最大符号化単位の残りのＳＡＯパラメータも、それ以上符号化される必要がない。
ＳＡＯタイプがエッジタイプである場合、ＳＡＯパラメータは、エッジクラスのうち各エッジクラスごとに対応するオフセット値を含んでもよい。また、ＳＡＯタイプがバンドタイプである場合、ＳＡＯパラメータは、バンドのうち各バンドごとに対応するオフセット値を含んでもよい。
前述のところよって、一実施形態によるＳＡＯ遂行部１２は、映像の最大符号化単位について、各最大符号化単位ごとに、ＳＡＯ動作を遂行することができる。
一実施形態によるＳＡＯパラメータは、エントロピー方式により、コンテクストに基づいたエントロピー符号化されるパラメータと、バイパスモードによってエントロピー符号化されるパラメータとに分類される。
一実施形態によるコンテクスト基盤のエントロピー符号化方式は、ＳＡＯパラメータのようなシンボルを、ビット列に変換する二進化動作と、ビット列に対して、コンテクスト基盤の算術符号化を行う算術符号化動作の一連の動作とによって遂行される。コンテクスト基盤の算術符号化を行う算術符号化方式として、ＣＡＢＡＣ（context adaptive binary arithmetic coding）などが広く利用されている。コンテクスト基盤の算術符号化／復号化によれば、シンボルビット列の各ビットが、コンテクストの各ビン（bin）になり、各ビット位置が空インデックスにマッピングされる。ビット列長、すなわち、ビンの長さは、シンボル値の大きさによって変わる。コンテクスト基盤の算術符号化／復号化のためには、シンボルのコンテクストに基づいた確率モデリングが必要である。
以前に符号化されたシンボルに基づいて、現在シンボルのコーディングビットを確率的に予測するという仮定下で、コンテクストに基づいた確率モデリングが必要である。コンテクストに基づいた確率モデリングのために、シンボルビット列のビット位置ごとに、すなわち、それぞれの空インデックスごとに、コンテクストを新たに更新する必要がある。ここで、確率モデリングは、各ビンにおいて、０または１が発生する確率を分析する過程である。これまでのコンテクストに対し、新たなブロックのシンボルのビット別確率を分析した結果を反映させてコンテクストを更新する過程が、ブロックごとに
反復される。そのような確率モデリングが反復されることにより、各ビンごとに、発生確率がマッチングされた確率モデルが決定される。
従って、コンテクストに基づいた確率モデルを参照し、現在シンボルの二進化されたビット列の各ビットごとに、現在コンテクストに対応するコードを選択して出力する動作が遂行されることにより、コンテクストに基づいたエントロピー符号化が行われる。
一実施形態によるコンテクストに基づいたエントロピー符号化のために、シンボルの各ビンごとに、コンテクストに基づいた確率モデルを決定する動作は、多くの演算量及び演算時間を要求する。一方、バイパスモードによるエントロピー符号化動作は、シンボルのコンテクストを考慮しない確率モデルを利用するエントロピー符号化動作を意味する。
一実施形態によるエントロピー符号化部１４は、ＳＡＯパラメータに対して、コンテクストに基づいたエントロピー符号化（以下、「コンテクスト符号化」）を行うＳＡＯコンテクスト符号化部１６と、バイパスモードによって、エントロピー符号化（以下、「バイパス符号化」）を行うＳＡＯバイパス符号化部１８と、を含んでもよい。
一実施形態によるＳＡＯコンテクスト符号化部１６は、最大符号化単位の左向きＳＡＯ併合情報、上向きＳＡＯ併合情報及びＳＡＯオンオフ情報に対して、コンテクストに基づいたエントロピー符号化を行うことができる。
一実施形態によるＳＡＯバイパス符号化部１８は、カラー成分別に、オフセット絶対値情報、及びバンド位置情報またはエッジクラス情報に対して、バイパスモードでエントロピー符号化を行うことができる。
一実施形態によるＳＡＯコンテクスト符号化部１６及びＳＡＯバイパス符号化部１８が、ＳＡＯパラメータを出力する実施形態は、以下の図１ＢのＳＡＯ符号化方法のフローチャートを参照して詳細に説明する。
一実施形態によるＳＡＯ遂行部１２は、現在スライスの最大符号化単位ごとに、ＳＡＯいかん及びＳＡＯ方式を決定し、ＳＡＯオフセットを決定することができる。
段階１１で、ＳＡＯコンテクスト符号化部１６は、現在最大符号化単位の左向きＳＡＯ併合情報に対して、コンテクストに基づいたエントロピー符号化を行い、左向きＳＡＯ併合情報の１ビットフラグを生成することができる。また、ＳＡＯコンテクスト符号化部１６は、現在最大符号化単位の上向きＳＡＯ併合情報に対して、コンテクストに基づいたエントロピー符号化を行い、上向きＳＡＯ併合情報の１ビットフラグを出力することができる。
一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位の左側または上端に隣接する最大符号化単位のＳＡＯパラメータを参照し、現在最大符号化単位のＳＡＯパラメータを決定するか否かということを、カラー成分ごとに異なって決定するのではなく、ルマ成分及びクロマ成分について同一に決定することができる。
まず、左側最大符号化単位のＳＡＯパラメータを利用して、現在最大符号化単位のＳＡＯパラメータを予測するか否かということに基づいて、一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位のための左向きＳＡＯ併合情報を生成することができる。すなわち、ルマ成分、並びに第１クロマ成分及び第２クロマ成分の区別なしに、同一の左向きＳＡＯ併合情報が生成される。
次に、上端最大符号化単位のＳＡＯパラメータを利用して、現在最大符号化単位のＳＡＯパラメータを予測するか否かということに基づいて、一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位のための上向きＳＡＯ併合情報を生成することができる。ルマ成分、並びに第１クロマ成分及び第２クロマ成分の区別なしに、同一の上向きＳＡＯ併合情報が生成される。
段階１３で、ＳＡＯコンテクスト符号化部１６は、カラー成分別に、ＳＡＯオンオフ情報に対して、コンテクストに基づいたエントロピー符号化を行うことができる。一実施形態によるＳＡＯコンテクスト符号化部１６は、コンテクスト符号化によって生成されたＳＡＯオンオフ情報の１ビットフラグを生成することができる。
一実施形態によるＳＡＯ遂行部１２は、ＳＡＯタイプ情報のうち最初のビットを、現在最大符号化単位で、ＳＡＯ調整を行うか否かということを示すＳＡＯオンオフ情報に割り当てることができる。一実施形態によるＳＡＯコンテクスト符号化部１６は、ＳＡＯタイプ情報のうち最初のビンに対してのみ、コンテクストに基づいたＣＡＢＡＣ符号化を行うことができる。
一実施形態によるＳＡＯバイパス符号化部１８は、ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、カラー成分別に、エッジバンド区別情報に対して、バイパスモードでエントロピー符号化を行うことができる。一実施形態によるＳＡＯバイパス符号化部１８は、バイパス符号化によって生成されたエッジバンド区別情報の１ビットを出力することができる。
一実施形態によるＳＡＯバイパス符号化部１８は、ＳＡＯタイプ情報のうち２番目のビットを、現在最大符号化単位について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを示すエッジバンド区別情報に割り当てることができる。一実施形態によるＳＡＯバイパス符号化部１８は、ＳＡＯタイプ情報のうち２番目のビンについては、バイパスモードでＣＡＢＡＣ符号化を行うことができる。
すなわち、一実施形態によるエントロピー符号化部１４は、ＳＡＯ動作が遂行されれば、ＳＡＯタイプ情報として、コンテクスト符号化されたＳＡＯオンオフ情報のフラグに続いてバイパス符号化されたエッジバンド区別情報のフラグをさらに出力することができる。
一実施形態によるＳＡＯ遂行部１２は、第１クロマ成分のためのＳＡＯオンオフ情報を、第２クロマ成分に対して同一に適用することができる。また、一実施形態によるＳＡＯ遂行部１２は、第１クロマ成分のためのエッジバンド区別情報を、第２クロマ成分に対して同一に適用することができる。従って、一実施形態によるエントロピー符号化部１４は、ルマ成分及び第１クロマ成分のＳＡＯオンオフ情報、並びにエッジバンド区別情報に対して、エントロピー符号化を行った後、第２クロマ成分のＳＡＯオンオフ情報及びエッジバンド区別情報に対して、さらにエントロピー符号化を行わない。
段階１５で、一実施形態によるＳＡＯバイパス符号化部１８は、ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、カラー成分別に、ＳＡＯカテゴリー別オフセット絶対値情報に対して、バイパスモードでエントロピー符号化を行うことができる。一実施形態によるＳＡＯバイパス符号化部１８は、バイパス符号化によって生成されたオフセット絶対値情報のビット列を出力することができる。
ＳＡＯバイパス符号化部１８は、ルマ成分、並びに第１クロマ成分及び第２クロマ成分ごとに、オフセット絶対値情報に対して、バイパス符号化を行うことができる。また、各カラー成分ごとに、４種カテゴリー別に、オフセット絶対値情報に対して、バイパス符号化を行うことができる。
一実施形態によるＳＡＯ符号化装置１０は、最大符号化単位ＳＡＯパラメータのうちオフセットの絶対値（absolute value）情報に対して、バイパスモードでＣＡＢＡＣ符号化を行うことができる。オフセットの絶対値情報は、ビデオのビットデプスに基づく範囲以内の値を示すことができる。例えば、ビットデプスが８ビットである場合、オフセット絶対値は、０より大きいか、あるいはそれと同じであり、７より小さいか、あるいはそれと同じ値でもある。他の例として、ビットデプスが１０ビットである場合、オフセット絶対値は、０より大きいか、あるいはそれと同じであり、３１より小さいか、あるいはそれと同じ値でもある。
段階１７で、一実施形態によるＳＡＯバイパス符号化部１８は、カラー成分別に、バンド位置情報及びエッジクラス情報のうち一つに対して、バイパスモードでエントロピー符号化を行うことができる。一実施形態によるＳＡＯタイプ情報のビット列のうち、ＳＡＯオンオフ情報及びエッジバンド区別情報を除いた残りのビット列が、バンド位置情報またはエッジクラス情報に割り当てられる。一実施形態によるＳＡＯバイパス符号化部１８は、バイパス符号化によって生成されたバンド位置情報またはエッジクラス情報の残りのビット列を出力することができる。
エッジバンド区別情報がバンドタイプを示すならば、一実施形態によるＳＡＯバイパス符号化部１８は、カラー成分別に、バンド位置情報に対して、バイパッドモードでエントロピー符号化を行うことができる。一実施形態によるバンド位置情報は、バンドタイプのＳＡＯクラスとして、バンドの左側開始地点を示す。一実施形態によるバンド位置情報は、固定ビットレングスのビット列として決定される。
ＳＡＯカテゴリー別オフセット絶対値情報が０ではなければ、一実施形態によるＳＡＯバイパス符号化部１８は、オフセット符号情報に対して、バイパッドモードでエントロピー符号化を行うことができる。従って、ＳＡＯバイパス符号化部１８は、バンドＳＡＯタイプであるＳＡＯタイプ情報の残りのビット列として、バイパス符号化されたオフセット符号情報のビット列と、バンド位置情報のビット列とを出力することができる。一実施形態によるＳＡＯバイパス符号化部１８は、最大符号化単位のＳＡＯパラメータのうちバンド位置情報を最も最後に出力することができる。
バンドＳＡＯタイプのオフセット符号情報とバンド位置情報は、ルマ成分、並びに第１クロマ成分及び第２クロマ成分ごとに、それぞれ決定される。従って、ＳＡＯバイパス符号化部１８は、ルマ成分、並びに第１クロマ成分及び第２クロマ成分ごとに、それぞれオフセット符号情報と、バンド位置情報とをバイパス符号化することができる。バイパス符号化によって生成されたバンドクラス情報のビット列が、ＳＡＯタイプ情報の残りのビット列として出力される。
エッジバンド区別情報がエッジタイプを示すならば、一実施形態によるＳＡＯバイパス符号化部１８は、カラー成分別に、エッジクラス情報に対して、バイパスモードでエントロピー符号化を行うことができる。バイパス符号化によって生成されたエッジクラス情報のビット列、がＳＡＯタイプ情報の残りのビット列として出力される。
一実施形態によるエッジクラス情報は、ルマ成分及び第１クロマ成分別に決定される。第１クロマ成分のために決定されたエッジクラス情報は、第２クロマ成分に同一に適用される。従って、一実施形態によるＳＡＯバイパス符号化部１８は、ルマ成分及び第１クロマ成分に対して、エッジクラス情報を設定した後、第２クロマ成分に対して、さらにエッジクラス情報を設定しない。
一実施形態によるＳＡＯ符号化装置１０は、ＳＡＯ遂行部１２、エントロピー部符号化部１４、ＳＡＯコンテクスト符号化部１６及びＳＡＯバイパス符号化部１８を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、ＳＡＯ遂行部１２、エントロピー部符号化部１４、ＳＡＯコンテクスト符号化部１６及びＳＡＯバイパス符号化部１８が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することによって、ＳＡＯ符号化装置１０が全体的に作動することもできる。または、一実施形態によるＳＡＯ符号化装置１０の外部プロセッサ（図示せず）の制御によって、ＳＡＯ遂行部１２、エントロピー部符号化部１４、ＳＡＯコンテクスト符号化部１６及びＳＡＯバイパス符号化部１８が制御されもする。
一実施形態によるＳＡＯ符号化装置１０は、ＳＡＯ遂行部１２、エントロピー部符号化部１４、ＳＡＯコンテクスト符号化部１６及びＳＡＯバイパス符号化部１８の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ＳＡＯ符号化装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
一実施形態によるＳＡＯ符号化装置１０は、ビデオ符号化の結果を出力するために、内部に搭載されたビデオエンコーディング・プロセッサまたは外部ビデオエンコーディング・プロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行することができる。一実施形態によるＳＡＯ符号化装置１０の内部ビデオエンコーディング・プロセッサは、別個のプロセッサとして、ビデオ符号化動作を具現することができる。また、ＳＡＯ符号化装置１０、中央演算装置またはグラフィック演算装置が、ビデオエンコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も可能である。
図２Ａ及び図２Ｂは一実施形態による、ＳＡＯ復号化装置２０のブロック図と、ビデオ復号化装置のＳＡＯ調整方法のフローチャートとを図示している。
一実施形態によるＳＡＯ復号化装置２０は、エントロピー復号化部２２及びＳＡＯ調整部２８を含む。一実施形態によるＳＡＯコンテクスト復号化部２４及びＳＡＯバイパス復号化部２６を含む。
一実施形態によるＳＡＯ復号化装置２０は、ビデオの符号化されたデータを含むビットストリームを受信する。ＳＡＯ復号化装置２０は、受信したビットストリームから、符号化されたビデオサンプルをパージングし、映像ブロック別に、エントロピー復号化、逆量子化、逆変換、予測及び動き補償を行い、復元ピクセルを生成することができる。
一実施形態によるＳＡＯ復号化装置２０は、受信されたビットストリームから獲得された現在スライスの符号化サンプル、及び符号化情報を含む符号化シンボルに対して復号化を行い、現在スライスを復元することができる。結果として、復元映像が生成される。
また、一実施形態によるＳＡＯ復号化装置２０は、原本ピクセルと復元ピクセルとの差値を示すオフセット値を受信し、ＳＡＯ調整部２８は、受信されたオフセット値を利用して、原本映像と復元映像との誤差を最小化させることができる。ＳＡＯ復号化装置２０は、ビデオの最大符号化単位別に符号化されたデータを受信し、それぞれの最大符号化単位から分割されたツリー構造の符号化単位を基に、それぞれの最大符号化単位を復元することができる。ＳＡＯ調整部２８は、最大符号化単位において、ＳＡＯ動作も遂行することができる。
ＳＡＯ復号化装置２０がＳＡＯ調整を行うためには、まず、ＳＡＯ動作を遂行したＳＡＯ符号化装置１０で決定したＳＡＯパラメータが必要である。一実施形態によるエントロピー復号化部２２は、最大符号化単位のビットストリームから、ＳＡＯパラメータを獲得することができる。一実施形態によるＳＡＯコンテクスト復号化部２４は、最大符号化単位のビットストリームから、左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報、カラー成分別ＳＡＯオンオフ情報を獲得することができる。
一実施形態によるＳＡＯバイパス復号化部２６は、ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、ビットストリームから、カラー成分別に、エッジバンド区別情報、ＳＡＯカテゴリー別オフセット絶対値情報、及びバンド位置情報またはエッジクラス情報を獲得することができる。
それにより、一実施形態によるＳＡＯ調整部２８は、ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、ＳＡＯコンテクスト復号化部２４及びＳＡＯバイパス復号化部２６によって獲得された情報を利用して、最大符号化単位の復元値をＳＡＯカテゴリー別に、オフセット絶対値情報に基づいて調整することができる。
以下、現在最大符号化単位のサンプルを復元してオフセットを調整するためのＳＡＯパラメータを獲得する方法について、図２Ｂを参照して詳細に説明する。
一実施形態によるＳＡＯ復号化装置２０は、それぞれシンボルのコード確率モデルを利用して、最大符号化単位別、にシンボルに係わる算術復号化を行うことができる。また、一実施形態によるＳＡＯ復号化装置２０は、最大符号化単位ごとに更新された確率モデルに基づいて、コンテクストに基づいた算術復号化（以下、「コンテクスト復号化」）を行うことができる。
また、一実施形態によるＳＡＯ復号化装置２０は、コンテクストを考慮した確率モデルを決定せずに算術復号化を行うバイパスモードのエントロピー復号化（以下、「バイパス復号化」）も行うことができる。
段階２１で、一実施形態によるＳＡＯコンテクスト復号化部２４は、最大符号化単位のビットストリームから、コンテクスト符号化された左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報を獲得することができる。
一実施形態によるＳＡＯコンテクスト復号化部２４は、左向きＳＡＯ併合情報のコンテクストに基づいた確率モデルを決定し、左向きＳＡＯ併合情報の確率モデルを利用したエントロピー復号化を行い、左向きＳＡＯ併合情報を復元することができる。
一実施形態によるＳＡＯコンテクスト復号化部２４は、上向きＳＡＯ併合情報のコンテクストに基づいた確率モデルを決定し、上向きＳＡＯ併合情報の確率モデルを利用したエントロピー復号化を行い、上向きＳＡＯ併合情報を復元することができる。
左向きＳＡＯ併合情報が、左側最大符号化単位のＳＡＯパラメータを利用して、現在ＳＡＯパラメータを予測するように表示しているならば、カラー成分ごとに、現在最大符号化単位のカラー成分別ＳＡＯパラメータとして、左側最大符号化単位に係わるカラー成分別ＳＡＯパラメータが採択される。
左向きＳＡＯ併合情報が、左側最大符号化単位のＳＡＯパラメータを利用しないように表示されながら、上向きＳＡＯ併合情報が、上端最大符号化単位のＳＡＯパラメータを利用して、現在ＳＡＯパラメータを予測するように表示しているならば、カラー成分ごとに、現在最大符号化単位のカラー成分別ＳＡＯパラメータとして、上端最大符号化単位に係わるカラー成分別ＳＡＯパラメータが採択される。
ただし、上向きＳＡＯ併合情報が、上端最大符号化単位のＳＡＯパラメータを利用して、現在ＳＡＯパラメータを予測しないように表示しているならば、エントロピー復号化部２２は、カラー成分ごとに、現在最大符号化単位のＳＡＯパラメータを、ビットストリームから獲得することができる。
段階２３で、一実施形態によるＳＡＯコンテクスト復号化部２４は、最大符号化単位のビットストリームから、カラー成分別に、コンテクスト符号化されたＳＡＯオンオフ情報を獲得することができる。
一実施形態によるＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、一実施形態によるＳＡＯバイパス復号化部２６は、最大符号化単位のビットストリームから、カラー成分別に、バイパス符号化されたエッジバンド区別情報をさらに獲得することができる。
一実施形態によるＳＡＯコンテクスト復号化部２４は、ＳＡＯオンオフ情報のコンテクストに基づいた確率モデルを決定し、ＳＡＯオンオフ情報の確率モデルを利用したエントロピー復号化を行い、ＳＡＯオンオフ情報を復元することができる。
一実施形態による、第１クロマ成分のためのＳＡＯオンオフ情報は、第２クロマ成分に同一に適用される。従って、一実施形態によるＳＡＯコンテクスト復号化部２４は、ルマ成分及び第１クロマ成分の各ＳＡＯオンオフ情報を獲得すれば、第２クロマ成分のためのＳＡＯオンオフ情報をさらに獲得しない。
一実施形態による第１クロマ成分のためのエッジバンド区別情報は、第２クロマ成分に同一に適用される。従って、一実施形態によるＳＡＯバイパス復号化部２４は、ルマ成分及び第１クロマ成分の各エッジバンド区別情報を獲得すれば、第２クロマ成分のためのエッジバンド区別情報をさらに獲得しない。
段階２３で獲得されたＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、段階２５で、ＳＡＯバイパス復号化部２６は、最大符号化単位のビットストリームから、カラー成分別に、バイパス符号化されたＳＡＯカテゴリー別オフセット絶対値情報を獲得することができる。
一実施形態によるＳＡＯバイパス復号化部２６は、オフセット絶対値情報のコンテクストに基づいた確率モデルなしにエントロピー復号化を行い、オフセット絶対値情報を復元することができる。
段階２６で、ＳＡＯバイパス復号化部２６は、最大符号化単位のビットストリームから、カラー成分別に、バイパスモードでエントロピー符号化されたバンド位置情報及びエッジクラス情報のうち一つを獲得することができる。
一実施形態によるエッジバンド区別情報がバンドタイプを示すならば、ＳＡＯバイパス復号化部２６は、ビットストリームから、カラー成分別に、バイパッド符号化されたバンド位置情報を獲得することができる。ＳＡＯカテゴリー別に獲得されたオフセット絶対値情報が０ではなければ、ＳＡＯバイパス復号化部２６、はビットストリームから、カラー成分別に、バイパス符号化されたオフセット符号情報及びバンド位置情報を獲得することができる。一実施形態によるＳＡＯバイパス復号化部２６は、最大符号化単位のＳＡＯパラメータのうちバンド位置情報を最も最後に獲得することができる。
一実施形態によるエッジバンド区別情報がエッジタイプを示すならば、ＳＡＯバイパス復号化部２６は、ビットストリームから、カラー成分別に、バイパス符号化されたエッジクラス情報を獲得することができる。一実施形態によるエッジクラス情報は、ルマ成分のためのエッジクラス情報、及び第１クロマ成分のためのエッジクラス情報を含んでもよい。一実施形態による第１クロマ成分のためのエッジクラス情報は、第２クロマ成分に同一に適用される。一実施形態によるＳＡＯバイパス復号化部２４は、ルマ成分及び第１クロマ成分の各エッジクラス情報を獲得すれば、第２クロマ成分のためのエッジクラス情報をさらに獲得しない。
一実施形態によるＳＡＯバイパス復号化部２６は、オフセット符号情報のコンテクストに基づいた確率モデルなしにエントロピー復号化を行い、オフセット符号情報を復元することができる。一実施形態によるＳＡＯバイパス復号化部２６は、バンド位置情報のコンテクストに基づいた確率モデルなしにエントロピー復号化を行い、バンド位置情報を復元することができる。一実施形態によるＳＡＯバイパス復号化部２６は、エッジクラス情報のコンテクストに基づいた確率モデルなしにエントロピー復号化を行い、エッジクラス情報を復元することができる。
一実施形態によるＳＡＯ調整部２８は、ＳＡＯ併合情報に基づいて、左側最大符号化単位または上端最大符号化単位のＳＡＯパラメータを利用して、現在最大符号化単位のＳＡＯパラメータを決定することができる。その場合、現在最大符号化単位のＳＡＯパラメータが抽出されずにも、まず、復元された隣接最大符号化単位のＳＡＯパラメータと同一に、現在最大符号化単位のＳＡＯパラメータを復元することもできる。
一実施形態によるＳＡＯコンテクスト復号化部２４は、現在最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分のために、共通するＳＡＯ併合情報を抽出することができる。ＳＡＯコンテクスト復号化部２４は、共通するＳＡＯ併合情報に基づいて、ルマ成分のＳＡＯパラメータ、並びに第１クロマ成分のＳＡＯパラメータ及び第２クロマ成分のＳＡＯパラメータを、隣接する最大符号化単位のＳＡＯパラメータと同一に復元するか否かということを決定することができる。
一実施形態によるエントロピー復号化部２２によって獲得されたＳＡＯタイプ情報から、オフタイプ、エッジタイプまたはバンドタイプが決定される。
一実施形態によるＳＡＯタイプ情報のうち最初のビンであるＳＡＯオンオフ情報が、ＳＡＯコンテクスト復号化部２４によって復元されれば、ＳＡＯオンオフ情報に基づいて、現在最大符号化単位で、ＳＡＯ動作が遂行されるか否かということを決定することができる。ＳＡＯタイプがオフタイプである場合、現在最大符号化単位で、ＳＡＯ調整技法が適用されないということが決定される。その場合、現在最大符号化単位の残りのＳＡＯパラメータも、それ以上パージングされる必要がない。
一実施形態によるＳＡＯバイパス復号化部２６は、各カラー成分ごと及び各カテゴリーごとに、オフセットの絶対値を決定することができる。それぞれのオフセット値は、既設定の最小値より大きいか、あるいはそれと同じであり、既設定の最大値より小さいか、あるいはそれと同じである。
一実施形態によるＳＡＯタイプ情報が、バンドタイプを示す場合、ＳＡＯバイパス復号化部２６は、それによって獲得されたバンド位置情報に基づいて、復元ピクセルのピクセル値が属するバンドの位置が決定される。
一実施形態によるＳＡＯタイプ情報がバンドタイプを示す場合、ＳＡＯバイパス復号化部２６は、オフセット絶対値が０と決定される場合、オフセット符号情報は、復元されない。ＳＡＯバイパス復号化部２６は、オフセット絶対値が０ではないならば、オフセット符号情報を獲得し、オフセット値が正数であるか負数であるかということを決定することができる。また、ＳＡＯバイパス復号化部２６は、オフセット符号情報を獲得した後、バンド位置情報を獲得することができる。
一実施形態によるＳＡＯタイプ情報がエッジタイプを示す場合、ＳＡＯバイパス復号化部２６によって獲得されたエッジクラス情報に基づいて、現在最大符号化単位内に含まれた復元ピクセルのエッジの方向が、０゜、９０゜、４５゜または１３５゜のうち一つに決定される。
一実施形態によるＳＡＯ調整部２８は、ルマＳＡＯタイプ情報の２番目ビットに基づいて、現在ＳＡＯタイプがエッジタイプであるか、あるいはバンドタイプであるかということ決定し、現在最大符号化単位のルマ成分に対して、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれか一つを行うことができる。
一実施形態によるＳＡＯ調整部２８は、クロマＳＡＯタイプ情報の２番目ビットに基づいて、現在ＳＡＯタイプがエッジタイプであるか、あるいはバンドタイプであるかということ決定し、現在最大符号化単位の第１クロマ成分及び第２クロマ成分に対して、共にエッジＳＡＯ調整を行うか、あるいは共にバンドＳＡＯ調整を行うことができる。
また、現在最大符号化単位の第１クロマ成分及び第２クロマ成分に対して、エッジＳＡＯ調整を行うと決定された場合、ＳＡＯ調整部２８は、クロマＳＡＯタイプ情報に基づいて、現在最大符号化単位の第１クロマ成分及び第２クロマ成分が、同一エッジクラスを有することを決定することができる。
一実施形態によるＳＡＯバイパス復号化部２６によって、ＳＡＯパラメータのうちから獲得されたオフセットの絶対値情報は、ビデオのビットデプスに基づく限界値以下の値に制限される。ビデオのビットデプスに基づく範囲以内の値であるオフセット絶対値を示すことができる。例えば、８ビットビットデプスの場合、オフセット絶対値は、０以上７以下の値であり、１０ビットビットデプスの場合、オフセット絶対値は、０以上３１以下の値でもある。
また、ＳＡＯタイプ情報の２番目ビットから、現在最大符号化単位に対して、バンドＳＡＯ調整を行うと判読された場合、一実施形態によるＳＡＯバイパス復号化部２６は、ＳＡＯタイプ情報の２番目ビットの次に続く固定ビットレングスのビットに対して、バイパスモードでＣＡＢＡＣ復号化を行うことができる。一実施形態によるＳＡＯバイパス復号化部２６は、ルマ成分及びクロマ成分別に、ＳＡＯタイプ情報の最後の固定ビットレングスのビットから、バンドの左側開始点に係わる情報が獲得される。
一実施形態によるＳＡＯバイパス復号化部２６によって復元されたエッジバンド識別タイプに基づいて、現在最大符号化単位のピクセル値分類方式が、エッジタイプであるか、あるいはバンドタイプであるかということ決定することができる。
一実施形態によるＳＡＯ調整部２８は、現在最大符号化単位から分割されたツリー構造の符号化単位ごとに決定された差値ほど復元されたサンプルのピクセル値を調整することができる。
一実施形態によるＳＡＯ復号化装置２０は、エントロピー復号化部２２、ＳＡＯコンテクスト復号化部２４、ＳＡＯバイパス復号化部２６及びＳＡＯ調整部２８を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、エントロピー復号化部２２、ＳＡＯコンテクスト復号化部２４、ＳＡＯバイパス復号化部２６及びＳＡＯ調整部２８が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が、相互有機的に作動することによって、ＳＡＯ復号化装置２０が全体的に作動することもできる。または、一実施形態によるＳＡＯ復号化装置２０の外部プロセッサ（図示せず）の制御によって、エントロピー復号化部２２、ＳＡＯコンテクスト復号化部２４、ＳＡＯバイパス復号化部２６及びＳＡＯ調整部２８が制御されもする。
一実施形態によるＳＡＯ復号化装置２０は、エントロピー復号化部２２、ＳＡＯコンテクスト復号化部２４、ＳＡＯバイパス復号化部２６及びＳＡＯ調整部２８の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ＳＡＯ復号化装置２０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
一実施形態によるＳＡＯ復号化装置２０は、ビデオ復号化を介してビデオを復元するために、内部に搭載されたビデオデコーディング・プロセッサまたは外部ビデオデコーディング・プロセッサと連繋して作動することにより、ビデオ復号化動作を遂行することができる。一実施形態によるＳＡＯ復号化装置２０の内部ビデオデコーディング・プロセッサは、別個のプロセッサでもって、基本的なビデオ復号化動作を具現することができる。また、ＳＡＯ復号化装置２０、中央演算装置またはグラフィック演算装置が、ビデオデコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ復号化動作を具現する場合も含んでもよい。
以下、図３を参照し、ＳＡＯ技法を利用するビデオ復号化方式について詳細に説明する。図３は、一実施形態によるビデオ復号化装置３０のブロック図を図示している。
ビデオ復号化装置３０は、エントロピー復号化部３１、逆量子化部３２、逆変換部３３、復元部３４、イントラ予測部３５、参照ピクチャバッファ３６、動き補償部３７、デブロッキング・フィルタリング部３８、ＳＡＯ部３９を含む。
ビデオ復号化装置３０は、符号化されたビデオデータを含むビットストリームを受信することができる。エントロピー復号化部３１において、ビットストリームから、イントラモード情報（intra mode information）、インターモード情報（inter mode information）、ＳＡＯ情報（sample adaptive offset information）、レジデュデータ（residues）がパージングされる。
エントロピー復号化部３１によって抽出されたレジデュデータは、量子化された変換係数でもある。従って、逆量子化部３２において、レジデュデータに対して逆量子化を行って変換係数を復元し、逆変換部３３において、復元された復元係数に対して逆変換を行い、空間領域のレジデュ値を復元することができる。
空間領域のレジデュ値を予測復元するために、イントラ予測または動き補償が行われる。
エントロピー復号化部３１において、イントラモード情報が抽出された場合には、イントラ予測部３５が、イントラモード情報を利用して、現在サンプルに空間的に隣接する隣接サンプルのうちいずれかのサンプルを参照し、現在サンプルを復元するか否かということを決定することができる。参照する隣接サンプルを、復元部３４によって、以前に復元されたサンプルのうちからも選択される。復元部３４は、イントラモード情報に基づいて、決定された参照サンプルと、逆変換部３３で復元されたレジデュ値とを利用して、現在サンプルを復元することができる。
エントロピー復号化部３１において、インターモード情報が抽出された場合には、動き補償部３７が、インターモード情報を利用して、現在ピクチャより先に復元されたピクチャのうちいずれかのサンプルを参照し、現在ピクチャの現在サンプルを復元するか否かということを決定することができる。インターモード情報は、動きベクトル、参照インデックスなどを含んでもよい。参照インデックスを利用して、現在ピクチャより先に復元され、参照ピクチャバッファ３６に保存されたピクチャのうち、現在サンプルの動き補償のための参照ピクチャが決定される。動きベクトルを利用して、参照ピクチャのうち、現在ブロックの動き補償のための参照ブロックが決定される。復元部３４は、インターモード情報に基づいて、決定された参照ブロックと、逆変換部３３で復元されたレジデュ値とを利用して、現在サンプルを復元することができる。
復元部３４でサンプルが復元され、復元ピクセルが出力される。復元部３４は、最大符号化単位ごとに、ツリー構造の符号化単位を基に、復元ピクセルを生成することができる。
デブロッキング・フィルタリング部３８で、最大符号化単位またはツリー構造の符号化単位ごとに、符号化単位の境界領域に位置するピクセルに対して、ブロッキング現象を軽減させるためのフィルタリングが行われる。
また、一実施形態によるＳＡＯ部３９は、ＳＡＯ技法によって、最大符号化単位別に、復元ピクセルのオフセットを調整することができる。ＳＡＯ部３９は、エントロピー復号化部３１に抽出されたＳＡＯ情報から、現在最大符号化単位のための、ＳＡＯタイプ、ＳＡＯクラス、オフセット値を決定することができる。
エントロピー復号化部３１において、ＳＡＯ情報から抽出する動作は、ＳＡＯ復号化装置２０のＳＡＯパラメータ抽出部２２の動作に相応し、ＳＡＯ部３９の動作は、ＳＡＯ復号化装置２０のＳＡＯ決定部２４及びＳＡＯ調整部２６の動作に相応する。
ＳＡＯ部３９は、ＳＡＯオフセット値から、現在最大符号化単位の復元ピクセルごとに、オフセット値の符号及び差値を決定することができる。ＳＡＯ部３９は、復元ピクセルごとに、オフセット値から決定された差値ほど、ピクセル値を増加させたり、あるいは低減させることにより、復元ピクセルと原本ピクセルとの誤差を減らすことができる。
一実施形態によるＳＡＯ部３９によって、オフセットが調整された復元ピクセルを含むピクチャが、参照ピクチャバッファ３６に保存される。従って、一実施形態によるＳＡＯ技法によって、復元サンプルと原本ピクセルとの誤差が最小化された参照ピクチャを利用して、次のピクチャの動き補償が行われる。
一実施形態によるＳＡＯ技法によれば、復元ピクセルごとに、原本ピクセルとの差値を基に、復元ピクセルを含むピクセルグループのオフセットが決定される。まず、一実施形態によるＳＡＯ技法のために、復元ピクセルをピクセルグループに分類する実施形態について詳細に説明する。
一実施形態によるＳＡＯ技法によれば、（ｉ）復元ピクセルが構成するエッジタイプによって、ピクセルが分類されるか、あるいは（ｉｉ）復元ピクセルのバンドタイプによって、ピクセルが分類される。一実施形態による、ピクセルが、エッジタイプによって分類されるか、あるいはバンドタイプによって分類されるかということは、ＳＡＯタイプによって定義される。
まず、一実施形態によるＳＡＯ技法によって、エッジタイプによって、ピクセルを分類する実施形態について詳細に説明する。
現在最大符号化単位に対して、エッジタイプのオフセットを決定する場合、現在最大符号化単位に含まれた各復元ピクセルのエッジクラスが決定される。すなわち、現在復元ピクセルと隣接ピクセルとのピクセル値を比較し、現在復元ピクセルのエッジクラスが定義される。エッジクラスが決定される一例について、図４を参照して説明する。
図４は、一実施形態によるエッジタイプのエッジクラスを図示している。
エッジクラス４１，４２，４３，４４のインデックスが、順に０、１、２、３と割り当てられる。エッジタイプの発生頻度が高いほど、エッジタイプのインデックスは、小さく割り当てられる。
エッジクラスは、現在復元ピクセルＸ０と隣接する２個の隣接ピクセルが形成する一次元エッジの方向を示すことができる。インデックス０のエッジクラス４１は、現在復元ピクセルＸ０と水平方向に隣接する２個の隣接ピクセルＸ１，Ｘ２がエッジを形成する場合を示す。インデックス１のエッジクラス４２は、現在復元ピクセルＸ０と垂直方向に隣接する２個の隣接ピクセルＸ３，Ｘ４がエッジを形成する場合を示す。インデックス２のエッジクラス４３は、現在復元ピクセルＸ０に、１３５゜対角方向に隣接する２個の隣接ピクセルＸ５，Ｘ８がエッジを形成する場合を示す。インデックス３のエッジクラス４４は、現在復元ピクセルＸ０に、４５゜対角方向に隣接する２個の隣接ピクセルＸ６，Ｘ７がエッジを形成する場合を示す。
従って、現在最大符号化単位内に含まれた復元ピクセルのエッジ方向を分析し、現在最大符号化単位で、強いエッジの方向を決定することにより、現在最大符号化単位のエッジクラスが決定される。
各エッジクラスごとに、現在ピクセルのエッジ形態によって、カテゴリーが分類される。エッジ形態によるカテゴリーの一例について、図５Ａ及び図５Ｂを参照して説明する。
図５Ａ及び図５Ｂは、一実施形態によるエッジタイプのカテゴリーを図示している。
エッジカテゴリーは、現在ピクセルが凹状エッジの最低点であるか、凹状エッジの最低点周囲に位置する曲線コーナーのピクセルであるか、凸状エッジの最高点であるか、あるいは凸状エッジの最高点周囲に位置する曲線コーナーのピクセルであるかということを示す。
図５Ａは、エッジのカテゴリーを決定するための条件を例示する。図５Ｂは、復元ピクセルと隣接ピクセルとのエッジ形態、及びピクセル値ｃ，ａ，ｂのグラフを例示する。
ｃは、復元ピクセルのインデックス、ａ，ｂは、エッジ方向によって、現在復元ピクセルに両側に隣接する隣接ピクセルのインデックスを示す。Ｘａ，Ｘｂ，Ｘｃは、それぞれインデックスａ，ｂ，ｃである復元ピクセルのピクセル値を示す。図５Ｂのグラフのｘ軸は、復元ピクセルと、両側に接する隣接ピクセルとのインデックスを、ｙ軸は、各サンプルのピクセル値を示す。
カテゴリー１は、現在サンプルが、凹状エッジの最低点、すなわち、ローカルバレー（local valley）地点である場合を示す（Ｘｃ＜Ｘａ ＆＆ Ｘｃ＜Ｘｂ）。グラフ５１のように、隣接ピクセルａ，ｂ間で、現在復元ピクセルｃが凹状エッジの最低点である場合、現在復元ピクセルは、カテゴリー１に分類される。
カテゴリー２は、現在サンプルが凹状エッジの最低点周辺に位置する曲線コーナー（concave corners）に位置する場合を示す（Ｘｃ＜Ｘａ ＆＆ Ｘｃ＝＝Ｘｂ｜｜Ｘｃ＝＝Ｘａ ＆＆ Ｘｃ＜Ｘｂ）。グラフ５２のように、隣接ピクセルａ，ｂ間で、現在復元ピクセルｃが凹状エッジの下降カーブが終了する地点に位置するか（Ｘｃ＜Ｘａ ＆＆ Ｘｃ＝＝Ｘｂ）、あるいはグラフ５３のように、現在復元ピクセルｃが凹状エッジの上昇カーブが始まる地点に位置するか（Ｘｃ＝＝Ｘａ ＆＆ Ｘｃ＜Ｘｂ）というような場合、現在復元ピクセルは、カテゴリー２に分類される。
カテゴリー３は、現在サンプルが凸状エッジの最高点周辺に位置する曲線コーナー（convex corners）に位置する場合を示す（Ｘｃ＞Ｘａ ＆＆ Ｘｃ＝＝Ｘｂ｜｜Ｘｃ＝＝Ｘａ ＆＆ Ｘｃ＞Ｘｂ）。グラフ５４のように、隣接ピクセルａ，ｂ間で、現在復元ピクセルｃが凹状エッジの下降カーブが始まる地点に位置するか（Ｘｃ＝＝Ｘａ ＆＆
ｃ＞Ｘｂ）、あるいはグラフ５５のように、現在復元ピクセルｃが凹状エッジの上昇カーブが終了する地点に位置するか（Ｘｃ＞Ｘａ ＆＆ Ｘｃ＝＝Ｘｂ）というような場合、現在復元ピクセルは、カテゴリー３に分類される。
カテゴリー４は、現在サンプルが凸状エッジの最高点、すなわち、ローカルピーク（local peak）地点である場合を示す（Ｘｃ＞Ｘａ ＆＆ Ｘｃ＞Ｘｂ）。グラフ５６のように、隣接ピクセルａ，ｂ間で、現在復元ピクセルｃが凸状エッジの最高点である場合、現在復元ピクセルは、カテゴリー４に分類される。
現在復元ピクセルに対して、カテゴリー１，２，３，４の条件がいずれも充足されない場合には、エッジではないので、カテゴリー０に分類され、カテゴリー０に係わるオフセットは、別途に符号化される必要はない。
一実施形態によって、同一カテゴリーに該当する復元ピクセルに対して、復元ピクセルと原本ピクセルとの差値の平均値が、現在カテゴリーのオフセットとして決定される。また、各カテゴリーごとに、オフセットが決定される。
カテゴリー１，２の凹状エッジは、正数オフセット値によって、復元ピクセル値が調整されるならば、エッジが平坦になるスムージング（smoothing）効果が発生し、負数オフセット値によって、エッジの先鋭度（sharpeness）が高くなるシャープニング（sharpening）効果が生じる。カテゴリー３，４の凸状エッジは、負数オフセット値によって、エッジのスムージング効果が生じ、正数オフセット値によってエッジのシャープニング効果が生じる。
一実施形態によるＳＡＯ符号化装置１０は、エッジのシャープニング効果を許容しない。その場合、は、カテゴリー１，２の凹状エッジについては、正数オフセット値が必要であり、カテゴリー３，４の凸状エッジについては、負数オフセット値が必要である。その場合、エッジのカテゴリーを知っているならば、オフセット値の符号を決定することができる。従って、ＳＡＯ符号化装置１０と、ＳＡＯ復号化装置２０は、オフセット値の符号は除き、オフセット値の絶対値さえ送受信すればよい。
従って、ＳＡＯ符号化装置１０は、現在エッジクラスのカテゴリーごとに、対応するオフセット値を符号化して送信し、ＳＡＯ復号化装置２０は、受信されたカテゴリー別オフセット値を利用して、復元ピクセルごとに、当該カテゴリーのオフセット値ほど調整することができる。
例えば、エッジタイプのオフセット値が０と決定される場合、ＳＡＯ符号化装置１０は、エッジクラス情報だけ伝送することができる。
例えば、エッジタイプのオフセット絶対値が０ではない場合には、ＳＡＯ符号化装置１０は、オフセット絶対値及びエッジクラス情報を伝送することができる。エッジタイプである場合には、オフセット符号情報を伝送する必要がない。
ＳＡＯ復号化装置２０は、受信されたオフセット絶対値が０ではないならば、エッジタイプのオフセット絶対値情報を判読することができる。オフセット値の符号は、復元ピクセルと隣接ピクセルとのエッジ形態によるエッジカテゴリーによって予測される。
従って、一実施形態によるＳＡＯ符号化装置１０は、エッジ方向、エッジ形態によってピクセルを分類し、同一特性のピクセル間の平均誤差値をオフセット値として決定し、カテゴリー別に、オフセット値を決定することができる。ＳＡＯ符号化装置１０は、エッジタイプであるということを示すＳＡＯタイプ情報、エッジ方向を示すＳＡＯクラス情報、及びオフセット値を符号化して伝送することができる。
一実施形態によるＳＡＯ復号化装置２０は、ＳＡＯタイプ情報、ＳＡＯクラス情報及びオフセット値を受信し、ＳＡＯタイプ情報及びＳＡＯクラス情報によって、エッジ方向を決定することができる。ＳＡＯ復号化装置２０は、復元ピクセルごとに、エッジ方向によるエッジ形態に対応するカテゴリー別オフセット値を決定し、復元ピクセルのピクセル値を、オフセット値ほど調整することにより、原本映像と復元映像との誤差を最小化させることができる。
次に、一実施形態によるＳＡＯ技法によって、バンドタイプによって、ピクセルを分類する実施形態について詳細に説明する。
一実施形態によって、復元ピクセルのピクセル値は、それぞれバンドのうち一つに属する。例えば、ピクセル値の最小値Ｍｉｎ及び最大値Ｍａｘは、ｐビットサンプリングによって、全範囲が０、…、２＾（ｐ−１）でもある。ピクセル値全範囲（Ｍｉｎ，Ｍａｘ）は、Ｋ個のピクセル値区間に分割される場合、各ピクセル値区間をバンドと称する。Ｂｋが、ｋ番目バンドの最大値を示す場合、バンドは、［Ｂ０，Ｂ１−１］、［Ｂ１，Ｂ２−１］、［Ｂ２，Ｂ３−１］、…、［Ｂｋ−１，Ｂｋ］に分割される。現在復元ピクセルＲｅｃ（ｘ，ｙ）のピクセル値が、［Ｂｋ−１，Ｂｋ］に属する場合、現在バンドは、ｋと決定される。バンドは、均等なタイプに分割されるか、あるいは均等ではないタイプに分割されもする。
例えば、ピクセル値分類タイプが、８ビットピクセルの均等バンドである場合、ピクセル値は、３２個のバンドに分割される。具体的には、［０，７］、［８，１５］、…、［２４０，２４７］、［２４８，２５５］のバンドに分類される。
バンドタイプによって分類された多数のバンドのうち、復元ピクセルごとに、それぞれのピクセル値が属するバンドが決定される。また、それぞれのバンドごとに、原本ピクセルと復元ピクセルとの誤差の平均を示すオフセット値が決定される。
従って、ＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０は、現在バンドタイプによって分類されたバンドごとに、対応するオフセットを符号化して送受信し、復元ピクセルを、オフセットほど調整することができる。
従って、一実施形態によるＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０は、バンドタイプの場合、復元ピクセルを、それぞれのピクセル値が属するバンドによって分類し、同一バンドに属する復元ピクセル間の平均誤差値をオフセットとして決定し、復元ピクセルをオフセットほど調整することにより、原本映像と復元映像との誤差を最小化させることができる。
一実施形態によるＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０は、バンドタイプによるオフセットを決定するとき、復元ピクセルを、バンド位置によるカテゴリーに分類することができる。例えば、ピクセル値の全範囲が、Ｋ個のバンドに分類される場合、ｋ番目バンドを示すバンドインデックスｋによって，カテゴリーがインデキシングされる。バンド個数に相応してカテゴリーの個数が決定される。
ただし、データ節減のために、ＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０は、ＳＡＯ技法によってオフセットを決定するために利用されるカテゴリーの個数を制限することができる。例えば、所定開始位置のバンドから、バンドインデックスが増加する方向に連続する所定個数のバンドだけが、それぞれカテゴリーに割り当てられ、各カテゴリーに対してのみオフセットが決定される。
例えば、インデックス１２であるバンドが、開始バンドとして決定される場合、開始バンドから４個のバンド、すなわち、インデックス１２，１３，１４，１５のバンドが、それぞれカテゴリー１，２，３，４に割り当てられる。従って、インデックス１２のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差が、カテゴリー１のオフセットとして決定される。それと類似して、インデックス１３のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差が、カテゴリー２のオフセットとして決定され、インデックス１４のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差が、カテゴリー３のオフセットとして決定され、インデックス１５のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差が、カテゴリー４のオフセットとして決定される。
そのような場合、カテゴリーに割り当てられるバンドの位置を決定するために、バンド範囲が始まる位置、すなわち、左側バンドの位置に係わる情報が必要である。従って、一実施形態によるＳＡＯ符号化装置１０は、ＳＡＯクラスとして、左側バンドの位置を示す左側開始地点情報を符号化して送信することができる。ＳＡＯ符号化装置１０は、バンドタイプであるということを示すＳＡＯタイプ、ＳＡＯクラス及びカテゴリー別オフセット値を符号化して伝送することができる。
一実施形態によるＳＡＯ復号化装置２０は、ＳＡＯタイプ、ＳＡＯクラス及びカテゴリー別オフセット値を受信することができる。ＳＡＯ復号化装置２０は、受信されたＳＡＯタイプがバンドタイプである場合、ＳＡＯクラスから、開始バンドの位置を判読することができる。ＳＡＯ復号化装置２０は、復元ピクセルが、開始バンドから、４個のバンドのうちいずれのバンドに属するかということを決定し、カテゴリー別オフセット値のうち現在バンドに割り当てられたオフセット値を決定し、復元ピクセル値をオフセット値ほど調整することができる。
以上、ＳＡＯタイプとして、エッジタイプ及びバンドタイプを紹介し、ＳＡＯタイプによるＳＡＯクラス及びカテゴリーについて詳細に説明した。以下、ＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０が符号化して送受信するＳＡＯパラメータについて詳細に説明する。
一実施形態によるＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０は、最大符号化単位ごとに、復元ピクセルのピクセル分類方式によって、ＳＡＯタイプを決定することができる。
各ブロックの映像特性によって、ＳＡＯタイプが決定される。例えば、垂直エッジ、水平エッジ、対角エッジなどを含む最大符号化単位は、エッジ値修正のために、エッジタイプによって、ピクセル値を分類し、オフセット値を決定する方が有利である。エッジ領域ではない場合には、バンド分類によって、オフセット値を決定する方が有利でもある。従って、ＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０は、最大符号化単位ごとに、ＳＡＯタイプをシグナリングすることができる。
一実施形態によるＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０は、最大符号化単位ごとに、ＳＡＯパラメータを決定することができる。すなわち、最大符号化単位の復元ピクセルのＳＡＯタイプを決定し、最大符号化単位の復元ピクセルを、カテゴリー別に分類し、カテゴリー別にオフセット値が決定される。
ＳＡＯ符号化装置１０は、最大符号化単位に含まれた復元ピクセルのうち、同一カテゴリーに分類された復元ピクセルの平均誤差をオフセット値として決定することができる。各カテゴリーごとに、オフセット値が決定される。
一実施形態によるＳＡＯパラメータは、ＳＡＯタイプ、オフセット値、ＳＡＯクラスを含んでもよい。ＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０は、最大符号化単位ごとに、決定されたＳＡＯパラメータを送受信することができる。
一実施形態によるＳＡＯ符号化装置１０は、最大符号化単位のＳＡＯパラメータのうち、ＳＡＯタイプ及びオフセット値を符号化して伝送することができる。ＳＡＯタイプがエッジタイプである場合、一実施形態によるＳＡＯ符号化装置１０は、ＳＡＯタイプ、カテゴリー別オフセット値に続いて、エッジ方向を示すＳＡＯクラスをさらに伝送することができる。ＳＡＯタイプがバンドタイプである場合、一実施形態によるＳＡＯ符号化装置１０は、ＳＡＯタイプ、カテゴリー別オフセット値に続いて、開始バンドの位置を示すＳＡＯクラスをさらに伝送することができる。ＳＡＯクラスは、エッジタイプである場合には、エッジクラス情報に分類され、バンドタイプである場合には、バンド位置情報に分類される。
一実施形態によるＳＡＯ復号化装置２０は、最大符号化単位ごとに、ＳＡＯタイプ、オフセット値及びをＳＡＯクラスを含むＳＡＯパラメータを受信することができる。また一実施形態によるＳＡＯ復号化装置２０は、カテゴリー別オフセット値のうち、それぞれの復元ピクセルが属するカテゴリーのオフセット値を選択し、復元ピクセルごとに選択されたオフセット値ほど調整することができる。
一実施形態によるＳＡＯパラメータのうち、オフセット値を送受信する実施形態については後述する。
一実施形態によるＳＡＯ符号化装置１０は、オフセット値を伝送するために、符号情報、残りのオフセット絶対値をさらに伝送することもできる。
オフセット絶対値が０である場合には、符号情報や残りのオフセット値が、それ以上符号化される必要がない。ただし、オフセット絶対値が０ではない場合には、符号情報及び残りのオフセット絶対値がさらに伝送される。
ただし、前述のように、エッジタイプの場合、カテゴリーによって、オフセット値が正数であるか、あるいは負数であるかということが予測可能であるので、符号情報が伝送される必要ない。
一実施形態によるオフセット値（Off−set）は、オフセット値を決定する以前に、あらかじめ最小値（MinOffSet）及び最大値（MaxOffSet）の範囲に制限される。（MinOffSet≦Off−set≦MaxOffSet）
例えば、エッジタイプの場合、カテゴリー１，２の復元ピクセルに係わるオフセット値は、最小値０及び最大値７の範囲内で決定される。エッジタイプの場合、カテゴリー３，４の復元ピクセルに係わるオフセット値は、最小値−７及び最大値０の範囲内で決定される。
例えば、バンドタイプの場合、全てのカテゴリーの復元ピクセルに係わるオフセット値は、最小値−７ないし最大値７の範囲内で決定される。
一実施形態によるオフセット値に係わる伝送ビットを節減するために、残りのオフセット値（remainder）を、負数ではないｐビット値に制限することができる。その場合、残りのオフセット値は、０より大きいか、あるいはそれと同じであるが、最大値と最小値との差値よりは小さいか、あるいはそれと同じである（０≦Remainder≦MaxOffSet−MinOffSet＋１≦２＾ｐ）。ＳＡＯ符号化装置１０が、残りのオフセット値を伝送し、ＳＡＯ復号化装置２０が、オフセット値の最大値及び最小値のうち少なくとも一つを知ることができるならば、受信された残りのオフセット値だけで、原本オフセット値を復元することができる。
以下、一実施形態によるＳＡＯパラメータのうち、ＳＡＯ併合情報について詳細に説明する。
各ブロックのＳＡＯタイプ及び／またはオフセット値は、隣接したブロック間で同一であるという可能性が高い。一実施形態によるＳＡＯ符号化装置１０は、現在ブロックのＳＡＯパラメータ、を隣接ブロックのＳＡＯパラメータと比較し、ＳＡＯパラメータが同一である場合、現在ブロックと隣接ブロックとのＳＡＯパラメータを一つに併合して符号化することができる。隣接ブロックのＳＡＯパラメータが先に符号化されるならば、現在ブロックのＳＡＯパラメータとして、隣接ブロックのＳＡＯパラメータを採択することができる。従って、ＳＡＯ符号化装置１０は、現在ブロックのＳＡＯパラメータを符号化せず、現在ブロックに対して、ＳＡＯ併合情報だけ符号化することができる。
一実施形態によるＳＡＯ復号化装置２０は、受信したビットストリームから、ＳＡＯパラメータをパージングする前に、ＳＡＯ併合情報を先にパージングし、ＳＡＯパラメータのパージングいかんを決定することができる。ＳＡＯ復号化装置２０は、現在ブロックのＳＡＯ併合情報に基づいて、隣接ブロックのうち、現在ブロックと、ＳＡＯパラメータが同一であるブロックがあるか否かということを決定することができる。
例えば、ＳＡＯ併合情報に基づいて、隣接ブロックのＳＡＯパラメータのうち、現在ブロックとＳＡＯパラメータが同一であるブロックがある場合、ＳＡＯ復号化装置２０は、現在ブロックのＳＡＯパラメータをパージングせず、現在ブロックのＳＡＯパラメータとして、隣接ブロックの復元されたＳＡＯパラメータを採択することができる。従って、ＳＡＯ復号化装置２０は、隣接ブロックのＳＡＯパラメータと同一に、現在ブロックのＳＡＯパラメータを復元することができる。またＳ、ＡＯ併合情報に基づいて、隣接ブロックのうち、いずれか隣接ブロックのＳＡＯパラメータを参照するか否かということも決定される。
例えば、ＳＡＯ併合情報に基づいて、隣接ブロックのＳＡＯパラメータが、現在ブロックのＳＡＯパラメータと異なっている場合、ＳＡＯ復号化装置２０は、ビットストリームから、現在ブロックのＳＡＯパラメータをパージングして復元することができる。
図６Ａは、一実施形態による、ＳＡＯパラメータを併合するために参照される隣接最大符号化単位６５２，６５３を図示している。
一実施形態によるＳＡＯ符号化装置１０は、現在最大符号化単位６５１より先行して復元された隣接最大符号化単位のうち、現在最大符号化単位のＳＡＯパラメータの参照対象になる隣接最大符号化単位の候補リストを決定することができる。ＳＡＯ符号化装置１０は、候補リストの隣接最大符号化単位と、現在最大符号化単位とのＳＡＯパラメータを比較することができる。
単純な例として、現在ブロック６５１と同一である、現在ピクチャ６５に位置する左側最大符号化単位６５３、上端最大符号化単位６５２が候補リストに属することができる。
従って、一実施形態によるＳＡＯ符号化装置１０は、候補リストに含まれた隣接最大符号化単位を参照順序によって、現在最大符号化単位と、それぞれのＳＡＯパラメータが同一である否かということを比較することができる。例えば、左側最大符号化単位６５３、上端最大符号化単位６５２の順序によって、現在最大符号化単位と、ＳＡＯパラメータが比較される。比較された最大符号化単位６５３，６５２のうち、ＳＡＯパラメータが同一である最大符号化単位が参照最大符号化単位として決定される。
ＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０は、現在最大符号化単位のＳＡＯパラメータを予測するために、同一の隣接最大符号化単位を参照することができる。また、いずれの最大符号化単位のＳＡＯパラメータを参照するかということを示すＳＡＯ併合情報を送受信することができる。一実施形態によるビデオ復号化装置１０は、ＳＡＯ併合情報に基づいて、隣接する最大符号化単位のうち一つを選択し、選択された隣接最大符号化単位のＳＡＯパラメータと同一に、現在最大符号化単位のＳＡＯパラメータを復元することができる。
例えば、左側最大符号化単位６５３及び上端最大符号化単位６５２を参照する場合を想定する。一実施形態によるＳＡＯパラメータ符号化部１６は、ＳＡＯ併合情報として、現在最大符号化単位６５１の左側最大符号化単位６５３のＳＡＯパラメータが、現在最大符号化単位６５１のＳＡＯパラメータと同一であるか否かということを示す左向きＳＡＯ併合情報と、上端最大符号化単位６５２のＳＡＯパラメータが、現在最大符号化単位６５１のＳＡＯパラメータと同一であるか否かということを示す上向きＳＡＯ併合情報と、を符号化することができる。その場合、まず、現在最大符号化単位６５１と、左側最大符号化単位６５３とのＳＡＯパラメータが同一であるか否か比較し、その次に、現在最大符号化単位６５１と、上端最大符号化単位６５２とのＳＡＯパラメータが同一であるか否か比較することができる。比較結果によって、ＳＡＯ併合情報が決定される。
最大符号化単位ブロック６５３及び最大符号化単位ブロック６５２のうち少なくとも１つのＳＡＯパラメータが、現在最大符号化単位６５１のＳＡＯパラメータと同一であるならば、ＳＡＯパラメータ符号化部１６は、当該左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報だけ符号化し、現在最大符号化単位６５１のＳＡＯパラメータは、符号化しない。
左側最大符号化単位６５３及び上端最大符号化単位６５２のＳＡＯパラメータが、いずれも現在最大符号化単位６５１のＳＡＯパラメータと異なっていれば、ＳＡＯパラメータ符号化部１６は、当該左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報と、現在最大符号化単位６５１のＳＡＯパラメータと、を符号化することができる。
以下、カラー成分別ＳＡＯパラメータについて詳細に説明する。
一実施形態によるＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０は、カラー成分の間に、ＳＡＯパラメータを相互予測することができる。
一実施形態によるＳＡＯ符号化装置１０及びＳＡＯ復号化装置２０は、ＹＣｒＣｂカラーフォーマットのルマブロック及びクロマブロックに対して、いずれもＳＡＯ調整を行うことができる。現在最大符号化単位のルマ（Ｙ）成分、並びに第１クロマ（Ｃｒ）成分及び第２クロマ（Ｃｂ）成分ごとに、オフセット値が決定される。
例えば、現在最大符号化単位のＹ成分、Ｃｒ成分及びＣｂ成分について共通するＳＡＯ併合情報が適用される。すなわち、１つのＳＡＯ併合情報に基づいて、Ｙ成分のＳＡＯパラメータが、隣接最大符号化単位のＹ成分のＳＡＯパラメータと同一であるか否かということが決定され、Ｃｒ成分のＳＡＯパラメータが、隣接最大符号化単位のＣｒ成分のＳＡＯパラメータと同一であるか否かということが決定され、Ｃｂ成分のＳＡＯパラメータが、隣接最大符号化単位のＣｂ成分のＳＡＯパラメータと同一であるか否かということが決定される。
例えば、現在最大符号化単位のＣｒ成分及びＣｂ成分について共通するＳＡＯタイプ情報が適用される。すなわち、１つのＳＡＯタイプ情報に基づいて、Ｃｒ成分及びＣｂ成分に対して、同時にＳＡＯ調整が行われるか、あるいは同時に行われないかということが決定される。また、１つのＳＡＯタイプ情報に基づいて、Ｃｒ成分及びＣｂ成分が、エッジタイプまたはバンドタイプによって、オフセット値が決定されるか否かということが分かる。１つのＳＡＯタイプ情報に基づいて、ＳＡＯタイプがエッジタイプであるならば、Ｃｒ成分及びＣｂ成分が同一であるエッジ方向を共有することができる。
すなわち、１つのＳＡＯタイプ情報に基づいて、Ｃｒ成分及びＣｂ成分がエッジタイプまたはバンドタイプによって、オフセット値が決定されるか否かということが分かる。
また、１つのＳＡＯタイプ情報に基づいて、Ｃｒ成分及びＣｂ成分が同一であるＳＡＯクラスを共有することができる。１つのＳＡＯタイプ情報に基づいて、ＳＡＯタイプがエッジタイプであるならば、Ｃｒ成分及びＣｂ成分が同一であるエッジ方向を共有することができる。１つのＳＡＯタイプ情報に基づいて、ＳＡＯタイプがバンドタイプであるならば、Ｃｒ成分及びＣｂ成分が同一である左側バンド開始位置を共有することができる。
以下、図６Ｂ、図７Ａないし図７Ｃを参照し、現在最大符号化単位のＳＡＯパラメータが定義されたシンタックス構造について詳細に説明する。
図６Ｂは、他の実施形態によるＳＡＯパラメータ６０のエントロピー符号化方式を図示している。
ＳＡＯ動作が最大符号化単位の各カラー成分別に行われるので、図６ＡのＳＡＯパラメータ６０は、カラー成分別に個別的に獲得される。ルマ成分、並びに第１クロマ成分及び第２クロマ成分を示すカラーインデックス「ｃＩｄｘ」が変更されることにより、別途のＳＡＯパラメータ６０が獲得される。
ＳＡＯパラメータ６０は、左向きＳＡＯ併合情報を示すパラメータ「sao＿merge＿left＿flag」、上向きＳＡＯ併合情報を示すパラメータ「sao＿merge＿up＿flag」、ＳＡＯタイプ情報を示すパラメータ「sao＿type＿idx」、バンドタイプのバンド位置情報を示すパラメータ「sao＿band＿position」、オフセット絶対値情報を示すパラメータ「sao＿offset＿abs」、オフセット符号情報を示すパラメータ「sao＿offset＿sign」を含んでもよい。従って、カラーインデックス「cIdx」が０、１、２に設定されるたびに、「sao＿merge＿left＿flag」、「sao＿merge＿up＿flag」、「sao＿type＿idx」、「sao＿band＿position」、「sao＿offset＿abs」、「sao＿offset＿sign」がさらに獲得される。
特に、オフセット絶対値情報を示すパラメータ「sao＿offset＿abs」、オフセット符号情報を示すパラメータ「sao＿offset＿sign」は、４種のＳＡＯカテゴリーごとに、別途に獲得される。従って、各カラー成分ごとに、４種のＳＡＯカテゴリーごとに、「sao＿offset＿abs」及び「sao＿offset＿sign」が獲得される。
また、ＳＡＯパラメータ６０のパラメータごとに、エントロピー符号化方式が異なる。獲得されたパラメータが、エントロピー符号化された方式によっ、てコンテクスト復号化またはバイパス復号化が行われる。
例えば、パラメータ「sao＿merge＿left＿flag」を示す１個のビンがコンテクスト復号化され、パラメータ「sao＿merge＿up＿flag」を示す１個のビンがコンテクスト復号化される。パラメータ「sao＿type＿idx」を示す６個のビンがコンテクスト復号化される。
また、パラメータ「sao＿band＿position」を示す５個のビンがバイパス復号化される。パラメータ「sao＿offset＿abs」を示す３１個のビンがコンテクスト復号化され、パラメータ「sao＿offset＿sign」を示す１個のビンがバイパス復号化される。
各パラメータがカラー成分別に、３回ずつ獲得され、また一の部パラメータは、ＳＡＯカテゴリー別に、４回ずつ獲得されるという点を考慮すれば、下記数式（ａ）によって、最大４２３個のビンが獲得される。
３×（１＋１＋６＋５＋４×３１＋４×１）＝３９６＋２７＝４２３ （ａ）
特に、４２３個のビンのうち３９６個のビンは、コンテクスト復号化され、２７個のビンは、バイパス復号化される。コンテクスト復号化のためには、各ビンごとに、コンテクストに基づいた確率モデリングが必要であるので、演算量が多く必要である。従って、ＳＡＯパラメータ６０の全体ビット列のうち、バイパス復号化されるビンに比べ、コンテクスト復号化されるビンが相対的に多ければ、全体ＳＡＯパラメータ６０を復号化するのに、演算量及び演算時間が相対的に増大する。
また、バンド位置情報を示すパラメータ「sao＿band＿position」は、バイパス復号化され、ＳＡＯオフセット絶対値情報を示すパラメータ「sao＿offset＿abs」は、コンテクスト復号化され、ＳＡＯオフセット符号情報を示すパラメータ「sao＿offset＿sign」は、さらにバイパス復号化されなければならない。特に、ＳＡＯカテゴリーが、０、１、２、３と増大することにより、パラメータ「sao＿offset＿abs」に対するコンテクスト復号化動作と、パラメータ「sao＿offset＿sign」に対するバイパス復号化動作がかわるがわる遂行されなければならない。
互いに異なる方式のエントロピー復号化動作がかわるがわる遂行されるということは、同一方式のエントロピー復号化動作が連続的に遂行されることに比べ、非効率的である。従って、ＳＡＯパラメータ６０から、パラメータ「sao＿band＿position」，「sao＿offset＿abs」，「sao＿offset＿sign」に対するコンテクスト復号化動作とバイパス復号化動作とが何回がかわるがわる遂行されることにより、全体的に、エントロピー復号化動作の効率が低下する。
図７Ａは、一実施形態による符号化単位のＳＡＯシンタックス７０を図示している。図７Ａで図示されたＳＡＯシンタックス７０は、最大符号化単位のシンタックスのうち、ＳＡＯパラメータと係わるシンタックスである。一実施形態によるＳＡＯ符号化装置１０は、最大符号化単位のサンプルに対してＳＡＯ動作を遂行し、ＳＡＯパラメータを決定し、ＳＡＯパラメータに対してエントロピー符号化を行うことができる。また、ＳＡＯ符号化装置１０は、ＳＡＯシンタックス７０の順序によって、ＳＡＯパラメータのビット列を収録したビットストリームを出力することができる。
一実施形態によるＳＡＯ復号化装置２０は、図７Ａで図示されたＳＡＯシンタックス７０をパージングし、ＳＡＯパラメータのビット列を獲得し、ＳＡＯパラメータに対してエントロピー復号化を行い、ＳＡＯパラメータを復元することができる。ＳＡＯ復号化装置２０は、復元されたＳＡＯパラメータを利用して、最大符号化単位の復元サンプルに対して、ＳＡＯ調整を行うことができる。
現在スライス内で、現在最大符号化単位に隣接する左側最大符号化単位が存在するならば、左向きＳＡＯ併合情報「sao＿merge＿left＿flag」７１が獲得される。また、現在スライス内で、現在最大符号化に隣接する上端最大符号化単位が存在し、左側最大符号化単位のＳＡＯパラメータと併合しないのであるならば、上向きＳＡＯ併合情報「sao＿merge＿up＿flag」７２が獲得される。
一実施形態によるパラメータ「sao＿merge＿left＿flag」７１と、パラメータ「sao＿merge＿up＿flag」７２は、カラー成分の区別なしに獲得されるので、ルマ成分、並びに第１クロマ成分及び第２クロマ成分について共通的に適用される。３種カラー成分に係わる動き補償のための同一動きベクトルが利用される。従って、カラー成分の区別なしに、ＳＡＯ併合情報が獲得されることにより、動き補償を行うコーデックに、左向きＳＡＯ併合情報７１及び上向きＳＡＯ併合情報７２を利用するＳＡＯ動作が効率的に統合（unification）される。
「sao＿merge＿left＿flag」７１及び「sao＿merge＿up＿flag」７２を除いた残りのＳＡＯパラメータ７４１，７４３，７５１，７５３，７７，７８１，７８２，７９１，７９３は、カラー成分によって区別されるので、カラーインデックス「cIdx」を０、１、２に増加する（７３）ことによって獲得される。
現在カラーインデックスがルマ成分であるならば（７４）、ルマＳＡＯオンオフ情報「sao＿on＿off＿flag＿luma」７４１が獲得される。ルマ成分に対して、ＳＡＯ動作が遂行されるであるならば、ルマエッジバンド区別情報「sao＿eo＿bo＿flag＿luma」７４３がさらに獲得される。
一方、現在カラーインデックスが、第１クロマ成分であるならば（７５）、第１クロマ成分及び第２クロマ成分のためのクロマＳＡＯオンオフ情報「sao＿on＿off＿flag＿chroma」７５１が獲得される。クロマ成分に対して、ＳＡＯ動作が遂行されるであるならば、第１クロマ成分及び第２クロマ成分のためのクロマエッジバンド区別情報「sao＿eo＿bo＿flag＿chroma」７５３がさらに獲得される。カラーインデックスが、第１クロマ成分であるときだけ、「sao＿on＿off＿flag＿chroma」７５１及び「sao＿eo＿bo＿flag＿chroma」７５３が獲得され、第２クロマ成分であるときは獲得されない。
ＳＡＯタイプ情報のうちＳＡＯオンオフ情報が「off」を示さないのであるならば（７６）、ＳＡＯカテゴリー別に、ＳＡＯクラスに係わる情報と、オフセット値に係わる情報とが獲得される。「ｉ」の増加によるforループ構文によって、ＳＡＯカテゴリー別に、ＳＡＯオフセット絶対値情報「sao＿offset＿abs」７７、オフセット符号情報「sao＿offset＿sign」７８１、バンド位置情報「sao＿band＿position」７８３が個別的に獲得される。
まず、オフセット絶対値情報「sao＿offset＿abs」７７が獲得され、ＳＡＯタイプ情報がバンドタイプであるならば（７８）、バンド位置情報「sao＿band＿position」７８３が獲得される。特に、「sao＿offset＿abs」７７が０ではないのであるならば、すなわち、オフセット絶対値が０ではないのであるならば、オフセット符号情報「sao＿offset＿sign」７８１が先に獲得された後、「sao＿band＿position」７８３が獲得される。
ＳＡＯタイプ情報がエッジタイプを示しているならば（７９）、カラーインデックスがルマ成分である場合、ルマエッジクラス情報「sao＿ｅｏ＿class＿luma」７９１が獲得され、第１クロマ成分である場合、第１クロマ成分及び第２クロマ成分のためのクロマエッジクラス情報「sao＿eo＿class＿chroma」７９３が獲得される。カラーインデックスが第２クロマ成分であるときは、「sao＿eo＿class＿chroma」７９３が獲得されない。
一実施形態によるＳＡＯタイプ情報がエッジタイプである場合には、ルマエッジクラス情報７９１またはクロマエッジクラス情報７９３だけ獲得され、オフセット符号情報が獲得されない。それは、エッジクラスによって、エッジオフセット値の符号が決定されるからである。
前述のように、クロマＳＡＯオンオフ情報「sao＿on＿off＿flag＿chroma」７５１、クロマエッジバンド区別情報「sao＿eo＿bo＿flag＿chroma」７５３及びクロマエッジクラス情報「sao＿eo＿class＿chroma」７９３は、それぞれ、第１クロマ成分及び第２クロマ成分に対して、同一に適用されるパラメータである。
従って、第１クロマ成分及び第２クロマ成分について共通するクロマＳＡＯオンオフ情報７５１、クロマエッジバンド区別情報７５３及びクロマエッジクラス情報７９３が獲得されることにより、クロマ成分のＳＡＯ動作のための単純化されたメモリアクセスが可能である。また、第１クロマ成分及び第２クロマ成分に係わる、イントラ予測、動き補償及び適応的ループフィルタリング（ＡＬＦ：adaptive loop filtering）の各動作でも、第１クロマ成分及び第２クロマ成分を区別せずに、同一のパラメータが適用されるので、同一メモリに対するアクセスによって、各動作のためのパラメータやサンプルが獲得される。従って、イントラ予測、動き補償及び適応的ループフィルタリング動作を遂行するコーデックに、ＳＡＯ動作が効率的に統合される。
以上、一実施形態によるＳＡＯ復号化装置２０が、ＳＡＯシンタックス７０をパージングし、ＳＡＯパラメータを獲得する動作について、順に詳細に説明した。以下、獲得されたＳＡＯパラメータに対して、エントロピー復号化が行われる過程について詳細に説明する。
一実施形態によるＳＡＯ復号化装置２０は、左向きＳＡＯ併合情報「sao＿merge＿left＿flag」７１及び上向きＳＡＯ併合情報「sao＿merge＿up＿flag」７２に対して、コンテクスト復号化を行うことができる。従って、左向きＳＡＯ併合情報７１のビンのコンテクストに基づいた確率モデルを決定し、確率的に、１ビットの左向きＳＡＯ併合情報７１を生成した１個のビン値を復元することができる。上向きＳＡＯ併合情報７２に対しても、類似したコンテクスト復号化が行われる。
図６ＢのＳＡＯパラメータ６０とは異なり、一実施形態によるＳＡＯ復号化装置２０は、ＳＡＯタイプ情報を、ＳＡＯオンオフ情報７４１，７４３、エッジバンド区別情報７５１，７５３、オフセット符号情報７８１、バンド位置情報７８３及びエッジクラス情報７９１，７９３に分離して復号化することができる。エッジタイプであるならば、エッジクラス情報７９１，７９３が獲得され、バンドタイプであるならば、オフセット符号情報７８１及びバンド位置情報７８３が獲得される。
図６ＢのＳＡＯパラメータ６０のＳＡＯタイプ情報「sao＿type＿idx」の６個のビンのために、コンテクスト復号化が行われる。一方、一実施形態によるＳＡＯ復号化装置２０は、ＳＡＯオンオフ情報７４１，７４３の１個のビンのために、コンテクスト復号化を行い、残りのパラメータについては、バイパス復号化を行うことができる。
例えば、エッジタイプである場合には、一実施形態によるＳＡＯ復号化装置２０は、ＳＡＯオンオフ情報７４１，７４３の１個のビンのために、コンテクスト復号化を行い、エッジバンド区別情報７５１または７５３の１個のビン、及びエッジクラス情報７９１または７９３の２個のビンに対して、それぞれバイパス復号化を行うことができる。
従って、一実施形態によるＳＡＯ復号化装置２０は、一部パラメータだけカラー成分別に、３回ずつ獲得され、ＳＡＯカテゴリー別に、４回ずつ獲得される点を考慮すれば、バンドタイプであるとき、数式（ｂ）によって、最大４０５個のビンが獲得される。
１＋１＋２×（１＋１）＋３×（４×３１＋４×１＋５）＝４＋４０１＝４０５ （b）
特に、４０５個のビンのうち４個のビンは、コンテクスト復号化され、４０１個のビンは、バイパス復号化される。すなわち、相対的に多くの演算量が必要なコンテクスト復号化の動作回数が、バイパス復号化の動作回数に比べ、顕著に少ない。また、一部ＳＡＯパラメータは、カラー成分別に、同一パラメータが獲得されるので、ＳＡＯパラメータの全体ビット列の長さも短くなる。
従って、一実施形態によるＳＡＯ復号化装置２０は、エッジバンド区別情報７５１または７５３、オフセット絶対値情報７７、及びバンド位置情報７８３（または、エッジクラス情報７９１または７９３）をバイパス復号化し、カラー成分について共通するＳＡＯ併合情報７１，７２が獲得され、クロマ成分について共通するＳＡＯオンオフ情報７４１または７４３、エッジバンド区別情報７５１または７５３、及びエッジクラス情報７９１または７９３が獲得されることにより、ＳＡＯパラメータ全体に対するエントロピー復号化動作の効率が向上する。
また、図６ＢのＳＡＯパラメータ６０とは異なり、一実施形態によるＳＡＯ復号化装置２０は、バンド位置情報７８３を、オフセット絶対値情報７７より遅く獲得することができる。それを介して、一実施形態によるＳＡＯ復号化装置２０は、ＳＡＯ併合情報７１，７２、ＳＡＯオンオフ情報７４１または７４３までコンテクスト復号化を行っていて、エッジバンド区別情報７５１または７５３から、オフセット絶対値情報７７及びバンド位置情報７８３（または、エッジクラス情報７９１または７９３）までバイパス復号化を行うことができる。
従って、図６ＢのＳＡＯパラメータ６０に比べ、一実施形態によるＳＡＯ復号化装置２０が、ＳＡＯシンタックス７０を利用して、コンテクスト復号化とバイパス復号化とを交互に行う回数が減るので、ＳＡＯパラメータに対するエントロピー復号化動作の効率性が向上する。
図７Ｂ及び図７Ｃは、それぞれ異なる実施形態による符号化単位のＳＡＯシンタックスを図示している。
図７ＢのＳＡＯシンタックスは、図７ＡのＳＡＯシンタックス７０において、カラーインデックスをチェックする条件文（if構文）の個数を減らすために設計された形態のシンタックスである。条件文を利用した条件チェック回数が増加するほど、演算量が増加するからである。
図７ＢのＳＡＯシンタックスでは、ＳＡＯオンオフ情報８３，８４を獲得するために、現在カラーインデックスが、ルマ成分であるか、あるいは第１クロマ成分であるかということをチェックするif構文が必要ない。図７Ｂのシンタックスによれば、ルマ成分のためのルマＳＡＯオンオフ情報８３、ルマエッジバンド区別情報８３１、ルマエッジクラス情報８３２が順に獲得され、次に、第１クロマ成分及び第２クロマ成分のためのクロマＳＡＯオンオフ情報８４、クロマエッジバンド区別情報８４１、クロマエッジクラス情報８４２が順に獲得される。
従って、図７ＢのＳＡＯシンタックスによれば、図７ＡのＳＡＯシンタックス７０に比べ、カラーインデックスが、現在カラーインデックスがルマ成分であるか、あるいは第１クロマ成分であるかということをチェックする４個の条件文が除去されるので、条件チェック回数が４回減る。
図７ＢのＳＡＯシンタックスでは、ルマＳＡＯオンオフ情報８３、ルマエッジバンド区別情報８３１、ルマエッジクラス情報８３２、クロマＳＡＯオンオフ情報８４、クロマエッジバンド区別情報８４１、クロマエッジクラス情報８４２が獲得された後、カラー成分及びカテゴリー別に、オフセット絶対値情報８７及びオフセット符号情報８８１が獲得され、カラー成分別に、バンド位置情報８８３が獲得される。
このとき、ルマＳＡＯオンオフ情報８３については、コンテクスト復号化動作が遂行され、ルマエッジバンド区別情報８３１及びルマエッジクラス情報８３２に対するバイパス復号化動作が遂行され、またクロマＳＡＯオンオフ情報８４については、コンテクスト復号化動作が遂行され、クロマエッジバンド区別情報８４１及びクロマエッジクラス情報８４２については、バイパス復号化動作が遂行される。オフセット絶対値情報８７、オフセット符号情報８８１及びバンド位置情報８８３については、バイパス復号化動作が遂行される。
従って、図７ＢのＳＡＯシンタックスでは、コンテクスト復号化動作とバイパス復号化動作との転換回数が３回発生する。
図７ＣのＳＡＯシンタックスは、図７ＡのＳＡＯシンタックス７０において、カラーインデックスをチェックする条件問い合わせ個数を減らした図７ＢのＳＡＯシンタックスにおいて、さらに進んで、コンテクスト復号化とバイパス復号化との転換回数を減らすために設計された形態のシンタックスである。
図７ＣのＳＡＯシンタックスでは、ルマＳＡＯオンオフ情報８３に続いて、クロマＳＡＯオンオフ情報８４が獲得される。その後、ルマＳＡＯオンオフ情報８３に基づいて、ルマエッジバンド区別情報８３１、ルマエッジクラス情報８３２が獲得され、クロマＳＡＯオンオフ情報８４に基づいて、クロマエッジバンド区別情報８４１、クロマエッジクラス情報８４２が獲得される。
従って、ルマＳＡＯオンオフ情報８３及びクロマＳＡＯオンオフ情報８４については、コンテクスト復号化動作が遂行され、ルマエッジバンド区別情報８３１、ルマエッジクラス情報８３２、クロマエッジバンド区別情報８４１及びクロマエッジクラス情報８４２については、バイパス復号化動作が遂行される。次に、オフセット絶対値情報８７、オフセット符号情報８８１及びバンド位置情報８８３に対しても、バイパス復号化動作が遂行される。従って、図７ＣのＳＡＯシンタックスでは、コンテクスト復号化動作からバイパス復号化動作に、エントロピー復号化方式が１回だけ転換され、交互に行われないので、エントロピー復号化動作の全体的な効率が向上する。
前述の実施形態によって、一実施形態によるＳＡＯ符号化装置１０は、ＳＡＯ動作のためのオフセット絶対値情報をバイパス符号化することができる。また、ＳＡＯタイプ情報を、ＳＡＯオンオフ情報、エッジバンド区別情報、バンド位置情報（または、エッジクラス情報）に分離し、ＳＡＯオンオフ情報だけコンテクスト符号化することができる。従って、ＳＡＯパラメータのうちコンテクスト復号化されるパラメータの数を減らし、バイパス復号化されるパラメータの数を増やすことにより、全体ＳＡＯパラメータに対するエントロピー符号化の効率が向上する。
また、ＳＡＯパラメータのうち、ＳＡＯオンオフ情報、エッジバンド区別情報及びエッジクラス情報は、第１クロマ成分及び第２クロマ成分のために、同一パラメータを利用することにより、ＳＡＯ併合情報は、ルマ成分、並びに第１クロマ成分及び第２クロマ成分のために、同一パラメータを利用することにより、ＳＡＯパラメータの全体伝送量を減らすことができる。
また、コンテクスト符号化とバイパス符号化との転換回数を減らすことにより、エントロピー符号化動作の効率も向上させることができる。
また、一実施形態によるＳＡＯ復号化装置２０は、ＳＡＯパラメータのうち、ＳＡＯ併合情報及びＳＡＯオンオフ情報に対してのみコンテクスト復号化を行い、残りのビット列については、バイパス復号化を行うことができるので、ＳＡＯパラメータ復号化のための全体演算量が顕著に減少する。
また、第１クロマ成分及び第２クロマ成分のためのＳＡＯオンオフ情報、エッジバンド区別情報及びエッジクラス情報として、同一パラメータが獲得され、ＳＡＯ併合情報は、ルマ成分、並びに第１クロマ成分及び第２クロマ成分のためのＳＡＯ併合情報として、同一パラメータが獲得されるので、ＳＡＯパラメータの全体ビット長が短くなり、パージングされるデータ量も減縮される。
また、コンテクスト復号化とバイパス復号化との転換回数が減り、全体ＳＡＯパラメータに対するエントロピー復号化動作の効率も向上する。
従って、一実施形態によるＳＡＯ調整を利用する、ビデオ符号化装置及びビデオ復号化装置は、最大符号化単位のエッジタイプまたはバンドタイプのような映像特性によってピクセル値を分類し、同一特性に分類されたピクセル値の平均誤差値であるオフセット値をシグナリングし、復元ピクセルのうち予想できないピクセル値をオフセット値ほど調整することにより、原本映像と復元映像との誤差を最小することができる。
一実施形態によるＳＡＯ符号化装置１０及び、一実施形態によるＳＡＯ復号化装置２０において、ビデオデータが分割されるブロックが最大符号化単位に分割され、最大符号化単位ごとに、ツリー構造の符号化単位を基に符号化／復号化され、最大符号化単位ごとに、ピクセル分類によるオフセット値が決定されるということは、前述の通りである。以下、図８ないし図２０を参照し、一実施形態による、ツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置を開示する。
図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して称する。
最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが２の累乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。
一実施形態による符号化単位は、最大サイズ及び最大深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが深度によって、階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。
符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化の結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化の結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度と決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に対する符号化深度は、他の領域に対する符号化深度と独立して決定される。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に設定され、第２最大深度は、５に設定される。
最大符号化単位の予測符号化及び変換も行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれ、生成される全ての深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用され、段階別でデータ単位が変更されもする。
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になる、それ以上さらに分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的なタイプに分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じサイズの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが変換深度によって、ツリー構造による変換単位によって区画される。
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさが、ＮｘＮであるならば、変換深度１、変換単位の大きさが、Ｎ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
符号化深度別符号化情報は、符号化深度だけでなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図１７ないし図１９を参照し、詳細に説明する。
符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された、最大符号化単位の映像データ及び深度別符号化モードに係わる情報をビットストリーム形態で出力する。
符号化された映像データは、映像のレジデュアルデータの符号化の結果でもある。
深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が、符号化深度でないのであるならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が符号化深度でないのであるならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データに対して、符号化深度、及び符号化モードに係わる情報が設定される。
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報が割り当てられる。
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。
ピクチャ、スライスまたはＧＯＰ（group of picture）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンス・パラメータセットまたはピクチャ・パラメータセットなどに挿入される。
また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンス・パラメータセットまたはピクチャ・パラメータセットなどを介して出力される。出力部１３０は、図１Ａないし図７を参照して説明した、オフセット調整技法と係わるＳＡＯパラメータを符号化して出力することができる。
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが、２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。
従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像サイズを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。
図８のビデオ符号化装置１００は、図１Ａを参照して説明したＳＡＯ符号化装置１０の動作を遂行することができる。
符号化単位決定部１２０は、ビデオ符号化装置１０のＳＡＯパラメータ決定部１４の動作を遂行することができる。最大符号化単位ごとに、ＳＡＯタイプ、カテゴリー別オフセット値及びＳＡＯクラスが決定される。
出力部１３０は、ＳＡＯパラメータ符号化部１６の動作を遂行することができる。最大符号化単位ごとに決定されたＳＡＯパラメータが出力される。現在最大符号化単位に隣接する左側及び上端の最大符号化単位のＳＡＯパラメータを、現在ＳＡＯパラメータとして採用するか否かということを示す左向き／上向きＳＡＯ併合情報が一番最初に出力される。ＳＡＯタイプとして、オフタイプ、エッジタイプ、バンドタイプが出力される。オフセット絶対値情報が出力され、バンドタイプである場合には、符号情報、バンド位置情報が出力される。エッジタイプである場合、エッジクラス情報が出力され、オフセット値の符号情報は、出力されない。
一実施形態による出力部１３０は、最大符号化単位の左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報に対して、それぞれコンテクスト符号化を行うことができる。一実施形態による出力部１３０は、ルマ成分及びクロマ成分別に、ＳＡＯオンオフ情報に対してコンテクスト符号化を行うことができる。
一実施形態による出力部１３０は、ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、ルマ成分及びクロマ成分別に、エッジバンド区別情報に対して、バイパス符号化を行うことができる。
ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、一実施形態による出力部１３０は、ルマ成分、並びに第１クロマ成分及び第２クロマ成分別に、ＳＡＯカテゴリー別オフセット絶対値情報に対して、バイパス符号化を行うことができる。バンドタイプである場合、一実施形態による出力部１３０は、ルマ成分、並びに第１クロマ成分及び第２クロマ成分別に、オフセット符号情報及びバンド位置情報に対して、バイパス符号化を行うことができる。エッジタイプである場合、一実施形態による出力部１３０は、ルマ成分及びクロマ成分別に、エッジクラス情報に対して、バイパス符号化を行うことができる。
一実施形態による、第１クロマ成分のためのエッジクラス情報は、第２クロマ成分に同一に適用され、第１クロマ成分のためのＳＡＯオンオフ情報及びエッジバンド区別情報も、それぞれ第２クロマ成分に同一に適用される。
図９は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約して称する。
一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図８及びビデオ符号化装置１００を参照して説明したところと同一である。
受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンス・パラメータセットまたはピクチャ・パラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に対する符号化深度、及び符号化モードに係わる情報を抽出する。抽出された符号化深度、及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして、最大符号化単位ごとに、映像データを復号化させる。
最大符号化単位別符号化深度、及び符号化モードに係わる情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度、及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させると決定された符号化深度、及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によって、データを復号化して映像を復元することができる。
一実施形態による符号化深度、及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度、及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度、及び符号化モードに係わる情報が記録されているならば、同一符号化深度、及び符号化モードに係わる情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
映像データ復号化部２３０は、最大符号化単位別符号化深度、及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれる、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読された、パーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程及び逆変換過程を含んでもよい。
映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が、現在深度でそれ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。
すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一符号化モードで復号化する１つのデータ単位と見なされる。そのように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。
また、図９のビデオ復号化装置２００は、図２Ａを参照して説明したＳＡＯ復号化装置２０の動作を遂行することができる。
映像データ及び符号化情報抽出部２２０と受信部２１０は、ＳＡＯ復号化装置２０のＳＡＯコンテクスト復号化部２４及びＳＡＯバイパス復号化部２６の動作を遂行することができる。映像データ復号化部２３０は、ビデオ復号化装置２０のＳＡＯ調整部２８の動作を遂行することができる。
一実施形態による映像データ及び符号化情報抽出部２２０は、最大符号化単位のビットストリームから、ＳＡＯパラメータのビット列を獲得し、各ビット列に対して、エントロピー復号化を行い、各パラメータのシンボルを復元することができる。
左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報を獲得し、左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報に対して、それぞれコンテクスト復号化を行うことができる。一実施形態による映像データ及び符号化情報抽出部２２０は、ルマ成分及びクロマ成分別に、ＳＡＯオンオフ情報を１ビットずつ獲得することができる。映像データ及び符号化情報抽出部２２０は、ルマＳＡＯオンオフ情報及びクロマＳＡＯオンオフ情報に対して、コンテクスト復号化を行うことができる。
一実施形態による映像データ及び符号化情報抽出部２２０は、ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、ルマ成分及びクロマ成分別に、エッジバンド区別情報を獲得し、１ビットのエッジバンド区別情報バイパス復号化を行うことができる。
ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、一実施形態による映像データ及び符号化情報抽出部２２０は、ルマ成分、並びに第１クロマ成分及び第２クロマ成分別に、ＳＡＯカテゴリー別オフセット絶対値情報を獲得し、オフセット絶対値情報に対して、バイパス復号化を行うことができる。バンドタイプの場合、一実施形態による映像データ及び符号化情報抽出部２２０は、ルマ成分、並びに第１クロマ成分及び第２クロマ成分別に、オフセット符号情報及びバンド位置情報を獲得し、各パラメータに対して、バイパス復号化を行うことができる。エッジタイプの場合、一実施形態による映像データ及び符号化情報抽出部２２０は、ルマ成分及びクロマ成分別に獲得されたエッジクラス情報に対して、バイパス復号化を行うことができる。
一実施形態による、第１クロマ成分のためのエッジクラス情報は、第２クロマ成分に同一に適用され、第１クロマ成分のためのＳＡＯオンオフ情報及びエッジバンド区別情報も、それぞれ第２クロマ成分に同一に適用される。
映像データ復号化部２３０は、復元されたＳＡＯパラメータを利用して、オフセット調整対象になる、ピクセルとオフセット値とを決定することができる。映像データ復号化部２３０は、復元ピクセルに対応するオフセット値ほど、当該復元ピクセル値を調整することにより、原本ピクセルと誤差が最小化される復元ピクセルを生成することができる。最大符号化単位ごとにパージングされたＳＡＯパラメータに基づいて、最大符号化単位の復元ピクセルのオフセットが調整される。
結局、ビデオ復号化装置２００は、符号化過程において、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定された、ツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
図１０は、本発明の一実施形態による符号化単位の概念を図示している。
符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１０に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。
図１１は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図を図示している。
一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０において、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びオフセット調整部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。
一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びオフセット調整部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。
特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。
オフセット調整部４９０は、参照フレーム４９５の最大符号化単位ごとに、エッジタイプ（または、バンドタイプ）によってピクセルを分類し、エッジ方向（または、開始バンド位置）を決定し、カテゴリーごとに、属する復元ピクセルの平均誤差値を決定することができる。最大符号化単位ごとに、それぞれのＳＡＯ併合情報、ＳＡＯタイプ及びオフセット値が符号化されてシグナリングされる。
エントロピー符号化部４５０は、ＳＡＯ調整のためのＳＡＯ併合情報、ＳＡＯタイプ情報及びオフセット値を含むＳＡＯパラメータに対して、ＣＡＢＡＣ符号化を行うことができる。例えば、ＳＡＯタイプ情報のためには、最初のビットに対してのみ、１つのコンテクストモデルを利用して、残りのビットについては、バイパスモードで符号化することができる。オフセット値については、２個のコンテクストモデルが利用され、左側ＳＡＯ併合情報及び上端ＳＡＯ併合情報については、それぞれ一つずつのコンテクストモデルが利用される。従って、ＳＡＯパラメータのＣＡＢＡＣ符号化のために、総５個のコンテクストモデルが利用される。
図１２は、本発明の一実施形態による、符号化単位に基づいた映像復号化部５００のブロック図を図示している。
ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。
空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。
イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びオフセット調整部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びオフセット調整部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が遂行される。
一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びオフセット調整部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を遂行しなければならない。
特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。
エントロピー復号化部５２０は、ＳＡＯパラメータに対してＣＡＢＡＣ復号化を行い、ＳＡＯパラメータから、ＳＡＯ調整のためのＳＡＯ併合情報、ＳＡＯタイプ情報及びオフセット値をパージングすることができる。例えば、ＳＡＯタイプ情報のためには、最初のビットに対してのみ、１つのコンテクストモデルを利用して、残りのビットについては、バイパスモードでＣＡＢＡＣ復号化を行うことができる。オフセット値については、２個のコンテクストモデルが利用され、左側ＳＡＯ併合情報及び上端ＳＡＯ併合情報については、それぞれ一つずつのコンテクストモデルが利用される。従って、ＳＡＯパラメータのＣＡＢＡＣ復号化のために、総５個のコンテクストモデルが利用される。
オフセット調整部５８０は、ビットストリームから最大符号化単位のＳＡＯパラメータを抽出することができる。現在最大符号化単位のＳＡＯパラメータのうち、ＳＡＯ併合情報に基づいて、隣接する最大符号化単位のＳＡＯパラメータと同一である現在ＳＡＯパラメータを復元することができる。現在最大符号化単位のＳＡＯパラメータのうち、ＳＡＯタイプ及びオフセット値を利用して、復元フレーム５９５の最大符号化単位ごとに、復元ピクセルごとに、エッジタイプまたはバンドタイプによって、カテゴリーに対応するオフセット値ほど調整することができる。
図１３は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。
一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。
すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最小符号化単位である。
それぞれの深度別に、横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれる、サイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれる、サイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれる、サイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれる、サイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。
同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含まれるデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化の結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。
図１４は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり、あるいは復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図１５は、本発明の一実施形態による深度別符号化情報を図示している。
一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションのタイプに係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。
また、変換単位サイズに係わる情報８２０は、現在符号化単位について、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つである。
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。
図１６は、本発明の一実施形態による深度別符号化単位を図示している。
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで、予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，サイズ２Ｎ＿０ｘＮ＿０のパーティションタイプ９１４、及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要ない。
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していく。
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。
また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していく。
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。
パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９８０に対して、分割情報が設定されない。
データ単位９９９は、現在最大符号化単位に対する「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。
そのように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる、符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。
図１７、図１８及び図１９は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
変換単位１０７０のうち一部の変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位に変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態で他のビデオ復号化装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
それにより、最大符号化単位ごとに、領域別に、階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示す。
Figure 0006382807
 一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎと、を示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
変換単位サイズは、イントラモードで２種の大きさに設定され、インターモードで２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさは、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち、少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。
図２０は、表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。
最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。
変換単位分割情報（ＴＵ ｓｉｚｅ flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ ｓｉｚｅ flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
図２０を参照して説明した変換単位分割情報（ＴＵ ｓｉｚｅ flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって、０、１、２、３、…などに増やし、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、シーケンス・パラメータセットに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるであるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。
従って、最大変換単位分割情報を「MaxTransformSizeIndex」と定義し、最小変換単位サイズを「MinTransformSize」と定義し、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、以下の数式（１）のように定義される。
CurrMinTuSize
＝max（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
一実施形態による最大変換単位サイズ「RootTuSize」は予測モードによって変わることもできる。
例えば、現在予測モードがインターモードであるならば「RootTuSize」は、下記数式（２によって決定される。数式（２）において、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位大きさを示す。
「RootTuSize」＝min（MaxTransformSize，PUSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位大きさのうち小さい値に設定される。
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
RootTuSize＝min（MaxTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がそれに限定されるものではないということを留意しなければならない。
図８ないし図２０を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。
また、ピクチャごとに、スライスごとに、最大符号化単位ごとに、ツリー構造による符号化単位ごとに、符号化単位の予測単位ごとに、または符号化単位の変換単位ごとに、オフセットパラメータがシグナリングされる。一例として、最大符号化単位ごとに受信されたオフセットパラメータに基づいて復元されたオフセット値を利用して、最大符号化単位の復元ピクセル値を調整することにより、原本ブロックとの誤差が最小化される最大符号化単位が復元される。
説明の便宜のために、先の図１Ａないし図２０を参照して説明したサンプルオフセット調整によるビデオ符号化方法は、「本発明のビデオ符号化方法」とする。また、先の図１Ａないし図２０を参照して説明したサンプルオフセット調整によるビデオ復号化方法は、「本発明のビデオ復号化方法」とする
また、先の図１Ａないし図２０を参照して説明した、ＳＡＯ符号化装置１０、ビデオ符号化装置１００または映像符号化部４００で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」とする。また、先の図２Ａないし図２０を参照して説明した、ＳＡＯ復号化装置２０、ビデオ復号化装置２００または映像復号化部５００で構成されたビデオ復号化装置は、「本発明のビデオ復号化装置」とする。
一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク２６０００である実施形態について、以下で説明する。
図２１は、一実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示する。記録媒体として述べたディスク２６０００は、ハードドライブ、ＣＤ（compact disc）−ＲＯＭ（read only memory）ディスク、ブルーレイ（登録商標（Blu-ray））ディスク、ＤＶＤ（digital versatile disk）ディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒから構成され、トラックは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００において特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２２を参照して説明する。
図２２は、ディスク２６０００を利用して、プログラムを記録して判読するためのディスクドライブ２６８００を図示している。コンピュータ・システム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが判読され、プログラムがコンピュータシステム２６７００に伝送される。
図２１及び図２２で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。
前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて説明する。
図２３は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステションになる無線基地局１１７００，１１８００，１１９００，１２０００が設置される。
コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。
しかし、コンテンツ供給システム１１０００は、図２４に図示された構造にのみ限定されるものではなく、デバイスは、選択的に連結される。独立デバイスが無線基地局１１７００，１１８００，１１９００，１２０００を経ず、通信網１１４００に直接連結されもする。
ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）方式、ＣＤＭＡ（code division multiple access）方式、Ｗ−ＣＤＭＡ（wideband code division multiple access）方式、ＧＳＭ（登録商標（global system for mobile communications））方式及びＰＨＳ（personal handyphone system）方式のような多様なプロトコルのうち、少なくとも１つの通信方式を採択することができる。
ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００に撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。
カメラ１２６００で撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。カメラ１２６００は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及び復号化のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。
また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが、携帯電話１２５００から受信される。
ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（largescale integrated circuit）システムによって符号化される。
一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ
１２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信し、リアルタイムに復号化して再生させ、個人放送（personal broadcasting）を可能にする。
コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
図２４及び図２５を参照し、コンテンツ供給システム１１０００において、携帯電話１２５００の一実施形態について詳細に説明される。
図２４は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されず、応用プログラムを介して。相当部分の機能を変更したり、あるいは拡張することができるスマートフォンでもある。
携帯電話１２５００は、無線基地局１２０００とＲＦ（radio frequency）信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号化された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic light emitting diodes）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０）または他の形態の音響出力部と、音声及び音響が入力されるマイクロフォン１２５５０、または他の形態の音響入力部を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤ（charge coupled device）カメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されたり、電子メール（Ｅ−mail）によって受信されたり、あるいは他の形態で獲得されたりするビデオや静止映像のように、符号化されたり、あるいは復号化されたりするデータを保存するための記録媒体１２５７０と、記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０と、を含んでもよい。記録媒体１２５７０は、ＳＤカードまたはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable and programmable read only memory）のような他の形態のフラッシュメモリでもある。
図２５は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号化部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer／demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation／demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して、中央制御部１２７１０に連結される。
ユーザが電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから、携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。
中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭ（random access memory）を含む。
携帯電話１２５００が外部に通信データを送信する過程では、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、映像符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital−analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。
例えば、携帯電話１２５００が通話モードであるとき、マイクロフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０において、デジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出される。
データ通信モードにおいて、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して、中央制御部１２６１０に伝送される。中央制御部１２６１０の制御によって、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。
データ通信モードにおいて、映像データを伝送するために、カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。
映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを、多重化／逆多重化部（ＭＵＸ／ＤＥＭＵＸ）１２６８０に出力することができる。カメラ１２５３０の録画中に、携帯電話１２５００のマイクロフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部（ＭＵＸ／ＤＥＭＵＸ）１２６８０に伝達される。
多重化／逆多重化部（ＭＵＸ／ＤＥＭＵＸ）１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化させる。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して伝送信号に変換され、アンテナ１２５１０を介して送出される。
携帯電話１２５００が、外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency recovery）処理及びＡ／Ｄ変換（analog−digita lconversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。
携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換処理及びＡ／Ｄ変換（analog−digital conversion）処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経てアナログ音響信号に変換され、アナログ音響信号が、スピーカ１２５８０を介して出力される。
データ通信モードにおいて、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部（ＭＵＸ／ＤＥＭＵＸ）１２６８０に伝達される。
アンテナ１２５１０を介して受信した多重化されたデータを復号化するために、多重化／逆多重化部（ＭＵＸ／ＤＥＭＵＸ）１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号化部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。
映像復号化部１２６９０の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９０は、前述の本発明のビデオ復号化方法を利用して、符号化されたビデオデータを復号化し、復元されたビデオデータを生成し、復元されたビデオデータをＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２に、復元されたビデオデータを提供することができる。
それによって、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０でディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換して、アナログ音響信号をスピーカ１２５８０に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。
携帯電話１２５００または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号化装置のみを含む受信端末機でもある。
本発明の通信システムは、図２４及び図２５を参照して説明した構造に限定されるものではない。例えば、図２６は、本発明による通信システムが適用されたデジタル放送システムを図示している。図２６の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。
具体的に述べれば、放送局１２８９０は、電波を介して、ビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-top box）１２８７０または他のデバイスによって復号化されて再生される。
再生装置１２８３０で、本発明のビデオ復号化装置が具現されることにより、再生装置１２８３０は、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号化することができる。それによって、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。
衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。
他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体に、本発明のビデオ復号化装置が搭載されもする。
適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号化されたビデオが再生される。
ビデオ信号は、本発明のビデオ符号化装置によって符号化されて記録媒体に記録されて保存される。具体的に述べれば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存されもする。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号化装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０、または他の形態の記録媒体に記録されたビデオ信号が、モニタ１２８８０で再生される。
自動車ナビゲーションシステム１２９３０は、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００（図２３）及びＴＶ受信機１２８１０も、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。
図２７は、本発明の一実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示している。
本発明のクラウドコンピューティングシステムは、クラウドコンピューティングサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなる。
クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューディング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）のようなコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点に所望のほど選んで使用することができる。
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ（personal computer）１４３００、スマートＴＶ １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、テブレットＰＣ １４８００など、インターネット接続が可能な全ての電子機器になることができる。
クラウドコンピューティングサーバ１４１００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。そのように、クラウドコンピューティングサーバ１４１００は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザＤＢ １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報、及び住所、氏名など個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含んでもよい。
ユーザＤＢ １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に、所定動画サービスを提供した場合、ユーザＤＢ １４１００に所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００を参照し、所定動画サービスを探して再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先の図２４及び図２５を参照して説明した携帯電話１２５００の動作と類似している。
クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機からユーザＤＢ １４１００に保存された動画に対する再生要請を受信する。動画が、その以前に再生中であったならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機からの選択によって、最初から再生するか、以前の停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画を最初のフレームからストリーミング伝送する。一方、端末機が、以前の停止時点から引き継いで再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。
そのとき、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。
図１Ａないし図２０を参照して説明した、本発明のビデオ符号化方法及びビデオ復号化方法、並びに本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について、図２１ないし図２７で説明した。しかし、図１Ａないし図２０を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されたり、あるいは本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現されたりする多様な実施形態は、図２１ないし図２７の実施形態に限定されるものではない。
本明細書で、「Ａは、ａ１、ａ２及びａ３のうち一つを含んでもよい」という記述は、Ａというエレメント（element）に含まれる例示的なエレメントが、ａ１、ａ２またはａ３であるという広い意味である。
前記記述によって、エレメントＡを構成することができるエレメントは、必ずしもａ１、ａ２またはａ３に限られるというものではない。従って、Ａを構成することができるエレメントが、ａ１、ａ２及びａ３以外で例示されていない他のエレメントを排除するという意味で、排他的に解釈されるものではないということに留意しなければならない。
また、前記記述はは、Ａがａ１を含んでも、ａ２を含んでも、あるいはａ３を含んでもよいという意味である。前記記述がＡを構成するエレメントが、必ずしも所定集合内で選択的に決定されるということを意味しない。例えば、前記記述が、必ずしもａ１、ａ２及びａ３を含む集合から選択されたａ１、ａ２、またはａ３がコンポーネントＡを構成するとして、制限的に解釈されるものではないということに留意しなければならない。
また、本明細書で、「ａ１、ａ２または（及び）ａ３のうち少なくとも一つ」という記述は、ａ１；ａ２；ａ３；ａ１及びａ２；ａ１及びａ３；ａ２及びａ３；ａ１、ａ２及びａ３のうち一つを示す。
従って、「ａ１のうち少なくとも一つ、ａ２のうち少なくとも一つまたは（及び）ａ３のうち少なくとも一つ」と明示上に記述しない以上、「ａ１、ａ２または（及び）ａ３のうち少なくとも一つ」という記述は、ａ１のうち少なくとも一つ、ａ２のうち少なくとも一つまたは（及び）ａ３のうち少なくとも一つ」と解釈されないということに留意しなければならない。
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

Claims (4)

  1. ＳＡＯ（sample adaptive offset）復号化方法において、
    最大符号化単位のビットストリームから、コンテクストに基づいてエントロピー符号化された左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報を獲得する段階と、
    前記ビットストリームから、カラー成分別に、コンテクストに基づいてエントロピー符号化されたＳＡＯオンオフ情報を獲得する段階と、
    前記ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、前記ビットストリームから、カラー成分別に、バイパスモードでエントロピー符号化されたエッジバンド区別情報を獲得して、カラー成分別にバイパスモードでエントロピー符号化されたＳＡＯカテゴリー別オフセット絶対値情報を獲得する段階と、
    前記エッジバンド区別情報がバンドタイプを示せば、前記ビットストリームから、カラー成分別に、バイパスモードでエントロピー符号化されたバンド位置情報を獲得する段階と、
    前記エッジバンド区別情報がエッジタイプを示せば、前記ビットストリームからルマ成分のためのエッジクラス情報及びクロマ成分のためのエッジクラス情報のうち一つを獲得する段階と、を含み、
    前記獲得されたバンド位置情報は、前記ルマ成分のためのバンド位置情報、Ｃｂ成分のためのバンド位置情報、及びＣｒ成分のためのバンド位置情報のうち、１つであり、前記Ｃｂ成分のためのバンド位置情報及び前記Ｃｒ成分のためのバンド位置情報は、別途に獲得され、
    前記Ｃｒ成分及び前記Ｃｂ成分のうち、１つのために前記クロマ成分のためのエッジクラス情報が獲得された場合、前記Ｃｒ成分及び前記Ｃｂ成分のうち、残りのために前記獲得されたクロマ成分のためのエッジクラス情報が用いられることを特徴とするＳＡＯ復号化方法。
  2. ＳＡＯ符号化方法において、
    最大符号化単位の左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報に対して、それぞれのコンテクストに基づいたエントロピー符号化を行って生成された前記左向きＳＡＯ併合情報の１ビット、及び前記上向きＳＡＯ併合情報の１ビットを出力する段階と、
    カラー成分別に、ＳＡＯオンオフ情報に対して、コンテクストに基づいたエントロピー符号化を行って生成されたＳＡＯオンオフ情報の１ビットを出力する段階と、
    前記ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、カラー成分別にエッジバンド区別情報に対してバイパスモードでエントロピー符号化を遂行して生成された前記エッジバンド区別情報のビット列を出力し、カラー成分別に、ＳＡＯカテゴリー別オフセット絶対値情報に対して、バイパスモードでエントロピー符号化を行って生成されたオフセット絶対値情報のビット列を出力する段階と、
    前記エッジバンド区別情報がバンドタイプを示せば、カラー成分別に、バンド位置情報に対してバイパスモードでエントロピー符号化を遂行して生成された残りのビット列を出力する段階と、
    前記エッジバンド区別情報がエッジタイプを示せば、ルマ成分のためのエッジクラス情報及びクロマ成分のためのエッジクラス情報のうち一つに対して、バイパスモードでエントロピー符号化を行って生成された残りのビット列を出力する段階と、を含み、
    前記バンド位置情報は、前記ルマ成分のためのバンド位置情報、Ｃｂ成分のためのバンド位置情報、及びＣｒ成分のためのバンド位置情報のうち、１つであり、前記Ｃｂ成分のためのバンド位置情報及び前記Ｃｒ成分のためのバンド位置情報は、別途に符号化され、
    前記Ｃｒ成分及び前記Ｃｂ成分のうち、１つのために前記クロマ成分のためのエッジクラス情報が符号化された場合、前記Ｃｒ成分及び前記Ｃｂ成分のうち、残りのために獲得されたクロマ成分のためのエッジクラス情報が符号化されないことを特徴とするＳＡＯ符号化方法。
  3. ＳＡＯ復号化装置において、
    最大符号化単位のビットストリームから、コンテクストに基づいてエントロピー符号化された左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報を獲得し、カラー成分別に、コンテクストに基づいてエントロピー符号化されたＳＡＯオンオフ情報を獲得するＳＡＯコンテクスト復号化部と、
    前記ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、前記ビットストリームから、カラー成分別に、バイパスモードでエントロピー符号化されたエッジバンド区別情報を獲得し、カラー成分別にバイパスモードでエントロピー符号化されたＳＡＯカテゴリー別オフセット絶対値情報を獲得し、前記エッジバンド区別情報がバンドタイプを示せば、カラー成分別に、バイパスモードでエントロピー符号化されたバンド位置情報を獲得し、前記エッジバンド区別情報がエッジタイプを示せば、前記ビットストリームからルマ成分のためのエッジクラス情報及びクロマ成分のためのエッジクラス情報のうち一つを獲得するＳＡＯバイパス復号化部と、
    前記ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、前記獲得された情報を利用して、前記最大符号化単位の復元値を、前記ＳＡＯカテゴリー別に、オフセット絶対値情報に基づいて、調整するＳＡＯ調整部と、を含み、
    前記獲得されたバンド位置情報は、前記ルマ成分のためのバンド位置情報、Ｃｂ成分のためのバンド位置情報、及びＣｒ成分のためのバンド位置情報のうち、１つであり、前記Ｃｂ成分のためのバンド位置情報及び前記Ｃｒ成分のためのバンド位置情報は、別途に獲得され、
    前記Ｃｒ成分及び前記Ｃｂ成分のうち、１つのために前記クロマ成分のためのエッジクラス情報が獲得された場合、前記Ｃｒ成分及び前記Ｃｂ成分のうち、残りのために前記獲得されたクロマ成分のためのエッジクラス情報が用いられることを特徴とするＳＡＯ復号化装置。
  4. ＳＡＯ符号化装置において、
    最大符号化単位に対してＳＡＯ動作を遂行するＳＡＯ遂行部と、
    前記最大符号化単位の左向きＳＡＯ併合情報及び上向きＳＡＯ併合情報に対して、それぞれのコンテクストに基づいたエントロピー符号化を行い、前記左向きＳＡＯ併合情報のビット列、及び上向きＳＡＯ併合情報のビット列を生成し、カラー成分別に、ＳＡＯオンオフ情報に対して、コンテクストに基づいたエントロピー符号化を行い、前記ＳＡＯオンオフ情報の１ビットを生成して出力するＳＡＯコンテクスト符号化部と、
    前記ＳＡＯオンオフ情報が、ＳＡＯ動作が遂行されるということを示せば、カラー成分別にエッジバンド区別情報に対してバイパスモードでエントロピー符号化を遂行して生成された前記エッジバンド区別情報のビット列を出力し、カラー成分別に、ＳＡＯカテゴリー別オフセット絶対値情報に対して、バイパスモードでエントロピー符号化を行い、前記オフセット絶対値情報のビット列を生成し、前記エッジバンド区別情報がバンドタイプを示せば、カラー成分別に、バンド位置情報に対してバイパスモードでエントロピー符号化を遂行して生成された残りのビット列を出力し、前記エッジバンド区別情報がエッジタイプを示せば、ルマ成分のためのエッジクラス情報及びクロマ成分のためのエッジクラス情報及びクロマ成分のためのエッジクラス情報のうち１つに対して、バイパスモードでエントロピー符号化を行い、残りのビット列を生成して出力するＳＡＯバイパス符号化部と、を含み、
    前記バンド位置情報は、前記ルマ成分のためのバンド位置情報、Ｃｂ成分のためのバンド位置情報、及びＣｒ成分のためのバンド位置情報のうち、１つであり、前記Ｃｂ成分のためのバンド位置情報及び前記Ｃｒ成分のためのバンド位置情報は、別途に決定され、
    前記Ｃｒ成分及び前記Ｃｂ成分のうち、１つのために前記クロマ成分のためのエッジクラス情報が符号化された場合、前記Ｃｒ成分及び前記Ｃｂ成分のうち、残りのために獲得されたクロマ成分のためのエッジクラス情報が符号化されていないことを特徴とするＳＡＯ符号化装置。
JP2015523005A 2012-07-16 2013-07-16 Ｓａｏ符号化又は復号化のための方法及び装置 Active JP6382807B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261672166P 2012-07-16 2012-07-16
US61/672,166 2012-07-16
PCT/KR2013/006343 WO2014014251A1 (ko) 2012-07-16 2013-07-16 Sao 파라미터를 시그널링하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018090790A Division JP2018152883A (ja) 2012-07-16 2018-05-09 Ｓａｏ復号化方法及び装置並びにｓａｏ符号化方法及び装置

Publications (2)

Publication Number Publication Date
JP2015528250A JP2015528250A (ja) 2015-09-24
JP6382807B2 true JP6382807B2 (ja) 2018-08-29

Family

ID=49949026

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015523005A Active JP6382807B2 (ja) 2012-07-16 2013-07-16 Ｓａｏ符号化又は復号化のための方法及び装置
JP2018090790A Pending JP2018152883A (ja) 2012-07-16 2018-05-09 Ｓａｏ復号化方法及び装置並びにｓａｏ符号化方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018090790A Pending JP2018152883A (ja) 2012-07-16 2018-05-09 Ｓａｏ復号化方法及び装置並びにｓａｏ符号化方法及び装置

Country Status (16)

Country Link
US (5) US9787992B2 (ja)
EP (1) EP2874391A4 (ja)
JP (2) JP6382807B2 (ja)
KR (1) KR102165855B1 (ja)
CN (6) CN108055544B (ja)
AU (3) AU2013290950B2 (ja)
BR (2) BR122019027914B1 (ja)
CA (2) CA3029323C (ja)
MX (2) MX346795B (ja)
MY (3) MY201685A (ja)
PH (5) PH12015500121A1 (ja)
RU (3) RU2675154C1 (ja)
SG (2) SG10201703660TA (ja)
TW (3) TWI625962B (ja)
WO (1) WO2014014251A1 (ja)
ZA (1) ZA201501039B (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US9253482B2 (en) * 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
EP2858354B1 (en) 2012-05-25 2022-12-21 Sun Patent Trust Video image coding method, video image decoding method, video image coding device, video image decoding device, and video image coding-decoding device
WO2013175736A1 (ja) 2012-05-25 2013-11-28 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および、動画像符号化復号装置
EP2858357B1 (en) 2012-06-04 2022-07-06 Sun Patent Trust Video image encoding method, video image decoding method
AU2013272989B2 (en) 2012-06-08 2017-05-25 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CN108235014B (zh) * 2012-06-27 2020-08-14 太阳专利托管公司 图像编码方法和图像编码装置
US9510002B2 (en) 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
CN104980747B (zh) * 2014-04-04 2019-08-09 北京三星通信技术研究有限公司 对像素标识进行处理的方法和装置
WO2016056977A1 (en) 2014-10-06 2016-04-14 Telefonaktiebolaget L M Ericsson (Publ) Coding and deriving quantization parameters
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
CN106254888B (zh) 2015-06-09 2020-06-02 同济大学 一种图像编码及解码方法、图像处理设备
US20170155905A1 (en) * 2015-11-30 2017-06-01 Intel Corporation Efficient intra video/image coding using wavelets and variable size transform coding
US10602187B2 (en) 2015-11-30 2020-03-24 Intel Corporation Efficient, compatible, and scalable intra video/image coding using wavelets and HEVC coding
CN109997365A (zh) * 2016-11-29 2019-07-09 夏普株式会社 用信号通知评级信息
JP6904156B2 (ja) 2017-08-10 2021-07-14 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
CN107707915B (zh) * 2017-09-30 2019-11-12 上海兆芯集成电路有限公司 采样点自适应偏移滤波的控制方法及其影像处理系统
WO2019075638A1 (zh) * 2017-10-17 2019-04-25 北京金山云网络技术有限公司 编码和解码方法、装置、编码器、解码器及存储介质
CN108235021B (zh) * 2018-01-10 2020-06-19 北京奇艺世纪科技有限公司 一种band模式确定方法及装置
GB2574425A (en) * 2018-06-05 2019-12-11 Canon Kk Video coding and decoding
CN112889278B (zh) * 2018-09-17 2024-04-05 三星电子株式会社 用于编码和解码运动信息的方法及用于编码和解码运动信息的装置
SG11202107547YA (en) 2019-01-11 2021-08-30 Huawei Tech Co Ltd Encoder, decoder and corresponding methods using dct2 enabled high level flag
US11949870B2 (en) * 2019-06-21 2024-04-02 Qualcomm Incorporated Context modeling for low-frequency non-separable transformation signaling for video coding
CN112135149B (zh) * 2019-06-24 2023-07-18 华为技术有限公司 语法元素的熵编码/解码方法、装置以及编解码器
US20220107738A1 (en) * 2020-10-06 2022-04-07 Kioxia Corporation Read controller and input/output controller
CN114363613B (zh) * 2022-01-10 2023-11-28 北京达佳互联信息技术有限公司 滤波方法和滤波装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100468844B1 (ko) * 2002-01-07 2005-01-29 삼성전자주식회사 정지영상 및 동영상을 부호화/복호화하기 위한변환계수들의 최적주사방법
KR100703776B1 (ko) * 2005-04-19 2007-04-06 삼성전자주식회사 향상된 코딩 효율을 갖는 컨텍스트 기반 적응적 산술 코딩및 디코딩 방법과 이를 위한 장치, 이를 포함하는 비디오코딩 및 디코딩 방법과 이를 위한 장치
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
KR101356733B1 (ko) 2007-03-07 2014-02-05 삼성전자주식회사 컨텍스트 기반 적응적 이진 산술 부호화, 복호화 방법 및장치
WO2009089032A2 (en) * 2008-01-10 2009-07-16 Thomson Licensing Methods and apparatus for illumination compensation of intra-predicted video
US8031959B2 (en) * 2008-02-22 2011-10-04 Himax Technologies Limited Compression system for a bit-plane
TWI365423B (en) * 2008-03-17 2012-06-01 Chunghwa Picture Tubes Ltd Compression method and decompression method for image data
KR101314230B1 (ko) * 2008-07-18 2013-10-04 삼성전자주식회사 화상처리장치 및 그 화상처리방법
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US8873626B2 (en) * 2009-07-02 2014-10-28 Qualcomm Incorporated Template matching for video coding
JP5133950B2 (ja) 2009-07-16 2013-01-30 日本電信電話株式会社 コンテクスト適応エントロピ符号化方法および装置，コンテクスト適応エントロピ復号方法および装置，並びにそれらのプログラム
US9078009B2 (en) * 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
CN103392338A (zh) 2011-01-03 2013-11-13 联发科技股份有限公司 基于滤波单元的回路滤波方法
US9161041B2 (en) * 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
CN106454357A (zh) * 2011-01-09 2017-02-22 寰发股份有限公司 已处理视频数据的样本自适应补偿的方法和装置
CN103597827B (zh) * 2011-06-10 2018-08-07 寰发股份有限公司 可伸缩视频编码方法及其装置
US10070152B2 (en) * 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US9031137B2 (en) * 2012-05-03 2015-05-12 Texas Instruments Incorporated Signaling signed band offset values for sample adaptive offset (SAO) filtering in video coding
AU2013272989B2 (en) * 2012-06-08 2017-05-25 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US10623759B2 (en) * 2012-06-13 2020-04-14 Sony Corporation Decoupling enhancements in sample adaptive offset (SAO) for high efficiency video encoder (HEVC)
KR102166335B1 (ko) * 2013-04-19 2020-10-15 삼성전자주식회사 Sao 파라미터를 시그널링하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Also Published As

Publication number Publication date
US10277903B2 (en) 2019-04-30
AU2018201330A1 (en) 2018-03-15
CN104641640B (zh) 2018-04-20
US20180035114A1 (en) 2018-02-01
CN108055545B (zh) 2020-09-08
MY201685A (en) 2024-03-13
US10362313B2 (en) 2019-07-23
JP2015528250A (ja) 2015-09-24
BR112015001111B1 (pt) 2021-03-09
MY184416A (en) 2021-04-01
AU2017200150A1 (en) 2017-02-02
AU2018201330B2 (en) 2019-02-07
CN108235036A (zh) 2018-06-29
MX2015000763A (es) 2015-04-16
TWI625962B (zh) 2018-06-01
US20180041761A1 (en) 2018-02-08
SG11201500363QA (en) 2015-03-30
CN108055544B (zh) 2020-09-08
SG10201703660TA (en) 2017-06-29
KR20140011473A (ko) 2014-01-28
PH12017502273A1 (en) 2018-07-30
MX368355B (es) 2019-09-30
RU2701080C1 (ru) 2019-09-24
TW201709737A (zh) 2017-03-01
JP2018152883A (ja) 2018-09-27
PH12017502268A1 (en) 2018-06-11
US20180014020A1 (en) 2018-01-11
US10021399B2 (en) 2018-07-10
CA3029323A1 (en) 2014-01-23
MY171481A (en) 2019-10-15
RU2643658C2 (ru) 2018-02-02
RU2675154C1 (ru) 2018-12-17
US9787992B2 (en) 2017-10-10
TWI656786B (zh) 2019-04-11
EP2874391A1 (en) 2015-05-20
US20150181214A1 (en) 2015-06-25
PH12017502274A1 (en) 2018-06-11
EP2874391A4 (en) 2016-03-09
PH12015500121B1 (en) 2015-03-16
AU2013290950A1 (en) 2015-03-05
CA2879440C (en) 2018-10-23
CN104641640A (zh) 2015-05-20
US20180035115A1 (en) 2018-02-01
WO2014014251A1 (ko) 2014-01-23
PH12015500121A1 (en) 2015-03-16
ZA201501039B (en) 2019-07-31
KR102165855B1 (ko) 2020-10-15
US10356421B2 (en) 2019-07-16
PH12017502271A1 (en) 2018-06-11
CN108235036B (zh) 2020-10-09
CN108055546B (zh) 2020-09-22
RU2015104987A (ru) 2016-09-10
MX346795B (es) 2017-03-31
CA3029323C (en) 2020-03-24
AU2017200150B2 (en) 2017-12-07
CN108055545A (zh) 2018-05-18
CA2879440A1 (en) 2014-01-23
AU2013290950B2 (en) 2016-10-20
BR112015001111A2 (pt) 2017-06-27
CN108235030B (zh) 2020-10-09
TW201826798A (zh) 2018-07-16
TW201415907A (zh) 2014-04-16
TWI568248B (zh) 2017-01-21
CN108235030A (zh) 2018-06-29
CN108055546A (zh) 2018-05-18
BR122019027914B1 (pt) 2021-06-08
CN108055544A (zh) 2018-05-18

Similar Documents

Publication Publication Date Title
JP6081648B2 (ja) ビデオ復号化方法及びその装置
JP6382807B2 (ja) Ｓａｏ符号化又は復号化のための方法及び装置
KR101971226B1 (ko) 최대 부호화 단위 별로 픽셀 분류에 따른 오프셋 조정을 이용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
JP2016521061A (ja) Ｓａｏパラメータをシグナリングするビデオ符号化方法及びその装置、並びに該ビデオ復号化方法及びその装置
KR20170078671A (ko) 다중 오프셋 방식을 적용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180509

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180802

R150 Certificate of patent or registration of utility model

Ref document number: 6382807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250