JP6034535B1 - ビデオ復号化方法及びその装置 - Google Patents

ビデオ復号化方法及びその装置 Download PDF

Info

Publication number
JP6034535B1
JP6034535B1 JP2016158925A JP2016158925A JP6034535B1 JP 6034535 B1 JP6034535 B1 JP 6034535B1 JP 2016158925 A JP2016158925 A JP 2016158925A JP 2016158925 A JP2016158925 A JP 2016158925A JP 6034535 B1 JP6034535 B1 JP 6034535B1
Authority
JP
Japan
Prior art keywords
sao
unit
information
offset
coding unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016158925A
Other languages
English (en)
Other versions
JP2016208545A (ja
Inventor
アルシナ，エレナ
アルシン，アレクサンダー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Application granted granted Critical
Publication of JP6034535B1 publication Critical patent/JP6034535B1/ja
Publication of JP2016208545A publication Critical patent/JP2016208545A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

【課題】 ビデオ復号化方法及び装置を提供する。【解決手段】 ビットストリームのエントロピー復号化を行い現在ブロックのルマ成分及びクロマ成分のオフセットタイプ情報を獲得し、ルマ成分のオフセットタイプ情報がバンドオフセットタイプのとき、バイパスモードでエントロピー復号化を行い現在ブロックのルマ成分のサンプル値バンドの開始位置を示す情報を獲得し、ルマ成分のオフセットタイプ情報がエッジオフセットタイプのとき、バイパスモードでエントロピー復号化を行い現在ブロックのルマ成分のエッジ方向を示すクラスを獲得し、ルマ成分のオフセットタイプ情報がバンドオフセットタイプのとき、エントロピー復号化を行い現在ブロックのルマ成分のオフセットの絶対値と符号情報を獲得し、クロマ成分のオフセットタイプ情報がバンドオフセットタイプのとき、エントロピー復号化を行い現在ブロックのクロマ成分のオフセットの絶対値と符号情報を獲得する。【選択図】 図２Ａ

Description

本発明は、原本映像と復元映像との誤差を最小化するためのビデオ符号化及びビデオ復号化に関する。
高解像度ビデオコンテンツまたは高画質ビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度ビデオコンテンツまたは高画質ビデオコンテンツを効果的に符号化したり復号化したりするビデオコーデックの必要性が高まっている。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。
周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差によって表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続して反復して発生するデータを、小サイズのデータに置換することにより、データ量を節減している。
本発明は、原本映像との誤差が最小化される復元映像を生成するためのビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置を提案する。
本発明の一実施形態によるビデオ復号化のためのＳＡＯ（sample adaptive offset）調整方法は、受信されたビットストリームのスライスヘッダから、現在スライスに係わるスライスＳＡＯパラメータを獲得する段階と、前記スライスＳＡＯパラメータのうちから、前記現在スライスのルマ成分のためのルマＳＡＯ使用情報、及びクロマ成分のためのクロマＳＡＯ使用情報を獲得する段階と、前記獲得されたルマＳＡＯ使用情報に基づいて、前記現在スライスのルマ成分についてＳＡＯ調整を行うか否かということを決定する段階と、前記獲得されたクロマＳＡＯ使用情報に基づいて、前記現在スライスの第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを同一に決定する段階と、を含む。
本発明の多様な実施形態によるカラー成分別ＳＡＯ調整方法によれば、現在サンプルの第１クロマ成分と、現在第２クロマ成分とのＳＡＯ調整と係わる多様なＳＡＯパラメータを共有するので、第１クロマ成分及び第２クロマ成分に対するＳＡＯ調整が同時に行われ、並列処理のレイテンシの発生を事前に防止することができる。また、第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータをそれぞれ送る場合に比べ、ＳＡＯパラメータの全体伝送ビット数も２倍減縮される。
一実施形態によるビデオ符号化装置のブロック図である。 一実施形態によるビデオ符号化装置のＳＡＯ調整方法のフローチャートである。 一実施形態によるビデオ復号化装置のブロック図である。 一実施形態によるビデオ復号化装置のＳＡＯ調整方法のフローチャートである。 他の実施形態によるビデオ復号化装置のブロック図である。 一実施形態によるエッジタイプのエッジクラスを図示する図面である。 一実施形態によるエッジタイプのカテゴリーを図示する図面である。 一実施形態によるエッジタイプのカテゴリーを図示する図面である。 第１クロマ成分と第２クロマ成分との関係を図示する図面である。 第１クロマ成分と第２クロマ成分との関係を図示する図面である。 第１クロマ成分と第２クロマ成分との関係を図示する図面である。 図７Ａは、一実施形態による、ＳＡＯパラメータを併合するために参照される隣接最大符号化単位を図示する図面である。 ７Ｂは、一実施形態によるスライスヘッダとスライスデータのシンタックス構造を図示する図面である。 一実施形態による、最大符号化単位に係わるＳＡＯパラメータのシンタックス構造を図示する図面である。 一実施形態による、最大符号化単位に係わるＳＡＯパラメータのシンタックス構造を図示する図面である。 一実施形態による、ＳＡＯパラメータのＣＡＢＡＣ符号化のためのコンテクスト情報のシンタックス構造を図示する図面である。 一実施形態による、ＳＡＯタイプによるＳＡＯパラメータのシンタックス構造を図示する図面である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用してプログラムを記録して読み取るためのディスクドライブを図示する図面である。 コンテンツ流通サービスを提供するためのコンテンツ供給システムの全体的構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の内部構造を図示する図面である。 本発明による、通信システムが適用されたデジタル放送システムを図示する図面である。 本発明の一実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。
本発明の一実施形態によるビデオ復号化のためのＳＡＯ（sample adaptive offset）調整方法は、受信されたビットストリームのスライスヘッダから、現在スライスに係わるスライスＳＡＯパラメータを獲得する段階と、前記スライスＳＡＯパラメータのうちから、前記現在スライスのルマ成分のためのルマＳＡＯ使用情報、及びクロマ成分のためのクロマＳＡＯ使用情報を獲得する段階と、前記獲得されたルマＳＡＯ使用情報に基づいて、前記現在スライスのルマ成分についてＳＡＯ調整を行うか否かということを決定する段階と、前記獲得されたクロマＳＡＯ使用情報に基づいて、前記現在スライスの第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを同一に決定する段階と、を含む。
一実施形態による前記ＳＡＯ調整方法は、前記現在スライスの最大符号化単位のうちから、現在最大符号化単位（largest codin gunit）に係わる最大符号化単位ＳＡＯパラメータを獲得する段階と、前記最大符号化単位ＳＡＯパラメータのうちから、左側ＳＡＯ併合情報を獲得する段階と、前記左側ＳＡＯ併合情報に基づいて、前記現在最大符号化単位の上端に隣接する最大符号化単位のルマ成分、及び第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを利用して、前記現在最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを予測するか否かということを決定する段階と、を含んでもよい。
一実施形態によって、前記予測するか否かということを決定する段階は、前記左側ＳＡＯ併合情報に基づいて、前記左側最大符号化単位の前記ＳＡＯパラメータを利用して、前記現在最大符号化単位の前記ＳＡＯパラメータを予測しないと決定される場合、前記最大符号化単位ＳＡＯパラメータのうちから、上端ＳＡＯ併合情報を獲得する段階と、前記上端ＳＡＯ併合情報に基づいて、前記現在最大符号化単位の上端に隣接する最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを利用して、前記現在最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを予測するか否かということを決定する段階と、を含んでもよい。
一実施形態による前記ＳＡＯ調整方法は、前記最大符号化単位ＳＡＯパラメータのうちから、前記現在最大符号化単位のルマ成分のためのルマＳＡＯタイプ情報、及びクロマ成分のためのクロマＳＡＯタイプ情報を獲得する段階と、前記獲得されたルマＳＡＯタイプ情報に基づいて、前記現在最大符号化単位のルマ成分についてＳＡＯ調整を行うか否かということを決定する段階と、前記獲得されたクロマＳＡＯタイプ情報に基づいて、前記現在最大符号化単位の第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを同一に決定する段階と、をさらに含んでもよい。
一実施形態による前記ＳＡＯ調整方法は、前記獲得されたルマＳＡＯタイプ情報に基づいて、前記現在最大符号化単位のルマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを決定する段階と、前記獲得されたクロマＳＡＯタイプ情報に基づいて、前記現在最大符号化単位の第１クロマ成分及び第２クロマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを同一に決定する段階と、をさらに含んでもよい。
一実施形態による前記ＳＡＯ調整方法は、前記獲得されたＳＡＯパラメータに基づいて、前記現在最大符号化単位の第１クロマ成分及び第２クロマ成分について同一のエッジ方向を決定する段階をさらに含んでもよい。
一実施形態によって、前記ルマＳＡＯタイプ情報及び前記クロマＳＡＯタイプ情報を獲得する段階は、前記ルマＳＡＯタイプ情報のうち最初のコンテクストビンについてＣＡＢＡＣ復号化を行い、前記現在最大符号化単位のルマ成分についてＳＡＯ調整を行うか否かということを示す情報を獲得する段階と、前記ルマＳＡＯタイプ情報のうち残りのコンテクストビンについて、バイパスモードで、ＣＡＢＡＣ復号化を行い、前記現在最大符号化単位のルマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを示す情報を獲得する段階と、前記クロマＳＡＯタイプ情報のうち最初のコンテクストビンについてＣＡＢＡＣ復号化を行い、前記現在最大符号化単位のクロマ成分についてＳＡＯ調整を行うか否かということを示す情報を獲得する段階と、前記クロマＳＡＯタイプ情報のうち残りのコンテクストビンについて、バイパスモードで、ＣＡＢＡＣ復号化を行い、前記現在最大符号化単位のクロマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを示す情報を獲得する段階と、を含んでもよい。
一実施形態による前記ＳＡＯ調整方法は、前記現在最大符号化単位の前記ルマ成分及び前記クロマ成分のための前記左側ＳＡＯ併合情報及び上端ＳＡＯ併合情報のために、同一のコンテクストモードを利用して、ＣＡＢＡＣ復号化を行う段階をさらに含んでもよい。
一実施形態による前記ＳＡＯ調整方法は、前記最大符号化単位ＳＡＯパラメータのうちからオフセットのサイズ値（magnitude）情報を獲得するために、バイパスモードで、ＣＡＢＡＣ復号化を行う段階をさらに含んでもよい。
一実施形態によって、前記獲得されたオフセットのサイズ値情報は、ビデオのビットデプスに基づく範囲内の値であるオフセットサイズ値を示すことができる。前記ビットデプスが８ビットであるならば、前記オフセットサイズ値は、０より大きいか、あるいはそれと同じであり、７より小さいか、あるいはそれと同じ値であり、前記ビットデプスが１０ビットであるならば、前記オフセットサイズ値は、０より大きいか、あるいはそれと同じであり、３１より小さいか、あるいはそれと同じ値であってもよい。
一実施形態による前記ＳＡＯ調整方法は、前記現在最大符号化単位について、前記バンドＳＡＯ調整を行うと決定された場合、前記獲得されたルマＳＡＯクロマタイプ情報、及び前記獲得されたクロマＳＡＯタイプ情報のうち少なくとも一つから、バンドの左側開始時点についての情報を獲得するために、固定ビットトレングスのビットについて、バイパスモードで、ＣＡＢＡＣ復号化を行う段階をさらに含んでもよい。
一実施形態による前記ＳＡＯ調整方法は、前記現在最大符号化単位について、前記バンドＳＡＯ調整を行うと決定された場合、前記最大符号化単位ＳＡＯパラメータから、前記ＳＡＯ調整のためのオフセット値を獲得する段階と、前記獲得されたオフセット値が０ではない場合、前記最大符号化単位ＳＡＯパラメータから、前記オフセット値の符号情報をさらに獲得する段階をさらに含んでもよい。
一実施形態による前記ＳＡＯ調整方法は、前記最大符号化単位ＳＡＯパラメータから、前記エッジタイプのＳＡＯ調整のためのオフセット値を獲得する段階と、前記決定されたエッジ方向に基づいて、前記オフセット値の符号を決定する段階と、をさらに含んでもよい。
本発明の一実施形態によるビデオ符号化のためのＳＡＯ調整方法は、現在スライスのルマ成分についてＳＡＯ調整を行うか否かということを決定する段階と、前記現在スライスの第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを同一に決定する段階と、前記ルマ成分についてＳＡＯ調整を行うか否かということを示すルマＳＡＯ使用情報、並びに前記第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを示すクロマＳＡＯ使用情報を含む、現在スライスに係わるスライスＳＡＯパラメータを生成する段階と、前記スライスＳＡＯパラメータを含むスライスヘッダを出力する段階と、を含む。
一実施形態による前記ＳＡＯ調整方法は、前記現在スライスの最大符号化単位のうち、現在最大符号化単位の左側に隣接する最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを利用して、前記現在最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを予測するか否かということを決定する段階と、前記予測いかんに基づいて、前記現在最大符号化単位のための左側ＳＡＯ併合情報を生成する段階と、をさらに含んでもよい。
一実施形態による前記ＳＡＯ調整方法は、前記現在最大符号化単位の上端に隣接する最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを利用して、前記現在最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを予測するか否かということを決定する段階と、前記予測いかんに基づいて、上端ＳＡＯ併合情報を生成する段階と、前記左側ＳＡＯ併合情報、及び前記上端ＳＡＯ併合情報のうち少なくとも一つを含む、前記現在最大符号化単位に係わる最大符号化単位ＳＡＯパラメータを生成する段階と、をさらに含んでもよい。
一実施形態による前記ＳＡＯ調整方法は、前記現在最大符号化単位のルマ成分についてＳＡＯ調整を行うか否かということを決定する段階と、前記現在最大符号化単位の第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを同一に決定する段階と、前記現在最大符号化単位のルマ成分についてＳＡＯ調整を行うか否かということを示すルマＳＡＯタイプ情報、並びに前記第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを示すクロマＳＡＯタイプ情報を含む前記現在最大符号化単位に係わる最大符号化単位ＳＡＯパラメータを生成する段階と、をさらに含んでもよい。
一実施形態による前記ＳＡＯ調整方法は、前記現在最大符号化単位のルマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを決定する段階と、前記現在最大符号化単位の第１クロマ成分及び第２クロマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを同一に決定する段階と、前記ルマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを示すルマＳＡＯタイプ情報、並びに前記第１クロマ成分及び第２クロマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを示すクロマＳＡＯタイプ情報を生成する段階と、をさらに含んでもよい。
一実施形態による前記ＳＡＯ調整方法は、前記現在最大符号化単位の第１クロマ成分及び第２クロマ成分の同一のエッジ方向についての情報を生成する段階をさらに含んでもよい。
一実施形態による前記ルマＳＡＯタイプ情報、及び前記クロマＳＡＯタイプ情報を生成する段階は、前記ルマＳＡＯタイプ情報のうち、前記現在最大符号化単位のルマ成分についてＳＡＯ調整を行うか否かということを示す情報を示す最初のコンテクストビンについてＣＡＢＡＣ符号化を行う段階と、前記ルマＳＡＯタイプ情報のうち、前記現在最大符号化単位のルマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを示す情報を示す残りのコンテクストビンについて、バイパスモードで、ＣＡＢＡＣ符号化を行う段階と、を含んでもよい。
一実施形態による前記最大符号化単位ＳＡＯパラメータを生成する段階は、前記現在最大符号化単位に係わる最大符号化単位ＳＡＯパラメータのうち、前記左側ＳＡＯ併合情報及び上端ＳＡＯ併合情報について、同一のコンテクストモードを利用して、ＣＡＢＡＣ符号化を行う段階を含んでもよい。
一実施形態による前記ＳＡＯ調整方法は、前記最大符号化単位ＳＡＯパラメータのうち、オフセットのサイズ値情報について、バイパスモードで、ＣＡＢＡＣ符号化を行う段階をさらに含んでもよい。
一実施形態による前記ＳＡＯ調整方法は、前記現在最大符号化単位について、前記バンドＳＡＯ調整を行うと決定された場合、前記獲得されたルマＳＡＯクロマタイプ情報、及び前記獲得されたクロマＳＡＯタイプ情報のうち少なくとも一つにおいて、バンドの左側開始時点についての情報の固定ビットトレングスのビットについて、バイパスモードで、ＣＡＢＡＣ符号化を行う段階をさらに含んでもよい。
一実施形態による前記最大符号化単位ＳＡＯパラメータを生成する段階は、前記現在最大符号化単位について、前記バンドＳＡＯ調整を行うと決定された場合、前記バンドＳＡＯ調整のためのオフセット値を決定する段階と、前記決定されたオフセット値をさらに含む前記最大符号化単位ＳＡＯパラメータを生成する段階と、を含み、前記最大符号化単位ＳＡＯパラメータを生成する段階は、前記決定されたオフセット値が０ではない場合、前記オフセット値の符号を決定する段階と、前記オフセット値の符号情報をさらに含む前記最大符号化単位ＳＡＯパラメータを生成する段階と、をさらに含んでもよい。
本発明の一実施形態によるビデオ復号化装置は、受信されたビットストリームのスライスヘッダから、現在スライスに係わるスライスＳＡＯパラメータを獲得し、前記スライスＳＡＯパラメータのうちから、前記現在スライスのルマ成分のためのルマＳＡＯ使用情報、及びクロマ成分のためのクロマＳＡＯ使用情報を獲得するＳＡＯパラメータ獲得部；前記獲得されたルマＳＡＯ使用情報に基づいて、前記現在スライスのルマ成分についてＳＡＯ調整を行うか否かということを決定し、前記獲得されたクロマＳＡＯ使用情報に基づいて、前記現在スライスの第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを同一に決定するＳＡＯ決定部；及び前記受信されたビットストリームから獲得された前記現在スライスの符号化シンボルに対して復号化を行って復元された前記現在スライスのルマ成分、並びに前記第１クロマ成分及び第２クロマ成分について、それぞれ前記ＳＡＯ決定部の決定によってＳＡＯ調整を行うＳＡＯ調整部；を含む。
本発明の一実施形態によるビデオ符号化装置は、ビデオの現在スライスに対して、予測、変換及び量子化を行い、量子化された変換係数に対して、逆量子化、逆変換及び動き補償を行う符号化部；現在スライスのルマ成分についてＳＡＯ調整を行うか否かということを決定し、前記現在スライスの第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを同一に決定するＳＡＯ決定部；及び前記ＳＡＯ決定部の決定によって、前記ルマ成分についてＳＡＯ調整を行うか否かということを示すルマＳＡＯ使用情報、並びに前記第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを示すクロマＳＡＯ使用情報を含む、現在スライスに係わるスライスＳＡＯパラメータを生成し、前記スライスＳＡＯパラメータを含むスライスヘッダを生成するＳＡＯパラメータ符号化部；を含む。
本発明は、一実施形態によるＳＡＯ調整方法を遂行するためのプログラムが記録されたコンピューターで読み取り可能な記録媒体を含む。
以下、図１Ａ及び図１Ｂないし図７Ｆを参照し、一実施形態による、ピクセル分類によるＳＡＯ調整を利用するビデオ符号化技法及びビデオ復号化技法について開示する。また、図８ないし図２０を参照し、一実施形態による、ツリー構造の符号化単位に基づいた、ビデオ符号化技法及びビデオ復号化技法で、ピクセル分類によるＳＡＯ調整が利用される実施形態について開示する。以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示すものである。
まず、図１Ａ及び図１Ｂないし図７Ｆを参照し、一実施形態による、ピクセル分類によるＳＡＯ調整を利用するビデオ符号化技法及びビデオ復号化技法について開示する。また、図１Ａ、図１Ｂ、図２Ａ及び図２Ｂを参照して説明する一実施形態による、ビデオ符号化装置１０及びビデオ復号化装置２０は、原本ピクセルと復元ピクセルとの誤差を最小化するためにＳＡＯ調整を行う。一実施形態によるＳＡＯ調整によって、ビデオ符号化装置１０は、映像ブロックごとに、ピクセルを既定ピクセルグループに分類し、各ピクセルを当該ピクセルグループに割り当て、同一のピクセルグループに含まれた原本ピクセルと復元ピクセルとの誤差の平均値を示すオフセット値を符号化する。
ビデオ符号化装置１０と、ビデオ復号化装置２０との間にサンプルがシグナリングされる。すなわち、ビデオ符号化装置１０は、サンプルを符号化してビットストリーム形状で伝送し、ビデオ復号化装置２０は、受信したビットストリームから、サンプルをパージングして復元することができる。一実施形態による、ビデオ符号化装置１０とビデオ復号化装置２０は、ピクセル分類を介して決定されたオフセットほど復元ピクセル値を調整し、原本ピクセルと復元ピクセルとの誤差を最小化するために、ＳＡＯ調整のためのＳＡＯパラメータをシグナリングする。ビデオ符号化装置１０及びビデオ復号化装置２０の間に、ＳＡＯパラメータとしてオフセット値が符号化されて伝送されて受信され、ＳＡＯパラメータから、オフセット値が復号化される。
従って、一実施形態によるビデオ復号化装置２０は、受信されたビットストリームを復号化し、映像ブロックごとに復元ピクセルを生成し、ビットストリームからオフセット値を復元し、復元ピクセルを当該オフセットほど調整することにより、原本映像との誤差が最小化された復元映像を生成することができる。
以下、図１Ａ及び図１Ｂを参照し、ＳＡＯ調整を行うビデオ符号化装置１０の動作について詳細に説明し、図２Ａ及び図２Ｂを参照し、ＳＡＯ調整を行うビデオ復号化装置２０の動作について詳細に説明する。
図１Ａ及び図１Ｂは、一実施形態による、ビデオ符号化装置１０のブロック図と、ビデオ符号化装置のＳＡＯ調整方法のフローチャートと、を図示している。
一実施形態によるビデオ符号化装置１０は、符号化部１２、ＳＡＯ決定部１４及びＳＡＯパラメータ符号化部１６を含む。
一実施形態によるビデオ符号化装置１０は、ビデオのスライスのような映像を入力され、それぞれの映像をブロックに区画してブロック別に符号化する。ブロックのタイプは、正方形または長方形であり、任意の幾何学的形態であってもよい。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位のうち、最大符号化単位（ＬＣＵ：largest coding unit）、符号化単位（ＣＵ：coding unit）などであってもよい。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式は、図８ないし図２０を参照して後述する。
一実施形態によるビデオ符号化装置１０は、それぞれの入力映像を最大符号化単位に区画し、最大符号化単位ごとに、サンプルに対して、予測、変換、エントロピー符号化を行い、生成された結果データをビットストリーム形態で出力することができる。最大符号化単位のサンプルは、最大符号化単位に含まれたピクセルのピクセル値データであってもよい。
一実施形態による符号化部１２は、ピクチャーの最大符号化単位ごとに、符号化を個別的に行うことができる。一実施形態による符号化部１２は、現在最大符号化単位から分割されたツリー構造の符号化単位を基に、現在最大符号化単位を符号化することができる。
一実施形態による符号化部１２は、現在最大符号化単位の符号化のために、現在符号化単位に含まれたツリー構造の符号化単位ごとに、イントラ予測、インター予測、変換、量子化を行ってサンプルを符号化することができる。
一実施形態による符号化部１２は、符号化されたサンプルに対して、さらにツリー構造の符号化単位ごとに、逆量子化、逆変換、インター予測またはイントラ補償を介して復号化し、現在最大符号化単位に含まれたサンプルを復元することができる。
一実施形態によるビデオ符号化装置１０は、現在最大符号化単位が符号化される前の原本ピクセルと、さらに復号化した後の復元復元ピクセルとの誤差を最小化するために、原本ピクセルと復元ピクセルとの差値を示すオフセット値を決定することができる。
一実施形態による符号化部１２は、ビデオの現在スライスに対して、予測、変換及び量子化を行い、量子化された変換係数に対して、逆量子化、逆変換及び動き補償を行うことができる。符号化部１２は、まず、ビデオの現在スライスの符号化単位ごとに、予測、変換及び量子化を行うことができる。符号化部１２は、インター予測のための参照映像を生成するために、量子化された変換係数に対して、逆量子化、逆変換及び動き補償を行って復元映像を生成することができる。次の映像のインター予測のために、以前映像の復元映像が参照される。
一実施形態によるＳＡＯ決定部１４は、カラー成分別にＳＡＯ調整を行う。例えば、ＹＣｒＣｂカラー映像については、ルマ成分（Ｙ成分）、並びに第１クロマ成分及び第２クロマ成分（Ｃｒ，Ｃｂ成分）別にＳＡＯ調整が遂行される。
一実施形態によるＳＡＯ決定部１４は、現在スライスのルマ成分についてＳＡＯ調整を行うか否かということを決定することができる。一実施形態によるＳＡＯ決定部１４は、現在スライスの第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを決定するが、同一に決定することができる。すなわち、第１クロマカラー成分についてＳＡＯ調整が行われるならば、第２クロマ成分についてもＳＡＯ調整が行われ、第１クロマカラー成分についてＳＡＯ調整が行われないならば、第２クロマ成分についてもＳＡＯ調整が行われない。
一実施形態によるＳＡＯパラメータ符号化部１６は、現在スライスに係わるスライスＳＡＯパラメータを生成し、現在スライスに係わるスライスヘッダにＳＡＯパラメータを含める。
一実施形態によるＳＡＯパラメータ符号化部１６は、ＳＡＯ決定部１４の決定によって、ルマ成分についてＳＡＯ調整を行うか否かということを示すルマＳＡＯ使用情報を生成することができる。また、一実施形態によるＳＡＯパラメータ符号化部１６は、ＡＯ調整決定部１４の決定によって、第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを示すクロマＳＡＯ使用情報を生成することができる。
一実施形態によるＳＡＯパラメータ符号化部１６は、ルマＳＡＯ使用情報及びクロマＳＡＯ使用情報をスライスＳＡＯパラメータに含める。
一実施形態によるＳＡＯ決定部１４は、最大符号化単位別にオフセット値を決定することができる。オフセット値、ＳＡＯタイプ及びＳＡＯクラスを含むＳＡＯパラメータも、最大符号化単位別に決定することができる。
一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位のピクセル値分類方式によって、ＳＡＯタイプを決定することができる。一実施形態によるＳＡＯタイプは、エッジタイプまたはバンドタイプによって決定される。現在ブロックのピクセル値分類方式によって、現在ブロックをエッジタイプによってピクセルを分類するか、あるいはバンド形態によってピクセルを分類することが適するかということが決定される。
一実施形態によるＳＡＯタイプがエッジタイプである場合、現在最大符号化単位の復元ピクセルが隣接ピクセルと形成するエッジの方向及び形態によって、復元ピクセルと原本ピクセルとのオフセットが決定される。
一実施形態によるＳＡＯタイプがバンドタイプである場合、現在最大符号化単位の復元ピクセルのピクセル値の全範囲を分割した多数のバンドのうち、各バンドに属する復元ピクセルと原本ピクセルとのオフセットが決定される。場合によってバンドは、ピクセル値の全範囲を均等な間隔に分割するか、あるいは非均等間隔に分割することもできる。
従って、一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位のピクセル値の空間的特性に基づいて、エッジタイプであるか、あるいはバンドタイプであるかということを示す現在最大符号化単位のＳＡＯタイプを決定することができる。
一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位のＳＡＯタイプによって、復元ピクセルごとに、ＳＡＯクラスを決定することができる。一実施形態によるＳＡＯクラスは、エッジクラスまたはバンドクラスとして決定される。
エッジタイプの場合、一実施形態によるエッジクラスは、復元ピクセルが隣接ピクセルと形成するエッジの方向を示すことができる。一実施形態によるエッジクラスは、０゜、９０゜、４５゜または１３５゜のエッジ方向を示すことができる。
一実施形態によるＳＡＯ決定部１４は、ＳＡＯタイプがエッジタイプである場合、現在最大符号化単位の復元ピクセルごとに、エッジクラスを決定することができる。
バンドタイプの場合、一実施形態によるバンドクラスは、現在最大符号化単位のピクセル値の全範囲が所定個数の連続されるピクセル値区間に分割されるとき、各ピクセル値区間をバンドと称し、復元ピクセルのピクセル値が属するバンドを示すバンド位置を示すことができる。
例えば、一実施形態によるピクセル値が８ビットのサンプルである場合、ピクセル値の全範囲は、０ないし２５５であり、ピクセル値は、総３２個のバンドに分割される。その場合、総３２個のバンドのうち、復元ピクセルのピクセル値が属する所定個数のバンドが決定される。一実施形態によるバンドクラスは、連続する所定個数のバンドの開始位置（左側開始地点）を示し、最も先立つバンドの位置を、０ないし３１のバンドインデックスでもって表現することもできる。
エッジタイプの場合、現在最大符号化単位の復元ピクセルは、隣接ピクセルと形成するエッジ形態によって、所定個数のカテゴリーに分類される。例えば、凹状エッジの局部最低点（local valley）、凹状エッジの曲線コーナー、凸状エッジの曲線コーナー、凸状エッジの局部最高点（local peak）の４種エッジ形態によって、復元ピクセルが４個のカテゴリーに分類される。現在最大符号化単位の復元ピクセルごとに、いずれの形態のエッジを形成するかということによって、４個のカテゴリーのうち１つのカテゴリーに属すると決定される。
バンドタイプの場合、現在最大符号化単位の復元ピクセルのピクセル値が属するバンド位置によって、所定個数のカテゴリーに分類される。例えば、バンドクラスが示す開始位置、すなわち、最左側バンドの開始地点から連続する４個のバンドのバンドインデックスによって、復元ピクセルが４個のカテゴリーに分類される。現在最大符号化単位の復元ピクセルごとに、４個のバンドのうちいずれのバンドに属するかということによって、４個のカテゴリーのうち１つのカテゴリーに属すると決定される。
一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位の復元ピクセルごとに、カテゴリーを決定することができる。一実施形態によるＳＡＯ決定部１４は、現在符号化単位において、同一のカテゴリーに属する復元ピクセルについて、復元ピクセルと原本ピクセルとの差値を利用して、オフセット値を決定することができる。各カテゴリーごとに、復元ピクセルと原本ピクセルとの差値の平均、すなわち、復元ピクセルの平均誤差を、現在カテゴリーに対応するオフセット値として決定することができる。一実施形態によるＳＡＯ決定部１４は、カテゴリーごとにオフセット値を決定し、現在最大符号化単位のためのオフセット値として、すべてのカテゴリーのオフセット値を決定することができる。
例えば、現在最大符号化単位のＳＡＯタイプがエッジタイプであり、エッジ形態によって、復元ピクセルが４個のカテゴリーに分類されるか、あるいは現在最大符号化単位のＳＡＯタイプがバンドタイプであり、連続する４個のバンドのインデックスによって、復元ピクセルが４個のカテゴリーに分類される場合、一実施形態によるＳＡＯ決定部１４は、４個のカテゴリーごとに、属する復元ピクセルと原本ピクセルとの平均誤差を決定するので、４個のオフセット値を決定することができる。
一実施形態によるオフセット値は、それぞれ事前に設定された最小値より大きいか、あるいはそれと同じであり、事前に設定された最大値より小さいか、あるいは同じである。
一実施形態によるＳＡＯパラメータ符号化部１６は、ＳＡＯ決定部１４で決定された現在最大符号化単位のＳＡＯタイプ、ＳＡＯクラス及びオフセット値を含むＳＡＯパラメータを符号化して出力することができる。
各ブロックのＳＡＯパラメータは、各ブロックのＳＡＯタイプとオフセット値とを含んでもよい。ＳＡＯタイプとして、オフ（off）タイプ、エッジ（edge）タイプ、バンド（band）タイプが出力される。
ＳＡＯタイプがオフタイプである場合、現在最大符号化単位に対してＳＡＯ調整技法が適用されないということを示すことができる。その場合、現在最大符号化単位の残りのＳＡＯパラメータも、それ以上符号化される必要がない。
ＳＡＯタイプがエッジタイプである場合、ＳＡＯパラメータは、エッジクラスのうち各エッジクラスごとに対応するオフセット値を含んでもよい。また、ＳＡＯタイプがバンドタイプである場合、ＳＡＯパラメータは、バンドのうち各バンドごとに対応するオフセット値を含んでもよい。すなわち、ＳＡＯパラメータ符号化部１６は、各ブロックごとに、ＳＡＯパラメータを符号化することができる。
ＳＡＯパラメータを出力する実施形態は、以下図１ＢのＳＡＯ調整方法のフローチャートを参照して詳細に説明する。
一実施形態による符号化部１２は、現在スライスの最大符号化単位のうち現在最大符号化単位を、ツリー構造の符号化単位を基に符号化することができる。
段階１１で、ＳＡＯ決定部１４は、現在スライスのルマ成分についてＳＡＯ調整を行うか否かということを決定することができる。また、段階１３で、ＳＡＯ決定部１４は、現在スライスの第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを同一に決定することができる。
段階１５で、ＳＡＯ決定部１４は、段階１１の決定によって、ルマＳＡＯ使用情報を生成し、段階１３の決定によって、クロマＳＡＯ使用情報を生成することができる。ＳＡＯ決定部１４は、現在スライスに係わる、ルマＳＡＯ使用情報及びクロマＳＡＯ使用情報を含むスライスＳＡＯパラメータを生成することができる。
段階１７で、ＳＡＯ決定部１４は、段階１５で生成されたスライスＳＡＯパラメータを含むスライスヘッダを出力することができる。
一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位の第１ ＳＡＯパラメータを決定することができる。第１
ＳＡＯパラメータは、現在最大符号化単位のピクセル値分類方式がエッジタイプであるか、あるいはバンドタイプであるかということ示すＳＡＯタイプ；エッジタイプによるエッジ方向、またはバンドタイプによるバンド範囲を示すＳＡＯクラス；及びＳＡＯクラスに含まれる復元ピクセルと原本ピクセルとの差値を示すオフセット値；を含んでもよい。
一実施形態によるＳＡＯパラメータ符号化部１６は、所定個数のカテゴリー別に対応するオフセット値を出力することができる。
段階１７で、ＳＡＯパラメータ符号化部１６が、エッジタイプを示すＳＡＯタイプ情報を出力する場合、現在最大符号化単位内に含まれた復元ピクセルのエッジ方向によって、０゜、９０゜、４５゜または１３５゜の方向を示すエッジクラスを出力することができる。
段階１７で、ＳＡＯパラメータ符号化部１６が、バンドタイプを示すＳＡＯタイプ情報を出力する場合、現在最大符号化単位内に含まれた復元ピクセルのバンド位置を示すバンドクラスを出力することができる。
段階１７で、ＳＡＯパラメータ符号化部１６が、バンドタイプを示すＳＡＯタイプ情報を出力する場合、オフセット値として、オフセット値が０であるか否かということを示すゼロ値情報を出力することができる。オフセット値が０であるならば、ＳＡＯパラメータ符号化部１６は、オフセット値としてゼロ値情報のみを出力すればよい。
オフセット値が０ではないならば、ＳＡＯパラメータ符号化部１６は、ゼロ値情報に続き、オフセット値が正数であるか負数であるかということを示す符号情報、及び残りのオフセット値をさらに出力することができる。
段階１７で、ＳＡＯパラメータ符号化部１６が、エッジタイプを示すＳＡＯタイプ情報を出力する場合、ゼロ値情報及び残りのオフセット値を出力することができる。エッジタイプの場合、オフセット値の符号情報を出力する必要がない。エッジ形態によるカテゴリーのみでもってオフセット値の符号が予測されるからである。オフセット値符号の予測については、図５Ａ及び図５Ｂを参照して後述する。
また、ＳＡＯ決定部１４は、カラー成分によって、最大符号化単位のＳＡＯ調整いかん及びＳＡＯタイプを決定することができる。
一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位のルマ成分についてＳＡＯ調整を行うか否かということを決定することができる。ＳＡＯパラメータ符号化部１６は、現在最大符号化単位のルマ成分についてＳＡＯ調整を行うか否かということを示すルマＳＡＯタイプ情報を生成することができる。
一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位の第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを同一に決定することができる。ＳＡＯパラメータ符号化部１６は、現在最大符号化単位の第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを示すクロマＳＡＯタイプ情報を生成することができる。
また、一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位のルマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを決定することができる。ＳＡＯパラメータ符号化部１６は、現在最大符号化単位のルマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを示すルマＳＡＯタイプ情報を生成することができる。
一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位の第１クロマ成分及び第２クロマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを同一に決定することができる。ＳＡＯパラメータ符号化部１６は、現在最大符号化単位の第１クロマ成分及び第２クロマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを示すクロマＳＡＯタイプ情報を生成することができる。
現在最大符号化単位の第１クロマ成分及び第２クロマ成分についてエッジＳＡＯ調整を行うと決定された場合、一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位の第１クロマ成分及び第２クロマ成分について同一のエッジ方向のＳＡＯクラスを決定することができる。従って、ＳＡＯパラメータ符号化部１６は、現在最大符号化単位の第１クロマ成分及び第２クロマ成分の同一のエッジ方向についての情報を含むＳＡＯパラメータを生成することができる。
一実施形態によるＳＡＯパラメータ符号化部１６は、現在最大符号化単位に係わるＳＡＯパラメータに、ルマＳＡＯタイプ情報及びクロマＳＡＯタイプ情報を含める。
一実施形態によるＳＡＯパラメータ符号化部１６は、現在最大符号化単位の第１ ＳＡＯパラメータと隣接する左側最大符号化単位または上端最大符号化単位の第２ ＳＡＯパラメータの同一性に基づいて、現在最大符号化単位の第１ ＳＡＯパラメータとして、第２ ＳＡＯパラメータを採択するか否かということを示す現在最大符号化単位のＳＡＯ併合情報を出力することができる。
一実施形態によるＳＡＯパラメータ符号化部１６は、現在最大符号化単位の左側最大符号化単位及び上端最大符号化単位のうち少なくとも１つのＳＡＯパラメータが、現在最大符号化単位のＳＡＯパラメータと同一であるならば、現在ブロックのＳＡＯパラメータは除外し、ＳＡＯ併合情報だけ符号化することもできる。その場合、現在最大符号化単位のＳＡＯパラメータとして、左側最大符号化単位または上端最大符号化単位のＳＡＯパラメータを採択することを示すＳＡＯ併合情報を出力することができる。
一実施形態によるＳＡＯパラメータ符号化部１６は、左側最大符号化単位及び上端最大符号化単位のＳＡＯパラメータが、現在最大符号化単位のＳＡＯパラメータと異なっているならば、現在ブロックのＳＡＯ併合情報とＳＡＯパラメータとを符号化することができる。その場合、現在最大符号化単位のＳＡＯパラメータとして、左側最大符号化単位または上端最大符号化単位のＳＡＯパラメータを採択しないということを示すＳＡＯ併合情報を出力することができる。
現在最大符号化単位の左側最大符号化単位または上端最大符号化単位の第２ ＳＡＯパラメータと、第１ ＳＡＯパラメータとが同一であるならば、第２ ＳＡＯパラメータを参照し、第１ ＳＡＯパラメータが予測される。一実施形態によるＳＡＯパラメータ符号化部１６が、第１ ＳＡＯパラメータとして、第２ ＳＡＯパラメータを採択する場合には、ＳＡＯ併合情報のみを出力し、それ以外に、現在最大符号化単位のＳＡＯタイプ、ＳＡＯクラス、オフセット値を出力しない。
ただし、現在最大符号化単位の左側最大符号化単位または上端最大符号化単位の第２Ｓ Ｏパラメータと、第１ ＳＡＯパラメータとが同一ではなければ、第２ ＳＡＯパラメータとは別個に、第１ ＳＡＯパラメータが予測される。段階１９で、ＳＡＯパラメータ符号化部１６が、第１ ＳＡＯパラメータとして、第２ ＳＡＯパラメータを採択しない場合には、現在最大符号化単位のＳＡＯ併合情報に続き、現在最大符号化単位のＳＡＯタイプ、オフセット値及びＳＡＯクラスを含むように、第１ ＳＡＯパラメータを出力することができる。
一実施形態によるＳＡＯパラメータ符号化部１６は、第１ ＳＡＯパラメータのＳＡＯタイプ、オフセット値及びＳＡＯクラスを出力する場合、現在最大符号化単位のＳＡＯタイプ、カテゴリー別オフセット値、そしてＳＡＯクラスの順序で出力することができる。
ＳＡＯ調整が行われるならば、ＳＡＯ決定部１４は、最大符号化単位ごとに、それぞれのＳＡＯ併合情報と、ＳＡＯパラメータとを決定することができる。その場合、ＳＡＯパラメータ符号化部１６は、現在スライスにＳＡＯ調整が行われるということを示すＳＡＯ使用情報を出力した後、最大符号化単位ごとに決定されたそれぞれのＳＡＯ併合情報と、ＳＡＯパラメータとを出力することができる。
もし現在スライスでＳＡＯ調整が行われないならば、ＳＡＯ決定部１４は、現在スライスの最大符号化単位のオフセットを決定する必要がなく、ＳＡＯパラメータ符号化部１６は、現在スライスでオフセットが調整されないということを示すＳＡＯ調整情報のみを出力すればよい。
一実施形態によるＳＡＯ決定部１４は、現在最大符号化単位の左側または上端に隣接する最大符号化単位のＳＡＯパラメータを参照し、現在最大符号化単位のＳＡＯパラメータを決定するか否かということを、カラー成分ごとに異なって決定するのではなく、ルマ成分及びクロマ成分について同一に決定することができる。
まず、一実施形態によるＳＡＯ決定部１４が、現在スライスの最大符号化単位のうち、現在最大符号化単位の左側最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを利用して、現在最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを予測するか否かということを決定することができる。
左側最大符号化単位のＳＡＯパラメータを利用して、現在最大符号化単位のＳＡＯパラメータを予測するか否かということに基づいて、一実施形態によるＳＡＯパラメータ符号化部１６は、現在最大符号化単位のための左側ＳＡＯ併合情報を生成することができる。すなわち、ルマ成分、第１クロマ成分及び第２クロマ成分の区別なしに、同一の左側ＳＡＯ併合情報が生成される。
次に、ＳＡＯ決定部１４が、現在スライスの最大符号化単位のうち、現在最大符号化単位の上端最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを利用して、現在最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを予測するか否かということを決定することができる。
上端最大符号化単位のＳＡＯパラメータを利用して、現在最大符号化単位のＳＡＯパラメータを予測するか否かということに基づいて、一実施形態によるＳＡＯパラメータ符号化部１６は、現在最大符号化単位のための上端ＳＡＯ併合情報を生成することができる。
一実施形態によるＳＡＯパラメータ符号化部１６は、現在最大符号化単位に係わる、左側最大符号化単位ＳＡＯ併合情報及び上端最大符号化単位ＳＡＯ併合情報を含む最大符号化単位ＳＡＯパラメータを生成することができる。
ビデオ符号化装置１０は、量子化された変換係数及び符号化情報を含む符号化シンボルについてエントロピー符号化を行い、ビットストリームを生成することができる。一実施形態によるビデオ符号化装置１０は、ＳＡＯパラメータについて、ＣＡＢＡＣ（context-adaptive binary arithemeti ccoding）基盤のエントロピー符号化を行うことができる。
一実施形態によるビデオ符号化装置１０は、ルマＳＡＯタイプ情報のうち、現在最大符号化単位のルマ成分についてＳＡＯ調整を行うか否かということを示す情報を示す最初のコンテクストビンについてＣＡＢＡＣ符号化を行うことができる。
一実施形態によるビデオ符号化装置１０は、ルマＳＡＯタイプ情報のうち、現在最大符号化単位のルマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを示す情報を示す残りのコンテクストビンについては、バイパスモードで、ＣＡＢＡＣ符号化を行うことができる。
一実施形態によるビデオ符号化装置１０は、現在最大符号化単位に係わる最大符号化単位ＳＡＯパラメータのうち、左側ＳＡＯ併合情報及びＳＡＯ併合情報について、同一のコンテクストモードを利用して、ＣＡＢＡＣ符号化を行うことができる。
一実施形態によるビデオ符号化装置１０は、最大符号化単位ＳＡＯパラメータのうち、オフセットのサイズ値情報について、バイパスモードで、ＣＡＢＡＣ符号化を行うことができる。オフセットのサイズ値情報は、ビデオのビットデプスに基づく範囲内の値であるオフセットサイズ値を示すことができる。例えば、ビットデプスが８ビットである場合、オフセットサイズ値は、０より大きいか、あるいはそれと同じであり、７より小さいか、あるいはそれと同じ値であってもよい。他の例として、ビットデプスが１０ビットである場合、オフセットサイズ値は、０より大きいか、あるいはそれと同じであり、３１より小さいか、あるいはそれと同じ値であってもよい。
現在最大符号化単位についてバンドＳＡＯ調整を行うと決定された場合、一実施形態によるビデオ符号化装置１０は、ルマＳＡＯクロマタイプ情報及びクロマＳＡＯタイプ情報のうち少なくとも一つにおいて、バンドの左側開始時点についての情報の固定ビットトレングスのビットについて、バイパスモードで、ＣＡＢＡＣ符号化を行うことができる。
現在最大符号化単位についてバンドＳＡＯ調整を行うと決定された場合、ＳＡＯ決定部１４０は、バンドＳＡＯ調整のためのオフセット値を決定することができる。それによって、ＳＡＯパラメータ符号化部１０も、バンドＳＡＯ調整のためのオフセット値をさらに含む最大符号化単位ＳＡＯパラメータを生成することができる。
ただし、バンドＳＡＯ調整のために決定されたオフセット値が０ではない場合、ＳＡＯ決定部１４０は、オフセット値の符号をさらに決定することができる。それによって、ＳＡＯパラメータ符号化部１０も、オフセット値の符号情報をさらに含む最大符号化単位ＳＡＯパラメータを生成することができる。
一実施形態によるビデオ符号化装置１０は、符号化部１２、ＳＡＯ決定部１４及びＳＡＯパラメータ符号化部１６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、符号化部１２、ＳＡＯ決定部１４及びＳＡＯパラメータ符号化部１６がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ符号化装置１０が全体的に作動することもできる。または、一実施形態によるビデオ符号化装置１０の外部プロセッサ（図示せず）の制御によって、符号化部１２、ＳＡＯ決定部１４及びＳＡＯパラメータ符号化部１６が制御されてもよい。
一実施形態によるビデオ符号化装置１０は、符号化部１２、ＳＡＯ決定部１４及びＳＡＯパラメータ符号化部１６の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ符号化装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
一実施形態によるビデオ符号化装置１０は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディング・プロセッサまたは外部ビデオエンコーディング・プロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行することができる。一実施形態によるビデオ符号化装置１０の内部ビデオエンコーディング・プロセッサは、別個のプロセッサとして、ビデオ符号化動作を具現することができる。また、ビデオ符号化装置１０、中央演算装置またはグラフィック演算装置が、ビデオエンコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も含んでもよい。
図２Ａ及び図２Ｂは、一実施形態によるビデオ復号化装置２０のブロック図と、ビデオ復号化装置のＳＡＯ調整方法のフローチャートとを図示している。
一実施形態によるビデオ復号化装置２０は、ＳＡＯパラメータ獲得部２２、ＳＡＯ決定部２４及びＳＡＯ調整部２６を含む。
一実施形態によるビデオ復号化装置２０は、ビデオの符号化されたデータを含むビットストリームを受信する。ビデオ復号化装置２０は、受信したビットストリームから、符号化されたビデオサンプルをパージングし、映像ブロック別に、エントロピー復号化、逆量子化、逆変換、予測及び動き補償を行って復元ピクセルを生成し、結果として、復元映像を生成することができる。
また、一実施形態によるビデオ復号化装置２０は、原本ピクセルと復元ピクセルとの差値を示すオフセット値を受信し、原本映像と復元映像との誤差を最小化することができる。ビデオ復号化装置２０は、ビデオの最大符号化単位別に符号化されたデータを受信し、それぞれの最大符号化単位から分割されたツリー構造の符号化単位を基に、それぞれの最大符号化単位を復元することができる。
一実施形態によるＳＡＯパラメータ獲得部２２は、受信されたビットストリームのスライスヘッダから、現在スライスに係わるスライスＳＡＯパラメータを獲得することができる。ＳＡＯパラメータ獲得部２２は、スライスＳＡＯパラメータのうちから、現在スライスのルマ成分のためのルマＳＡＯ使用情報、及びクロマ成分のためのクロマＳＡＯ使用情報を獲得することができる。
一実施形態によるＳＡＯ決定部２４は、ＳＡＯパラメータ獲得部２２によって獲得されたルマＳＡＯ使用情報に基づいて、現在スライスのルマ成分についてＳＡＯ調整を行うか否かということを決定することができる。
一実施形態によるＳＡＯ決定部２４は、ＳＡＯパラメータ獲得部２２によって獲得されたクロマＳＡＯ使用情報に基づいて、現在スライスの第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを同一に決定することができる。すなわち、第１クロマカラー成分についてＳＡＯ調整が行われるならば、第２クロマ成分についてもＳＡＯ調整が行われ、第１クロマカラー成分についてＳＡＯ調整が行われないならば、第２クロマ成分についてもＳＡＯ調整が行われない。
一実施形態によるビデオ復号化装置２０は、受信されたビットストリームから獲得された現在スライスの符号化サンプル及び符号化情報を含む符号化シンボルについて復号化を行い、現在スライスを復元することができる。一実施形態によるＳＡＯ調整部２６は、復元された現在スライスのルマ成分、並びに第１クロマ成分及び第２クロマ成分について、それぞれＳＡＯ決定部２４の決定によって、ＳＡＯ調整を行うことができる。
以下、現在最大符号化単位のサンプルを復元してオフセットを調整する方法について、図２Ｂを参照して詳細に説明する。
段階２１で、一実施形態によるＳＡＯパラメータ獲得部２２は、受信されたビットストリームのスライスヘッダから、現在スライスに係わるスライスＳＡＯパラメータを獲得することができる。段階２３で、ＳＡＯパラメータ獲得部２２は、スライスＳＡＯパラメータのうちから、ルマＳＡＯ使用情報及びクロマＳＡＯ使用情報を獲得することができる。
段階２５で、ＳＡＯ決定部２４は、段階２３で獲得されたルマＳＡＯ使用情報に基づいて、現在スライスのルマ成分についてＳＡＯ調整を行うか否かということを決定することができる。ルマＳＡＯ使用情報がＳＡＯ調整が行われるということを示しているならば、ＳＡＯ調整部２６は、現在スライスのルマカラー成分についてＳＡＯ調整を行うことができる。
段階２７で、ＳＡＯ決定部２４は、段階２３で獲得されたクロマＳＡＯ使用情報に基づいて、現在スライスの第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを同一に決定することができる。クロマＳＡＯ使用情報が、ＳＡＯ調整が行われるということを示しているならば、ＳＡＯ調整部２６は、現在スライスの第１クロマカラー成分及び第２クロマカラー成分についてＳＡＯ調整を行うことができる。
また、一実施形態によるＳＡＯパラメータ獲得部２２は、受信したビットストリームから、現在最大符号化単位のＳＡＯ併合情報を抽出することができる。現在最大符号化単位のＳＡＯ併合情報は、現在最大符号化単位の第１ ＳＡＯパラメータとして、現在最大符号化単位の左側最大符号化単位または上端最大符号化単位の第２ ＳＡＯパラメータを採択するか否かということを示す。
一実施形態によるＳＡＯパラメータ獲得部２２は、ＳＡＯ併合情報に基づいて、現在最大符号化単位のＳＡＯタイプ、オフセット値及びＳＡＯクラスを含む第１ ＳＡＯパラメータを復元することができる。
一実施形態によるＳＡＯパラメータ獲得部２２は、ＳＡＯ併合情報に基づいて、現在最大符号化単位のＳＡＯタイプ、オフセット値及びＳＡＯクラスを、第２ ＳＡＯパラメータと同一に復元するか、あるいはビットストリームから、ＳＡＯタイプ、オフセット値及びＳＡＯクラスを抽出するか否かということを決定することができる。
一実施形態によるＳＡＯ決定部２４は、ＳＡＯパラメータ獲得部２２によって決定されたＳＡＯタイプに基づいて、現在最大符号化単位のピクセル値分類方式が、エッジタイプであるか、あるいはバンドタイプであるかということ決定することができる。ＳＡＯタイプから、オフタイプ、エッジタイプ、バンドタイプが決定される。
ＳＡＯタイプがオフタイプである場合、現在最大符号化単位で、ＳＡＯ調整技法が適用されないということが決定される。その場合、現在最大符号化単位の残りのＳＡＯパラメータも、それ以上パージングされる必要がない。
一実施形態によるＳＡＯ決定部２４は、ＳＡＯパラメータ獲得部２２によって決定されたＳＡＯクラスに基づいて、現在最大符号化単位のエッジタイプによるエッジ方向、またはバンドタイプによるバンド範囲を決定することができる。
一実施形態によるＳＡＯ決定部２４は、ＳＡＯパラメータ獲得部２２によって決定されたオフセット値に基づいて、先立って決定されたＳＡＯクラスに含まれる復元ピクセルと原本ピクセルとの差値を決定することができる。
一実施形態によるＳＡＯ調整部２６は、現在最大符号化単位から分割されたツリー構造の符号化単位に基づいて復元されたサンプルのピクセル値を、ＳＡＯ決定部２４によって決定された差値ほど調整することができる。
一実施形態によるＳＡＯパラメータ獲得部２２は、ＳＡＯ併合情報に基づいて、第１ＳＡＯパラメータとして、左側最大符号化単位または上端最大符号化単位の第２ ＳＡＯパラメータを採択すると決定することができる。その場合、ＳＡＯ決定部２４は、現在最大符号化単位の第１ ＳＡＯパラメータを抽出せず、先に復元された第２ ＳＡＯパラメータと同一に、第１ ＳＡＯパラメータを復元することもできる。
一実施形態によるＳＡＯパラメータ獲得部２２は、ＳＡＯ併合情報に基づいて、第１ＳＡＯパラメータとして、第２ ＳＡＯパラメータを採択しないと決定することもできる。その場合、ＳＡＯ決定部２４は、ビットストリームから、ＳＡＯ併合情報に続く第１ ＳＡＯパラメータを抽出して復元することができる。
一実施形態によるＳＡＯパラメータ獲得部２２は、現在最大符号化単位のルマ成分、第１クロマ成分及び第２クロマ成分のために、共通のＳＡＯ併合情報を抽出することができる。ＳＡＯ決定部２４は、共通のＳＡＯ併合情報に基づいて、ルマ成分のＳＡＯパラメータ、第１クロマ成分のＳＡＯパラメータ、及び第２クロマ成分のＳＡＯパラメータを、隣接する最大符号化単位のＳＡＯパラメータと同一に復元するか否かということを決定することができる。
一実施形態によるＳＡＯ決定部２４は、現在最大符号化単位の第１クロマ成分及び第２クロマ成分のために、共通のＳＡＯタイプを復元することができる。
一実施形態によるＳＡＯ決定部２４は、ＳＡＯパラメータから、所定個数のカテゴリーに対応するオフセット値を決定することができる。それぞれのオフセット値は、事前に設定された最小値より大きいか、あるいはそれと同じであり、事前に設定された最大値より小さいか、あるいは同じである。
一実施形態によるＳＡＯタイプ情報がエッジタイプを示す場合、オフセットＳＡＯ決定部２４は、クラスに基づいて、現在最大符号化単位内に含まれた復元ピクセルのエッジの方向を、０゜、９０゜、４５゜または１３５゜のうち一つに決定することができる。
一実施形態によるＳＡＯタイプ情報がバンドタイプを示す場合、ＳＡＯ決定部２４は、ＳＡＯクラスに基づいて、復元ピクセルのピクセル値が属するバンドの位置を決定することができる。
一実施形態によるＳＡＯタイプ情報がバンドタイプを示す場合、ＳＡＯ決定部２４は、オフセット値のうちゼロ値情報に基づいて、オフセット値が０であるか否かということを決定することができる。ゼロ値情報に基づいて、オフセット値が０であると決定される場合、オフセット値からゼロ値情報以外の情報は復元されない。
ゼロ値情報に基づいて、オフセット値が０ではないならば、ＳＡＯ決定部２４は、オフセット値のうち、ゼロ値情報に続く符号情報に基づいて、オフセット値が正数であるか負数であるかということを決定することができる。また、オフセット値のうち、符号情報に続く残りのオフセット値を復元することにより、ＳＡＯ決定部２４は、最終オフセット値を決定することができる。
また、一実施形態によるＳＡＯタイプ情報がエッジタイプを示す場合、ＳＡＯ決定部２４は、オフセット値のうちゼロ値情報に基づいて、オフセット値が０ではないならば、オフセット値のうちゼロ値情報に続く残りのオフセット値を復元することにより、ＳＡＯ決定部２４は、最終オフセット値を決定することができる。
一実施形態によるビデオ復号化装置２０は、カラー成分によって、ＳＡＯパラメータを獲得してＳＡＯ調整を行うことができる。
一実施形態によるＳＡＯパラメータ獲得部２２は、ビットストリームから、現在スライスの最大符号化単位別に、最大符号化単位ＳＡＯパラメータを獲得することができる。ＳＡＯパラメータ獲得部２２は、最大符号化単位ＳＡＯパラメータのうちから、左側ＳＡＯ併合情報及び上端ＳＡＯ併合情報のうち少なくとも一つを獲得することができる。
一実施形態によるＳＡＯパラメータ獲得部２２は、左側ＳＡＯ併合情報に基づいて、現在最大符号化単位の上端に隣接する最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを利用して、現在最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを予測するか否かということを決定することができる。
左側ＳＡＯ併合情報が、左側最大符号化単位のＳＡＯパラメータを利用して、現在ＳＡＯパラメータを予測するように表示しているのであるならば、カラー成分ごとに、現在最大符号化単位のカラー成分別ＳＡＯパラメータとして、左側最大符号化単位に係わるカラー成分別ＳＡＯパラメータが採択される。
ただし、左側ＳＡＯ併合情報に基づいて、左側最大符号化単位のＳＡＯパラメータを利用して、現在最大符号化単位のＳＡＯパラメータを予測しないと決定される場合、一実施形態によるＳＡＯパラメータ獲得部２２は、ビットストリームから、上端ＳＡＯ併合情報をさらに獲得することができる。
一実施形態によるＳＡＯパラメータ獲得部２２は、上端ＳＡＯ併合情報に基づいて、現在最大符号化単位の上端に隣接する最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを利用して、現在最大符号化単位のルマ成分、並びに第１クロマ成分及び第２クロマ成分に係わるＳＡＯパラメータを予測するか否かということを決定することができる。
上端ＳＡＯ併合情報が上端最大符号化単位のＳＡＯパラメータを利用して、現在ＳＡＯパラメータを予測するように表示しているのであるならば、カラー成分ごとに、現在最大符号化単位のカラー成分別ＳＡＯパラメータとして、上端最大符号化単位に係わるカラー成分別ＳＡＯパラメータが採択される。
ただし、上端ＳＡＯ併合情報が上端最大符号化単位のＳＡＯパラメータを利用して、現在ＳＡＯパラメータを予測しないように表示しているのであるならば、ＳＡＯパラメータ獲得部２２は、カラー成分ごとに、現在最大符号化単位のカラー成分別ＳＡＯパラメータを、ビットストリームから獲得することができる。
一実施形態によるＳＡＯパラメータ獲得部２２は、最大符号化単位ＳＡＯパラメータのうちから、現在最大符号化単位のルマ成分のためのルマＳＡＯタイプ情報、及びクロマ成分のためのクロマＳＡＯタイプ情報を獲得することができる。
一実施形態によるＳＡＯ決定部２４は、ルマＳＡＯタイプ情報に基づいて、現在最大符号化単位のルマ成分についてＳＡＯ調整を行うか否かということを決定することができる。一実施形態によるＳＡＯ調整部２６は、ＳＡＯ決定部２４の決定によって、現在最大符号化単位のルマ成分についてＳＡＯ調整を行うこともあり、あるいは行わないこともある。
一実施形態によるＳＡＯ決定部２４は、クロマＳＡＯタイプ情報に基づいて、現在最大符号化単位の第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを同一に決定することができる。一実施形態によるＳＡＯ調整部２６は、ＳＡＯ決定部２４の決定によって、現在最大符号化単位の第１クロマ成分及び第２クロマ成分について共にＳＡＯ調整を行うか、あるいは共に行わないこともある。
一実施形態によるＳＡＯ決定部２４は、ルマＳＡＯタイプ情報及びクロマＳＡＯタイプ情報の最初のビットに基づいて、ＳＡＯ遂行いかんを決定することができる。カラー成分別に、ＳＡＯ調整が行われると決定されるのであるならば、当該ＳＡＯタイプ情報の２番目のビット及び残りのビットが獲得される。
一実施形態によるＳＡＯ決定部２４は、ルマＳＡＯタイプ情報に基づいて、現在最大符号化単位のルマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを決定することができる。ルマＳＡＯタイプ情報の２番目のビットがエッジＳＡＯ調整であるか、あるいはバンドＳＡＯ調整であるかということを示すことができる。一実施形態によるＳＡＯ調整部２６は、ＳＡＯ決定部２４の決定によって、現在最大符号化単位のルマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれか一つを行うことができる。
一実施形態によるＳＡＯ決定部２４は、クロマＳＡＯタイプ情報に基づいて、現在最大符号化単位の第１クロマ成分及び第２クロマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを同一に決定することができる。クロマＳＡＯタイプ情報の２番目のビットがエッジＳＡＯ調整であるか、あるいはバンドＳＡＯ調整であるかということを示すことができる。一実施形態によるＳＡＯ調整部２６は、ＳＡＯ決定部２４の決定によって、現在最大符号化単位の第１クロマ成分及び第２クロマ成分について共にエッジＳＡＯ調整を行うか、あるいは共にバンドＳＡＯ調整を行うことができる。
また、現在最大符号化単位の第１クロマ成分及び第２クロマ成分についてエッジＳＡＯ調整を行うと決定された場合、ＳＡＯ決定部２４は、クロマＳＡＯタイプ情報に基づいて、現在最大符号化単位の第１クロマ成分及び第２クロマ成分が同一のエッジ方向を有するということを決定することができる。
一実施形態によるＳＡＯパラメータ獲得部２４は、ルマＳＡＯタイプ情報を獲得するために、ルマＳＡＯタイプ情報のうち最初のコンテクストビンについてＣＡＢＡＣ復号化を行うことができる。ルマＳＡＯタイプ情報のうち、最初のコンテクストビンを復号化することにより、現在最大符号化単位のルマ成分についてＳＡＯ調整を行うか否かということを示す情報が獲得される。
一実施形態によるＳＡＯパラメータ獲得部２４は、ルマＳＡＯタイプ情報のうち残りのコンテクストビンについて、バイパスモードで、ＣＡＢＡＣ復号化を行うことができる。ルマＳＡＯタイプ情報のうち残りのコンテクストビンを復号化することにより、現在最大符号化単位のルマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを示す情報が獲得される。
それと同様に、一実施形態によるＳＡＯパラメータ獲得部２４は、クロマＳＡＯタイプ情報を獲得するために、クロマＳＡＯタイプ情報のうち、最初のコンテクストビンについてＣＡＢＡＣ復号化を行うことができる。クロマＳＡＯタイプ情報のうち、最初のコンテクストビンを復号化することにより、現在最大符号化単位の第１クロマ成分及び第２クロマ成分についてＳＡＯ調整を行うか否かということを示す情報が獲得される。
一実施形態によるＳＡＯパラメータ獲得部２４は、クロマＳＡＯタイプ情報のうち残りのコンテクストビンについて、バイパスモードで、ＣＡＢＡＣ復号化を行うことができる。クロマＳＡＯタイプ情報のうち残りのコンテクストビンを復号化することにより、現在最大符号化単位の第１クロマ成分及び第２クロマ成分について、エッジＳＡＯ調整及びバンドＳＡＯ調整のうちいずれを行うかということを示す情報が獲得される。
一実施形態によるＳＡＯパラメータ獲得部２４は、現在最大符号化単位の左側ＳＡＯ併合情報及び上端ＳＡＯ併合情報を獲得するために、同一のコンテクストモードを利用して、ＣＡＢＡＣ復号化を行うことができる。
一実施形態によるＳＡＯパラメータ獲得部２４は、最大符号化単位ＳＡＯパラメータのうちからオフセットのサイズ値情報を獲得するために、バイパスモードで、ＣＡＢＡＣ復号化を行うことができる。獲得されたオフセットのサイズ値情報は、ビデオのビットデプスに基づく限界値以下の値に制限される。ビデオのビットデプスに基づく範囲内の値であるオフセットサイズ値を示すことができる。例えば、８ビットのビットデプスの場合、オフセットサイズ値は、０以上７以下の値であり、１０ビットのビットデプスの場合、オフセットサイズ値は、０以上３１以下の値であってもよい。
また、クロマＳＡＯタイプ情報の２番目のビットから、現在最大符号化単位についてバンドＳＡＯ調整を行うと読み取られた場合、一実施形態によるＳＡＯパラメータ獲得部２４は、クロマＳＡＯタイプ情報の２番目のビットの次に続く固定ビットトレングスのビットについて、バイパスモードで、ＣＡＢＡＣ復号化を行うことができる。ルマＳＡＯクロマタイプ情報及びクロマＳＡＯタイプ情報のうち少なくとも１つの固定ビットトレングスのビットから、バンドの左側開始時点についての情報が獲得される。
また、一実施形態によるＳＡＯパラメータ獲得部２４は、最大符号化単位ＳＡＯパラメータから、ＳＡＯ調整のためのオフセット値を獲得することができる。
ルマＳＡＯタイプ情報またはクロマＳＡＯタイプ情報から、現在最大符号化単位についてバンドＳＡＯ調整を行うと決定された場合、獲得されたオフセット値が０ではないならば、ＳＡＯパラメータ獲得部２４は、最大符号化単位ＳＡＯパラメータから、オフセット値の符号情報をさらに獲得することができる。
ルマＳＡＯタイプ情報またはクロマＳＡＯタイプ情報から、現在最大符号化単位についてエッジＳＡＯ調整を行うと決定された場合には、ＳＡＯクラス情報によって決定されたエッジ方向に基づいて、オフセット値の符号が決定される。
一実施形態によるビデオ復号化装置２０は、ＳＡＯパラメータ獲得部２２、ＳＡＯ決定部２４及びＳＡＯ調整部２６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、ＳＡＯパラメータ獲得部２２、ＳＡＯ決定部２４及びＳＡＯ調整部２６がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ復号化装置２０が全体的に作動することもできる。または、一実施形態によるビデオ復号化装置２０の外部プロセッサ（図示せず）の制御によって、ＳＡＯパラメータ獲得部２２、ＳＡＯ決定部２４及びＳＡＯ調整部２６が制御されてもよい。
一実施形態によるビデオ復号化装置２０は、ＳＡＯパラメータ獲得部２２、ＳＡＯ決定部２４及びＳＡＯ調整部２６の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ復号化装置２０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
一実施形態によるビデオ復号化装置２０は、ビデオ復号化を介してビデオを復元するために、内部に搭載されたビデオデコーディング・プロセッサまたは外部ビデオデコーディング・プロセッサと連繋して作動することにより、ビデオ復号化動作を遂行することができる。一実施形態によるビデオ復号化装置２０の内部ビデオデコーディング・プロセッサは、別個のプロセッサとして、基本的なビデオ復号化動作を具現することができる。また、ビデオ復号化装置２０、中央演算装置またはグラフィック演算装置がビデオデコーディングプロセッシングモジュールを含むことにより、基本的なビデオ復号化動作を具現する場合も含んでもよい。
以下、図３を参照し、ＳＡＯ技法を利用するビデオ復号化方式について詳細に説明する。図３は、他の実施形態によるビデオ復号化装置３０のブロック図を図示している。
ビデオ復号化装置３０は、エントロピー復号化部３１、逆量子化部３２、逆変換部３３、復元部３４、イントラ予測部３５、参照ピクチャバッファ３６、動き補償部３７、デブロッキング・フィルタリング部３８、ＳＡＯ部３９を含む。
ビデオ復号化装置３０は、符号化されたビデオデータを含むビットストリームを受信することができる。エントロピー復号化部３１で、ビットストリ−ムから、イントラモード情報、インターモード情報、ＳＡＯ情報、残差データ（residues）がパージングされる。
エントロピー復号化部３１によって抽出された残差データは、量子化された変換係数であってもよい。従って、逆量子化部３２で、残差データについて逆量子化を行って変換係数を復元し、逆変換部３３で、復元された復元係数について逆変換を行い、空間領域の残差値を復元することができる。
空間領域の残差値を予測復元するために、イントラ予測または動き補償が行われる。
エントロピー復号化部３１で、イントラモード情報が抽出された場合には、イントラ予測部３５がイントラモード情報を利用して、現在サンプルに空間的に隣接する隣接サンプルのうちいずれのサンプルを参照し、現在サンプルを復元するかということを決定することができる。参照する隣接サンプルを、復元部３４によって、以前に復元されたサンプルのうちから選択する。復元部３４は、イントラモード情報に基づいて、決定された参照サンプルと、逆変換部３３で復元された残差値とを利用して、現在サンプルを復元することができる。
エントロピー復号化部３１で、インターモード情報が抽出された場合には、動き補償部３７が、インターモード情報を利用して、現在ピクチャより先に復元されたピクチャのうちいずれのサンプルを参照し、現在ピクチャの現在サンプルを復元するかということを決定することができる。インターモード情報は、動きベクトル、参照インデックスなどを含んでもよい。参照インデックスを利用して、現在ピクチャより先に復元され、参照ピクチャバッファ３６に保存されたピクチャのうち、現在サンプルの動き補償のための参照ピクチャが決定される。動きベクトルを利用して、参照ピクチャのうち現在ブロックの動き補償のための参照ブロックが決定される。復元部３４は、インターモード情報に基づいて、決定された参照ブロックと、逆変換部３３で復元された残差値とを利用して、現在サンプルを復元することができる。
復元部３４でサンプルが復元され、復元ピクセルが出力される。復元部３４は、最大符号化単位ごとに、ツリー構造の符号化単位を基に、復元ピクセルを生成することができる。
デブロッキング・フィルタリング部３８で、最大符号化単位またはツリー構造の符号化単位ごとに、符号化単位の境界領域に位置するピクセルについて、ブロッキング現象を軽減させるためのフィルタリングが行われる。
また、一実施形態によるＳＡＯ部３９は、ＳＡＯ技法によって最大符号化単位別に、復元ピクセルのオフセットを調整することができる。ＳＡＯ部３９は、エントロピー復号化部３１によって抽出されたＳＡＯ情報から、現在最大符号化単位のためのＳＡＯタイプ、ＳＡＯクラス、オフセット値を決定することができる。
エントロピー復号化部３１で、ＳＡＯ情報から抽出する動作は、ビデオ復号化装置２０のＳＡＯパラメータ抽出部２２の動作に相応し、ＳＡＯ部３９の動作は、ビデオ復号化装置２０のＳＡＯ決定部２４及びＳＡＯ調整部２６の動作に相応する。
ＳＡＯ部３９は、ＳＡＯオフセット値から、現在最大符号化単位の復元ピクセルごとに、オフセット値の符号及び差値を決定することができる。ＳＡＯ部３９は、復元ピクセルごとに、オフセット値から決定された差値ほどピクセル値を増減させることにより、復元ピクセルと原本ピクセルとの誤差を低減させることができる。
一実施形態によるＳＡＯ部３９によってオフセットが調整された復元ピクセルを含むピクチャが、参照ピクチャバッファ３６に保存される。従って、一実施形態によるＳＡＯ技法によって、復元サンプルと原本ピクセルとの誤差が最小化された参照ピクチャを利用して、次のピクチャの動き補償が行われる。
一実施形態によるＳＡＯ技法によれば、復元ピクセルごとに、原本ピクセルとの差値を基に、復元ピクセルを含むピクセルグループのオフセットが決定される。まず、一実施形態によるＳＡＯ技法のために、復元ピクセルをピクセルグループに分類する実施形態について詳細に説明する。
一実施形態によるＳＡＯ技法によれば、（ｉ）復元ピクセルが構成するエッジタイプによってピクセルが分類されるか、あるいは（ｉｉ）復元ピクセルのバンドタイプによってピクセルが分類される。一実施形態によって、ピクセルがエッジタイプによって分類されるか、またはバンドタイプによって分類されるかということは、ＳＡＯタイプによって定義される。
まず、一実施形態によるＳＡＯ技法によって、エッジタイプによってピクセルを分類する実施形態について詳細に説明する。
現在最大符号化単位について、エッジタイプのオフセットを決定する場合、現在最大符号化単位に含まれた各復元ピクセルのエッジクラスが決定される。すなわち、現在復元ピクセルと隣接ピクセルとのピクセル値を比較し、現在復元ピクセルのエッジクラスが定義される。エッジクラスが決定される一例について、図４を参照し、以下で説明る。
図４は、一実施形態によるエッジタイプのエッジクラスを図示している。
エッジクラス（ＥＯ）４１，４２，４３，４４のインデックスが、順に０、１、２、３と割り当てられる。エッジタイプの発生頻度が高いほど、エッジタイプのインデックスは、小さく割り当てられる。
エッジクラスは、現在復元ピクセルＸ０と隣接する２個の隣接ピクセルが形成する一次元エッジの方向を示すことができる。インデックス０のエッジクラス４１は、現在復元ピクセルＸ０と水平方向に隣接する２個の隣接ピクセルＸ１，Ｘ２がエッジを形成する場合を示す。インデックス１のエッジクラス４２は、現在復元ピクセルＸ０と垂直方向に隣接する２個の隣接ピクセルＸ３，Ｘ４がエッジを形成する場合を示す。インデックス２のエッジクラス４３は、現在復元ピクセルＸ０に１３５゜対角方向に隣接する２個の隣接ピクセルＸ５，Ｘ８がエッジを形成する場合を示す。インデックス３のエッジクラス４４は、現在復元ピクセルＸ０に４５゜対角方向に隣接する２個の隣接ピクセルＸ６，Ｘ７がエッジを形成する場合を示す。
従って、現在最大符号化単位内に含まれた復元ピクセルのエッジ方向を分析し、現在最大符号化単位で、強いエッジの方向を決定することにより、現在最大符号化単位のエッジクラスが決定される。
各エッジクラスごとに、現在ピクセルのエッジ形態によって、カテゴリーが分類される。エッジ形態によるカテゴリーの一例について、図５Ａ及び図５Ｂを参照し、以下で説明する。
図５Ａ及び図５Ｂは、一実施形態によるエッジタイプのカテゴリーを図示している。
エッジカテゴリーは、現在ピクセルが凹状エッジの最低点であるか、凹状エッジの最低点周囲に位置する曲線コーナーのピクセルであるか、凸状エッジの最高点であるか、あるいは凸状エッジの最高点周囲に位置する曲線コーナーのピクセルであるかということを示す。
図５Ａは、エッジのカテゴリーを決定するための条件を例示している。図５Ｂは、復元ピクセルと隣接ピクセルとのエッジ形態、及びピクセル値ｃ，ａ，ｂのグラフを例示している。
ｃは、復元ピクセルのインデックス、ａ，ｂは、エッジ方向によって、現在復元ピクセルの両側に隣接する隣接ピクセルのインデックスを示す。Ｘａ，Ｘｂ，Ｘｃは、それぞれインデックスａ，ｂ，ｃである復元ピクセルのピクセル値を示す。図５Ｂのグラフのｘ軸は、復元ピクセルと両側に隣接する隣接ピクセルのインデックスを、ｙ軸は、各サンプルのピクセル値を示す。
カテゴリー１は、現在サンプルが凹状エッジの最低点、すなわち、ローカルバレー地点の場合を示す（Ｘｃ＜Ｘａ ＆＆ Ｘｃ＜Ｘｂ）。グラフ５１のように、隣接ピクセルａ，ｂの間で、現在復元ピクセルｃが凹状エッジの最低点である場合、現在復元ピクセルは、カテゴリー１に分類される。
カテゴリー２は、現在サンプルが凹状エッジの最低点周辺に位置する曲線コーナーに位置する場合を示す（Ｘｃ＜Ｘａ ＆＆ Ｘｃ＝＝Ｘｂ ｜｜ Ｘｃ＝＝Ｘａ ＆＆ Ｘｃ＜Ｘｂ）。グラフ５２のように、隣接ピクセルａ，ｂの間で、現在復元ピクセルｃが凹状エッジの下降カーブが終了する地点に位置するか（Ｘｃ＜Ｘａ ＆＆ Ｘｃ＝＝Ｘｂ）、あるいはグラフ５３のように、現在復元ピクセルｃが凹状エッジの上昇カーブが始まる地点に位置（Ｘｃ＝＝Ｘａ ＆＆ Ｘｃ＜Ｘｂ）する場合、現在復元ピクセルは、カテゴリー２に分類される。
カテゴリー３は、現在サンプルが凸状エッジの最高点周辺に位置する曲線コーナに位置する場合を示す（Ｘｃ＞Ｘａ ＆＆ Ｘｃ＝＝Ｘｂ ｜｜ Ｘｃ＝＝Ｘａ ＆＆ Ｘｃ＞Ｘｂ）。グラフ５４のように、隣接ピクセルａ，ｂの間で、現在復元ピクセルｃが凹状エッジの下降カーブが始まる地点に位置するか（Ｘｃ＝＝Ｘａ ＆＆ Ｘｃ＞Ｘｂ）、あるいはグラフ５５のように、現在復元ピクセルｃが凹状エッジの上昇カーブが終了する地点に位置（Ｘｃ＞Ｘａ ＆＆ Ｘｃ＝＝Ｘｂ）場合、現在復元ピクセルは、カテゴリー３に分類される。
カテゴリー４は、現在サンプルが凸状エッジの最高点、すなわち、ローカルピーク地点である場合を示す（Ｘｃ＞Ｘａ ＆＆ Ｘｃ＞Ｘｂ）。グラフ５６のように、隣接ピクセルａ，ｂの間で、現在復元ピクセルｃが凸状エッジの最高点である場合、現在復元ピクセルは、カテゴリー４に分類される。
現在復元ピクセルについて、カテゴリー１，２，３，４の条件がいずれも充足されない場合には、エッジではないので、カテゴリー０に分類され、カテゴリー０に係わるオフセットは、別途に符号化される必要はない。
一実施形態によって、同一カテゴリーに該当する復元ピクセルについて、復元ピクセルと原本ピクセルとの差値の平均値が、現在カテゴリーのオフセットとして決定される。また、各カテゴリーごとに、オフセットが決定される。
カテゴリー１，２の凹状エッジは、正数オフセット値によって、復元ピクセル値が調整されるのであるならば、エッジが平坦になるスムージング（smoothing）効果が生じ、負数オフセット値によって、エッジの先鋭度（sharpeness）が高くなるシャープニング（sharpening）効果が生じる。カテゴリー３，４の凸状エッジは、負数オフセット値によって、エッジのスムージング効果が生じ、正数オフセット値によって、エッジのシャープニング効果が生じる。
一実施形態によるビデオ符号化装置１０は、エッジのシャープニング効果を許容しない。その場合には、カテゴリー１，２の凹状エッジについては、正数オフセット値が必要であり、カテゴリー３，４の凸状エッジについては、負数オフセット値が必要である。その場合、エッジのカテゴリーが分かるのであるならば、オフセット値の符号を決定することができる。従って、ビデオ符号化装置１０と、ビデオ復号化装置２０は、オフセット値の符号は除外し、オフセット値の絶対値さえ送受信すればよい。
従って、ビデオ符号化装置１０は、現在エッジクラスのカテゴリーごとに対応するオフセット値を符号化して送信し、ビデオ復号化装置２０は、受信されたカテゴリー別オフセット値を利用して、復元ピクセルごとに、当該カテゴリーのオフセット値ほど調整することができる。
例えば、エッジタイプのオフセット値が０であると決定される場合、ビデオ符号化装置１０は、オフセット値としてゼロ値情報のみを伝送することができる。
例えば、エッジタイプのオフセット値が０ではない場合には、ビデオ符号化装置１０は、オフセット値としてゼロ値情報と絶対値とを伝送することができる。オフセット値の符号を伝送する必要がない。
ビデオ復号化装置２０は、受信されたオフセット値からゼロ値情報を読み取り、０ではないならば、オフセット値の絶対値を読み取ることができる。オフセット値の符号は、復元ピクセルと隣接ピクセルとのエッジ形態によるエッジカテゴリーによって予測される。
従って、一実施形態によるビデオ符号化装置１０は、エッジ方向、エッジ形態によってピクセルを分類し、同一特性のピクセル間の平均誤差値をオフセット値として決定し、カテゴリー別にオフセット値を決定することができる。ビデオ符号化装置１０は、エッジタイプであるということを示すＳＡＯタイプ情報、エッジ方向を示すＳＡＯクラス情報、及びオフセット値を符号化して伝送することができる。
一実施形態によるビデオ復号化装置２０は、ＳＡＯタイプ情報、ＳＡＯクラス情報及びオフセット値を受信し、ＳＡＯタイプ情報及びＳＡＯクラス情報によって、エッジ方向を決定することができる。ビデオ復号化装置２０は、復元ピクセルごとに、エッジ方向によるエッジ形態に対応するカテゴリー別オフセット値を決定し、復元ピクセルのピクセル値をオフセット値ほど調整することにより、原本映像と復元映像との誤差を最小化することができる。
次に、一実施形態によるＳＡＯ技法によって、バンドタイプによって、ピクセルを分類する実施形態について詳細に説明する。
一実施形態による、復元ピクセルのピクセル値は、それぞれバンドのうち一つに属することができる。例えば、ピクセル値の最小値Ｍｉｎ及び最大値Ｍａｘは、ｐビットサンプリングによって、全範囲が０，…，２＾（ｐ−１）であってもよい。ピクセル値全範囲Ｍｉｎ，Ｍａｘは、Ｋ個のピクセル値区間に分割される場合、各ピクセル値区間をバンドと称する。Ｂｋがｋ番目バンドの最大値を示す場合、バンドは、［Ｂ０，Ｂ１−１］、［Ｂ１，Ｂ２−１］、［Ｂ２，Ｂ３−１］，…，［ＢＫ−１，ＢＫ］に分割される。現在復元ピクセルＲｅｃ（ｘ，ｙ）のピクセル値が［Ｂｋ−１，Ｂｋ］に属する場合、現在バンドは、ｋと決定される。バンドは、均等なタイプに分割されるか、あるいは非均等タイプに分割されてもよい。
例えば、ピクセル値分類タイプが、８ビットピクセルの均等バンドである場合、ピクセル値は、３２個のバンドに分割される。具体的には、［０，７］、［８，１５］，…，［２４０，２４７］、［２４８，２５５］のバンドに分類される。
バンドタイプによって分類された多数のバンドのうち、復元ピクセルごとに、それぞれのピクセル値が属するバンドが決定される。また、それぞれのバンドごとに、原本ピクセルと復元ピクセルとの誤差の平均を示すオフセット値が決定される。
従って、ビデオ符号化装置１０及びビデオ復号化装置２０は、現在バンドタイプによって分類されたバンドごとに対応するオフセットを符号化して送受信し、復元ピクセルをオフセットほど調整することができる。
従って、一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、バンドタイプの場合、復元ピクセルをそれぞれのピクセル値が属するバンドによって分類し、同一バンドに属する復元ピクセル間の平均誤差値をオフセットとして決定し、復元ピクセルをオフセットほど調整することにより、原本映像と復元映像との誤差を最小化することができる。
一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、バンドタイプによるオフセットを決定するとき、復元ピクセルをバンド位置によるカテゴリーに分類することができる。例えば、ピクセル値の全範囲がＫ個のバンドに分類される場合、ｋ番目バンドを示すバンドインデックスｋによって、カテゴリーがインデクシングされる。バンド個数に相応し、カテゴリーの個数が決定される。
ただし、データ節減のために、ビデオ符号化装置１０及びビデオ復号化装置２０は、ＳＡＯ技法によってオフセットを決定するために利用されるカテゴリーの個数を制限することができる。例えば、所定開始位置のバンドから、バンドインデックスが増加する方向に連続する所定個数のバンドだけがそれぞれカテゴリーに割り当てられ、各カテゴリーについてのみフセットが決定される。
例えば、インデックス１２であるバンドが開始バンドとして決定される場合、開始バンドから４個のバンド、すなわち、インデックス１２，１３，１４，１５のバンドがそれぞれカテゴリー１，２，３，４に割り当てられる。従って、インデックス１２のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差が、カテゴリー１のオフセットとして決定される。それと同様に、インデックス１３のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差が、カテゴリー２のオフセットであり、インデックス１４のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差が、カテゴリー３のオフセットであり、インデックス１５のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差が、カテゴリー４のオフセットとして決定される。
そのような場合、カテゴリーに割り当てられるバンドの位置を決定するために、バンド範囲が始まる位置、すなわち、左側バンドの位置についての情報が必要である。従って、一実施形態によるビデオ符号化装置１０は、ＳＡＯクラスとして、左側バンドの位置を示す左側開始地点情報を符号化して送信することができる。ビデオ符号化装置１０は、バンドタイプであるということを示すＳＡＯタイプ、ＳＡＯクラス及びカテゴリー別オフセット値を符号化して伝送することができる。
一実施形態によるビデオ復号化装置２０は、ＳＡＯタイプ、ＳＡＯクラス及びカテゴリー別オフセット値を受信することができる。ビデオ復号化装置２０は、受信されたＳＡＯタイプがバンドタイプである場合、ＳＡＯクラスから、開始バンドの位置を読み取ることができる。ビデオ復号化装置２０は、復元ピクセルが、開始バンドから４個のバンドのうちいずれのバンドに属するかということを決定し、カテゴリー別オフセット値のうち、現在バンドに割り当てられたオフセット値を決定し、復元ピクセル値をオフセット値ほど調整することができる。
以上、ＳＡＯタイプとして、エッジタイプ及びバンドタイプを紹介し、ＳＡＯタイプによるＳＡＯクラス及びカテゴリーについて詳細に説明した。以下、ビデオ符号化装置１０及びビデオ復号化装置２０が符号化して送受信するＳＡＯパラメータについて詳細に説明する。
一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、最大符号化単位ごとに、復元ピクセルのピクセル分類方式によって、ＳＡＯタイプを決定することができる。
各ブロックの映像特性によって、ＳＡＯタイプが決定される。例えば、垂直エッジ、水平エッジ、対角エッジなどを含む最大符号化単位は、エッジ値修正のために、エッジタイプによってピクセル値を分類し、オフセット値を決定する方が有利である。エッジ領域ではない場合には、バンド分類によってオフセット値を決定する方が有利でもある。従って、ビデオ符号化装置１０及びビデオ復号化装置２０は、最大符号化単位ごとに、ＳＡＯタイプをシグナリングすることができる。
一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、最大符号化単位ごとに、ＳＡＯパラメータを決定することができる。すなわち、最大符号化単位の復元ピクセルのＳＡＯタイプを決定し、最大符号化単位の復元ピクセルをカテゴリー別に分類し、カテゴリー別にオフセット値が決定される。
ビデオ符号化装置１０は、最大符号化単位に含まれた復元ピクセルのうち、同一カテゴリーに分類された復元ピクセルの平均誤差をオフセット値として決定することができる。各カテゴリーごとに、オフセット値が決定される。
一実施形態によるＳＡＯパラメータは、ＳＡＯタイプ、オフセット値、ＳＡＯクラスを含んでもよい。ビデオ符号化装置１０及びビデオ復号化装置２０は、最大符号化単位ごとに決定されたＳＡＯパラメータを送受信することができる。
一実施形態によるビデオ符号化装置１０は、最大符号化単位のＳＡＯパラメータのうち、ＳＡＯタイプ及びオフセット値を符号化して伝送することができる。ＳＡＯタイプがエッジタイプである場合、一実施形態によるビデオ符号化装置１０は、ＳＡＯタイプ、カテゴリー別オフセット値に続いて、エッジ方向を示すＳＡＯクラスをさらに伝送することができる。ＳＡＯタイプがバンドタイプである場合、一実施形態によるビデオ符号化装置１０は、ＳＡＯタイプ、カテゴリー別オフセット値に続いて、開始バンドの位置を示すＳＡＯクラスをさらに伝送することができる。
一実施形態によるビデオ復号化装置２０は、最大符号化単位ごとに、ＳＡＯタイプ、オフセット値及びＳＡＯクラスを含むＳＡＯパラメータを受信することができる。また一実施形態によるビデオ復号化装置２０は、カテゴリー別オフセット値のうちそれぞれの復元ピクセルが属するカテゴリーのオフセット値を選択し、復元ピクセルごとに選択されたオフセット値ほど調整することができる。
一実施形態によるＳＡＯパラメータのうち、オフセット値を送受信する実施形態について、以下で説明する。
一実施形態によるビデオ符号化装置１０は、オフセット値を伝送するために、ゼロ値情報をさらに伝送することができる。ゼロ値情報によって、符号情報、残りのオフセット値をさらに伝送することもできる。
一実施形態によるゼロ値情報は、１ビットフラグであってもよい。すなわち、オフセット値が０であるということを示す「０」フラグ、または０ではないということを示す「１」フラグが伝送される。
ゼロ値情報が「０」フラグである場合には、符号情報や残りのオフセット値がそれ以上符号化される必要がない。ただし、ゼロ値情報が「１」フラグである場合には、符号情報及び残りのオフセット値がさらに伝送される。
ただし、前述のように、エッジタイプの場合、カテゴリーによって、オフセット値が正数あるか、あるいは負数であるかということが予測可能であるので、符号情報が伝送される必要はない。従って、ゼロ値情報が「１」フラグである場合、残りのオフセット値がさらに伝送される。
一実施形態によるオフセット値Off-Setは、オフセット値を決定する以前に、事前に最小値ＭｉｎOffSet及び最大値ＭａｘOffSetの範囲に制限される（ＭｉｎOffSet≦Off−Set≦ＭａｘOffSet）。
例えば、エッジタイプの場合、カテゴリー１，２の復元ピクセルに係わるオフセット値は、最小値０及び最大値７の範囲内で決定される。エッジタイプの場合、カテゴリー３，４の復元ピクセルに係わるオフセット値は、最小値−７及び最大値０の範囲内で決定される。
例えば、バンドタイプの場合、すべてのカテゴリーの復元ピクセルに係わるオフセット値は、最小値−７ないし最大値７の範囲内で決定される。
一実施形態によるオフセット値に係わる伝送ビットを節減するために、残りのオフセット値Remainderを負数ではないｐビット値に制限することができる。その場合、残りのオフセット値は、０より大きいか、あるいはそれと同じであるが、最大値と最小値のと差値よりは、小さいか、あるいはそれと同じである（０≦Remainder≦ＭａｘOffSet−ＭｉｎOffSet＋１≦２＾ｐ）。ビデオ符号化装置１０が残りのオフセット値を伝送し、ビデオ復号化装置２０がオフセット値の最大値及び最小値のうち少なくとも一を知ることができるのであるならば、受信された残りのオフセット値だけで、原本オフセット値を復元することができる。
図６Ａ、図６Ｂ及び図６Ｃは、第１クロマ成分と第２クロマ成分との関係を図示している。
一般的に、カラー映像のビデオ符号化／復号化過程で、映像情報は、ルマ成分、並びに第１クロマ成分及び第２クロマ成分に、カラー成分別に区分してメモリに保存される。図６Ａ、図６Ｂ及び図６Ｃは、同一映像ブロックのカラー成分のうち、第１クロマ成分６１と第２クロマ成分６２とがインターリービング順序（interleaved-order）でメモリに区分して保存された形態を図示する。
まず、図６Ａは、第１クロマ成分６１及び第２クロマ成分６２についてイントラ予測を行うとき、左側ブロック及び上端ブロックの隣接サンプルのうち参照するサンプルを図示する。第１クロマ成分６１は、左側ブロックの隣接する第１クロマ成分６５や、上端ブロックの隣接する第１クロマ成分６３を参照することができる。第２クロマ成分６２は、左側ブロックの隣接する第２クロマ成分６６や、上端ブロックの隣接する第２クロマ成分６４を参照することができる。
ただし、イントラ予測において、第１クロマ成分６１及び第２クロマ成分６２は、イントラ予測方向を共有することができる。従って、メモリに、インターリービング順序でそれぞれ保存されている左側ブロックまたは上端ブロックの第１クロマ成分６３，６５及び第２クロマ成分６４，６６を獲得し、第１クロマ成分６１及び第２クロマ成分６２に対するイントラ予測を同時に行うことができる。
また、動き補償を行うときにも、同一映像ブロックのルマ成分、第１クロマ成分６１及び第２クロマ成分６２は、いずれも動きベクトルを共有するので、第１クロマ成分６１及び第２クロマ成分６２に対するインター予測が同時に行われる。
また、ループフィルタリングを行うときにも、第１クロマ成分６１及び第２クロマ成分６２のために、同一サイズ及び同一係数のフィルターが利用されるので、第１クロマ成分６１及び第２クロマ成分６２に対するループフィルタリングが同時に行われる。
例えば、エッジタイプのＳＡＯ調整を行うとき、第１クロマ成分６１及び第２クロマ成分６２に対するＳＡＯ方式の関係について、図６Ｂ及び６Ｃを参照して詳細に説明する。
もし図６Ｂのように、現在第１クロマ成分６１１のＳＡＯエッジ方向は、垂直方向に、現在第２クロマ成分６２１のＳＡＯエッジ方向は、水平方向に異なって決定された場合を想定する。現在第１クロマ成分６１１のＳＡＯ調整のためには、現在第１クロマ成分６１１の上下に位置する第１クロマ成分６１３，６１５がメモリから獲得される。現在第２クロマ成分６２１のＳＡＯ調整のためには、現在第２クロマ成分６２１の左右に位置する第２クロマ成分６２３，６２５がメモリから獲得される。
第１クロマ成分６１と第２クロマ成分６２は、メモリにインターリービング順序で保存されているので、互いに異なる方向に保存されたサンプルが、デインターリービング過程を介して、メモリから同時に獲得されることはない。デインターリービング過程を介して、第１クロマ成分６１に対するＳＡＯ動作を遂行した後、第２クロマ成分６２に対するＳＡＯ動作を遂行し、さらにインターリービング過程を経なければならない。
従って、ＳＡＯエッジ方向が異なる場合、第１クロマ成分６１及び第２クロマ成分６２に対するＳＡＯ調整は、同時に行われることがない。第１クロマ成分６１及び第２クロマ成分６２に対するＳＡＯ動作を順次に遂行するならば、ビデオコーディングの並列処理過程でレイテンシが発生し、ビデオコーディング過程全体が遅延される。
しかし、図６Ｃのように、現在第１クロマ成分６１１と、現在第２クロマ成分６２１とのＳＡＯエッジ方向が、同一に水平方向に決定された場合をさらに想定する。現在第１クロマ成分６１１のＳＡＯ調整のために、現在第１クロマ成分６１１の左右に位置する第１クロマ成分６１７，６１９がメモリから獲得される。現在第２クロマ成分６２１のＳＡＯ調整のために、現在第２クロマ成分６２１の左右に位置する第２クロマ成分６２３，６２５がメモリから獲得される。その場合、互いに同一方向に保存されたサンプルがメモリから同時に獲得されるので、第１クロマ成分６１及び第２クロマ成分６２に対するＳＡＯ調整は同時に行われる。
従って、図６Ｃのように、第１クロマ成分６１及び第２クロマ成分６２のように、ＳＡＯタイプが共有されるのであるならば、並列処理のレイテンシ発生を事前に防止し、クロマ成分に係わるＳＡＯパラメータのビット数も２倍減縮される。
以下、一実施形態によるＳＡＯパラメータのうちＳＡＯ併合情報について詳細に説明する。
各ブロックのＳＡＯタイプ及び／またはオフセット値は、隣接したブロック間に同一であるという可能性が高い。一実施形態によるビデオ符号化装置１０は、現在ブロックのＳＡＯパラメータを隣接ブロックのＳＡＯパラメータと比較し、ＳＡＯパラメータが同一である場合、現在ブロックと隣接ブロックとのＳＡＯパラメータを一つに併合して符号化することができる。隣接ブロックのＳＡＯパラメータが先に符号化されるのであるならば、現在ブロックのＳＡＯパラメータとして、隣接ブロックのＳＡＯパラメータを採択することができる。従って、ビデオ符号化装置１０は、現在ブロックのＳＡＯパラメータを符号化せず、現在ブロックについてＳＡＯ併合情報だけ符号化することができる。
一実施形態によるビデオ復号化装置２０は、受信したビットストリームから、ＳＡＯパラメータをパージングする前に、ＳＡＯ併合情報を先にパージングし、ＳＡＯパラメータのパージングいかんを決定することができる。ビデオ復号化装置２０は、現在ブロックのＳＡＯ併合情報に基づいて、隣接ブロックのうち、現在ブロックと、ＳＡＯパラメータが同一であるブロックがあるか否かということを決定することができる。
例えば、ＳＡＯ併合情報に基づいて、隣接ブロックのＳＡＯパラメータのうち、現在ブロックのＳＡＯパラメータが同一であるブロックがある場合、ビデオ復号化装置２０は、現在ブロックのＳＡＯパラメータをパージングせず、現在ブロックのＳＡＯパラメータとして、隣接ブロックの復元されたＳＡＯパラメータを採択することができる。従って、ビデオ復号化装置２０は、隣接ブロックのＳＡＯパラメータと同一に、現在ブロックのＳＡＯパラメータを復元することができる。また、ＳＡＯ併合情報に基づいて、隣接ブロックのうちいずれの隣接ブロックのＳＡＯパラメータを参照するかということも決定される。
例えば、ＳＡＯ併合情報に基づいて、隣接ブロックのＳＡＯパラメータが、現在ブロックのＳＡＯパラメータと異なっているいる場合、ビデオ復号化装置２０は、ビットストリームから、現在ブロックのＳＡＯパラメータをパージングして復元することができる。
図７Ａは、一実施形態による、ＳＡＯパラメータを併合するために参照される隣接最大符号化単位６５２，６５３を図示している。
一実施形態によるビデオ符号化装置１０は、現在最大符号化単位６５１より先行して復元された隣接最大符号化単位のうち、現在最大符号化単位のＳＡＯパラメータの参照対象になる隣接最大符号化単位の候補リストを決定することができる。ビデオ符号化装置１０は、候補リストの隣接最大符号化単位と、現在最大符号化単位とのＳＡＯパラメータを比較することができる。
単純な例として、現在ブロック６５１と同一の現在ピクチャ６５に位置する左側最大符号化単位６５３、上端最大符号化単位６５２が候補リストに属することができる。
従って、一実施形態によるビデオ符号化装置１０は、候補リストに含まれた隣接最大符号化単位を参照順序により、現在最大符号化単位と、それぞれのＳＡＯパラメータが同一であるか否かということを比較することができる。例えば、左側最大符号化単位６５３、上端最大符号化単位６５２の順序により、現在最大符号化単位と、ＳＡＯパラメータが比較される。比較された最大符号化単位６５３，６５２において、ＳＡＯパラメータが同一の最大符号化単位が、参照最大符号化単位として決定される。
ビデオ符号化装置１０及びビデオ復号化装置２０は、現在最大符号化単位のＳＡＯパラメータを予測するために、同一の隣接最大符号化単位を参照することができる。また、いずれの最大符号化単位のＳＡＯパラメータを参照するかということを示すＳＡＯ併合情報を送受信することができる。一実施形態によるビデオ復号化装置１０は、ＳＡＯ併合情報に基づいて、隣接する最大符号化単位のうち一つを選択し、選択された隣接最大符号化単位のＳＡＯパラメータと同一に、現在最大符号化単位のＳＡＯパラメータを復元することができる。
例えば、左側最大符号化単位６５３及び上端最大符号化単位６５２を参照する場合を想定する。一実施形態によるＳＡＯパラメータ符号化部１６は、ＳＡＯ併合情報として、現在最大符号化単位６５１の左側最大符号化単位６５３のＳＡＯパラメータが、現在最大符号化単位６５１のＳＡＯパラメータと同一であるか否かということを示す左側ＳＡＯ併合情報と、上端最大符号化単位６５２のＳＡＯパラメータが、現在最大符号化単位６５１のＳＡＯパラメータと同一であるか否かということを示す上端ＳＡＯ併合情報と、を符号化することができる。その場合、まず、現在最大符号化単位６５１と、左側最大符号化単位６５３とのＳＡＯパラメータが同一であるか否かということを比較し、その次に、現在最大符号化単位６５１と上端最大符号化単位６５２とのＳＡＯパラメータが同一であるか否かということを比較することができる。比較結果によって、ＳＡＯ併合情報が決定される。
最大符号化単位ブロック６５３及び最大符号化単位ブロック６５２のうち少なくとも１つのＳＡＯパラメータが、現在最大符号化単位６５１のＳＡＯパラメータと同一であるならば、ＳＡＯパラメータ符号化部１６は、当該左側ＳＡＯ併合情報及び上端ＳＡＯ併合情報だけ符号化し、現在最大符号化単位６５１のＳＡＯパラメータは、符号化しない。
左側最大符号化単位６５３及び上端最大符号化単位６５２のＳＡＯパラメータが、いずれも現在最大符号化単位６５１のＳＡＯパラメータと異なっているならば、ＳＡＯパラメータ符号化部１６は、当該左側ＳＡＯ併合情報及び上端ＳＡＯ併合情報と、現在最大符号化単位６５１のＳＡＯパラメータと、を符号化することができる。
以下、カラー成分別ＳＡＯパラメータについて詳細に説明する。
一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、カラー成分間で、ＳＡＯパラメータを相互予測することができる。
一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、ＹＣｒＣｂカラーフォーマットのルマブロック及びクロマブロックについて、いずれもＳＡＯ調整を行うことができる。現在最大符号化単位のルマ（Ｙ）成分、第１クロマ（Ｃｒ）成分及び第２クロマ（Ｃｂ）成分ごとにオフセット値が決定される。
例えば、現在最大符号化単位のＹ成分、Ｃｒ成分及びＣｂ成分について共通のＳＡＯ併合情報が適用される。すなわち、１つのＳＡＯ併合情報に基づいて、Ｙ成分のＳＡＯパラメータが、隣接最大符号化単位のＹ成分のＳＡＯパラメータと同一であるか否かということが決定され、Ｃｒ成分のＳＡＯパラメータが、隣接最大符号化単位のＣｒ成分のＳＡＯパラメータと同一であるか否かということが決定され、Ｃｂ成分のＳＡＯパラメータが、隣接最大符号化単位のＣｂ成分のＳＡＯパラメータと同一であるか否かということが決定される。
例えば、現在最大符号化単位のＣｒ成分及びＣｂ成分について、共通のＳＡＯタイプ情報が適用される。すなわち、１つのＳＡＯタイプ情報に基づいて、Ｃｒ成分及びＣｂ成分について同時にＳＡＯ調整が行われるか、あるいは同時に行われないかということが決定される。また、１つのＳＡＯタイプ情報に基づいて、Ｃｒ成分及びＣｂ成分がエッジタイプであるか、あるいはバンドタイプであるかということにより、オフセット値が決定されるかということが分かる。１つのＳＡＯタイプ情報に基づいて、ＳＡＯタイプがエッジタイプであるならば、Ｃｒ成分及びＣｂ成分が、同一のエッジ方向を共有することができる。
すなわち、１つのＳＡＯタイプ情報に基づいて、Ｃｒ成分及びＣｂ成分がエッジタイプであるか、あるいはバンドタイプであるかということにより、オフセット値が決定されるかということが分かる。
また、１つのＳＡＯタイプ情報に基づいて、Ｃｒ成分及びＣｂ成分が同一のＳＡＯクラスを共有することができる。１つのＳＡＯタイプ情報に基づいて、ＳＡＯタイプがエッジタイプであるならば、Ｃｒ成分及びＣｂ成分が同一のエッジ方向を共有することができる。１つのＳＡＯタイプ情報に基づいて、ＳＡＯタイプがバンドタイプであるならば、Ｃｒ成分及びＣｂ成分が、同一の左側バンド開始位置を共有することができる。
以下、図７Ｂないし図７Ｆを参照し、現在最大符号化単位のカラー成分別に、ＳＡＯパラメータが定義されたシンタックス構造について詳細に説明する。一実施形態によるビデオ復号化装置２０は、図７Ｂないし図７Ｆに図示されたシンタックスをパージングしてＳＡＯパラメータを獲得し、ＳＡＯ調整を行うことができる。
図７Ｂは、一実施形態によるスライスヘッダ７００と、スライスデータ７０５とのシンタックス構造を図示している。
一実施形態によるスライスヘッダ７００は、現在スライスでＳＡＯ調整が行われるか否かということを示す少なくとも１つのＳＡＯパラメータ７０１，７０２，７０３を含んでいる。
まず、一実施形態によるビデオ復号化装置２０は、スライスヘッダ７００から、「slice＿sample＿adaptive＿offset＿flag［０］」７０１を獲得し、ルマ成分のためのＳＡＯ調整が行われるか否かということを決定することができる。
もしルマ成分のためのＳＡＯ調整が行われるならば、一実施形態によるビデオ復号化装置２０は、スライスヘッダ７００から、「slice＿sample＿adaptive＿offset＿flag［１］」７０２を獲得し、第１クロマ成分のためのＳＡＯ調整が行われるか否かということを決定することができる。
そのとき、一実施形態によるビデオ復号化装置２０は、スライスヘッダ７００から、第２クロマ成分のためのＳＡＯ調整が行われるか否かということを示すパラメータを追加して獲得しなくてもよい。第２クロマ成分のためのＳＡＯ調整が行われるか否かということを示す情報「slice＿sample＿adaptive＿offset＿flag［２］」７０３は、まず、スライスヘッダ７００から獲得された「slice＿sample＿adaptive＿offset＿flag［１］」７０２と同一に予測することができる。従って、第１クロマ成分及び第２クロマ成分については、ＳＡＯ調整が同時に行われるか、あるいは同時に行われない。
ビデオ復号化装置２０は、スライスヘッダ７００から決定された「slice＿sample＿adaptive＿offset＿flag［０］」７０１、「slice＿sample＿adaptive＿offset＿flag［１］」、「slice＿sample＿adaptive＿offset＿flag［２］」７０３に基づいて、スライスデータ７０５から最大符号化単位別に、ＳＡＯパラメータ７０６を獲得するか否かということを決定することができる。
図７Ｃ及び図７Ｄは、一実施形態による、最大符号化単位に係わるＳＡＯパラメータ７０６，７０９のシンタックス構造を図示している。
一実施形態によるビデオ復号化装置２０は、最大符号化単位に係わるＳＡＯパラメータ「ｓａｏ＿unit＿ｃａｂａｃ（ｒｘ，ｒｙ，ｃＩｄｘ）」７０６から、左側ＳＡＯ併合情報７０７を獲得することができる。そのとき、ルマ成分、第１クロマ成分及び第２クロマ成分を区別せずに、共通の左側ＳＡＯ併合情報「ｓａｏ＿merge＿left＿flag［ｒｘ］」［ｒｙ］」７０７が獲得される。それにより、ビデオ復号化装置２０は、共通の左側ＳＡＯ併合情報７０７に基づいて、現在最大符号化単位のルマ成分、第１クロマ成分及び第２クロマ成分のＳＡＯパラメータとして、左側最大符号化単位のＳＡＯパラメータが利用されるか否かということを同時に同一に決定することができる。
また、左側ＳＡＯ併合情報７０７に基づいて、左側最大符号化単位のＳＡＯパラメータを参照しないと判断されれば、一実施形態によるビデオ復号化装置２０は、最大符号化単位に係わるＳＡＯパラメータ７０６から、上端ＳＡＯ併合情報「ｓａｏ＿merge＿up＿flag［ｒｘ］」［ｒｙ］」７０８を獲得することができる。同様に、ルマ成分、第１クロマ成分及び第２クロマ成分を区別せずに、共通の上端ＳＡＯ併合情報７０７が獲得される。それにより、ビデオ復号化装置２０は、共通の上端ＳＡＯ併合情報７０８に基づいて、現在最大符号化単位のルマ成分、第１クロマ成分及び第２クロマ成分のＳＡＯパラメータとして、上端最大符号化単位のＳＡＯパラメータが利用されるか否かということを同時に決定することができる。
もし上端ＳＡＯ併合情報７０８に基づいて、上端最大符号化単位のＳＡＯパラメータも、参照しないと判断されれば、一実施形態によるビデオ復号化装置２０は、最大符号化単位に係わるＳＡＯパラメータ７０６から、現在最大符号化単位に係わる現在ＳＡＯパラメータ７０９を直接獲得することができる。
一実施形態による現在ＳＡＯパラメータ７０９は、現在最大符号化単位のＳＡＯタイプ情報７１１を含んでもよい。一実施形態によるビデオ復号化装置２０は、現在ＳＡＯパラメータ７０９から、ルマ成分及びクロマ成分について別個に定義されたＳＡＯタイプ情報７１１を獲得することができる。従って、第１クロマ成分及び第２クロマ成分については、共通のＳＡＯタイプ情報「ｓａｏ＿type＿ｉｄｘ［ｃＩｄｘ］」［ｒｘ］［ｒｙ］」７１１が獲得される。例えば、現在最大符号化単位の第１クロマ成分について、ＳＡＯタイプ情報７１１が獲得されれば、第２クロマ成分に係わるＳＡＯタイプ情報は、第１クロマ成分について、ＳＡＯタイプ情報７１１から予測される。
一実施形態によるＳＡＯタイプ情報７１１から、現在最大符号化単位についてＳＡＯ調整が行われるか否かということを示す１ビットが獲得される。最初の１ビットから、ＳＡＯ調整が行われると決定されるのであるならば、ＳＡＯタイプ情報７１１から、２番目の１ビットが獲得され、２番目の１ビットから、エッジタイプであるかバンドタイプであるかということが決定される。
ＳＡＯタイプ情報７１１の２番目の１ビットから、エッジタイプであると決定されるのであるならば、一実施形態によるビデオ復号化装置２０は、ＳＡＯタイプ情報７１１の残りのビットから、エッジカテゴリーについての情報を獲得することができる。
ＳＡＯタイプ情報７１１の２番目の１ビットから、バンドタイプであると決定されるのであるならば、一実施形態によるビデオ復号化装置２０は、ＳＡＯタイプ情報７１１の残りのビットから、バンドカテゴリーについての情報を獲得することができる。
また、一実施形態によるビデオ復号化装置２０は、ルマ成分に係わるＳＡＯタイプ情報７１１の１ビットに基づいて、現在最大符号化単位のルマ成分に対するＳＡＯ調整が行われるか否かということを決定することができる。また、一実施形態によるビデオ復号化装置２０は、クロマ成分に係わるＳＡＯタイプ情報７１１の１ビットに基づいて、現在最大符号化単位の第１クロマ成分及び第２クロマ成分に対するＳＡＯ調整が行われるか否かということを決定することができる。
ルマ成分またはクロマ成分に係わるＳＡＯタイプ情報７１１に基づいて、現在最大符号化単位のルマ成分またはクロマ成分についてＳＡＯ調整が行われないと決定されれば、ＳＡＯタイプ情報７１１から、次のビットが獲得されない。そのようなＳＡＯタイプ情報７１１は、トランケーティッドユーナリコード（truncated unary code）の形態で受信される。
一実施形態によって、クロマ成分に係わるＳＡＯタイプ情報７１１は、一つだけ符号化されるので、一実施形態によるビデオ復号化装置２０は、第１クロマ成分について決定されたＳＡＯタイプ情報７１１は、第２クロマ成分のためのＳＡＯタイプ情報と決定することができる。
また、一実施形態によるビデオ復号化装置２０は、現在最大符号化単位に係わるＳＡＯパラメータ「ｓａｏ＿offset＿ｃａｂａｃ（ｒｘ，ｒｙ，ｃＩｄｘ）」７０９から、ルマ成分のためのエッジクラス情報、及びクロマ成分のためのエッジクラス情報を獲得することもできる。エッジクラスは、水平（０゜）、垂直（９０゜）、１３５゜対角線、４５゜対角線の４種エッジ方向を示すことができるので、２ビットで定義される。
図７Ｆは、一実施形態による、ＳＡＯタイプによるＳＡＯパラメータのシンタックス構造を図示している。図７Ｄ及び図７Ｆを参照すれば、ＳＡＯタイプ情報７１１に基づいて、ＳＡＯ調整が行われるならば、ＳＡＯパラメータ７０６，７０９は、オフセット値「ｓａｏ＿offset［ｃＩｄｘ］［ｒｘ］［ｒｙ］［ｉ］」７１３及びオフセット符号情報「ｓａｏ＿offset＿ｓｉｇｎ［ｃＩｄｘ］［ｒｘ］［ｒｙ］［ｉ］」７１５のうち少なくとも一つをさらに含んでもよい。
一実施形態によるオフセット値７１３のＣＡＢＡＣ符号化のためのコンテクスト・モデリングは、図７Ｅを参照して詳細に説明する。図７Ｅは、一実施形態による、ＳＡＯパラメータのＣＡＢＡＣ符号化のためのコンテクスト情報のシンタックス構造を図示している。
すなわち、図７Ｄ及び図７Ｆのように、ＳＡＯパラメータ７０６，７０９からオフセット値７１３を全部獲得するのではなく、ビデオ復号化装置２０は、図７Ｅのように、オフセット値７１３の大きさの最初の１ビット「ｓａｏ＿offset＿ａｂｓ＿１ｓｔ＿ｂｉｎ［ｃＩｄｘ］［ｒｘ］［ｒｙ］［ｉ］」７２１だけ先に獲得することができる。オフセット値が０ではなく、最初の１ビットが０ではない場合、ビデオ復号化装置２０は、オフセット値７１３の大きさの残りのビット「ｓａｏ＿offset＿ａｂｓ＿remain＿bins［ｃＩｄｘ］［ｒｘ］［ｒｙ］［ｉ］」７２３も獲得することができる。
オフセット値７１３の最初のビットと、残りのビットとを分離することにより、残りのビットは、バイパスモードでＣＡＢＡＣ復号化される。
また、ビデオ復号化装置２０は、オフセット値が０ではない場合にのみ、ＳＡＯパラメータ７０６，７０９から、オフセット値の符号情報「ｓａｏ＿offset＿sign［ｃＩｄｘ］［ｒｘ］［ｒｙ］［ｉ］」７１５も獲得することができる。
また、オフセット値の符号情報「ｓａｏ＿offset＿sign［ｃＩｄｘ］［ｒｘ］［ｒｙ］［ｉ］」７１５は、ＳＡＯタイプがバンドタイプでありながら、オフセット値が０ではない場合にのみ獲得される。ＳＡＯタイプがエッジタイプである場合には、エッジクラスが、最高点、最低点、凹状エッジ、凸状エッジであるかということにより、オフセット値の符号が決定されるからである。
再び図７Ｆを参照すれば、ＳＡＯタイプがバンドタイプである場合、ＳＡＯパラメータ７０６から、オフセット値の符号情報７１５と共に、左側バンド開始地点についての情報「ｓａｏ＿band＿position［ｃＩｄｘ］［ｒｘ］［ｒｙ］」７１７）が獲得される。
一実施形態によるビデオ復号化装置２０は、ＳＡＯパラメータ７０６，７０９についてＣＡＢＡＣ復号化を行うことができる。ＳＡＯパラメータ７０６，７０９のＣＡＢＡＣ復号化のために、ＳＡＯパラメータ７０６，７０９のうち、左側ＳＡＯ併合情報７０７、上端ＳＡＯ併合情報７０８、オフセット値情報７１３、ＳＡＯタイプ情報７１１に対するコンテクスト・モデリングが行われる。
まず、オフセット値情報７１３で、オフセット値は、ビットデプスによってその絶対値サイズが制限される。絶対値サイズの最大値は、以下の数式によって決定される。
Offset＿ａｂｓ＿ｍａｘ＝（１＜＜（Ｍｉｎ（bitDepth，１０）−５））−１
例えば、８ビットのビットデプス復号化の場合、オフセット値の絶対値サイズは、０ないし７である。他の例として、１０ビットのビットデプス復号化の場合、オフセット値の絶対値サイズは、０ないし３１である。
そのようなオフセット値の大きさ制限を保証するために、オフセット値情報７１３は、トランケーティッドユーナリコードを利用して符号化される。
一実施形態によるビデオ復号化装置２０は、オフセット値情報７１３において、最初の１ビットに係わるコンテクストモデルのみを利用することができ、オフセット値情報７１３の残りのビットについては、バイパスモードで、ＣＡＢＡＣ復号化を行うことができる。
一実施形態によるＳＡＯタイプ情報７１１は、０ないし５の値を有する。ＳＡＯタイプ情報７１１で、現在最大符号化単位のＳＡＯ調整いかんを示す最初の１ビットについてのみ、２個のコンテクストモデルを利用したＣＡＢＡＣ復号化が行われる。ＳＡＯタイプ情報７１１で、最初の１ビットを除いた残りのビットについては、バイパスモードで、ＣＡＢＡＣ復号化が行われる。
一実施形態による左側ＳＡＯ併合情報７０７は、ルマ、第１クロマ成分及び第２クロマ成分に共有される１つのコンテクストモデルを利用して、ＣＡＢＡＣ復号される。また、一実施形態による上端ＳＡＯ併合情報７０８は、ルマ、第１クロマ成分及び第２クロマ成分に共有される１つのコンテクストモデルを利用して、ＣＡＢＡＣ復号される。
従って、一実施形態によって、ＳＡＯパラメータ７０６，７０９に対して、ＣＡＢＡＣ復号化のために、総５個のコンテクストが利用される。従って、オフセット値の全てのビンについてコンテクストモデルを決定し、カラー成分別に、左側ＳＡＯ併合情報を共有しない場合に比べ、３個のコンテクストモデルを減縮することができる。ＣＡＢＡＣ復号化のためのコンテックスモデルが減縮され、メモリに保存されなければならないデータ保存量が低減される。また、多数のＳＡＯパラメータのビンが、バイパスモードで、ＣＡＢＡＣ符号化されるので、ＣＡＢＡＣ演算量及び伝送ビットも低減される。
ＳＡＯパラメータ７０９において、左側バンド開始地点情報「ｓａｏ＿band＿position［ｃＩＤｘ］［ｒｘ］［ｒｙ］」７１７は、５ビットの固定ビットトレングスを有し、最大値３１を有する。一実施形態によるビデオ復号化装置２０は、左側バンド開始地点情報７１７について、固定ビットトレングスのバイパスモードで、ＣＡＢＡＣ復号化することができる。
一実施形態による、ＣＡＢＡＣ復号化を介して、ＳＡＯパラメータから各種ＳＡＯ関連情報がパージングされる過程について、以下で説明する。
ＳＡＯパラメータから、ルマ成分のＳＡＯタイプ（ＳＡＯ type）がパージングされる。ＳＡＯタイプがオフタイプ（OFF）である場合、ルマ成分についてＳＡＯ技法によるオフセット調整が行われないので、クロマ成分のＳＡＯパラメータがパージングされる。
ルマ成分のＳＡＯタイプがエッジタイプ（ＥＯ）である場合、ＳＡＯパラメータから４個のカテゴリー別に、ルマオフセット値（Ｌｕｍａ offsetｓ）がパージングされる。エッジタイプのオフセット値は、符号情報なしにパージングされる。ＳＡＯパラメータから、２ビットのルマエッジクラス（Ｌｕｍａ ＥＯ class）がパージングされる。ルマエッジクラスから、現在最大符号化単位のルマ成分のエッジ方向が決定される。
前述のように、エッジ形態を示す４個のカテゴリー別に、オフセット値が受信されるので、総４個のオフセット値になる。現在最大符号化単位の各ルマ復元ピクセルがエッジ方向によって隣接するピクセルとのピクセル値を比較し、いかなるエッジ形態であるかということが決定され、それにより、カテゴリーが決定されるので、受信されたオフセット値のうち現在カテゴリーのオフセット値が選択される。選択されたオフセット値を利用して、ルマ復元ピクセルのピクセル値が調整される。
ルマ成分のＳＡＯタイプがバンドタイプ（ＢＯ）である場合、ＳＡＯパラメータから、４個のカテゴリー別に、ルマオフセット値がパージングされる。バンドタイプのオフセット値は、符号情報と共にパージングされる。ＳＡＯパラメータから、５ビットのルマバンドクラスがパージングされる。ルマバンドクラスから、現在最大符号化単位の復元ピクセルのピクセル値バンドのうち、左側バンド開始地点が決定される。
前述のように、開始バンド位置から連続する４個のバンドを示す４個のカテゴリー別に、オフセット値が受信されるので、総４個のオフセット値になる。現在最大符号化単位の各ルマ復元ピクセルのピクセル値が、４個のバンドのうちいずれのバンドに属するかということが決定され、それにより、カテゴリーが決定されるので、受信されたオフセット値のうち現在カテゴリーのオフセット値が選択される。選択されたオフセット値を利用して、ルマ復元ピクセルのピクセル値が調整される。
次に、ＳＡＯパラメータから、クロマ成分のＳＡＯタイプがパージングされる。ＳＡＯタイプは、Ｃｒ成分及びＣｂ成分に共通して適用される。ＳＡＯタイプがオフタイプである場合、クロマ成分についてＳＡＯ技法によるオフセット調整が行われないので、現在最大符号化単位のＳＡＯパラメータ過程が終わる。
クロマ成分のＳＡＯタイプがエッジタイプ（ＥＯ）である場合、ＳＡＯパラメータから、４個のカテゴリー別に、Ｃｂオフセット値がパージングされる。エッジタイプのＣｂオフセット値は、符号情報なしにパージングされる。ＳＡＯパラメータから、２ビットのクロマエッジクラスがパージングされる。クロマエッジクラスから、現在最大符号化単位のクロマ成分のエッジ方向が決定される。クロマエッジクラスも、Ｃｒ成分及びＣｂ成分に共通して適用される。ＳＡＯパラメータから、４個のカテゴリー別に、Ｃｒオフセット値がパージングされる。
ルマ成分のエッジタイプのオフセット調整過程と同様に、Ｃｒ成分別及びＣｂ成分別にそれぞれ受信された４個のオフセット値のうち現在カテゴリーのオフセット値が選択される。選択されたオフセット値を利用して、Ｃｒ成分の復元ピクセルとＣｂ成分の復元ピクセルとのピクセル値がそれぞれ調整される。
クロマ成分のＳＡＯタイプがバンドタイプ（ＢＯ）である場合、ＳＡＯパラメータから、４個のカテゴリー別に、Ｃｂ成分のオフセット値が符号情報と共にパージングされる。ＳＡＯパラメータから、５ビットのＣｂバンドクラスがパージングされる。Ｃｂバンドクラスから、現在最大符号化単位のＣｂ成分の復元ピクセルのＣｂ左側バンド開始地点が決定される。４個のカテゴリー別に、Ｃｒ成分のオフセット値が符号情報と共にパージングされる。５ビットのＣｒバンドクラスがパージングされる。Ｃｒバンドクラスから、現在最大符号化単位のＣｒ成分の復元ピクセルのＣｒ左側バンド開始地点が決定される。
ルマ成分のバンドタイプのオフセット調整過程と同様に、Ｃｒ，Ｃｂ成分別に受信された４個のオフセット値のうち、現在カテゴリーのオフセット値が選択される。Ｃｒ，Ｃｂ成分別にそれぞれ選択されたオフセット値を利用して、Ｃｒ，Ｃｂ成分の復元ピクセルのピクセル値がそれぞれ調整される。
従って、一実施形態によるＳＡＯ技法を利用するビデオ符号化装置１０及びビデオ復号化装置２０，３０は、最大符号化単位のエッジタイプまたはバンドタイプのような映像特性によってピクセル値を分類し、同一の特性として分類されたピクセル値の平均誤差値であるオフセット値をシグナリングし、復元ピクセルのうち予想できないピクセル値をオフセット値ほど調整することにより、原本映像と復元映像との誤差を最小することができる。
一実施形態によるビデオ符号化装置１０、及び他の実施形態によるビデオ復号化装置２０で、ビデオデータが分割されるブロックが最大符号化単位に分割され、最大符号化単位ごとに、ツリー構造の符号化単位を基に符号化／復号化され、最大符号化単位ごとに、ピクセル分類によるオフセット値を決定することができるということは、前述の通りである。以下、図８ないし図２０を参照し、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置について開示する。
図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して指称する。
最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横サイズが２の累乗である正方形のデータ単位であってもよい。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズが事前に設定される。
符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位としても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に対する符号化深度は、他の領域に係わる符号化深度と独立して決定される。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
最大符号化単位が深度別に分割されるたびに深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化のような段階を経るが、全ての段階にわたって、同一のデータ単位が使用され、段階別にデータ単位が変更されてもよい。
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基になるそれ以上分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションである。
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどであってもよい。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的なタイプに分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであってもよい。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて実行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ実行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同サイズの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位サイズが２Ｎｘ２Ｎであるならば、変換深度０に、変換単位サイズがＮｘＮであるならば、変換深度１に、変換単位サイズがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位サイズなどを決定することができる。
一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、及び変換単位の決定方式については、図１７ないし図１９を参照し、詳細に説明する。
符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに係わる情報をビットストリーム形態に出力する。
符号化された映像データは、映像の残差データの符号化結果であってもよい。
深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位サイズ情報などを含んでもよい。
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
１つの最大符号化単位内でツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードに係わる情報が設定される。
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位の中に含まれる最大サイズの正方形データ単位であってもよい。
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。
ピクチャ、スライスまたはＧＯＰ（group of picture）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。
また、現在ビデオについて許容される変換単位の最大サイズに係わる情報、及び変換単位の最小大きさに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、図１Ａないし図７Ｆを参照して説明したオフセット調整技法と係わるＳＡＯパラメータを符号化して出力することができる。
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。
従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下するという傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。
図８のビデオ符号化装置１００は、図１Ａを参照して説明したビデオ符号化装置１０の動作を遂行することができる。
符号化単位決定部１２０は、ビデオ符号化装置１０のＳＡＯパラメータ決定部１４の動作を遂行することができる。最大符号化単位ごとに、ＳＡＯタイプ、カテゴリー別オフセット値及びＳＡＯクラスが決定される。
出力部１３０は、ＳＡＯパラメータ符号化部１６の動作を遂行することができる。最大符号化単位ごとに決定されたＳＡＯパラメータが出力される。現在最大符号化単位に隣接する最大符号化単位のＳＡＯパラメータを、現在ＳＡＯパラメータとして採用するか否かということを示すＳＡＯ併合情報がまず最初に出力される。ＳＡＯタイプとして、オフタイプ、エッジタイプ、バンドタイプが出力される。オフセット値は、ゼロ値情報、符号情報、残りのオフセット値の順序で出力される。エッジタイプの場合、オフセット値の符号情報は、出力されないこともある。
現在最大符号化単位のＳＡＯ併合情報が、隣接する最大符号化単位のＳＡＯパラメータを採用することを許容する場合には、現在最大符号化単位のＳＡＯタイプ及びオフセット値が出力されないこともある。
カラー成分別にＳＡＯ調整の遂行いかんが決定される。スライスごとに、ルマ成分のためのＳＡＯ調整いかんが決定され、第１クロマ成分及び第２クロマ成分のためのＳＡＯ調整いかんが決定される。出力部１３０は、ルマＳＡＯ調整情報と、クロマＳＡＯ調整情報とを含むスライスヘッダを出力することができる。
出力部１３０は、最大符号化単位ごとに決定されたＳＡＯパラメータに、ルマ成分のためのＳＡＯ調整いかん及びＳＡＯタイプを示すルマＳＡＯタイプ情報と、第１クロマ成分及び第２クロマ成分のためのＳＡＯ調整いかん、並びにＳＡＯタイプを示すクロマＳＡＯタイプ情報と、を含める。
図９は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、並びに映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約して指称する。
一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図８及びビデオ符号化装置１００を参照して説明したところと同一である。
受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして、最大符号化単位ごとに、映像データを復号化させる。
最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位サイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されてもよい。
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によって、データを復号化して映像を復元することができる。
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているのであるならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位であると類推される。
映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程及び逆変換過程を含んでもよい。
映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が、現在深度でそれ以上分割されないということを示しているのであれば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。このように決定された符号化単位ごとに、符号化モードについての情報を獲得し、現在符号化単位の復号化が行われる。
また、図９のビデオ復号化装置２００は、図２Ａを参照して説明したビデオ復号化装置２０の動作を遂行することができる。
映像データ及び符号化情報抽出部２２０と受信部２１０は、ビデオ復号化装置２０のＳＡＯパラメータ抽出部２２の動作を遂行することができる。映像データ復号化部２３０は、ビデオ復号化装置２０のＳＡＯ決定部２４及びＳＡＯ調整部２６の動作を遂行することができる。
カラー成分別に、ＳＡＯ調整の遂行いかんが決定される。
映像データ及び符号化情報抽出部２２０は、スライスヘッダから、ルマＳＡＯ調整情報と、クロマＳＡＯ調整情報とを獲得することができる。ルマＳＡＯ調整情報から、ルマ成分のためのＳＡＯ調整いかんが決定され、クロマＳＡＯ調整情報から、第１クロマ成分及び第２クロマ成分のためのＳＡＯ調整いかんが決定される。
映像データ及び符号化情報抽出部２２０は、最大符号化単位ごとに決定されたＳＡＯパラメータから、ルマ成分のためのＳＡＯ調整いかん及びＳＡＯタイプを示すルマＳＡＯタイプ情報を獲得することができる。また、映像データ及び符号化情報抽出部２２０は、最大符号化単位ごとに決定されたＳＡＯパラメータから、第１クロマ成分及び第２クロマ成分のためのＳＡＯ調整いかん及びＳＡＯタイプを示すクロマＳＡＯタイプ情報を獲得することができる。
映像データ及び符号化情報抽出部２２０は、ビットストリームから、現在最大符号化単位のためのＳＡＯパラメータなしに、ＳＡＯ併合情報のみをパージングした場合、隣接ＳＡＯパラメータのうち少なくとも一つと同一に、現在ＳＡＯパラメータを復元することができる。ＳＡＯ併合情報に基づいて、隣接ＳＡＯパラメータのうちいずれのパラメータを参照するかということが決定される。映像データ及び符号化情報抽出部２２０は、ビットストリームからパージングされた現在最大符号化単位のためのＳＡＯ併合情報に基づいて、隣接ＳＡＯパラメータと現在ＳＡＯパラメータとが異なっていると判断されるのであるならば、ビットストリームから、現在最大符号化単位のための現在ＳＡＯパラメータがパージングされて復元される。
映像データ及び符号化情報抽出部２２０は、ビットストリームから、最大符号化単位ごとに、ＳＡＯパラメータをパージングすることができる。ＳＡＯパラメータから、ＳＡＯタイプ、カテゴリー別オフセット値及びＳＡＯクラスが決定される。現在最大符号化単位のＳＡＯタイプがオフタイプである場合、現在最大符号化単位に係わるオフセット調整動作は終了する。ＳＡＯタイプがエッジタイプである場合、復元ピクセルごとに、それぞれのエッジ方向を示すエッジクラス及びエッジ形態を示すカテゴリーに基づいて、受信されたオフセット値のうち現在オフセット値が選択される。ＳＡＯタイプがバンドタイプである場合、復元ピクセルごとに、それぞれのバンドを決定し、オフセット値のうち現在バンドに対応するオフセット値が選択される。
映像データ復号化部２３０は、各復元ピクセルに対応するオフセット値ほど当該復元ピクセル値を調整することにより、原本ピクセルと誤差が最小化される復元ピクセルを生成することができる。最大符号化単位ごとにパージングされたＳＡＯパラメータに基づいて、最大符号化単位の復元ピクセルのオフセットが調整される。
結局、ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位についての情報を獲得し、現在ピクチャに対する復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
図１０は、本発明の一実施形態による符号化単位の概念を図示している。
符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
ビデオデータ３１０については、解像度が１９２０ｘ１０８０に、符号化単位の最大サイズが６４に、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０に、符号化単位の最大サイズが６４に、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８に、符号化単位の最大サイズが１６に、最大深度が１に設定されている。図１０に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能が向上する。
図１１は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図を図示している。
一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータとして復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。
一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びオフセット調整部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。
特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位サイズを決めなければならない。
オフセット調整部４９０は、参照フレーム４９５の最大符号化単位ごとに、エッジタイプ（または、バンドタイプ）によってピクセルを分類し、エッジ方向（または、開始バンド位置）を決定し、カテゴリーごとに、属する復元ピクセルの平均誤差値を決定することができる。最大符号化単位ごとに、それぞれのＳＡＯ併合情報、ＳＡＯタイプ及びオフセット値が符号化されてシグナリングされる。
エントロピー符号化部４５０は、ＳＡＯ調整のためのＳＡＯ併合情報、ＳＡＯタイプ情報、及びオフセット値を含むＳＡＯパラメータについてＣＡＢＡＣ符号化を行うことができる。例えば、ＳＡＯタイプ情報のためには、最初のビットについてのみ１つのコンテクストモデルを利用し、残りのビットについては、バイパスモードで符号化することができる。オフセット値については、２個のコンテクストモデルが利用され、左側ＳＡＯ併合情報及び上端ＳＡＯ併合情報については、それぞれ一つずつのコンテクストモデルが利用される。従って、ＳＡＯパラメータのＣＡＢＡＣ符号化のために、総５個のコンテクストモデルが利用される。
図１２は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を図示している。
ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。
空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。
イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が遂行される。
一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びオフセット調整部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。
特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとにそれぞれパーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位サイズを決定しなければならない。
エントロピー復号化部５２０は、ＳＡＯパラメータについてＣＡＢＡＣ復号化を行い、ＳＡＯパラメータから、ＳＡＯ調整のためのＳＡＯ併合情報、ＳＡＯタイプ情報及びオフセット値をパージングすることができる。例えば、ＳＡＯタイプ情報のためには、最初のビットについてのみ１つのコンテクストモデルを利用し、残りのビットについては、バイパスモードで、ＣＡＢＡＣ復号化を行うことができる。オフセット値については、２個のコンテクストモデルが利用され、左側ＳＡＯ併合情報及び上端ＳＡＯ併合情報については、それぞれ一つずつのコンテクストモデルが利用される。従って、ＳＡＯパラメータのＣＡＢＡＣ復号化のために、総５個のコンテクストモデルが利用される。
オフセット調整部５８０は、ビットストリームから、最大符号化単位のＳＡＯパラメータを抽出することができる。現在最大符号化単位のＳＡＯパラメータのうちＳＡＯ併合情報に基づいて、隣接する最大符号化単位のＳＡＯパラメータと同一の現在ＳＡＯパラメータを復元することができる。現在最大符号化単位のＳＡＯパラメータのうち、ＳＡＯタイプ及びオフセット値を利用して、復元フレーム５９５の最大符号化単位ごとに、復元ピクセルごとに、エッジタイプまたはバンドタイプによって、カテゴリーに対応するオフセット値ほど調整することができる。
図１３は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。
一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されてもよい。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ４ｘ４である深度３の符号化単位６４０は、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
同一の範囲及び同サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。
図１４は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同サイズの符号化単位で、映像を符号化したり復号化したりする。符号化過程のうち変換のための変換単位サイズは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図１５は、本発明の一実施形態による深度別符号化情報を図示する。
一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズについての情報８２０を符号化して伝送することができる。
パーティションタイプについての情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションのタイプについての情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれ１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。
また、変換単位サイズに係わる情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つである。
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズについての情報８２０を抽出し、復号化に利用することができる。
図１６は、本発明の一実施形態による深度別符号化単位を図示している。
深度の変化を示すために分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０及びサイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要ない。
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であれば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０について反復して符号化を行い、最小符号化誤差を検索していくことができる。
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。
また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最小であれば深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０について反復して符号化を行い、最小符号化誤差を検索していくことができる。
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。
パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度は、深度ｄ−１と決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）と決定される。また最大深度がｄであるので、深度ｄ−１の符号化単位９５２について分割情報が設定されない。
データ単位９９９は、現在最大符号化単位に係わる「最小単位」であるとされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であってもよい。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。
このように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。
図１７、図１８及び図１９は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同一である。
変換単位１０７０において、一部変換単位１０５２の映像データについては、符号化単位に比べて小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０における当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。
Figure 0006034535
 一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
変換単位サイズは、イントラモードで２種の大きさ、インターモードで２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位サイズが現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位サイズは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されてもよい。
図２０は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。
最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。
変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位サイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
図２０を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって、０、１、２、３、…などに増大させ、変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施形態として利用される。
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズのように利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位サイズは、３２ｘ３２に、（ａ−２）変換単位分割情報が１であるとき、変換単位サイズは、１６ｘ１６に、（ａ−３）変換単位分割情報が２であるとき、変換単位サイズは、８ｘ８に設定される。
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズは、３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位サイズは、３２ｘ３２に設定され、変換単位サイズが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。
従って、最大変換単位分割情報を「ＭａｘTransformSizeIndex」と、最小変換単位サイズを「ＭｉｎTransform Size」と、変換単位分割情報が０の場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」は、下記数式（１）のように定義される。
ＣｕｒｒＭｉｎTuSize
＝ｍａｘ（ＭｉｎTransform Size，RootTuSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾ＭａｘTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransform Size」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」であってもよい。
一実施形態による最大変換単位サイズRootTuSizeは、予測モードによって異なる。
例えば、現在予測モードがインターモードであるならば、RootTuSizeは、下記数式（２）によって決定される。数式（２）で、「ＭａｘTransform Size」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位大きさを示す。
RootTuSize＝ｍｉｎ（ＭａｘTransform Size，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位大きさのうち小さい値に設定される。
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
RootTuSize＝ｍｉｎ（ＭａｘTransform Size，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位大きさのうち小さい値に設定される。
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないことに留意しなければならない。
図８ないし図２０を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。
また、ピクチャごとに、スライスごとに、最大符号化単位ごとに、ツリー構造による符号化単位ごとに、符号化単位の予測単位ごとに、または符号化単位の変換単位ごとにオフセット・パラメータがシグナリングされる。一例として、最大符号化単位ごとに受信されたオフセット・パラメータに基づいて復元されたオフセット値を利用して、最大符号化単位の復元ピクセル値を調整することにより、原本ブロックとの誤差が最小化される最大符号化単位が復元される。
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
説明の便宜のために、先に図１Ａないし図２０を参照して説明したサンプルオフセット調整によるビデオ符号化方法は、「本発明のビデオ符号化方法」とする。また、先に図２Ａないし図２０を参照して説明したサンプルオフセット調整によるビデオ復号化方法は、「本発明のビデオ復号化方法」とする。
また、先に図１Ａないし図２０を参照して説明したビデオ符号化装置１０、ビデオ符号化装置１００または映像符号化部４００で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」とする。また、先に図２Ａないし図２０を参照して説明したビデオ復号化装置２０、ビデオ復号化装置２００または映像復号化部５００で構成されたビデオ復号化装置は、「本発明のビデオ復号化装置」とする。
一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク２６０００である実施形態について、以下で詳細に説明する。
図２１は、一実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示している。記録媒体とされたディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（登録商標：Blu-ray）ディスク、ＤＶＤディスクであってもよい。ディスク２６０００は、多数の同心円のトラックＴｒで構成され、トラックは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００における特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２２を参照して説明する。
図２２は、ディスク２６０００を利用して、プログラムを記録して読み取るためのディスクドライブ２６８００を図示している。コンピュータ・システム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが読み取られ、プログラムがコンピュータシステム２６７００に伝送される。
図２１及び図２２で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。
前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて、以下で説明する。
図２３は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設けられる。
コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００、及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。
しかし、コンテンツ供給システム１１０００は、図２４に図示された構造にのみ限定されるものではなく、デバイスは、選択的に連結される。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ずに、通信網１１４００に直接連結されてもよい。
ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）、ＣＤＭＡ（code division multiple access）、Ｗ−ＣＤＭＡ（wideband code division multiple access）、ＧＳＭ（登録商標global system for mobile communications）及びＰＨＳ（personal handyphone system）の方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。
ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザがビデオカメラ１２３００を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって、符号化される。ビデオカメラ１２３００で撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。
カメラ１２６００で撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。カメラ１２６００は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及びビデオ復号化のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。
また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。
ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。
一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００であってもよい。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムで復号化して再生させ、個人放送（personal broadcasting）を可能にさせる。
コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
図２４及び図２５を参照し、コンテンツ供給システム１１０００における携帯電話１２５００の一実施形態について詳細に説明する。
図２４は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更するか、あるいは拡張させることができるスマートフォンであってもよい。
携帯電話１２５００は、無線基地局１２０００とＲＦ（radio frequency）信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号化された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic light emitting diode）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０または他の形態の音響出力部；及び音声、音響が入力されるマイクロホン１２５５０または他の形態の音響入力部；を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤ（charge coupled device）カメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されたり、電子メール（Ｅ−mail）で受信されたり、あるいは他の形態で獲得されたりするビデオや静止映像のように、符号化されたり復号化されたりするデータを保存するための記録媒体１２５７０；及び記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０；を含んでもよい。記録媒体１２５７０は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable and programmable read only memory）のような他の形態のフラッシュメモリであってもよい。
図２５は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号化部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ（multiplexer）／ＤＥＭＵＸ（demultiplexer））１２６８０、記録／判読部１２６７０、変調／復調（modulation／demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して、中央制御部１２７１０に連結される。
ユーザが電源ボタンを動作して「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから、携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。
中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭ（random access memory）を含む。
携帯電話１２５００が外部に通信データを送信する過程では、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、映像符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。
例えば、携帯電話１２５００が通話モードであるとき、マイクロホン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０で、デジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出される。
データ通信モードで、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが動作入力制御部１２６４０を介して、中央制御部１２７１０に伝送される。中央制御部１２７１０の制御によって、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して無線基地局１２０００に送出される。
データ通信モードで、映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。
映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを、多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中に、携帯電話１２５００のマイクロホン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経てデ、ジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達することができる。
多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データのように、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して送出される。
携帯電話１２５００が、外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency recovery）及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。
携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換及びＡ／Ｄ変換処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号が、スピーカ１２５８０を介して出力される。
データ通信モードにおいて、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。
アンテナ１２５１０を介して受信した多重化されたデータを復号化するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号化部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。
映像復号化部１２６９０の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９０は、前述の本発明のビデオ復号化方法を利用して、符号化されたビデオデータを復号化し、復元されたビデオデータを生成し、復元されたビデオデータをＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２に、復元されたビデオデータを提供することができる。
それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０でディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８０に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。
携帯電話１２５００または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号化装置のみを含む受信端末機であってもよい。
本発明の通信システムは、図２３を参照して説明した構造に限定されるものではない。例えば、図２６は、本発明による通信システムが適用されたデジタル放送システムを図示している。図２６の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。
具体的に説明すれば、放送局１２８９０は、電波を介して、ビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-top box）１２８７０または他のデバイスによって復号化されて再生される。
再生装置１２８３０において、本発明のビデオ復号化装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを読み取って復号化することができる。それにより、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。
衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。
他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体に、本発明のビデオ復号化装置が搭載されてもよい。
適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号化されたビデオが再生される。
ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に説明すれば、ＤＶＤレコーダーによって、映像信号がＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存されてもよい。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号化装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０または他の形態の記録媒体に記録されたビデオ信号がモニタ１２８８０で再生される。
自動車ナビゲーションシステム１２９３０は、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００及びＴＶ受信機１２８１０も、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。
図２７は、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティング・システムのネットワーク構造を図示している。
本発明のクラウドコンピューティング・システムは、クラウドコンピューティングサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューディング資源１４２００及びユーザ端末機を含んでなる。
クラウドコンピューティング・システムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューディング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境で、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザはアプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピューディング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点で所望するほど選んで使用することができる。
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ（personal computer）１４３００、スマートＴＶ １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、タブレットＰＣ
１４８００など、インターネット接続が可能な全ての電子機器になる。
クラウドコンピューティングサーバ１４１００は、クラウド網に分散している多数のコンピューディング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューディング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。このように、クラウドコンピューティングサーバ１４１００は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザＤＢ １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報、及び住所、氏名など個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含んでもよい。
ユーザＤＢ １４１００に保存された動画についての情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から同一の動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００を参照し、所定動画サービスを求めて再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先に図２４を参照して説明した携帯電話１２５００の動作と同様である。
クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ １４１００に保存された動画に対する再生要請を受信する。動画が、その前に再生中であったならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機による選択により、最初から再生するか、あるいは以前停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に当該動画を最初のフレームからストリーミング伝送する。一方、端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。
そのとき、ユーザ端末機は、図２Ａないし図２０を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。
図１Ａないし図２０を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について、図２１ないし図２７で説明した。しかし、図１Ａないし図２０を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されたり、あるいは本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現されたりする多様な実施形態は、図２１ないし図２７の実施形態に限定されるものではない。
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されければならないのである。
２０ ビデオ復号化装置
２２ ＳＡＯパラメータ獲得部
２４ ＳＡＯ決定部
２６ ＳＡＯ調整部

Claims (3)

  1. コンテクスト情報を用いてビットストリームに対してエントロピー復号化を行って現在ブロックの左側オフセット併合情報を獲得する段階と、
    前記左側オフセット併合情報によって、前記現在ブロックのオフセットパラメータが、左側ブロックのオフセットパラメータから決定される場合、前記左側ブロックのオフセットパラメータを用いて前記現在ブロックのオフセットパラメータを決定する段階と、
    前記左側オフセット併合情報によって、前記現在ブロックのオフセットパラメータが、前記左側ブロックのオフセットパラメータから決定されない場合、前記コンテクスト情報を用いて前記ビットストリームに対してエントロピー復号化を行って前記現在ブロックの上端オフセット併合情報を獲得する段階と、
    前記上端オフセット併合情報によって、前記現在ブロックのオフセットパラメータが、上端ブロックのオフセットパラメータから決定される場合、前記上端ブロックのオフセットパラメータを用いて、前記現在ブロックのオフセットパラメータを決定する段階と、
    前記上端オフセット併合情報によって、前記現在ブロックのオフセットパラメータが、前記上端ブロックのオフセットパラメータから決定されない場合、前記現在ブロックのオフセットタイプ情報及び複数のオフセット値を前記ビットストリームから獲得する段階と、
    前記複数のオフセット値のうち現在サンプルのためのオフセット値を用いて、前記現在ブロックのサンプルのうち前記現在サンプルのサンプル値を補償する段階と、を含み、
    前記現在ブロックのオフセットタイプ情報及び複数のオフセット値を前記ビットストリームから獲得する段階において、
    前記ビットストリームに対してエントロピー復号化が行われて前記現在ブロックのルマ成分のためのオフセットタイプ情報が獲得され、
    前記ビットストリームに対してエントロピー復号化が行われて前記現在ブロックのクロマ成分のためのオフセットタイプ情報が獲得され、
    前記ルマ成分のオフセットタイプ情報がバンドオフセットタイプを示すとき、バイパスモードで前記ビットストリームに対してエントロピー復号化が行われて前記現在ブロックのルマ成分のサンプル値バンドの開始位置を示す情報が獲得され、
    前記ルマ成分のオフセットタイプ情報がエッジオフセットタイプを示すとき、バイパスモードで前記ビットストリームに対してエントロピー復号化が行われて前記現在ブロックのルマ成分のエッジ方向を示すクラスが獲得され、
    前記ルマ成分のオフセットタイプ情報がバンドオフセットタイプを示すとき、前記ビットストリームに対してエントロピー復号化が行われて前記現在ブロックのルマ成分のオフセットの絶対値と符号情報が獲得され、
    前記クロマ成分のオフセットタイプ情報が前記バンドオフセットタイプを示すとき、前記ビットストリームに対してエントロピー復号化が行われて前記現在ブロックのクロマ成分のオフセットの絶対値と符号情報が獲得されることを特徴とするビデオ復号化方法。
  2. 前記上端オフセット併合情報が、前記現在ブロックのオフセットパラメータが前記上端ブロックのオフセットパラメータによって決定されることを示す場合、前記ビットストリームから前記現在ブロックのオフセットパラメータが獲得されないことを特徴とする請求項１に記載のビデオ復号化方法。
  3. ビデオ復号化装置において、
    コンテクスト情報を用いて、ビットストリームに対してエントロピー復号化を行って現在ブロックの左側オフセット併合情報を獲得し、前記現在ブロックのオフセットパラメータを用いて、前記現在ブロックについての復元ピクセルのサンプルを補償するためのプロセッサを備え、
    前記左側オフセット併合情報によって、前記現在ブロックのオフセットパラメータが、左側ブロックのオフセットパラメータから決定される場合、前記プロセッサは、前記左側ブロックのオフセットパラメータを用いて、前記現在ブロックのオフセットパラメータを決定し、
    前記左側オフセット併合情報によって、前記現在ブロックのオフセットパラメータが、前記左側ブロックのオフセットパラメータから決定されない場合、前記プロセッサは、前記コンテクスト情報を用いて前記ビットストリームに対してエントロピー復号化を行って前記現在ブロックの上端オフセット併合情報を獲得し、
    前記上端オフセット併合情報によって、前記現在ブロックのオフセットパラメータが、上端ブロックのオフセットパラメータから決定される場合、前記プロセッサは、前記上端ブロックのオフセットパラメータを用いて、前記現在ブロックのオフセットパラメータを決定し、
    前記上端オフセット併合情報によって、前記現在ブロックのオフセットパラメータが、前記上端ブロックのオフセットパラメータから決定されない場合、前記プロセッサは、前記ビットストリームに対してエントロピー復号化を行って前記現在ブロックのルマ成分のためのオフセットタイプ情報を獲得し、前記ビットストリームに対してエントロピー復号化を行って前記現在ブロックのクロマ成分のためのオフセットタイプ情報を獲得し、
    前記ルマ成分のオフセットタイプ情報がバンドオフセットタイプを示すとき、前記プロセッサは、バイパスモードで前記ビットストリームに対してエントロピー復号化を行って前記現在ブロックのルマ成分のサンプル値バンドの開始位置を示すクラスを獲得し、
    前記ルマ成分のオフセットタイプ情報がエッジオフセットタイプを示すとき、前記プロセッサは、バイパスモードで前記ビットストリームに対してエントロピー復号化を行って前記現在ブロックのルマ成分のエッジ方向を示すクラスを獲得し、
    前記ルマ成分のオフセットタイプ情報がバンドオフセットタイプを示すとき、前記プロセッサは、前記ビットストリームに対してエントロピー復号化を行って前記現在ブロックのルマ成分のオフセットの絶対値と符号情報を獲得し、
    前記クロマ成分のオフセットタイプ情報が前記バンドオフセットタイプを示すとき、前記プロセッサは、前記ビットストリームに対してエントロピー復号化を行って前記現在ブロックのクロマ成分のオフセットの絶対値と符号情報を獲得することを特徴とするビデオ復号化装置。
JP2016158925A 2012-06-11 2016-08-12 ビデオ復号化方法及びその装置 Active JP6034535B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261657967P 2012-06-11 2012-06-11
US61/657,967 2012-06-11

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015517177A Division JP5990326B2 (ja) 2012-06-11 2013-06-11 カラー成分別にｓａｏパラメータを共有する、ビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置

Publications (2)

Publication Number Publication Date
JP6034535B1 true JP6034535B1 (ja) 2016-11-30
JP2016208545A JP2016208545A (ja) 2016-12-08

Family

ID=49758427

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2015517177A Active JP5990326B2 (ja) 2012-06-11 2013-06-11 カラー成分別にｓａｏパラメータを共有する、ビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2016158922A Active JP6034533B1 (ja) 2012-06-11 2016-08-12 ビデオ復号化方法及びその装置
JP2016158923A Active JP6034534B1 (ja) 2012-06-11 2016-08-12 ビデオ復号化方法及びその装置
JP2016158924A Active JP6081648B2 (ja) 2012-06-11 2016-08-12 ビデオ復号化方法及びその装置
JP2016158925A Active JP6034535B1 (ja) 2012-06-11 2016-08-12 ビデオ復号化方法及びその装置

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2015517177A Active JP5990326B2 (ja) 2012-06-11 2013-06-11 カラー成分別にｓａｏパラメータを共有する、ビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2016158922A Active JP6034533B1 (ja) 2012-06-11 2016-08-12 ビデオ復号化方法及びその装置
JP2016158923A Active JP6034534B1 (ja) 2012-06-11 2016-08-12 ビデオ復号化方法及びその装置
JP2016158924A Active JP6081648B2 (ja) 2012-06-11 2016-08-12 ビデオ復号化方法及びその装置

Country Status (27)

Country Link
US (6) US9807392B2 (ja)
EP (5) EP3300365B1 (ja)
JP (5) JP5990326B2 (ja)
KR (6) KR101529994B1 (ja)
CN (10) CN108965875B (ja)
AU (3) AU2013275098B2 (ja)
BR (2) BR112014030935B1 (ja)
CA (2) CA2985277C (ja)
CY (1) CY1119864T1 (ja)
DK (5) DK3300365T3 (ja)
ES (5) ES2746341T3 (ja)
HR (1) HRP20171936T1 (ja)
HU (5) HUE047709T2 (ja)
IN (1) IN2014MN02643A (ja)
LT (1) LT2854398T (ja)
MX (2) MX342394B (ja)
MY (2) MY192340A (ja)
NO (1) NO2938424T3 (ja)
PH (5) PH12014502761B1 (ja)
PL (5) PL3297284T3 (ja)
PT (1) PT2854398T (ja)
RS (1) RS56675B1 (ja)
RU (4) RU2595578C2 (ja)
SG (4) SG11201408246QA (ja)
SI (1) SI2854398T1 (ja)
TW (5) TWI604718B (ja)
WO (1) WO2013187654A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120035096A (ko) * 2010-10-04 2012-04-13 한국전자통신연구원 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치
KR102008030B1 (ko) 2011-06-23 2019-08-06 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
WO2012176464A1 (ja) 2011-06-24 2012-12-27 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
RU2603552C2 (ru) 2011-06-24 2016-11-27 Сан Пэтент Траст Способ декодирования изображения, способ кодирования изображения, устройство декодирования изображения, устройство кодирования изображения и устройство кодирования и декодирования изображения
BR112013030347B1 (pt) 2011-06-27 2022-06-28 Sun Patent Trust Método de decodificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, aparelho de codificação de imagem e aparelho de codificação e de decodificação de imagem
MY165469A (en) 2011-06-28 2018-03-23 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
MX2013010892A (es) 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CN103583048B (zh) 2011-06-30 2017-05-17 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置
KR102060619B1 (ko) 2011-06-30 2019-12-30 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
CN103765885B (zh) 2011-07-11 2017-04-12 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置
US9253482B2 (en) * 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
US9560362B2 (en) * 2011-12-22 2017-01-31 Mediatek Inc. Method and apparatus of texture image compression in 3D video coding
CA2985277C (en) 2012-06-11 2019-06-04 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus sharing sao parameters between color components
TWI618404B (zh) * 2012-06-27 2018-03-11 Sony Corp Image processing device and method
TWI557727B (zh) 2013-04-05 2016-11-11 杜比國際公司 音訊處理系統、多媒體處理系統、處理音訊位元流的方法以及電腦程式產品
EP2996269A1 (en) 2014-09-09 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio splicing concept
US9942551B2 (en) * 2015-01-30 2018-04-10 Qualcomm Incorporated Palette index grouping for video coding
US9729885B2 (en) * 2015-02-11 2017-08-08 Futurewei Technologies, Inc. Apparatus and method for compressing color index map
US9877024B2 (en) * 2015-03-06 2018-01-23 Qualcomm Incorporated Low complexity sample adaptive offset (SAO) coding
CN105049853A (zh) * 2015-07-06 2015-11-11 深圳市云宙多媒体技术有限公司 一种基于片源分析的sao编码方法及系统
WO2017014585A1 (ko) * 2015-07-21 2017-01-26 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2017036370A1 (en) * 2015-09-03 2017-03-09 Mediatek Inc. Method and apparatus of neural network based processing in video coding
US10972731B2 (en) * 2015-11-10 2021-04-06 Interdigital Madison Patent Holdings, Sas Systems and methods for coding in super-block based video coding framework
US10841581B2 (en) * 2016-07-14 2020-11-17 Arris Enterprises Llc Region specific encoding and SAO-sensitive-slice-width-adaptation for improved-quality HEVC encoding
WO2018054286A1 (en) * 2016-09-20 2018-03-29 Mediatek Inc. Methods and apparatuses of sample adaptive offset processing for video coding
US10567775B2 (en) * 2016-10-01 2020-02-18 Intel Corporation Method and system of hardware accelerated video coding with per-frame parameter control
US20200036978A1 (en) * 2017-03-22 2020-01-30 Industry-University Cooperation Foundation Hanyang University Image encoding/decoding method using pixel value range constituting image
GB2590034B (en) 2017-04-21 2021-12-22 Zenimax Media Inc Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors
CN110870319B (zh) * 2017-05-31 2022-12-06 交互数字麦迪逊专利控股公司 画面编码和解码的方法和设备
EP3750320B1 (en) * 2018-02-09 2023-11-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive in-loop filter with multiple feature-based classifications
CN112438047B (zh) 2018-06-26 2022-08-09 华为技术有限公司 用于点云译码的高级语法设计
CN112640456B (zh) * 2018-08-31 2024-08-06 三星电子株式会社 视频解码方法和设备以及视频编码方法和设备
KR20200044662A (ko) * 2018-10-19 2020-04-29 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화를 위한 장치, 및 방법
CN112997489B (zh) 2018-11-06 2024-02-06 北京字节跳动网络技术有限公司 具有几何分割的帧间预测的边信息信令
US10727868B2 (en) * 2018-12-03 2020-07-28 Samsung Electronics Co., Ltd. Apparatus and method for offset optimization for low-density parity-check (LDPC) code
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
WO2022115698A1 (en) * 2020-11-30 2022-06-02 Beijing Dajia Internet Information Technology Co., Ltd. Chroma coding enhancement in cross-component sample adaptive offset
CN113099221B (zh) * 2021-02-22 2023-06-02 浙江大华技术股份有限公司 跨分量样点自适应补偿方法、编码方法及相关装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0896300B1 (en) * 1997-08-07 2002-01-30 Matsushita Electric Industrial Co., Ltd. Device and method for motion vector detection
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7010044B2 (en) 2003-07-18 2006-03-07 Lsi Logic Corporation Intra 4×4 modes 3, 7 and 8 availability determination intra estimation and compensation
EP1665133A4 (en) * 2004-01-20 2009-05-13 Panasonic Corp IMAGE ENCODING METHOD, IMAGE DECODING METHOD, IMAGE ENCODING APPARATUS, IMAGE DECODING APPARATUS, AND CORRESPONDING PROGRAM
PL1709801T3 (pl) * 2004-01-30 2013-02-28 Panasonic Ip Corp America Sposób dekodowania video z wykorzystaniem adaptacyjnych macierzy kwantyzacji
US7630435B2 (en) 2004-01-30 2009-12-08 Panasonic Corporation Picture coding method, picture decoding method, picture coding apparatus, picture decoding apparatus, and program thereof
KR100657268B1 (ko) * 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
WO2006104366A1 (en) * 2005-04-01 2006-10-05 Lg Electronics Inc. Method for scalably encoding and decoding video signal
TW200806040A (en) 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
JP4650894B2 (ja) * 2006-04-03 2011-03-16 三菱電機株式会社 画像復号装置
CN100578618C (zh) * 2006-12-04 2010-01-06 华为技术有限公司 一种解码方法及装置
JP4956180B2 (ja) * 2006-12-26 2012-06-20 株式会社東芝 順次走査変換装置及び順次走査変換方法
EP2116061A2 (en) 2007-01-04 2009-11-11 Thomson Licensing Methods and apparatus for reducing coding artifacts for illumination compensation and/or color compensation in multi-view coded video
BRPI0818444A2 (pt) 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
US8938009B2 (en) 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
KR101624649B1 (ko) 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9406252B2 (en) 2009-12-31 2016-08-02 Broadcom Corporation Adaptive multi-standard video coder supporting adaptive standard selection and mid-stream switch-over
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
CN103119849B (zh) 2010-04-13 2017-06-16 弗劳恩霍夫应用研究促进协会 概率区间分割编码器和译码器
US8660174B2 (en) 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8902978B2 (en) 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
US9456111B2 (en) * 2010-06-15 2016-09-27 Mediatek Inc. System and method for content adaptive clipping
JP5165083B2 (ja) * 2010-06-15 2013-03-21 聯發科技股▲ふん▼有限公司 ビデオコーディングの適応オフセットに用いる装置および方法
EP3907999B1 (en) 2010-09-02 2023-11-22 LG Electronics, Inc. Inter prediction
WO2012044093A2 (ko) * 2010-09-29 2012-04-05 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
US8861617B2 (en) 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
CN106878729B (zh) 2010-10-05 2019-09-24 寰发股份有限公司 基于分区基础的自适应环路滤波方法和装置
SI3595303T1 (sl) * 2010-11-25 2022-01-31 Lg Electronics Inc. Postopek za dekodiranje informacije o sliki, naprava za dekodiranje, postopek za kodiranje informacije o sliki, naprava za kodiranje in pomnilniški medij
CN102595119B (zh) * 2011-01-14 2014-03-12 华为技术有限公司 条带编码方法及装置、条带解码方法及装置
EP2700230A4 (en) 2011-04-21 2014-08-06 Mediatek Inc METHOD AND APPARATUS FOR ENHANCED LOOP FILTERING
US9008170B2 (en) 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
US20120294353A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
MX338669B (es) 2011-06-28 2016-04-27 Samsung Electronics Co Ltd Metodo de codificacion de video que utiliza ajustes de desplazamiento de conformidad con clasificacion de pixel y aparato para ello, metodo de decodificacion de video y aparato para ello.
US20130003829A1 (en) * 2011-07-01 2013-01-03 Kiran Misra System for initializing an arithmetic coder
US10070152B2 (en) * 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US9591331B2 (en) * 2012-03-28 2017-03-07 Qualcomm Incorporated Merge signaling and loop filter on/off signaling
CN103636221B (zh) 2012-05-25 2017-11-17 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置以及图像编码解码装置
EP2858354B1 (en) * 2012-05-25 2022-12-21 Sun Patent Trust Video image coding method, video image decoding method, video image coding device, video image decoding device, and video image coding-decoding device
US9942571B2 (en) * 2012-05-29 2018-04-10 Hfi Innovations Inc. Method and apparatus for coding of sample adaptive offset information
AU2013272989B2 (en) * 2012-06-08 2017-05-25 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CA2985277C (en) 2012-06-11 2019-06-04 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus sharing sao parameters between color components
CN103634603B (zh) 2012-08-29 2017-07-07 中兴通讯股份有限公司 视频编解码方法、装置及系统

Also Published As

Publication number Publication date
IN2014MN02643A (ja) 2015-10-16
TW201640896A (zh) 2016-11-16
US20150189284A1 (en) 2015-07-02
EP3297284B1 (en) 2019-09-11
JP2016220238A (ja) 2016-12-22
RU2666311C1 (ru) 2018-09-06
PH12018500803B1 (en) 2018-09-24
CN108600752B (zh) 2021-09-21
CY1119864T1 (el) 2018-06-27
HUE037047T2 (hu) 2018-08-28
ES2746936T3 (es) 2020-03-09
EP3297284A1 (en) 2018-03-21
DK3300364T3 (da) 2019-09-16
US9219918B2 (en) 2015-12-22
CN108965874B (zh) 2021-04-27
JP2016226021A (ja) 2016-12-28
JP6081648B2 (ja) 2017-02-15
KR20150041771A (ko) 2015-04-17
NO2938424T3 (ja) 2018-08-18
CN104869396B (zh) 2018-10-19
JP2016226022A (ja) 2016-12-28
TW201412123A (zh) 2014-03-16
KR20150041770A (ko) 2015-04-17
SG11201408246QA (en) 2015-03-30
JP6034533B1 (ja) 2016-11-30
JP2015519853A (ja) 2015-07-09
KR101603687B1 (ko) 2016-03-15
MX352119B (es) 2017-11-09
AU2017265158A1 (en) 2017-12-14
MY192340A (en) 2022-08-17
RU2693307C1 (ru) 2019-07-02
TW201537955A (zh) 2015-10-01
TW201743613A (zh) 2017-12-16
BR112014030935A2 (pt) 2017-06-27
CN104471938A (zh) 2015-03-25
US20150181252A1 (en) 2015-06-25
KR20150009497A (ko) 2015-01-26
ES2746341T3 (es) 2020-03-05
PH12014502761A1 (en) 2015-03-02
SG10201510803WA (en) 2016-01-28
CN104471938B (zh) 2018-08-21
US20150189330A1 (en) 2015-07-02
PH12018500805A1 (en) 2018-09-24
JP6034534B1 (ja) 2016-11-30
RU2595578C2 (ru) 2016-08-27
CA2876167C (en) 2018-01-02
CN108965876A (zh) 2018-12-07
SI2854398T1 (en) 2018-02-28
TWI687091B (zh) 2020-03-01
PH12018500803A1 (en) 2018-09-24
AU2013275098B2 (en) 2016-05-05
EP3297283A1 (en) 2018-03-21
CN104902273A (zh) 2015-09-09
DK3300365T3 (da) 2019-09-16
AU2016204699A1 (en) 2016-07-21
EP3300364A1 (en) 2018-03-28
PL2854398T3 (pl) 2018-02-28
EP3300365B1 (en) 2019-09-04
US10609375B2 (en) 2020-03-31
TW201836355A (zh) 2018-10-01
ES2755811T3 (es) 2020-04-23
PL3300364T3 (pl) 2019-12-31
TWI519135B (zh) 2016-01-21
HRP20171936T1 (hr) 2018-02-09
CN104869394B (zh) 2018-10-19
US9826235B2 (en) 2017-11-21
US10075718B2 (en) 2018-09-11
EP2854398A4 (en) 2015-12-23
EP2854398B1 (en) 2017-12-13
US9807393B2 (en) 2017-10-31
PH12018500808A1 (en) 2018-09-24
PL3300365T3 (pl) 2020-01-31
EP3297283B1 (en) 2019-09-04
PH12018500804B1 (en) 2018-09-24
PH12014502761B1 (en) 2015-03-02
DK2854398T3 (en) 2018-01-08
BR112014030935B1 (pt) 2022-06-14
CN104902273B (zh) 2019-03-15
EP3300365A1 (en) 2018-03-28
MX342394B (es) 2016-09-28
MX2014015240A (es) 2015-02-20
DK3297284T3 (da) 2019-09-23
WO2013187654A1 (ko) 2013-12-19
PL3297283T3 (pl) 2019-12-31
RU2014153865A (ru) 2016-08-10
CA2876167A1 (en) 2013-12-19
AU2017265158B2 (en) 2018-11-08
KR20150041769A (ko) 2015-04-17
AU2013275098A1 (en) 2015-01-29
HUE047442T2 (hu) 2020-04-28
TWI549484B (zh) 2016-09-11
CN108965875B (zh) 2022-02-01
CN108600752A (zh) 2018-09-28
CN108965874A (zh) 2018-12-07
CA2985277C (en) 2019-06-04
CA2985277A1 (en) 2013-12-19
CN108965875A (zh) 2018-12-07
CN104869395B (zh) 2018-12-14
BR122019022458B1 (pt) 2021-10-05
PL3297284T3 (pl) 2019-12-31
CN108965876B (zh) 2022-02-01
EP3300364B1 (en) 2019-09-04
CN104869394A (zh) 2015-08-26
HUE047709T2 (hu) 2020-05-28
KR20150041768A (ko) 2015-04-17
US20150181251A1 (en) 2015-06-25
PT2854398T (pt) 2018-01-16
TWI632805B (zh) 2018-08-11
PH12018500808B1 (en) 2018-09-24
PH12018500804A1 (en) 2018-09-24
BR112014030935A8 (pt) 2019-12-10
CN104902272A (zh) 2015-09-09
KR101529994B1 (ko) 2015-06-29
CN104869396A (zh) 2015-08-26
JP5990326B2 (ja) 2016-09-14
KR101603705B1 (ko) 2016-03-15
US9807392B2 (en) 2017-10-31
US20180352233A1 (en) 2018-12-06
HUE047873T2 (hu) 2020-05-28
RS56675B1 (sr) 2018-03-30
AU2016204699B2 (en) 2017-08-31
HUE047710T2 (hu) 2020-05-28
PH12018500805B1 (en) 2018-09-24
ES2746824T3 (es) 2020-03-09
LT2854398T (lt) 2018-01-10
DK3297283T3 (da) 2019-09-16
JP2016208545A (ja) 2016-12-08
RU2638742C1 (ru) 2017-12-15
MY171147A (en) 2019-09-27
SG10201503487VA (en) 2015-06-29
KR101603703B1 (ko) 2016-03-15
US20150172678A1 (en) 2015-06-18
CN104869395A (zh) 2015-08-26
EP2854398A1 (en) 2015-04-01
KR20130138701A (ko) 2013-12-19
KR102028688B1 (ko) 2019-10-04
CN104902272B (zh) 2017-09-01
TWI604718B (zh) 2017-11-01
KR101603704B1 (ko) 2016-03-25
SG10201605050RA (en) 2016-08-30
ES2652608T3 (es) 2018-02-05

Similar Documents

Publication Publication Date Title
JP6034535B1 (ja) ビデオ復号化方法及びその装置
KR101971226B1 (ko) 최대 부호화 단위 별로 픽셀 분류에 따른 오프셋 조정을 이용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
JP6382807B2 (ja) Ｓａｏ符号化又は復号化のための方法及び装置
JP2016105627A (ja) スライスセグメントのエントロピー符号化方法及びその装置、スライスセグメントのエントロピー復号化方法及びその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160825

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160825

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160920

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161027

R150 Certificate of patent or registration of utility model

Ref document number: 6034535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250