JP5688153B2 - 適応的フィルタリング方法及びその装置 - Google Patents

適応的フィルタリング方法及びその装置 Download PDF

Info

Publication number
JP5688153B2
JP5688153B2 JP2013531490A JP2013531490A JP5688153B2 JP 5688153 B2 JP5688153 B2 JP 5688153B2 JP 2013531490 A JP2013531490 A JP 2013531490A JP 2013531490 A JP2013531490 A JP 2013531490A JP 5688153 B2 JP5688153 B2 JP 5688153B2
Authority
JP
Japan
Prior art keywords
unit
filtering
coding
depth
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013531490A
Other languages
English (en)
Other versions
JP2013540395A (ja
Inventor
セレギン,ヴァディム
チョン,ジアンル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013540395A publication Critical patent/JP2013540395A/ja
Application granted granted Critical
Publication of JP5688153B2 publication Critical patent/JP5688153B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Description

本発明は、ビデオの符号化及び復号化に係り、特に、ビデオ符号化時及びビデオ復号化時に発生するブロッキング効果(blocking artifact)を効果的に除去するための適応的フィルタリング方法及びその装置に関する。
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。
マクロブロックに基づいた予測符号化方式は、ブロック間の境界で、ピクセル値の不連続によって、ブロッキング効果(blocking effect)を誘発することがある。従って、ビデオコーデックでは、ビデオ圧縮率を向上させて復元映像の画質を向上させるために、デブロッキング・フィルタリングを行う。
本発明が解決しようとする技術的課題は、ブロックの境界領域で発生するブロッキング効果を低減させるデブロッキング・フィルタリングを行う方法及びその装置を提供することである。
本発明の一実施形態による適応的フィルタリング方法は、ブロック境界周辺に位置したピクセルのピクセル値に基づいて獲得されたパラメータに基づいて、フィルタリング強度を決定してフィルタリングを行うのである。
本発明の実施形態によれば、圧縮された後で復元されるビデオから、ブロッキング効果を除去することにより、ビデオの品質を大きく改善することができる。
本発明のデブロッキング・フィルタリングを行うビデオ符号化装置のブロック図である。 本発明の一実施形態によるデブロッキング・フィルタリングを行うビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及び予測単位を図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態によって、最大符号化単位、各最大符号化単位を細分したツリー構造による符号化単位、各符号化単位を細分した予測単位、及び変換単位を含むデータ単位を図示する図面である。 図14のデータ単位について、所定サイズ以上のデータ単位が有する境界を基に決定されたフィルタリング境界を図示する図面である。 図14のデータ単位について、所定サイズ以上のデータ単位が有する境界を基に決定されたフィルタリング境界を図示する図面である。 図14のデータ単位について、所定サイズ以上のデータ単位が有する境界を基に決定されたフィルタリング境界を図示する図面である。 本発明の一実施形態による適応的フィルタリング装置の構成を示したブロック図である。 本発明の一実施形態によるデブロッキング・フィルタリングについて説明するためのフィルタリング境界に位置したピクセルを図示した図面である。 本発明の一実施形態によるデブロッキング・フィルタリングについて説明するためのフィルタリング境界に位置したピクセルを図示した図面である。 本発明の一実施形態によって、ブロック境界周辺のピクセルのピクセル値を利用したパラメータ獲得過程について説明するための参照図である。図21は本発明の一実施形態による適応的フィルタリング方法を示したフローチャートである。 本発明の一実施形態によって、ブロック境界周辺のピクセルのピクセル値を利用したパラメータ獲得過程について説明するための参照図である。 本発明の一実施形態による適応的フィルタリング方法を示したフローチャートである。 本発明の他の実施形態による適応的フィルタリング方法について説明するための参照図である。 本発明の他の実施形態による適応的フィルタリング方法について説明するための参照図である。
本発明の一実施形態による適応的フィルタリング方法は、ブロック境界周辺に位置したピクセルのピクセル値が、所定のライン(line)に近い程度を示すパラメータ(parameter)を獲得する段階と、前記獲得されたパラメータに基づいて、前記ブロック境界でのフィルタリング強度を決定する段階と、前記決定されたフィルタリング強度に基づいてフィルタリングを行う段階と、を含む。
本発明の一実施形態による適応的フィルタリング装置は、ブロック境界周辺に位置したピクセルのピクセル値が所定のラインに近い程度を示すパラメータを獲得するパラメータ獲得部;前記獲得されたパラメータに基づいて、前記ブロック境界でのフィルタリング強度を決定するフィルタリング強度決定部;及び前記決定されたフィルタリング強度に基づいてフィルタリングを行うフィルタリング遂行部;を含む。
本発明の一実施形態による適応的フィルタリング方法は、受信されたビットストリームをパージングし、現在ピクチャが分割された最大符号化単位のうち、それぞれの最大符号化単位に含まれるツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、前記ツリー構造による符号化単位に係わる符号化モード情報、及び前記最大符号化単位のデブロッキング・フィルタリングについての情報を抽出する段階と、前記ツリー構造による符号化単位に係わる符号化モード情報に基づいて、前記符号化単位別に、予測及び変換のための予測単位及び変換単位を決定し、符号化された映像データを復号化する段階と、前記デブロッキング・フィルタリングについての情報を利用して、前記ツリー構造による符号化単位、前記予測単位及び変換単位のうち少なくとも1つのデータ単位の境界のうち、デブロッキング・フィルタリングを行うフィルタリング境界を決定する段階と、前記決定されたフィルタリング境界を基に、前記フィルタリング境界周辺に位置したピクセルのピクセル値が、所定のラインに近い程度を示すパラメータを獲得する段階と、前記獲得されたパラメータに基づいて、前記ブロック境界でのフィルタリング強度を決定する段階と、前記決定されたフィルタリング強度に基づいてフィルタリングを行う段階と、を含む。
図1は、本発明の一実施形態によるデブロッキング・フィルタリングを行うビデオ符号化装置のブロック図を図示している。
一実施形態によるデブロッキングを行うビデオ符号化装置100(以下、「ビデオ符号化装置100」とする)は、符号化単位決定部110、デブロッキング・フィルタリング部130及び伝送部120を含む。
一実施形態による符号化単位決定部110は、ビデオの1枚のピクチャの映像データを入力され、最大サイズのデータ単位である最大符号化単位に分割する。一実施形態による最大符号化単位は、サイズ32x32,64x64,128x128,256x256などのデータ単位であり、縦横サイズが8より大きい2の自乗である正方形のデータ単位であってもよい。
一実施形態による符号化単位決定部110は、それぞれの最大符号化単位ごとに、空間的に分割された領域別に、階層的構造の符号化単位を決定する。最大符号化単位の階層的構造の符号化単位は、最大符号化単位の空間的分割回数を示す深度に基づいて表現される。望ましくは、ツリー構造による符号化単位は、最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。
一実施形態による符号化単位決定部110は、現在最大符号化単位に含まれる深度別符号化単位をそれぞれ符号化し、領域別に、上位深度及び下位深度の符号化単位に係わる符号化結果を比較し、最適の符号化結果を出力する符号化単位、及び当該深度である符号化深度を決定することができる。また、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
従って、一実施形態による符号化単位決定部110は、最大符号化単位ごとに、領域別に独立して決定された符号化深度の符号化単位によって構成されたツリー構造による符号化単位を決定することができる。また、一実施形態による符号化単位決定部110は、符号化深度の符号化単位を決定する過程で予測符号化を行う。一実施形態による符号化単位決定部110は、符号化深度の符号化単位が、最適の符号化結果を出力するための予測符号化が行われるデータ単位である予測単位またはパーティションを決定することができる。例えば、サイズ2Nx2Nの符号化単位に係わるパーティションタイプは、サイズ2Nx2N,2NxN,Nx2N及びNxNのパーティションを含んでもよい。一実施形態によるパーティションタイプは、符号化単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、1:nまたはn:1にように非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。また、パーティションタイプの予測モードは、インターモード、イントラモード、スキップモードなどを含んでもよい。
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、符号化単位が最大符号化単位から階層的に分割される回数による指標であり、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第1最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第2最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が0であるとするとき、最大符号化単位が1回分割された符号化単位の深度は、1に設定され、2回分割された符号化単位の深度は、2に設定される。その場合、最大符号化単位から4回分割された符号化単位が最小符号化単位であるならば、深度0,1,2,3及び4の深度レベルが存在するので、第1最大深度は4、第2最大深度は5に設定される。
一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図3ないし図13を参照して詳細に説明する。
一実施形態によるデブロッキング・フィルタリング部130は、符号化単位、予測単位及び変換単位のうち、少なくとも1つのデータ単位に基づいてデブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界に隣接したピクセルのピクセル値に基づいて、フィルタリング境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいて、デブロッキング・フィルタリングを行う。例えば、デブロッキング・フィルタリング部130は、後述するように、符号化単位、予測単位及び変換単位が決定されれば、それら符号化単位、予測単位及び変換単位の大きさなどを基に、所定サイズ以上を有するデータ単位の境界を、デブロッキング・フィルタリングを行うフィルタリング境界と決定し、フィルタリング境界に隣接したピクセル値に係わるデブロッキング・フィルタリングを行うことができる
一実施形態による伝送部120は、デブロッキング・フィルタリング部130によって決定されたデブロッキング・フィルタリングについての情報を符号化し、ピクチャの符号化されたデータ、及び最大符号化単位のツリー構造による符号化単位に係わる符号化モード情報と共に伝送することができる。デブロッキング・フィルタリングについての情報は、ツリー構造による符号化単位、予測単位及び変換単位などのデータ単位が有する境界のうち、デブロッキング・フィルタリングが行われるデータ単位を決定するためのデータ単位サイズのようなフィルタリング境界決定情報を含んでもよい。
一実施形態による伝送部120は、デブロッキング・フィルタリングについての情報を、ピクチャのSPS(sequence parameter set)またはPPS(picture parameter set)に挿入して伝送することができる。
一実施形態によるデブロッキング・フィルタリングのためのフィルタリング境界の決定及びデブロッキング・フィルタリングの過程については、図14ないし図22を参照して後述する。
一実施形態による符号化単位決定部110は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式を適用して符号化を行うことができるので、多様な映像サイズの符号化単位の映像特性を考慮した最適の符号化モードが決定される。
映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、大きさが16x16または8x8に固定されている既存マクロブロック単位に符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態による符号化単位決定部110は、映像の大きさを考慮して、符号化単位の最大サイズを増大させながら、映像特性を考慮して、符号化単位を調節することができるので、ビデオに係わる最終的な圧縮効率が上昇する。
また、一実施形態によるツリー構造による符号化単位に基づいたデブロッキング・フィルタリングを介して、デブロッキング・フィルタリングが行われた参照ピクチャを利用することにより、原本ピクチャとの誤差を低減させる予測符号化が行われる。
図2は、一実施形態によるツリー構造による符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化装置のブロック図を図示している。
一実施形態によるツリー構造による符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化装置200(以下、「ビデオ復号化装置200」とする)は、受信及び抽出部210、復号化部220及びデブロッキング・フィルタリング部230を含む。
一実施形態による受信部及び抽出部210は、ビデオに係わるビットストリームを受信してパージングし、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、ツリー構造による符号化単位に係わる符号化モード情報、及びデブロッキング・フィルタリングについての情報を抽出する。一実施形態による受信部及び抽出部210は、デブロッキング・フィルタリングについての情報を、ピクチャのSPSまたはPPSから抽出することもできる。
一実施形態による復号化部220は、受信部及び抽出部210によって抽出されたツリー構造による符号化単位に係わる符号化モード情報に基づいて、符号化単位別に符号化された映像データを復号化する。
一実施形態による復号化部220は、最大符号化単位別ツリー構造による符号化単位に係わる符号化モード情報に基づいて、最大符号化単位内に含まれる符号化深度の符号化単位、当該符号化単位のパーティションタイプ、予測モード、変換単位などを決定することができる。
一実施形態による復号化部220は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、決定されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することにより、最大符号化単位の符号化された映像データを復号化することができる。
復号化部220によって復号化された映像データ、並びに受信部及び抽出部210によって抽出されたデブロッキング・フィルタリングについての情報が、一実施形態によるデブロッキング・フィルタリング部230に入力される。
一実施形態によるデブロッキング・フィルタリング部230は、デブロッキング・フィルタリングについての情報を利用して、ツリー構造による符号化単位、予測単位及び変換単位のうち、少なくとも1つのデータ単位の境界のうち、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界を基に、フィルタリング境界に隣接したピクセルのピクセル値に基づいて、フィルタリング境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいて、復号化された映像データについてデブロッキング・フィルタリングを行う。
一実施形態によるデブロッキング・フィルタリング部230を介して、デブロッキング・フィルタリングが行われた参照ピクチャを参照し、次のピクチャに係わる予測復号化が行われるので、復元映像と原本映像との誤差が低減される。
図3は、本発明の一実施形態による符号化単位の概念を図示している。符号化単位の例は、符号化単位の大きさは、幅x高さで表現され、サイズ64x64である符号化単位から、32x32、16x16、8x8を含んでもよい。サイズ64x64の符号化単位は、サイズ64x64,64x32,32x64,32x32の予測単位に分割され、サイズ32x32の符号化単位は、サイズ32x32,32x16,16x32,16x16の予測単位に、サイズ16x16の符号化単位は、サイズ16x16,16x8,8x16,8x8の予測単位に、大きさ8x8の符号化単位は、サイズ8x8,8x4,4x8,4x4の予測単位に分割される。
ビデオデータ310については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が2に設定されている。ビデオデータ320については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が3に設定されている。ビデオデータ330については、解像度が352x288、符号化単位の最大サイズが16、最大深度が1に設定されている。図3に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ330に比べて、解像度が高いビデオデータ310,320は、符号化サイズの最大サイズが64に選択される。
ビデオデータ310の最大深度が2であるので、ビデオデータ310の符号化単位315は、長軸サイズが64である最大符号化単位から、2回分割されて深度が2階層深くなり、長軸サイズが32,16である符号化単位まで含んでもよい。また、ビデオデータ330の最大深度が1であるので、ビデオデータ330の符号化単位335は、長軸サイズが16である符号化単位から、1回分割されて深度が1階層深くなり、長軸サイズが8である符号化単位まで含んでもよい。
ビデオデータ320の最大深度が3であるので、ビデオデータ320の符号化単位325は、長軸サイズが64である最大符号化単位から、3回分割されて深度が3階層深くなり、長軸サイズが32,16,8である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能力が向上するのである。
図4は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。一実施形態による映像符号化部400は、一実施形態によるビデオ符号化装置100に対応する。イントラ予測部410は、現在フレーム405において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部420及び動き補償部425は、インターモードの現在フレーム405及び参照フレーム495を利用して、インター推定及び動き補償を行う。
イントラ予測部410、動き推定部420及び動き補償部425から出力されたデータは周波数変換部430及び量子化部440を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部460、逆周波数変換部470を介して空間領域のデータとして復元され、復元された空間領域のデータは、デブロッキング部480及びループ・フィルタリング部490を経て後処理され、参照フレーム495として出力される。量子化された変換係数は、エントロピ符号化部450を経て、ビットストリーム455に出力される。
一実施形態による映像符号化部400の、イントラ予測部410、動き推定部420、動き補償部425、周波数変換部430及び量子化部440、逆量子化部460、逆周波数変換部470、デブロッキング部480及びループ・フィルタリング部490は、最大符号化単位別に、ツリー構造による符号化単位を考慮して動作することができる。
特に、デブロッキング・フィルタリング部480は、符号化単位の最大サイズ、及びツリー構造による符号化単位に基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界を基に、隣接したピクセルのピクセル値に基づいて、フィルタリング境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいて、デブロッキング・フィルタリングを行う。
図5は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。ビットストリーム505がパージング部510を経て復号化対象である符号化されたビデオデータ、及び復号化のために必要な符号化に関する情報がパージングされる。符号化されたビデオデータは、エントロピ復号化部520及び逆量子化部530を経て、逆量子化されたデータとして出力され、逆周波数変換部540を経て、空間領域の映像データが復元される。
空間領域の映像データについて、イントラ予測部550は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部560は、参照フレーム585を共に利用して、インターモードの符号化単位について動き補償を行う。
イントラ予測部550及び動き補償部560を経た空間領域のデータは、デブロッキング部570及びループ・フィルタリング部580を経て後処理され、復元フレーム595として出力される。また、デブロッキング部570及びループ・フィルタリング部580を経て後処理されたデータは、参照フレーム585として出力される。
一実施形態によるビデオ復号化装置200の復号化部220で、映像データを復号化するために、一実施形態による映像復号化部500のパージング部510以後の段階別動作が行われる。
一実施形態による映像復号化部500は、一実施形態によるビデオ復号化装置200に相応するので、映像復号化部500のパージング部510、エントロピ復号化部520、逆量子化部530、逆周波数変換部540、イントラ予測部550、動き補償部560、デブロッキング部570及びループ・フィルタリング部580が、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。
特に、デブロッキング部570は、パージングされたデブロッキング・フィルタリングについての情報を利用して、ツリー構造による符号化単位、予測単位及び変換単位のうち、少なくとも1つのデータ単位の境界のうち、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界を基に、隣接したピクセルのピクセル値に基づいて、フィルタリング境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいて、復号化された映像データについて、デブロッキング・フィルタリングを行う。デブロッキング・フィルタリングについての具体的な動作は、図14以下で後述する。
図6は、本発明の一実施形態による深度別符号化単位及び予測単位を図示している。
一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、映像特性を考慮するために、領域別に独立して決定されたツリー構造による符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造600は、符号化単位の最大高さ及び幅が64であり、最大深度が5である場合を図示している。図6に図示された最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示す。
一実施形態による符号化単位の階層構造600の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる部分的データ単位である予測単位(またはパーティション)が図示されている。
すなわち、符号化単位610は、符号化単位の階層構造600において、最大符号化単位であって深度が0であり、符号化単位の大きさ、すなわち、高さ及び幅が64x64である。縦軸に沿って深度が深くなり、サイズ32x32である深図1の符号化単位620、サイズ16x16である深度2の符号化単位630、サイズ8x8である深度3の符号化単位640、サイズ4x4である深度4の符号化単位650が存在する。サイズ4x4である深度4の符号化単位650は、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位として、パーティションが配列される。すなわち、深度0のサイズ64x64の符号化単位610の予測単位は、サイズ64x64の符号化単位610に含まれるサイズ64x64のパーティション610、サイズ64x32のパーティション612、サイズ32x64のパーティション614、サイズ32x32のパーティション616であってもよい。反対に見れば、符号化単位は、予測単位610,612,614,616を含む最小サイズの正方形のデータ単位であってもよい。
同様に、深度1のサイズ32x32の符号化単位620の予測単位は、サイズ32x32の符号化単位620に含まれるサイズ32x32のパーティション620、サイズ32x16のパーティション622、サイズ16x32のパーティション624、サイズ16x16のパーティション626である。
同様に、深度2のサイズ16x16の符号化単位630の予測単位は、サイズ16x16の符号化単位630に含まれるサイズ16x16のパーティション630、サイズ16x8のパーティション632、サイズ8x16のパーティション634、サイズ8x8のパーティション636である。
同様に、深度3のサイズ8x8の符号化単位640の予測単位は、サイズ8x8の符号化単位640に含まれるサイズ8x8のパーティション640、サイズ8x4のパーティション642、サイズ4x8のパーティション644、サイズ4x4のパーティション646である。
最後に、深度4のサイズ4x4の符号化単位650は、最小符号化単位であり、最下位深度の符号化単位であり、サイズ4x4の符号化単位650の予測単位は、サイズ4x4のパーティション650、サイズ4x2のパーティション652、サイズ2x4のパーティション654、サイズ2x2のパーティション656である。
一実施形態によるビデオ符号化装置100の符号化単位決定部110は、最大符号化単位610の符号化深度を決定するために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど増加する。例えば、深度1の符号化単位一つが含むデータに、深度2の符号化単位は、四つが含まれる。従って、同一のデータの符号化結果を深度別に比較するために、1つの深度1の符号化単位、及び4つの深度2の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して、最小符号化誤差が検索される。最大符号化単位610において、最小符号化誤差が発生する深度及び予測単位が、最大符号化単位610の符号化深度及びパーティションタイプに選択される。
図7は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じ大きさの符号化単位で映像を符号化したり復号化する。符号化過程において、周波数変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。
例えば、一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200で、現在符号化単位710が64x64サイズであるとき、32x32サイズの変換単位720を利用して周波数変換が行われる。
また、64x64サイズの符号化単位710のデータを、64x64サイズ以下の32x32,16x16,8x8,4x4サイズの変換単位で、それぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図8は、本発明の一実施形態による深度別符号化モード情報を図示している。一実施形態によるビデオ符号化装置100は、ツリー構造による符号化単位に係わる符号化モード情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報800、予測モードについての情報810、変換単位サイズについての情報820を符号化して伝送することができる。
パーティションタイプについての情報800は、現在符号化単位の予測符号化のために予測単位(パーティション)として、現在符号化単位が分割されたタイプについての情報を示す。例えば、深度0及びサイズ2Nx2Nの現在符号化単位CU_0は、サイズ2Nx2Nの予測単位802、サイズ2NxNの予測単位804、サイズNx2Nの予測単位806、サイズNxNの予測単位808のうちいずれか1つのタイプに分割されて予測単位に利用される。その場合、現在符号化単位のパーティションタイプについての情報800は、サイズ2Nx2Nの予測単位802、サイズ2NxNの予測単位804、サイズNx2Nの予測単位806及びサイズNxNの予測単位808のうち一つを示すように設定される。
予測モードについての情報810は、それぞれの予測単位の予測モードを示す。例えば、予測モードについての情報810を介して、パーティションタイプについての情報800が示す予測単位がイントラモード812、インターモード814及びスキップモード816のうち一つで予測符号化が行われるかが設定される。
また、変換単位サイズについての情報820は、現在符号化単位をいかなる変換単位を基に周波数変換を行うかを示す。例えば、変換単位は、イントラモードの第1サイズ822及び第2サイズ824、インターモードの第1サイズ826及び第2サイズ828のうち一つである。
一実施形態によるビデオ復号化装置200の受信部及び抽出部210は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報800、予測モードについての情報810、変換単位サイズについての情報820を抽出し、復号化部220が、該情報800,810,820を復号化に利用することができる。
図9は、本発明の一実施形態による深度別符号化単位を図示している。
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。深度0及び2N_0x2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0x2N_0サイズのパーティションタイプ912、2N_0xN_0サイズのパーティションタイプ914、N_0x2N_0サイズのパーティションタイプ916、N_0xN_0サイズのパーティションタイプ918を含んでもよい。符号化単位が対称的な比率に分割されたパーティション(912,914,916,918だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではない。
パーティションタイプごとに、1つの2N_0x2N_0サイズの予測単位、2つの2N_0xN_0サイズの予測単位、2つのN_0x2N_0サイズの予測単位、4つのN_0xN_0サイズの予測単位ごとに、反復的に予測符号化が行われなければならない。サイズ2N_0x2N_0、サイズN_0x2N_0、サイズ2N_0xN_0及びサイズN_0xN_0の予測単位については、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ2N_0x2N_0の予測単位につてのみ予測符号化が行われることができる。
サイズ2N_0x2N_0,2N_0xN_0及びN_0x2N_0のパーティションタイプ912,914,916のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要はない。
サイズN_0xN_0のパーティションタイプ918による符号化誤差が最も小さければ、深度0を1に変更しながら分割し(920)、深度2及びサイズN_0xN_0のパーティションタイプの符号化単位930について反復的に符号化を行い、最小符号化誤差を検索していくことができる。
深度1及びサイズ2N_1x2N_1(=N_0xN_0)の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1x2N_1のパーティションタイプ942、サイズ2N_1xN_1のパーティションタイプ944、サイズN_1x2N_1のパーティションタイプ946、サイズN_1xN_1のパーティションタイプ948を含んでもよい。また、サイズN_1xN_1サイズのパーティションタイプ948による符号化誤差が最も小さければ、深度1を深度2に変更しながら分割し(950)、深度2及びサイズN_2xN_2の符号化単位960について反復的に符号化を行い、最小符号化誤差を検索していくことができる。
最大深度がdである場合、深度別符号化単位は、深度d−1になるまで設定され、分割情報は、深度d−2まで設定される。すなわち、深度d−2から分割され(970)深度d−1まで符号化が行われる場合、深度d−1及びサイズ2N_(d−1)x2N_(d−1)の符号化単位980の予測符号化のための予測単位990は、サイズ2N_(d−1)x2N_(d−1)のパーティションタイプ992、サイズ2N_(d−1)xN_(d−1)のパーティションタイプ994、サイズN_(d−1)x2N_(d−1)のパーティションタイプ996、サイズN_(d−1)xN_(d−1)のパーティションタイプ998を含む。
パーティションタイプにおいて、1つのサイズ2N_(d−1)x2N_(d−1)の予測単位、2つのサイズ2N_(d−1)xN_(d−1)の予測単位、2つのサイズN_(d−1)x2N_(d−1)の予測単位、4つのサイズN_(d−1)xN_(d−1)の予測単位ごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
サイズN_(d−1)xN_(d−1)のパーティションタイプ998による符号化誤差が最も小さいとしても、最大深度がdであるので、深度d−1の符号化単位CU_(d−1)は、それ以上下位深度への分割過程を経ず、現在最大符号化単位900に係わる符号化深度が深度d−1に決定され、パーティションタイプは、N_(d−1)xN_(d−1)に決定される。また、最大深度がdであるので、深度d−1の符号化単位952について、分割情報は設定されない。
データ単位999は、現在最大符号化単位に係わる「最小単位」と指称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化深度の符号化単位、予測単位及び変換単位に含まれる最大サイズの正方形データ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比較して、最小の符号化誤差が発生する深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。
かように深度0,1,…,d−1,dの全ての深度別最小符号化誤差を比較して、誤差が最小である深度が選択されて符号化深度に決定される。符号化深度及び当該深度の予測単位は、符号化モードについての情報として符号化されて伝送される。また、深度0から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが「0」に設定され、符号化深度を除いた深度別分割情報は、「1」に設定されなければならない。
一実施形態によるビデオ復号化装置200の受信部及び抽出部210は、符号化単位900に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位900を復号化するのに利用することができる。一実施形態によるビデオ復号化装置200は、深度別分割情報を利用して、分割情報が「0」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して、当該符号化単位の符号化されたデータを復号化することができる。
図10、図11及び図12は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。
符号化単位グループ1010は、現在最大符号化単位について、一実施形態によるビデオ符号化装置100が決定したツリー構造による符号化単位である。予測単位グループ1060は、符号化単位グループ1010において、それぞれの符号化深度の符号化単位の予測単位であり、変換単位グループ1070は、それぞれの符号化深度別符号化単位の変換単位である。
符号化単位グループ1010は、最大符号化単位の深度が0であるとすれば、深度1の符号化単位1012,1054、深度2の符号化単位1014,1016,1018,1028,1050,1052、深度3の符号化単位1020,1022,1024,1026,1030,1032,1048、深度4の符号化単位1040,1042,1044,1046を含む。
予測単位1060のうち一部(1014,1016,1022,1032,1048,1050,1052,1054)は、それぞれの符号化単位が分割されたタイプである。すなわち、予測単位1014,1022,1050,1054は、2NxNのパーティションタイプであり、予測単位1016,1048,1052は、Nx2Nのパーティションタイプ、予測単位1032は、NxNのパーティションタイプである。すなわち、予測単位は、それぞれの符号化単位より小さいか、あるいはそれと同じである。
変換単位1070のうち一部(1052)の映像データについては、符号化単位に比べて小サイズのデータ単位であり、周波数変換または逆周波数変換が行われる。また、変換単位1014,1016,1022,1032,1048,1050,1052,1054は、当該符号化単位の予測単位と互いに異なる大きさまたは形態のデータ単位である。すなわち、1つの符号化単位の変換単位及び予測単位は、それぞれ独立して決定される。従って、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、同一の符号化単位に係わるイントラ予測/動き推定/動き補償作業、及び周波数変換/逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。
これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。
符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表1は、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200で利用される符号化モード情報の一例を図示している。
Figure 0005688153
一実施形態によるビデオ符号化装置100の伝送部130は、ツリー構造による符号化単位に係わる符号化モード情報を出力し、一実施形態によるビデオ復号化装置200の受信部及び抽出部210は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化モード情報を抽出することができる。
分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示す。現在深度dの分割情報が0であるならば、現在符号化単位が、それ以上分割されない符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報が1であるならば、下位深度に1段階さらに分割されるので、分割された4個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モード情報は、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプ情報で定義され、スキップモードは、パーティションタイプ2Nx2Nでのみ定義される。
パーティションタイプ情報は、対称的パーティションタイプ2Nx2N,2NxN,Nx2N及びNxNと、符号化単位の高さまたは幅が非対称的な比率に分割された非対称的パーティションタイプ2NxnU,2NxnD,nLx2N,nRx2Nを示すことができる。非対称的パーティションタイプ2NxnU及び2NxnDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションタイプnLx2N及びnRx2Nは、それぞれ幅が1:3及び3:1に分割された形態を示す。
変換単位サイズ情報は、変換単位分割情報によって、2種類の大きさに設定される。すなわち、変換単位分割情報が0であるならば、変換単位のサイズ2Nx2Nが、現在符号化単位の大きさに設定される。変換単位分割情報が1であるならば、現在符号化単位が分割されたサイズの変換単位が設定される。また、現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、NxN、非対称形パーティションタイプであるならば、N/2xN/2に設定される。
一実施形態によるツリー構造による符号化単位の符号化モード情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。従って、隣接したデータ単位同士それぞれ割り当てられた符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位に割り当てられた符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
従って、その場合、現在符号化単位が、周辺データ単位を参照して予測符号化するために、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態で、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータを検索することにより、周辺符号化単位が参照されもする。
図13は、表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位1300は、符号化深度の符号化単位1302,1304,1306,1312,1314,1316,1318を含む。このうち1つの符号化単位1318は、符号化深度の符号化単位であるので、分割情報が0に設定される。サイズ2Nx2Nの符号化単位1318の予測単位のパーティションタイプ情報は、パーティションタイプ2Nx2N 1322、2NxN 1324、Nx2N 1326、NxN 1328、2NxnU 1332、2NxnD 1334、nLx2N 1336及びnRx2N 1338のうち一つに設定される。
パーティションタイプ情報が、対称形パーティションタイプ2Nx2N 1322、2NxN 1324、Nx2N 1326及びNxN 1328のうち一つに設定されている場合、変換単位分割情報TU size flagが0であるならば、サイズ2Nx2Nの変換単位1342が設定され、変換単位分割情報が1であるならば、サイズNxNの変換単位1344が設定される。
パーティションタイプ情報が、非対称形パーティションタイプ2NxnU 1332、2NxnD 1334、nLx2N 1336及びnRx2N 1338のうち一つに設定された場合、変換単位分割情報TU size flagが0であるならば、サイズ2Nx2Nの変換単位1352が設定され、変換単位分割情報が1であるならば、サイズN/2xN/2の変換単位1354が設定される。
図14は、本発明の一実施形態によって、最大符号化単位、各最大符号化単位を細分したツリー構造による符号化単位、各符号化単位を細分した予測単位及び変換単位を含むデータ単位を図示している。すなわち、図14は、前述の図10ないし図12に図示されたような符号化単位、予測単位及び変換単位を全部含むデータ単位をオーバーラッピングして一つに表示したものである。図14で、最大符号化単位の大きさは、32x32であると仮定し、符号化深度の符号化単位は、実線で図示され、符号化深度の符号化単位が分割された形態の予測単位及び変換単位は、符号化単位内で点線に図示される。また、ツリー構造の符号化単位の符号化深度は、0,1,2であり、最大深度は、3に設定されていると仮定する。
図14を参照すれば、データ単位グループ1400は、サイズ32x32の9個の最大符号化単位の符号化深度の符号化単位を含んでいる。前述のように、最大符号化単位ごとに、深度によって区別される階層的な構造の符号化単位を利用して、再帰的に符号化が行われ、最適符号化単位が決定される一方、各符号化単位の予測及び変換のための最適の予測単位及び変換単位が決定される。一実施形態によるデブロッキング・フィルタリング部120は、図14に図示されたような符号化単位、予測単位及び変換単位のうち、少なくとも1つのデータ単位に基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定する。
具体的には、デブロッキング・フィルタリング部120は、符号化単位、予測単位及び変換単位のうち、所定サイズ以上のデータ単位が有する境界に基づいて、フィルタリング境界を決定することができる。言い替えれば、図14を参照すれば、現在ピクチャが32x32サイズの最大符号化単位に分割され、各最大符号化単位は、さらに深度によって区別される階層的な構造の符号化単位に分割され、各符号化単位は、予測及び変換のために深度別符号化単位よりもさらに小サイズの予測単位及び変換単位に分割されるとするとき、そのような符号化単位、予測単位及び変換単位それぞれが有する境界のうち、所定サイズ以上のデータ単位が有する境界のみを、デブロッキング・フィルタリングが行われるフィルタリング境界と決定することができる。
図15ないし図17は、それぞれ図14のデータ単位について、所定サイズ以上のデータ単位が有する境界を基に決定されたフィルタリング境界を図示している。
図14及び図15を参照すれば、図14の符号化単位、予測単位及び変換単位が決定されれば、デブロッキング・フィルタリング部120は、符号化単位、予測単位及び変換単位それぞれの境界のうち、所定サイズ以上のデータ単位が有する境界のみをデブロッキング・フィルタリングが行われるフィルタリング境界と決定することができる。例えば、デブロッキング・フィルタリング部120は、図15に図示されたように、32x32以上の大きさを有する符号化単位、予測単位及び変換単位の境界のみをデブロッキング・フィルタリングが行われるフィルタリング境界と決定するか、あるいは、図16に図示されたように、16x16以上の大きさを有する符号化単位、予測単位及び変換単位の境界のみをデブロッキング・フィルタリングが行われるフィルタリング境界と決定するか、あるいは図17に図示されたように、8x8以上の大きさを有する符号化単位、予測単位及び変換単位の境界のみをデブロッキング・フィルタリングが行われるフィルタリング境界と決定することができる。このように、所定サイズ以上のデータ単位が有する境界のみを、デブロッキング・フィルタリングが行われるフィルタリング境界と決定すれば、同一の分割形態についても、フィルタリングが行われるフィルタリング境界は変化する。例えば、図15に図示されたように、32x32以上の大きさを有するデータ単位の境界についてのみ、デブロッキング・フィルタリングが行われると仮定したとき、32x32サイズの最大符号化単位1510を分割した符号化単位、変換単位及び分割単位の境界のうち、32x32サイズの最大符号化単位1510と重複する境界部分は除き、内部境界は、フィルタリング境界で考慮されない。これに反して、図16に図示されたように16x16以上の大きさを有するデータ単位の境界についてのみデブロッキング・フィルタリングが行われる場合には、図15の最大符号化単位1510に対応する最大符号化単位1610を分割した符号化単位1611ないし1614が有する内部境界も、フィルタリング境界と決定される。
一方、デブロッキング・フィルタリング部120は、所定サイズ以上のデータ単位が有する境界でも、フレーム境界にあたる場合には当該境界をフィルタリング境界で決めない。すなわち、ピクチャの端に該当する最外郭の境界については、本発明の実施形態によるデブロッキング・フィルタリングが行われない。
デブロッキング・フィルタリング部120は、前述のように、所定サイズ以上のデータ単位が有する境界を基に、フィルタリング境界を決定するものだけではなく、符号化単位別、ピクチャ単位別またはスライス単位別に、任意の大きさのデータ単位が有する境界で、フィルタリングを行うか否かを示す所定のシンタックスに基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定することもできる。また、図2のデブロッキング・フィルタリング部230も、図1のデブロッキング・フィルタリング部130と同様に、所定サイズ以上のデータ単位が有する境界に基づいて、フィルタリング境界を決定したり、あるいは受信されたビットストリームに含まれた符号化単位別、ピクチャ単位別またはスライス単位別に設定されたデブロッキングについてのシンタックス情報に基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定することができる。
符号化単位(以下、「ブロック」とする)に基づいた符号化方式では、ブロック境界で発生した歪曲が含まれた映像が、他の映像の符号化時に参照されて画質劣化がそのまま伝えられるという問題点が生じることがある。従って、前述のように、デブロッキング・フィルタリング部130,230では、ブロック欠陥(block artifact)を低減させるためのデブロッキング・フィルタリングを行う。しかし、このようなデブロッキング・フィルタリング過程は演算過程が膨大であるので符号化器や復号化器の資源をたくさん消耗する問題点がある。従って、一般的に、デブロッキング・フィルタリングは、所定の判断基準に従って、選択されたブロック境界についてのみ行われる。一例として、従来H.264などの符号化方式では、ブロック境界周辺のピクセルが属したブロックの予測モード、及び境界周辺のピクセルが属したブロック内の変換係数値に基づいて、境界強度(boundary strength)を決定し、かような境界強度に基づいて、デブロッキング・フィルタリングのon/offを決定する。
本発明の一実施形態によれば、デブロッキング・フィルタリングの遂行いかん、またはフィルタリング強度は、フィルタリング境界周辺のピクセルが有するピクセル値に基づいて決定される。具体的には、本発明の一実施形態によれば、デブロッキング・フィルタリング遂行いかん、またはフィルタリング強度は、フィルタリング境界周辺のピクセルのピクセル値が所定のラインにいかほど近いかを示すパラメータを利用して決定される。以下、図18ないし図21を参照して、本発明の一実施形態による適応的フィルタリング方式について具体的に説明する。
図18は、本発明の一実施形態による適応的フィルタリング装置の構成を示したブロック図である。図18の適応的フィルタリング装置1800は、図1のビデオ符号化装置100のデブロッキング・フィルタリング部130、及び図2のビデオ復号化装置200のデブロッキング・フィルタリング部230に対応する。
図18を参照すれば、本発明の一実施形態による適応的フィルタリング装置1800は、パラメータ獲得部1810、フィルタリング強度決定部1820及びフィルタリング遂行部1830を含む。
パラメータ獲得部1810は、ブロック境界周辺に位置したピクセルのピクセル値が、所定のカーブライン(line curve)に近い程度を示すパラメータを獲得する。かようなカーブは、多項式(polynomial)のような任意の関数でに表現され、最も簡単な例として、かようなカーブは、ラインになりもする。以下の説明では、カーブとしてラインを仮定して説明するが、本発明による思想は、ラインに限定されるものではなく、任意のカーブにいずれも適用可能であろう。一例として、ブロック境界周辺に位置したピクセルのピクセル値が、単調増加したり、あるいは単調減少する場合、ブロック境界周辺に位置したピクセルのピクセル値は、直線上に位置したものであると仮定することができる。このように、パラメータ獲得部1810は、ブロック境界周辺に位置したピクセルのピクセル値の変化を考慮して、ブロック境界周辺に位置したピクセルのピクセル値が所定のラインに近いか否かを示すパラメータを獲得する。具体的には、パラメータ獲得部1810は、ブロック境界を中心に、所定個数の対称となる位置のピクセル間のピクセル値差と、対称になる位置のピクセル間の距離によって決定される勾配の差値とに基づいて、パラメータを獲得することができる。パラメータ獲得部1810の動作及びパラメータについては、図19及び図20を参照して具体的に後述する。
フィルタリング強度決定部1820は、パラメータ獲得部1810で獲得されたパラメータに基づいて、ブロック境界でのフィルタリング強度を決定する。フィルタリング強度決定部1820は、パラメータと所定の臨界値とを比較した結果に基づいて、ブロック境界周辺に位置したピクセルのピクセル値が、所定のラインに近い場合には、弱い強度のデブロッキング・フィルタリングを適用するか、あるいはデブロッキング・フィルタリング動作がoff、すなわち、スキップされるようにフィルタリング強度を決定する。
フィルタリング遂行部1830は、フィルタリング強度決定部1820で決定されたフィルタリング強度に基づいて、ブロック境界に隣接したピクセルに係わるデブロッキング・フィルタリングを行う。
図19A及び図19Bは、本発明の一実施形態によるデブロッキング・フィルタリングについて説明するためのフィルタリング境界に位置したピクセルを図示したものである。
図19Aを参照すれば、水平方向フィルタリング境界を基に、デブロッキング・フィルタリングを適用する前の水平方向フィルタリング境界の上側及び下側に隣接したピクセルのピクセル値を、p0ないしp4、及びq0ないしq4 1910と定義する。また、デブロッキング・フィルタリングを適用した後、水平方向フィルタリング境界の上側及び下側に隣接したピクセルのピクセル値を、p0’ないしp4’、及びq0’ないしq4’ 1920と定義する。同様に、図19Bを参照すれば、垂直方向フィルタリング境界を基に、デブロッキング・フィルタリングを適用する前の垂直方向フィルタリング境界の左側及び右側に隣接したピクセルのピクセル値を、p0ないしp4、及びq0ないしq4 1930と定義する。また、デブロッキング・フィルタリングを適用した後、垂直方向フィルタリング境界の左側及び右側に隣接したピクセルのピクセル値を、p0’ないしp4’、及びq0’ないしq4’ 1940と定義する。水平方向及び垂直方向のフィルタリング境界を基準にしたデブロッキング・フィルタリング動作は、方向の違いがあるのみで、同一に動作する。以下、図19A及び図19Bに図示されたようなブロック境界周辺のピクセルのピクセル値が、所定のラインにいかほど近いかを示すパラメータを獲得する過程について具体的に説明する。
図20A及び図20Bは、本発明の一実施形態によって、ブロック境界周辺のピクセルのピクセル値を利用したパラメータ獲得過程について説明するための参照図である。
図19A及び19Bに図示されたようなフィルタリング境界周辺のピクセルを、図20A及び図20Bに図示されたように、ピクセル値を基に配列する場合、ピクセル値の差値に従って、フィルタリング境界周辺のピクセルが、所定のライン2010にいかほど近いかが決定される。例えば、図20Bに図示されたように、所定のラインを、直線2020と仮定する。また、ピクセル間の距離をd(dは、正の整数)と仮定すれば、フィルタリング境界に最近接に隣接したピクセルのピクセル値p0及びq0間の勾配は、(q0−p0)/dであり、次の隣接ピクセルのピクセル値p1及びq1間の勾配は、(q1−p1)/3dである。フィルタリング境界に隣接したピクセルのピクセル値が図20Bに図示されたような仮想の直線2020上に近いか否かということは、かようなp0及びq間の勾配と、p1及びq1間の勾配とが互いにいかほど類似しているかということを決定することによって判断される。従って、パラメータ獲得部1810は、フィルタリング境界を中心に対称になる位置のピクセル間のピクセル値差と、対称になる位置のピクセル間の距離によって決定される勾配の差値とに基づいて、フィルタリング境界周辺のピクセルのピクセル値が、所定の直線2020にいかほど近いかを示すパラメータを獲得することができる。
具体的には、パラメータ獲得部1810は、p0及びq0間の勾配(q0−p0)/dと、p1及びq1間の勾配(q1−p1)/3dとの差値を獲得する。d=1であると仮定すれば、勾配間の差値は{(q0−p0−(q1−p1)/3}になる。パラメータ獲得部1810は、かような差値に、所定の定数値、例えば、9/16を乗じた{9*(q0−p0−3*(q1−p1)}/16を、前述のフィルタリング境界周辺のピクセルが、所定のラインに近いか否かを示すパラメータ△に決定する。パラメータ△の絶対値が小さいということは、p0及びq0間の直線の勾配と、p1及びq1間の直線の勾配が相互類似しているということで、言い替えればp0、p1、q0及びq1が、所定の直線2020に近いということを意味する。従って、パラメータ△の絶対値サイズに基づいて、フィルタリング境界周辺のピクセルのピクセル値がいかほど所定の直線に近いかということが決定される。
このように、パラメータ獲得部1810からパラメータ△が獲得されれば、フィルタリング強度決定部1820は、パラメータ△の絶対値と、所定の臨界値thr1とを比較した結果に従って、フィルタリング強度を決定する。ここで、所定の臨界値thr1は、p0及びq0の属するブロックの量子化時に利用された量子化パラメータQP(quantization parameter)に基づいた既定値であってもよい。フィルタリング強度決定部1820は、パラメータ△の絶対値が、所定の臨界値thr1より小さい場合、弱い強度のデブロッキング・フィルタリングが行われるように、フィルタリング強度を決定するか、あるいはデブロッキング・フィルタリングが行われないように決定することができる。また、フィルタリング強度決定部1820は、パラメータ△の絶対値が所定の臨界値thr1より小さい場合、弱い強度のデブロッキング・フィルタリングが行われるように決定し、パラメータ△の絶対値が所定の臨界値thr1より大きい場合には、デブロッキング・フィルタリングを行わないように決定することができる。パラメータ△の絶対値と、所定の臨界値thr1とを比較した結果によって、いかなる場合に弱い強度のフィルタリングを適用するか、あるいはデブロッキング・フィルタリング自体をスキップするか否かということは、必要によって設定することができる事項である。本発明の一実施形態による思想は、前述の所定のライン及びパラメータ△を、デブロッキングのフィルタリング強度及びスキップいかんを判断するための指標として利用することができるということにある。
フィルタリング遂行部1830は、フィルタリング強度決定部1820で決定されたフィルタリング強度に基づいて、デブロッキング・フィルタリングを行う。例えば、ブロック境界を中心に、第1側面に位置するピクセルのピクセル値を、p0及びp1、ブロック境界を中心に第2側面に位置するピクセルのピクセル値を、q0及びq1、p0及びq0のピクセル値を有するピクセルが、ブロック境界に隣接したピクセルであると仮定するとき、パラメータ△が、所定臨界値thr1より小さい場合、フィルタリング遂行部1830は、次のようなアルゴリズムに従って、デブロッキング・フィルタリングを行うことができる。

p0’=p0+△;
q0’=q0−△;
△p1=(p0−2*p1+p2+2*△)/4;
p1’=p1+△p1;
△q1=(q0−2*q1+q2−2*△)/4;
q1’=q1+△q1

図21は、本発明の一実施形態による適応的フィルタリング方法を示したフローチャートである。図21を参照すれば、段階2110でパラメータ獲得部1810は、ブロック境界周辺に位置したピクセルのピクセル値が、所定のラインに近い程度を示すパラメータを獲得する。前述のように、所定のラインとして直線を利用することができる。また、所定のラインとして直線を利用する場合、パラメータ獲得部1810は、ブロック境界を中心に対称になる位置のピクセル間の勾配の差値に基づいてパラメータを獲得する。前述のように、ブロック境界を中心に、第1側面に位置するピクセルのピクセル値を、p0及びp1、前記ブロック境界を中心に第2側面に位置するピクセルのピクセル値を、q0及びq1、前記p0及びq0のピクセル値を有するピクセルがブロック境界に隣接したピクセルであり、パラメータを△と仮定するとき、パラメータ獲得部1810は、次の数学式:△=(9*(q0−p0−3*(q1−p1))/16を介して、パラメータ△を獲得することができる。
段階2120で、フィルタリング強度決定部1820は、獲得されたパラメータに基づいて、ブロック境界でのフィルタリング強度を決定する。前述のように、フィルタリング強度決定部1820は、パラメータの絶対値と所定の臨界値とを比較して、パラメータの絶対値が所定臨界値より小さい場合、弱い強度のデブロッキング・フィルタリングを行ったり、あるいはデブロッキング・フィルタリングがoffになるように決定することができる。
段階2130で、フィルタリング遂行部1830は、決定されたフィルタリング強度に基づいてフィルタリングを行う。
一方、前述の本発明の一実施形態による適応的フィルタリング方式では、ブロック境界に隣接した4個のピクセルのピクセル値を利用してパラメータを決定したが、パラメータ決定に利用されるピクセルの個数は、必要によって変更される。
このように、本発明の一実施形態による適応的フィルタリング装置及び方法によれば、ブロック境界周辺に位置したピクセルのピクセル値が、所定のラインに近い場合には、不要なフィルタリング処理によって、画質が劣化されることを防止するために、弱い強度のデブロッキング・フィルタリングを適用したり、あるいはデブロッキング・フィルタリング自体を行わない。
図22A及び図22Bは、本発明の他の実施形態による適応的フィルタリング方法について説明するための参照図である。
前述の本発明の一実施形態による適応的フィルタリング方式で、ブロック境界周辺のピクセルのピクセル値が、所定のラインにいかほど近いかを示すパラメータに基づいて、デブロッキング・フィルタリングの強度、またはデブロッキング・フィルタリングのスキップいかんを判断した。本発明の他の実施形態による適応的フィルタリング方式では、ブロック境界を中心に、両側面に位置した隣接ピクセルの最大値と最小値とを比較して、強い強度のデブロッキング・フィルタリング遂行いかんを決定する。
図22A及び図22Bを参照すれば、デブロッキング・フィルタリング部130,230は、ブロック境界を中心に、両側面に位置した所定個数の周辺ピクセルのピクセル値の最大値と最小値とを計算する。図22A及び図22Bに図示されたように、ブロック境界を中心に左右に4個ずつ、全8個の周辺ピクセルを利用する場合、左側の周辺ピクセルのピクセル値p0ないしp3のうち、最大値をpMax、最小値をpMinと定義し、右側の周辺ピクセルのピクセル値q0ないしq3のうち、最大値をqMax、最小値をqMinと定義する。このとき、デブロッキング・フィルタリング部130,230は、pMaxとqMinとを、qMaxとpMinとを比較し、図22Aに図示されたように、pMax<qMinを満足するか、あるいは図22Bに図示されたように、qMax<pMinを満足する場合、すなわち、ブロック境界を中心に、いずれか一方のピクセル値がいずれも他の一方の全てのピクセル値より小さい場合には、強い強度のデブロッキング・フィルタリングを行うと決定することができる。
デブロッキング・フィルタリング部130,230は、強い強度のデブロッキング・フィルタリング適用条件が満足されない場合には、前述の本発明の一実施形態によるパラメータ△を決定し、弱い強度のデブロッキングを適用するか、あるいはデブロッキング・フィルタリングをスキップか否かを決定することができる。
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体(例えば、ROM(read-only memory)フロッピー(登録商標)ディスク、ハードディスクなど)及び光学的判読媒体(例えば、CD(compact disc)−ROM、DVD(digital versatile disc)など)のような記録媒体を含む。
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

Claims (6)

  1. ブロック境界に対して対称位置にある少なくとも2つのピクセル対をなす少なくとも4つのピクセルを決定し、前記4つのピクセル各々について位置及びピクセル値の組を形成し、前記4つのピクセルについての4つの組が、ほぼ同一の直線上に位置するか否かに応じて、前記ブロック境界周辺のピクセルに対するフィルタリングの適用の仕方を変更し、フィルタリングを適用する段階を含むことを特徴とする適応的フィルタリング方法。
  2. 前記4つのピクセルについての4つの組が、ほぼ同一の直線上に位置している場合、弱いフィルタリングを適用する又はフィルタリングを適用しない、ことを特徴とする請求項1に記載の適応的フィルタリング方法。
  3. 前記4つのピクセルについての4つの組が、ほぼ同一の直線上に位置していない場合、強いフィルタリングを適用する、ことを特徴とする請求項1又は2に記載の適応的フィルタリング方法。
  4. ブロック境界に対して対称位置にある少なくとも2つのピクセル対をなす少なくとも4つのピクセルを決定し、前記4つのピクセル各々について位置及びピクセル値の組を形成し、前記4つのピクセルについての4つの組が、ほぼ同一の直線上に位置するか否かに応じて、前記ブロック境界周辺のピクセルに対するフィルタリングの適用の仕方を変更し、フィルタリングを適用する手段を含むことを特徴とする適応的フィルタリング装置。
  5. 前記4つのピクセルについての4つの組が、ほぼ同一の直線上に位置している場合、弱いフィルタリングを適用する又はフィルタリングを適用しない、ことを特徴とする請求項に記載の適応的フィルタリング装置。
  6. 前記4つのピクセルについての4つの組が、ほぼ同一の直線上に位置していない場合、強いフィルタリングを適用する、ことを特徴とする請求項4又は5に記載の適応的フィルタリング装置。
JP2013531490A 2010-09-28 2011-09-28 適応的フィルタリング方法及びその装置 Expired - Fee Related JP5688153B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US38713510P 2010-09-28 2010-09-28
US61/387,135 2010-09-28
PCT/KR2011/007163 WO2012044074A2 (ko) 2010-09-28 2011-09-28 적응적 필터링 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015011751A Division JP2015111900A (ja) 2010-09-28 2015-01-23 適応的フィルタリング方法

Publications (2)

Publication Number Publication Date
JP2013540395A JP2013540395A (ja) 2013-10-31
JP5688153B2 true JP5688153B2 (ja) 2015-03-25

Family

ID=45893661

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013531490A Expired - Fee Related JP5688153B2 (ja) 2010-09-28 2011-09-28 適応的フィルタリング方法及びその装置
JP2015011751A Pending JP2015111900A (ja) 2010-09-28 2015-01-23 適応的フィルタリング方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015011751A Pending JP2015111900A (ja) 2010-09-28 2015-01-23 適応的フィルタリング方法

Country Status (9)

Country Link
US (1) US9344716B2 (ja)
EP (1) EP2624555A4 (ja)
JP (2) JP5688153B2 (ja)
KR (1) KR20120032456A (ja)
CN (1) CN103141096A (ja)
AU (1) AU2011308202B2 (ja)
BR (1) BR112013006832A2 (ja)
CA (1) CA2813059A1 (ja)
WO (1) WO2012044074A2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MA34911B1 (fr) 2011-01-14 2014-02-01 Telefonaktieblaget L M Ericsson Filtrage de déblocage
KR101670116B1 (ko) * 2011-01-14 2016-10-27 텔레폰악티에볼라겟엘엠에릭슨(펍) 디블록킹 필터링
JP5884313B2 (ja) 2011-01-18 2016-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
KR101584420B1 (ko) 2011-03-01 2016-01-22 텔레폰악티에볼라겟엘엠에릭슨(펍) 디블록킹 필터링 제어
TWI581623B (zh) 2012-04-06 2017-05-01 Sony Corp Image processing apparatus and method, program, and recording medium
US9973784B2 (en) * 2012-09-20 2018-05-15 Sony Corporation Image processing device and method
US9906790B2 (en) * 2014-03-14 2018-02-27 Qualcomm Incorporated Deblock filtering using pixel distance
US10708589B2 (en) 2014-03-19 2020-07-07 Samsung Electronics Co., Ltd. Video encoding and decoding method and apparatus involving boundary filtering
JP6396782B2 (ja) * 2014-12-11 2018-09-26 日本電信電話株式会社 デブロッキング処理方法、デブロッキング処理装置、コンピュータプログラム及び記録媒体
WO2017045101A1 (en) * 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
CN117956195A (zh) * 2018-01-08 2024-04-30 三星电子株式会社 编码方法及其设备以及解码方法及其设备
WO2020063555A1 (en) * 2018-09-24 2020-04-02 Huawei Technologies Co., Ltd. Image processing device and method for performing quality optimized deblocking
CN114339224B (zh) * 2020-06-05 2022-12-23 杭州海康威视数字技术股份有限公司 图像增强方法、装置及机器可读存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI103003B1 (fi) * 1997-06-13 1999-03-31 Nokia Mobile Phones Ltd Suodatusmenetelmä, suodatin ja matkaviestinpääte
ES2467940T3 (es) 2001-11-29 2014-06-13 Panasonic Corporation Método de extracción de distorsión de codificación
JP4580901B2 (ja) 2002-07-11 2010-11-17 パナソニック株式会社 フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
WO2004008773A1 (ja) 2002-07-11 2004-01-22 Matsushita Electric Industrial Co., Ltd. フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP4321523B2 (ja) * 2003-05-27 2009-08-26 株式会社ニコン 画像処理装置、および画像処理プログラム
US7400679B2 (en) * 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7620261B2 (en) 2004-11-23 2009-11-17 Stmicroelectronics Asia Pacific Pte. Ltd. Edge adaptive filtering system for reducing artifacts and method
US8045615B2 (en) 2005-05-25 2011-10-25 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
KR100922275B1 (ko) 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
US7877430B2 (en) 2007-03-26 2011-01-25 Analog Devices, Inc. Method and apparatus for accelerating processing of adaptive finite impulse response filtering
JP4967921B2 (ja) * 2007-08-10 2012-07-04 セイコーエプソン株式会社 画像処理のための装置、方法、および、プログラム
CN101389016B (zh) 2007-09-13 2010-10-20 华为技术有限公司 获得块边界强度和去除块效应的方法和装置
KR100973657B1 (ko) 2007-11-01 2010-08-02 경희대학교 산학협력단 디블록킹 필터링을 포함하는 코덱 사이의 트랜스코딩 방법 및 장치
TWI401669B (zh) * 2008-04-11 2013-07-11 Novatek Microelectronics Corp 用於加強文字顯示效果的影像處理電路及其方法
EP2312853A1 (en) 2008-07-03 2011-04-20 Sharp Kabushiki Kaisha Filter device
KR20100013277A (ko) 2008-07-30 2010-02-09 삼성전자주식회사 디블록킹 필터의 경계 강도 처리 방법 및 코딩 장치
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
KR101590500B1 (ko) 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
US8761538B2 (en) 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
US8471049B2 (en) 2008-12-10 2013-06-25 Air Product And Chemicals, Inc. Precursors for depositing group 4 metal-containing films
CN101790089A (zh) 2009-01-23 2010-07-28 矽统科技股份有限公司 去方块滤波方法及影像处理装置
CN102860005B (zh) 2010-02-05 2016-07-06 瑞典爱立信有限公司 去块滤波控制

Also Published As

Publication number Publication date
KR20120032456A (ko) 2012-04-05
CN103141096A (zh) 2013-06-05
AU2011308202A1 (en) 2013-04-11
JP2013540395A (ja) 2013-10-31
US9344716B2 (en) 2016-05-17
WO2012044074A3 (ko) 2012-06-21
EP2624555A2 (en) 2013-08-07
US20130182762A1 (en) 2013-07-18
EP2624555A4 (en) 2015-11-18
BR112013006832A2 (pt) 2017-05-23
JP2015111900A (ja) 2015-06-18
AU2011308202B2 (en) 2015-04-09
CA2813059A1 (en) 2012-04-05
WO2012044074A2 (ko) 2012-04-05

Similar Documents

Publication Publication Date Title
KR101957945B1 (ko) 트리 구조 부호화 단위에 기반한 디블록킹 필터링을 수행하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
JP5688153B2 (ja) 適応的フィルタリング方法及びその装置
JP6402234B2 (ja) ビデオ復号化方法及び装置とビデオ符号化方法及び装置
JP5937252B2 (ja) 映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置
JP5632515B2 (ja) 任意的なパーティションを利用した動き補償によるビデオ復号化方法及びビデオ復号化装置
JP2013524676A (ja) ツリー構造による符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法及びその装置、並びに復号化方法及びその装置
AU2016201399B2 (en) Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
AU2015200779B2 (en) Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
AU2015201316A1 (en) Adaptive filtering method and apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140428

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140508

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140528

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140627

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150123

R150 Certificate of patent or registration of utility model

Ref document number: 5688153

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees