JP7779367B2 - 画像処理装置、画像処理方法、プログラム、および記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラム、および記録媒体

Info

Publication number
JP7779367B2
JP7779367B2 JP2024210860A JP2024210860A JP7779367B2 JP 7779367 B2 JP7779367 B2 JP 7779367B2 JP 2024210860 A JP2024210860 A JP 2024210860A JP 2024210860 A JP2024210860 A JP 2024210860A JP 7779367 B2 JP7779367 B2 JP 7779367B2
Authority
JP
Japan
Prior art keywords
filter
pixels
chrominance
block
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024210860A
Other languages
English (en)
Other versions
JP2025026507A (ja
Inventor
優 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2025026507A publication Critical patent/JP2025026507A/ja
Application granted granted Critical
Publication of JP7779367B2 publication Critical patent/JP7779367B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Image Processing (AREA)

Description

本技術は、画像処理装置、画像処理方法、プログラム、および記録媒体に関し、特に、例えば、様々なDF（デブロックフィルタ）を提供することができるようにする画像処理装置、画像処理方法、プログラム、および記録媒体に関する。
画像符号化方式の標準仕様の１つであるH.265/HEVCでは、符号化の際に生じるブロック歪みに起因する画質の劣化を抑制するために、復号画像のブロック境界にデブロックフィルタが適用される。H.265/HEVCでは、輝度成分に適用され得るデブロックフィルタがウイークフィルタとストロングフィルタの２種類である一方で、色差成分に適用され得るデブロックフィルタはウイークフィルタの１種類のみであった。
また、現在、H.265/HEVCよりも符号化効率をさらに向上することを目的として、ITU-TとISO/IECとの共同の標準化団体であるJVET（Joint Video Experts Team）により、次世代の画像符号化方式であるVVC（Versatile Video Coding）の標準化作業が進められている（例えば、非特許文献１参照）。
VVCの標準化作業では、下記非特許文献１において、色差成分に適用され得るデブロックフィルタを、輝度成分に適用され得るデブロックフィルタと同様に２種類に変更し、色差成分に対してもストロングフィルタが適用され得る手法が提案されている。
Jianle Chen, Yan Ye, Seung Hwan Kim: Algorithm description for Versatile Video Coding and Test Model 2 (VTM 2), Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting, Ljubljana, SI, 10-18 July 2018.
DFについては、様々なDFを提供することが要請されている。
本技術は、このような状況に鑑みてなされたものであり、様々なDFを提供することができるようにするものである。
本技術の画像処理装置は、画像を符号化処理する際にローカル復号処理されたローカル復号画像のブロック境界の近傍に位置する色差成分の画素に適用する第１色差フィルタよりもフィルタ強度の強いフィルタであって、CTU（Coding Tree Unit）内部にあるブロック境界の近傍に位置する色差成分の画素に適用する前記フィルタである第２色差フィルタとはフィルタデザインが異なる第３色差フィルタを、前記CTUのブロック境界の近傍に位置する色差成分の画素に対して適用するフィルタ部と、前記フィルタ部により前記第３色差フィルタが適用された前記色差成分の画素を含む前記ローカル復号画像を用いて、前記画像を符号化処理する符号化部とを備える画像処理装置である。
本技術の画像処理方法は、画像を符号化処理する際にローカル復号処理されたローカル復号画像のブロック境界の近傍に位置する色差成分の画素に適用する第１色差フィルタよりもフィルタ強度の強いフィルタであって、CTU（Coding Tree Unit）内部にあるブロック境界の近傍に位置する色差成分の画素に適用する前記フィルタである第２色差フィルタとはフィルタデザインが異なる第３色差フィルタを、前記CTUのブロック境界の近傍に位置する色差成分の画素に対して適用することと、前記第３色差フィルタが適用された前記色差成分の画素を含む前記ローカル復号画像を用いて、前記画像を符号化処理することとを含む画像処理方法である。
本技術のプログラムは、画像を符号化処理する際にローカル復号処理されたローカル復号画像のブロック境界の近傍に位置する色差成分の画素に適用する第１色差フィルタよりもフィルタ強度の強いフィルタであって、CTU（Coding Tree Unit）内部にあるブロック境界の近傍に位置する色差成分の画素に適用する前記フィルタである第２色差フィルタとはフィルタデザインが異なる第３色差フィルタを、前記CTUのブロック境界の近傍に位置する色差成分の画素に対して適用することと、前記第３色差フィルタが適用された前記色差成分の画素を含む前記ローカル復号画像を用いて、前記画像を符号化処理することとを含む処理を実行させるためのプログラムである。
本技術の記録媒体は、画像を符号化処理する際にローカル復号処理されたローカル復号画像のブロック境界の近傍に位置する色差成分の画素に適用する第１色差フィルタよりもフィルタ強度の強いフィルタであって、CTU（Coding Tree Unit）内部にあるブロック境界の近傍に位置する色差成分の画素に適用する前記フィルタである第２色差フィルタとはフィルタデザインが異なる第３色差フィルタを、前記CTUのブロック境界の近傍に位置する色差成分の画素に対して適用することと、前記第３色差フィルタが適用された前記色差成分の画素を含む前記ローカル復号画像を用いて、前記画像を符号化処理することとを含む処理を実行させるためのプログラムが記録された記録媒体である。
本技術の画像処理装置、画像処理方法、プログラム、および記録媒体においては、画像を符号化処理する際にローカル復号処理されたローカル復号画像のブロック境界の近傍に位置する色差成分の画素に適用する第１色差フィルタよりもフィルタ強度の強いフィルタであって、CTU内部にあるブロック境界の近傍に位置する色差成分の画素に適用する前記フィルタである第２色差フィルタとはフィルタデザインが異なる第３色差フィルタが、前記CTUのブロック境界の近傍に位置する色差成分の画素に対して適用され、前記第３色差フィルタが適用された前記色差成分の画素を含む前記ローカル復号画像を用いて、前記画像が符号化処理される。
なお、画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。プログラムは、記録媒体に記録して、又は、伝送媒体を介して伝送することにより、提供することができる。
HEVCにおけるｂＳの算出について説明するための表である。 非特許文献１におけるｂＳの算出について説明するための表である。 垂直のブロック境界ＢＢを挟んで隣接する、２つのブロックＢｐ及びブロックＢｑ内の色差成分（Ｕ成分、Ｖ成分）の画素の一例を示す説明図である。 本開示の一実施形態におけるｂＳの算出について説明するための表である。 同実施形態にかかる画像処理装置の一態様である画像符号化装置１０の構成の一例を示すブロック図である。 同実施形態にかかる画像処理装置の一態様である画像復号装置６０の構成の一例を示すブロック図である。 同実施形態にかかるデブロックフィルタ２６の詳細な構成の一例を示すブロック図である。 境界強度算出部２６１により算出されるｂＳの一例を示す表である。 同実施形態にかかるデブロックフィルタ２６による処理の流れの一例を示すフローチャートである。 境界強度算出部２６１により実行される境界強度算出処理の流れを説明するためのフローチャートである。 新DFとしてのDF３００の構成例を示すブロック図である。 DF３００で処理される復号画像の構成例を示す図である。 DF３００の処理を説明するフローチャートである。 HEVCのDFを説明する図である。 新DFを説明する図である。 ブロック境界の色差成分の画素の例を示す図である。 フィルタNC1として、フィルタY1をベースとするフィルタを採用する場合の、フィルタNC1と、必要となる画素とを示す図である。 フィルタNC1として、フィルタOFをベースとするフィルタを採用する場合の、フィルタNC1と、必要となる画素とを示す図である。 フィルタNC1として、フィルタY2をベースとするフィルタを採用する場合の、フィルタNC1と、必要となる画素とを示す図である。 フィルタNC1を復号画像に適用する適用方法の例を示す図である。 フィルタNC1を復号画像に適用する適用方法の例を示す図である。 コンピュータの一実施の形態の構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。
なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書で開示される範囲は、実施例の内容に限定されるものではなく、出願当時において公知となっている以下の参照文献REF1～REF3の内容も、参照により本明細書に組み込まれる。つまり、以下の参照文献REF1～REF3に記載されている内容もサポート要件について判断する際の根拠となる。例えば、参照文献REF2に記載されているQuad-Tree Block Structure、参照文献REF3に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。
REF1：Recommendation ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services”, April 2017
REF2：Recommendation ITU-T H.265,(12/2016) “High efficiency video coding”, December 2016
REF3：J. Chen， E. Alshina， G. J. Sullivan， J.-R. Ohm， J. Boyce，“Algorithm Description of Joint Exploration Test Model (JEM7)”， JVET-G1001， Joint Video Exploration Team (JVET) of ITU－T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13－21 July 2017
また、以下では、特に記載のない場合、ＹＵＶ４２０フォーマットの信号を例に説明を行い、輝度成分をＹ成分、色差成分をＵ成分、Ｖ成分として表すことがある。ただし、以下に説明する技術は、ＹＵＶ４４４フォーマットやＹＵＶ４２２フォーマット等、他のフォーマットの信号に対しても同様に適用することが可能である。また、輝度成分と色差成分の表現は、対象とする信号に応じて異なるものであり、例えば輝度成分と色差成分がＹＣｂＣｒで表現される信号に対しても、以下に説明する技術を同様に適用することが可能である。
また、本明細書において用いられる以下の用語は、下記のように定義される。
色差関連パラメータとは、色差に関連するパラメータ全般を意味する。例えば、色差関連パラメータは、各ＴＵ（Transform Unit）に含まれる色差成分の変換係数や、各ＴＵにおける色差成分の有意係数（非ゼロの変換係数）の有無を示すフラグ等、色差成分の変換係数に関する情報を含み得る。ただし、色差関連パラメータはかかる例に限定されず、色差に関連する多様なパラメータであり得る。
デブロックフィルタ適用要否とは、デブロックフィルタを適用すべきか否かを意味する。例えばデブロックフィルタ適用要否を判定すること、とは、デブロックフィルタを適用すべきか否かを判定することを意味する。また、デブロックフィルタ適用要否の判定結果とは、デブロックフィルタを適用すべきか否かを判定した結果であり、例えば当該判定結果は、適用すべき、あるいは適用しなくてよい、のいずれかを示す情報であり得る。
ラージブロック判定とは、判定対象となるブロックが大きなブロックであるか否かの判定を意味する。本明細書において、判定対象となるブロックは、後述するように、ブロック境界を挟むブロックであり得る。また、ラージブロック判定は、ブロックの大きさ（ブロックサイズ）を所定の閾値と比較することにより行われ得る。なお、ラージブロック判定が行われるケースや、ラージブロック判定の詳細については後述する。
＜１．概要＞
［１－１．既存の手法］
HEVC等の既存の画像符号化方式におけるデブロックフィルタにかかる処理は、適用要否判定処理、フィルタ強度の判定処理、及びフィルタリング処理（フィルタ適用処理）を含む。以下では、既存のデブロックフィルタにかかる処理について、HEVCのデブロックフィルタを例に説明する。なお、以下では、復号画像（符号化時にローカル復号された画像も含む）の色差成分に対するデブロックフィルタについて主に説明し、復号画像の輝度成分に対するデブロックフィルタに関する説明は適宜省略する。
デブロックフィルタにかかる処理として、まず適用要否判定処理が行われる。適用要否判定処理は、復号画像のブロック境界（Block Boundary）にデブロックフィルタを適用すべきか否かを判定する処理である。なお、HEVCにおいて、ブロック境界は、参照文献REF2に記載されているQuad-Tree Block Structureのブロック構造に基づいて特定される。具体的には、最小のブロック単位である８×８画素ブロック(サンプルグリッド)のエッジのうち、ＴＵ（Transform Unit）境界あるいはＰＵ（Prediction Unit）境界のうち少なくともいずれか一方であるという条件を満たすエッジが、HEVCにおけるブロック境界として特定される。
適用要否判定処理は、ブロック境界の境界強度（Boundary Strength：以下、ｂＳと呼ぶ場合がある）に基づいて行われる。HEVCにおいてｂＳは、特定されたブロック境界の４ラインごとに算出される。ブロック境界が垂直境界である場合には、上記ラインは、垂直境界と直交する行に相当する。また、ブロック境界が水平境界である場合には、上記ラインは、水平境界と直交する列に相当する。
図１は、HEVCにおけるｂＳの算出について説明するための表である。図１に示すように、HEVCにおいてｂＳは、イントラ予測に関する条件である条件Ａ、Ｙ成分の有意係数に関する条件である条件Ｂ１、及び動きベクトル（ＭＶ）と参照ピクチャに関する条件である条件Ｂ２の真偽（満たされるか満たされないか）に基づいて算出される。図１を参照すると、条件Ａが真である場合にｂＳは２に設定される。また、条件Ａが偽であり、条件Ｂ１、条件Ｂ２のうち少なくとも一方が真である場合にｂＳは１に設定される。そして、条件Ａ、条件Ｂ１、及び条件Ｂ２がいずれも偽である場合にｂＳは０に設定される。なお、図１に示す条件Ａ、条件Ｂ１、条件Ｂ２は、以下のような条件である。
-条件Ａ：ｂＳ算出対象のラインのうち最も上のラインの画素を含みブロック境界を挟むＣＵ（Coding Unit）のうち、少なくともいずれか一方の符号化モードがイントラ予測モードである
-条件Ｂ１：ブロック境界がＴＵ境界であり、ｂＳ算出対象のラインのうち最も上のラインの画素を含みブロック境界を挟む２つのＴＵのうち、少なくともいずれか一方にＹ成分の有意係数が存在する
-条件Ｂ２：ｂＳ算出対象のラインのうち最も上のラインの画素を含みブロック境界を挟む２つのＣＵの間で、ＭＶの差の絶対値が１画素以上、または、動き補償の参照ピクチャが異なるか、ＭＶの数が異なる
さらに、HEVCにおいては、上記のように設定されたｂＳが１以上であるブロック境界を対象に、復号画像の輝度成分（Ｙ成分）に対するデブロックフィルタが適用され得る。そのため、HEVCにおいて、条件Ｂ１、条件Ｂ２が満たされるか否かに応じて、復号画像の輝度成分に対するデブロックフィルタの適用要否の判定結果は異なり得る。
なお、HEVCにおいて、復号画像の輝度成分に対するデブロックフィルタとして、フィルタ強度が大きいストロングフィルタと、フィルタ強度が小さいウイークフィルタとが用意されている。ｂＳが１以上である場合、復号画像の輝度成分に対するデブロックフィルタに関する処理は、さらなる条件に基づくさらなる適用要否判定処理が行われた後に、フィルタ強度の判定処理、フィルタリング処理と続く。これらの処理の詳細については上記参照文献REF2に記載されており、ここでの説明は省略する。
一方で、HEVCにおける復号画像の色差成分（Ｕ成分、Ｖ成分）に対するデブロックフィルタは、ｂＳが２であるブロック境界のみを対象として適用される。そのため、図１に示すように、条件Ｂ１、条件Ｂ２が満たすか否かは、HEVCにおいて、復号画像の色差成分に対するデブロックフィルタの適用要否判定に影響を与えない。
また、HEVCにおいて、復号画像の色差成分に対して適用され得るデブロックフィルタはウイークフィルタのみである。そのため、復号画像の色差成分について、フィルタ強度の判定処理は不要であり、ｂＳが２である場合には、復号画像の色差成分に対してウイークフィルタが適用される。
ところで、上記参照文献REF3に記載されるように、VVCにおけるQTBT Block Structureによるブロック分割では、HEVCにおけるQuad-Tree Block Structureによるブロック分割よりも、さらに大きなサイズのブロックが選択され得る。フラットな領域（領域内の画素値の変化が小さい領域）におけるブロックのサイズが大きい場合、ブロック歪みが発生し易い。そのため、より大きなサイズのブロックが選択され得るVVCにおいて、HEVCと同様に復号画像の色差成分に対して適用され得るデブロックフィルタをウイークフィルタのみとした場合、色差成分において、顕著なブロック歪みが残ってしまう恐れがあった。このような状況に鑑み、復号画像の色差成分に対するデブロックフィルタを改善することが望まれている。
例えば、非特許文献１では、色差成分に適用され得るデブロックフィルタを、輝度成分に適用され得るデブロックフィルタと同様に２種類に変更し、色差成分に対しても、ストロングフィルタを適用し得る手法が提案されている。また、非特許文献１では、ｂＳが２である場合のみならず、ｂＳが１の場合であっても、復号画像の色差成分に対してデブロックフィルタが適用され得ることが記載されている。
図２は、非特許文献１におけるｂＳの算出について説明するための表である。図２に示すように、非特許文献１において、図２に示したHEVCの例と同様に、上述した条件Ａ、条件Ｂ１、条件Ｂ２に基づいてｂＳが算出される。ただし、上述したように、非特許文献１では、ｂＳが２である場合のみならず、ｂＳが１の場合であっても復号画像の色差成分に対してデブロックフィルタが適用され得る。そのため、図２に示すように、非特許文献１において、条件Ｂ１、条件Ｂ２が満たされるか否かに応じて、復号画像の色差成分（Ｕ成分、Ｖ成分）に対するデブロックフィルタの適用要否の判定結果は異なり得る。
以下では、非特許文献１において復号画像の色差成分に適用され得るデブロックフィルタに関する、適用要否判定処理、フィルタ強度の判定処理、及びフィルタリング処理について、図３を参照しながら説明する。図３は、垂直のブロック境界ＢＢを挟んで隣接する、２つのブロックＢｐ及びブロックＢｑ内の色差成分（Ｕ成分、Ｖ成分）の画素の一例を示す説明図である。なお、ここでは垂直境界を例にとって説明するが、当然ながら、ここで説明される事項は水平境界にも同様に適用可能である。また、図３には、色差成分においてブロックＢｐ及びブロックＢｑが４×４である例を示しているが、ここで説明される事項は、他のサイズのブロックにも同様に適用可能である。
図３の例において、ブロックＢｐ内の色差成分の画素は、pi,jという記号で示されている。iは列のインデックス、jは行のインデックスである。列のインデックスiは、ブロック境界ＢＢに近い列から順に（図中の左から右へ）０，１，２，３と付番されている。行のインデックスjは、上から下へ０，１，２，３と付番されている。一方、ブロックＢｑ内の色差成分の画素は、ｑk,jという記号で示されている。kは列のインデックス、jは行のインデックスである。列のインデックスkは、ブロック境界ＢＢに近い列から順に（図中の右から左へ）０，１，２，３と付番されている。
図２を参照して説明したようにｂＳが算出された後、以下のように３つの条件を用いて、適用要否判定処理、及びフィルタ強度の判定処理が行われる。かかる処理は、ＹＵＶ４２０フォーマットの場合、色差成分における２ラインごとに行われ、例えば図３に示す例ではラインＬ１１とラインＬ１２に関する判定と、ラインＬ２１とラインＬ２２に関する判定が別々に行われる。なお、ラインごとの判定は、判定対象のラインの画素を用いて行われる。以下では、ラインＬ１１とラインＬ１２を例に、適用要否判定処理、フィルタ強度の判定処理、及びフィルタリング処理について説明する。
まず、適用要否判定処理では、以下の条件Ｃ９１、及び条件Ｃ９２が真であるか否かが順に判定される。
-条件Ｃ９１
：(bS==2||bS==1&&(block_width＞16&&block_height＞16))
-条件Ｃ９２：d＜beta
なお、上記の条件Ｃ９１においてblock_width、及びblock_heightは、図３に示したように、それぞれ判定の対象となるブロック境界にかかるブロック（例えばＣＵ）の水平方向のサイズと垂直方向のサイズである。
また、上記条件Ｃ９２における変数betaは、エッジ判定閾値であり、変数betaの初期値は、量子化パラメータに応じて与えられる。また変数betaの値は、スライスヘッダ内のパラメータでユーザにより指定可能である。また、上記条件Ｃ９２における変数dは、以下の式（１）～（７）により算出される。
dp0=Abs(p2,0-2*p1,0+p0,0) …（１）
dp1=Abs(p2,1-2*p1,1+p0,1) …（２）
dq0=Abs(q2,0-2*q1,0+q0,0) …（３）
dq1=Abs(q2,1-2*q1,1+q0,1) …（４）
dpq0=dp0+dq0 …（５）
dpq1=dp1+dq1 …（６）
d=dpq0+dpq1 …（７）
なお、上記条件Ｃ９２は、参照されるラインが異なることを除いて、HEVCにおいて輝度成分に適用されるデブロックフィルタの適用要否判定処理において用いられる条件（以下、輝度成分における条件と呼ぶ）と同様である。輝度成分における条件では１ライン目の画素と４ライン目の画素が参照されて、４ラインごとに判定が行われていた。一方、ＹＵＶ４２０フォーマットでは、色差成分（Ｕ成分、Ｖ成分）の画素密度が輝度成分の画素密度の半分であるため、上記条件Ｃ９２では、１ライン目であるラインＬ１１の画素と２ライン目であるラインＬ１２の画素が参照されて２ラインごとに判定が行われる。
上記条件Ｃ９１、条件Ｃ９２のうち少なくともいずれか一方が偽である場合には、復号画像の色差成分にデブロックフィルタが適用されない。一方、上記条件Ｃ９１、条件Ｃ９２の両方が真である場合、処理はフィルタ強度の判定処理へ進む。
フィルタ強度の判定処理では、ストロングフィルタとウイークフィルタとのうち、いずれのフィルタを適用するか判定するため、以下の条件Ｃ９３が真であるか否かが判定される。
-条件Ｃ９３：(block_width＞16&&block_height＞16)
なお、上記の条件Ｃ９３におけるblock_width、及びblock_heightは、条件Ｃ９１におけるblock_width、及びblock_heightと同様に、それぞれ判定の対象となるブロック境界にかかるブロックの水平方向のサイズと垂直方向のサイズである。
上記条件Ｃ９３が真である場合には、対象となるブロック境界において復号画像の色差成分にストロングフィルタが適用され、上記条件Ｃ９３が偽である場合には、対象となるブロック境界において復号画像の色差成分にウイークフィルタが適用される。
非特許文献１において色差成分に適用されるストロングフィルタは、HEVCにおいて輝度成分に適用されるストロングフィルタと同様であり、以下の式（８）～（１３）のように表される。
p0′=Clip3(p0-2*tc,p0+2*tC,(p2+2*p1+2*p0+2*q0+q1+4)＞＞3) …（８）
p1′=Clip3(p1-2*tc,p1+2*tC,(p2+p1+p0+q0+2)＞＞2) …（９）
p2′=Clip3(p2-2*tc,p2+2*tC,(2*p3+3*p2+p1+p0+q0+4)＞＞3) …（１０）
q0′=Clip3(q0-2*tc,q0+2*tC,(p1+2p0+2q0+2q1+q2+4)＞＞3) …（１１）
q1′=Clip3(q1-2*tc,q1+2*tC,(p0+q0+q1+q2+2)＞＞2) …（１２）
q2′=Clip3(q2-2*tc,q2+2*tC,(p0+q0+q1+3*q2+2*q3+4)＞＞3) …（１３）
なお、上記の式（８）～（１３）において、pi、及びqkはデブロックフィルタ適用前の色差成分の画素値である。また、pi′、及びqk′は、デブロックフィルタ適用後の色差成分の画素値である。ここで、i及びkはそれぞれ上述したブロックＢｐ、ブロックＢｑ内の列のインデックスであり、式（８）～（１３）では行のインデックスは省略されている。また、tCは量子化パラメータに応じて与えられるパラメータである。また、Clip3(a,b,c)は、値cをa≦c≦bの範囲でクリップするクリッピング処理を表す。
非特許文献１において色差成分に適用されるウイークフィルタは、HEVCにおいて色差成分に適用されるウイークフィルタと同一であるため、ここでの説明は省略する。
以上、非特許文献１において復号画像の色差成分に適用され得るデブロックフィルタに関する処理について説明した。上述した手法によれば、輝度成分に対してだけでなく、色差成分に対しても、条件に応じてストロングフィルタを適用することが可能である。
しかし、図２を参照して説明したように、非特許文献１においてｂＳの算出に用いられる条件Ｂ１はHEVCの場合と同様に輝度成分（Ｙ成分）の有意係数の有無に依存しており、その他の条件を含めても、色差成分（Ｕ成分、Ｖ成分）の情報が用いられていない。しかし、輝度成分の空間パターンと色差成分それぞれの空間パターンとは、必ずしも一致しない。したがって、色差成分に対するデブロックフィルタの適用要否の判定を、輝度成分の情報に基づく条件に従って行うと、ブロック歪みが発生しているにもかかわらず、適切にデブロックフィルタが適用されず、ブロック歪みが残ってしまう恐れがあった。
また、ｂＳが１の場合、非特許文献１において適用要否判定処理に用いられる条件Ｃ９１が真となるためには、判定の対象となるブロック境界にかかるブロックの水平方向のサイズと垂直方向のサイズの両方が１６より大きい必要がある。しかし、参照文献REF3に記載されるように、VVCにおけるブロック（例えばＣＵ）の形状は、正方形だけでなく、非正方形の長方形であり得る。そして、ブロック歪みは、ブロック境界と同一方向のサイズよりも、ブロック境界と直交する方向のサイズに依存して発生し易い傾向がある。そのため、ブロックの形状によっては、非特許文献１の適用要否判定処理では、適切にデブロックフィルタが適用されず、ブロック歪みが残ってしまう恐れがあった。
また、非特許文献１におけるストロングフィルタは、HEVCにおいて適用されるストロングフィルタと同様である。一方、上述したように、VVCでは、HEVCにおけるブロック分割よりも、さらに大きなサイズのブロックが選択され得るため、非特許文献１におけるストロングフィルタを適用したとしても、十分にブロック歪みを軽減できない恐れがあった。
［１－２．本開示の一実施形態の概要］
そこで、上記事情を一着眼点にして本開示の一実施形態を創作するに至った。本開示の一実施形態による画像処理装置は、復号画像の色差に関連する色差関連パラメータを用いて算出された境界強度（ｂＳ）に基づいて、復号画像の色差成分に対するデブロックフィルタ適用の要否を判定する適用要否判定処理を行う。以下、本開示の一実施形態の概要について説明する。
図４は、本実施形態におけるｂＳの算出について説明するための表である。図４に示すように、イントラ予測に関する条件である条件Ａ、Ｙ成分の有意係数に関する条件である条件Ｂ１－Ｙ、Ｕ成分の有意係数に関する条件である条件Ｂ１－Ｕ、Ｖ成分の有意係数に関する条件である条件Ｂ１－Ｖ、及びＭＶと参照ピクチャに関する条件である条件Ｂ２に基づいて算出される。
図４を参照すると、条件Ａが真である場合にｂＳは１６に設定される。また、条件Ａが偽であり、条件Ｂ２が真である場合、ｂＳは１に設定される。そして、条件Ａと条件Ｂ２とが偽であり、かつ条件Ｂ１－Ｙ、条件Ｂ１－Ｕ、及び条件Ｂ１－Ｖのうちいずれか１つでも真である場合、ｂＳは２～１４の間の値に設定される。そして、条件Ａ、条件Ｂ１－Ｙ、条件Ｂ１－Ｕ、条件Ｂ１－Ｖ、及び条件Ｂ２がいずれも偽である場合にｂＳは０に設定される。なお、図４に示す条件Ａ、条件Ｂ１－Ｙ、条件Ｂ２は、それぞれ図１を参照して説明した条件Ａ、条件Ｂ１、条件Ｂ２と同一である。また、本実施形態にかかるｂＳの算出方法については後により詳細に説明する。
また、図４に示す条件Ｂ１－Ｕ、及び条件Ｂ１－Ｖは、条件Ｂ１－ＹにおけるＹ成分の有意係数の有無の代わりに、それぞれＵ成分の有意係数の有無、及びＶ成分の有意係数の有無を判定に用いる条件に相当し、以下のように表現される。なお、以下の条件Ｂ１－Ｕ、及び条件Ｂ１－Ｖの真偽は、各ＴＵにおける色差成分の有意係数の有無を示すフラグ（色差関連パラメータの一例）に基づいて判定することが可能である。
-条件Ｂ１－Ｕ：ブロック境界がＴＵ境界であり、ｂＳ算出対象のラインのうち最も上のラインの画素を含みブロック境界を挟む２つのＴＵのうち、少なくともいずれか一方にＵ成分の有意係数が存在する
-条件Ｂ１－Ｖ：ブロック境界がＴＵ境界であり、ｂＳ算出対象のラインのうち最も上のラインの画素を含みブロック境界を挟む２つのＴＵのうち、少なくともいずれか一方にＶ成分の有意係数が存在する
本実施形態では、上記のような色差に関連する条件Ｂ１－Ｕ、条件Ｂ１－Ｖを用いて算出されたｂＳに基づいて、復号画像の色差成分に対するデブロックフィルタ適用要否の判定が行われる。かかる構成により、色差成分に対してより適切にデブロックフィルタを適用することが可能となる。
また、本実施形態では、後述するように、ブロック境界と直交する方向のサイズにさらに基づいて、復号画像の色差成分に対するデブロックフィルタ適用要否の判定が行われる。かかる構成により、ブロックの形状が非正方形の長方形の場合であってもより適切にデブロックフィルタを適用することが可能となる。
また、本実施形態では、後述するように、非特許文献１におけるストロングフィルタよりも強度が大きい（ローパス特性が強い）ストロングフィルタが復号画像の色差成分に対して適用され得る。また、かかるストロングフィルタをより適切に適用するため、本実施形態では、非特許文献１におけるフィルタ強度の判定処理とは異なる方法でフィルタ強度の判定が行われる。かかる構成により、よりブロック歪みを軽減し得る。
以上、本開示の一実施形態の概要について説明した。以下では、上述した効果を実現するための、本実施形態の構成、及び動作について順次詳細に説明する。
＜２．装置の概略構成＞
まず、図５及び図６を用いて、本明細書で開示する技術を適用可能な一例としての装置の概略構成を説明する。本明細書で開示する技術は、例えば、画像符号化装置及び画像復号装置に適用可能である。
［２－１．画像符号化装置］
図５は、本開示の一実施形態にかかる画像処理装置の一態様である画像符号化装置１０の構成の一例を示すブロック図である。
図５を参照すると、画像符号化装置１０は、並び替えバッファ１１、制御部１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部２１、逆直交変換部２２、加算部２３、インループフィルタ２４、フレームメモリ３０、スイッチ３１、モード設定部３２、イントラ予測部４０及びインター予測部５０を備える。
並び替えバッファ１１は、符号化すべき一連の画像（元画像）を、符号化処理にかかるGOP（Group of Pictures）構造に応じて並び替える。並び替えバッファ１１は、並び替え後の画像を制御部１２、減算部１３、イントラ予測部４０、及びインター予測部５０へ出力する。
制御部１２は、外部、または予め指定された処理単位のブロックサイズに基づいて、画像を処理単位のブロックへ分割する。制御部１２によるブロック分割により、Quad-Tree Block Structure、またはQTBT（Quad Tree Plus Binary Tree） Block StructureのＣＵが処理単位として形成されてもよい。また、制御部１２は、符号化処理にかかるパラメータを、例えば、RDO（Rate-Distortion Optimization）に基づいて決定する。決定されたパラメータは、各部へ供給される。
減算部１３は、並び替えバッファ１１から入力される画像と予測画像との差分である予測誤差を算出し、算出した予測誤差を直交変換部１４へ出力する。
直交変換部１４は、各領域内に設定される１つ以上の変換ブロック（ＴＵ）の各々について直交変換処理を実行する。ここでの直交変換は例えば、離散コサイン変換または離散サイン変換等であってよい。より具体的には、直交変換部１４は、減算部１３から入力される予測誤差を、変換ブロックごとに、空間領域の画像信号から周波数領域の変換係数に変換する。そして、直交変換部１４は、変換係数を量子化部１５へ出力する。
また、直交変換部１４は、直交変換により得られた変換係数に基づいて、各ＴＵにおける有意係数の有無を示すフラグを成分ごと（Ｙ成分、Ｕ成分、Ｖ成分ごと）に生成し、可逆符号化部１６及びインループフィルタ２４へ出力してもよい。なお、直交変換部１４により生成される、各ＴＵにおけるＵ成分の有意係数の有無を示すフラグ、及び各ＴＵにおけるＶ成分の有意係数の有無を示すフラグは、色差関連パラメータに含まれる。
量子化部１５には、直交変換部１４から入力される変換係数、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は変換係数を量子化し、量子化後の変換係数（以下、量子化データとも呼ぶ）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化スケールを切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
可逆符号化部１６は、量子化部１５から入力される量子化データを符号化することにより、符号化ストリームを生成する。また、可逆符号化部１６は、デコーダにより参照される様々なパラメータを符号化して、符号化パラメータを符号化ストリームへ挿入する。可逆符号化部１６により符号化されるパラメータは、上述した制御部１２により決定されたパラメータを含み得る。
さらに、可逆符号化部１６により符号化されるパラメータは、色差関連パラメータを含み得る。可逆符号化部１６により符号化される色差関連パラメータは、例えば上述したように直交変換部１４から入力される各ＴＵにおけるＵ成分の有意係数の有無を示すフラグ、及び各ＴＵにおけるＶ成分の有意係数の有無を示すフラグを含む。可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリ等の記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェースまたは周辺機器との接続インタフェース等）へ出力する。
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。ローカルデコーダは、符号化されたデータから復号画像をローカル復号する役割を有する。
逆量子化部２１は、量子化部１５により使用されたものと同じ量子化パラメータで量子化データを逆量子化し、変換係数を復元する。そして、逆量子化部２１は、復元した変換係数を逆直交変換部２２へ出力する。
逆直交変換部２２は、逆量子化部２１から入力される変換係数について逆直交変換処理を実行することにより、予測誤差を復元する。そして、逆直交変換部２２は、復元した予測誤差を加算部２３へ出力する。
加算部２３は、逆直交変換部２２から入力される復元された予測誤差とイントラ予測部４０またはインター予測部５０から入力される予測画像とを加算することにより、復号画像（リコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像をインループフィルタ２４及びフレームメモリ３０へ出力する。
インループフィルタ２４は、復号画像の画質の向上を目的として一連のインループフィルタを適用する。例えば、参照文献REF3の「2.5. In-loop filtering」に記載されているように、４つのインループフィルタが、バイラテラルフィルタ、デブロックフィルタ、適応オフセットフィルタ、及び適応ループフィルタの順番で適用されてもよい。図５に示すインループフィルタ２４は、例えばバイラテラルフィルタ２５、デブロックフィルタ２６ａ、適応オフセットフィルタ２７、及び適応ループフィルタ２８を含み、上記４つのインループフィルタが順に適用され得る。しかしながら、インループフィルタ２４はかかる構成に限定されず、４つのインループフィルタのうち、いずれのフィルタを適用するか、また、どのような順番で適用するかは、適宜選択可能であり得る。なお、デブロックフィルタ２６ａについては、後に詳細に説明する。
インループフィルタ２４は、インループフィルタが適用された復号画像をフレームメモリ３０へ出力する。
フレームメモリ３０は、加算部２３から入力されるフィルタリング前の復号画像、及びインループフィルタ２４から入力されるインループフィルタが適用された復号画像を記憶媒体を用いて記憶する。
スイッチ３１は、イントラ予測のために使用されるフィルタリング前の復号画像をフレームメモリ３０から読み出し、読み出した復号画像を参照画像としてイントラ予測部４０に供給する。また、スイッチ３１は、インター予測のために使用されるフィルタリング後の復号画像をフレームメモリ３０から読み出し、読み出した復号画像を参照画像としてインター予測部５０に供給する。
モード設定部３２は、イントラ予測部４０及びインター予測部５０から入力されるコストの比較に基づいて、ブロックごとに予測符号化モードを設定する。モード設定部３２は、イントラ予測モードを設定したブロックについては、イントラ予測部４０により生成される予測画像を減算部１３及び加算部２３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、モード設定部３２は、インター予測モードを設定したブロックについては、インター予測部５０により生成される予測画像を減算部１３及び加算部２３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。
イントラ予測部４０は、元画像及び復号画像に基づいて、イントラ予測処理を実行する。例えば、イントラ予測部４０は、探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。次に、イントラ予測部４０は、コストが最小となる予測モードを最適な予測モードとして選択する。また、イントラ予測部４０は、選択した最適な予測モードに従って予測画像を生成する。そして、イントラ予測部４０は、最適な予測モードを示す予測モード情報を含むイントラ予測に関する情報、対応するコスト、及び予測画像を、モード設定部３２へ出力する。
インター予測部５０は、元画像及び復号画像に基づいて、インター予測処理（動き補償）を実行する。例えば、インター予測部５０は、ある探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。次に、インター予測部５０は、コストが最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部５０は、選択した最適な予測モードに従って予測画像を生成する。そして、インター予測部５０は、インター予測に関する情報、対応するコスト、及び予測画像を、モード設定部３２へ出力する。
［２－２．画像復号装置］
続いて、以上のように符号化されたデータの復号について説明する。図６は、本実施形態にかかる画像処理装置の一態様である画像復号装置６０の構成の一例を示すブロック図である。図６を参照すると、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、インループフィルタ６６、並び替えバッファ７２、Ｄ／Ａ（Digital to Analogue）変換部７３、フレームメモリ８０、セレクタ８１ａ及び８１ｂ、イントラ予測部９０並びにインター予測部１００を備える。
蓄積バッファ６１は、図示しない伝送部（例えば、通信インタフェースまたは周辺機器との接続インタフェース等）を介して画像符号化装置１０から受信される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号し、量子化データを生成する。可逆復号部６２は、生成した量子化データを逆量子化部６３へ出力する。
また、可逆復号部６２は、符号化ストリームから、各種のパラメータをパースする。可逆復号部６２によりパースされるパラメータは、例えば、イントラ予測に関する情報、及びインター予測に関する情報を含み得る。可逆復号部６２は、イントラ予測に関する情報をイントラ予測部９０へ出力する。また、可逆復号部６２は、インター予測に関する情報をインター予測部１００へ出力する。
また、可逆復号部６２によりパースされるパラメータは、色差関連パラメータを含み得る。可逆復号部６２は、色差関連パラメータを、インループフィルタ６６へ出力する。なお、可逆復号部６２によりパースされる色差関連パラメータは、例えば上述した各ＴＵにおけるＵ成分の有意係数の有無を示すフラグ、及び各ＴＵにおけるＶ成分の有意係数の有無を示すフラグを含む。
逆量子化部６３は、可逆復号部６２から入力される量子化データを、符号化の際に使用されたものと同じ量子化ステップで逆量子化し、変換係数を復元する。逆量子化部６３は、復元した変換係数を逆直交変換部６４へ出力する。
逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数について逆直交変換を行うことにより、予測誤差を生成する。逆直交変換部６４は、生成した予測誤差を加算部６５へ出力する。
加算部６５は、逆直交変換部６４から入力される予測誤差と、セレクタ７１ｂから入力される予測画像とを加算することにより、復号画像を生成する。そして、加算部６５は、生成した復号画像をインループフィルタ６６及びフレームメモリ８０へ出力する。
インループフィルタ６６は、復号画像の画質の向上を目的として一連のインループフィルタを適用する。例えば、参照文献REF3の「2.5. In-loop filtering」に記載されているように、４つのインループフィルタが、バイラテラルフィルタ、デブロックフィルタ、適応オフセットフィルタ、及び適応ループフィルタの順番で適用されてもよい。図６に示すインループフィルタ６６は、例えばバイラテラルフィルタ６７、デブロックフィルタ２６ｂ、適応オフセットフィルタ６９、及び適応ループフィルタ７０を含み、上記４つのインループフィルタが順に適用され得る。しかしながら、インループフィルタ６６はかかる構成に限定されず、４つのインループフィルタのうち、いずれのフィルタを適用するか、また、どのような順番で適用するかは、適宜選択可能であり得る。なお、デブロックフィルタ２６ｂについては、後に詳細に説明する。
インループフィルタ６６は、インループフィルタが適用された復号画像を並び替えバッファ７２及びフレームメモリ８０へ出力する。
並び替えバッファ７２は、インループフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像を生成する。そして、並び替えバッファ７２は、生成した画像をＤ／Ａ変換部７３へ出力する。
Ｄ／Ａ変換部７３は、並び替えバッファ７２から入力されるデジタル形式の画像をアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部７３は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
フレームメモリ８０は、加算部６５から入力されるフィルタリング前の復号画像、及びインループフィルタ６６から入力されるインループフィルタが適用された復号画像を記憶媒体を用いて記憶する。
セレクタ８１ａは、可逆復号部６２により取得される予測モード情報に応じて、画像内のブロックごとに、フレームメモリ８０からの画像の出力先をイントラ予測部９０とインター予測部１００との間で切り替える。例えば、セレクタ８１ａは、イントラ予測モードが指定された場合には、フレームメモリ８０から供給されるフィルタリング前の復号画像を参照画像としてイントラ予測部９０へ出力する。また、セレクタ８１ａは、インター予測モードが指定された場合には、フィルタリング後の復号画像を参照画像としてインター予測部１００へ出力する。
セレクタ８１ｂは、可逆復号部６２により取得される予測モード情報に応じて、加算部６５へ供給すべき予測画像の出力元をイントラ予測部９０とインター予測部１００との間で切り替える。例えば、セレクタ８１ｂは、イントラ予測モードが指定された場合には、イントラ予測部９０から出力される予測画像を加算部６５へ供給する。また、セレクタ８１ｂは、インター予測モードが指定された場合には、インター予測部１００から出力される予測画像を加算部６５へ供給する。
イントラ予測部９０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ８０からの参照画像とに基づいてイントラ予測処理を行い、予測画像を生成する。そして、イントラ予測部９０は、生成した予測画像をセレクタ８１ｂへ出力する。
インター予測部１００は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ８０からの参照画像とに基づいてインター予測処理を行い、予測画像を生成する。そして、インター予測部１００は、生成した予測画像をセレクタ８１ｂへ出力する。
＜３．デブロックフィルタ＞
［３－１．デブロックフィルタの構成例］
本節では、図５に示した画像符号化装置１０のデブロックフィルタ２６ａ及び図６に示した画像復号装置６０のデブロックフィルタ２６ｂの構成の一例を説明する。なお、デブロックフィルタ２６ａ及びデブロックフィルタ２６ｂの構成は、共通であってよい。したがって、以下の説明では、特に両者を区別する必要が無い場合には、デブロックフィルタ２６ａ及びデブロックフィルタ２６ｂをデブロックフィルタ２６と総称する。
本実施形態にかかるデブロックフィルタ２６は、上述したように、色差に関連する色差関連パラメータを用いて算出されたｂＳに基づいて、復号画像の色差成分に対するデブロックフィルタ適用要否を判定する。また、本実施形態にかかるデブロックフィルタ２６は、上述したように、ブロック境界と直交する方向のサイズにさらに基づいて、復号画像の色差成分に対するデブロックフィルタ適用要否を判定する。また、本実施形態にかかるデブロックフィルタ２６は、上述したように、非特許文献１におけるストロングフィルタよりも強度が大きい（ローパス特性が強い）ストロングフィルタを復号画像の色差成分に対して適用し得る。また、かかるストロングフィルタをより適切に適用するため、本実施形態では、非特許文献１におけるフィルタ強度の判定処理とは異なる方法でフィルタ強度を判定する。なお、以下では、主に復号画像の色差成分に対して適用されるデブロックフィルタに関するデブロックフィルタ２６の機能について説明し、輝度成分に対して適用されるデブロックフィルタに関するデブロックフィルタ２６の機能については適宜省略する。
図７は、本実施形態にかかるデブロックフィルタ２６の詳細な構成の一例を示すブロック図である。図７を参照すると、デブロックフィルタ２６は、境界強度算出部２６１と、判定部２６３と、フィルタリング部２６９とを有する。
（１）境界強度算出部
境界強度算出部２６１は、復号画像のブロック境界を対象とし、色差に関連する色差関連パラメータを用いてｂＳ（境界強度）を算出する。ＹＵＶ４２０フォーマットの信号が対象である場合、境界強度算出部２６１は、復号画像の輝度成分における４ライン単位、すなわち復号画像の色差成分における２ライン単位でｂＳを算出する。
本実施形態において境界強度算出部２６１がｂＳの算出に用いる色差関連パラメータは、各ＴＵにおけるＵ成分の有意係数の有無を示すフラグ、及び各ＴＵにおけるＶ成分の有意係数の有無を示すフラグを含む。図７に示されるように、境界強度算出部２６１には、各ＴＵにおける各成分（Ｙ成分、Ｕ成分、Ｖ成分）の有意係数の有無を示すフラグが直交変換部１４、あるいは可逆復号部６２から入力される。
境界強度算出部２６１は、図４を参照して説明した条件Ａ、条件Ｂ１－Ｙ、条件Ｂ１－Ｕ、条件Ｂ１－Ｖ、及び条件Ｂ２に基づいてｂＳを算出する。つまり、境界強度算出部２６１は、ｂＳの算出対象であるブロック境界を挟むＴＵに、色差成分の有意係数が存在するか否かに基づいてｂＳを算出する。さらに、本実施形態にかかる境界強度算出部２６１は、ｂＳの算出対象であるブロック境界を挟むＴＵに、Ｙ成分、Ｕ成分、Ｖ成分の各成分の有意係数が存在するか否かを独立に判定することにより、ｂＳを算出し得る。かかる構成により、図２を参照して説明したようにＹ成分の有意係数が存在するか否かに基づいてｂＳを算出するよりも、Ｕ成分、Ｖ成分に適したｂＳが算出され、より適切にデブロックフィルタを適用することが可能となる。
図８を参照して、境界強度算出部２６１によるｂＳの算出についてより詳細に説明する。図８は、境界強度算出部２６１により算出されるｂＳの一例を示す表である。境界強度算出部２６１により算出されるｂＳは、複数のビットにより表現され得る。図８に示される例では、ｂＳは５ビットで表現される。また、当該複数のビットには、Ｙ成分、Ｕ成分、Ｖ成分の各成分に対応するビットが少なくとも１つずつ含まれるように、ｂＳが算出されてもよい。かかる構成により、後述する判定部２６３がｂＳに基づいてデブロックフィルタ適用要否を判定する際に、判定の対象となる成分ごとに対応するｂＳのビットを参照することで、容易に判定を行うことが可能となる。
また、境界強度算出部２６１は、ｂＳに含まれる各ビットが各条件の真偽に対応するようにｂＳを算出してもよい。図８に示す例では、各条件が真である場合、当該条件に対応するビットが１であり、各条件が偽である場合、当該条件に対応するビットが０であるようにｂＳが算出される。また、図８に示す例では、ｂＳが５ビットで表現され、ｂＳの５ビット目がイントラ予測に関する条件Ａと、ｂＳの４ビット目がＹ成分の有意係数に関する条件Ｂ１－Ｙと、ｂＳの３ビット目がＵ成分の有意係数に関する条件Ｂ１－Ｕと、ｂＳの２ビット目がＶ成分の有意係数に関する条件Ｂ１－Ｖと、ｂＳの１ビット目がＭＶと参照ピクチャに関する条件Ｂ２と、それぞれ対応している。ただし、ｂＳの各ビットと各条件との対応は、図８に示した例に限定されない。例えば、Ｙ成分、Ｕ成分、Ｖ成分の各成分にそれぞれ対応するｂＳの４ビット目、３ビット目、２ビット目の順番が入れ替えられてもよい。
（２）判定部
判定部２６３は、図７に示すように、復号画像の色差成分に対するデブロックフィルタ適用要否を判定する適用要否判定部２６５と、当該復号画像の色差成分に適用されるデブロックフィルタのフィルタ強度を判定するフィルタ強度判定部２６７とを含む。以下、適用要否判定部２６５、及びフィルタ強度判定部２６７の機能について順次説明を行う。
なお、以下の説明では、復号画像の色差成分に対するデブロックフィルタ適用要否、及びフィルタ強度の判定について主に説明し、輝度成分に対する判定については適宜説明を省略する。また、本実施形態にかかる適用要否判定部２６５、及びフィルタ強度判定部２６７は、Ｕ成分とＶ成分のそれぞれについて独立に、デブロックフィルタ適用要否、及びフィルタ強度を判定する。
適用要否判定部２６５は、復号画像のブロック境界を対象とし、境界強度算出部２６１により上述したように算出されたｂＳ（境界強度）に基づいて、当該復号画像の色差成分に対するデブロックフィルタ適用要否を判定する。
また、適用要否判定部２６５は、さらに当該ブロック境界を挟むブロックのブロックサイズに基づいて当該復号画像の色差成分に対するデブロックフィルタ適用要否を判定してもよい。なお、以下ではかかるブロックサイズに基づく判定をラージブロック判定と呼称する場合がある。また、適用要否判定部２６５は、全てのブロック境界に対して常にラージブロック判定を行う必要はなく、ｂＳに応じてラージブロック判定を行うか否かを決定してもよい。なお、ラージブロック判定が行われるケースや、ラージブロック判定の詳細については後述する。
本実施形態にかかる適用要否判定部２６５は、以下の条件Ｃ１の判定と、条件Ｃ２の判定とにより、デブロックフィルタ適用要否を判定する。
-条件Ｃ１：(bS==16||（条件Ｃ１１&&条件Ｃ１２）)
-条件Ｃ２：d＜beta
上記の条件Ｃ１における条件Ｃ１１は、ラージブロック判定を行うか否かを判定するための条件であり、条件Ｃ１２はラージブロック判定にかかる条件である。ｂＳが１６である場合、すなわちイントラ予測に関する条件Ａが満たされる場合には、ラージブロック判定を行う必要なく条件Ｃ１は真であると判定され得る。そのため、ラージブロック判定を行うか否かを判定するための条件Ｃ１１は、ｂＳがインター予測に関連する値を有する場合に真となり得る。なお、このように、ｂＳが１６である場合にラージブロック判定をスキップして条件Ｃ１を真と判定することにより、ラージブロック判定にかかる処理量を抑制することができる。
また、条件Ｃ１の条件Ｃ１１が偽である場合にも、条件Ｃ１２の判定（ラージブロック判定）は行われず、条件Ｃ１が偽と判定される。かかる構成により、ラージブロック判定にかかる処理量を抑制することができる。
条件Ｃ１１は、各成分の有意係数に関する条件、あるいは上述した条件Ｂ２が真である場合に真となってよい。つまり、条件Ｃ１１は、判定対象となる成分によって異なってよい。例えば、判定対象がＵ成分である場合の条件Ｃ１１は以下の条件Ｃ１１－Ｕのような条件であってよく、判定対象がＶ成分である場合の条件Ｃ１１は以下の条件Ｃ１１－Ｖのような条件であってよい。
-条件Ｃ１１－Ｕ：(bS&0x04||bS&0x01)
-条件Ｃ１１－Ｖ：(bS&0x02||bS&0x01)
また、適用要否判定部２６５は、ブロック境界を挟むブロックにおける前記ブロック境界と直交する方向のサイズに基づいてラージブロック判定を行う。かかる構成により、ブロックの形状が非正方形の長方形の場合に、ブロック歪みの発生に影響を与えやすい、ブロック境界と直交する方向のサイズに基づいて、デブロックフィルタの適用要否を判定することが可能となる。
また、適用要否判定部２６５は、ブロック境界を挟むブロックにおけるブロック境界と直交する方向のサイズが所定の閾値より大きいか否かに基づいてラージブロック判定を行ってもよい。このラージブロック判定で用いられる閾値は限定されるものではないが、例えば１６であってもよい。ブロック境界と直交する方向のサイズが小さく、特に１６以下の場合には、ブロックノイズが目立ちにくいため、かかる構成により、不要なデブロックフィルタの適用を回避することが可能となる。例えば、ラージブロック判定にかかる条件Ｃ１２は、以下のような条件であってよい。
-条件Ｃ１２：(EDGE_VER&&block_width＞16)||(EDGE_HOR&&block_height＞16)
なお、上記の条件Ｃ１２において、EDGE_VERは、判定の対象となるブロック境界が垂直境界であることを意味し、EDGE_HORは、判定の対象となるブロック境界が水平境界であることを意味する。
また、上記の条件Ｃ２は、上述した条件Ｃ９２と同一であるため、ここでの説明は省略する。なお、上記の条件Ｃ２の判定は、条件Ｃ１が真であった場合に行われ、条件Ｃ１が偽であった場合には、条件Ｃ２の判定が行われることなく、デブロックフィルタを適用しないと判定される。条件Ｃ２の判定は、上述した式（１）～（７）のように変数dを算出する処理を要し、条件Ｃ１の判定よりも処理量が大きいため、条件Ｃ１の後に条件Ｃ２の判定を行うことにより、処理量を抑制することが可能である。
また、フィルタ強度判定部２６７は、上述したように条件Ｃ１、条件Ｃ２によりデブロックフィルタ適用要否が判定された後に、復号画像の色差成分に適用されるデブロックフィルタのフィルタ強度をさらに判定する。本実施形態で適用され得るデブロックフィルタは、後述するように、より弱い強度を有するウイークフィルタと、より強い強度を有するストロングフィルタの２種類であってよい。そして、後述するフィルタリング部２６９は、フィルタ強度判定部２６７により判定されたフィルタ強度に応じて、ウイークフィルタとストロングフィルタのいずれかを適用する。
フィルタ強度判定部２６７は、デブロックフィルタを適用すると判定された場合に、フィルタ強度を判定する。フィルタ強度の判定をデブロックフィルタ適用要否の判定よりも後に行うことにより、フィルタ強度の判定にかかる処理を抑制することが可能となる。
また、フィルタ強度判定部２６７は、ブロック境界の近傍に位置する画素の色差成分の波形に基づいて、フィルタ強度を判定する。以下、波形に基づく判定について説明する。フィルタ強度判定部２６７は、以下の波形に基づく条件Ｃ３により、フィルタ強度を判定する。
-条件Ｃ３：（条件Ｃ３１&&条件Ｃ３２&&条件Ｃ３３）
-条件Ｃ３１：|p3-p0|+|q3-q0|＜(beta＞＞3)
-条件Ｃ３２：|p2-2*p1+p0|+|q2-2*q1+q0|＜(beta＞＞2)
-条件Ｃ３３：|p0-q0|＜((tc*5+1)＞＞1)
フィルタ強度判定部２６７は、ブロック境界の近傍に位置する画素のうち、２つのラインに含まれる画素について、上記の条件Ｃ３の判定を行う。上記Ｃ３で用いられる条件Ｃ３１、条件Ｃ３２、条件Ｃ３３はラインごとに判定される。なお、条件Ｃ３１、条件Ｃ３２、条件Ｃ３３におけるpi、qk、pi′、qk′、beta、及びtCについては、既に上記で説明したためここでの説明は省略する。
条件Ｃ３１、条件Ｃ３２、及び条件Ｃ３３は、各ラインに含まれる画素を用いて判定する条件である。より具体的には条件Ｃ３１は、各ラインに含まれる画素の色差成分のブロック内における平坦度に関する条件である。また、条件Ｃ３２は、各ラインに含まれる画素の色差成分のブロック内における連続性の判定に関する条件である。また、条件Ｃ３３は、各ラインに含まれる画素の色差成分のブロック間のギャップ（差分）に関する条件であり、より具体的にはブロック境界に隣接する画素値を用いて、ブロック間のギャップを判定するための条件である。
条件Ｃ３１が真である場合には、各ブロック内において色差成分の波形の平坦度が高い。また、条件Ｃ３２が真である場合には、各ブロック内において色差成分の波形は連続性が高い。また、条件Ｃ３２が真である場合には、色差成分の波形はブロック境界において大きなギャップを有する。
上記のように、条件Ｃ３は、上記の条件Ｃ３１、条件Ｃ３２、条件Ｃ３３の全てが真である場合に真と判定される。また、フィルタ強度判定部２６７は上記の条件Ｃ３をラインごとに判定する。ただし、上述したようにフィルタ強度は２ライン単位で判定される。つまり、連続する２つのラインの両方において上記の条件Ｃ３が真である場合に当該２つラインにストロングフィルタが適用され、偽である場合に当該２つのラインにウイークフィルタが適用されるように、フィルタ強度が判定される。
（３）フィルタリング部
フィルタリング部２６９は、適用要否判定部２６５によるデブロックフィルタ適用要否の判定結果に基づいて、ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用する。また、上述したようにフィルタリング部２６９は、フィルタ強度判定部２６７により判定されたフィルタ強度に応じて、ウイークフィルタ、またはストロングフィルタをデブロックフィルタとして適用する。
本実施形態にかかるフィルタリング部２６９により、色差成分に対して適用されるウイークフィルタは、例えば上述した非特許文献１やHEVCにおいて復号画像の色差成分に対して適用されるウイークフィルタと同一であってよい。一方、本実施形態において色差成分に対して適用されるストロングフィルタは、非特許文献１において色差成分に対して適用されるストロングフィルタ（HEVCにおいて輝度成分に対して適用されるストロングフィルタ）とは異なってよい。以下、本実施形態において、色差成分に対して適用されるストロングフィルタの例について説明する。
本実施形態において色差成分に対して適用されるストロングフィルタの係数は、ストロングフィルタの適用対象範囲の中心位置において２であり、その他の位置において１であってよい。また、フィルタリング部２６９は、ブロック境界から両側３画素までをストロングフィルタの適用対象範囲とし、適用対象範囲の中心位置の両側の３画素を参照画素として、適用対象範囲に含まれる画素の色差成分にストロングフィルタを適用してもよい。例えば、p0を適用対象範囲の中心位置としたストロングフィルタは、以下の式（１４）のように表される。
p0′=Clip3(p0-w*tC,p0+w*tC,((p3+p2+p1+2*p0+q0+q1+q2+4)＞＞3)) …（１４）
なお、上記の式（１４）においてwは適宜設定され得る重みであり、例えば１、あるいは２に設定されてもよい。また、Clip3(a,b,c)は、上述したように値cをa≦c≦bの範囲でクリップするクリッピング処理を表す。
このようなストロングフィルタを適用することにより、上述した非特許文献１において色差成分に対して適用されるストロングフィルタよりも強いデブロックフィルタを適用することが可能となる。
ところで、ストロングフィルタの適用対象範囲の中心位置がブロック境界から２画素目、または３画素目の場合、参照画素には、ブロック境界から５画素以上離れた画素が含まれる。しかし、ブロック境界から５画素以上離れた画素は、フィルタ強度の判定に用いられておらず、参照画素として用いるのに適さない場合がある。そのため、フィルタリング部２６９は、ブロック境界から５画素以上離れた画素の代わりに、ブロック境界から４画素目の画素の画素値を、パディングすることで参照画素の画素値として用いてもよい。
例えば、p1を適用対象範囲の中心位置としたストロングフィルタは、以下の式（１５）のように表される。
p1′=Clip3(p1-w*tC,p1+w*tC,((p4+p3+p2+2*p1+p0+q0+q1+4)＞＞3))
=Clip3(p1-w*tC,p1+w*tC,((p3+p3+p2+2*p1+p0+q0+q1+4)＞＞3))
=Clip3(p1-w*tC,p1+w*tC,((2*p3+p2+2*p1+p0+q0+q1+4)＞＞3)) …（１５）
同様に、p2を適用対象範囲の中心位置としたストロングフィルタは、以下の式（１６）のように表される。
p2′=Clip3(p2-w*tC,p2+w*tC,((p5+p4+p3+2*p2+p1+p0+q0+4)＞＞3))
=Clip3(p2-w*tC,p2+w*tC,((p3+p3+p3+2*p2+p1+p0+q0+4)＞＞3))
=Clip3(p2-w*tC,p2+w*tC,((3*p3+2*p2+p1+p0+q0+4)＞＞3)) …（１６）
また、同様に、q0～q3を適用対象範囲の中心位置としたストロングフィルタは、それぞれ以下の式（１７）～（１９）のように表される。
q0′=Clip3(q0-w*tC,q0+w*tC,((p2+p1+p0+2*q0+q1+q2+q3+4)＞＞3)) …（１７）
q1′=Clip3(q1-w*tC,q1+w*tC,((p1+p0+q0+2*q1+q2+2*q3+4)＞＞3)) …（１８）
q2′=Clip3(q2-w*tC,q2+w*tC,((p0+q0+q1+2*q2+3*q3+4)＞＞3)) …（１９）
［３－２．処理の流れ］
以上、本実施形態にかかるデブロックフィルタ２６の構成例について説明した。続いて、本実施形態にかかるデブロックフィルタ２６による処理の流れについて説明する。図９は、本実施形態にかかるデブロックフィルタ２６による処理の流れの一例を示すフローチャートである。なお、以下では、デブロックフィルタ２６による処理のうち、本実施形態の特徴に関する処理について説明を行い、他の処理についての説明は適宜省略する。
まず、境界強度算出部２６１により、ｂＳ（境界強度）が算出される（Ｓ１０）。ここで、図１０を参照して、ｂＳの算出方法についてより詳細に説明する。図１０は、境界強度算出部２６１により実行される境界強度算出処理（Ｓ１０）の流れを説明するためのフローチャートである。
まず、境界強度算出部２６１はｂＳを０に初期化する（Ｓ１０２）。続いて、境界強度算出部２６１は、イントラ予測に関する条件である条件Ａの真偽を判定する（Ｓ１０４）。条件Ａが真である場合（Ｓ１０４においてＹＥＳ）、ｂＳは１６に設定される（Ｓ１０６）。
一方、条件Ａが偽である場合（Ｓ１０４においてＮＯ）、境界強度算出部２６１は、動きベクトル（ＭＶ）と参照ピクチャに関する条件である条件Ｂ２の真偽を判定する（Ｓ１０８）。条件Ｂ２が真（Ｓ１０８においてＹＥＳ）である場合、ｂＳは１に設定される（Ｓ１１０）。
一方、条件Ｂ２が偽である場合（Ｓ１０８においてＮＯ）、境界強度算出部２６１は、Ｙ成分の有意係数の有無に関する条件である条件Ｂ１-Ｙの真偽を判定する（Ｓ１１２）。条件Ｂ１-Ｙが真（Ｓ１１２においてＹＥＳ）である場合、ｂＳに８が加算された（Ｓ１１４）後に、処理はステップＳ１１６へ進む。一方、条件Ｂ１-Ｙが偽（Ｓ１１２においてＮＯ）である場合、処理はそのままステップＳ１１６へ進む。
ステップＳ１１６において、境界強度算出部２６１は、Ｕ成分の有意係数の有無に関する条件である条件Ｂ１-Ｕの真偽を判定する。条件Ｂ１-Ｕが真（Ｓ１１６においてＹＥＳ）である場合、ｂＳに４が加算された（Ｓ１１８）後に、処理はステップＳ１２０へ進む。一方、条件Ｂ１-Ｕが偽（Ｓ１１６においてＮＯ）である場合、処理はそのままステップＳ１２０へ進む。
ステップＳ１２０において、境界強度算出部２６１は、Ｖ成分の有意係数の有無に関する条件である条件Ｂ１-Ｖの真偽を判定する。条件Ｂ１-Ｖが真（Ｓ１２０においてＹＥＳ）である場合、ｂＳに２が加算された（Ｓ１２２）後に、境界強度算出処理（Ｓ１０）は終了する。条件Ｂ１-Ｖが偽（Ｓ１２０においてＮＯ）である場合、境界強度算出処理（Ｓ１０）はそのまま終了する。
図９に戻ってデブロックフィルタ２６による処理の流れの説明を続ける。ステップＳ２０において、判定部２６３の適用要否判定部２６５が、上述した条件Ｃ１の真偽を判定する。条件Ｃ１が偽である場合（Ｓ２０においてＮＯ）、処理は終了する。
一方、条件Ｃ１が真である場合（Ｓ２０においてＹＥＳ）、適用要否判定部２６５は、上述した条件Ｃ２の真偽を判定する（Ｓ３０）。条件Ｃ２が偽である場合（Ｓ３０においてＮＯ）、処理は終了する。
一方、条件Ｃ２が真である場合（Ｓ３０においてＹＥＳ）、判定部２６３のフィルタ強度判定部２６７は、上述した条件Ｃ３の真偽を判定することにより、フィルタ強度を判定する（Ｓ４０）。条件Ｃ３が真である場合（Ｓ４０においてＹＥＳ）、フィルタリング部２６９はブロック境界の近傍に位置する画素の色差成分にストロングフィルタを適用する（Ｓ５０）。一方、条件Ｃ３が偽である場合（Ｓ４０においてＮＯ）、フィルタリング部２６９はブロック境界の近傍に位置する画素の色差成分にウイークフィルタを適用する（Ｓ６０）。
以上、本実施形態にかかるデブロックフィルタ２６による処理の流れについて説明した。なお、図９、図１０を参照して説明した上述の処理は、例えばＹＵＶ４２０フォーマットの場合、復号画像の輝度成分における４ライン単位、すなわち復号画像の色差成分における２ライン単位で行われ得る。
＜新DF＞
以下、新たなDF（デブロックフィルタ）について説明する。
なお、本技術に関連する文献としては、以下の文献が従来技術としてあり、参照により本明細書に組み込まれる。
[JVET-L0072 (version 1 - date 2018-09-25 00:23:50)]
K. Andersson, Z. Zhang, R. Sjoberg: CE11: Long deblocking filters for luma (CE11.1.1) and for both luma and chroma (CE11.1.9), Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting, Macao, CN, 3-12 Oct. 2018.
[JVET-L0224 (version 1 - date 2018-09-25 01:59:53)]
Anand Meher Kotra, Biao Wang, Semih Esenlik, Han Gao, Zhijie Zhao, Jianle Chen: CE11.1.8: Longer tap Luma deblocking filter, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting, Macao, CN, 3-12 Oct. 2018.
[JVET-L0403r1 (version 3 - date 2018-10-04 05:13:00)]
Dmytro Rusanovskyy, Marta Karczewicz: CE11: Test on long deblocking filtering from JVET-J0021/JVET-K0334 (CE11.1.4). Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting, Macao, CN, 3-12 Oct. 2018.
[JVET-L0405r1 (version 2 - date 2018-10-03 07:14:31)]
Weijia Zhu, Kiran Misra, Phil Cowan, Andrew Segall: CE11: Deblocking modifications for Large CUs both luma and chroma (Test 11.1.7a and CE11.1.7b). Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting, Macao, CN, 3-12 Oct. 2018.
[JVET-L0327-v1 (version 1 - date 2018-09-25 02:33:13)]
Masaru Ikeda, Teruhiko Suzuki: CE11: Long-tap deblocking filter for luma and chroma (CE11.1.6). Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting, Macao, CN, 3-12 Oct. 2018.
また、本明細書で開示される範囲は、実施例の内容に限定されるものではなく、出願当時において公知となっている以下の参照文献REF4の内容も、参照により本明細書に組み込まれる。つまり、以下の参照文献REF4に記載されている内容もサポート要件について判断する際の根拠となる。
REF4：
[JVET-K1002-v2 (version 3 - date 2018-10-02 16:37:03)]
Jianle Chen, Yan Ye, Seung Hwan Kim: Algorithm description for Versatile Video Coding and Test Model 2 (VTM 2), Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting, Ljubljana, SI, 10-18 July 2018.
VVCでは、符号化のブロックサイズが大きくなっており、（AVCの時に比べ8倍、HEVCの時に比べ2倍になり）、ブロック境界の劣化が顕著になっている。
ブロックサイズが大きい大ブロックについては、HEVC のDF(deblocking filter)では、強いブロックノイズがある場合に、ブロックノイズを除去しきれないことがある。
また、VVCでは、イントラの場合に、輝度成分と色差成分とで異なるブロック分割を選択することができ、したがって、輝度成分及び色差成分 のそれぞれでブロックサイズを最適化することができる。色差成分については、大ブロックを採用し、輝度成分については、ブロックサイズが小さい小ブロックを採用することにより、より符号化効率が改善することがわかっており、色差成分の大ブロックに対するDFの重要性は高まってきている。
大ブロックについては、ブロックノイズ（ブロック歪み）が大きくなる傾向がある。大きいブロックノイズを適切に除去するためには、フィルタ強度が強い、すなわち、画像をよりぼかすDFが要請される。
画像をよりぼかすフィルタは、長タップ（タップ数が多い）のフィルタになるため、大きいブロックノイズを適切に除去するには、輝度成分及び色差成分に適用するDFとして、長タップのフィルタを採用することが必要となる。
DFとして、長タップのフィルタを採用する場合には、ブロック境界、すなわち、例えば、ラスタスキャン順に、DFが適用されるときには、水平境界で、フィルタ処理に必要な画素数分のラインバッファを用意する必要がある。例えば、水平境界に直交する垂直方向に並ぶ、例えば、8画素がDFのフィルタ処理（フィルタリング処理）に用いられる場合において、その8画素のうちの4画素が、水平境界の上側のブロックの画素であるときには、4ライン（行）分の画素（の画素値）を記憶するラインバッファが必要となる。
DFに、大きな容量のラインバッファを設ける場合には、コストが大きくなる。コストを重視して、ラインバッファの容量を少なくすれば、DFとして、長タップのフィルタを採用することができず、DFの性能が低下して、ブロックノイズを十分に除去することが困難となる。
したがって、コストと性能とをバランスさせて、DFの仕様を決定することが望ましい。なお、AVC やHEVC では、DFについて、ラインバッファの容量を考慮したフィルタ設計は行われていない。
そこで、本技術では、新たなDF（以下、新DFともいう）を提案する。
なお、以下の説明は、特に断らない限り、色差成分を対象とする説明であり、輝度成分については、説明を省略する。
図１１は、新DFとしてのDF３００の構成例を示すブロック図である。
DF３００は、DF２６として用いることができる。
なお、図１１において、図７のDF２６と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１１において、DF３００は、境界強度算出部２６１、判定部３１０、フィルタリング部３２０、ラインバッファ３３０、及び、制御部３４０を有する。
したがって、DF３００は、境界強度算出部２６１を有する点で、図７のDF２６と共通する。但し、DF３００は、判定部２６３及びフィルタリング部２６９に代えて、判定部３１０及びフィルタリング部３２０をそれぞれ有する点で、DF２６と相違する。さらに、DF３００は、制御部３４０を新たに有する点で、DF２６と相違する。
なお、図７には、図示していないが、図７のDF２６は、DF３００と同様に、ラインバッファを有する。但し、DF３００が有するラインバッファ３３０とDF２６が有するラインバッファとでは、容量が異なり得る。
判定部３１０は、適用要否判定部３１１及びフィルタ強度判定部３１２を有する。
適用要否判定部３１１には、境界強度算出部２６１からｂＳが供給される。また、適用要否判定部３１１には、DF３００の外部（図５の加算部２３や図６の加算部６５）やラインバッファ３３０から復号画像が供給される。
適用要否判定部３１１は、図７の適用要否判定部２６５と同様に、境界強度算出部２６１からのｂＳ、さらには、DF３００の外部やラインバッファ３３０からの復号画像を用いて、適用要否判定処理を行う。
なお、適用要否判定部３１１は、ｂＳに応じて、ブロック境界に、段差がある可能性が高いかどうかを判定する段差判定を行う。例えば、適用要否判定部３１１は、ｂＳが０より大である（１以上である）場合に、ブロック境界に、段差がある可能性が高いと判定する。そして、適用要否判定部３１１は、段差判定において、ブロック境界に、段差がある可能性が高いと判定した場合に、ブロック境界付近の色差成分の画素にDFを適用するかどうかを判定するフィルタ適用判定を行う。適用要否判定部３１１が行う適用要否判定処理は、以上の段差判定とフィルタ適用判定とから構成される。
適用要否判定部３１１は、適用要否判定処理の判定結果として、フィルタ適用判定の判定結果を、フィルタ強度判定部３１２に供給する。
フィルタ強度判定部３１２には、適用要否判定部３１１からフィルタ適用判定の判定結果が供給される他、DF３００の外部やラインバッファ３３０から復号画像が供給される。
フィルタ強度判定部３１２は、適用要否判定部３１１からのフィルタ適用判定が、DFを適用する旨を表している場合、図７のフィルタ強度判定部２６７と同様に、DF３００の外部やラインバッファ３３０からの復号画像を用いて、復号画像の色差成分に適用されるDFのフィルタ強度を判定するフィルタ強度判定、すなわち、復号画像の色差成分に適用されるDFのフィルタタイプを判定するフィルタタイプ判定を行う。そして、フィルタ強度判定部３２１は、フィルタタイプ判定の判定結果を、フィルタリング部３２０に供給する。
新DFにおいて、復号画像の色差成分に適用されるDFのフィルタタイプには、例えば、（ストロングフィルタと比較して）より弱いフィルタ強度を有するウイークフィルタと、（ウイークフィルタと比較して）より強いフィルタ強度を有するストロングフィルタとの２つのフィルタタイプがある。
フィルタリング部３２０には、フィルタ強度判定部３１２からフィルタタイプ判定の判定結果が供給される他、DF３００の外部やラインバッファ３３０から復号画像が供給される。
フィルタリング部３２０は、図７のフィルタリング部２６９と同様に、フィルタ強度判定部３１２からのフィルタタイプ判定の判定結果が表すストロングフィルタ又はウイークフィルタを、復号画像に適用するフィルタ処理を行う。すなわち、フィルタリング部３２０は、DF３００の外部やラインバッファ３３０からの復号画像のうちの、フィルタ処理の対象となる色差成分の画素である対象画素のフィルタ処理としての演算を、対象画素の近傍の色差成分の画素を用いて行う。ここで、フィルタ処理に用いられる画素を、フィルタ構成画素ともいう。
フィルタリング部３２０は、対象画素のフィルタ処理により得られる（色差成分の）画素を、フィルタ画素（フィルタ処理後のフィルタ画像を構成する画素）として出力する。
ラインバッファ３３０には、DF３００の外部から復号画像が供給される。ラインバッファ３３０は、DF３００の外部からの復号画像の色差成分の画素（復号画像の画素の色差成分）を適宜記憶する。なお、ラインバッファ３３０は、所定のライン数（行数）分の色差成分の画素を記憶する記憶容量を有し、その記憶容量分の画素を記憶すると、新たな画素を、最も古い画素に上書きする形で記憶する。
制御部３４０は、DF３００を構成する各ブロックを制御する。
なお、本実施の形態では、DF３００は、例えば、復号画像を、ラスタスキャン順に処理することとする。復号画像について、ラスタスキャン順ではなく、例えば、上から下方向に処理することを、左から右方向に繰り返す場合には、以下説明する水平（横）（左右）と垂直（縦）（上下）とは、逆になる（入れ替わる）。
図１２は、DF３００で処理される復号画像の構成例を示す図である。
復号画像を構成するブロックには、CTUがあり、CTUは、PUやTU等のブロックを含む。
図１１のDF３００の強度算出部２６１、判定部３１０、及び、フィルタリング部３２０は、例えば、CTUを単位として処理を行うことができ、この場合、CTUを記憶することができる図示せぬバッファ（以下、内部バッファともいう）を有する。
いま、ブロック境界のうちの、CTUの境界を、CTU境界というとともに、CTU境界以外のブロック境界を、内部境界ということとする。また、DF３００で処理の対象となっているCTUを、注目CTUということとする。
強度算出部２６１、判定部３１０、及び、フィルタリング部３２０は、内部バッファに、注目CTUに含まれるライン（行）の画素を記憶し、その注目CTUの処理を行う。
注目CTUにおいて、水平方向の内部境界については、その内部境界の上下のブロックの画素は、内部バッファに記憶されるため、ラインバッファ３３０に記憶する必要はない。
また、注目CTUにおいて、水平方向の上側のCTU境界については、そのCTU境界の下のブロックの画素は、内部バッファに記憶されるため、やはり、ラインバッファ３３０に記憶する必要はない。但し、水平方向の上側のCTU境界の上のブロックの画素は、注目CTUの上の行のCTU内の画素であるから、内部バッファには記憶されていない。そのため、注目CTUの水平方向の上側のCTU境界の上のブロックの画素は、ラインバッファ３３０に記憶しておく必要がある。
以上が、ラインバッファ３３０が必要な理由である。
図１３は、図１１のDF３００の処理を説明するフローチャートである。
DF３００において、ラインバッファ３３０は、適宜、DF３００の外部から供給される復号画像の色差成分の画素を記憶する。
そして、ステップＳ２１１において、境界強度算出部２６１は、上述したように、ｂＳを算出し、適用要否判定部３１１に供給して、処理は、ステップＳ２１２に進む。
ステップＳ２１２では、適用要否判定部３１１は、ｂＳが０より大であるかどうかを判定する段差判定を行う。
ステップＳ２１２の段差判定において、ｂＳが０より大でないと判定された場合、すなわち、ブロック境界に、段差がある可能性がない場合、処理は、終了する。したがって、この場合、復号画像に、DF３００のフィルタ処理は適用されない。
一方、ステップＳ２１２の段差判定において、ｂＳが０より大であると判定された場合、すなわち、ブロック境界に、段差がある可能性がある場合、処理は、ステップＳ２１３に進む。
ステップＳ２１３では、適用要否判定部３１１は、ブロック境界付近の色差成分の画素にDFを適用するかどうかを判定するフィルタ適用判定を行う。
ステップＳ２１３のフィルタ適用判定において、DFを適用しない（不適用とする）と判定された場合、処理は、終了する。
一方、ステップＳ２１３のフィルタ適用判定において、DFを適用すると判定された場合、処理は、ステップＳ２１４に進む。
ステップＳ２１４では、フィルタ強度判定部３１２は、フィルタタイプ判定を行い、処理は、ステップＳ２１５に進む。
ステップＳ２１５では、フィルタリング部３２０は、ステップＳ２１４のフィルタタイプ判定の判定結果が表すストロングフィルタ又はウイークフィルタを、復号画像に適用するフィルタ処理を行い、処理は、終了する。
図１４は、HEVCのDFを説明する図である。
HEVCのDFには、フィルタY1, Y2, C1がある。
フィルタY1は、輝度成分をDFの対象としてフィルタ処理を行う輝度成分のストロングフィルタである。
フィルタY2は、輝度成分をDFの対象としてフィルタ処理を行う輝度成分のウイークフィルタである。
フィルタC1は、色差成分をDFの対象としてフィルタ処理を行う色差成分のフィルタである。
HEVCにおいて、色差成分をDFの対象としてフィルタ処理を行うフィルタは、フィルタC1の１つだけであり、ストロングフィルタ及びウイークフィルタのような区別はない。
図１５は、新DFを説明する図である。
新DFには、フィルタNY1, NY2, NC1, NC2がある。
フィルタNY1は、輝度成分をDFの対象としてフィルタ処理を行う輝度成分のストロングフィルタである。フィルタNY1としては、例えば、フィルタY1を採用することができる。
フィルタNY2は、輝度成分をDFの対象としてフィルタ処理を行う輝度成分のウイークフィルタである。フィルタNY2としては、例えば、フィルタY2を採用することができる。
フィルタNC1は、色差成分をDFの対象としてフィルタ処理を行う色差成分のストロングフィルタ（フィルタ強度がフィルタNC2より強いフィルタ）である。フィルタNC1としては、例えば、フィルタY1 ,Y2、若しくは、後述するオリジナルのフィルタOFをベースとするフィルタ（フィルタY1 ,Y2、若しくは、OFそのもの、又は、フィルタY1 ,Y2、若しくは、OFのフィルタ特性が削減されたフィルタ）を採用することができる。
フィルタNC2は、色差成分をDFの対象としてフィルタ処理を行う色差成分のウイークフィルタ（フィルタ強度がフィルタNC1より弱いフィルタ）である。フィルタNC2としては、例えば、フィルタC1を採用することができる。
図１６は、ブロック境界の色差成分の画素の例を示す図である。
なお、図１６において、左右方向は、復号画像の上下方向を表し、上下方向は、色差成分（の大きさ）を表す。したがって、図１６において、垂直方向の直線で記載しているブロック境界は、復号画像の水平境界（水平方向の境界）である。
新DFについては、以上のように、水平境界の上下に隣接するブロックＢｐ及びＢｑの画素にDFを適用する場合を例に説明を行う。この場合、ブロックＢｐ及びＢｑの画素に適用されるDFは、垂直方向にかけられる垂直フィルタである。
垂直境界の左右に隣接するブロックの画素に適用するDFとしては、新DFを採用することもできるし、その他のフィルタを採用することもできる。以下では、垂直境界の左右に隣接するブロックの画素に、DFを適用する場合の説明は、省略する。
図１６において、水平境界の上のブロックＢｐの画素及び下のブロックＢｑの画素を、図３と同様に、pi,j及びqk,jでそれぞれ表す。但し、図１６では、pi,j及びqk,jのインデックスjが省略されている。画素pi(pi,j)は、pサイドの画素とも呼ばれ、画素qk(qk,j)は、qサイドの画素とも呼ばれる。
水平境界の上下に隣接するブロックＢｐ及びＢｑにおいて、|p3 - p0|+|q3 - q0|は、ブロックＢｐとＢｑとの間の平坦度を表す。また、|p2 - 2*p1 + p0|+ |q2 - 2*q1 + q0|は、ブロックＢｐとＢｑとの間の連続性を表し、|p0 - q0| は、ブロックＢｐとＢｑとの間のギャップを表す。
以下、新DFにおいて、色差成分に適用されるストロングフィルタとしてのフィルタNC1のバリエーションについて説明する。
＜フィルタNC1として、フィルタY1をベースとするフィルタを採用する場合＞
図１７は、フィルタNC1として、フィルタY1をベースとするフィルタを採用する場合の、フィルタNC1と、必要となる画素とを示す図である。
フィルタY1をベースとするフィルタNC1としては、Y1ノーマルフィルタ、Y1マイナス1非対称フィルタ、Y1マイナス1対称フィルタ、Y1マイナス2非対称フィルタ、及び、Y1マイナス2対称フィルタがある。
フィルタNC1として、Y1ノーマルフィルタを採用する場合、フィルタ適用判定では、HEVCの輝度成分にDFを適用するかどうかを判定する輝度成分適用判定と同様の判定が行われる。
輝度成分適用判定では、式（２０）を満たすかどうかが判定される。式（２０）を満たす場合には、DFを適用すると判定され、満たさない場合は、DFを適用しないと判定される。
dp0 = Abs( p2,0 - 2 * p1,0 + p0,0 )
dp3 = Abs( p2,3 - 2 * p1,3 + p0,3 )
dq0 = Abs( q2,0 - 2 * q1,0 + q0,0 )
dq3 = Abs( q2,3 - 2 * q1,3 + q0,3 )
d = dp0 + dp3 + dq0 + dq3 < beta
・・・（２０）
なお、式（２０）において、Abs(A)は、Aの絶対値を表す。
輝度成分適用判定では、ブロックＢｐ及びＢｑの1ライン目の輝度成分の画素pi,j及びqk,jと4ライン目の輝度成分の画素pi,j及びqk,jを用いて、式（２０）を満たすかどうかが判定される。そして、式（２０）が満たされる場合には、ブロックＢｐ及びＢｑの4ラインの画素に、DFを適用すると判定される。
ここで、ＹＵＶ４２０フォーマットの復号画像をDFの対象とすることとすると、ブロックＢｐ及びＢｑは、2ラインの色差成分の画素を有する。Y1ノーマルフィルタを採用する場合のフィルタ適用判定では、2ラインの色差成分の画素のうちの1ラインの色差成分の画素を用いて、式（２０）を満たすかどうかが判定される。すなわち、例えば、式（２０）のdp3及びdq3を0として、式（２０）を満たすかどうかが判定される。
この場合、フィルタ適用判定に用いる色差成分の画素（以下、適用判定画素ともいう）は、画素p0ないしp2及びq0ないしq2の6画素である。
したがって、水平境界がCTU境界である場合、フィルタ適用判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素のライン分の色差成分を記憶する容量（以下、3画素ライン分の容量ともいう）が必要となる。
フィルタNC1として、Y1ノーマルフィルタを採用する場合、フィルタタイプ判定では、HEVCの輝度成分にDFを適用するかどうかを判定する輝度成分適用判定と同様の判定が行われる。すなわち、フィルタタイプ判定では、式（２１）を満たすかどうかが判定される。
|p3 - p0|+|q3 - q0| < (beta>>3)
|p2 - 2*p1 + p0|+ |q2 - 2*q1 + q0| < (beta>>2)
|p0 - q0| < ((tc*5+1)>>1)
・・・（２１）
なお、A>>Bは、AをBビットだけ右シフトすることを表し、A<<Bは、AをBビットだけ左シフトすることを表す。
フィルタタイプ判定では、式（２１）が満たされる場合、色差成分にストロングフィルタとしてのフィルタNC1を適用すると判定され、式（２１）が満たされない場合、色差成分にウイークフィルタとしてのフィルタNC2を適用すると判定される。
式（２１）のフィルタタイプ判定に用いる色差成分の画素（以下、タイプ判定画素ともいう）は、画素p0ないしp3及びq0ないしq3の8画素である。
したがって、水平境界がCTU境界である場合、フィルタタイプ判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp3の4画素ライン分の容量が必要となる。
Y1ノーマルフィルタとしては、HEVCの輝度成分のストロングフィルタを採用することができる。この場合、Y1ノーマルフィルタは、式（２２）で表される。
p2′ = Clip3( p2 - 2*tC, p2 + 2*tC, ( 2*p3 + 3*p2 + p1 + p0 + q0 + 4 ) >> 3 )
p1′ = Clip3( p1 - 2*tC, p1 + 2*tC, ( p2 + p1 + p0 + q0 + 2 ) >> 2 )
p0′ = Clip3( p0 - 2*tC, p0 + 2*tC, ( p2 + 2*p1 + 2*p0 + 2*q0 + q1 + 4 ) >> 3 )
q0′ = Clip3( q0 - 2*tC, q0 + 2*tC, ( p1 + 2 * p0 + 2 * q0 + 2 * q1 + q2 + 4 ) >> 3 )
q1′ = Clip3( q1 - 2*tC, q1 + 2*tC, ( p0 + q0 + q1 + q2 + 2 ) >> 2 )
q2′ = Clip3( q2 - 2*tC, q2 + 2*tC, ( p0 + q0 + q1 + 3 *q2 + 2*q3 + 4 ) >> 3 )
・・・（２２）
なお、Clip3(A, B, C)は、C<Aの場合はAを、C>Bの場合はBを、他の場合はCを、それぞれ表す関数である。
式（２２）のY1ノーマルフィルタのフィルタ処理に用いる色差成分のフィルタ構成画素は、画素p0ないしp3及びq0ないしq3の8画素である。また、フィルタ処理の対象となる色差成分の対象画素（フィルタ画素が求められる画素）は、画素p0ないしp2及びq0ないしq2の6画素である。
したがって、水平境界がCTU境界である場合、Y1ノーマルフィルタのフィルタ処理については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp3の4画素ライン分の容量が必要となる。
以上から、フィルタNC1として、Y1ノーマルフィルタを採用する場合、ラインバッファ３３０の記憶容量は、適用判定画素、タイプ判定画素、及び、フィルタ構成画素のうちの、pサイドの画素が最も多いタイプ判定画素に拘束され、ラインバッファ３３０の記憶容量としては、水平境界の上のブロックＢｐの画素p0ないしp3の4画素ライン分の容量が必要となる。
フィルタNC1として、Y1マイナス1非対称フィルタを採用する場合、フィルタ適用判定は、例えば、Y1ノーマルフィルタの場合と同様に行われる。
したがって、フィルタ適用判定に用いる色差成分の適用判定画素は、Y1ノーマルフィルタと同様の画素p0ないしp2及びq0ないしq2の6画素である。
その結果、水平境界がCTU境界である場合、フィルタ適用判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
フィルタNC1として、Y1マイナス1非対称フィルタを採用する場合、フィルタタイプ判定では、HEVCの輝度成分にDFを適用するかどうかを判定する輝度成分適用判定の式（２１）の（水平境界から最も遠いpサイドの1個の）画素p3を、（1画素だけ）水平境界側の画素p2に置換した式（２３）を満たすかどうかが判定される。
|p2 - p0|+|q3 - q0| < (beta>>3)
|p2 - 2*p1 + p0|+ |q2 - 2*q1 + q0| < (beta>>2)
|p0 - q0| < ((tc*5+1)>>1)
・・・（２３）
フィルタタイプ判定では、式（２３）が満たされる場合、色差成分にストロングフィルタとしてのフィルタNC1を適用すると判定され、式（２３）が満たされない場合、色差成分にウイークフィルタとしてのフィルタNC2を適用すると判定される。
式（２３）のフィルタタイプ判定に用いる色差成分のタイプ判定画素は、画素p0ないしp2及びq0ないしq3の7画素である。
したがって、水平境界がCTU境界である場合、フィルタタイプ判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
Y1マイナス1非対称フィルタとしては、式（２２）のY1ノーマルフィルタ、すなわち、HEVCの輝度成分のストロングフィルタの画素p3を、水平境界側の画素p2に置換したフィルタを採用することができる。この場合、Y1マイナス1非対称フィルタは、式（２４）で表される。
p2′ = Clip3( p2 - 2*tC, p2 + 2*tC, ( 5*p2 + 3*p2 + p1 + p0 + q0 + 4 ) >> 3 )
p1′ = Clip3( p1 - 2*tC, p1 + 2*tC, ( p2 + p1 + p0 + q0 + 2 ) >> 2 )
p0′ = Clip3( p0 - 2*tC, p0 + 2*tC, ( p2 + 2*p1 + 2*p0 + 2*q0 + q1 + 4 ) >> 3 )
q0′ = Clip3( q0 - 2*tC, q0 + 2*tC, ( p1 + 2 * p0 + 2 * q0 + 2 * q1 + q2 + 4 ) >> 3 )
q1′ = Clip3( q1 - 2*tC, q1 + 2*tC, ( p0 + q0 + q1 + q2 + 2 ) >> 2 )
q2′ = Clip3( q2 - 2*tC, q2 + 2*tC, ( p0 + q0 + q1 + 3 *q2 + 2*q3 + 4 ) >> 3 )
・・・（２４）
式（２４）のY1マイナス1非対称フィルタのフィルタ処理に用いる色差成分のフィルタ構成画素は、画素p0ないしp2及びq0ないしq3の7画素である。また、フィルタ処理の対象となる色差成分の対象画素は、画素p0ないしp2及びq0ないしq2の6画素である。
したがって、水平境界がCTU境界である場合、Y1マイナス1非対称フィルタのフィルタ処理については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
式（２４）のY1マイナス1非対称フィルタは、式（２２）の画素p2'を求める1番目の式の画素p3を、水平境界側の画素p2に置換したフィルタになっており、そのため、画素p2'を求める1番目の式の画素p2のタップ係数（フィルタ係数）が、式（２２）の3から5(=2+3)に変更されている。
以上から、フィルタNC1として、Y1マイナス1非対称フィルタを採用する場合、ラインバッファ３３０の記憶容量としては、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
ここで、フィルタNC1として、Y1マイナス1非対称フィルタを採用する場合に用いられる画素は、ブロックＢｐの画素p0ないしp2、及び、ブロックＢｑの画素q0ないしq3であり、水平境界に対して非対称（pサイドとqサイドとで非対称）になっている。
フィルタNC1として、Y1マイナス1対称フィルタを採用する場合、フィルタ適用判定は、例えば、Y1ノーマルフィルタの場合と同様に行われる。
したがって、フィルタ適用判定に用いる色差成分の適用判定画素は、Y1ノーマルフィルタと同様の画素p0ないしp2及びq0ないしq2の6画素である。
その結果、水平境界がCTU境界である場合、フィルタ適用判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
フィルタNC1として、Y1マイナス1対称フィルタを採用する場合、フィルタタイプ判定では、HEVCの輝度成分にDFを適用するかどうかを判定する輝度成分適用判定の式（２１）の画素p3を、水平境界側の画素p2に置換するとともに、画素q3を、水平境界側の画素q2に置換した式（２５）を満たすかどうかが判定される。
|p2 - p0|+|q2 - q0| < (beta>>3)
|p2 - 2*p1 + p0|+ |q2 - 2*q1 + q0| < (beta>>2)
|p0 - q0| < ((tc*5+1)>>1)
・・・（２５）
フィルタタイプ判定では、式（２５）が満たされる場合、色差成分にストロングフィルタとしてのフィルタNC1を適用すると判定され、式（２５）が満たされない場合、色差成分にウイークフィルタとしてのフィルタNC2を適用すると判定される。
式（２５）のフィルタタイプ判定に用いる色差成分のタイプ判定画素は、画素p0ないしp2及びq0ないしq2の6画素である。
したがって、水平境界がCTU境界である場合、フィルタタイプ判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
Y1マイナス1対称フィルタとしては、式（２２）のY1ノーマルフィルタ、すなわち、HEVCの輝度成分のストロングフィルタの画素p3を、水平境界側の画素p2に置換するとともに、画素q3を、水平境界側の画素q2に置換したフィルタを採用することができる。この場合、Y1マイナス1対称フィルタは、式（２６）で表される。
p2′ = Clip3( p2 - 2*tC, p2 + 2*tC, ( 5*p2 + 3*p2 + p1 + p0 + q0 + 4 ) >> 3 )
p1′ = Clip3( p1 - 2*tC, p1 + 2*tC, ( p2 + p1 + p0 + q0 + 2 ) >> 2 )
p0′ = Clip3( p0 - 2*tC, p0 + 2*tC, ( p2 + 2*p1 + 2*p0 + 2*q0 + q1 + 4 ) >> 3 )
q0′ = Clip3( q0 - 2*tC, q0 + 2*tC, ( p1 + 2 * p0 + 2 * q0 + 2 * q1 + q2 + 4 ) >> 3 )
q1′ = Clip3( q1 - 2*tC, q1 + 2*tC, ( p0 + q0 + q1 + q2 + 2 ) >> 2 )
q2′ = Clip3( q2 - 2*tC, q2 + 2*tC, ( p0 + q0 + q1 + 5 *q2 + 4 ) >> 3 )
・・・（２６）
式（２６）のY1マイナス1対称フィルタのフィルタ処理に用いる色差成分のフィルタ構成画素は、画素p0ないしp2及びq0ないしq2の6画素である。また、フィルタ処理の対象となる色差成分の対象画素は、画素p0ないしp2及びq0ないしq2の6画素である。
したがって、水平境界がCTU境界である場合、Y1マイナス1対称フィルタのフィルタ処理については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
式（２６）のY1マイナス1対称フィルタは、式（２２）の画素p2'を求める1番目の式の画素p3を、水平境界側の画素p2に置換したフィルタになっており、そのため、画素p2'を求める1番目の式の画素p2のタップ係数が、式（２２）の3から、5(=2+3)に変更されている。さらに、式（２６）のY1マイナス1対称フィルタは、式（２２）の画素q2'を求める6番目の式の画素q3を、水平境界側の画素q2に置換したフィルタになっており、そのため、画素q2'を求める6番目の式の画素q2のタップ係数が、式（２２）の3から5(=3+2)に変更されている。
以上から、フィルタNC1として、Y1マイナス1対称フィルタを採用する場合、ラインバッファ３３０の記憶容量としては、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
ここで、フィルタNC1として、Y1マイナス1対称フィルタを採用する場合に用いられる画素は、ブロックＢｐの画素p0ないしp2、及び、ブロックＢｑの画素q0ないしq2であり、水平境界に対して対称になっている。
フィルタNC1として、Y1マイナス2非対称フィルタを採用する場合、フィルタ適用判定では、例えば、式（２０）のdp3及びdq3を0とするとともに、画素p2,0を、水平境界側の画素p1,0に置換した式（２７）を満たすかどうかが判定される。
dp0 = Abs( p1,0 - 2 * p1,0 + p0,0 ) = Abs( p0,0 - p1,0 )
dq0 = Abs( q2,0 - 2 * q1,0 + q0,0 )
d = dp0 + dq0 < (beta>>1)
・・・（２７）
フィルタ適用判定では、式（２７）が満たされる場合、DFを適用すると判定され、満たさない場合は、DFを適用しないと判定される。
したがって、フィルタ適用判定に用いる色差成分の適用判定画素は、画素p0ないしp1及びq0ないしq2の5画素である。
その結果、水平境界がCTU境界である場合、フィルタ適用判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
フィルタNC1として、Y1マイナス2非対称フィルタを採用する場合、フィルタタイプ判定では、HEVCの輝度成分にDFを適用するかどうかを判定する輝度成分適用判定の式（２１）の（水平境界から最も遠いpサイドの2個の）画素p3及びp2を、水平境界側の画素p1に置換した式（２８）を満たすかどうかが判定される。
|p1 - p0|+|q3 - q0| < (beta>>3)
|p1 - 2*p1 + p0|+ |q2 - 2*q1 + q0| < (beta>>2)
= |p0 - p1|+ |q2 - 2*q1 + q0| < (beta>>2)
|p0 - q0| < ((tc*5+1)>>1)
・・・（２８）
フィルタタイプ判定では、式（２８）が満たされる場合、色差成分にストロングフィルタとしてのフィルタNC1を適用すると判定され、式（２８）が満たされない場合、色差成分にウイークフィルタとしてのフィルタNC2を適用すると判定される。
式（２８）のフィルタタイプ判定に用いる色差成分のタイプ判定画素は、画素p0ないしp1及びq0ないしq3の6画素である。
したがって、水平境界がCTU境界である場合、フィルタタイプ判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
Y1マイナス2非対称フィルタとしては、式（２２）のY1ノーマルフィルタ、すなわち、HEVCの輝度成分のストロングフィルタの画素p3及び画素p2を、水平境界側の画素p1に置換したフィルタを採用することができる。この場合、Y1マイナス2非対称フィルタは、式（２９）で表される。
p1′ = Clip3( p1 - 2*tC, p1 + 2*tC, ( 2*p1 + p0 + q0 + 2 ) >> 2 )
p0′ = Clip3( p0 - 2*tC, p0 + 2*tC, ( 3*p1 + 2*p0 + 2*q0 + q1 + 4 ) >> 3 )
q0′ = Clip3( q0 - 2*tC, q0 + 2*tC, ( p1 + 2*p0 + 2*q0 + 2*q1 + q2 + 4 ) >> 3 )
q1′ = Clip3( q1 - 2*tC, q1 + 2*tC, ( p0 + q0 + q1 + q2 + 2 ) >> 2 )
q2′ = Clip3( q2 - 2*tC, q2 + 2*tC, ( p0 + q0 + q1 + 3*q2 + 2*q3 + 4 ) >> 3 )
・・・（２９）
式（２９）のY1マイナス2非対称フィルタのフィルタ処理に用いる色差成分のフィルタ構成画素は、画素p0ないしp1及びq0ないしq3の6画素である。また、フィルタ処理の対象となる色差成分の対象画素は、画素p0ないしp1及びq0ないしq2の5画素である。
したがって、水平境界がCTU境界である場合、Y1マイナス2非対称フィルタのフィルタ処理については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
式（２９）のY1マイナス2非対称フィルタは、式（２２）の画素p2'を求める1番目の式がない式になっている。さらに、式（２９）のY1マイナス2非対称フィルタは、式（２２）の画素p1'及びp0'を求める式の画素p2を、水平境界側の画素p1に置換したフィルタになっている。そのため、式（２９）の画素p1'を求める式の画素p1のタップ係数が、式（２２）の1から2(=1+1)に変更されており、式（２９）の画素p0'を求める式の画素p1のタップ係数が、式（２２）の2から3(=1+2)に変更されている。
以上から、フィルタNC1として、Y1マイナス2非対称フィルタを採用する場合、ラインバッファ３３０の記憶容量としては、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
ここで、フィルタNC1として、Y1マイナス2非対称フィルタを採用する場合に用いられる画素は、ブロックＢｐの画素p0ないしp1、及び、ブロックＢｑの画素q0ないしq3であり、水平境界に対して非対称になっている。
フィルタNC1として、Y1マイナス2対称フィルタを採用する場合、フィルタ適用判定では、例えば、式（２０）のdp3及びdq3を0とするとともに、画素p2,0及びq2,0を、水平境界側の画素p1,0及びq1,0にそれぞれ置換した式（３０）を満たすかどうかが判定される。
dp0 = Abs( p1,0 - 2 * p1,0 + p0,0 ) = Abs( p0,0 - p1,0 )
dq0 = Abs( q1,0 - 2 * q1,0 + q0,0 ) = Abs( q0,0 - q1,0 )
d = dp0 + dq0 < (beta>>1)
・・・（３０）
フィルタ適用判定では、式（３０）が満たされる場合、DFを適用すると判定され、満たさない場合は、DFを適用しないと判定される。
したがって、フィルタ適用判定に用いる色差成分の適用判定画素は、画素p0ないしp1及びq0ないしq1の4画素である。
その結果、水平境界がCTU境界である場合、フィルタ適用判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
フィルタNC1として、Y1マイナス2対称フィルタを採用する場合、フィルタタイプ判定では、HEVCの輝度成分にDFを適用するかどうかを判定する輝度成分適用判定の式（２１）の画素p3及びp2を、水平境界側の画素p1に置換するとともに、画素q3及びq2を、水平境界側の画素q1に置換した式（３１）を満たすかどうかが判定される。
|p1 - p0|+|q1 - q0| < (beta>>3)
|p1 - 2*p1 + p0|+ |q1 - 2*q1 + q0| < (beta>>2)
= |p0 - p1|+ |q0 - q1| < (beta>>2)
|p0 - q0| < ((tc*5+1)>>1)
・・・（３１）
フィルタタイプ判定では、式（３１）が満たされる場合、色差成分にストロングフィルタとしてのフィルタNC1を適用すると判定され、式（３１）が満たされない場合、色差成分にウイークフィルタとしてのフィルタNC2を適用すると判定される。
式（３１）のフィルタタイプ判定に用いる色差成分のタイプ判定画素は、画素p0ないしp1及びq0ないしq1の4画素である。
したがって、水平境界がCTU境界である場合、フィルタタイプ判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
Y1マイナス2対称フィルタとしては、式（２２）のY1ノーマルフィルタ、すなわち、HEVCの輝度成分のストロングフィルタの画素p3及び画素p2を、水平境界側の画素p1に置換するとともに、画素q3及び画素q2を、水平境界側の画素q1に置換したフィルタを採用することができる。この場合、Y1マイナス2対称フィルタは、式（３２）で表される。
p1′ = Clip3( p1 - 2*tC, p1 + 2*tC, ( 2*p1 + p0 + q0 + 2 ) >> 2 )
p0′ = Clip3( p0 - 2*tC, p0 + 2*tC, ( 3*p1 + 2*p0 + 2*q0 + q1 + 4 ) >> 3 )
q0′ = Clip3( q0 - 2*tC, q0 + 2*tC, ( p1 + 2*p0 + 2*q0 + 3*q1 + 4 ) >> 3 )
q1′ = Clip3( q1 - 2*tC, q1 + 2*tC, ( p0 + q0 + 2*q1 + 2 ) >> 2 )
・・・（３２）
式（３２）のY1マイナス2対称フィルタのフィルタ処理に用いる色差成分のフィルタ構成画素は、画素p0ないしp1及びq0ないしq1の4画素である。また、フィルタ処理の対象となる色差成分の対象画素は、画素p0ないしp1及びq0ないしq1の4画素である。
したがって、水平境界がCTU境界である場合、Y1マイナス2対称フィルタのフィルタ処理については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
式（３２）のY1マイナス2対称フィルタは、式（２２）の画素p2'を求める1番目の式と、画素q2'を求める6番目の式とがない式になっている。さらに、式（３２）のY1マイナス2対称フィルタは、式（２２）の画素p1'及びp0'を求める式の画素p2を画素p1に置換するとともに、式（２２）の画素q1'及びq0'を求める式の画素q2を、水平境界側の画素q1に置換したフィルタになっている。そのため、式（３１）の画素p1'を求める式の画素p1のタップ係数が、式（２２）の1から2(=1+1)に変更されており、式（３１）の画素p0'を求める式の画素p1のタップ係数が式（２２）の2から3(=1+2)に変更されている。さらに、式（３１）の画素q0'を求める式の画素q1のタップ係数が、式（２２）の2から3(=2+1)に変更されており、式（３１）の画素q1'を求める式の画素q1のタップ係数が、式（２２）の1から2(=1+1)に変更されている。
以上から、フィルタNC1として、Y1マイナス2対称フィルタを採用する場合、ラインバッファ３３０の記憶容量としては、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
ここで、フィルタNC1として、Y1マイナス2対称フィルタを採用する場合に用いられる画素は、ブロックＢｐの画素p0ないしp1、及び、ブロックＢｑの画素q0ないしq1であり、水平境界に対して対称になっている。
＜フィルタNC1として、フィルタOFをベースとするフィルタを採用する場合＞
図１８は、フィルタNC1として、フィルタOFをベースとするフィルタを採用する場合の、フィルタNC1と、必要となる画素とを示す図である。
フィルタOFをベースとするフィルタNC1としては、OFノーマルフィルタ、OFマイナス1非対称フィルタ、OFマイナス1対称フィルタ、OFマイナス2非対称フィルタ、及び、OFマイナス2対称フィルタがある。
フィルタNC1として、OFノーマルフィルタを採用する場合、フィルタ適用判定は、Y1ノーマルフィルタと同様に、すなわち、式（２０）の輝度成分適用判定と同様に行われる。
したがって、フィルタ適用判定に用いる色差成分の適用判定画素は、Y1ノーマルフィルタと同様の画素p0ないしp2及びq0ないしq2の6画素である。
その結果、水平境界がCTU境界である場合、フィルタ適用判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
フィルタNC1として、OFノーマルフィルタを採用する場合、フィルタタイプ判定では、Y1ノーマルフィルタと同様に、式（２１）を満たすかどうかが判定される。
したがって、フィルタタイプ判定に用いる色差成分のタイプ判定画素は、Y1ノーマルフィルタと同様の画素p0ないしp3及びq0ないしq3の8画素である。
その結果、水平境界がCTU境界である場合、フィルタタイプ判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp3の4画素ライン分の容量が必要となる。
OFノーマルフィルタとしては、HEVCの輝度成分のストロングフィルタ、すなわち、式（２２）のY1ノーマルフィルタのタップ係数や、クリップ関数Clip3(A, B, C)のクリップパラメータA及びBを変更したフィルタを採用することができる。OFノーマルフィルタとしては、例えば、式（３３）のフィルタを採用することができる。
p2′ = Clip3( p2 - tC, p2 + tC, ( 3*p3 + 2*p2 + p1 + p0 + q0 + 4 ) >> 3 )
p1′ = Clip3( p1 - tC, p1 + tC, ( 2*p3 + p2 + 2*p1 + p0 + q0 + q1 + 4 ) >> 3 )
p0′ = Clip3( p0 - tC, p0 + tC, ( p3 + p2 + p1 + 2*p0 + q0 + q1 + q2 + 4 ) >> 3 )
q0′ = Clip3( q0 - tC, q0 + tC, ( p2 + p1 + p0 + 2 * q0 + q1 + q2 + q3 + 4 ) >> 3 )
q1′ = Clip3( q1 - tC, q1 + tC, ( p1 + p0 + q0 + 2*q1 + q2 + 2*q3 + 4 ) >> 3 )
q2′ = Clip3( q2 - tC, q2 + tC, ( p0 + q0 + q1 + 2*q2 + 3*q3 + 4 ) >> 3 )
・・・（３３）
式（３３）のOFノーマルフィルタは、HEVCの輝度成分のストロングフィルタ、すなわち、式（２２）のY1ノーマルフィルタのタップ係数、並びに、クリップ関数Clip3(A, B, C)のクリップパラメータA及びBを変更したフィルタになっている。例えば、式（３３）のOFノーマルフィルタでは、式（２２）のクリップパラメータを構成する2tCが、tCになっている。
式（３３）のOFノーマルフィルタのフィルタ処理に用いる色差成分のフィルタ構成画素は、画素p0ないしp3及びq0ないしq3の8画素である。また、フィルタ処理の対象となる色差成分の対象画素は、画素p0ないしp2及びq0ないしq2の6画素である。
したがって、水平境界がCTU境界である場合、OFノーマルフィルタのフィルタ処理については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp3の4画素ライン分の容量が必要となる。
以上から、フィルタNC1として、OFノーマルフィルタを採用する場合、ラインバッファ３３０の記憶容量としては、水平境界の上のブロックＢｐの画素p0ないしp3の4画素ライン分の容量が必要となる。
フィルタNC1として、OFマイナス1非対称フィルタを採用する場合、フィルタ適用判定は、例えば、OFノーマルフィルタの場合と同様に行われる。
したがって、フィルタ適用判定に用いる色差成分の適用判定画素は、OFノーマルフィルタと同様の画素p0ないしp2及びq0ないしq2の6画素である。
その結果、水平境界がCTU境界である場合、フィルタ適用判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
フィルタNC1として、OFマイナス1非対称フィルタを採用する場合、フィルタタイプ判定では、Y1マイナス1非対称フィルタと同様に、式（２３）を満たすかどうかが判定される。
したがって、OFマイナス1非対称フィルタのタイプ判定に用いる色差成分のタイプ判定画素は、Y1マイナス1非対称フィルタと同様に、画素p0ないしp2及びq0ないしq3の7画素である。
その結果、水平境界がCTU境界である場合、フィルタタイプ判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
OFマイナス1非対称フィルタとしては、式（３３）のOFノーマルフィルタの画素p3を、水平境界側の画素p2に置換したフィルタを採用することができる。この場合、OFマイナス1非対称フィルタは、式（３４）で表される。
p2′ = Clip3( p2 - tC, p2 + tC, ( 5*p2 + p1 + p0 + q0 + 4 ) >> 3 )
p1′ = Clip3( p1 - tC, p1 + tC, ( 3*p2 + 2*p1 + p0 + q0 + q1 + 4 ) >> 3 )
p0′ = Clip3( p0 - tC, p0 + tC, ( 2*p2 + p1 + 2*p0 + q0 + q1 + q2 + 4 ) >> 3 )
q0′ = Clip3( q0 - tC, q0 + tC, ( p2 + p1 + p0 + 2 * q0 + q1 + q2 + q3 + 4 ) >> 3 )
q1′ = Clip3( q1 - tC, q1 + tC, ( p1 + p0 + q0 + 2*q1 + q2 + 2*q3 + 4 ) >> 3 )
q2′ = Clip3( q2 - tC, q2 + tC, ( p0 + q0 + q1 + 2*q2 + 3*q3 + 4 ) >> 3 )
・・・（３４）
式（３４）のOFマイナス1非対称フィルタのフィルタ処理に用いる色差成分のフィルタ構成画素は、画素p0ないしp2及びq0ないしq3の7画素である。また、フィルタ処理の対象となる色差成分の対象画素は、画素p0ないしp2及びq0ないしq2の6画素である。
したがって、水平境界がCTU境界である場合、OFマイナス1非対称フィルタのフィルタ処理については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
式（３４）のOFマイナス1非対称フィルタは、式（３３）の画素p2'ないしp0'を求める式の画素p3を、水平境界側の画素p2に置換したフィルタになっている。そのため、画素p2'を求める式の画素p2のタップ係数が、式（３３）の2から5(=3+2)に変更されている。さらに、画素p1'を求める式の画素p2のタップ係数が、式（３３）の1から3(=2+1)に変更され、画素p2'を求める式の画素p2のタップ係数が、式（３３）の1から2(=1+1)に変更されている。
以上から、フィルタNC1として、OFマイナス1非対称フィルタを採用する場合、ラインバッファ３３０の記憶容量としては、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
ここで、フィルタNC1として、OFマイナス1非対称フィルタを採用する場合に用いられる画素は、ブロックＢｐの画素p0ないしp2、及び、ブロックＢｑの画素q0ないしq3であり、水平境界に対して非対称になっている。
フィルタNC1として、OFマイナス1対称フィルタを採用する場合、フィルタ適用判定は、例えば、OFノーマルフィルタの場合と同様に行われる。
したがって、フィルタ適用判定に用いる色差成分の適用判定画素は、OFノーマルフィルタと同様の画素p0ないしp2及びq0ないしq2の6画素である。
その結果、水平境界がCTU境界である場合、フィルタ適用判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
フィルタNC1として、OFマイナス1対称フィルタを採用する場合、フィルタタイプ判定では、1マイナス1対称フィルタと同様に、式（２５）を満たすかどうかが判定される。
したがって、OFマイナス1対称フィルタのフィルタタイプ判定に用いる色差成分のタイプ判定画素は、Y1マイナス1対称フィルタと同様に、画素p0ないしp2及びq0ないしq2の6画素である。
その結果、水平境界がCTU境界である場合、フィルタタイプ判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
OFマイナス1対称フィルタとしては、式（３３）のOFノーマルフィルタの画素p3を、水平境界側の画素p2に置換するとともに、画素q3を、水平境界側の画素q2に置換したフィルタを採用することができる。この場合、OFマイナス1対称フィルタは、式（３５）で表される。
p2′ = Clip3( p2 - tC, p2 + tC, ( 5*p2 + p1 + p0 + q0 + 4 ) >> 3 )
p1′ = Clip3( p1 - tC, p1 + tC, ( 3*p2 + 2*p1 + p0 + q0 + q1 + 4 ) >> 3 )
p0′ = Clip3( p0 - tC, p0 + tC, ( 2*p2 + p1 + 2*p0 + q0 + q1 + q2 + 4 ) >> 3 )
q0′ = Clip3( q0 - tC, q0 + tC, ( p2 + p1 + p0 + 2 * q0 + q1 + 2*q2 + 4 ) >> 3 )
q1′ = Clip3( q1 - tC, q1 + tC, ( p1 + p0 + q0 + 2*q1 + 3*q2 + 4 ) >> 3 )
q2′ = Clip3( q2 - tC, q2 + tC, ( p0 + q0 + q1 + 5*q2 + 4 ) >> 3 )
・・・（３５）
式（３５）のOFマイナス1対称フィルタのフィルタ処理に用いる色差成分のフィルタ構成画素は、画素p0ないしp2及びq0ないしq2の6画素である。また、フィルタ処理の対象となる色差成分の対象画素は、画素p0ないしp2及びq0ないしq2の6画素である。
したがって、水平境界がCTU境界である場合、OFマイナス1対称フィルタのフィルタ処理については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
式（３５）のOFマイナス1対称フィルタは、式（３３）の画素p2'ないしp0'を求める式の画素p3を、水平境界側の画素p2に置換したフィルタになっており、そのため、画素p2'を求める式の画素p2のタップ係数が、式（３３）の2から、5(=3+2)に変更されている。さらに、画素p1'を求める式の画素p2のタップ係数が、式（３３）の1から、3(=2+1)に変更され、画素p0'を求める式の画素p2のタップ係数が、式（３３）の1から、2(=1+1)に変更されている。
また、式（３５）のOFマイナス1対称フィルタは、式（３３）の画素q0'ないしq2'を求める式の画素q3を、水平境界側の画素q2に置換したフィルタになっており、そのため、画素q0'を求める式の画素q2のタップ係数が、式（３３）の1から2(=1+1)に変更されている。さらに、画素q1'を求める式の画素q2のタップ係数が、式（３３）の1から3(=1+2)に変更され、画素q2'を求める式の画素q2のタップ係数が、式（３３）の2から5(=2+3)に変更されている。
以上から、フィルタNC1として、OFマイナス1対称フィルタを採用する場合、ラインバッファ３３０の記憶容量としては、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
ここで、フィルタNC1として、OFマイナス1対称フィルタを採用する場合に用いられる画素は、ブロックＢｐの画素p0ないしp2、及び、ブロックＢｑの画素q0ないしq2であり、水平境界に対して対称になっている。
フィルタNC1として、OFマイナス2非対称フィルタを採用する場合、フィルタ適用判定では、Y1マイナス2非対称フィルタと同様に、式（２７）を満たすかどうかが判定される。
したがって、OFマイナス2非対称フィルタのフィルタ適用判定に用いる色差成分の適用判定画素は、Y1マイナス2非対称フィルタと同様に、画素p0ないしp1及びq0ないしq2の5画素である。
その結果、水平境界がCTU境界である場合、フィルタ適用判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
フィルタNC1として、OFマイナス2非対称フィルタを採用する場合、フィルタタイプ判定では、Y1マイナス2非対称フィルタと同様に、式（２８）を満たすかどうかが判定される。
したがって、OFマイナス2非対称フィルタのフィルタタイプ判定に用いる色差成分のタイプ判定画素は、Y1マイナス2非対称フィルタと同様に、画素p0ないしp1及びq0ないしq3の6画素である。
その結果、水平境界がCTU境界である場合、フィルタタイプ判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
OFマイナス2非対称フィルタとしては、式（３３）のOFノーマルフィルタの画素p3及び画素p2を、水平境界側の画素p1に置換したフィルタを採用することができる。この場合、OFマイナス2非対称フィルタは、式（３６）で表される。
p1′ = Clip3( p1 - tC, p1 + tC, ( 5*p1 + p0 + q0 + q1 + 4 ) >> 3 )
p0′ = Clip3( p0 - tC, p0 + tC, ( 3*p1 + 2*p0 + q0 + q1 + q2 + 4 ) >> 3 )
q0′ = Clip3( q0 - tC, q0 + tC, ( 2*p1 + p0 + 2 * q0 + q1 + q2 + q3 + 4 ) >> 3 )
q1′ = Clip3( q1 - tC, q1 + tC, ( p1 + p0 + q0 + 2*q1 + q2 + 2*q3 + 4 ) >> 3 )
q2′ = Clip3( q2 - tC, q2 + tC, ( p0 + q0 + q1 + 2*q2 + 3*q3 + 4 ) >> 3 )
・・・（３６）
式（３３）のOFマイナス2非対称フィルタのフィルタ処理に用いる色差成分のフィルタ構成画素は、画素p0ないしp1及びq0ないしq3の6画素である。また、フィルタ処理の対象となる色差成分の対象画素は、画素p0ないしp1及びq0ないしq2の5画素である。
したがって、水平境界がCTU境界である場合、OFマイナス2非対称フィルタのフィルタ処理については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
式（３６）のOFマイナス2非対称フィルタは、式（３３）の画素p2'を求める式がない式になっている。
さらに、式（３６）のOFマイナス2非対称フィルタは、式（３３）の画素p1'及びp0'並びにq0'を求める式の画素p2及びp3を、水平境界側の画素p1に置換したフィルタになっている。そのため、式（３６）の画素p1'を求める式の画素p1のタップ係数が、式（３３）の2から5(=2+1+2)に変更されている。また、式（３６）の画素p0'を求める式の画素p1のタップ係数が、式（３３）の1から3(=1+1+1)に変更され、式（３６）の画素q0'を求める式の画素p1のタップ係数が、式（３３）の1から2(=1+1)に変更されている。
以上から、フィルタNC1として、OFマイナス2非対称フィルタを採用する場合、ラインバッファ３３０の記憶容量としては、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
ここで、フィルタNC1として、OFマイナス2非対称フィルタを採用する場合に用いられる画素は、ブロックＢｐの画素p0ないしp1、及び、ブロックＢｑの画素q0ないしq3であり、水平境界に対して非対称になっている（OFマイナス2非対称フィルタは、非対称フィルタになっている）。
フィルタNC1として、OFマイナス2対称フィルタを採用する場合、フィルタ適用判定では、Y1マイナス2対称フィルタと同様に、式（３０）を満たすかどうかが判定される。
したがって、OFマイナス2対称フィルタのフィルタ適用判定に用いる色差成分の適用判定画素は、Y1マイナス2対称フィルタと同様に、画素p0ないしp1及びq0ないしq1の4画素である。
その結果、水平境界がCTU境界である場合、フィルタ適用判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
フィルタNC1として、OFマイナス2対称フィルタを採用する場合、フィルタタイプ判定では、Y1マイナス2対称フィルタと同様に、式（３１）を満たすかどうかが判定される。
したがって、OFマイナス2対称フィルタのフィルタタイプ判定に用いる色差成分のタイプ判定画素は、Y1マイナス2対称フィルタと同様に、画素p0ないしp1及びq0ないしq1の4画素である。
その結果、水平境界がCTU境界である場合、フィルタタイプ判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
OFマイナス2対称フィルタとしては、式（３３）のOFノーマルフィルタの画素p3及びp2を、水平境界側の画素p1に置換するとともに、画素q2及びq3を、水平境界側の画素q1に置換したフィルタを採用することができる。この場合、OFマイナス2対称フィルタは、式（３７）で表される。
p1′ = Clip3( p1 - tC, p1 + tC, ( 5*p1 + p0 + q0 + q1 + 4 ) >> 3 )
p0′ = Clip3( p0 - tC, p0 + tC, ( 3*p1 + 2*p0 + q0 + q1 + q2 + 4 ) >> 3 )
q0′ = Clip3( q0 - tC, q0 + tC, ( 2*p1 + p0 + 2 * q0 + 3*q1 + 4 ) >> 3 )
q1′ = Clip3( q1 - tC, q1 + tC, ( p1 + p0 + q0 + 5*q1 + 4 ) >> 3 )
・・・（３７）
式（３７）のOFマイナス2対称フィルタのフィルタ処理に用いる色差成分のフィルタ構成画素は、画素p0ないしp1及びq0ないしq1の4画素である。また、フィルタ処理の対象となる色差成分の対象画素は、画素p0ないしp1及びq0ないしq1の4画素である。
したがって、水平境界がCTU境界である場合、OFマイナス2対称フィルタのフィルタ処理については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
式（３７）のOFマイナス2対称フィルタは、式（３３）の画素p2'を求める1番目の式と、画素q2'を求める6番目の式とがない式になっている。
さらに、式（３７）のOFマイナス2対称フィルタは、式（３３）の画素p1'及びp0'並びにq0'を求める式の画素p2及びp3を、水平境界側の画素p1に置換したフィルタになっている。そのため、式（３７）の画素p1'を求める式の画素p1のタップ係数が、式（３３）の2から5(=2+1+2)に変更されている。また、式（３７）の画素p0'を求める式の画素p1のタップ係数が、式（３３）の1から3(=1+1+1)に変更され、式（３７）の画素q0'を求める式の画素p1のタップ係数が、式（３３）の1から2(=1+1)に変更されている。
また、式（３７）のOFマイナス2対称フィルタは、式（３３）の画素q0'及びq1'を求める式の画素q2及びq3を、水平境界側の画素q1に置換したフィルタになっている。そのため、式（３７）の画素q0'を求める式の画素q1のタップ係数が、式（３３）の1から3(=1+1+1)に変更されている。また、式（３７）の画素q1'を求める式の画素q1のタップ係数が、式（３３）の1から3(=1+1+1)に変更され、式（３７）の画素q0'を求める式の画素p1のタップ係数が、式（３３）の2から5(=2+1+2)に変更されている。
以上から、フィルタNC1として、OFマイナス2対称フィルタを採用する場合、ラインバッファ３３０の記憶容量としては、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
ここで、フィルタNC1として、OFマイナス2対称フィルタを採用する場合に用いられる画素は、ブロックＢｐの画素p0ないしp1、及び、ブロックＢｑの画素q0ないしq1であり、水平境界に対して対称になっている（OFマイナス2対称フィルタは、対称フィルタになっている）。
＜フィルタNC1として、フィルタY2をベースとするフィルタを採用する場合＞
図１９は、フィルタNC1として、フィルタY2をベースとするフィルタを採用する場合の、フィルタNC1と、必要となる画素とを示す図である。
フィルタY2をベースとするフィルタNC1としては、Y2ノーマルフィルタ、Y2マイナス1非対称フィルタ、及び、Y2マイナス1対称フィルタがある。
フィルタNC1として、Y2ノーマルフィルタを採用する場合、フィルタ適用判定は、Y1ノーマルフィルタと同様に、すなわち、式（２０）の輝度成分適用判定と同様に行われる。
したがって、フィルタ適用判定に用いる色差成分の適用判定画素は、Y1ノーマルフィルタと同様の画素p0ないしp2及びq0ないしq2の6画素である。
その結果、水平境界がCTU境界である場合、フィルタ適用判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
フィルタNC1として、Y2ノーマルフィルタを採用する場合、フィルタタイプ判定では、HEVCの輝度成分のウイークフィルタを適用するかどうかを判定する標準ウイーク判定に準じた判定が行われる。
ここで、標準ウイーク判定では、式（３８）、さらには、必要に応じて、式（３９）及び式（４０）が満たされるかどうかが判定される。
| (9*(q0,i - p0,i)-3*(q1,i - p1,i)+8) >> 4 | < tc*10
・・・（３８）
|p2,0 - 2*p1,0 + p0,0|+ |p2,3 - 2*p1,3 + p0,3| < (beta+(beta>>1)) >> 3
・・・（３９）
|q2,0 - 2*q1,0 + q0,0|+ |q2,3 - 2*q1,3 + q0,3| < (beta+(beta>>1)) >> 3
・・・（４０）
標準ウイーク判定では、まず、式（３８）を満たすかどうかを判定するウイークon/off判定が、ブロックＢｐ及びＢｑのライン（列）ごとに行われる。そして、ウイークon/off判定において、式（３８）を満たすラインが存在する場合、式（３９）を満たすかどうかを判定するp1判定、及び、式（４０）を満たすかどうかを判定するq1判定が、1ライン目と4ライン目とを用いて行われる。
標準ウイーク判定では、式（３９）のp1判定が満たされる場合、式（３８）のウイークon/off判定を満たすラインのブロックＢｐの画素piが、対象画素になり得る画素に設定される。同様に、式（４０）のq1判定が満たされる場合、式（３８）のウイークon/off判定を満たすラインのブロックＢｑの画素qiが、対象画素になり得る画素に設定される。
Y2ノーマルフィルタのフィルタタイプ判定では、HEVCの輝度成分のウイークフィルタを適用するかどうかを判定する標準ウイーク判定に準じた判定が行われる。
すなわち、Y2ノーマルフィルタのフィルタタイプ判定では、式（４１）、さらには、必要に応じて、式（３９）及び式（４０）が満たされるかどうかが判定される。
| (9*(q0 - p0)-3*(q1 - p1)+8) >> 4 | < tc*10
・・・（４１）
|p2 - 2*p1 + p0| < (beta+(beta>>1)) >> 4
・・・（４２）
|q2 - 2*q1 + q0| < (beta+(beta>>1)) >> 4
・・・（４３）
Y2ノーマルフィルタのフィルタタイプ判定では、まず、式（４１）を満たすかどうかを判定するウイークon/off判定が、ブロックＢｐ及びＢｑの色差成分の画素の2ライン（列）それぞれを対象に行われる。そして、ウイークon/off判定において、式（４１）を満たすラインが存在する場合、ブロックＢｐ及びＢｑの色差成分の画素の2ラインのうちの1ライン（例えば、1番目のライン）を対象に、式（４２）を満たすかどうかを判定するp1判定、及び、式（４３）を満たすかどうかを判定するq1判定が行われる。
Y2ノーマルフィルタのフィルタタイプ判定では、式（４２）のp1判定が満たされる場合、式（４１）のウイークon/off判定を満たすライン（列）のブロックＢｐの画素piが、対象画素になり得る画素に設定される。同様に、式（４３）のq1判定が満たされる場合、式（４１）のウイークon/off判定を満たすラインのブロックＢｑの画素qiが、対象画素になり得る画素に設定される。
フィルタY2をベースとするフィルタNC2では、対象画素になり得る画素に設定された画素だけが、対象画素となり、フィルタ画素が求められる。
式（４１）ないし式（４３）から、Y2ノーマルフィルタのフィルタタイプ判定に用いる色差成分のタイプ判定画素は、画素p0ないしp2及びq0ないしq2の6画素である。
その結果、水平境界がCTU境界である場合、フィルタタイプ判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
Y2ノーマルフィルタとしては、HEVCの輝度成分のウイークフィルタを採用することができる。この場合、Y2ノーマルフィルタは、式（４４）で表される。
D = Clip3( -tC, tC, D ), D = ( 9 * ( q0 - p0 ) - 3 * ( q1 - p1 ) + 8 ) >> 4
p0′ = Clip1C( p0 + D )
q0′ = Clip1C( q0 - D )
Dp = Clip3( -( tC >> 1 ), tC >> 1, ( ( ( p2 + p0 + 1 ) >> 1 ) - p1 + D ) >> 1 )
p1′ = Clip1C( p1 + Dp )
Dq = Clip3( -( tC >> 1 ), tC >> 1, ( ( ( q2 + q0 + 1 ) >> 1 ) - q1 - D ) >> 1 )
q1′ = Clip1C( q1 + Dq )
・・・（４４）
ここで、Clip1C(A)は、色差成分のビット数をBCと表すこととすると、Clip1C(A) = Clip(0, (1 << BC) - 1, A)である。
式（４４）のY2ノーマルフィルタのフィルタ処理に用いる色差成分のフィルタ構成画素は、画素p0ないしp2及びq0ないしq2の6画素である。また、フィルタ処理の対象となる色差成分の対象画素は、画素p0ないしp1及びq0ないしq1の4画素である。
したがって、水平境界がCTU境界である場合、Y2ノーマルフィルタのフィルタ処理については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
以上から、フィルタNC1として、Y2ノーマルフィルタを採用する場合、ラインバッファ３３０の記憶容量としては、水平境界の上のブロックＢｐの画素p0ないしp2の3画素ライン分の容量が必要となる。
フィルタNC1として、Y2マイナス1非対称フィルタを採用する場合、フィルタ適用判定では、Y1マイナス2非対称フィルタと同様に、式（２７）を満たすかどうかが判定される。
したがって、Y2マイナス1非対称フィルタのフィルタ適用判定に用いる色差成分の適用判定画素は、Y1マイナス2非対称フィルタと同様に、画素p0ないしp1及びq0ないしq2の5画素である。
その結果、水平境界がCTU境界である場合、フィルタ適用判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
フィルタNC1として、Y2マイナス1非対称フィルタを採用する場合、フィルタタイプ判定では、Y2ノーマルフィルタのフィルタタイプ判定の式（４１）ないし式（４３）の画素p2を、水平境界側の画素p1に置換した式（４５）ないし式（４７）が満たされるかどうかが判定される。
| (9*(q0 - p0)-3*(q1 - p1)+8) >> 4 | < tc*10
・・・（４５）
|p1 - 2*p1 + p0| < (beta+(beta>>1)) >> 4
= |p0 - p1| < (beta+(beta>>1)) >> 4
・・・（４６）
|q2 - 2*q1 + q0| < (beta+(beta>>1)) >> 4
・・・（４７）
式（４５）はウイークon/off判定を表し、式（４６）及び式（４７）は、p1判定及びq1判定を表す。
Y2マイナス1非対称フィルタのフィルタタイプ判定は、式（４１）ないし式（４３）に代えて、式（４５）ないし式（４７）を使用する他は、Y2ノーマルフィルタのフィルタタイプ判定と同様であるので、説明を省略する。
式（４５）ないし式（４７）から、Y2マイナス1非対称フィルタのフィルタタイプ判定に用いる色差成分のタイプ判定画素は、画素p0ないしp1及びq0ないしq2の5画素である。
その結果、水平境界がCTU境界である場合、フィルタタイプ判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
Y2マイナス1非対称フィルタとしては、Y2ノーマルフィルタの式（４４）の画素p2を、水平境界側の画素p1に置換した式（４８）で表されるフィルタを採用することができる。
D = Clip3( -tC, tC, D ), D = ( 9 * ( q0 - p0 ) - 3 * ( q1 - p1 ) + 8 ) >> 4
p0′ = Clip1C( p0 + D )
q0′ = Clip1C( q0 - D )
Dp = Clip3( -( tC >> 1 ), tC >> 1, ( ( ( p1 + p0 + 1 ) >> 1 ) - p1 + D ) >> 1 )
p1′ = Clip1C( p1 + Dp )
Dq = Clip3( -( tC >> 1 ), tC >> 1, ( ( ( q2 + q0 + 1 ) >> 1 ) - q1 - D ) >> 1 )
q1′ = Clip1C( q1 + Dq )
・・・（４８）
式（４８）のY2マイナス1非対称フィルタのフィルタ処理に用いる色差成分のフィルタ構成画素は、画素p0ないしp1及びq0ないしq2の5画素である。また、フィルタ処理の対象となる色差成分の対象画素は、画素p0ないしp1及びq0ないしq1の4画素である。
したがって、水平境界がCTU境界である場合、Y2マイナス1非対称フィルタのフィルタ処理については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
以上から、フィルタNC1として、Y2マイナス1非対称フィルタを採用する場合、ラインバッファ３３０の記憶容量としては、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
ここで、フィルタNC1として、Y2マイナス1非対称フィルタを採用する場合に用いられる画素は、ブロックＢｐの画素p0ないしp1、及び、ブロックＢｑの画素q0ないしq2であり、水平境界に対して非対称になっている。
フィルタNC1として、Y2マイナス1対称フィルタを採用する場合、フィルタ適用判定では、Y1マイナス2対称フィルタと同様に、式（３０）を満たすかどうかが判定される。
したがって、Y2マイナス1対称フィルタのフィルタ適用判定に用いる色差成分の適用判定画素は、Y1マイナス2対称フィルタと同様に、画素p0ないしp1及びq0ないしq1の4画素である。
その結果、水平境界がCTU境界である場合、フィルタ適用判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
フィルタNC1として、Y2マイナス1対称フィルタを採用する場合、フィルタタイプ判定では、Y2ノーマルフィルタのフィルタタイプ判定の式（４１）ないし式（４３）の画素p2を、水平境界側の画素p1に置換するとともに、画素q2を、水平境界側の画素q1に置換した式（４９）ないし式（５１）が満たされるかどうかが判定される。
| (9*(q0 - p0)-3*(q1 - p1)+8) >> 4 | < tc*10
・・・（４９）
|p1 - 2*p1 + p0| < (beta+(beta>>1)) >> 4
= |p0 - p1| < (beta+(beta>>1)) >> 4
・・・（５０）
|q1 - 2*q1 + q0| < (beta+(beta>>1)) >> 4
= |q0 - q1| < (beta+(beta>>1)) >> 4
・・・（５１）
式（４９）はウイークon/off判定を表し、式（５０）及び式（５１）は、p1判定及びq1判定を表す。
Y2マイナス1対称フィルタのフィルタタイプ判定は、式（４１）ないし式（４３）に代えて、式（４９）ないし式（５１）を使用する他は、Y2ノーマルフィルタのフィルタタイプ判定と同様であるので、説明を省略する。
式（４９）ないし式（５１）から、Y2マイナス1対称フィルタのフィルタタイプ判定に用いる色差成分のタイプ判定画素は、画素p0ないしp1及びq0ないしq1の4画素である。
その結果、水平境界がCTU境界である場合、フィルタタイプ判定については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
Y2マイナス1対称フィルタとしては、Y2ノーマルフィルタの式（４４）の画素p2を、水平境界側の画素p1に置換するとともに、画素q2を、水平境界側の画素q1に置換した式（５２）で表されるフィルタを採用することができる。
D = Clip3( -tC, tC, D ), D = ( 9 * ( q0 - p0 ) - 3 * ( q1 - p1 ) + 8 ) >> 4
p0′ = Clip1C( p0 + D )
q0′ = Clip1C( q0 - D )
Dp = Clip3( -( tC >> 1 ), tC >> 1, ( ( ( p1 + p0 + 1 ) >> 1 ) - p1 + D ) >> 1 )
p1′ = Clip1C( p1 + Dp )
Dq = Clip3( -( tC >> 1 ), tC >> 1, ( ( ( q1 + q0 + 1 ) >> 1 ) - q1 - D ) >> 1 )
q1′ = Clip1C( q1 + Dq )
・・・（５２）
式（５２）のY2マイナス1対称フィルタのフィルタ処理に用いる色差成分のフィルタ構成画素は、画素p0ないしp1及びq0ないしq1の4画素である。また、フィルタ処理の対象となる色差成分の対象画素は、画素p0ないしp1及びq0ないしq1の4画素である。
したがって、水平境界がCTU境界である場合、Y2マイナス1対称フィルタのフィルタ処理については、ラインバッファ３３０の記憶容量として、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
以上から、フィルタNC1として、Y2マイナス1対称フィルタを採用する場合、ラインバッファ３３０の記憶容量としては、水平境界の上のブロックＢｐの画素p0ないしp1の2画素ライン分の容量が必要となる。
ここで、フィルタNC1として、Y2マイナス1対称フィルタを採用する場合に用いられる画素は、ブロックＢｐの画素p0ないしp1、及び、ブロックＢｑの画素q0ないしq1であり、水平境界に対して対称になっている。
以上のように、本技術によれば、DFとしての様々なフィルタを提供することができる。
＜フィルタNC1の適用方法＞
図２０は、フィルタNC1を復号画像に適用する適用方法の例を示す図である。
ここで、フィルタ特性とは、フィルタ強度、フィルタ構成画素、フィルタ係数の値、フィルタのタップ長、フィルタ形状(対称/非対称)、などのフィルタの特性を包括的に定義した用語であり、フィルタを行う際に用いられるフィルタパラメータ、又は、フィルタ特性と関連性のある符号化パラメータ(量子化パラメータなど)に起因するフィルタの特性を示す。また、フィルタ特性を変更するとは、フィルタの特性自体を変更することを意味し、フィルタ強度、フィルタ構成画素、フィルタ係数の値、フィルタのタップ長、フィルタ形状(対称/非対称)、などを変更することを含む。また、フィルタ特性を変更するとは、フィルタパラメータ、又は、フィルタ特性と関連性のある符号化パラメータ(量子化パラメータなど)を変更することも含む。また、フィルタ特性を削減する(Reduction：リダクション/Reduce：リデュースする)とは、フィルタ強度、フィルタ構成画素、フィルタ係数の値、フィルタのタップ長、フィルタ形状(対称/非対称)、などのフィルタの特性を、(ラインバッファ容量などの実装コストを考慮して機能的に)削減することを含む。また、フィルタ特性を削減する(Reduction：リダクション/Reduce：リデュースする)とは、フィルタパラメータ、又は、フィルタ特性と関連性のある符号化パラメータ(量子化パラメータなど)を、(ラインバッファ容量などの実装コストを考慮して機能的に)変更することも含む。さらに、フィルタ特性が削減されたフィルタを削減フィルタ(Reduction Filter：リダクションフィルタ、又は、Reduced Filter：リデュースドフィルタ)と呼ぶことにする。
図２０では、CTU境界に適用するフィルタNC1、内部境界に適用するフィルタNC1、フィルタNC1を適用した場合のCTU境界の部分と内部境界の部分との画質差、及び、ラインバッファ３３０に必要な記憶容量(Line buffer size)が示されている。
ここで、図１７に示したY1マイナス1非対称フィルタ、Y1マイナス1対称フィルタ、Y1マイナス2非対称フィルタ、及び、Y1マイナス2対称フィルタは、Y1ノーマルフィルタと比較して、フィルタ構成画素が少ないので、フィルタ特性（フィルタ強度）が低下した（削減された）フィルタである。したがって、Y1マイナス1非対称フィルタ、Y1マイナス1対称フィルタ、Y1マイナス2非対称フィルタ、及び、Y1マイナス2対称フィルタは、Y1ノーマルフィルタに対してフィルタ特性が削減された削減フィルタということができる。
また、図１８に示したOFマイナス1非対称フィルタ、OFマイナス1対称フィルタ、OFマイナス2非対称フィルタ、及び、OFマイナス2対称フィルタは、OFノーマルフィルタと比較して、フィルタ構成画素が少ないので、フィルタ特性（フィルタ強度）が低下した（削減された）フィルタである。したがって、OFマイナス1非対称フィルタ、OFマイナス1対称フィルタ、OFマイナス2非対称フィルタ、及び、OFマイナス2対称フィルタは、OFノーマルフィルタに対してフィルタ特性が削減された削減フィルタということができる。
さらに、図１９に示したY2マイナス1非対称フィルタ及びY2マイナス1対称フィルタは、Y2ノーマルフィルタと比較して、フィルタ構成画素が少ないので、フィルタ特性（フィルタ強度）が低下した（削減された）フィルタである。したがって、Y2マイナス1非対称フィルタ及びY2マイナス1対称フィルタは、Y2ノーマルフィルタに対してフィルタ特性が削減された削減フィルタということができる。
いま、Y1ノーマルフィルタ、OFノーマルフィルタ、及び、Y2ノーマルフィルタを、ノーマルフィルタということとする。削減フィルタは、ノーマルフィルタに対して、フィルタ強度は弱いが、（pサイドの）フィルタ構成画素が少ないので、ノーマルフィルタと比較して、ラインバッファ３３０に必要な記憶容量が小になる。
ところで、大きなブロックサイズのブロックのブロック境界、すなわち、CTU境界や、内部境界には、ブロックノイズを十分に除去するために、フィルタ強度（フィルタ特性）が強いフィルタNC1を適用することが要請される。
しかしながら、フィルタ強度が強いノーマルフィルタを、フィルタNC1に採用すると、ノーマルフィルタの（pサイドの）フィルタ構成画素が多いので、CTU境界において、ラインバッファ３３０に必要な記憶容量が大になる。
そこで、CTU境界には、（pサイドの）フィルタ構成画素の少ない削減フィルタを、フィルタNC1に採用することができる。この場合、ラインバッファ３３０に必要な記憶容量を抑制することができる。図２０の3行目以降では、ラインバッファ３３０に必要な記憶容量を抑制するために、CTU境界には、削減フィルタが適用されている。
一方、内部境界へのフィルタNC1の適用は、ラインバッファ３３０に必要な記憶容量に影響しないので、内部境界には、フィルタ構成画素が多いが、フィルタ強度が強いノーマルフィルタを、フィルタNC1として適用することができる。この場合、ブロックノイズを十分に除去することができる。
なお、CTU境界に、削減フィルタを適用し、内部境界に、ノーマルフィルタを適用すると、削減フィルタとノーマルフィルタとのフィルタ強度の違いに起因して、CTU境界と内部境界とで、画質差が生じ得る。
そこで、内部境界には、CTU境界と同様の削減フィルタを適用することができる。この場合、CTU境界と内部境界とで、画質差が生じることを抑制することができる。
ブロック境界に、図１７ないし図１９で説明したフィルタのいずれを、フィルタNC1として適用（選択）するかは、制御部３４０（図１１）によって制御される。
例えば、１画面内で、DFを平均的に強く適用したい場合は、CTU 境界と内部境界とで、異なるフィルタデザインのDFを適用すること、すなわち、CTU境界には削減フィルタを適用し、内部境界にはノーマルフィルタを適用することができる。
また、１画面内で、DFを均等に適用したい場合は、CTU 境界と内部境界とで、同一のフィルタデザインのDFを適用すること、すなわち、CTU境界及び内部境界に、削減フィルタを適用することができる。
図２１は、フィルタNC1を復号画像に適用する適用方法の他の例を示す図である。
図２１の、例えば、1行目では、フィルタNC1として、CTU境界のpサイドに、HEVCの色差成分のフィルタC1（図１４）が適用され、qサイドに、Y1ノーマルフィルタが適用される。さらに、フィルタNC1として、内部境界のpサイド及びqサイドに、Y1ノーマルフィルタが適用される。
以上のように、本技術では、復号画像のブロック境界の近傍に位置する色差成分の画素に対して、輝度成分のウイークフィルタ等（第１輝度フィルタ）よりもフィルタ強度の強い輝度成分のストロングフィルタ等（第２輝度フィルタ）のフィルタ特性が削減されたY1マイナス1非対称フィルタ等（削減第２輝度フィルタ）又は第１輝度フィルタのフィルタ特性が削減されたY2マイナス1非対称フィルタ等（削減第１輝度フィルタ）を、フィルタNC2（第１色差フィルタ）よりもフィルタ強度の強いフィルタNC1（第２色差フィルタ）として適用することができる。
また、本技術では、削減第２輝度フィルタを、削減第２輝度フィルタを垂直方向に行う削減第２輝度垂直フィルタとし、第２色差フィルタを、第２色差フィルタを垂直方向に行う第２色差垂直フィルタとすることができる。
さらに、本技術では、削減第２輝度垂直フィルタを、第２輝度フィルタに対してフィルタ係数又はクリップパラメータが変更されたフィルタとすることができる。
また、本技術では、削減第２輝度垂直フィルタを、ブロック境界に対して上部に位置する画素に適用するフィルタのフィルタ特性が削減された非対称フィルタとすることができる。
さらに、本技術では、第２輝度フィルタを、H,265/HEVC規格に準拠した輝度の成分のストロングフィルタとすることができる。
さらに、本技術では、削減第１輝度フィルタを、削減第１輝度フィルタを垂直方向に行う削減第１輝度垂直フィルタとすることができる。
また、本技術では、制御部３４０において、シーケンス単位で固定サイズのブロックであるコーディングツリーブロックのブロック境界に対して、削減第２輝度垂直フィルタを、第２色差垂直フィルタして適用するように、DF３００（フィルタ部）を制御することができる。
さらに、本技術では、制御部３４０において、コーディングツリーブロックから分割されたブロックのブロック境界に対して、削減第２輝度垂直フィルタを、第２色差垂直フィルタとして適用するように、フィルタ部を制御することができる。
また、本技術では、制御部３４０において、コーディングツリーブロックから分割されたブロックのブロック境界に対して、第２輝度フィルタを垂直方向に行う第２輝度垂直フィルタを、第２色差垂直フィルタとして適用するように、フィルタ部を制御することができる。
＜本技術を適用したコンピュータの説明＞
次に、上述した一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
＜５．むすび＞
以上説明したように、本開示の実施形態によれば、復号画像の色差成分に対して、より適切にデブロックフィルタを適用することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
（色差関連パラメータ）
例えば、上記実施形態では、色差関連パラメータとして各ＴＵにおける色差成分の有意係数の有無を示すフラグが用いられる例を説明したが、本技術はかかる例に限定されない。例えば色差成分の変換係数そのものが、色差関連パラメータに含まれてもよい。かかる場合、境界強度算出部２６１は、色差成分の変換係数から、各ＴＵにおける色差成分の有意係数の有無を判定することで、ｂＳを算出してもよい。また、上記実施形態に関連して、条件Ｂ１－Ｙ、Ｂ１－ＵまたはＢ１－Ｖが満たされるか否かのみならず、条件Ｂ２が満たされるか否かに応じてｂＳの値が異なる例を図４に示した。しかしながら、図１４に示す代替的な例のように、例えば処理コストの増大を抑制するために、色差成分Ｕ及びＶの両方について条件Ｂ２が満たされるかの判定が省略されてもよい。
（ラージブロック判定の閾値）
上記実施形態では、ラージブロック判定で用いられる閾値が１６である例を説明したが、本技術はかかる例に限定されず、８や３２に設定されてもよい。また、ＹＵＶ４４４フォーマットの場合、ＹＵＶ４２０フォーマットで用いられる閾値以上の閾値がラージブロック判定において用いられてもよい。
（ストロングフィルタ）
上記実施形態では、式（１５）～（１９）で表現されるストロングフィルタが色差成分に対して適用される例を説明したが、本技術において適用されるストロングフィルタはかかる例に限定されない。色差成分に対して適用されるストロングフィルタは、ウイークフィルタよりもフィルタ強度が強いフィルタであればよい。例えば非特許文献１において色差成分に対して適用されるストロングフィルタ（HEVCにおいて輝度成分に対して適用されるストロングフィルタ）が本技術において色差成分に対して適用されてもよい。
（本技術の適用対象）
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
（ブロック）
また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、及び特性等は限定されない。例えば、「ブロック」には、上述の参照文献REF１～REF３に記載のTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
（処理単位）
以上において説明した各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
また、上記実施形態では、２ライン単位で色差成分へのデブロックフィルタ処理が行われているが、本技術はかかる例に限定されない。例えば、ＹＵＶ４４４フォーマットの場合、４ライン単位で色差成分へのデブロックフィルタ処理が行われてもよい。かかる場合、適用要否判定部２６５は、上述した条件Ｃ３の判定において、１ライン目と３ライン目を参照さして、判定を行ってもよい。
（制御情報）
以上において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。
（ブロックサイズ情報）
本技術を適用するブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
（その他）
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連付けられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１０ 画像符号化装置， １６ 可逆符号化部， ２６ デブロックフィルタ(DF)， ６０ 画像復号装置， ６２ 可逆復号部，２６１ 境界強度算出部， ２６３ 判定部， ２６５ 適用要否判定部， ２６７ フィルタ強度判定部， ２６９ フィルタリング部， ３００ DF， ３１０ 判定部， ３１１ 適用要否判定部， ３１２ フィルタ強度判定部， ３２０ フィルタリング部， ３３０ ラインバッファ， ３４０ 制御部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

Claims (12)

  1. 画像を符号化処理する際にローカル復号処理されたローカル復号画像のブロック境界の近傍に位置する色差成分の画素に適用する第１色差フィルタよりもフィルタ強度の強いフィルタであって、CTU（Coding Tree Unit）内部にあるブロック境界の近傍に位置する色差成分の画素に適用する前記フィルタである第２色差フィルタとはフィルタデザインが異なる第３色差フィルタを、前記CTUのブロック境界の近傍に位置する色差成分の画素に対して適用するフィルタ部と、
    前記フィルタ部により前記第３色差フィルタが適用された前記色差成分の画素を含む前記ローカル復号画像を用いて、前記画像を符号化処理する符号化部と
    を備える画像処理装置。
  2. 前記フィルタ部は、前記第２色差フィルタのフィルタ演算において前記CTUのブロック境界の近傍に位置する色差成分の画素をパディングにより置換することにより、前記CTUのブロック境界の近傍に位置する色差成分の画素に対する前記第３色差フィルタのフィルタ演算を行う
    請求項１に記載の画像処理装置。
  3. 前記フィルタ部は、前記第２色差フィルタのフィルタ演算において前記CTUのブロック境界から最も離れた色差成分の画素をパディングにより置換することにより、前記CTUのブロック境界の近傍に位置する色差成分の画素に対する前記第３色差フィルタのフィルタ演算を行う
    請求項２に記載の画像処理装置。
  4. 前記第３色差フィルタは、前記フィルタデザインとして、前記第２色差フィルタに対して、フィルタ演算又はフィルタのタップ長が異なるフィルタである
    請求項１に記載の画像処理装置。
  5. 前記第３色差フィルタは、前記フィルタデザインとして、前記第２色差フィルタに対して、フィルタ演算又はフィルタタップが非対称のフィルタである
    請求項４に記載の画像処理装置。
  6. 画像を符号化処理する際にローカル復号処理されたローカル復号画像のブロック境界の近傍に位置する色差成分の画素に適用する第１色差フィルタよりもフィルタ強度の強いフィルタであって、CTU（Coding Tree Unit）内部にあるブロック境界の近傍に位置する色差成分の画素に適用する前記フィルタである第２色差フィルタとはフィルタデザインが異なる第３色差フィルタを、前記CTUのブロック境界の近傍に位置する色差成分の画素に対して適用することと、
    前記第３色差フィルタが適用された前記色差成分の画素を含む前記ローカル復号画像を用いて、前記画像を符号化処理することと
    を含む画像処理方法。
  7. 前記第２色差フィルタのフィルタ演算において前記CTUのブロック境界の近傍に位置する色差成分の画素をパディングにより置換することにより、前記CTUのブロック境界の近傍に位置する色差成分の画素に対する前記第３色差フィルタのフィルタ演算を行う
    請求項６に記載の画像処理方法。
  8. 前記第２色差フィルタのフィルタ演算において前記CTUのブロック境界から最も離れた色差成分の画素をパディングにより置換することにより、前記CTUのブロック境界の近傍に位置する色差成分の画素に対する前記第３色差フィルタのフィルタ演算を行う
    請求項７に記載の画像処理方法。
  9. 前記第３色差フィルタは、前記フィルタデザインとして、前記第２色差フィルタに対して、フィルタ演算又はフィルタのタップ長が異なるフィルタである
    請求項６に記載の画像処理方法。
  10. 前記第３色差フィルタは、前記フィルタデザインとして、前記第２色差フィルタに対して、フィルタ演算又はフィルタタップが非対称のフィルタである
    請求項９に記載の画像処理方法。
  11. 画像を符号化処理する際にローカル復号処理されたローカル復号画像のブロック境界の近傍に位置する色差成分の画素に適用する第１色差フィルタよりもフィルタ強度の強いフィルタであって、CTU（Coding Tree Unit）内部にあるブロック境界の近傍に位置する色差成分の画素に適用する前記フィルタである第２色差フィルタとはフィルタデザインが異なる第３色差フィルタを、前記CTUのブロック境界の近傍に位置する色差成分の画素に対して適用することと、
    前記第３色差フィルタが適用された前記色差成分の画素を含む前記ローカル復号画像を用いて、前記画像を符号化処理することと
    を含む処理を実行させるためのプログラム。
  12. 画像を符号化処理する際にローカル復号処理されたローカル復号画像のブロック境界の近傍に位置する色差成分の画素に適用する第１色差フィルタよりもフィルタ強度の強いフィルタであって、CTU（Coding Tree Unit）内部にあるブロック境界の近傍に位置する色差成分の画素に適用する前記フィルタである第２色差フィルタとはフィルタデザインが異なる第３色差フィルタを、前記CTUのブロック境界の近傍に位置する色差成分の画素に対して適用することと、
    前記第３色差フィルタが適用された前記色差成分の画素を含む前記ローカル復号画像を用いて、前記画像を符号化処理することと
    を含む処理を実行させるためのプログラムが記録された記録媒体。
JP2024210860A 2018-11-02 2024-12-04 画像処理装置、画像処理方法、プログラム、および記録媒体 Active JP7779367B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018207495 2018-11-02
JP2018207495 2018-11-02
PCT/JP2019/041055 WO2020090515A1 (ja) 2018-11-02 2019-10-18 画像処理装置及び画像処理方法
JP2020553783A JP7396294B2 (ja) 2018-11-02 2019-10-18 画像処理装置及び画像処理方法
JP2023200930A JP7601194B2 (ja) 2018-11-02 2023-11-28 画像処理装置及び画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2023200930A Division JP7601194B2 (ja) 2018-11-02 2023-11-28 画像処理装置及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2025157449A Division JP2025181963A (ja) 2018-11-02 2025-09-22 画像処理装置、画像処理方法、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JP2025026507A JP2025026507A (ja) 2025-02-21
JP7779367B2 true JP7779367B2 (ja) 2025-12-03

Family

ID=70463107

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020553783A Active JP7396294B2 (ja) 2018-11-02 2019-10-18 画像処理装置及び画像処理方法
JP2023200930A Active JP7601194B2 (ja) 2018-11-02 2023-11-28 画像処理装置及び画像処理方法
JP2024210860A Active JP7779367B2 (ja) 2018-11-02 2024-12-04 画像処理装置、画像処理方法、プログラム、および記録媒体

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2020553783A Active JP7396294B2 (ja) 2018-11-02 2019-10-18 画像処理装置及び画像処理方法
JP2023200930A Active JP7601194B2 (ja) 2018-11-02 2023-11-28 画像処理装置及び画像処理方法

Country Status (13)

Country Link
US (3) US11765395B2 (ja)
EP (2) EP4492795A3 (ja)
JP (3) JP7396294B2 (ja)
KR (1) KR20210071988A (ja)
CN (4) CN118764647A (ja)
AU (1) AU2019369543B2 (ja)
BR (1) BR112021007712A2 (ja)
CA (1) CA3118410A1 (ja)
MX (3) MX2021004630A (ja)
MY (1) MY210067A (ja)
PH (1) PH12021550998A1 (ja)
SG (1) SG11202103023TA (ja)
WO (1) WO2020090515A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430431B (zh) * 2019-06-25 2021-10-22 浙江大华技术股份有限公司 视频解码方法、芯片、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015006662A2 (en) 2013-07-12 2015-01-15 Qualcomm Incorporated Adaptive filtering in video coding
US20150350687A1 (en) 2014-05-29 2015-12-03 Apple Inc. In loop chroma deblocking filter

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223302A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
DK3582498T3 (da) * 2010-12-07 2025-01-02 Sony Group Corp Billedbehandlingsindretning og fremgangsmåde til billedbehandling
BR112013028175B1 (pt) * 2011-06-30 2022-05-31 Mitsubishi Electric Corporation Dispositivos e métodos de codificação e de decodificação de imagem
WO2013066133A1 (ko) * 2011-11-04 2013-05-10 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
US9451258B2 (en) * 2012-04-03 2016-09-20 Qualcomm Incorporated Chroma slice-level QP offset and deblocking
JP6409516B2 (ja) * 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
US10965943B2 (en) * 2016-12-28 2021-03-30 Sony Corporation Image processing apparatus and image processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015006662A2 (en) 2013-07-12 2015-01-15 Qualcomm Incorporated Adaptive filtering in video coding
US20150350687A1 (en) 2014-05-29 2015-12-03 Apple Inc. In loop chroma deblocking filter

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Dmytro Rusanovskyy, and Marta Karczewicz，CE11: Test on long deblocking filtering from JVET-J0021/JVET-K0334 (CE11.1.4)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0403r1，12th Meeting: Macao, CN，2018年10月，pp.1-11
K. Andersson, Z. Zhang and R. Sjoberg，CE11: Long deblocking filters for luma (CE11.1.1) and for both luma and chroma (CE11.1.9)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0072，12th Meeting: Macao, CN，2018年09月，pp.1-7
M. Ikeda, et al.，CE11.1.6, CE11.1.7 and CE11.1.8: Joint proposals for long deblocking from Sony, Qualcomm, Sharp, Ericsson，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0471，13th Meeting: Marrakesh, MA，2019年01月，pp.1-11
Masaru Ikeda, and Teruhiko Suzuki，CE11: Long-tap deblocking filter for luma and chroma (CE11.1.6)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0327-v1，12th Meeting: Macao, CN，pp.1-7
Masaru Ikeda, and Teruhiko Suzuki，CE2: Long-tap deblocking filter for luma and chroma (CE2-2.1.6)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-K0152-v2，11th Meeting: Ljubljana, SI，2018年07月，pp.1-10
Weijia Zhu, et al.，CE11: Deblocking modifications for Large CUs both luma and chroma (Test 11.1.7a and CE11.1.7b)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0405r1，12th Meeting: Macao, CN，2018年10月，pp.1-11

Also Published As

Publication number Publication date
EP3876542A1 (en) 2021-09-08
MX2024009612A (es) 2024-08-09
JP2025026507A (ja) 2025-02-21
MY210067A (en) 2025-08-25
EP3876542B1 (en) 2024-12-25
US12108089B2 (en) 2024-10-01
AU2019369543A1 (en) 2021-05-27
CN118784837A (zh) 2024-10-15
EP3876542A4 (en) 2022-01-26
JP7396294B2 (ja) 2023-12-12
JP2024023420A (ja) 2024-02-21
SG11202103023TA (en) 2021-04-29
CN113170206A (zh) 2021-07-23
US20250039468A1 (en) 2025-01-30
MX2021004630A (es) 2021-09-30
JPWO2020090515A1 (ja) 2021-09-24
CA3118410A1 (en) 2020-05-07
JP7601194B2 (ja) 2024-12-17
EP4492795A3 (en) 2025-02-19
EP4492795A2 (en) 2025-01-15
MX2024009611A (es) 2024-08-15
PH12021550998A1 (en) 2021-10-04
BR112021007712A2 (pt) 2021-07-27
CN118764646A (zh) 2024-10-11
CN113170206B (zh) 2024-08-02
US11765395B2 (en) 2023-09-19
US20240007679A1 (en) 2024-01-04
KR20210071988A (ko) 2021-06-16
CN118764647A (zh) 2024-10-11
US20210352331A1 (en) 2021-11-11
WO2020090515A1 (ja) 2020-05-07
AU2019369543B2 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
JP7726342B2 (ja) 画像処理装置、及び画像処理方法
JP7779367B2 (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
JP2025181963A (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
HK40047013B (zh) 图像处理装置和图像处理方法
HK40047013A (en) Image processing device and image processing method
HK40030354A (en) Image processing device and image processing method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251103

R150 Certificate of patent or registration of utility model

Ref document number: 7779367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150