JPWO2020175145A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JPWO2020175145A1
JPWO2020175145A1 JP2021501897A JP2021501897A JPWO2020175145A1 JP WO2020175145 A1 JPWO2020175145 A1 JP WO2020175145A1 JP 2021501897 A JP2021501897 A JP 2021501897A JP 2021501897 A JP2021501897 A JP 2021501897A JP WO2020175145 A1 JPWO2020175145 A1 JP WO2020175145A1
Authority
JP
Japan
Prior art keywords
block
filter
unit
boundary
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021501897A
Other languages
English (en)
Other versions
JP7444159B2 (ja
Inventor
優 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020175145A1 publication Critical patent/JPWO2020175145A1/ja
Priority to JP2024025254A priority Critical patent/JP2024045713A/ja
Application granted granted Critical
Publication of JP7444159B2 publication Critical patent/JP7444159B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技術は、ブロック歪みを抑制することができるようにする画像処理装置及び画像処理方法に関する。変換ブロックと予測ブロックと符号化ブロックとが統一された階層構造を有するブロック構造に従って、ビットストリームが復号されて復号画像が生成される。復号画像の変換ブロックを分割したサブブロックの境界であるサブブロック境界と直交するラインの画素に、デブロックフィルタが適用される。本技術は、例えば、画像の符号化及び復号を行う場合に適用することができる。

Description

本技術は、画像処理装置及び画像処理方法に関し、特に、例えば、ブロック歪みを抑制することができるようにする画像処理装置及び画像処理方法に関する。
ITU-TとISO/IECとの共同の標準化団体であるJVET（Joint Video Experts Team）では、H.265/HEVCよりも符号化効率をさらに向上することを目的として、次世代の画像符号化方式であるVVC（Versatile Video Coding）の標準化作業が進められている。
VVCの標準化作業では、非特許文献１において、ブロックを、ISP(Intra Sub-Partitions)に設定することができることが提案されている。
ISPに設定されたブロックは、複数のサブブロック(Sub-Partition)に分割することができ、サブブロックの単位で、直交変換を行うことができる。
JVET-M0102-v5: CE3: Intra Sub-Partitions Coding Mode (version 7 - date 2019-01-17)
ISPに設定されたブロックを分割したサブブロックの境界であるサブブロック境界には、ブロック歪みが生じ得るが、サブブロック境界（に直交するラインの画素）は、デブロックフィルタの適用対象にされていない。
本技術は、このような状況に鑑みてなされたものであり、ブロック歪みを抑制することができるようにするものである。
本技術の第１の画像処理装置は、変換ブロックと予測ブロックと符号化ブロックとが統一された階層構造を有するブロック構造に従って、ビットストリームを復号して復号画像を生成する復号部と、前記復号部により生成された復号画像の前記変換ブロックを分割したサブブロックの境界であるサブブロック境界と直交するラインの画素に、デブロックフィルタを適用するフィルタ部とを備える画像処理装置である。
本技術の第１の画像処理方法は、変換ブロックと予測ブロックと符号化ブロックとが統一された階層構造を有するブロック構造に従って、ビットストリームを復号して復号画像を生成することと、前記復号画像の前記変換ブロックを分割したサブブロックの境界であるサブブロック境界と直交するラインの画素に、デブロックフィルタを適用することとを含む画像処理方法である。
本技術の第１の画像処理装置及び画像処理方法においては、変換ブロックと予測ブロックと符号化ブロックとが統一された階層構造を有するブロック構造に従って、ビットストリームを復号して復号画像が生成される。そして、前記復号画像の前記変換ブロックを分割したサブブロックの境界であるサブブロック境界と直交するラインの画素に、デブロックフィルタが適用される。
本技術の第２の画像処理装置は、画像を変換ブロックと予測ブロックと符号化ブロックとが統一された階層構造を有するブロック構造に従って符号化する際にローカル復号されたローカル復号画像の、イントラ予測が行われる前記変換ブロックを分割したサブブロックの境界であるサブブロック境界と直交するラインの画素に、デブロックフィルタを適用してフィルタ画像を生成するフィルタ部と、前記フィルタ部により生成されたフィルタ画像を用いて、前記画像を符号化する符号化部とを備える画像処理装置である。
本技術の第２の画像処理方法は、画像を変換ブロックと予測ブロックと符号化ブロックとが統一された階層構造を有するブロック構造に従って符号化する際にローカル復号されたローカル復号画像の、イントラ予測が行われる前記変換ブロックを分割したサブブロックの境界であるサブブロック境界と直交するラインの画素に、デブロックフィルタを適用してフィルタ画像を生成することと、前記フィルタ画像を用いて、前記画像を符号化することとを含む画像処理方法である。
本技術の第２の画像処理装置及び画像処理方法においては、画像を変換ブロックと予測ブロックと符号化ブロックとが統一された階層構造を有するブロック構造に従って符号化する際にローカル復号されたローカル復号画像の、イントラ予測が行われる前記変換ブロックを分割したサブブロックの境界であるサブブロック境界と直交するラインの画素に、デブロックフィルタを適用してフィルタ画像が生成される。そして、前記フィルタ画像を用いて、前記画像が符号化される。
なお、画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。プログラムは、記録媒体に記録して、又は、伝送媒体を介して伝送することにより、提供することができる。
HEVCにおけるｂＳの設定方法を説明する図である。 デブロックフィルタの他の適用方法におけるｂＳの設定方法を説明する図である。 垂直方向のブロック境界である垂直ブロック境界ＢＢを挟んで隣接する、２つの隣接ブロックとしてのブロックＢｐ及びブロックＢｑ内の画素（の画素値）の例を示す図である。 ISP(intra-sub-partition)を説明する図である。 デブロックフィルタのフィルタタイプの例を示す図である。 デブロックフィルタの並列適用を行うときに生じ得る不都合を説明する図である。 本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 エンコーダ１１の詳細な構成例を示すブロック図である。 エンコーダ１１の符号化処理の例を説明するフローチャートである。 デコーダ５１の詳細な構成例を示すブロック図である。 デコーダ５１の復号処理の例を説明するフローチャートである。 デブロックフィルタ（ＤＦ）３１ａの構成例を示すブロック図である。 境界強度設定部２６１のｂＳの設定方法の例を示す図である。 デブロックフィルタが適用され得るブロック境界を判定するブロック境界判定処理の例を説明するフローチャートである。 ブロック境界判定処理においてサブブロック境界であると判定された部分ブロック境界を対象として行われるデブロックフィルタ３１ａの処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
本明細書で開示される範囲は、実施の形態の内容に限定されるものではなく、出願当時において公知となっている以下の参照文献REF1-REF8の内容も、参照により本明細書に組み込まれる。つまり、以下の参照文献REF1-REF8に記載されている内容もサポート要件について判断する際の根拠となる。例えば、参照文献REF2に記載されているQuad-Tree Block Structure、参照文献REF3に記載されているQTBT(Quad Tree Plus Binary Tree) Block Structure、参照文献REF4, REF5, 及びREF8に記載されているMTT(Multi-type Tree) Block Structureが発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース(Parsing)、シンタックス(Syntax)、セマンティクス(Semantics)等の技術用語についても同様に、発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。
REF1:Recommendation ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services”, April 2017
REF2:Recommendation ITU-T H.265 (12/2016) "High efficiency video coding”, December 2016
REF3:J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce,"Algorithm Description of Joint Exploration Test Model (JEM7)”, JVET-G1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
REF4: B. Bross, J. Chen, S. Liu , “Versatile Video Coding (Draft 3), ” JVET-L1001, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macau, CN, 312 Oct. 2018
REF5:J. J. Chen, Y. Ye, S. Kim,"Algorithm description for Versatile Video Coding and Test Model 3 (VTM 3)”, JVET-L1002, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macau, CN, 312 Oct. 2018
REF6: J. Boyce (Intel), Y. Ye (InterDigital), Y.-W. Huang (Mediatek), M. Karczewicz (Qualcomm), E. Francois (Technicolor), W. Husak (Dolby), J. Ridge (Nokia), A. Abbas (GoPro),"Two tier test model”, JVET- J0093 , Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 1020 Apr. 2018
REF7: S. De-Luxan-Hernandez, V. George, J. Ma, T. Nguyen, H. Schwarz, D. Marpe, T. Wiegand (HHI) ,"CE3: Intra Sub-Partitions Coding Mode (Tests 1.1.1 and 1.1.2)”, JVET- M0102 , Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 918 Jan. 2019
REF8: M. Ikeda, T. Suzuki (Sony), D. Rusanovskyy, M. Karczewicz (Qualcomm), W. Zhu, K. Misra, P. Cowan, A. Segall (Sharp Labs of America), K. Andersson, J. Enhorn, Z. Zhang, R. Sjoberg (Ericsson) ,"CE11.1.6, CE11.1.7 and CE11.1.8: Joint proposals for long deblocking from Sony, Qualcomm, Sharp, Ericsson”, JVET- M0471 , Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakesh, MA, 918 Jan. 2019
＜デブロックフィルタの概要＞
HEVC等の既存の画像符号化方式におけるデブロックフィルタに関する処理は、フィルタ判定（適用要否判定及びフィルタ強度判定）、及び、フィルタリング（フィルタの適用）を含む。以下では、HEVCを例に、デブロックフィルタの概要を説明する。
なお、デブロックフィルタの適用要否とは、デブロックフィルタを適用するか否かを意味する。デブロックフィルタの適用要否判定とは、デブロックフィルタを適用するか否かを判定することを意味する。また、適用要否判定の判定結果とは、デブロックフィルタを適用するか否かを判定した結果である。適用要否判定の判定結果は、適用する、又は、適用しない、のいずれかを示す情報であり得る。
フィルタ強度判定とは、デブロックフィルタを適用する場合に、その適用するデブロックフィルタのフィルタ強度を判定（決定）することを意味する。例えば、デブロックフィルタとして、ウイークフィルタと、ウイークフィルタよりもタップ数が多い、すなわち、フィルタ強度が強いストロングフィルタとがある場合、フィルタ強度判定では、画素に適用するデブロックフィルタを、ウイークフィルタ及びストロングフィルタのうちのいずれとするかが判定（決定）される。
デブロックフィルタについては、適用要否判定及びフィルタ強度判定によって、デブロックフィルタを適用しないこと、又は、適用するデブロックフィルタの種類が判定される。
例えば、デブロックフィルタとして、ウイークフィルタとストロングフィルタとがある場合、適用要否判定及びフィルタ強度判定では、デブロックフィルタを適用しないこと、ウイークフィルタを適用すること、又は、ストロングフィルタを適用することが判定される。以下、適用要否判定及びフィルタ強度判定を、まとめて、フィルタ判定ともいう。
また、本明細書において、復号画像には、符号化時にローカル復号されたローカル復号画像が含まれる。
デブロックフィルタに関する処理では、まず、フィルタ判定が行われる。フィルタ判定では、まず、復号画像のブロック境界（Block Boundary）にデブロックフィルタを適用するか否かを判定する適用要否判定が行われる。
なお、HEVCにおいて、ブロック境界は、参照文献REF2に記載されているQuad-Tree Block Structureのブロック構造に基づいて特定される。具体的には、最小のブロック単位である８×８画素ブロック(サンプルグリッド)のエッジのうち、ＴＵ（Transform Unit）境界又はＰＵ（Prediction Unit）境界のうち少なくともいずれか一方であるという条件を満たすエッジが、HEVCにおけるブロック境界として特定される。
適用要否判定は、ブロック境界の境界強度（Boundary Strength：以下、ｂＳとも記載する）に基づいて行われる。HEVCにおいてｂＳは、ブロック境界に対してデブロックフィルタのフィルタ判定（適用要否判定）を行う際の処理単位である部分ブロック境界（ブロック境界の一部）と直交する方向の４ラインを、デブロックフィルタを適用するフィルタ適用単位として、そのフィルタ適用単位の４ラインごとに設定される。ブロック境界が垂直方向の垂直ブロック境界である場合、フィルタ適用単位のラインとは、垂直ブロック境界と直交する水平方向のライン（行）である。また、ブロック境界が水平方向の水平ブロック境界である場合、フィルタ適用単位のラインとは、水平ブロック境界と直交する垂直方向のライン（列）である。
図１は、HEVCにおけるｂＳの設定方法を説明する図である。
図１に示すように、HEVCにおいてｂＳは、イントラ予測に関する条件である条件Ａ、Ｙ成分の有意係数に関する条件である条件Ｂ１、及び動きベクトル（ＭＶ）と参照画像（参照ピクチャ）に関する条件である条件Ｂ２の真偽（満たされるか満たされないか）に基づいて設定される。図１を参照すると、条件Ａが真である場合にｂＳは２に設定される。また、条件Ａが偽であり、条件Ｂ１、条件Ｂ２のうち少なくとも一方が真である場合にｂＳは１に設定される。そして、条件Ａ、条件Ｂ１、及び条件Ｂ２がいずれも偽である場合にｂＳは０に設定される。なお、図１に示す条件Ａ、条件Ｂ１、条件Ｂ２は、以下のような条件である。また、ここでは、説明を簡単にするため、ブロック境界は、例えば、垂直ブロック境界であることとする。
条件Ａ：ｂＳの設定対象のブロック境界と直交するラインのうち最も上のラインの画素を含みブロック境界を挟むＣＵ（Coding Unit）のうち、少なくともいずれか一方の予測モードがイントラ予測モードである。
条件Ｂ１：ブロック境界がＴＵ境界であり、ｂＳの設定対象のブロック境界と直交するラインのうち最も上のラインの画素を含みブロック境界を挟む２つのＴＵのうち、少なくともいずれか一方にＹ成分の有意係数が存在する。
条件Ｂ２：ｂＳの設定対象のブロック境界と直交するラインのうち最も上のラインの画素を含みブロック境界を挟む２つのＣＵの間で、ＭＶの差の絶対値が１画素以上、又は、動き補償の参照画像が異なるか、ＭＶの数が異なる。
HEVCにおいては、上述のように設定されたｂＳが１以上に設定されたブロック境界を対象に、復号画像の輝度成分（Ｙ成分）に対するデブロックフィルタが適用され得る。HEVCにおいて、条件Ｂ１、条件Ｂ２が満たされるか否かに応じて、復号画像の輝度成分に対するデブロックフィルタの適用要否判定の判定結果は異なり得る。
なお、HEVCでは、復号画像の輝度成分に対するデブロックフィルタとして、フィルタ強度が大きいストロングフィルタと、フィルタ強度が小さいウイークフィルタとが用意されている。ｂＳが１以上である場合、復号画像の輝度成分に対するデブロックフィルタに関する処理は、さらなる条件に基づくさらなる適用要否判定が行われた後に、フィルタ強度の判定、フィルタリングと続く。これらの処理の詳細については参照文献REF2に記載されており、ここでの説明は省略する。
一方で、HEVCにおける復号画像の色差成分（Ｕ成分、Ｖ成分）に対するデブロックフィルタは、ｂＳが２であるブロック境界のみを対象として適用される。そのため、図１に示すように、条件Ｂ１、条件Ｂ２が満たすか否かは、HEVCにおいて、復号画像の色差成分に対するデブロックフィルタの適用要否判定に影響を与えない。
また、HEVCにおいて、復号画像の色差成分に対して適用され得るデブロックフィルタはウイークフィルタのみである。そのため、復号画像の色差成分について、フィルタ強度の判定処理は不要であり、ｂＳが２である場合には、復号画像の色差成分に対してウイークフィルタが適用される。
ところで、参照文献REF3に記載されるように、VVCにおけるQTBT Block Structureによるブロック分割では、HEVCにおけるQuad-Tree Block Structureによるブロック分割よりも、さらに大きなサイズのブロックが選択され得る。フラットな領域（領域内の画素値の変化が小さい領域）におけるブロックのサイズが大きい場合、ブロック歪みが発生し易い。そのため、より大きなサイズのブロックが選択され得るVVCにおいて、HEVCと同様に復号画像の色差成分に対して適用され得るデブロックフィルタをウイークフィルタのみとした場合、色差成分において、顕著なブロック歪みが残ってしまう恐れがあった。このような状況に鑑み、復号画像の色差成分に対するデブロックフィルタを改善することが望まれている。
そこで、HEVCとは異なるデブロックフィルタの他の適用方法が提案されている。デブロックフィルタの他の適用方法では、例えば、色差成分に適用され得るデブロックフィルタを、輝度成分に適用され得るデブロックフィルタと同様に２種類に変更し、色差成分に対しても、ストロングフィルタを適用し得ることが提案されている。また、ｂＳが２である場合のみならず、ｂＳが１の場合であっても、復号画像の色差成分に対してデブロックフィルタが適用され得ることが提案されている。
図２は、デブロックフィルタの他の適用方法におけるｂＳの設定方法を説明する図である。
デブロックフィルタの他の適用方法では、図２に示したHEVCの例と同様に、上述した条件Ａ、条件Ｂ１、条件Ｂ２に基づいてｂＳが設定される。ただし、上述したように、ｂＳが２である場合のみならず、ｂＳが１の場合であっても復号画像の色差成分に対してデブロックフィルタが適用され得る。図２に示すように、条件Ｂ１、条件Ｂ２が満たされるか否かに応じて、復号画像の色差成分（Ｕ成分、Ｖ成分）に対するデブロックフィルタの適用要否判定の判定結果は異なり得る。
図３は、垂直方向のブロック境界である垂直ブロック境界ＢＢを挟んで隣接する、２つの隣接ブロックとしてのブロックＢｐ及びブロックＢｑ内の画素（の画素値）の例を示す図である。
なお、ここでは、垂直ブロック境界を例にとって説明するが、垂直ブロック境界について説明される事項は、特に断らない限り、水平方向のブロック境界である水平ブロック境界にも同様に適用可能である。また、図３には、ブロックＢｐ及びブロックＢｑが４×４画素のブロックである例を示しているが、ここで説明される事項は、他のサイズのブロックにも同様に適用可能である。
図３の例において、ブロックＢｐ内の画素値（及び画素）は、pi,jという記号で示されている。iは列のインデクスで、jは行のインデクスである。列のインデクスiは、垂直ブロック境界ＢＢに近い列から順に（図中の左から右へ）０，１，２，３と付番されている。行のインデクスjは、上から下へ０，１，２，３と付番されている。一方、ブロックＢｑ内の画素値（及び画素）は、ｑk,jという記号で示されている。kは列のインデクス、jは行のインデクスである。列のインデクスkは、垂直ブロック境界ＢＢに近い列から順に（図中の右から左へ）０，１，２，３と付番されている。画素値とは、ここでは、輝度成分又は色差成分である。
なお、図３では、ブロック境界ＢＢが、垂直ブロック境界であるとしているが、ブロック境界ＢＢを、水平ブロック境界とみなすとともに、ブロックＢｐ及びブロックＢｑを、水平ブロック境界ＢＢを挟んで隣接する２つの隣接ブロックとみなすことができる。この場合、pi,jにおいて、iは行のインデクスで、jは列のインデクスとなる。ｑk,jについても同様である。
デブロックフィルタの他の適用方法では、図２を参照して説明したようにｂＳが設定された後、以下のように３つの条件を用いて、フィルタ判定が行われる。
フィルタ判定は、輝度成分については、４ライン単位で行われ、色差成分については、輝度成分の４ラインに対応する色差成分のライン単位で行われる。
復号画像のカラーフォーマットが、例えば、ＹＵＶ４２０フォーマットである場合、色差成分の画素の横方向及び縦方向の密度は、それぞれ、輝度成分の画素の横方向及び縦方向の密度の１／２である。
したがって、復号画像のカラーフォーマットが、ＹＵＶ４２０フォーマットである場合、色差成分については、輝度成分の４ラインに対応する色差成分の２ライン単位で、フィルタ判定が行われる。
すなわち、復号画像のカラーフォーマットがＹＵＶ４２０フォーマットである場合、色差成分については、垂直ブロック境界ＢＢ（と直交する水平方向の画素）に対してデブロックフィルタを適用するかを判定する際の処理単位である部分垂直ブロック境界は、垂直方向に連続する色差成分の２ライン分の垂直ブロック境界（垂直ブロック境界のうちの、水平方向の色差成分の連続する２ラインと直交する部分）である。色差成分のフィルタ判定は、そのような部分垂直ブロック境界ごとに行われる。
いま、図３に示したブロックＢｐ及びブロックＢｑが輝度成分のブロックであるとする。この場合、輝度成分のフィルタ判定は、ラインＬ１１及びラインＬ１２並びにラインＬ２１及びラインＬ２２の４ライン分の部分垂直ブロック境界ｂを対象に行われる。
また、図３に示したブロックＢｐ及びブロックＢｑが色差成分のブロックであるとする。この場合、色差成分のフィルタ判定は、ラインＬ１１及びラインＬ１２の２ライン分の部分垂直ブロック境界ｂ１と、ラインＬ２１及びラインＬ２２の２ライン分の部分垂直ブロック境界ｂ２とをそれぞれ対象として行われる。
部分垂直ブロック境界ｂ１に対するフィルタ判定は、その部分垂直ブロック境界ｂ１と直交する水平方向の（色差成分の）ラインＬ１１及びラインＬ１２（の画素）を用いて行われる。同様に、部分垂直ブロック境界ｂ２に対するフィルタ判定は、その部分垂直ブロック境界ｂ２と直交する水平方向のラインＬ２１及びラインＬ２２を用いて行われる。
デブロックフィルタの他の適用方法のフィルタ判定では、適用要否判定において、以下の条件Ｃ９１、及び条件Ｃ９２が真であるか否かが順に判定される。
条件Ｃ９１：(bS==2||bS==1&&(block_width＞16&&block_height＞16))
条件Ｃ９２：d＜beta
なお、条件Ｃ９１においてblock_width、及び、block_heightは、図３に示したように、フィルタ判定の対象となる部分垂直ブロック境界ｂ１にかかるブロック（例えばＣＵ）の水平方向のサイズ、及び、垂直方向のサイズである。||は、論理和を表し、&&は、論理積を表す。
また、条件Ｃ９２における変数betaは、エッジ判定閾値であり、変数betaは、量子化パラメータに応じて与えられる。また、条件Ｃ９２における変数dは、以下の式（１）ないし式（７）により設定される。
dp0=Abs(p2,0-2*p1,0+p0,0)
・・・（１）
dp1=Abs(p2,3-2*p1,3+p0,3)
・・・（２）
dq0=Abs(q2,0-2*q1,0+q0,0)
・・・（３）
dq1=Abs(q2,3-2*q1,3+q0,3)
・・・（４）
dpq0=dp0+dq0
・・・（５）
dpq1=dp1+dq1
・・・（６）
d=dpq0+dpq1
・・・（７）
なお、条件Ｃ９２は、フィルタ判定に用いられるラインが異なることを除いて、HEVCにおいて輝度成分に適用されるデブロックフィルタのフィルタ判定において用いられる条件（以下、輝度成分における条件と呼ぶ）と同様である。輝度成分における条件では、１ライン目の画素と４ライン目の画素とを用いて、４ライン（セグメント）分の部分垂直ブロック境界（垂直ブロック境界のうちの、垂直方向に連続する４ラインと直交する部分）ごとに、フィルタ判定が行われる。
また、カラーフォーマットがＹＵＶ４２０フォーマットである場合、色差成分（Ｕ成分、Ｖ成分）の水平方向及び垂直方向それぞれの画素の密度が輝度成分の画素の密度の半分であり、輝度成分の４ラインは、色差成分の２ラインに対応する。そのため、ＹＵＶ４２０フォーマットでは、上述のように、色差成分については、輝度成分の４ラインに対応する色差成分の２ライン分の部分垂直ブロック境界（例えば、部分垂直ブロック境界ｂ１やｂ２）ごとに、その部分垂直ブロック境界と直交する色差成分の１ライン目の画素と２ライン目の画素とを用いて、フィルタ判定が行われる。
すなわち、例えば、部分垂直ブロック境界ｂ１については、式（２）及び式（４）の輝度成分の４ライン目の画素pi,3及びqk,3に代えて、色差成分の２ライン目の画素pi,1及びqk,1を用いてフィルタ判定が行われる。
条件Ｃ９１及び条件Ｃ９２のうち少なくともいずれか一方が偽である場合には、復号画像の色差成分にデブロックフィルタが適用されない。一方、条件Ｃ９１及び条件Ｃ９２の両方が真である場合、フィルタ判定では、フィルタ強度判定が行われる。
フィルタ強度判定では、ストロングフィルタとウイークフィルタとのうち、いずれのフィルタを適用するかの判定として、例えば、条件Ｃ９３が真であるか否かが判定される。
条件Ｃ９３：(block_width＞16&&block_height＞16)
なお、条件Ｃ９３におけるblock_width、及び、block_heightは、条件Ｃ９１におけるblock_width、及びblock_heightと同様に、フィルタ判定の対象となる部分垂直ブロック境界にかかるブロックの水平方向のサイズ、及び、垂直方向のサイズである。
条件Ｃ９３が真である場合には、部分垂直ブロック境界において復号画像にストロングフィルタが適用され、条件Ｃ９３が偽である場合には、部分垂直ブロック境界において復号画像にウイークフィルタが適用される。
色差成分及び輝度成分に適用されるストロングフィルタとしては、HEVCにおいて輝度成分に適用されるストロングフィルタを採用することができる。この場合、ストロングフィルタは、以下の式（８）ないし式（１３）で表される。
p0′=Clip3(p0-2*tc,p0+2*tC,(p2+2*p1+2*p0+2*q0+q1+4)＞＞3)
・・・（８）
p1′=Clip3(p1-2*tc,p1+2*tC,(p2+p1+p0+q0+2)＞＞2)
・・・（９）
p2′=Clip3(p2-2*tc,p2+2*tC,(2*p3+3*p2+p1+p0+q0+4)＞＞3)
・・・（１０）
q0′=Clip3(q0-2*tc,q0+2*tC,(p1+2p0+2q0+2q1+q2+4)＞＞3)
・・・（１１）
q1′=Clip3(q1-2*tc,q1+2*tC,(p0+q0+q1+q2+2)＞＞2)
・・・（１２）
q2′=Clip3(q2-2*tc,q2+2*tC,(p0+q0+q1+3*q2+2*q3+4)＞＞3)
・・・（１３）
なお、式（８）ないし式（１３）において、pi及びqkはデブロックフィルタ適用前の画素値を表す。また、pi′及びqk′は、デブロックフィルタ適用後の画素値を表す。ここで、i及びkはそれぞれ上述したブロックＢｐ、ブロックＢｑ内の列のインデクスであり、式（８）ないし式（１３）では行のインデクスは同一であるため、省略されている。また、tCは量子化パラメータに応じて与えられるパラメータである。また、Clip3(a,b,c)は、値cをa≦c≦bの範囲でクリップするクリッピング処理を表す。
色差成分及び輝度成分に適用されるウイークフィルタとしては、HEVCにおいて輝度成分に適用されるウイークフィルタを採用することができる。
＜ISP＞
図４は、ISP(intra-sub-partition)を説明する図である。
非特許文献１では、ブロック構造が、直交変換の単位となる変換ブロックであるTU(Transform Unit)、予測の単位となる予測ブロックであるPU(Prediction Unit)、及び、符号化の単位となる符号化ブロックであるCU(Coding Unit)が同一のブロックに統一された階層構造を有する。
そして、輝度成分のブロックに適用されるブロックモードとして、ISP(intra-sub-partition)がある。ブロックは、ISPに設定されると、複数のサブブロック(Sub-Partition)に分割することができ、サブブロック単位で、直交変換を行うことができる。
ISPに設定されたブロックのサブブロックへの分割は、画素数（輝度成分の数）が64以上のブロックを対象に、水平又は垂直の同一方向（一次元方向）に、２分割又は４分割を選択して行うことができる。
すなわち、ISPに設定されたブロックのサブブロックへの分割としては、図４に示すように、水平方向若しくは垂直方向に２等分又は４等分の分割を行うことができる。したがって、ブロックの横×縦を、W×Hで表すこととすると、ブロックは、W×H/2の２個のサブブロック、W/2×Hの２個のサブブロック、W×H/4の４個のサブブロック、又は、W/4×Hの４個のサブブロックに分割することができる。
ISPに設定されたブロック、ひいては、そのブロックを分割したサブブロックについては、イントラ予測が行われる。イントラ予測が行われるブロックのブロック境界には、ブロック歪みが生じやすいが、非特許文献１では、サブブロックのブロック境界（サブブロック境界）は、デブロックフィルタの適用の対象になっていない。
そこで、本技術では、サブブロック境界（と直交するラインの画素）を、デブロックフィルタの適用の対象として、デブロックフィルタが適用され得る。これにより、サブブロック境界に生じるブロック歪みを抑制することができる。
例えば、ブロック境界に隣接するブロックがイントラ予測されるブロックである場合にブロック境界に設定されるｂＳ（ＢＳ）と同一のｂＳを、サブブロック境界のｂＳとして設定することで、サブブロック境界にデブロックフィルタを適用することができる。図１及び図２では、ブロック境界に隣接するブロックがイントラ予測されるブロックである場合にブロック境界に設定されるｂＳは、２であり、したがって、サブブロック境界のｂＳとしては、２を設定することができる。なお、サブブロック境界のｂＳとしては、その他、例えば、１を設定することができる。
なお、ブロックがサブブロックに分割される場合としては、ISPが設定された場合の他、SBT(Sub-Block Transform)が設定された場合がある。SBTが設定された場合も、ISPが設定された場合と同様に、サブブロック境界に、デブロックフィルタを適用することができる。
図５は、デブロックフィルタのフィルタタイプの例を示す図である。
デブロックフィルタのフィルタタイプ（種類）としては、例えば、ロングフィルタ、ストロングフィルタ、及び、ウイークフィルタの３つを採用することができる。ロングフィルタ、ストロングフィルタ、及び、ウイークフィルタは、その順で、フィルタ強度が強い（平滑性が高い）フィルタになっている。
デブロックフィルタは、ブロック境界ＢＢと直交するラインの画素のうちの、ブロック境界ＢＢに連続して隣接する所定数の画素に適用される。ここで、デブロックフィルタが適用される画素を、適用対象画素ともいう。また、適用対象画素ではないが、デブロックフィルタの適用にあたって参照される画素、すなわち、デブロックフィルタの適用としてのフィルタ演算に用いられる画素を、参照画素ともいう。なお、適用対象画素は、デブロックフィルタの適用にあたって参照されることがある。
例えば、ブロック境界ＢＢが垂直ブロック境界である場合、ロングフィルタでは、ブロック境界ＢＢと直交するラインの画素のうちの、ブロック境界ＢＢの左に連続して隣接する７個の画素と、ブロック境界ＢＢの右に連続して隣接する７個の画素とが、適用対象画素となる。また、ブロック境界ＢＢと直交するラインの画素のうちの、ブロック境界ＢＢから８個目の画素が、参照画素となる。
なお、ロングフィルタは、１辺が３２画素以上のブロック（の画素）を対象として適用され得る。
ストロングフィルタでは、ブロック境界ＢＢと直交するラインの画素のうちの、ブロック境界ＢＢの左に連続して隣接する３個の画素と、ブロック境界ＢＢの右に連続して隣接する３個の画素とが、適用対象画素となる。また、ブロック境界ＢＢと直交するラインの画素のうちの、ブロック境界ＢＢから４個目の画素が、参照画素となる。
ウイークフィルタでは、ブロック境界ＢＢと直交するラインの画素のうちの、ブロック境界ＢＢの左に連続して隣接する２個の画素と、ブロック境界ＢＢの右に連続して隣接する２個の画素とが、適用対象画素となる。また、ブロック境界ＢＢと直交するラインの画素のうちの、ブロック境界ＢＢから３個目の画素が、参照画素となる。
なお、ウイークフィルタでは、ブロック境界ＢＢと直交するラインの画素のうちの、ブロック境界ＢＢから１個目の画素、すなわち、ブロック境界の左に隣接する１個の画素、及び、右に隣接する１個の画素だけを適用対象画素とすることができる。この場合、ブロック境界ＢＢと直交するラインの画素のうちの、ブロック境界ＢＢから２個目及び３個目の画素が、参照画素となる。
以上、ブロック境界ＢＢが垂直ブロック境界である場合のデブロックフィルタの適用について説明したが、ブロック境界ＢＢが水平ブロック境界である場合のデブロックフィルタの適用も同様である。
ところで、図４で説明したように、ISPに設定された６４画素以上のブロックは、水平又は垂直の同一方向への２分割又は４分割により、サブブロックに分割することができる。したがって、ブロックは、ブロックサイズが1×Ｎ、Ｎ×１、２×Ｎ、Ｎ×２、４×Ｎ、Ｎ×４のサブブロックに分割され得る。例えば、ブロックが、４×１６画素のブロックである場合、ブロックは、２×１６画素や、１×１６画素のブロックサイズのサブブロックに分割され得る。
一方、デブロックフィルタの適用は、複数のブロック境界（それぞれに隣接する画素）に対して、並列して行うことができる。例えば、ある水平ラインの、各垂直ブロック境界ＢＢに隣接する画素に対して、デブロックフィルタを並列（同時）に適用することができる。ここで、複数の垂直ブロック境界に対して、デブロックフィルタを並列に適用することを、デブロックフィルタの並列適用ともいう。デブロックフィルタの並列適用によれば、処理の高速化を図ることができる。
図４で説明したように、サブブロック境界（と直交するラインの画素）を、デブロックフィルタの適用の対象とする場合に、デブロックフィルタの並列適用を行うときには、不都合が生じ得る。
図６は、デブロックフィルタの並列適用を行うときに生じ得る不都合を説明する図である。
図６は、サブブロックサイズが２×Ｎのサブブロックが水平方向に並んでいる場合のある水平ラインＬの画素を表している。
ここでは、図５で説明した３つの（フィルタタイプの）デブロックフィルタのうちの、例えば、ウイークフィルタを適用することとする。
ある垂直ブロック境界ＢＢ１に、ウイークフィルタが適用される場合、水平ラインＬの、垂直ブロック境界ＢＢ１に連続して隣接する２個の画素p1及びp2、並びに、q1及びq2が適用対象画素となる。さらに、この場合、水平ラインＬの、垂直ブロック境界ＢＢ１から３個目の画素p3及びq3が、参照画素となる。
一方、垂直ブロック境界ＢＢ１の右に隣接する垂直ブロック境界ＢＢ２に、ウイークフィルタがされる場合、画素q1ないしq3は、適用対象画素となる。
したがって、垂直ブロック境界ＢＢ１にウイークフィルタが適用される場合に適用対象画素となる画素q1及びq2、並びに、参照画素となるq3は、垂直ブロック境界ＢＢ２にウイークフィルタがされる場合に適用対象画素にもなる。
このため、垂直ブロック境界ＢＢ１にウイークフィルタが適用される前後や、垂直ブロック境界ＢＢ２にウイークフィルタが適用される前後で、画素q1ないしq3の画素値（輝度成分）が変化する。そして、その変化に起因して、垂直ブロック境界ＢＢ１及びＢＢ２にウイークフィルタが適用されるタイミングによって適用対象画素q1及びq2の画素値が変化する。
また、垂直ブロック境界ＢＢ１にウイークフィルタが適用される場合と、垂直ブロック境界ＢＢ１２ウイークフィルタが適用される場合とのいずれの場合にも適用対象画素となる画素q1及びq2については、垂直ブロック境界ＢＢ１にウイークフィルタが適用される場合と、垂直ブロック境界ＢＢ１２にウイークフィルタが適用される場合とで、画素値の書き込みの競合が生じ得る。
以上の点、ウイークフィルタよりも適用対象画素が多いストロングフィルタ及びロングフィルタでも同様である。
本技術では、デブロックフィルタの並列適用を行うときに生じ得る、上述のような、ウイークフィルタが適用されるタイミングによる適用対象画素の画素値の変化や、画素値の書き込みの競合といった不都合を抑制する。
そのため、本技術では、１のサブブロック境界でデブロックフィルタが適用される適用対象画素の中に、他のサブブロック境界でのデブロックフィルタの適用で参照される画素が含まれないように、デブロックフィルタを適用する。
また、本技術では、１のサブブロック境界でデブロックフィルタが適用される適用対象画素の中に、他のサブブロック境界、すなわち、１のサブブロック境界に隣接するサブブロック境界（以下、隣接サブブロック境界ともいう）でのデブロックフィルタの適用で参照される画素が含まれないように、デブロックフィルタを適用することができない場合には、デブロックフィルタの適用を制限する（デブロックフィルタを適用しない）。
図６では、例えば、サブブロック境界ＢＢ２でデブロックフィルタが適用される適用対象画素q1ないしq3の中に、隣接サブブロック境界としてのサブブロック境界ＢＢ１でのデブロックフィルタの適用で参照される画素p1ないしp3及びq1ないしq3が含まれないように、デブロックフィルタを適用することができない。そのため、デブロックフィルタの適用は制限される。
図５で説明したデブロックフィルタについては、サブブロック境界と直交する方向のサブブロックのサイズが１又は２画素である場合、すなわち、サブブロック境界に隣接するサブブロックのブロックサイズが、1×Ｎ、Ｎ×１、２×Ｎ、又は、Ｎ×２である場合、１のサブブロック境界でデブロックフィルタが適用される適用対象画素の中に、隣接サブブロック境界でのデブロックフィルタの適用で参照される画素が含まれないように、デブロックフィルタを適用することができることはない。
したがって、本技術では、ブロックサイズが1×Ｎ、Ｎ×１、２×Ｎ、又は、Ｎ×２のサブブロックのサブブロック境界では、デブロックフィルタの適用が制限される。これにより、デブロックフィルタの並列適用を行う場合に、不都合が生じることを抑制することができる。
また、サブブロック境界と直交する方向のサブブロックのサイズが４画素である場合、すなわち、サブブロック境界に隣接するサブブロックのブロックサイズが、４×Ｎ、又は、Ｎ×４である場合、サブブロック境界から１個目の画素だけを適用対象画素とすることで、１のサブブロック境界でウイークフィルタが適用される適用対象画素の中に、隣接サブブロック境界でのウイークフィルタの適用で参照される画素が含まれないように、ウイークフィルタを適用することができる。
そこで、本技術では、ブロックサイズが４×Ｎ、又は、Ｎ×４のサブブロックのサブブロック境界では、サブブロック境界から１個目の画素だけを適用対象画素とするウイークフィルタのみを適用し得ることとする。この場合、不都合が生じることなく、デブロックフィルタの並列適用を行うことができる。
そして、本技術では、サブブロック境界と直交する方向のサブブロックのサイズが８画素以上である場合、すなわち、サブブロック境界に隣接するサブブロックのブロックサイズが、８×Ｎ、又は、Ｎ×８以上のブロックサイズである場合、ウイークフィルタ、ストロングフィルタ、及び、ロングフィルタの中から所定の方法で選択されたデブロックフィルタを適用し得ることとする。
＜本技術を適用した画像処理システム＞
図７は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
画像処理システム１０は、エンコーダ１１としての画像処理装置、及び、デコーダ５１としての画像処理装置を有する。
エンコーダ１１は、そこに供給される符号化対象の元画像を符号化し、その符号化により得られる符号化ビットストリームを出力する。符号化ビットストリームは、図示せぬ記録媒体又は伝送媒体を介して、デコーダ５１に供給される。
デコーダ５１は、そこに供給される符号化ビットストリームを復号し、その復号により得られる復号画像を出力する。
エンコーダ１１及びデコーダ５１では、TU（変換ブロック）、PU（予測ブロック）、及び、CU（符号化ブロック）が同一のブロックに統一された階層構造を有するブロック構造に従って、符号化及び復号が、それぞれ行われる。
＜エンコーダ１１の構成例＞
図８は、図７のエンコーダ１１の詳細な構成例を示すブロック図である。
なお、以下説明するブロック図については、図が煩雑になるのを避けるため、各ブロックの処理で必要となる情報（データ）を供給する線の記載を、適宜省略する。
図８において、エンコーダ１１は、A/D変換部２１、並べ替えバッファ２２、演算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、及び、蓄積バッファ２７を有する。さらに、エンコーダ１１は、逆量子化部２８、逆直交変換部２９、演算部３０、フレームメモリ３２、選択部３３、イントラ予測部３４、動き予測補償部３５、予測画像選択部３６、及び、レート制御部３７を有する。また、エンコーダ１１は、デブロックフィルタ３１ａ、適応オフセットフィルタ４１、及び、ALF(adaptive loop filter)４２を有する。
A/D変換部２１は、アナログ信号の元画像（符号化対象）を、ディジタル信号の元画像にA/D変換し、並べ替えバッファ２２に供給して記憶させる。なお、エンコーダ１１にディジタル信号の元画像が供給される場合には、エンコーダ１１は、A/D変換部２１を設けずに構成することができる。
並べ替えバッファ２２は、元画像のフレームを、GOP（Group Of Picture）に応じて、表示順から符号化（復号）順に並べ替え、演算部２３、イントラ予測部３４、及び、動き予測補償部３５に供給する。
演算部２３は、並べ替えバッファ２２からの元画像から、予測画像選択部３６を介してイントラ予測部３４又は動き予測補償部３５から供給される予測画像を減算し、その減算により得られる残差（予測残差）を、直交変換部２４に供給する。
直交変換部２４は、演算部２３から供給される残差に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施し、その直交変換により得られる直交変換係数を量子化部２５に供給する。
量子化部２５は、直交変換部２４から供給される直交変換係数を量子化する。量子化部２５は、レート制御部３７から供給される符号量の目標値（符号量目標値）に基づいて量子化パラメータを設定し、直交変換係数の量子化を行う。量子化部２５は、量子化された直交変換係数である符号化データを、可逆符号化部２６に供給する。
可逆符号化部２６は、量子化部２５からの符号化データとしての量子化された直交変換係数を所定の可逆符号化方式で符号化する。
また、可逆符号化部２６は、エンコーダ１１での予測符号化に関する符号化情報のうちの、復号装置１７０での復号に必要な符号化情報を、各ブロックから取得する。
ここで、符号化情報としては、例えば、イントラ予測やインター予測の予測モード、動きベクトル等の動き情報、符号量目標値、量子化パラメータ、ピクチャタイプ(I,P,B)、デブロックフィルタ３１ａ及び適応オフセットフィルタ４１のフィルタパラメータ等がある。
予測モードは、イントラ予測部３４や動き予測補償部３５から取得することができる。動き情報は、動き予測補償部３５から取得することができる。デブロックフィルタ３１ａ及び適応オフセットフィルタ４１のフィルタパラメータは、デブロックフィルタ３１ａ及び適応オフセットフィルタ４１からそれぞれ取得することができる。
可逆符号化部２６は、符号化情報を、例えば、CAVLC（Context-Adaptive Variable Length Coding）やCABAC（Context-Adaptive Binary Arithmetic Coding）等の可変長符号化又は算術符号化その他の可逆符号化方式で符号化し、符号化後の符号化情報、及び、量子化部２５からの符号化データを含む（多重化した）符号化ビットストリームを生成して、蓄積バッファ２７に供給する。
蓄積バッファ２７は、可逆符号化部２６から供給される符号化ビットストリームを、一時的に蓄積する。蓄積バッファ２７に蓄積された符号化ビットストリームは、所定のタイミングで読み出されて伝送される。
量子化部２５において量子化された直交変換係数である符号化データは、可逆符号化部２６に供給される他、逆量子化部２８にも供給される。逆量子化部２８は、量子化された直交変換係数を、量子化部２５による量子化に対応する方法で逆量子化し、その逆量子化により得られる直交変換係数を、逆直交変換部２９に供給する。
逆直交変換部２９は、逆量子化部２８から供給される直交変換係数を、直交変換部２４による直交変換処理に対応する方法で逆直交変換し、その逆直交変換の結果得られる残差を、演算部３０に供給する。
演算部３０は、逆直交変換部２９から供給される残差に、予測画像選択部３６を介してイントラ予測部３４又は動き予測補償部３５から供給される予測画像を加算し、これにより、元画像を復号した復号画像（の一部）を得て出力する。
演算部３０が出力する復号画像は、デブロックフィルタ３１ａ又はフレームメモリ３２に供給される。
フレームメモリ３２は、演算部３０から供給される復号画像、及び、ALF４２から供給される、デブロックフィルタ３１ａ、適応オフセットフィルタ４１、及び、ALF４２が適用された復号画像（フィルタ画像）を一時記憶する。フレームメモリ３２に記憶された復号画像は、必要なタイミングで、予測画像の生成に用いられる参照画像として、選択部３３に供給される。
選択部３３は、フレームメモリ３２から供給される参照画像の供給先を選択する。イントラ予測部３４においてイントラ予測が行われる場合、選択部３３は、フレームメモリ３２から供給される参照画像を、イントラ予測部３４に供給する。動き予測補償部３５においてインター予測が行われる場合、選択部３３は、フレームメモリ３２から供給される参照画像を、動き予測補償部３５に供給する。
イントラ予測部３４は、並べ替えバッファ２２から供給される元画像と、選択部３３を介してフレームメモリ３２から供給される参照画像とを用い、イントラ予測（画面内予測）を行う。イントラ予測部３４は、所定のコスト関数（例えば、RDコスト等）に基づいて、最適なイントラ予測モードを選択し、その最適なイントラ予測モードで参照画像から生成された予測画像を、予測画像選択部３６に供給する。また、上述したように、イントラ予測部３４は、コスト関数に基づいて選択されたイントラ予測モードを示す予測モードを、可逆符号化部２６等に適宜供給する。
動き予測補償部３５は、並べ替えバッファ２２から供給される元画像と、選択部３３を介してフレームメモリ３２から供給される参照画像とを用い、動き予測（インター予測）を行う。さらに、動き予測補償部３５は、動き予測により検出される動きベクトルに応じて動き補償を行い、予測画像を生成する。動き予測補償部３５は、あらかじめ用意された複数のインター予測モードで、インター予測を行い、参照画像から予測画像を生成する。
動き予測補償部３５は、複数のインター予測モードそれぞれについて得られた予測画像の所定のコスト関数に基づいて、最適なインター予測モードを選択する。さらに、動き予測補償部３５は、最適なインター予測モードで生成された予測画像を、予測画像選択部３６に供給する。
また、動き予測補償部３５は、コスト関数に基づいて選択されたインター予測モードを示す予測モードや、そのインター予測モードで符号化された符号化データを復号する際に必要な動きベクトル等の動き情報等を、可逆符号化部２６に供給する。
予測画像選択部３６は、演算部２３及び演算部３０に供給する予測画像の供給元を、イントラ予測部３４及び動き予測補償部３５の中から選択し、その選択した方の供給元から供給される予測画像を、演算部２３及び演算部３０に供給する。
レート制御部３７は、蓄積バッファ２７に蓄積された符号化ビットストリームの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御する。すなわち、レート制御部３７は、蓄積バッファ２７のオーバーフロー及びアンダーフローが生じないように、符号化ビットストリームの目標符号量を設定し、量子化部２５に供給する。
デブロックフィルタ３１ａは、演算部３０からの復号画像に、デブロックフィルタを必要に応じて適用し、デブロックフィルタが適用された復号画像（フィルタ画像）、又は、デブロックフィルタが適用されていない復号画像を、適応オフセットフィルタ４１に供給する。
適応オフセットフィルタ４１は、デブロックフィルタ３１ａからの復号画像に、適応オフセットフィルタを必要に応じて適用し、適応オフセットフィルタが適用された復号画像（フィルタ画像）、又は、適応オフセットフィルタが適用されていない復号画像を、ALF４２に供給する。
ALF４２は、適応オフセットフィルタ４１からの復号画像に、ALFを必要に応じて適用し、ALFが適用された復号画像、又は、ALFが適用されていない復号画像を、フレームメモリ３２に供給する。
＜符号化処理＞
図９は、図８のエンコーダ１１の符号化処理の例を説明するフローチャートである。
なお、図９に示す符号化処理の各ステップの順番は、説明の便宜上の順番であり、実際の符号化処理の各ステップは、適宜、並列的に、必要な順番で行われる。後述する処理についても、同様である。
エンコーダ１１では、ステップＳ１１において、A/D変換部２１は、元画像をA/D変換し、並べ替えバッファ２２に供給して、処理は、ステップＳ１２に進む。
ステップＳ１２において、並べ替えバッファ２２は、A/D変換部２１からの元画像を記憶し、符号化順に並べ替えて出力し、処理は、ステップＳ１３に進む。
ステップＳ１３では、イントラ予測部３４は、イントラ予測モードのイントラ予測処理を行い、処理は、ステップＳ１４に進む。ステップＳ１４において、動き予測補償部３５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行い、処理は、ステップＳ１５に進む。
イントラ予測部３４のイントラ予測処理、及び、動き予測補償部３５のインター動き予測処理では、各種の予測モードのコスト関数が演算されるとともに、予測画像が生成される。
ステップＳ１５では、予測画像選択部３６は、イントラ予測部３４及び動き予測補償部３５で得られる各コスト関数に基づいて、最適な予測モードを決定する。そして、予測画像選択部３６は、イントラ予測部３４により生成された予測画像と、動き予測補償部３５により生成された予測画像のうちの最適な予測モードの予測画像を選択して出力し、処理は、ステップＳ１５からステップＳ１６に進む。
ステップＳ１６では、演算部２３は、並べ替えバッファ２２が出力する元画像である符号化対象の対象画像と、予測画像選択部３６が出力する予測画像との残差を演算し、直交変換部２４に供給して、処理は、ステップＳ１７に進む。
ステップＳ１７では、直交変換部２４は、演算部２３からの残差を直交変換し、その結果得られる直交変換係数を、量子化部２５に供給して、処理は、ステップＳ１８に進む。
ステップＳ１８では、量子化部２５は、直交変換部２４からの直交変換係数を量子化し、その量子化により得られる量子化係数を、可逆符号化部２６及び逆量子化部２８に供給して、処理は、ステップＳ１９に進む。
ステップＳ１９では、逆量子化部２８は、量子化部２５からの量子化係数を逆量子化し、その結果得られる直交変換係数を、逆直交変換部２９に供給して、処理は、ステップＳ２０に進む。ステップＳ２０では、逆直交変換部２９は、逆量子化部２８からの直交変換係数を逆直交変換し、その結果得られる残差を、演算部３０に供給して、処理は、ステップＳ２１に進む。
ステップＳ２１では、演算部３０は、逆直交変換部２９からの残差と、予測画像選択部３６が出力する予測画像とを加算し、演算部２３での残差の演算の対象となった元画像に対応する復号画像を生成する。演算部３０は、復号画像を、デブロックフィルタ３１ａに供給し、処理は、ステップＳ２１からステップＳ２２に進む。
ステップＳ２２では、デブロックフィルタ３１ａは、演算部３０からの復号画像に、デブロックフィルタを適用し、その結果得られるフィルタ画像を、適応オフセットフィルタ４１に供給して、処理は、ステップＳ２３に進む。
ステップＳ２３では、適応オフセットフィルタ４１は、デブロックフィルタ３１ａからのフィルタ画像に、適応オフセットフィルタを適用し、その結果得られるフィルタ画像を、ALF４２に供給して、処理は、ステップＳ２４に進む。
ステップＳ２４では、ALF４２は、適応オフセットフィルタ４１からのフィルタ画像に、ALFを適用し、その結果得られるフィルタ画像を、フレームメモリ３２に供給して、処理は、ステップＳ２５に進む。
ステップＳ２５では、フレームメモリ３２は、ALF４２から供給されるフィルタ画像を記憶し、処理は、ステップＳ２６に進む。フレームメモリ３２に記憶されたフィルタ画像は、ステップＳ１３やＳ１４で、予測画像を生成する元となる参照画像として使用される。
ステップＳ２６では、可逆符号化部２６は、量子化部２５からの量子化係数である符号化データを符号化し、その符号化データを含む符号化ビットストリームを生成する。さらに、可逆符号化部２６は、量子化部２５での量子化に用いられた量子化パラメータや、イントラ予測部３４でのイントラ予測処理で得られた予測モード、動き予測補償部３５でのインター動き予測処理で得られた予測モードや動き情報、デブロックフィルタ３１ａ及び適応オフセットフィルタ４１のフィルタパラメータ等の符号化情報を必要に応じて符号化し、符号化ビットストリームに含める。
そして、可逆符号化部２６は、符号化ビットストリームを、蓄積バッファ２７に供給し、処理は、ステップＳ２６からステップＳ２７に進む。
ステップＳ２７において、蓄積バッファ２７は、可逆符号化部２６からの符号化ビットストリームを蓄積し、処理は、ステップＳ２８に進む。蓄積バッファ２７に蓄積された符号化ビットストリームは、適宜読み出されて伝送される。
ステップＳ２８では、レート制御部３７は、蓄積バッファ２７に蓄積されている符号化ビットストリームの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御し、符号化処理は終了する。
＜デコーダ５１の構成例＞
図１０は、図７のデコーダ５１の詳細な構成例を示すブロック図である。
図１０において、デコーダ５１は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、演算部６５、並べ替えバッファ６７、及び、D/A変換部６８を有する。さらに、デコーダ５１は、フレームメモリ６９、選択部７０、イントラ予測部７１、動き予測補償部７２、及び、選択部７３を有する。また、デコーダ５１は、デブロックフィルタ３１ｂ、適応オフセットフィルタ８１、及び、ALF８２を有する。
蓄積バッファ６１は、エンコーダ１１から伝送されてくる符号化ビットストリームを一時蓄積し、所定のタイミングにおいて、その符号化ビットストリームを、可逆復号部６２に供給する。
可逆復号部６２は、蓄積バッファ６１からの符号化ビットストリームを受信し、図８の可逆符号化部２６の符号化方式に対応する方式で復号する。
そして、可逆復号部６２は、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部６３に供給する。
また、可逆復号部６２は、パースを行う機能を有する。可逆復号部６２は、符号化ビットストリームの復号結果に含まれる必要な符号化情報をパースし、符号化情報を、イントラ予測部７１や、動き予測補償部７２、デブロックフィルタ３１ｂ、適応オフセットフィルタ８１その他の必要なブロックに供給する。
逆量子化部６３は、可逆復号部６２からの符号化データとしての量子化係数を、図８の量子化部２５の量子化方式に対応する方式で逆量子化し、その逆量子化により得られる直交変換係数を、逆直交変換部６４に供給する。
逆直交変換部６４は、逆量子化部６３から供給される直交変換係数を、図８の直交変換部２４の直交変換方式に対応する方式で逆直交変換し、その結果得られる残差を、演算部６５に供給する。
演算部６５には、逆直交変換部６４から残差が供給される他、選択部７３を介して、イントラ予測部７１又は動き予測補償部７２から予測画像が供給される。
演算部６５は、逆直交変換部６４からの残差と、選択部７３からの予測画像とを加算し、復号画像を生成して、デブロックフィルタ３１ｂに供給する。
並べ替えバッファ６７は、ALF８２から供給される復号画像を一時記憶し、復号画像のフレーム（ピクチャ）の並びを、符号化（復号）順から表示順に並べ替え、D/A変換部６８に供給する。
D/A変換部６８は、並べ替えバッファ６７から供給される復号画像をD/A変換し、図示せぬディスプレイに出力して表示させる。なお、デコーダ５１に接続される機器がディジタル信号の画像を受け付ける場合には、デコーダ５１は、D/A変換部６８を設けずに構成することができる。
フレームメモリ６９は、ALF８２から供給される復号画像を一時記憶する。さらに、フレームメモリ６９は、所定のタイミングにおいて、又は、イントラ予測部７１や動き予測補償部７２等の外部の要求に基づいて、復号画像を、予測画像の生成に用いる参照画像として、選択部７０に供給する。
選択部７０は、フレームメモリ６９から供給される参照画像の供給先を選択する。選択部７０は、イントラ予測で符号化された画像を復号する場合、フレームメモリ６９から供給される参照画像をイントラ予測部７１に供給する。また、選択部７０は、インター予測で符号化された画像を復号する場合、フレームメモリ６９から供給される参照画像を動き予測補償部７２に供給する。
イントラ予測部７１は、可逆復号部６２から供給される符号化情報に含まれる予測モードに従い、図８のイントラ予測部３４において用いられたイントラ予測モードで、フレームメモリ６９から選択部７０を介して供給される参照画像を用いてイントラ予測を行う。そして、イントラ予測部７１は、イントラ予測により得られる予測画像を、選択部７３に供給する。
動き予測補償部７２は、可逆復号部６２から供給される符号化情報に含まれる予測モードに従い、図８の動き予測補償部３５において用いられたインター予測モードで、フレームメモリ６９から選択部７０を介して供給される参照画像を用いてインター予測を行う。インター予測は、可逆復号部６２から供給される符号化情報に含まれる動き情報等を必要に応じて用いて行われる。
動き予測補償部７２は、インター予測により得られる予測画像を、選択部７３に供給する。
選択部７３は、イントラ予測部７１から供給される予測画像、又は、動き予測補償部７２から供給される予測画像を選択し、演算部６５に供給する。
デブロックフィルタ３１ｂは、可逆復号部６２から供給される符号化情報に含まれるフィルタパラメータに従い、演算部６５からの復号画像に、デブロックフィルタを適用する。デブロックフィルタ３１ｂは、デブロックフィルタが適用された復号画像（フィルタ画像）、又は、デブロックフィルタが適用されていない復号画像を、適応オフセットフィルタ８１に供給する。
適応オフセットフィルタ８１は、可逆復号部６２から供給される符号化情報に含まれるフィルタパラメータに従い、デブロックフィルタ３１ｂからの復号画像に、適応オフセットフィルタを必要に応じて適用する。適応凹セットフィルタ８１は、適応オフセットフィルタが適用された復号画像（フィルタ画像）、又は、適応オフセットフィルタが適用されていない復号画像を、ALF８２に供給する。
ALF８２は、適応オフセットフィルタ８１からの復号画像に、ALFを必要に応じて適用し、ALFが適用された復号画像、又は、ALFが適用されていない復号画像を、並べ替えバッファ６７及びフレームメモリ６９に供給する。
＜復号処理＞
図１１は、図１０のデコーダ５１の復号処理の例を説明するフローチャートである。
復号処理では、ステップＳ５１において、蓄積バッファ６１は、エンコーダ１１から伝送されてくる符号化ビットストリームを一時蓄積し、適宜、可逆復号部６２に供給して、処理は、ステップＳ５２に進む。
ステップＳ５２では、可逆復号部６２は、蓄積バッファ６１から供給される符号化ビットストリームを受け取って復号し、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部６３に供給する。
また、可逆復号部６２は、符号化ビットストリームの復号結果に含まれる符号化情報をパースする。そして、可逆復号部６２は、必要な符号化情報を、イントラ予測部７１や、動き予測補償部７２、デブロックフィルタ３１ｂ、適応オフセットフィルタ８１その他の必要なブロックに供給する。
そして、処理は、ステップＳ５２からステップＳ５３に進み、イントラ予測部７１又は動き予測補償部７２が、フレームメモリ６９から選択部７０を介して供給される参照画像、及び、可逆復号部６２から供給される符号化情報に従い、予測画像を生成するイントラ予測処理又はインター動き予測処理を行う。そして、イントラ予測部７１又は動き予測補償部７２は、イントラ予測処理又はインター動き予測処理により得られる予測画像を、選択部７３に供給し、処理は、ステップＳ５３からステップＳ５４に進む。
ステップＳ５４では、選択部７３は、イントラ予測部７１又は動き予測補償部７２から供給される予測画像を選択し、演算部６５に供給して、処理は、ステップＳ５５に進む。
ステップＳ５５では、逆量子化部６３は、可逆復号部６２からの量子化係数を逆量子化し、その結果得られる直交変換係数を、逆直交変換部６４に供給して、処理は、ステップＳ５６に進む。
ステップＳ５６では、逆直交変換部６４は、逆量子化部６３からの直交変換係数を逆直交変換し、その結果得られる残差を、演算部６５に供給して、処理は、ステップＳ５７に進む。
ステップＳ５７では、演算部６５は、逆直交変換部６４からの残差と、選択部７３からの予測画像を加算することにより、復号画像を生成する。そして、演算部６５は、復号画像を、デブロックフィルタ３１ｂに供給して、処理は、ステップＳ５７からステップＳ５８に進む。
ステップＳ５８では、デブロックフィルタ３１ｂは、可逆復号部６２から供給される符号化情報に含まれるフィルタパラメータに従い、演算部６５からの復号画像に、デブロックフィルタを適用する。デブロックフィルタ３１Ｂは、デブロックフィルタの適用の結果得られるフィルタ画像を、適応オフセットフィルタ８１に供給して、処理は、ステップＳ５８からステップＳ５９に進む。
ステップＳ５９では、適応オフセットフィルタ８１は、可逆復号部６２から供給される符号化情報に含まれるフィルタパラメータに従い、デブロックフィルタ３１ｂからのフィルタ画像に、適応オフセットフィルタを適用する。適応オフセットフィルタ８１は、適応オフセットフィルタの適用の結果得られるフィルタ画像を、ALF８２に供給して、処理は、ステップＳ５９からステップＳ６０に進む。
ALF８２は、適応オフセットフィルタ８１からのフィルタ画像に、ALFを適用し、その結果得られるフィルタ画像を、並べ替えバッファ６７及びフレームメモリ６９に供給して、処理は、ステップＳ６１に進む。
ステップＳ６１では、フレームメモリ６９は、ALF８２から供給されるフィルタ画像を一時記憶し、処理は、ステップＳ６２に進む。フレームメモリ６９に記憶されたフィルタ画像（復号画像）は、ステップＳ５３のイントラ予測処理又はインター動き予測処理で、予測画像を生成する元となる参照画像として使用される。
ステップＳ６２では、並べ替えバッファ６７は、ALF８２から供給されるフィルタ画像を、表示順に並べ替えて、D/A変換部６８に供給し、処理は、ステップＳ６３に進む。
ステップＳ６３では、D/A変換部６８は、並べ替えバッファ６７からのフィルタ画像をD/A変換し、処理は、復号処理は終了する。D/A変換後のフィルタ画像（復号画像）は、図示せぬディスプレイに出力されて表示される。
＜デブロックフィルタ３１ａの構成例＞
図１２は、デブロックフィルタ（ＤＦ）３１ａの構成例を示すブロック図である。
なお、デブロックフィルタ３１ｂは、デブロックフィルタ３１ａと同様に構成される。
図１２において、デブロックフィルタ３１ａは、境界強度設定部２６１、判定部３１０、フィルタリング部３２０、ラインバッファ３３０、及び、制御部３４０を有する。
境界強度設定部２６１は、復号画像のブロック境界を対象とし、ブロック境界に隣接する隣接ブロックの特性に応じて、ｂＳ（境界強度）を設定する。
境界強度設定部２６１は、復号画像の輝度成分については、ブロック境界と直交する４ラインに対応するブロック境界を、部分ブロック境界として、部分ブロック境界に、ｂＳを設定する。また、境界強度設定部２６１は、復号画像の色差成分については、例えば、ＹＵＶ４２０フォーマットの信号がｂＳの設定対象である場合、輝度成分の４ラインに対応する色差成分の２ラインに対応するブロック境界を、部分ブロック境界として、部分ブロック境界に、ｂＳを設定する。
ｂＳの設定は、例えば、隣接ブロック内の画素に関する画素関連パラメータを、部分ブロック境界に隣接する隣接ブロックの特性を表すパラメータとして用いて行われる。
画素関連パラメータには、輝度関連パラメータと色差関連パラメータとがある。
輝度関連パラメータ及び色差関連パラメータとは、輝度及び色差に関連するパラメータ全般をそれぞれ意味する。例えば、輝度関連パラメータ及び色差関連パラメータは、ＴＵ（Transform Unit）や、ＰＵ（Prediction Unit）、ＣＵ（Coding Unit）、その他の任意のブロックに含まれる輝度成分及び色差成分の直交変換係数（量子化係数）をそれぞれ含み得る。さらに、輝度関連パラメータ及び色差関連パラメータは、各ブロックにおける輝度成分及び色差成分の有意係数（非ゼロの直交変換係数）の有無を示すフラグ等、輝度成分及び色差成分の直交変換係数に関する情報をそれぞれ含み得る。輝度関連パラメータ及び色差関連パラメータは、かかる例に限定されず、それぞれ、輝度及び色差に関連する多様なパラメータであり得る。
境界強度設定部２６１がｂＳの設定に用いる画素関連パラメータは、ブロック境界がグリッドに位置するブロックにおける輝度成分及び色差成分（Ｕ及びＶ）それぞれの有意係数の有無を示すフラグ等を含む。境界強度設定部２６１には、かかる画素関連パラメータが、制御部３４０から供給される。
その他、制御部３４０から境界強度設定部２６１には、隣接ブロックがISPに設定されているかどうかや、ISPに設定された隣接ブロックを分割したサブブロックのブロックサイズ等の情報が、隣接ブロックの特性を表すパラメータとして供給される。
境界強度設定部２６１は、制御部３４０からの、隣接ブロックの特性を表すパラメータ等に応じて、ｂＳを設定する。境界強度設定部２６１は、ｂＳを、判定部３１０に供給する。
なお、ｂＳの設定方法は、例えば、参照文献REF4に記載されている方法、その他の任意の方法を採用することができる。また、ｂＳとしては、境界強度を表す任意の値を採用することができる。ここでは、ｂＳとして、境界強度を３段階に分ける値０，１，２を採用し、境界強度が強くなるほど、ｂＳは、大きな値をとることとする。
判定部３１０は、適用要否判定部３１１及びフィルタ強度判定部３１２を有し、フィルタ判定を行う。
適用要否判定部３１１には、境界強度設定部２６１からｂＳが供給される。また、適用要否判定部３１１には、デブロックフィルタ３１ａの外部（図８の演算部３０や図１０の演算部６５）やラインバッファ３３０から復号画像が供給される。
適用要否判定部３１１は、境界強度設定部２６１からのｂＳ、さらには、デブロックフィルタ３１ａの外部やラインバッファ３３０からの復号画像等を用いて、適用要否判定を行う。
適用要否判定部３１１は、適用要否判定の判定結果を、フィルタ強度判定部３１２に供給する。
フィルタ強度判定部３１２には、適用要否判定部３１１から適用要否判定の判定結果が供給される他、デブロックフィルタ３１ａの外部やラインバッファ３３０から復号画像が供給される。
フィルタ強度判定部３１２は、適用要否判定部３１１からの適用要否判定の判定結果が、デブロックフィルタを適用する旨を表している場合、デブロックフィルタ３１ａの外部やラインバッファ３３０からの復号画像を用いて、復号画像に適用されるデブロックフィルタのフィルタ強度を判定するフィルタ強度判定を行う。そして、フィルタ強度判定部３１２は、フィルタ強度判定の判定結果を、フィルタ判定の判定結果として、フィルタリング部３２０に供給する。
デブロックフィルタ３１ａにおいて、復号画像に適用されるデブロックフィルタのフィルタタイプに、例えば、ウイークフィルタ、ストロングフィルタ、及び、ロングフィルタの３つのフィルタタイプがある場合、フィルタ強度の判定結果は、ウイークフィルタ、ストロングフィルタ、及び、ロングフィルタを表す。
ここで、ストロングフィルタは、ウイークフィルタよりもタップ数が多く、フィルタ強度が強いフィルタである。ロングフィルタは、ストロングフィルタよりもタップ数が多く、フィルタ強度が強いフィルタである。
また、フィルタ強度判定部３１２は、適用要否判定部３１１からの適用要否判定の判定結果が、デブロックフィルタを適用しない旨を表している場合、その適用要否判定の判定結果を、フィルタ判定の判定結果として、フィルタリング部３２０に供給する。
フィルタリング部３２０には、フィルタ強度判定部３１２からフィルタ判定の判定結果が供給される他、デブロックフィルタ３１ａの外部やラインバッファ３３０から復号画像が供給される。
フィルタリング部３２０は、判定部３１０（のフィルタ強度判定部３１２）からのフィルタ判定の判定結果が、デブロックフィルタを適用しない旨を表している場合、復号画像にデブロックフィルタを適用せずに、復号画像をそのまま出力する。
また、フィルタリング部３２０は、フィルタ強度判定部３１２からのフィルタ判定の判定結果がフィルタタイプ（ここでは、ウイークフィルタ、ストロングフィルタ、又は、ロングフィルタ）を表す場合、そのフィルタ判定の判定結果が表すフィルタタイプのデブロックフィルタを、復号画像に適用するフィルタ処理を行う。
すなわち、フィルタリング部３２０は、デブロックフィルタ３１ａの外部やラインバッファ３３０からの復号画像のうちの、フィルタ処理の対象となる画素である適用対象画素のフィルタ処理としてのフィルタ演算を、適用対象画素の近傍の画素を用いて行う。
フィルタリング部３２０は、適用対象画素のフィルタ処理により得られる画素値を、復号画像にデブロックフィルタを適用して得られるフィルタ画像（フィルタ処理後の復号画像）を構成するフィルタ画素の画素値として出力する。
ラインバッファ３３０には、デブロックフィルタ３１ａの外部から復号画像が供給される。ラインバッファ３３０は、デブロックフィルタ３１ａの外部からの復号画像（の画素値）を適宜記憶する。なお、ラインバッファ３３０は、所定のライン数（行数）分の画素値を記憶する記憶容量を有し、その記憶容量分の画素値を記憶すると、新たな画素値を、最も古い画素値に上書きする形で記憶する。
ここで、デブロックフィルタ３１ａが、例えば、復号画像を、ラスタスキャン順に処理することとする。
デブロックフィルタ３１ａでは、例えば、ＴＵ、ＰＵ、及び、ＣＵを統一したブロックを単位として処理が行われる。デブロックフィルタ３１ａでは、例えば、１行分等の複数のブロックをラスタスキャン順に処理する他、並列で処理することができる。
判定部３１０、及び、フィルタリング部３２０は、デブロックフィルタ３１ａの処理の対象となっているブロックである対象ブロックに含まれる水平方向のラインの画素値を記憶することができる容量の内部バッファを内蔵する。判定部３１０、及び、フィルタリング部３２０は、内部バッファに、対象ブロックに含まれる水平方向のラインの画素値を記憶し、その内部バッファに記憶された画素値を、必要に応じて用いて、対象ブロックの処理を行う。
対象ブロックの上側の水平ブロック境界に、デブロックフィルタ３１ａを適用する場合、対象ブロック内の画素の画素値と、対象ブロックの上側に隣接するブロック内の画素の画素値とが必要となることがある。
対象ブロック内の画素の画素値は、対象ブロックの処理時に、内部バッファに記憶されている。一方、対象ブロックの上側に隣接するブロック内の画素の画素値は、対象ブロック内の画素の画素値でないため、対象ブロックの処理時に、内部バッファに記憶されていない。
そこで、ラインバッファ３３０は、対象ブロックの上側に隣接するブロックに含まれる水平方向のラインのうちの、対象ブロックの上側の水平ブロック境界に、デブロックフィルタ３１ａを適用するのに必要なラインの画素（ラインに属する画素）の画素値を記憶する。デブロックフィルタ３１ａを適用するのに必要なラインの画素とは、フィルタ判定に用いられる画素や、フィルタ処理に用いられる画素である。
制御部３４０は、デブロックフィルタ３１ａを構成する各ブロックを制御する。また、制御部３４０は、ｂＳの設定に必要なパラメータ等を生成等することにより取得し、境界強度設定部２６１に供給する。
なお、本実施の形態では、デブロックフィルタ３１ａは、例えば、復号画像を、ラスタスキャン順に処理することとする。但し、デブロックフィルタ３１ａは、復号画像を、ラスタスキャン順以外の順で行うことができる。例えば、デブロックフィルタ３１ａは、復号画像を上から下方向に処理することを、左から右方向に繰り返すことができる。この場合、以下説明する水平（横）（左右）と垂直（縦）（上下）とは、逆になる（入れ替わる）。
＜ｂＳの設定方法＞
図１３は、境界強度設定部２６１のｂＳの設定方法の例を示す図である。
図１３において、P(p)及びQ(q)は、ブロック境界（サブブロック境界を含む）に隣接する２つのブロック（サブブロックを含む）のうちの一方のブロック内の画素、及び、他方のブロック内の画素を、それぞれ表す。
図１３によれば、ブロック境界（サブブロック境界を含む）に隣接する２つのブロック（サブブロックを含む）の特性に応じて、ｂＳが設定される。
例えば、図１３によれば、ブロック境界に隣接する２つのブロック（隣接ブロック）のうちの一方のブロック内の画素P、又は、他方のブロック内の画素Qが、イントラ予測モードのブロック（イントラ予測されるブロック）内の画素である場合、ｂＳは２に設定される。
また、例えば、図１３によれば、ISPに設定されたブロックを分割したサブブロックのサブブロック境界(Sub-Partition boundary)に隣接する２つのサブブロックのうちの一方のサブブロック内の画素P、又は、他方のサブブロック内の画素Qが、イントラ予測モードのブロック内の画素である場合、ｂＳは２に設定される。
したがって、図１３によれば、ISPに設定されたブロックを分割したサブブロックのサブブロック境界のｂＳとして、ブロック境界に隣接するブロックがイントラ予測モードのブロックである場合にブロック境界に設定されるｂＳと同一の２が設定される。
なお、ISPに設定されたブロックを分割したサブブロックのサブブロック境界に隣接する２つのサブブロック内の画素P又はQが、イントラ予測モードのブロック内の画素である場合、ｂＳは２ではなく、１に設定することができる。
また、ISPに設定されるブロックは、輝度成分（Ｙ）のブロックだけであり、色差成分（Ｕ及びＶ）のブロックは、ISPに設定されない。
図１３によれば、ＣＵ又はＴＵのブロック境界に隣接する２つのブロック内の画素Ｐ又はＱが、CIPP(Combined Intra and Inter Prediction mode)のブロック内の画素である場合、ｂＳは２に設定される。
さらに、図１３によれば、ブロック境界に隣接する２つのブロックの動きベクトルＭＶが異なる場合、及び、参照画像が異なる場合、ｂＳは１に設定される。なお、動きベクトルＭＶ又は参照画像が異なることにより、ｂＳを１に設定することは、輝度成分のブロックにだけ適用され、色差成分のブロックには適用されない。
また、図１３によれば、ＣＵ又はＴＵのブロック境界に隣接するブロックに、１個以上の有意係数（非ゼロの直交変換係数）が存在する場合、ｂＳは１に設定される。
さらに、例えば、図１３によれば、ブロック境界に隣接する２つのブロック内の画素Ｐ又はＱが、CIPPのブロック内の画素である場合、ｂＳは１に設定される。
以上のいずれにも該当しない場合、ｂＳは０に設定される。
＜デブロックフィルタ３１ａの処理＞
図１４は、デブロックフィルタが適用され得るブロック境界を判定するブロック境界判定処理の例を説明するフローチャートである。
ブロック境界判定処理は、デブロックフィルタ３１ａ（図１２）において、境界強度設定部２６１が、ｂＳを設定する前に行う。
ステップＳ１１１において、境界強度設定部２６１は、グリッドに位置するブロック境界（サブブロック境界を含む）におけるフィルタ判定を行う際の処理単位である部分ブロック境界が、ＴＵのブロック境界であるかどうかを判定する。
ステップＳ１１１において、部分ブロック境界が、ＴＵのブロック境界であると判定された場合、処理は、ステップＳ１１２に進み、境界強度設定部２６１は、部分ブロック境界が、ＣＵのブロック境界であるかどうかを判定する。
ステップＳ１１２において、部分ブロック境界が、ＣＵのブロック境界でないと判定された場合、処理は、ステップＳ１１３に進み、境界強度設定部２６１は、部分ブロック境界が、サブブロック境界であると判定し、ブロック境界判定処理は終了する。
また、ステップＳ１１２において、部分ブロック境界が、ＣＵのブロック境界であると判定された場合、処理は、ステップＳ１１４に進み、境界強度設定部２６１は、部分ブロック境界が、ブロック境界であると判定し、ブロック境界判定処理は終了する。
一方、ステップＳ１１１において、部分ブロック境界が、ＴＵのブロック境界でないと判定された場合、処理は、ステップＳ１１５に進み、境界強度設定部２６１は、部分ブロック境界が、ＰＵのブロック境界であるかどうかを判定する。
ステップＳ１１５において、部分ブロック境界が、ＰＵのブロック境界でないと判定された場合、ブロック境界判定処理は終了する。
また、ステップＳ１１５において、部分ブロック境界が、ＰＵのブロック境界であると判定された場合、処理は、ステップＳ１１６に進み、境界強度設定部２６１は、部分ブロック境界が、ＣＵのブロック境界であるかどうかを判定する。
ステップＳ１１６において、部分ブロック境界が、ＣＵのブロック境界であると判定された場合、処理は、ステップＳ１１７に進み、境界強度設定部２６１は、部分ブロック境界が、ブロック境界であると判定し、ブロック境界判定処理は終了する。
また、ステップＳ１１６において、部分ブロック境界が、ＣＵのブロック境界でないと判定された場合、処理は、ステップＳ１１８，Ｓ１１９、及び、Ｓ１２０に進む。
ステップＳ１１８では、境界強度設定部２６１は、部分ブロック境界に隣接する隣接ブロックの予測モードがイントラ予測モードで、そのインター予測モードがアフィン又はマージ、かつ、ATMVP(advanced temporal motion vector prediction)であるかどうかを判定する。
ステップＳ１１９では、境界強度設定部２６１は、部分ブロック境界に隣接する隣接ブロックの予測モードがイントラ予測モードで、そのインター予測モードがCIIPであるかどうかを判定する。
ステップＳ１２０では、境界強度設定部２６１は、部分ブロック境界に隣接する隣接ブロックがISPに設定されているかどうかを判定する。
ステップＳ１１８ないしＳ１２０の判定結果が、いずれも偽である場合、ブロック境界判定処理は終了する。
ステップＳ１１８の判定結果が真である場合、処理は、ステップＳ１２１に進み、境界強度設定部２６１は、部分ブロック境界が、サブブロック境界であると判定し、ブロック境界判定処理は終了する。
ステップＳ１１９の判定結果が真である場合、処理は、ステップＳ１２２に進み、境界強度設定部２６１は、部分ブロック境界が、ブロック境界であると判定し、ブロック境界判定処理は終了する。
ステップＳ１２０の判定結果が真である場合、処理は、ステップＳ１２３に進み、境界強度設定部２６１は、部分ブロック境界に隣接する隣接ブロックの、部分ブロック境界と直交する方向のサイズが４画素以上であるかどうかを判定する。
ステップＳ１２３において、部分ブロック境界に隣接する隣接ブロックの、部分ブロック境界と直交する方向のサイズが４画素以上でないと判定された場合、ブロック境界判定処理は終了する。
また、ステップＳ１２３において、部分ブロック境界に隣接する隣接ブロックの、部分ブロック境界と直交する方向のサイズが４画素以上であると判定された場合、処理は、ステップＳ１２４に進む。ステップＳ１２４では、境界強度設定部２６１は、部分ブロック境界が、サブブロック境界であると判定し、ブロック境界判定処理は終了する。
ブロック境界判定処理において、ブロック境界又はサブブロック境界であると判定されなかった部分ブロック境界については、デブロックフィルタは適用されず、デブロックフィルタ３１ａにおいて以降の処理は行われない。
一方、ブロック境界又はサブブロック境界であると判定された部分ブロック境界については、デブロックフィルタが適用され得るとして、デブロックフィルタ３１ａにおいてｂＳの設定、フィルタ判定、及び、フィルタ処理が行われる。
図１５は、ブロック境界判定処理においてサブブロック境界であると判定された部分ブロック境界を対象として行われるデブロックフィルタ３１ａの処理の例を説明するフローチャートである。
ステップＳ１５１では、境界強度設定部２６１は、ブロック境界判定処理においてサブブロック境界であると判定された部分ブロック境界のｂＳを、図１３で説明した設定方法に従って設定（算出）する。境界強度設定部２６１は、部分ブロック境界のｂＳを、判定部３１０に供給し、処理は、ステップＳ１５１からステップＳ１５２に進む。
ステップＳ１５２では、判定部３１０は、部分ブロック境界のｂＳが０より大である（１又は２である）かどうかを判定し、０より大でないと判定した場合、すなわち、０である場合、処理は、ステップＳ１６３に進む。
また、ステップＳ１５２において、部分ブロック境界のｂＳが０より大であると判定された場合、すなわち、１又は２である場合、処理は、ステップＳ１５３に進む。
ステップＳ１５３では、判定部３１０は、ISPに設定されたブロックを分割したサブブロックのうちの、部分ブロック境界に隣接する隣接サブブロックのブロックサイズが判定される。
ステップＳ１５３において、隣接サブブロックのブロックサイズが、８×Ｎ以上又はＮ×８以上であると判定された場合、すなわち、部分ブロック境界と直交する方向の隣接サブブロックのサイズが８画素以上である場合、処理は、ステップＳ１５４に進む。
ステップＳ１５４では、判定部３１０は、ロングデブロッキングオンオフ判定を行う。
ステップＳ１５４のロングデブロッキングオンオフ判定の判定結果が真である場合、処理は、ステップＳ１５５に進み、判定部３１０は、ロングデブロッキング傾斜判定を行う。
ステップＳ１５５のロングデブロッキング傾斜判定が真である場合、処理は、ステップＳ１５６に進み、判定部３１０は、ロングフィルタを適用すると判定し、ロングフィルタの適用を設定する。そして、フィルタリング部３２０は、部分ブロック境界にロングフィルタを適用するフィルタ処理を行い、処理は終了する。
一方、ステップＳ１５４のロングデブロッキングオンオフ判定の判定結果が偽であるか、又は、ステップＳ１５５のロングデブロッキング傾斜判定が偽である場合、処理は、ステップＳ１５７に進む。
ステップＳ１５７では、判定部３１０は、HEVCデブロッキングオン／オフ判定を行い、処理は、ステップＳ１５８に進む。
ステップＳ１５８では、判定部３１０は、ストロングフィルタ判定を行う。
ステップＳ１５８のストロングフィルタ判定が真である場合、処理は、ステップＳ１５９に進み、判定部３１０は、ストロングフィルタを適用すると判定し、ストロングフィルタの適用を設定する。そして、フィルタリング部３２０は、部分ブロック境界にストロングフィルタを適用するフィルタ処理を行い、処理は終了する。
また、ステップＳ１５８のストロングフィルタ判定が偽である場合、処理は、ステップＳ１６１に進む。
一方、ステップＳ１５３において、部分ブロック境界と直交する方向の隣接サブブロックのサイズが８画素以上でないと判定された場合、処理は、ステップＳ１６０に進む。
ステップＳ１６０では、判定部３１０は、ISPに設定されたブロックを分割したサブブロックのうちの、部分ブロック境界に隣接する隣接サブブロックのブロックサイズが判定される。
ステップＳ１５０において、隣接サブブロックのブロックサイズが、４×Ｎ又はＮ×４であると判定された場合、すなわち、部分ブロック境界と直交する方向の隣接サブブロックのサイズが４画素である場合、処理は、ステップＳ１６１に進む。
ステップＳ１６１では、判定部３１０は、ウイークフィルタ判定を行う。
ステップＳ１６１のウイークフィルタ判定が偽である場合、処理は、ステップＳ１６３に進む。
ステップＳ１６１のウイークフィルタ判定が真である場合、処理は、ステップＳ１６２に進み、判定部３１０は、ウイークフィルタを適用すると判定し、ウイークフィルタの適用を設定する。そして、フィルタリング部３２０は、部分ブロック境界にウイークフィルタを適用するフィルタ処理を行い、処理は終了する。
一方、ステップＳ１６０において、部分ブロック境界と直交する方向の隣接サブブロックのサイズが４画素でないと判定された場合、処理は、ステップＳ１６３に進む。ステップＳ１６３では、判定部３１０は、デブロックフィルタを適用しないと判定し、フィルタリング部３２０は、部分ブロック境界（に直交するラインの画素）に、デブロックフィルタを適用せずに、処理は終了する。
したがって、部分ブロック境界と直交する方向の隣接サブブロックのサイズが４画素未満である場合、すなわち、垂直方向の部分ブロック境界に隣接する隣接サブブロックのブロックサイズが１×Ｎ若しくは２×Ｎであるか、又は、水平方向の部分ブロック境界に隣接する隣接サブブロックのブロックサイズがＮ×１若しくはＮ×２である場合、デブロックフィルタの適用は制限される（デブロックフィルタは適用されない）。
図１５によれば、デブロックフィルタ３１ａにおいて、ISPに設定されたブロックを分割したサブブロックのサブブロック境界について、サブブロック境界に隣接する隣接サブブロックのブロックサイズが、８×Ｎ又はＮ×８以上であるかどうか、すなわち、サブブロック境界と直交する方向のサブブロックのサイズが８画素以上であるかどうかが判定される。そして、サブブロック境界と直交する方向のサブブロックのサイズが８画素以上である場合、ロングフィルタ、ストロングフィルタ、及び、ウイークフィルタのうちのいずれかが適用され得る。
また、図１５によれば、デブロックフィルタ３１ａにおいて、ISPに設定されたブロックを分割したサブブロックのサブブロック境界について、サブブロック境界に隣接する隣接サブブロックのブロックサイズが、８×Ｎ以上でもなく、Ｎ×８以上でもない場合、４×Ｎ又はＮ×４であるかどうか、すなわち、サブブロック境界と直交する方向のサブブロックのサイズが４画素であるかどうかが判定される。そして、サブブロック境界と直交する方向のサブブロックのサイズが４画素である場合、ウイークフィルタが適用され得る。
さらに、図１５によれば、サブブロック境界に隣接する隣接サブブロックのブロックサイズが、８×Ｎ以上でもなく、Ｎ×８以上でもない場合であって、かつ、４×Ｎでもなく、Ｎ×４でもない場合、すなわち、サブブロック境界と直交する方向のサブブロックのサイズが４画素未満である場合、デブロックフィルタの適用が制限される。
したがって、デブロックフィルタ３１ａでは、ISPに設定されたブロックを分割したサブブロックのサブブロック境界について、そのサブブロック境界に隣接する隣接サブブロックのブロックサイズに応じて、デブロックフィルタを適用するかが判定されている、ということができる。
さらに、隣接サブブロックのブロックサイズに応じて、適用するデブロックフィルタのフィルタタイプ（ロングフィルタ、ストロングフィルタ、及び、ウイークフィルタ）が設定（判定）されている、ということができる。
＜その他＞
（本技術の適用対象）
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
（ブロック）
また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、及び特性等は限定されない。例えば、「ブロック」には、参照文献REF１〜REF３等に記載のTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、又はスライス等、任意の部分領域（処理単位）が含まれるものとする。
（処理単位）
以上において説明した各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、又はコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
（制御情報）
以上において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（又は禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（又は適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（又は、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、又はその両方）、フレーム、コンポーネント、又はレイヤ等を指定する制御情報を伝送するようにしてもよい。
（ブロックサイズ情報）
本技術を適用するブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比又は差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
（その他）
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)又は偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連付けられていれば、どのような形態で伝送又は記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
本技術は、装置又はシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
＜本技術を適用したコンピュータの説明＞
次に、上述した一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図１６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１０ 画像処理システム， １１ エンコーダ， ２１ A/D変換部， ２２ 並べ替えバッファ２２， ２３ 演算部， ２４ 直交変換部， ２５ 量子化部， ２６ 可逆符号化部， ２７ 蓄積バッファ， ２８ 逆量子化部， ２９ 逆直交変換部， ３０ 演算部， ３１ａ，３１ｂ デブロックフィルタ， ３２ フレームメモリ， ３３ 選択部， ３４ イントラ予測部， ３５ 動き予測補償部， ３６ 予測画像選択部， ３７ レート制御部， ４１ 適応オフセットフィルタ， ４２ ALF， ５１ デコーダ， ６１ 蓄積バッファ， ６２ 可逆復号部， ６３ 逆量子化部， ６４ 逆直交変換部， ６５ 演算部， ６７ 並べ替えバッファ， ６８ D/A変換部， ６９ フレームメモリ， ７０ 選択部， ７１ イントラ予測部， ７２ 動き予測補償部， ７３ 選択部， ８１ 適応オフセットフィルタ， ８２ ALF， ２６１ 境界強度設定部， ３１０ 判定部， ３１１ 適用要否判定部， ３１２ フィルタ強度判定部， ３２０ フィルタリング部， ３３０ ラインバッファ， ３４０ 制御部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

Claims (10)

  1. 変換ブロックと予測ブロックと符号化ブロックとが統一された階層構造を有するブロック構造に従って、ビットストリームを復号して復号画像を生成する復号部と、
    前記復号部により生成された復号画像の前記変換ブロックを分割したサブブロックの境界であるサブブロック境界と直交するラインの画素に、デブロックフィルタを適用するフィルタ部と
    を備える画像処理装置。
  2. 前記フィルタ部は、前記サブブロック境界を挟んで隣接する隣接サブブロックの特性に応じて設定された境界強度に応じて、前記サブブロック境界と直交するラインの画素に、前記デブロックフィルタを適用する
    請求項１に記載の画像処理装置。
  3. 前記フィルタ部は、イントラ予測が行われる前記変換ブロックを分割したサブブロックの前記サブブロック境界と直交するラインの画素に、前記デブロックフィルタを適用する
    請求項２に記載の画像処理装置。
  4. 前記フィルタ部は、イントラ予測が行われる前記変換ブロックのブロック境界と同一の境界強度に設定された境界強度に応じて、前記サブブロック境界と直交するラインの画素に、前記デブロックフィルタを適用する
    請求項３に記載の画像処理装置。
  5. 前記サブブロックのブロックサイズに応じて、前記デブロックフィルタを適用するかを判定する判定部をさらに備え、
    前記フィルタ部は、前記判定部により前記デブロックフィルタを適用すると判定された場合、前記サブブロックの前記サブブロック境界と直交するラインの画素に、前記デブロックフィルタを適用する
    請求項３に記載の画像処理装置。
  6. 前記フィルタ部は、前記サブブロックのブロックサイズに応じて設定されたフィルタタイプの前記デブロックフィルタを適用する
    請求項５に記載の画像処理装置。
  7. 前記フィルタ部は、１のサブブロック境界で前記デブロックフィルタが適用される適用対象画素の中に、他のサブブロック境界での前記デブロックフィルタの適用で参照される画素が含まれないように、前記デブロックフィルタを適用する
    請求項５に記載の画像処理装置。
  8. 変換ブロックと予測ブロックと符号化ブロックとが統一された階層構造を有するブロック構造に従って、ビットストリームを復号して復号画像を生成することと、
    前記復号画像の前記変換ブロックを分割したサブブロックの境界であるサブブロック境界と直交するラインの画素に、デブロックフィルタを適用することと
    を含む画像処理方法。
  9. 画像を変換ブロックと予測ブロックと符号化ブロックとが統一された階層構造を有するブロック構造に従って符号化する際にローカル復号されたローカル復号画像の、イントラ予測が行われる前記変換ブロックを分割したサブブロックの境界であるサブブロック境界と直交するラインの画素に、デブロックフィルタを適用してフィルタ画像を生成するフィルタ部と、
    前記フィルタ部により生成されたフィルタ画像を用いて、前記画像を符号化する符号化部と
    を備える画像処理装置。
  10. 画像を変換ブロックと予測ブロックと符号化ブロックとが統一された階層構造を有するブロック構造に従って符号化する際にローカル復号されたローカル復号画像の、イントラ予測が行われる前記変換ブロックを分割したサブブロックの境界であるサブブロック境界と直交するラインの画素に、デブロックフィルタを適用してフィルタ画像を生成することと、
    前記フィルタ画像を用いて、前記画像を符号化することと
    を含む画像処理方法。
JP2021501897A 2019-02-27 2020-02-13 画像処理装置及び画像処理方法 Active JP7444159B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024025254A JP2024045713A (ja) 2019-02-27 2024-02-22 画像処理装置及び画像処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962811126P 2019-02-27 2019-02-27
US62/811,126 2019-02-27
PCT/JP2020/005472 WO2020175145A1 (ja) 2019-02-27 2020-02-13 画像処理装置及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024025254A Division JP2024045713A (ja) 2019-02-27 2024-02-22 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2020175145A1 true JPWO2020175145A1 (ja) 2021-12-23
JP7444159B2 JP7444159B2 (ja) 2024-03-06

Family

ID=72238942

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021501897A Active JP7444159B2 (ja) 2019-02-27 2020-02-13 画像処理装置及び画像処理方法
JP2024025254A Pending JP2024045713A (ja) 2019-02-27 2024-02-22 画像処理装置及び画像処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024025254A Pending JP2024045713A (ja) 2019-02-27 2024-02-22 画像処理装置及び画像処理方法

Country Status (7)

Country Link
US (1) US20220174276A1 (ja)
EP (1) EP3934256A4 (ja)
JP (2) JP7444159B2 (ja)
KR (1) KR20210130716A (ja)
CN (1) CN113491133A (ja)
TW (1) TW202041013A (ja)
WO (1) WO2020175145A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113302922A (zh) * 2019-02-15 2021-08-24 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
CN114270848A (zh) * 2019-08-23 2022-04-01 北京字节跳动网络技术有限公司 在去方块滤波中使用边界强度
EP3985486B1 (en) * 2020-10-13 2024-04-17 Hiroyuki Ikeda Glasses-type terminal

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY191783A (en) * 2010-04-13 2022-07-15 Samsung Electronics Co Ltd Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
WO2014107709A2 (en) * 2013-01-07 2014-07-10 Vid Scale, Inc. Enhanced deblocking filters for video coding
CN109845255A (zh) * 2016-10-03 2019-06-04 夏普株式会社 用于将解块滤波器应用于重构视频数据的系统和方法
WO2019137751A1 (en) * 2018-01-10 2019-07-18 Telefonaktiebolaget Lm Ericsson (Publ) Determining filter length for deblocking during encoding and/or decoding of video
US10904555B2 (en) * 2018-07-11 2021-01-26 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
JP2024045713A (ja) 2024-04-02
TW202041013A (zh) 2020-11-01
EP3934256A1 (en) 2022-01-05
EP3934256A4 (en) 2022-03-09
US20220174276A1 (en) 2022-06-02
KR20210130716A (ko) 2021-11-01
WO2020175145A1 (ja) 2020-09-03
JP7444159B2 (ja) 2024-03-06
CN113491133A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
KR102287779B1 (ko) 해시 기반의 블록 매칭의 결과에 기초한 인코더 결정
US10567754B2 (en) Hash table construction and availability checking for hash-based block matching
KR20130056183A (ko) 다중-레벨 유효성 맵 스캐닝
JP7444159B2 (ja) 画像処理装置及び画像処理方法
KR102625986B1 (ko) 인트라 서브파티션 코딩 툴로 인한 서브파티션 경계를 위한 디블로킹 필터
EP2876883B1 (en) Multi-level significance maps for encoding and decoding
KR20210107889A (ko) 인코더, 디코더 및 디블로킹 필터 적응 방법
JP2023101812A (ja) 画像処理装置、及び画像処理方法
WO2020255769A1 (ja) 画像処理装置及び画像処理方法
JP2024023856A (ja) 画像処理装置および方法
WO2021125317A1 (ja) 画像処理装置及び画像処理方法
CN116389755A (zh) 一种图像解码方法、编码方法及装置
WO2021060262A1 (ja) 画像処理装置および画像処理方法
US20220078416A1 (en) Image processing device and image processing method
CN113170206A (zh) 图像处理装置和图像处理方法
WO2020262370A1 (ja) 画像処理装置および画像処理方法
WO2021054437A1 (ja) 画像処理装置および画像処理方法
WO2021125316A1 (ja) 画像処理装置および画像処理方法
WO2021060484A1 (ja) 画像処理装置および画像処理方法
WO2023083245A1 (zh) 解码方法、编码方法及装置
WO2021054438A1 (ja) 画像処理装置および画像処理方法
KR20240074918A (ko) 인코더, 디코더 및 디블로킹 필터 적응 방법
CN116668705A (zh) 一种图像解码方法、编码方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240205

R151 Written notification of patent or utility model registration

Ref document number: 7444159

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151