JP2024060091A - 画像強調方法及び装置 - Google Patents

画像強調方法及び装置 Download PDF

Info

Publication number
JP2024060091A
JP2024060091A JP2024042283A JP2024042283A JP2024060091A JP 2024060091 A JP2024060091 A JP 2024060091A JP 2024042283 A JP2024042283 A JP 2024042283A JP 2024042283 A JP2024042283 A JP 2024042283A JP 2024060091 A JP2024060091 A JP 2024060091A
Authority
JP
Japan
Prior art keywords
filtering
pixel value
level
emphasis
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024042283A
Other languages
English (en)
Inventor
方▲棟▼ ▲陳▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Publication of JP2024060091A publication Critical patent/JP2024060091A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】本発明は、画像強調方法及び装置を提供する。【解決手段】本発明は、画像強調方法及び装置を提供し、当該画像強調方法は、第１フィルタリング処理条件を満たすカレントブロックの任意の画素点について、第１フィルタリング処理後の当該画素点の第１画素値を決定するステップと、前記第１画素値と前記第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理し、強調処理後の当該画素点の第３画素値を取得するステップと、を含む。【選択図】図４

Description

本発明はビデオの符号化復号技術に関し、特に画像強調方法及び装置に関する。
完全なビデオ符号化には通常、予測、変換、量子化、エントロピー符号化、およびフィルタリングなどの操作が含まれる。
現在、標準で採用されている一般的なフィルタリング技術には、デブロッキングフィルタ（ＤｅＢｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ、ＤＢＦ）技術、サンプル適応オフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ、ＳＡＯ）技術、適応ループフィルタ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ、ＡＬＦ）技術などがある。
ＤＢＦ技術はブロック符号化によって生じるブロッキングアーチファクトを除去するために用いられる。ＳＡＯ技術はサンプルの画素値と周辺ブロックの勾配値に基づいて分類を行い、各カテゴリの画素値に異なる補償値を加えることによって、再構成画像を元の画像に近づける。ＡＬＦ技術はウィナーフィルタを介して再構成画像に強調フィルタリングを行い、再構成画像を元の画像に近づける。
上述したＤＢＦ、ＳＡＯ、及びＡＬＦのフィルタリング技術は、いずれもカレント画素値またはカレント画素値と周辺画素値との関係に基づいて分類を行い、さらに異なるカテゴリに基づいて異なるフィルタリング操作を行うため、過剰フィルタリングが生じることがあり、すなわちフィルタリング後の画素値は、フィルタリング前の画素値よりはるかに大きく、またははるかに小さく、元の画素値よりもはるかに大きく、または小さい。
そこで、本発明は、画像強調方法及び装置を提供する。
具体的に、本発明は以下の技術的解決手段によって実現される：本発明の実施例の第１の態様により、画像強調方法を提供し、第１フィルタリング処理条件を満たすカレントブロックの任意の画素点について、第１フィルタリング処理後の当該画素点の第１画素値を決定するステップと、前記第１画素値と前記第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理し、強調処理後の当該画素点の第３画素値を取得するステップと、を含む。
本発明の実施例の第２の態様により、画像強調装置を提供し、プロセッサと、通信インタフェースと、メモリと、通信バスとを備え、ただし、プロセッサ、通信インタフェース、メモリは、通信バスを介して互いに通信を行われ、前記メモリには、コンピュータプログラムが格納され、前記プロセッサは、前記コンピュータプログラムにより、第１フィルタリング処理条件を満たすカレントブロックの任意の画素点について、第１フィルタリング処理後の当該画素点の第１画素値を決定するステップと、前記第１画素値と前記第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理し、強調処理後の当該画素点の第３画素値を取得するステップと、を実行する。
本発明の実施例の画像強調方法は、第１フィルタリング処理条件を満たすカレント画像ブロックの任意の画素点について、第１フィルタリング処理後の当該画素点の第１画素値を決定し、第１画素値と第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理し、強調処理後の当該画素点の第３画素値を取得することによって、画質を向上させ、符号化・復号性能を向上させた。
本発明の例示的な実施例に示されるブロック分割の模式図である。 本発明の例示的な実施例に示されるブロック分割の模式図である。 本発明の例示的な実施例に示される符号化、復号方法の模式図である。 本発明の例示的な実施例に示されるＤＢＦフィルタリング画素の模式図である。 本発明の例示的な実施例に示される画像強調方法のフローチャートである。 本発明の例示的な実施例に示される画像強調装置のハードウェア構造の模式図である。 本発明の例示的な実施例に示される画像強調装置の機能構造の模式図である。 本発明の例示的な実施例に示される別の画像強調装置の機能構造の模式図である。
ここで例示的な実施例について詳細的に説明し、その例示は図面に示している。以下の説明は図面に係る時、特に示さない限り、異なる図面における同じ数字は同じ又は類似する要素を示す。以下の例示的な実施例に記載された実施例は本発明と一致する全ての実施例ではない。逆に、それらは添付の特許請求の範囲で詳細に説明された、本発明のいくつかの態様と一致する装置及び方法の例に過ぎない。
本発明の実施例で使用された用語は特定の実施例を説明するための目的のみであり、本発明を限定するものではない。文脈が明らかに他の意味を示さない限り、本発明の実施例と特許請求の範囲に使用される単数形の「一種」、「前記」及び「当該」は複数形を含むことも意図する。
当業者が本発明の実施例によって提供される技術的な解決手段をよりよく理解できるように、先ず、本発明の実施例に関わるいくつかの技術用語及び既存のビデオの符号化、復号の主なプロセスについて、簡単に説明する。
一、技術用語
１、レート歪み最適化（Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚｅｄ、ＲＤＯ）手法：符号化の効率を評価する指標は、ビットレートと、ピーク信号対雑音比（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ、ＰＳＮＲ）とを含む。ビットレートが小さいほど圧縮率が高く、ＰＳＮＲが大きいほど再構成された画像の品質が高い。符号化モードを選択する時に、判別式は実質的に両者を合わせた評価である。モードに対応するコスト（ｃｏｓｔ）：Ｊ（ｍｏｄｅ）＝Ｄ＋λ＊Ｒとなり、ただし、Ｄは歪み（Ｄｉｓｔｏｒｔｉｏｎ）を表し、一般にＳＳＥ（Ｓｕｍ ｏｆ ｔｈｅ Ｓｑｕａｒｅｄ Ｅｒｒｏｒｓ、残差平方和）指標を用いて評価することができ、ＳＳＥは、再構成画像ブロックとソース画像の差の平均二乗和を指し、λはラグランジュ乗数であり、Ｒは、当該モードにおいて画像ブロックを符号化するのに必要な実際のビット数であり、符号化モード情報、動き情報、残差などに必要なビットの総数を含む。モードを選択するとき、ＲＤＯ手法を用いて符号化モードについての比較決定をすると、一般に最適な符号化性能が保証できる。
２、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）：このセットには、シーケンスにおいて、特定のツール（方法）のオン・オフを許可するかどうかを決定するフラグビットが存在する。このフラグビットが１の場合、当該ビデオシーケンスにおいて、対応するツール（方法）のオンが許可され、それ以外の場合は、当該ツール（方法）は当該シーケンスの符号化中にオンにすることができない。
３、画像パラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＰＰＳ）：このセットには、あるフレーム画像において、特定のツール（方法）のオン・オフを許可するかどうかを決定するフラグビットが存在する。このフラグビットが１の場合、当該フレーム画像において、対応するツール（方法）のオンが許可され、それ以外の場合は、当該ツール（方法）は当該フレーム画像の符号化中にオンにすることができない。
４、画像ヘッダ（ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）：特定のフレーム画像に対しての共通する情報である。
５、スライスヘッダ（Ｓｌｉｃｅ ｈｅａｄｅｒ）：一つのフレーム画像には１つ以上のｓｌｉｃｅが含まれ、スライスヘッダ情報には、特定のｓｌｉｃｅにおいて、特定のツール（方法）のオン・オフを許可するかどうかを決定するフラグビットが存在する。このフラグビットが１の場合、当該ｓｌｉｃｅにおいて、対応するツール（方法）のオンが許可され、それ以外の場合は、当該ツール（方法）は当該ｓｌｉｃｅの符号化中にオンにすることができない。
６、ＳＡＯフィルタリング：リンギングアーチファクトを除去するために用いられる。リンギングアーチファクトとは、高周波交流係数の量子化歪みにより、復号後にエッジの周辺にリップルが発生する現象のことであり、変換ブロックのサイズが大きいほどリンギングアーチファクトは顕著になる。ＳＡＯの基本原理は、再構成曲線のピーク画素に負の値を加えることで補償を行い、トラフ画素に正の値を加えることで補償を行うことである。ＳＡＯはＣＴＵを基本の単位とし、二つの大きな補償方式であるエッジオフセット（エッジオフセット、ＥＯ）とバンドオフセット（Ｂａｎｄ Ｏｆｆｓｅｔ、ＢＯ）が含まれ、さらにパラメータ融合技術も導入されている。
７、ＡＬＦフィルタリング：元の信号と歪み信号とに基づいて、計算で得られた平均二乗法における最適なフィルタ、つまり、ウィナーフィルタである。ＡＬＦのフィルタは、通常７ｘ７または５ｘ５の菱形のフィルタである。
二、既存のビデオ符号化標準におけるブロック分割技術
ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率ビデオコーディング）では、コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）を４分木で再帰的にコーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔｓ、ＣＵ）に分割している。葉ノードＣＵレベルでイントラ符号化又はインター符号化を使用するか否かを決定する。ＣＵはさらに２つまたは４つの予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）に分割される可能であり、同じＰＵ内では同じ予測情報を使用する。予測終了後に残差情報を取得した後、ＣＵをさらに４分木で複数の変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔｓ、ＴＵ）に分割できる。例えば、本発明におけるカレント画像ブロックは、１つのＰＵである。
しかし、最新提案された汎用ビデオ符号化（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）では、ブロック分割の技術が大きく変わった。２分／３分／４分木を組み合わせる分割構造は、従来の分割モデルを置き換え、ＣＵ、ＰＵ、ＴＵという従来の概念の区別を取り消し、より柔軟なＣＵの分割方法をサポートする。ＣＵは正方形や長方形の分割が可能となる。ＣＴＵはまず４分木分割され、４分木分割で得られた葉ノードはさらに２分木や３分木分割されることが可能である。図１Ａに示すように、（ａ）に示すようなＣＵの分割タイプは、（ｂ）に示すような４分木分割、（ｃ）に示すような水平２分木分割、（ｄ）に示すような垂直２分木分割、（ｅ）に示すような水平３分木分割、（ｆ）に示すような垂直３分木分割の５種類があり、図１Ｂに示すように、ＣＴＵ内のＣＵの分割は、上記５種類の分割タイプを自由に組み合わせる分割であってもよい。以上のことから、異なる分割方法により、各ＰＵの形状が異なり、例えば、サイズが異なる矩形や正方形にすることが可能である。
三、既存のビデオの符号化、復号の主なプロセス
図２の（ａ）に示すように、ビデオ符号化を例として、ビデオ符号化は一般的に予測、変換、量子化、エントロピー符号化などの処理を含み、さらに、図２の（ｂ）のような枠組みで符号化を行うことも可能である。
ここで、予測は、イントラ予測とインター予測に分けることができる。イントラ予測は、周辺符号化されたブロックを参照としてカレント符号化されていないブロックを予測し、空間領域での冗長性を効果的に除去する。インター予測は、隣接する符号化された画像を使用してカレント画像を予測し、時間領域の冗長性を効果的に除去する。
変換とは、画像を空間領域から変換領域へ画像を変換し、画像を表現するために変換係数を用いることを指す。大多数の画像は、平坦領域と緩変化領域が多く含まれ、適切な変換を行うことで、画像を空間領域での散乱分布から変換領域での比較的集中した分布に変換させ、信号間の周波数領域の相関を取り除き、量子化処理と合わせてビットストリームを効果的に圧縮することができる。
エントロピー符号化は、一連の要素記号を伝送または保存するためのバイナリビットストリームに変換する可逆符号化方法である。入力される要素記号は、量子化された変換係数、動きベクトル情報、予測モード情報、変換・量子化に関するシンタックスなどを含み得る。エントロピー符号化は、ビデオ要素記号の冗長性を効果的に除去することができる。
以上、符号化を例に紹介したが、ビデオ復号の処理はビデオ符号化の処理と相対するものであり、すなわちビデオ復号には通常エントロピー復号、予測、逆量子化、逆変換、フィルタリングなどの処理があり、各処理の実施原理はビデオ符号化と同一または類似のものである。
ＤＢＦフィルタリング技術の実施について、以下に簡単に説明する。
ＤＢＦフィルタリング処理は、フィルタリング決定とフィルタリング操作の２つのプロセスで構成される。
フィルタリング決定は、１）境界強度（すなわちＢＳ値）の取得、２）フィルタリングのオン・オフの決定、３）フィルタリング強弱の選択から構成される。色度成分については、ステップ１）のみが存在し、輝度成分のＢＳ値がそのまま再利用される。色度成分については、ＢＳ値が２の場合（すなわち、カレントブロックの両側のブロックの少なくとも１つがｉｎｔｒａ（イントラ）モードを採用している）にのみフィルタリング操作が実行される。
フィルタリング操作は、１）輝度成分に対する強フィルタリングと弱フィルタリング、２）色度成分に対するフィルタリングから構成される。ＤＢＦフィルタリング処理は、一般に、８＊８単位で水平境界フィルタリング（水平ＤＢＦフィルタリングと呼んでもよい）と、垂直境界フィルタリング（垂直ＤＢＦフィルタリングと呼んでもよい）とを行い、境界両側の最大３つの画素点に対してフィルタリングを行い、境界両側の最大４つの画素点を利用してフィルタリングを行うため、異なるブロックの水平／垂直ＤＢＦフィルタリングは互いに影響を与えず、並行して行うことが可能である。
図３に示すように、カレントブロック３１０（例えば８＊８）に対して、まずカレントブロック３１０の左側の３列と左ブロック３２０の右側の３列の画素点の垂直ＤＢＦフィルタリングを行い、次にカレントブロック３１０の上側の３行と上ブロック３３０の下側の３行の画素点の水平ＤＢＦフィルタリングを行う。
例示的に、垂直ＤＢＦフィルタリングと水平ＤＢＦフィルタリングを別々に行う必要がある画素点については、通常、先に垂直ＤＢＦフィルタリングを行い、次に水平ＤＢＦフィルタリングを行う。
ＤＢＦフィルタリング、ＳＡＯフィルタリング、ＡＬＦフィルタリングのいずれにおいても、カレント画素値、あるいはカレント画素値と周辺画素値との関係に基づいて分類を行い、異なるカテゴリに基づいて異なるフィルタリング操作を行う。これに対し、本発明で提案する画像強調方法は、フィルタリング残差に基づく二次フィルタリング方法（本発明では強調フィルタリングと呼ぶ）である。フィルタリング残差とは、フィルタリング処理前後の画素値の差のことである。例えば、ＤＢＦフィルタリング前の再構成値がＹ１、ＤＢＦフィルタリング後の画素値がＹ２であれば、Ｙ２－Ｙ１の結果に基づいて分類することができる。フィルタリング残差に基づいて分類する主な利点は、一部の過剰フィルタリングまたは擬似フィルタリングされた画素値に対して、これらのカテゴリの画素を元の値に近づけるための特殊強調を行うことができることである。過剰フィルタリングとは、Ｙ２がＹ１よりはるかに大きく（またははるかに小さく）なり、ゆえに、Ｙ２が元の画素値よりはるかに大きく（またははるかに小さく）なることである。擬似フィルタリングとは、Ｙ２－Ｙ１が０、または０に近く、これらの画素値はフィルタリング後も変わらず、フィルタリングされていないと同等としてもよいことである。
本発明では、ある画素の座標を（ｉ，ｊ）と表し、最初のフィルタリング処理（これらの最初のフィルタリングには、ＤＢＦフィルタリング、ＳＡＯフィルタリング、またはＡＬＦフィルタリングなどのフィルタリング残差を利用しないフィルタリング方法を含む）前の再構成値をＹ１とし、フィルタリング処理後の画素値をＹ２とすれば、Ｙ２－Ｙ１の結果に基づいて残差を分類することができる。残差分類の結果に基づいて、強調処理を行い、Ｙ３を得る。ここで、Ｙ３は、Ｙ２を強調することによって得てもよいし、Ｙ１に基づいて強調することによって得てもよいし、またはＹ１およびＹ２に基づいて強調することによって得てもよい。ここで、前記強調処理が、補償値（正または負であり得る）を加えてもよいし、または重み付けフィルタリング処理を行ってもよく、例えば、Ｙ３＝ｗ１＊Ｙ１＋ｗ２＊Ｙ２、またはＹ３＝ｗ１＊Ｙ１＋ｗ２＊Ｙ２（ｉ－１，ｊ）＋ｗ２＊Ｙ２（ｉ，ｊ－１）、ここで、Ｙ２（ｉ－１，ｊ）とＹ２（ｉ，ｊ－１）はＹ２の空間領域の隣接する画素値である。
本発明の実施例の上記目的、特徴及び利点がより明確に理解されるために、本発明の実施例における技術的な解決手段について、図面を併せてさらに詳細に説明する。
図４を参照し、本発明の実施例で提供される画像強調方法のフローチャートであり、図４に示すように、当該画像強調方法は、以下のステップを含み得る。
ステップＳ４００、第１フィルタリング処理条件を満たすカレントブロックの任意の画素点について、第１フィルタリング処理後の当該画素点の第１画素値を決定する。
本発明の実施例において、第１フィルタリング処理は、垂直ＤＢＦフィルタリング処理、水平ＤＢＦフィルタリング処理、ＳＡＯフィルタリング処理またはＡＬＦフィルタリング処理などを含み得るが、これらに限定されない。
例えば、第１フィルタリング処理が垂直ＤＢＦフィルタリング処理または水平ＤＢＦフィルタリング処理である場合、カレントブロックの各画素点が第１フィルタリング処理条件を満たすかどうかは、カレントブロックにおける画素点の位置と上記ＤＢＦフィルタリング処理のフィルタリング決定の手法とに基づいて決定することができる。例えば、上記ＤＢＦフィルタリング処理のフィルタリング決定に従って、カレントブロックに対してＤＢＦフィルタリング処理を行う必要があると決定された場合、カレントブロックにおける垂直ＤＢＦフィルタリング処理または／および水平ＤＢＦフィルタリング処理を行う必要がある画素点は、図３に示すようなものであってもよい。
第１フィルタリング処理条件を満たすカレントブロックの任意の画素点について、第１フィルタリング処理後の当該画素点の画素値（本発明では第１画素値と呼ぶ）を決定することができる。
ステップＳ４１０、第１画素値と第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理し、強調処理後の当該画素点の第３画素値を取得する。
本発明の実施例では、第１フィルタリング処理後の当該画素点の第１画素値が決定されると、当該第１画素値と第１フィルタリング処理前の当該画素点の画素値（本発明では第２画素値と呼ぶ）とに基づいて、当該画素点の画素値を強調処理し、すなわち画素点の画素値を強調フィルタリング処理し、強調処理後の当該画素点の画素値（本発明では第３画素値と呼ぶ）を取得することで、強調処理後の当該画素点の画素値が第１画素値よりも元の画素値に近くなり、過剰フィルタリングによりフィルタリング後の画素値が画素点の元の画素値よりはるかに大きく、またははるかに小さくなることを避け、画質を向上させる。
例示的に、当該第３画素値が第１画素値よりも元の画素値に近いため、過剰フィルタリングによりフィルタリング後の画素値が画素点の元の画素値よりはるかに大きく、またははるかに小さくなることを避ける。
例示的に、画素点に対しての強調処理は、補償値（オフセット量と呼んでもよく、正または負であり得る）を加えることによって、または、重み付けフィルタリング処理を行うことによって実現できる。
重み付けフィルタリング処理を行う場合を例にとると、当該画素の座標点を（ｉ，ｊ）、第１画素値をＹ２、第２画素値をＹ１、第３画素値をＹ３とすると、Ｙ３＝ｗ１＊Ｙ１＋ｗ２＊Ｙ２、またはＹ３＝ｗ１＊Ｙ２＋ｗ２＊Ｙ２（ｉ－１，ｊ）＋ｗ２＊Ｙ２（ｉ，ｊ－１）、ここでＹ２（ｉ－１，ｊ）及びＹ２（ｉ，ｊ－１）は当該画素点の空間領域の隣接する画素値である。
したがって、図４に示す方法フローにおいて、画素点に対してフィルタリング処理を行い、画素点のフィルタリング前後の画素値に基づいて画素点の画素値を強調することで、符号化・復号性能を向上させ、画質を向上させることができる。
一つの可能な実施例として、ステップＳ４１０において、第１画素値と第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理することは、第１画素値と第２画素値との差に基づいて当該画素点の画素値を強調処理することを含み得る。
例示的に、画素点のフィルタリング前後の画素値の残差は通常、フィルタリング処理後の画素点の画素値と当該画素点の元の画素値との残差を表すことができると考えられるため、画素点のフィルタリング前後の画素値の残差に基づいて画素点を強調処理すると、強調処理後の画素点の画素値が画素点の元の画素値に近くなることを有効に確保でき、画質を向上させる。
また、第１フィルタリング処理後の画素点の第１画素値が決定された場合、第１画素値と第１フィルタリング処理前の当該画素点の第２画素値との差を算出し、この差に基づいて当該画素点の画素値を強調処理する。
一例において、上記第１画素値と第２画素値との差に基づいて当該画素点の画素値を強調処理することは、第１画素値と第２画素値との差と、所定の閾値との比較結果に基づいて、当該画素点を強調処理することを含み得る。
例示的に、画素点の第１画素値と第２画素値との差と、所定の閾値との比較結果に基づいて、当該画素点を分類し、当該画素点のカテゴリに基づいて当該画素点の画素値を強調処理してもよい。例示的に、異なるカテゴリの画素点については、強調処理を行う手法は異なる。
一例において、第１画素値と第２画素値との差と、所定の閾値との比較結果に基づいて、当該画素点の画素値を強調処理することは、第１画素値と第２画素値との差が第１強調フィルタリング閾値より大きい場合、第１強調フィルタリングオフセット量に基づいて当該画素点の画素値を強調処理し、第１画素値と第２画素値との差が第２強調フィルタリング閾値より小さい場合、第２強調フィルタリングオフセット量に基づいて当該画素点の画素値を強調処理し、ただし、第２強調フィルタリング閾値は第１強調フィルタリング閾値より小さいことを含み得る。
例示的に、所定の閾値は第１強調フィルタリング閾値と第２強調フィルタリング閾値とを含み得、第２強調フィルタリング閾値は第１強調フィルタリング閾値より小さい。
第１画素値と第２画素値との差が決定された場合、この差と、第１強調フィルタリング閾値および第２強調フィルタリング閾値と比較され得る。この差が第１強調フィルタリング閾値より大きい場合、第１強調フィルタリングオフセット量に基づいて当該画素点の画素値を強調処理してもよい。この差が第２強調フィルタリング閾値より小さい場合、第２強調フィルタリングオフセット量に基づいて当該画素点の画素値を強調処理してもよい。
例えば、当該画素点の画素値を強調処理する場合、第１画素値と第２画素値に基づいて、第４画素値を決定してもよい。第１画素値と第２画素値との差が第１強調フィルタリング閾値より大きい場合、第１強調フィルタリングオフセット量に基づいて当該第４画素値を強調処理し、第３画素値を取得してもよく、第１画素値と第２画素値との差が第２強調フィルタリング閾値より小さい場合、第２強調フィルタリングオフセット量に基づいて当該第４画素値を強調処理し、第３画素値を取得してもよい。
また、例えば、当該画素点の画素値を強調処理する場合、第１画素値を強調処理することによって実現し得る。第１画素値と第２画素値との差が第１強調フィルタリング閾値より大きい場合、第１強調フィルタリングオフセット量に基づいて当該第１画素値を強調処理し、第３画素値を取得してもよく、第１画素値と第２画素値との差が第２強調フィルタリング閾値より小さい場合、第２強調フィルタリングオフセット量に基づいて当該第１画素値を強調処理し、第３画素値を取得してもよい。
説明すべきことは、本発明の実施例において、第１画素値と第２画素値との差が第１強調フィルタリング閾値以下であり、かつ第２強調フィルタリング閾値以上の場合、第１画素値を第３画素値としてもよいし、または、第１画素値をフィルタリング処理（本発明では第２フィルタリング処理と呼ぶ）して第３画素値を取得してもよい。
例えば、第１画素値と所定の第３強調フィルタリングオフセット量との和を第３画素値として決定してもよい。他の例として、第２フィルタリング処理は、ＡＬＦフィルタリング処理であってもよく、すなわち、第１画素値をＡＬＦフィルタリング処理して第３画素値を得る。
画素点の画素値は指定された範囲にあると考えられ、当該範囲は通常、画像ビット深度で決まり、例えば、［０，２Ｄ－１］、Ｄは画像ビット深度である。例えば、８ビット画像の場合、当該範囲は［０、２５５］、１０ビット画像の場合、当該範囲は［０、１０２３］となる。強調処理後の画素点の第３画素値が画素値の範囲外にあることを避けるために、第３画素値を取得する際に、ｃｌｉｐ（クリップ）操作により所定の範囲に制限してもよい。
第３画素値が所定の範囲の上限値より大きい場合、第３画素値を所定の範囲の上限値と設定し、第３画素値が所定の範囲の下限値より小さい場合、第３画素値を所定の範囲の下限値と設定する。８ビット画像を例にとると、第３画素値が０より小さい場合、第３画素値を０と設定し、第３画素値が２５５より大きい場合、第３画素値を２５５と設定する。
符号化デバイスがカレントブロックの画素点に対して上記の強調処理を行ったことを考慮すると、符号化デバイスと復号デバイスは、強調フィルタリング閾値と強調フィルタリングオフセット量の値に一貫性を保つ必要がある。
例示的に、符号化デバイスおよび復号デバイスは、同一の強調フィルタリング閾値候補リスト（以下は閾値候補リストと呼ぶ）と、同一の強調フィルタリングオフセット量候補リストとを構築してもよい。符号化デバイスが、ビットストリームに、強調フィルタリング閾値インデックス（以下は閾値インデックスと呼ぶ）と、強調フィルタリングオフセット量インデックス（以下はオフセット量インデックスと呼ぶ）とを付加し、当該閾値インデックスは強調フィルタリング閾値を表すために用いられ、例えば、第１強調フィルタリング閾値または第２強調フィルタリング閾値の閾値候補リストにおける位置を表し、オフセット量インデックスは強調フィルタリングオフセット量を表すために用いられ、例えば、第１強調フィルタリングオフセット量または第２強調フィルタリングオフセット量のオフセット量候補リストにおける位置を表す。
復号デバイスは、ビットストリームを受信すると、ビットストリームから閾値インデックスとオフセット量インデックスを復号し、閾値インデックスに基づいて閾値候補リストから第１強調フィルタリング閾値または第２強調フィルタリング閾値を検索し、および、オフセット量インデックスに基づいてオフセット量候補リストから第１強調フィルタリングオフセット量または第２強調フィルタリングオフセット量を検索してもよい。
一例では、符号化が必要な閾値インデックスによって消費されるビット数を減らすために、第１強調フィルタリング閾値は、第２強調フィルタリング閾値の反数であってもよい。
例示的に、第２強調フィルタリング閾値は第１強調フィルタリング閾値より小さいため、第１強調フィルタリング閾値は正の数であり、第２強調フィルタリング閾値は負の数である。例えば、第１強調フィルタリング閾値は２であり、第２強調フィルタリング閾値は－２である。同様に、第１強調フィルタリングオフセット量も、第２強調フィルタリングオフセット量の反数であってもよい。
説明すべきことは、本発明の実施例において、強調フィルタリング閾値候補リスト及び強調フィルタリングオフセット量候補リストを構築する時、パラメータセットの形態で構築してもよい。すなわち、候補リストの各候補値は一つのパラメータセットであり、当該パラメータセットは、一つの第１強調フィルタリング閾値候補、一つの第２強調フィルタリング閾値候補（第１強調フィルタリング閾値と第２強調フィルタリング閾値が互いの反数である場合、一方のみを含んでもよい）、一つの第１強調フィルタリングオフセット量候補、および一つの第２強調フィルタリングオフセット量候補（第１強調フィルタリングオフセット量と第２強調フィルタリングオフセット量が互いの反数である場合、一方のみを含んでもよい）を含む。
インデックスを符号化および復号する場合、パラメータセットインデックスの形で符号化および復号してもよく、すなわち、パラメータセットインデックスによって、パラメータセットのパラメータセット候補リストにおける位置を表し、その具体的な実現は、以下の具体的な実施例で説明することができる。
さらに、本発明の実施例では、強調フィルタリング閾値と強調フィルタリングオフセット量などのカレントブロックの強調フィルタリングパラメータは、上側ブロック又は左側ブロックなどの周辺ブロックの対応するパラメータを再利用してもよい。
符号化および復号側は、ビットストリームに、カレントブロックが周辺ブロックの強調フィルタリングパラメータを再利用しているかどうかを示すためのフラグビットを使用してもよい。周辺ブロックの強調フィルタリングパラメータが再利用されていると決定した場合、カレントブロックの強調フィルタリングパラメータの追加の符号化および復号は不要である。
別の一例では、符号化が必要な閾値インデックスによって消費されるビット数を減らすために、第１強調フィルタリング閾値または／および第２強調フィルタリング閾値は固定値である。例示的に、第１強調フィルタリング閾値または／および第２強調フィルタリング閾値は固定値に設定されてもよく、したがって、第１強調フィルタリング閾値または／および第２強調フィルタリング閾値に対応する閾値インデックスを符号化する必要がないようにすることができる。同様に、第１強調フィルタリングオフセット量または／および第２強調フィルタリングオフセット量も固定値であってもよい。
別の可能な一実施例として、ステップＳ４１０において、第１画素値と第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理することは、第１画素値と第２画素値とを入力パラメータとして機械学習または深層学習を利用して第３画素値を決定することを含み得る。
例示的に、機械学習または深層学習を利用して画素値の強調処理を実現してもよい。画素点を第１フィルタリング処理して当該画素点の第１画素値を決定した場合、第１画素値と第２画素値とを入力パラメータとして機械学習または深層学習を利用して当該画素点の画素値を強調処理し、強調処理後の第３画素値を得てもよい。
説明すべきことは、上述の実施例で説明した第３画素値を決定する方法は、本発明の実施例における第３画素値の決定の実現方法のいくつかの具体例に過ぎず、本発明の保護範囲を限定するものではなく、すなわち、本発明の実施例では、第１画素値および第２画素値に基づいて他の方法で第３画素値を決定してもよく、例えば、第１画素値と第２画素値との差を入力として、ウィナーフィルタを用いて第３画素値を決定する、または、第１画素値と第２画素値との差に基づいて第２画素値を分類して、第２画素値のカテゴリに基づいてウィナーフィルタを用いて当該画素点の画素値を強調処理し、第３画素値を決定する。
別の可能な一実施例として、ステップＳ４１０において、第１画素値と第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理することは、カレントブロックが強調フィルタリングを有効にしている場合、第１画素値と当該第２画素値とに基づいて当該画素点の画素値を強調処理することを含み得る。
例示的に、強調フィルタリングの柔軟性と可制御性を高めるために、強調フィルタリング案を有効にするか有効にしないか、すなわち、画素点のフィルタリング処理を行った後、画素点の画素値を強調処理する（強調フィルタリングを有効にする）か、画素点の画素値を強調処理しない（強調フィルタリングを有効にしない）か、を選択してもよい。
第１フィルタリング処理条件を満たすカレントブロックの任意の画素点について、第１フィルタリング処理後の当該画素点の第１画素値が決定されると、カレントブロックが強調フィルタリングを有効にしているかどうかに基づいて、当該画素点の画素値を強調処理するかどうかを決定してもよい。カレントブロックが強調フィルタリングを有効にしている場合、当該第１画素値と当該第２画素値に基づいて当該画素点を強調処理する。
一例として、指定されたシンタックスを用いてカレントブロックが強調フィルタリングを有効にしているか否かを識別する。例示的に、当該指定されたシンタックスのレベルは、シーケンスパラメータセットレベルシンタックス、画像パラメータセットレベルシンタックス、及びｓｌｉｃｅレベルシンタックスのうちの１つ以上を含んでもよいが、これらに限定されない。または、当該指定されたシンタックスのレベルは、シーケンスパラメータセットレベルシンタックス、画像パラメータセットレベルシンタックス、ＣＴＵレベルシンタックス、及びＣＵレベルシンタックスのうちの１つ以上を含んでもよいが、これらに限定されない。
例示的に、強調フィルタリングの柔軟性と可制御性を高めるために、異なるレベルで強調フィルタリングを有効にする／しないことを実現してもよい。例えば、シーケンスパラメータセットレベル、画像パラメータセットレベルまたは／およびｓｌｉｃｅレベルで強調フィルタリングを有効にする／しないことを実現してもよい。例えば、画像シーケンスが強調フィルタリングを有効にしている場合、画像パラメータセットレベルシンタックスで強調フィルタリングを有効にするかどうかを設定してもよく、したがって、当該画像シーケンス内の各画像は、強調フィルタリングを有効にするかどうかを選択的に設定できる。または、画像が強調フィルタリングを有効にしている場合、ｓｌｉｃｅレベルシンタックスで強調フィルタリングを有効にするかどうかを設定してもよく、したがって、当該画像の各ｓｌｉｃｅは、強調フィルタリングを有効にするかどうかを選択的に設定できる。説明すべきことは、一つのフレームに含まれるＳｌｉｃｅの数が１の場合、当該画像が強調フィルタリングを有効にしているときは、当該Ｓｌｉｃｅも強調フィルタリングを有効にし、逆の場合も同様である。
同様に、シーケンスパラメータセットレベル、画像パラメータセットレベル、ＣＴＵレベルまたは／およびＣＵレベルから強調フィルタリングを有効にする／しないことを実現することも可能である。
一例として、指定されたシンタックスのレベル候補は少なくとも２つのレベルを含む場合、所定のフラグビットに基づいて指定されたシンタックスのレベルを決定し、所定のフラグビットは、前記指定されたシンタックスのレベルを示すために用いられる。
例示的に、指定されたシンタックスのレベル候補は少なくとも２つのレベルを含む場合、専用のフラグビットを用いて当該指定されたシンタックスのレベルを示してもよい。例えば、指定されたシンタックスのレベルが画像パラメータセットレベルとＣＴＵレベルを含む場合、当該指定されたシンタックスのレベルが画像パラメータセットレベルまたはＣＴＵレベルであることを示すためのフラグビットを画像パラメータセットに加えてもよい。
例示的に、上記所定のフラグビットのシンタックスレベルは、指定されたシンタックスのレベル候補のうちの非最低レベルにマッチングする。例えば、指定されたシンタックスのレベル候補が、シーケンスパラメータセットレベルシンタックス及び画像パラメータセットレベルシンタックスを含む場合、当該所定のフラグビットのシンタックスレベルは、シーケンスパラメータセットレベルであり、指定されたシンタックスレベルのレベル候補が、画像パラメータセットレベルシンタックス及びｓｌｉｃｅレベルシンタックスを含む場合、当該所定のフラグビットのシンタックスレベルは、画像パラメータセットレベルであり、指定されたシンタックスレベルのレベル候補が、シーケンスパラメータセットレベルシンタックス、画像パラメータセットレベルシンタックス、及びｓｌｉｃｅレベルシンタックスを含む場合、当該所定のフラグビットは、シーケンスパラメータセットレベルのフラグビット及び画像パラメータセットレベルのフラグビットを含み、指定されたシンタックスレベルのレベル候補が、画像パラメータセットレベルシンタックス及びＣＴＵレベルシンタックスを含む場合、当該所定のフラグビットのシンタックスレベルは、画像パラメータセットレベルであり、指定されたシンタックスレベルのレベル候補が、ＣＴＵレベルシンタックス及びＣＵレベルシンタックスを含む場合、当該所定のフラグビットのシンタックスレベルは、ＣＴＵレベルであり、指定されたシンタックスレベルのレベル候補が、画像パラメータセットレベルシンタックス、ＣＴＵレベルシンタックス、及びＣＵレベルシンタックスを含む場合、当該所定のフラグビットは、画像パラメータセットレベルのフラグビット及びＣＴＵレベルのフラグビットを含み、その具体的な実現は、以下に具体的な実施例と関連して説明する。
一つの可能な実施例として、第１フィルタリング処理が当該画素点に対する複数回連続するフィルタリング処理のうちの最初のフィルタリング処理でない場合、第２画素値は、当該画素点の前回のフィルタリング処理後の画素値を強調処理して得られる画素値である。
例示的に、ある画素点を複数回連続してフィルタリングする必要がある場合、当該画素点がフィルタリング処理されるたびに、当該画素点の画素値を強調処理してもよく、次回のフィルタリング処理前の画素点の画素値は、前回のフィルタリング処理後に強調処理されて得られた画素値である。
一例として、第１フィルタリング処理が水平ＤＢＦフィルタリング処理であり、当該画素点が垂直ＤＢＦフィルタリング処理条件を満たす場合、第２画素値は、当該画素点の第５画素値の強調処理後の当該画素点の画素値であり、第５画素値は、垂直ＤＢＦフィルタリング処理後の当該画素点の画素値である。
例示的に、第１フィルタリング処理が水平ＤＢＦフィルタリング処理であり、かつ当該画素点が垂直ＤＢＦフィルタリング処理条件を満たし、かつ垂直ＤＢＦフィルタリング処理後の当該画素点の画素値は第５画素値である場合、第２画素値は、垂直ＤＢＦフィルタリング処理後の当該画素点を上述の実施例で説明した方法で強調処理した後の当該画素点の画素値である。
一つの可能な実施形態として、第１フィルタリング処理が垂直ＤＢＦフィルタリング処理であり、ステップＳ４１０において、当該画素点の画素値を強調処理した後、さらに、当該画素点が水平ＤＢＦフィルタリング条件を満たす場合、第３画素値に対して水平ＤＢＦフィルタリング処理を行って当該画素点の第６画素値を取得し、第３画素値および第６画素値に基づき、当該画素点の画素値を強調処理し、強調処理後の当該画素点の第７画素値を得ることを含み得る。
例示的に、ステップＳ４００～Ｓ４１０で説明した方法で、当該画素点に対して垂直ＤＢＦフィルタリング処理および強調処理を行う場合、当該画素点が水平ＤＢＦフィルタリング処理条件を満たすかどうかを決定してもよく、例えば、当該画素点の位置に基づいて当該画素点が水平ＤＢＦフィルタリング処理条件を満たすかどうかを決定する。
当該画素点が水平ＤＢＦフィルタリング条件を満たす場合、第３画素値に水平ＤＢＦフィルタリング処理を行い、水平ＤＢＦフィルタリング後の当該画素点の画素値（本発明では第６画素値と呼ぶ）を取得し、水平ＤＢＦフィルタリング前の当該画素点の画素値、すなわち第３画素値と水平ＤＢＦフィルタリング後の当該画素点の画素値、すなわち第６画素値に基づいて当該画素点の画素値を強調処理し、強調処理後の当該画素点の画素値（本発明では第７画素値と呼ぶ）を取得してもよい。
説明すべきことは、第３画素値と第６画素値に基づいて画素点の画素値の強調処理の具体的な実現プロセスは、上述の実施例で説明した第１画素値と第２画素値に基づいて画素点の画素値の強調処理についての説明を参照することができ、本発明の実施例では、ここで説明を省略する。
また、本発明の実施例では、上述の複数回連続するフィルタリング処理の実現プロセスは、画素点に対して各フィルタリング処理を行うごとに、強調フィルタリングを有効にしていることを前提として説明しており、強調フィルタリングを有効にしていない場合があれば、対応するフィルタリング処理後に、強調処理する必要がない。
例えば、垂直ＤＢＦフィルタリング処理と水平ＤＢＦフィルタリング処理を例とし、画素点が垂直ＤＢＦフィルタリング処理条件と水平ＤＢＦフィルタリング処理条件を満たすが、垂直ＤＢＦフィルタリング処理に対して強調フィルタリングを有効にしていない場合、垂直ＤＢＦフィルタリング後の画素値を強調処理する必要がなく、この場合、当該画素点に水平ＤＢＦフィルタリング処理を行うとき、水平ＤＢＦフィルタリング前の当該画素点の画素値は、垂直ＤＢＦフィルタリング後の当該画素点の画素値となる。
当業者が本発明の実施例によって提供される技術的な解決手段をより良く理解できるように、以下、本発明の実施例が提供する技術的な解決手段を具体的な実施例と共に説明する。最初のフィルタリング処理が、それぞれＤＢＦフィルタリング処理、ＳＡＯフィルタリング処理またはＡＬＦフィルタリング処理であることを例として、本発明の実施例が提供する技術的な解決手段を説明する。
第１フィルタリング処理前の再構成値をＹ１、第１フィルタリング処理後の画素値をＹ２とすると、Ｙ２－Ｙ１またはＹ１－Ｙ２に基づいて分類を行い、分類結果に基づいて、異なるカテゴリの残差の対応する強調処理（強調フィルタリング処理とも呼べる）を行い、強調処理後の画素値Ｙ３を得てもよい。
例示的に、Ｙ３は、Ｙ２を強調することによって得てもよいし、Ｙ１に基づいて強調することによって得てもよいし、またはＹ１およびＹ２に基づいて強調することによって得てもよい。例示的に、上述の強調処理が、補償値（正または負であり得る）を加えてもよいし、または重み付けフィルタリング処理を行ってもよく、例えば、Ｙ３＝ｗ１＊Ｙ１＋ｗ２＊Ｙ２、またはＹ３＝ｗ１＊Ｙ２＋ｗ２＊Ｙ２（ｉ－１，ｊ）＋ｗ２＊Ｙ２（ｉ，ｊ－１）、ここで、Ｙ２（ｉ－１，ｊ）とＹ２（ｉ，ｊ－１）はＹ２の空間領域の隣接する画素値である。
まず、最初のフィルタリング処理を、ＤＢＦフィルタリング処理として説明する。
実施例１：画素点ｉが垂直ＤＢＦフィルタリング条件と水平ＤＢＦフィルタリング条件を満たすことを例とする。
ステップ１、Ｙ１（ｉ）を垂直ＤＢＦフィルタリング処理してＹ２（ｉ）を取得し、ステップ２、Ｙ１（ｉ）とＹ２（ｉ）に基づいて、画素点の画素値を強調処理してＹ３（ｉ）を取得し、ステップ３、Ｙ３（ｉ）を水平ＤＢＦフィルタリング処理してＹ４（ｉ）を取得し、ステップ４、Ｙ４（ｉ）とＹ３（ｉ）に基づいて、画素点の画素値を強調処理してＹ５（ｉ）を取得する。
例示的に、上記第１フィルタリング処理が垂直ＤＢＦフィルタリング処理である場合、Ｙ１（ｉ）は上記第２画素値、Ｙ２（ｉ）は上記第１画素値、Ｙ３（ｉ）は上記第３画素値である。Ｙ４（ｉ）は上記第６画素値、Ｙ５（ｉ）は上記第７画素値である。例示的に、上記第１フィルタリング処理が水平ＤＢＦフィルタリング処理である場合、Ｙ３（ｉ）は上記第２画素値、Ｙ４（ｉ）は上記第１画素値、Ｙ５（ｉ）は上記第３画素値、Ｙ２（ｉ）は上記第５画素値である。
実施例２
実施例１を基に、ステップ２において、Ｙｖ（ｉ）＝（Ｙ１（ｉ）＋Ｙ２（ｉ）＋１）／２と仮定する；
Ｙ１（ｉ）－Ｙ２（ｉ）＞Ｔｖであれば、Ｙ３（ｉ）＝ｃｌｉｐ（Ｙｖ（ｉ）＋ｆ０ｖ）となる；
Ｙ１（ｉ）－Ｙ２（ｉ）＜ＮＴｖであれば、Ｙ３（ｉ）＝ｃｌｉｐ（Ｙｖ（ｉ）＋ｆ１ｖ）となる；
ＮＴｖ≦Ｙ１（ｉ）－Ｙ２（ｉ）≦Ｔｖであれば、Ｙ３（ｉ）＝Ｙ２（ｉ）、または、Ｙ３（ｉ）＝Ｙ２（ｉ）＋ｆ２ｖとなる。Ｙ３（ｉ）＝Ｙ２（ｉ）＋ｆ２ｖは、Ｙ２（ｉ）をフィルタリング処理（すなわち、上述の第２フィルタリング処理）してＹ３（ｉ）を取得することを表す。
例示的に、Ｔｖ、ＮＴｖは強調フィルタリング閾値であり、ｆ０ｖ、ｆ１ｖ、ｆ２ｖは強調フィルタリングオフセット量である。ｃｌｉｐ（ｘ）は、ｘを所定の範囲内に制限することを表す。例示的に、第１フィルタリング処理が垂直ＢＤＦフィルタリング処理である場合、Ｔｖは上記第１強調フィルタリング閾値であり、ＮＴｖは上記第２強調フィルタリング閾値であり、ｆ０ｖは上記第１強調フィルタリングオフセット量であり、ｆ１ｖは上記第２強調フィルタリングオフセット量であり、ｆ２ｖは上記第３強調フィルタリングオフセット量であり、Ｙｖ（ｉ）は上記第４画素値であり、ｃｌｉｐ（ｘ）は、ｘを所定の範囲内に制限することを表す。
例示的に、ＮＴｖ＝－Ｔｖ、すなわちＴｖとＮＴｖは、互いの反数である。
類似的に、ステップ４において、Ｙｈ（ｉ）＝（Ｙ３（ｉ）＋Ｙ４（ｉ）＋１）／２と仮定する；
Ｙ３（ｉ）－Ｙ４（ｉ）＞Ｔｈであれば、Ｙ３（ｉ）＝ｃｌｉｐ（Ｙｈ（ｉ）＋ｆ０ｈ）となる；
Ｙ３（ｉ）－Ｙ４（ｉ）＜ＮＴｈであれば、Ｙ３（ｉ）＝ｃｌｉｐ（Ｙｈ（ｉ）＋ｆ１ｈ）となる；
ＮＴｈ≦Ｙ３（ｉ）－Ｙ４（ｉ）≦Ｔｈであれば、Ｙ５（ｉ）＝Ｙ４（ｉ）、または、Ｙ５（ｉ）＝Ｙ４（ｉ）＋ｆ２ｈとなる。Ｙ５（ｉ）＝Ｙ４（ｉ）＋ｆ２ｈは、Ｙ４（ｉ）をフィルタリング処理（すなわち、上述の第２フィルタリング処理）してＹ５（ｉ）を取得することを表す。
例示的に、Ｔｈ、ＮＴｈは強調フィルタリング閾値であり、ｆ０ｈ、ｆ１ｈ、ｆ２ｈは強調フィルタリングオフセット量である。
例示的に、第１フィルタリング処理が水平ＢＤＦフィルタリング処理である場合、Ｔｈは上記第１強調フィルタリング閾値であり、ＮＴｈは上記第２強調フィルタリング閾値であり、ｆ０ｈは上記第１強調フィルタリングオフセット量であり、ｆ１ｈは上記第２強調フィルタリングオフセット量であり、ｆ２ｈは上記第３強調フィルタリングオフセット量である。
例示的に、ＮＴｈ＝－Ｔｈ、すなわちＴｈとＮＴｈは、互いの反数である。
実施例３
実施例１を基に、ステップ２において、Ｙｖ（ｉ）＝Ｙ２（ｉ）と仮定する；
Ｙ１（ｉ）－Ｙ２（ｉ）＞Ｔｖであれば、Ｙ３（ｉ）＝ｃｌｉｐ（Ｙｖ（ｉ）＋ｆ０ｖ）となる；
Ｙ１（ｉ）－Ｙ２（ｉ）＜ＮＴｖであれば、Ｙ３（ｉ）＝ｃｌｉｐ（Ｙｖ（ｉ）＋ｆ１ｖ）となる；
ＮＴｖ≦Ｙ１（ｉ）－Ｙ２（ｉ）≦Ｔｖであれば、Ｙ３（ｉ）＝Ｙ２（ｉ）、または、Ｙ３（ｉ）＝Ｙ２（ｉ）＋ｆ２ｖとなる。Ｙ３（ｉ）＝Ｙ２（ｉ）＋ｆ２ｖは、Ｙ２（ｉ）をフィルタリング処理（すなわち、上述の第２フィルタリング処理）してＹ３（ｉ）を取得することを表す。
例示的に、Ｔｖ、ＮＴｖは強調フィルタリング閾値であり、ｆ０ｖ、ｆ１ｖ、ｆ２ｖは強調フィルタリングオフセット量である。ｃｌｉｐ（ｘ）は、ｘを所定の範囲内に制限することを表す。
例示的に、ＮＴｖ＝－Ｔｖ、すなわちＴｖとＮＴｖは、互いの反数である。
類似的に、ステップ４において、Ｙｈ（ｉ）＝Ｙ４（ｉ）と仮定する；
Ｙ３（ｉ）－Ｙ４（ｉ）＞Ｔｈであれば、Ｙ３（ｉ）＝ｃｌｉｐ（Ｙｈ（ｉ）＋ｆ０ｈ）となる；
Ｙ３（ｉ）－Ｙ４（ｉ）＜ＮＴｈであれば、Ｙ３（ｉ）＝ｃｌｉｐ（Ｙｈ（ｉ）＋ｆ１ｈ）となる；
ＮＴｈ≦Ｙ３（ｉ）－Ｙ４（ｉ）≦Ｔｈであれば、Ｙ５（ｉ）＝Ｙ４（ｉ）、または、Ｙ５（ｉ）＝Ｙ４（ｉ）＋ｆ２ｈとなる。Ｙ５（ｉ）＝Ｙ４（ｉ）＋ｆ２ｈは、Ｙ４（ｉ）をフィルタリング処理（すなわち、上述の第２フィルタリング処理）してＹ５（ｉ）を取得することを表す。
例示的に、Ｔｈ、ＮＴｈは強調フィルタリング閾値であり、ｆ０ｈ、ｆ１ｈ、ｆ２ｈは強調フィルタリングオフセット量である。例示的に、ＮＴｈ＝－Ｔｈ、すなわちＴｈとＮＴｈは、互いの反数である。
上記実施例１～３では、画素点ｉが垂直ＤＢＦフィルタリング処理条件と水平ＤＢＦフィルタリング処理条件とを満たす場合を例として説明したが、当該方法を、画素点ｉが垂直ＤＢＦフィルタリング処理条件または水平ＤＢＦフィルタリング処理条件を満たす場合に適用してもよい。例えば、画素ｉが垂直ＤＢＦフィルタリング処理条件のみを満たす場合には、上記実施例の最初の２ステップのみが含まれる。例えば、画素点ｉが水平ＤＢＦフィルタリング処理条件のみを満たす場合には、２ステップのみが含まれ、ステップ１はＹ１（ｉ）を水平ＤＢＦフィルタリング処理した後にＹ２（ｉ）取得し、ステップ２はＹ１（ｉ）とＹ２（ｉ）に基づいて画素点の画素値を強調処理してＹ３（ｉ）を取得し、ステップ２の具体的な実現は、実施例２と実施例３のステップ２の具体的な実現を参照することができ、垂直ＤＢＦフィルタリング処理のパラメータを、水平ＤＢＦフィルタリング処理のパラメータに置き換えるだけでよく、ここでは説明を省略する。
実施例４
フレームレベルで実施例２または実施例３で説明した方法を採用する。フレームレベルは、画像パラメータセットレベルまたはｓｌｉｃｅレベルを含み、画像パラメータセットレベルは、すなわち一つのフレーム画像であり、一つのフレーム画像はＮ（Ｎは正の整数）個のスライスを含み得る。
符号化デバイスにとっては、画像ヘッダまたはｓｌｉｃｅヘッダで以下のシンタックス情報を符号化して転送する必要がある。つまり、一つのフレームまたは一つのスライスは以下のシンタックスセット（当該シンタックスのレベルは画像パラメータセットレベルまたはｓｌｉｃｅレベル）を採用し、当該画像またはｓｌｉｃｅ内のすべての符号化ブロックはいずれも同一の係数セットを再利用する。
例示的に、当該係数セットは、強調フィルタリング閾値（垂直方向強調フィルタリング閾値又は／及び水平方向強調フィルタリング閾値を含み得る）及び強調フィルタリングオフセット量（垂直方向強調フィルタリングオフセット量又は／及び水平方向強調フィルタリングオフセット量を含み得る）を含み得る。
復号デバイスにとっては、画像ヘッダまたはｓｌｉｃｅヘッダで以下のシンタックス情報を復号する必要がある。
１、カレント画像またはｓｌｉｃｅが垂直方向において強調フィルタリングを有効にしているか否かを識別するための垂直方向強調フィルタリング有効フラグである。
有効にしていない場合、上記ステップ１の後、上記ステップ２を実行する必要はなく、関連する閾値インデックスおよびオフセット量インデックスを符号化および復号する必要はない。
有効にしている場合、上記ステップ１の後、上記ステップ２を実行する必要があり、次の情報を符号化および復号する必要がある：垂直方向強調フィルタリング閾値インデックスおよび垂直方向強調フィルタリングオフセット量インデックスである。
垂直方向強調フィルタリング閾値インデックスは１ｂｉｎであってもよく、つまり２つの閾値候補がある。例示的に、強調フィルタリング閾値候補リストは、｛１、２｝または｛２、４｝であってもよく、あるいは、２つの候補値を含む他の候補リストであってもよい。
例示的に、ＴｖとＮＴｖは、互いの反数である場合、１つの閾値インデックスのみを符号化すればよい。例示的に、強調フィルタリング閾値が固定値、例えばＴｖ＝２、ＮＴｖ＝－２である場合、閾値インデックスを符号化および復号する必要はない。
垂直方向強調フィルタリングオフセット量インデックスｆ０ｖとｆ１ｖの候補値は、同じでも異なっていてもよく、オフセット量インデックスは２ｂｉｎであってもよく、すなわち４つのオフセット量候補を含む。例示的に、強調フィルタリングオフセット量候補リストは、｛１、２、３、４｝または｛２、４、６、８｝であってもよく、または４つの候補値を含む他の候補リストであってもよい。例示的に、強調フィルタリングオフセット量が固定値である場合、当該オフセット量インデックスを符号化する必要はない。例示的に、ｆ０ｖとｆ１ｖの候補リストは同じでも異なっていてもよく、例えば、ｆ０ｖの候補リストは｛－１、－２、－３、－４｝であり、ｆ１ｖの候補リストは｛１、２、３、４｝である。
２、カレント画像またはｓｌｉｃｅが水平方向において強調フィルタリングを有効にしているか否かを識別するための水平方向強調フィルタリング有効フラグである。
有効にしていない場合、上記ステップ３の後、上記ステップ４を実行する必要はなく、関連する閾値インデックスおよびオフセット量インデックスを符号化および復号する必要はない。
有効にしている場合、上記ステップ３の後、上記ステップ４を実行する必要があり、次の情報を符号化および復号する必要がある：水平方向強調フィルタリング閾値インデックスおよび水平方向強調フィルタリングオフセット量インデックスである。
水平方向強調フィルタリング閾値インデックスは１ｂｉｎであってもよく、つまり２つの閾値候補がある。例示的に、強調フィルタリング閾値候補リストは、｛１、２｝または｛２、４｝であってもよく、あるいは、２つの候補値を含む他の候補リストであってもよい。
例示的に、ＴｈとＮＴｈは、互いの反数である場合、１つの閾値インデックスのみを符号化すればよい。例示的に、強調フィルタリング閾値が固定値、例えばＴｈ＝２、ＮＴｈ＝－２である場合、閾値インデックスを符号化および復号する必要はない。
水平方向強調フィルタリングオフセット量インデックスｆ０ｈとｆ１ｈの候補値は、同じでも異なっていてもよく、オフセット量インデックスは２ｂｉｎであってもよく、すなわち４つのオフセット量候補を含む。例示的に、強調フィルタリングオフセット量候補リストは、｛１、２、３、４｝または｛２、４、６、８｝であってもよく、または４つの候補値を含む他の候補リストであってもよい。例示的に、強調フィルタリングオフセット量が固定値である場合、当該オフセット量インデックスを符号化する必要はない。例示的に、ｆ０ｈとｆ１ｈの候補リストは同じでも異なっていてもよく、例えば、ｆ０ｈの候補リストは｛－１、－２、－３、－４｝であり、ｆ１ｈの候補リストは｛１、２、３、４｝である。
実施例５
実施例４と異なり、実施例５では、強調フィルタリングパラメータ（強調フィルタリング閾値及び／又は強調フィルタリングオフセット量を含む）はパラメータセットの形として示され、すなわち、強調フィルタリング閾値及び／又は強調フィルタリングオフセット量のインデックス情報を別々に符号化する代わりに、強調フィルタリング閾値及び強調フィルタリングオフセット量からなるパラメータセットのインデックス情報を符号化する。
フレームレベルで実施例２または実施例３で説明した方法を採用する。フレームレベルは、画像パラメータセットレベルまたはｓｌｉｃｅレベルを含み、画像パラメータセットレベルは、すなわち一つのフレーム画像であり、一つのフレーム画像はＮ（Ｎは正の整数）個のスライスを含み得る。
符号化デバイスにとっては、画像ヘッダまたはｓｌｉｃｅヘッダで以下のシンタックス情報を符号化して転送する必要がある。つまり、一つのフレームまたは一つのスライスは以下のシンタックスセット（当該シンタックスのレベルは画像パラメータセットレベルまたはｓｌｉｃｅレベル）を採用し、当該画像またはｓｌｉｃｅ内のすべての符号化ブロックはいずれも同一の係数セットを再利用する。
例示的に、当該係数セットは、強調フィルタリング閾値及び強調フィルタリングオフセット量からなる強調フィルタリングパラメータセットを含み得る。復号デバイスにとっては、画像ヘッダまたはｓｌｉｃｅヘッダで以下のシンタックス情報を復号する必要がある。
１、カレント画像またはｓｌｉｃｅが垂直方向において強調フィルタリングを有効にしているか否かを識別するための垂直方向強調フィルタリング有効フラグである。
有効にしていない場合、上記ステップ１の後、上記ステップ２を実行する必要はなく、関連するパラメータインデックスを符号化および復号する必要はない。
有効にしている場合、上記ステップ１の後、上記ステップ２を実行する必要があり、次の情報を符号化および復号する必要がある：垂直方向強調フィルタリングパラメータインデックスである。
垂直方向強調フィルタリングパラメータは、パラメータセットの形として示されてもよく、当該垂直方向強調フィルタリングパラメータインデックスは、パラメータセット候補リストＴ｛Ｔｖ，ｆ０ｖ，ｆ１ｖ｝における｛Ｔｖ，ｆ０ｖ，ｆ１ｖ｝のインデックスを含んでもよいが、これに限定されなく、すなわち、当該インデックスに基づいてパラメータセット候補リストＴからＴｖ，ｆ０ｖ，ｆ１ｖの値を決定することができる。
例示的に、垂直方向強調フィルタリングパラメータは、符号化・復号側での所定の固定パラメータセットであってもよいし、または、格納された時間領域上で既に符号化された他のフレームの垂直方向フィルタリングパラメータであってもよく、この場合、当該パラメータインデックスを符号化・復号しなくてもよい。
２、カレント画像またはｓｌｉｃｅが水平方向において強調フィルタリングを有効にしているか否かを識別するための水平方向強調フィルタリング有効フラグである。
有効にしていない場合、上記ステップ３の後、上記ステップ４を実行する必要はなく、関連するパラメータインデックスを符号化および復号する必要はない。
有効にしている場合、上記ステップ３の後、上記ステップ４を実行する必要があり、次の情報を符号化および復号する必要がある：水平方向強調フィルタリングパラメータインデックスである。
水平方向強調フィルタリングパラメータは、パラメータセットの形として示されてもよく、水平方向強調フィルタリングパラメータインデックスは、パラメータセット候補リストＴ｛Ｔｈ，ｆ０ｈ，ｆ１ｈ｝における｛Ｔｈ，ｆ０ｈ，ｆ１ｈ｝のインデックスを含んでもよいが、これに限定されなく、すなわち、当該インデックスに基づいてパラメータセット候補リストＴからＴｈ，ｆ０ｈ，ｆ１ｈの値を決定することができる。
例示的に、水平方向強調フィルタリングパラメータは、符号化・復号側での所定の固定パラメータセットであってもよいし、または、格納された時間領域上で既に符号化された他のフレームの水平方向フィルタリングパラメータであってもよく、この場合、当該パラメータインデックスを符号化・復号しなくてもよい。
実施例６
ＣＴＵレベルで実施例２または実施例３で説明した方法を採用する。ＣＴＵは最大符号化ユニットであり、通常、Ｉフレームに対するＣＴＵのサイズは６４＊６４であり、非Ｉフレーム（ＢフレームやＰフレームなど）に対するＣＴＵのサイズは１２８＊１２８である。
各ＣＴＵは一つの係数セットを符号化し、すなわち当該ＣＴＵの下の各符号化ブロックはいずれも当該係数セットを採用し、各ＣＴＵ内での当該係数の符号化と復号の具体的な実現は、実施例４または実施例５の対応する係数の符号化と復号の具体的な実現を参照することができる。例示的に、当該一つの係数セットは、強調フィルタリング閾値及び強調フィルタリングオフセット量（実施例４に対応する）、または、強調フィルタリング閾値及び強調フィルタリングオフセット量からなる強調フィルタリングパラメータセット（実施例５に対応する）を含み得る。
例示的に、復号デバイスにとっては、ＣＴＵヘッダで以下のシンタックス情報を復号する必要がある。
１、カレント画像またはｓｌｉｃｅが垂直方向において強調フィルタリングを有効にしているか否かを識別するための垂直方向強調フィルタリング有効フラグである。
有効にしていない場合、上記ステップ１の後、上記ステップ２を実行する必要はなく、関連する閾値インデックスおよびオフセット量インデックスを符号化および復号する必要はない。
有効にしている場合、上記ステップ１の後、上記ステップ２を実行する必要があり、次の情報を符号化および復号する必要がある：垂直方向強調フィルタリング閾値インデックスおよび垂直方向強調フィルタリングオフセット量インデックスである。
垂直方向強調フィルタリング閾値インデックスは１ｂｉｎであってもよく、つまり２つの閾値候補がある。例示的に、強調フィルタリング閾値候補リストは、｛１、２｝または｛２、４｝であってもよく、あるいは、２つの候補値を含む他の候補リストであってもよい。
例示的に、ＴｖとＮＴｖは、互いの反数である場合、１つの閾値インデックスのみを符号化すればよい。例示的に、強調フィルタリング閾値が固定値、例えばＴｖ＝２、ＮＴｖ＝－２である場合、閾値インデックスを符号化および復号する必要はない。
垂直方向強調フィルタリングオフセット量インデックスｆ０ｖとｆ１ｖの候補値は、同じでも異なっていてもよく、オフセット量インデックスは２ｂｉｎであってもよく、すなわち４つのオフセット量候補を含む。例示的に、強調フィルタリングオフセット量候補リストは、｛１、２、３、４｝または｛２、４、６、８｝であってもよく、または４つの候補値を含む他の候補リストであってもよい。例示的に、強調フィルタリングオフセット量が固定値である場合、当該オフセット量インデックスを符号化する必要はない。例示的に、ｆ０ｖとｆ１ｖの候補リストは同じでも異なっていてもよく、例えば、ｆ０ｖの候補リストは｛－１、－２、－３、－４｝であり、ｆ１ｖの候補リストは｛１、２、３、４｝である。
２、カレント画像またはｓｌｉｃｅが水平方向において強調フィルタリングを有効にしているか否かを識別するための水平方向強調フィルタリング有効フラグである。
有効にしていない場合、上記ステップ３の後、上記ステップ４を実行する必要はなく、関連する閾値インデックスおよびオフセット量インデックスを符号化および復号する必要はない。
有効にしている場合、上記ステップ３の後、上記ステップ４を実行する必要があり、次の情報を符号化および復号する必要がある：水平方向強調フィルタリング閾値インデックスおよび水平方向強調フィルタリングオフセット量インデックスである。
水平方向強調フィルタリング閾値インデックスは１ｂｉｎであってもよく、つまり２つの閾値候補がある。例示的に、強調フィルタリング閾値候補リストは、｛１、２｝または｛２、４｝であってもよく、あるいは、２つの候補値を含む他の候補リストであってもよい。
例示的に、ＴｈとＮＴｈは、互いの反数である場合、１つの閾値インデックスのみを符号化すればよい。例示的に、強調フィルタリング閾値が固定値、例えばＴｈ＝２、ＮＴｈ＝－２である場合、閾値インデックスを符号化および復号する必要はない。
水平方向強調フィルタリングオフセット量インデックスｆ０ｈとｆ１ｈの候補値は、同じでも異なっていてもよく、オフセット量インデックスは２ｂｉｎであってもよく、すなわち４つのオフセット量候補を含む。例示的に、強調フィルタリングオフセット量候補リストは、｛１、２、３、４｝または｛２、４、６、８｝であってもよく、または４つの候補値を含む他の候補リストであってもよい。例示的に、強調フィルタリングオフセット量が固定値である場合、当該オフセット量インデックスを符号化する必要はない。例示的に、ｆ０ｈとｆ１ｈの候補リストは同じでも異なっていてもよく、例えば、ｆ０ｈの候補リストは｛－１、－２、－３、－４｝であり、ｆ１ｈの候補リストは｛１、２、３、４｝である。
実施例７
ＣＵレベルで実施例２または実施例３で説明した方法を採用する。ＣＵのサイズは、通常、４＊４～１２８＊１２８の範囲内となる。
各ＣＵは一つの係数セットを符号化し、すなわち当該ＣＵの下の各符号化ブロックはいずれも当該係数セットを採用し、各ＣＵ内での当該係数の符号化と復号の具体的な実現は、実施例４または実施例５の対応する係数の符号化と復号の具体的な実現を参照することができる。例示的に、当該一つの係数セットは、強調フィルタリング閾値及び強調フィルタリングオフセット量（実施例４に対応する）、または、強調フィルタリング閾値及び強調フィルタリングオフセット量からなる強調フィルタリングパラメータセット（実施例５に対応する）を含み得る。
例示的に、復号デバイスにとっては、各ＣＵで以下のシンタックス情報を復号する必要がある。
１、カレント画像またはｓｌｉｃｅが垂直方向において強調フィルタリングを有効にしているか否かを識別するための垂直方向強調フィルタリング有効フラグである。
有効にしていない場合、上記ステップ１の後、上記ステップ２を実行する必要はなく、関連する閾値インデックスおよびオフセット量インデックスを符号化および復号する必要はない。
有効にしている場合、上記ステップ１の後、上記ステップ２を実行する必要があり、次の情報を符号化および復号する必要がある：垂直方向強調フィルタリング閾値インデックスおよび垂直方向強調フィルタリングオフセット量インデックスである。
垂直方向強調フィルタリング閾値インデックスは１ｂｉｎであってもよく、つまり２つの閾値候補がある。例示的に、強調フィルタリング閾値候補リストは、｛１、２｝または｛２、４｝であってもよく、あるいは、２つの候補値を含む他の候補リストであってもよい。
例示的に、ＴｖとＮＴｖは、互いの反数である場合、１つの閾値インデックスのみを符号化すればよい。例示的に、強調フィルタリング閾値が固定値、例えばＴｖ＝２、ＮＴｖ＝－２である場合、閾値インデックスを符号化および復号する必要はない。
垂直方向強調フィルタリングオフセット量インデックスｆ０ｖとｆ１ｖの候補値は、同じでも異なっていてもよく、オフセット量インデックスは２ｂｉｎであってもよく、すなわち４つのオフセット量候補を含む。例示的に、強調フィルタリングオフセット量候補リストは、｛１、２、３、４｝または｛２、４、６、８｝であってもよく、または４つの候補値を含む他の候補リストであってもよい。例示的に、強調フィルタリングオフセット量が固定値である場合、当該オフセット量インデックスを符号化する必要はない。例示的に、ｆ０ｖとｆ１ｖの候補リストは同じでも異なっていてもよく、例えば、ｆ０ｖの候補リストは｛－１、－２、－３、－４｝であり、ｆ１ｖの候補リストは｛１、２、３、４｝である。
２、カレント画像またはｓｌｉｃｅが水平方向において強調フィルタリングを有効にしているか否かを識別するための水平方向強調フィルタリング有効フラグである。
有効にしていない場合、上記ステップ３の後、上記ステップ４を実行する必要はなく、関連する閾値インデックスおよびオフセット量インデックスを符号化および復号する必要はない。
有効にしている場合、上記ステップ３の後、上記ステップ４を実行する必要があり、次の情報を符号化および復号する必要がある：水平方向強調フィルタリング閾値インデックスおよび水平方向強調フィルタリングオフセット量インデックスである。
水平方向強調フィルタリング閾値インデックスは１ｂｉｎであってもよく、つまり２つの閾値候補がある。例示的に、強調フィルタリング閾値候補リストは、｛１、２｝または｛２、４｝であってもよく、あるいは、２つの候補値を含む他の候補リストであってもよい。
例示的に、ＴｈとＮＴｈは、互いの反数である場合、１つの閾値インデックスのみを符号化すればよい。例示的に、強調フィルタリング閾値が固定値、例えばＴｈ＝２、ＮＴｈ＝－２である場合、閾値インデックスを符号化および復号する必要はない。
水平方向強調フィルタリングオフセット量インデックスｆ０ｈとｆ１ｈの候補値は、同じでも異なっていてもよく、オフセット量インデックスは２ｂｉｎであってもよく、すなわち４つのオフセット量候補を含む。例示的に、強調フィルタリングオフセット量候補リストは、｛１、２、３、４｝または｛２、４、６、８｝であってもよく、または４つの候補値を含む他の候補リストであってもよい。例示的に、強調フィルタリングオフセット量が固定値である場合、当該オフセット量インデックスを符号化する必要はない。例示的に、ｆ０ｈとｆ１ｈの候補リストは同じでも異なっていてもよく、例えば、ｆ０ｈの候補リストは｛－１、－２、－３、－４｝であり、ｆ１ｈの候補リストは｛１、２、３、４｝である。
実施例８
ＣＵレベルで実施例２または実施例３で説明した方法を採用する。
各ＣＵは、いずれも以下のような係数セットを符号化および復号する。
１、周辺ブロックの強調フィルタリングパラメータを再利用するかどうかを示すためのフラグビットである。
１．１、再利用する場合、左側ブロックや上側ブロックなどの周辺ブロックの強調フィルタリングパラメータを再利用する。
１．２、再利用しない場合、以下のようなパラメータを符号化する。
１．２．１、カレントＣＵが垂直方向において強調フィルタリングを有効にしているか否かを識別する垂直方向強調フィルタリング有効フラグである。
１．２．１．１、有効にしている場合、上記ステップ１の後、上記ステップ２を実行する必要があり、次の情報を符号化および復号する必要がある。
１．２．１．１．１、垂直方向強調フィルタリング閾値インデックスである。当該閾値インデックスは、好ましくは１ｂｉｎであり、つまり２つの閾値候補がある。例示的に、強調フィルタリング閾値候補リストは、｛１、２｝または｛２、４｝であってもよく、あるいは、２つの候補値を含む他の候補リストであってもよい。例示的に、ＴｖとＮＴｖは、互いの反数である場合、１つの閾値インデックスのみを符号化すればよい。例示的に、強調フィルタリング閾値が固定値、例えばＴｖ＝２、ＮＴｖ＝－２である場合、閾値インデックスを符号化および復号する必要はない。
１．２．１．１．２、垂直方向強調フィルタリングオフセット量インデックスである。ｆ０ｖとｆ１ｖの候補値は、同じでも異なっていてもよく、オフセット量インデックスは、好ましくは２ｂｉｎであり、すなわち４つのオフセット量候補を含む。例示的に、強調フィルタリングオフセット量候補リストは、｛１、２、３、４｝または｛２、４、６、８｝であってもよく、または４つの候補値を含む他の候補リストであってもよい。例示的に、強調フィルタリングオフセット量が固定値である場合、当該オフセット量インデックスを符号化する必要はない。例示的に、ｆ０ｖとｆ１ｖの候補リストは同じでも異なっていてもよく、例えば、ｆ０ｖの候補リストは｛－１、－２、－３、－４｝であり、ｆ１ｖの候補リストは｛１、２、３、４｝である。
１．２．１．２、有効にしていない場合、上記ステップ１の後、上記ステップ２を実行する必要はなく、１．２．１．１．１、と１．２．１．１．２、における閾値インデックスおよびオフセット量インデックスを符号化および復号する必要はない。
１．２．２、カレントＣＵが水平方向において強調フィルタリングを有効にしているか否かを識別するための水平方向強調フィルタリング有効フラグである。
１．２．２．１、有効にしている場合、上記ステップ３の後、上記ステップ４を実行する必要があり、次の情報を符号化および復号する必要がある。
１．２．２．１．１、水平方向強調フィルタリング閾値インデックスである。当該閾値インデックスは、好ましくは１ｂｉｎであり、つまり２つの閾値候補がある。例示的に、強調フィルタリング閾値候補リストは、｛１、２｝または｛２、４｝であってもよく、あるいは、２つの候補値を含む他の候補リストであってもよい。例示的に、ＴｈとＮＴｈは、互いの反数である場合、１つの閾値インデックスのみを符号化すればよい。例示的に、強調フィルタリング閾値が固定値、例えばＴｈ＝２、ＮＴｈ＝－２である場合、閾値インデックスを符号化および復号する必要はない。
１．２．２．１．２、水平方向強調フィルタリングオフセット量インデックスである。ｆ０ｈとｆ１ｈの候補値は、同じでも異なっていてもよく、オフセット量インデックスは、好ましくは２ｂｉｎであり、すなわち４つのオフセット量候補を含む。例示的に、強調フィルタリングオフセット量候補リストは、｛１、２、３、４｝または｛２、４、６、８｝であってもよく、または４つの候補値を含む他の候補リストであってもよい。例示的に、強調フィルタリングオフセット量が固定値である場合、当該オフセット量インデックスを符号化する必要はない。例示的に、ｆ０ｈとｆ１ｈの候補リストは同じでも異なっていてもよく、例えば、ｆ０ｈの候補リストは｛－１、－２、－３、－４｝であり、ｆ１ｈの候補リストは｛１、２、３、４｝である。
１．２．２．２、有効にしていない場合、上記ステップ３の後、上記ステップ４を実行する必要はなく、１．２．２．１．１、と１．２．２．１．２、における閾値インデックスおよびオフセット量インデックスを符号化および復号する必要はない。
実施例９
フレームレベルとＣＴＵレベルで実施例２または実施例３で説明した方法を採用する。
フレームレベルで一つのフラグビットを追加し（すなわち、上述所定のフラグビット）、当該フラグビットは、カレントフレームが、フレームレベルシンタックスまたはＣＴＵレベルシンタックスのいずれかを採用して強調フィルタリングを有効にしていることを示すために用いられる。符号化および復号側は、フレームレベルで当該フラグビットを符号化および復号する必要がある。
カレントフレームがフレームレベルシンタックスを採用して強調フィルタリングを有効にしている場合、各フレーム画像内の符号化・復号係数の具体的な実現は、実施例４または実施例５を参照することができる。
カレントフレームがＣＴＵレベルシンタックスを採用して強調フィルタリングを有効にしている場合、各ＣＴＵ内の符号化・復号係数の具体的な実現は、実施例６を参照することができる。
実施例１０
フレームレベル、ＣＴＵレベル、およびＣＵレベルで実施例２または実施例３で説明した方法を採用する。
フレームレベルで一つのフラグビットを追加し、当該フラグビットは、カレントフレームが、フレームレベルシンタックスまたはＣＴＵレベルシンタックスのいずれかを採用して強調フィルタリングを有効にしていることを示すために用いられる。符号化および復号側は、フレームレベルで当該フラグビットを符号化および復号する必要がある。
カレントフレームがフレームレベルシンタックスを採用して強調フィルタリングを有効にしている場合、各フレーム画像内の符号化・復号係数の具体的な実現は、実施例４または実施例５を参照することができる。
カレントフレームがＣＴＵレベルシンタックスを採用して強調フィルタリングを有効にしている場合、ＣＴＵレベルで一つのフラグビットを追加する必要があり、当該フラグビットは、カレントＣＴＵが、ＣＴＵレベルシンタックスまたはＣＵレベルシンタックスのいずれかを採用して強調フィルタリングを有効にしていることを示すために用いられる。符号化および復号側は、ＣＴＵレベルで当該フラグビットを符号化および復号する必要がある。
カレントフレームがＣＴＵレベルシンタックスを採用して強調フィルタリングを有効にしている場合、各ＣＴＵ内の符号化・復号係数の具体的な実現は、実施例６を参照することができる。
カレントフレームがＣＵレベルシンタックスを採用して強調フィルタリングを有効にしている場合、各ＣＵ内の符号化・復号係数の具体的な実現は、実施例７または実施例８を参照することができる。
次に、最初のフィルタリングがＳＡＯフィルタリングとして説明する。
実施例１１
ステップ１、Ｙ１（ｉ）をＳＡＯフィルタリング処理してＹ２（ｉ）を取得し、ステップ２、Ｙ１（ｉ）とＹ２（ｉ）に基づいて、画素点の画素値を強調処理してＹ３（ｉ）を取得する。
例示的に、上記第１フィルタリング処理がＳＡＯフィルタリング処理である場合、Ｙ１（ｉ）は上記第２画素値、Ｙ２（ｉ）は上記第１画素値、Ｙ３（ｉ）は上記第３画素値である。
実施例１２
実施例１１におけるステップ２は、実施例２～１０のいずれかに記載の方法を用いて行うことができる。注意すべきことは、実施例２～１０では、主に２回のフィルタリング処理を例として説明したが、本実施例では１回のフィルタリング処理のみを行い、上記実施例の２回のフィルタリング処理のそれぞれに対応するステップおよびパラメータを、本実施例の１回のフィルタリング処理に対応するステップおよびパラメータに置き換えればよい。
次に、最初のフィルタリングがＡＬＦフィルタリングとして説明する。
実施例１３
ステップ１、Ｙ１（ｉ）をＡＬＦフィルタリング処理してＹ２（ｉ）を取得し、ステップ２、Ｙ１（ｉ）とＹ２（ｉ）に基づいて、画素点の画素値を強調処理してＹ３（ｉ）を取得する。
例示的に、上記第１フィルタリング処理がＡＬＦフィルタリング処理である場合、Ｙ１（ｉ）は上記第２画素値、Ｙ２（ｉ）は上記第１画素値、Ｙ３（ｉ）は上記第３画素値である。
実施例１４
実施例１３におけるステップ２は、実施例２～１０のいずれかに記載の方法を用いて行うことができる。注意すべきことは、実施例２～１０では、主に２回のフィルタリング処理を例として説明したが、本実施例では１回のフィルタリング処理のみを行い、上記実施例の２回のフィルタリング処理のそれぞれに対応するステップおよびパラメータを、本実施例の１回のフィルタリング処理に対応するステップおよびパラメータに置き換えればよい。
最後に、最初のフィルタリングが、いずれかのフィルタリング方法として説明する。
実施例１５
ステップ１、Ｙ１（ｉ）をフィルタリング処理してＹ２（ｉ）を取得し、ステップ２、Ｙ１（ｉ）とＹ２（ｉ）に基づいて、画素点の画素値を強調処理してＹ３（ｉ）を取得する。
例示的に、上記第１フィルタリング処理がステップ１におけるフィルタリング処理である場合、Ｙ１（ｉ）は上記第２画素値、Ｙ２（ｉ）は上記第１画素値、Ｙ３（ｉ）は上記第３画素値である。
実施例１６
実施例１５におけるステップ２は、実施例２～１０のいずれかに記載の方法を用いて行うことができる。注意すべきことは、実施例２～１０では、主に２回のフィルタリング処理を例として説明したが、本実施例では１回のフィルタリング処理のみを行い、上記実施例の２回のフィルタリング処理のそれぞれに対応するステップおよびパラメータを、本実施例の１回のフィルタリング処理に対応するステップおよびパラメータに置き換えればよい。
実施例１７
実施例１５のステップ２には、Ｙ１（ｉ）、Ｙ２（ｉ）を入力として、機械学習や深層学習を用いてＹ３（ｉ）を決定してもよい。
実施例１８
実施例１５のステップ２には、Ｙ１（ｉ）－Ｙ２（ｉ）またはＹ２（ｉ）－Ｙ１（ｉ）を入力として、ウィナーフィルタを用いてＹ３（ｉ）を決定してもよい。ただし、ウィナーフィルタは、
となってもよい。
当該フィルタは、Ｙ２（ｉ）とその近傍の画素点とに対して重み付け加算を行ってＹ３（ｉ）を得ることを表し、Ｋは正の整数であり、フィルタリングに用いる画素点（カレント画素点および周辺画素点を含む）の数を表す。
実施例１９
実施例１５のステップ２は、Ｙ１（ｉ）－Ｙ２（ｉ）またはＹ２（ｉ）－Ｙ１（ｉ）の大きさに基づいてＹ２（ｉ）を分類し、異なるカテゴリのＹ２（ｉ）に対して、異なるウィナーフィルタを用いてＹ３（ｉ）を決定してもよい。
例えば、Ｙ１（ｉ）－Ｙ２（ｉ）またはＹ２（ｉ）－Ｙ１（ｉ）の大きさと、所定のセグメント分け閾値に基づいて、Ｙ１（ｉ）－Ｙ２（ｉ）またはＹ２（ｉ）－Ｙ１（ｉ）が位置するセグメントを決定し、Ｙ１（ｉ）－Ｙ２（ｉ）またはＹ２（ｉ）－Ｙ１（ｉ）が位置するセグメントが異なっていれば、Ｙ２（ｉ）のカテゴリも異なる。
実施例２０
ＳＰＳレベルのフラグビットを復号または符号化し、当該フラグビットは、カレント画像シーケンスにおけるすべての画像が上述の技術を使用するかどうかを制御するために用いられ、当該技術は、実施例１～１９のいずれかに記載の強調フィルタリング技術の実施形態を含む。例示的に、復号デバイスが復号した当該フラグビットが、上述の技術を使用することを示す場合、実施形態１から１９のいずれかに記載の強調フィルタリング技術にしたがって処理を行う。
本発明の実施例において、第１フィルタリング処理条件を満たすカレント画像ブロックの任意の画素点について、第１フィルタリング処理後の当該画素点の第１画素値を決定し、第１画素値と第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理し、強調処理後の当該画素点の第３画素値を取得することによって、画質を向上させ、符号化・復号性能を向上させた。
本発明によって提供される方法は，上記のとおりである。本発明が提供する装置について、以下に説明する。
図５を参照し、本発明の実施例に示される画像強調装置のハードウェア構造の模式図である。当該画像強調装置は、プロセッサ５０１と、コンピュータプログラムが格納されたメモリ５０２とを備えてもよい。当該装置は、さらに、通信インタフェース５０３及び通信バス５０４を含む。プロセッサ５０１、メモリ５０２、通信インタフェース５０３は、通信バス５０４を介して互いに通信することができる。さらに、メモリ５０２の画像強調制御ロジックに対応するコンピュータプログラムを読み出して実行することにより、プロセッサ５０１は、上述した画像強調方法を実行することができる。
本発明で言及されるメモリ５０２は、任意の電子、磁気、光学、または他の物理記憶デバイスであってもよく、実行可能な命令、データなどの情報を含むかまたは格納することができる。例えば、メモリは、ＲＡＭ（Ｒａｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ）、揮発性メモリ、不揮発性メモリ、フラッシュメモリ、記憶ドライブ（例えば、ハードディスクドライブ）、ソリッドステートドライブ、任意のタイプの記憶ディスク（例えば、光ディスク、ＤＶＤなど）、または類似の記憶媒体であってもよく、またはこれらの組み合わせであってもよい。
図６に示すように、機能的には、上記画像強調装置は、第１フィルタリング処理条件を満たすカレントブロックの任意の画素点について、第１フィルタリング処理後の当該画素点の第１画素値を決定するための決定ユニット６１０と、前記第１画素値と前記第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理し、強調処理後の当該画素点の第３画素値を取得するための強調ユニット６２０とを備えてもよい。
一つの可能な実施例として、前記強調ユニット６２０は、具体的に、前記第１画素値と前記第２画素値との差に基づいて、当該画素点の画素値を強調処理するために用いられる。
一つの可能な実施例として、前記強調ユニット６２０は、具体的に、前記差と所定の閾値との比較結果に基づいて、当該画素点の画素値を強調処理するために用いられる。
一つの可能な実施例として、前記強調ユニット６２０は、具体的に、前記差が第１強調フィルタリング閾値より大きい場合、第１強調フィルタリングオフセット量に基づいて当該画素点の画素値を強調処理し、前記差が第２強調フィルタリング閾値より小さい場合、第２強調フィルタリングオフセット量に基づいて当該画素点の画素値を強調処理するために用いられ、ただし、前記第２強調フィルタリング閾値は前記第１強調フィルタリング閾値より小さい。
一つの可能な実施例として、前記強調ユニット６２０は、具体的に、前記第１画素値と前記第２画素値とに基づいて、第４画素値を決定し、前記第１強調フィルタリングオフセット量に基づいて前記第４画素値を強調処理し、前記第３画素値を取得するために用いられる。
一つの可能な実施例として、前記強調ユニット６２０は、具体的に、前記第１強調フィルタリングオフセット量に基づいて前記第１画素値を強調処理し、前記第３画素値を取得するために用いられる。
一つの可能な実施例として、前記強調ユニット６２０は、具体的に、前記第１画素値と前記第２画素値とに基づいて、第４画素値を決定し、前記第２強調フィルタリングオフセット量に基づいて前記第４画素値を強調処理し、前記第３画素値を取得するために用いられる。
一つの可能な実施例として、前記強調ユニット６２０は、具体的に、前記第２強調フィルタリングオフセット量に基づいて前記第１画素値を強調処理し、前記第３画素値を取得するために用いられる。
一つの可能な実施例として、前記強調ユニット６２０は、さらに、前記差が前記第１強調フィルタリング閾値以下であり、かつ前記第２強調フィルタリング閾値以上の場合、前記第１画素値を前記第３画素値とするために用いられる。
一つの可能な実施例として、前記強調ユニット６２０は、さらに、前記差が前記第１強調フィルタリング閾値以下であり、かつ前記第２強調フィルタリング閾値以上の場合、前記第１画素値を第２フィルタリング処理して前記第３画素値を取得するために用いられる。
一つの可能な実施例として、前記第１強調フィルタリング閾値は、前記第２強調フィルタリング閾値の反数であり、または／および前記第１強調フィルタリングオフセット量は、前記第２強調フィルタリングオフセット量の反数である。
一つの可能な実施例として、図７に示すように、前記装置は、さらに、符号化／復号ユニット６３０を備え、前記符号化／復号ユニットは、閾値インデックスを符号化／復号するために用いられ、前記閾値インデックスは、前記第１強調フィルタリング閾値または前記第２強調フィルタリング閾値の閾値候補リストにおける位置を表すために用いられ、および、前記符号化／復号ユニットは、オフセット量インデックスを符号化／復号するために用いられ、前記オフセット量インデックスは、前記第１強調フィルタリングオフセット量または前記第２強調フィルタリングオフセット量のオフセット量候補リストにおける位置を表すために用いられる。
一つの可能な実施例として、前記第１強調フィルタリング閾値または／および前記第２強調フィルタリング閾値は固定値である。一つの可能な実施例として、前記第１強調フィルタリングオフセット量または／および前記第２強調フィルタリングオフセット量は固定値である。
一つの可能な実施例として、前記強調ユニット６２０は、さらに、前記第３画素値が所定の範囲の上限値より大きい場合、前記第３画素値を前記所定の範囲の上限値と設定し、前記第３画素値が所定の範囲の下限値より小さい場合、前記第３画素値を前記所定の範囲の下限値と設定するために用いられる。
一つの可能な実施例として、前記強調ユニット６２０は、具体的に、前記第１画素値と前記第２画素値とを入力パラメータとして機械学習または深層学習を利用して前記第３画素値を決定するために用いられる。
一つの可能な実施例として、前記強調ユニット６２０は、具体的に、前記カレントブロックが強調フィルタリングを有効にしている場合、前記第１画素値と前記第２画素値とに基づいて当該画素点の画素値を強調処理するために用いられる。
一つの可能な実施例として、指定されたシンタックスを用いて前記カレントブロックが強調フィルタリングを有効にしているか否かを識別し、前記指定されたシンタックスは、シーケンスパラメータセットレベルシンタックス、画像パラメータセットレベルシンタックス、及びｓｌｉｃｅレベルシンタックスのうちの１つ以上を含み、または、当該指定されたシンタックスは、シーケンスパラメータセットレベルシンタックス、画像パラメータセットレベルシンタックス、コーディングツリーユニットＣＴＵレベルシンタックス、及びコーディングツリーユニットＣＵレベルシンタックスのうちの１つ以上を含む。
一つの可能な実施例として、前記指定されたシンタックスのレベル候補は少なくとも２つのレベルを含む場合、所定のフラグビットに基づいて前記指定されたシンタックスのレベルを決定し、前記所定のフラグビットは、前記指定されたシンタックスのレベルを示すために用いられる。
一つの可能な実施例として、前記所定のフラグビットのシンタックスレベルは、前記指定されたシンタックスのレベル候補のうちの非最低レベルにマッチングする。
一つの可能な実施例として、前記指定されたシンタックスのレベル候補が、シーケンスパラメータセットレベルシンタックス及び画像パラメータセットレベルシンタックスを含む場合、前記所定のフラグビットのシンタックスレベルは、シーケンスパラメータセットレベルであり、前記指定されたシンタックスレベルのレベル候補が、画像パラメータセットレベルシンタックス及びｓｌｉｃｅレベルシンタックスを含む場合、前記所定のフラグビットのシンタックスレベルは、画像パラメータセットレベルであり、前記指定されたシンタックスレベルのレベル候補が、シーケンスパラメータセットレベルシンタックス、画像パラメータセットレベルシンタックス、及びｓｌｉｃｅレベルシンタックスを含む場合、前記所定のフラグビットは、シーケンスパラメータセットレベルのフラグビット及び画像パラメータセットレベルのフラグビットを含み、前記指定されたシンタックスレベルのレベル候補が、画像パラメータセットレベルシンタックス及びＣＴＵレベルシンタックスを含む場合、前記所定のフラグビットのシンタックスレベルは、画像パラメータセットレベルであり、前記指定されたシンタックスレベルのレベル候補が、ＣＴＵレベルシンタックス及びＣＵレベルシンタックスを含む場合、前記所定のフラグビットのシンタックスレベルは、ＣＴＵレベルであり、前記指定されたシンタックスレベルのレベル候補が、画像パラメータセットレベルシンタックス、ＣＴＵレベルシンタックス、及びＣＵレベルシンタックスを含む場合、前記所定のフラグビットは、画像パラメータセットレベルのフラグビット及びＣＴＵレベルのフラグビットを含む。
一つの可能な実施例として、前記第１フィルタリング処理は垂直デブロッキングフィルタＤＢＦフィルタリング処理、水平ＤＢＦフィルタリング処理、サンプル適応オフセットＳＡＯフィルタリング処理、または適応ループフィルタＡＬＦフィルタリング処理を含む。
一つの可能な実施例として、前記第１フィルタリング処理が当該画素点に対する複数回連続するフィルタリング処理のうちの最初のフィルタリング処理でない場合、前記第２画素値は、当該画素点の前回のフィルタリング処理後の画素値を強調処理して得られる画素値である。前記第１フィルタリング処理が水平ＤＢＦフィルタリング処理であり、当該画素点が垂直ＤＢＦフィルタリング処理条件を満たす場合、前記第２画素値は、当該画素点の第５画素値の強調処理後の当該画素点の画素値であり、前記第５画素値は垂直ＤＢＦフィルタリング処理後の当該画素点の画素値である。
一つの可能な実施例として、前記第１フィルタリング処理は垂直デブロッキングフィルタＤＢＦフィルタリング処理であり、前記強調ユニットは、さらに、当該画素点が水平ＤＢＦフィルタリング条件を満たす場合、前記第３画素値に対して水平ＤＢＦフィルタリング処理を行って当該画素点の第６画素値を取得し、前記第３画素値および前記第６画素値に基づき、当該画素点の画素値を強調処理し、強調処理後の当該画素点の第７画素値を得るために用いられる。
いくつかの実施形態において、本発明はさらに、上記のいずれかの実施形態における画像強調装置を備えるカメラ装置を提供し、当該装置は、符号化デバイスに適用してもよいし、復号デバイスに適用してもよい。
説明すべきことは、本発明では、「第１」や「第２」のような関係用語は、１つの実体や操作をもう１つの実体や操作と区別するためにのみ使用され、それらの実体や操作の間の実際の関係や順序を必ずしも要求したり示唆したりするものではない。さらに、用語「含む」、「備える」またはそれらの派生語は、一連の要素を含むプロセス、方法、物品またはデバイスが、そのような要素を含むだけでなく、明示的に記載されていない他の要素を含み、またはさらにプロセス、方法、物品またはデバイスの固有の要素を含むように、非排他的な包含を伝えることを意図している。それ以上の限定しない場合、「１つの．．．を含む」によって限定された要素は、前記要素を含むプロセス、方法、物品、またはデバイスに別の同じ要素が存在することを除外しない。
上記は本発明の好ましい実施例に過ぎず、本発明を限定するものではない。本発明の精神及び原理から逸脱することなく行われる任意の修正、等価交換、改良などは、本発明の保護範囲に含まれるものとする。

Claims (15)

  1. 画像強調方法であって、
    第１フィルタリング処理条件を満たす、カレント画像のカレントブロックの任意の画素点について、第１フィルタリング処理後の当該画素点の第１画素値を決定するステップであって、前記第１フィルタリング処理は、垂直デブロッキングフィルタＤＢＦフィルタリング処理または水平ＤＢＦフィルタリング処理を含み、前記カレント画像は再構成画像であり、復号処理において、前記再構成画像は、ビットストリームに対するエントロピー復号、逆量子化及び逆変換によって得られる、ステップと、
    前記第１画素値と前記第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理し、強調処理後の当該画素点の第３画素値を取得するステップと、を含み、
    前記第１画素値と前記第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理することは、
    前記第１画素値と前記第２画素値との差と、所定の閾値との比較結果に基づいて、当該画素点の前記画素値を強調処理することを含み、
    前記差と所定の閾値との比較結果に基づいて、当該画素点の前記画素値を強調処理することは、
    前記差が第１強調フィルタリング閾値より大きい場合、第１強調フィルタリングオフセット量に基づいて当該画素点の前記画素値を強調処理することと、
    前記差が第２強調フィルタリング閾値より小さい場合、第２強調フィルタリングオフセット量に基づいて当該画素点の前記画素値を強調処理することと、を含み、
    前記第２強調フィルタリング閾値は前記第１強調フィルタリング閾値より小さい
    ことを特徴とする画像強調方法。
  2. 前記第１強調フィルタリングオフセット量に基づいて当該画素点の前記画素値を強調処理することは、
    前記第１画素値と前記第２画素値とに基づいて、第４画素値を決定し、
    前記第１強調フィルタリングオフセット量に基づいて前記第４画素値を強調処理し、前記第３画素値を取得すること
    又は、
    前記第１強調フィルタリングオフセット量に基づいて前記第１画素値を強調処理し、前記第３画素値を取得すること、を含む
    ことを特徴とする請求項１に記載の方法。
  3. 前記第２強調フィルタリングオフセット量に基づいて当該画素点の前記画素値を強調処理することは、
    前記第１画素値と前記第２画素値とに基づいて、第４画素値を決定することと、
    前記第２強調フィルタリングオフセット量に基づいて前記第４画素値を強調処理し、前記第３画素値を取得すること、
    又は、
    前記第２強調フィルタリングオフセット量に基づいて前記第１画素値を強調処理し、前記第３画素値を取得すること、を含む
    ことを特徴とする請求項１に記載の方法。
  4. 前記差と所定の閾値との比較結果に基づいて、当該画素点の前記画素値を強調処理することは、さらに、
    前記差が前記第１強調フィルタリング閾値以下であり、かつ前記第２強調フィルタリング閾値以上の場合、前記第１画素値を前記第３画素値とすること、
    又は、
    前記差が前記第１強調フィルタリング閾値以下であり、かつ前記第２強調フィルタリング閾値以上の場合、前記第１画素値を第２フィルタリング処理して前記第３画素値を取得すること、を含む
    ことを特徴とする請求項１～３のいずれか１項に記載の方法。
  5. 前記第１強調フィルタリング閾値及び前記第２強調フィルタリング閾値の設定は、
    前記第１強調フィルタリング閾値は、前記第２強調フィルタリング閾値の反数であることと、
    前記第１強調フィルタリング閾値は固定値であることと、
    前記第２強調フィルタリング閾値は固定値であることと、のうちの少なくとも一つを含み、
    及び/又は、
    前記第１強調フィルタリングオフセット量及び前記第２強調フィルタリングオフセット量の設定は、
    前記第１強調フィルタリングオフセット量は、前記第２強調フィルタリングオフセット量の反数であることと、
    前記第１強調フィルタリングオフセット量は固定値であることと、
    前記第２強調フィルタリングオフセット量は固定値であることと、のうちの少なくとも一つを含む
    ことを特徴とする請求項１～４のいずれか１項に記載の方法。
  6. 閾値インデックスを符号化／復号することであって、前記閾値インデックスは、前記第１強調フィルタリング閾値または前記第２強調フィルタリング閾値の閾値候補リストにおける位置を表すことと
    オフセット量インデックスを符号化／復号することであって、前記オフセット量インデックスは、前記第１強調フィルタリングオフセット量または前記第２強調フィルタリングオフセット量のオフセット量候補リストにおける位置を表すことと、をさらに含む
    ことを特徴とする請求項１～５のいずれか１項に記載の方法。
  7. 前記第１画素値と前記第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理することは、
    前記カレントブロックが強調フィルタリングを有効にしている場合、前記第１画素値と前記第２画素値とに基づいて当該画素点の画素値を強調処理することを含む
    ことを特徴とする請求項１～６のいずれか１項に記載の方法。
  8. 指定されたシンタックスを用いて前記カレントブロックが強調フィルタリングを有効にしているか否かを識別し、
    前記指定されたシンタックスのレベルは、シーケンスパラメータセットレベルシンタックス、画像パラメータセットレベルシンタックス、及びｓｌｉｃｅレベルシンタックスのうちの１つ以上を含み、
    または、
    当該指定されたシンタックスのレベルは、シーケンスパラメータセットレベルシンタックス、画像パラメータセットレベルシンタックス、コーディングツリーユニットＣＴＵレベルシンタックス、及びコーディングユニットＣＵレベルシンタックスのうちの１つ以上を含み、
    ここで、前記指定されたシンタックスのレベル候補は少なくとも２つのレベルを含む場合、所定のフラグビットに基づいて前記指定されたシンタックスのレベルを決定し、前記所定のフラグビットは、前記指定されたシンタックスのレベルを示すために用いられ、前記所定のフラグビットのシンタックスレベルは、前記指定されたシンタックスのレベル候補のうちの非最低レベルにマッチングし、
    前記指定されたシンタックスのレベル候補が、前記シーケンスパラメータセットレベルシンタックス及び前記画像パラメータセットレベルシンタックスを含む場合、前記所定のフラグビットのシンタックスレベルは、シーケンスパラメータセットレベルであり、
    前記指定されたシンタックスレベルのレベル候補が、前記画像パラメータセットレベルシンタックス及び前記ｓｌｉｃｅレベルシンタックスを含む場合、前記所定のフラグビットのシンタックスレベルは、画像パラメータセットレベルであり、
    前記指定されたシンタックスレベルのレベル候補が、前記シーケンスパラメータセットレベルシンタックス、前記画像パラメータセットレベルシンタックス、及び前記ｓｌｉｃｅレベルシンタックスを含む場合、前記所定のフラグビットは、シーケンスパラメータセットレベルのフラグビット及び画像パラメータセットレベルのフラグビットを含み、
    前記指定されたシンタックスレベルのレベル候補が、前記画像パラメータセットレベルシンタックス及び前記ＣＴＵレベルシンタックスを含む場合、前記所定のフラグビットのシンタックスレベルは、画像パラメータセットレベルであり、
    前記指定されたシンタックスレベルのレベル候補が、前記ＣＴＵレベルシンタックス及び前記ＣＵレベルシンタックスを含む場合、前記所定のフラグビットのシンタックスレベルは、ＣＴＵレベルであり、
    前記指定されたシンタックスレベルのレベル候補が、前記画像パラメータセットレベルシンタックス、前記ＣＴＵレベルシンタックス、及び前記ＣＵレベルシンタックスを含む場合、前記所定のフラグビットは、画像パラメータセットレベルのフラグビット及びＣＴＵレベルのフラグビットを含む
    ことを特徴とする請求項７に記載の方法。
  9. 前記第１フィルタリング処理は、垂直デブロッキングフィルタＤＢＦフィルタリング処理、水平ＤＢＦフィルタリング処理、サンプル適応オフセットＳＡＯフィルタリング処理、または適応ループフィルタＡＬＦフィルタリング処理を含む
    ことを特徴とする請求項１～８のいずれか１項に記載の方法。
  10. 前記第１フィルタリング処理が当該画素点に対する複数回連続するフィルタリング処理のうちの最初のフィルタリング処理でない場合、前記第２画素値は、当該画素点の前回のフィルタリング処理後の画素値を強調処理して得られる画素値である
    ことを特徴とする請求項１～８のいずれか１項に記載の方法。
  11. 前記第１フィルタリング処理は水平ＤＢＦフィルタリング処理であり、
    当該画素点が垂直ＤＢＦフィルタリング処理条件を満たす場合、前記第２画素値は、当該画素点の第５画素値の強調処理後の当該画素点の画素値であり、前記第５画素値は、垂直ＤＢＦフィルタリング処理後の当該画素点の画素値である
    ことを特徴とする請求項１０に記載の方法。
  12. 前記第１フィルタリング処理は垂直デブロッキングフィルタＤＢＦフィルタリング処理であり、
    当該画素点の画素値を強調処理した後、さらに、
    当該画素点が水平ＤＢＦフィルタリング条件を満たす場合、前記第３画素値に対して水平ＤＢＦフィルタリング処理を行って当該画素点の第６画素値を取得するスことと、
    前記第３画素値および前記第６画素値に基づき、当該画素点の画素値を強調処理し、強調処理後の当該画素点の第７画素値を得ることと、を含む
    ことを特徴とする請求項１～８のいずれか１項に記載の方法。
  13. 画像強調装置であって、
    第１フィルタリング処理条件を満たす、カレント画像のカレントブロックの任意の画素点について、第１フィルタリング処理後の当該画素点の第１画素値を決定するための決定ユニットであって、前記第１フィルタリング処理は、垂直デブロッキングフィルタＤＢＦフィルタリング処理または水平ＤＢＦフィルタリング処理を含み、前記カレント画像は再構成画像であり、復号処理において、前記再構成画像は、ビットストリームに対するエントロピー復号、逆量子化及び逆変換によって得られる、決定ユニットと、
    前記第１画素値と前記第１フィルタリング処理前の当該画素点の第２画素値とに基づいて、当該画素点の画素値を強調処理し、強調処理後の当該画素点の第３画素値を取得するための強調ユニットと、を備え、
    前記強調ユニットは、具体的に、前記第１画素値と前記第２画素値との差と、所定の閾値との比較結果に基づいて、当該画素点の前記画素値を強調処理するために用いられ、
    前記強調ユニットは、具体的に、
    前記差が第１強調フィルタリング閾値より大きい場合、第１強調フィルタリングオフセット量に基づいて当該画素点の前記画素値を強調処理し、
    前記差が第２強調フィルタリング閾値より小さい場合、第２強調フィルタリングオフセット量に基づいて当該画素点の前記画素値を強調処理するために用いられ、
    前記第２強調フィルタリング閾値は前記第１強調フィルタリング閾値より小さい
    ことを特徴とする画像強調装置。
  14. 画像強調装置であって、
    プロセッサと、メモリとを備え、前記メモリには、コンピュータプログラムが格納され、前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項１～１２のいずれか１項に記載の方法を実施する
    ことを特徴とする画像強調装置。
  15. 機械可読記憶媒体であって、前記機械可読記憶媒体には、プロセッサによって実行可能な機械実行可能命令が記憶されており、前記機械実行可能命令が前記プロセッサによって実行されると、請求項１～１２のいずれか１項に記載の方法が実施される
    ことを特徴とする機械可読記憶媒体。
JP2024042283A 2020-06-05 2024-03-18 画像強調方法及び装置 Pending JP2024060091A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN202010508167.4A CN113766224B (zh) 2020-06-05 2020-06-05 图像增强方法及装置
CN202010508167.4 2020-06-05
PCT/CN2021/098177 WO2021244617A1 (zh) 2020-06-05 2021-06-03 图像增强方法及装置
JP2022574287A JP7460802B2 (ja) 2020-06-05 2021-06-03 画像強調方法及び装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022574287A Division JP7460802B2 (ja) 2020-06-05 2021-06-03 画像強調方法及び装置

Publications (1)

Publication Number Publication Date
JP2024060091A true JP2024060091A (ja) 2024-05-01

Family

ID=78785185

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022574287A Active JP7460802B2 (ja) 2020-06-05 2021-06-03 画像強調方法及び装置
JP2024042283A Pending JP2024060091A (ja) 2020-06-05 2024-03-18 画像強調方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022574287A Active JP7460802B2 (ja) 2020-06-05 2021-06-03 画像強調方法及び装置

Country Status (9)

Country Link
US (1) US20230214969A1 (ja)
EP (1) EP4142276A4 (ja)
JP (2) JP7460802B2 (ja)
KR (1) KR20230003203A (ja)
CN (2) CN113766224B (ja)
AU (1) AU2021283592B2 (ja)
TW (1) TWI826792B (ja)
WO (1) WO2021244617A1 (ja)
ZA (1) ZA202213049B (ja)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446501A (en) * 1992-10-22 1995-08-29 Accom, Incorporated Three-dimensional median and recursive filtering apparatus and method for video image enhancement
KR970010087B1 (en) * 1994-04-30 1997-06-21 Daewoo Electronics Co Ltd Postprocessing method for digital image
US6778692B1 (en) * 2000-08-11 2004-08-17 General Electric Company Image processing method and apparatus including image improving circuit
JP4294887B2 (ja) * 2001-05-24 2009-07-15 富士通株式会社 画像処理装置，画像処理方法および画像処理用プログラム
JP4677376B2 (ja) * 2006-07-07 2011-04-27 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP2013250588A (ja) * 2010-09-27 2013-12-12 Shimadzu Corp 画像強調処理方法およびそれを用いた画像強調処理装置
BR112013006832A2 (pt) * 2010-09-28 2017-05-23 Samsung Electronics Co Ltd método de filtragem adaptativa, e aparelho de filtragem adaptativa
US9681132B2 (en) * 2010-11-24 2017-06-13 Thomson Licensing Dtv Methods and apparatus for adaptive loop filtering in video encoders and decoders
CN103299632B (zh) * 2011-01-14 2017-02-22 瑞典爱立信有限公司 去块效应滤波方法及去块效应滤波器单元
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR20180019548A (ko) * 2015-06-18 2018-02-26 엘지전자 주식회사 영상 코딩 시스템에서 영상 특성에 기반한 적응적 필터링 방법 및 장치
EP3457690A4 (en) * 2016-05-13 2019-05-01 Sharp Kabushiki Kaisha IMAGE DECODING DEVICE AND IMAGE ENCODING DEVICE
JP6902604B2 (ja) * 2017-04-06 2021-07-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置及び復号装置
CN111133757B (zh) * 2017-09-27 2022-04-15 索尼公司 编码设备、编码方法、解码设备和解码方法

Also Published As

Publication number Publication date
AU2021283592A1 (en) 2023-02-02
CN114339224A (zh) 2022-04-12
ZA202213049B (en) 2024-04-24
US20230214969A1 (en) 2023-07-06
TW202201959A (zh) 2022-01-01
EP4142276A4 (en) 2023-11-08
TWI826792B (zh) 2023-12-21
WO2021244617A1 (zh) 2021-12-09
KR20230003203A (ko) 2023-01-05
JP7460802B2 (ja) 2024-04-02
CN113766224B (zh) 2022-11-25
CN113766224A (zh) 2021-12-07
EP4142276A1 (en) 2023-03-01
AU2021283592B2 (en) 2024-03-21
CN114339224B (zh) 2022-12-23
JP2023528430A (ja) 2023-07-04

Similar Documents

Publication Publication Date Title
US11265540B2 (en) Apparatus and method for applying artificial neural network to image encoding or decoding
CN109891883B (zh) 视频编码/解码方法和设备以及存储比特流的记录介质
CN110024385B (zh) 影像编码/解码方法、装置以及对比特流进行存储的记录介质
US20230209051A1 (en) Filtering method and apparatus, and device
WO2018219664A1 (en) A method and a device for picture encoding and decoding
JP2022544438A (ja) ループ内フィルタリングの方法及びループ内フィルタリングの装置
CN114125445B (zh) 解码方法、装置、设备及机器可读存储介质
US12022082B2 (en) Method for reconstructing residual blocks of chroma blocks, and video decoding apparatus
JP7460802B2 (ja) 画像強調方法及び装置
EP3471413A1 (en) Encoding and decoding methods and corresponding devices
CN113891075B (zh) 滤波处理方法及装置
WO2019156757A1 (en) Methods for picture encoding and decoding and corresponding devices
RU2803189C1 (ru) Способ и устройство для улучшения качества изображения
RU2810607C1 (ru) Способ и устройство для улучшения изображения
CN114189683B (zh) 增强滤波方法及装置
US12034921B2 (en) Apparatus and method for applying artificial neural network to image encoding or decoding
KR102140271B1 (ko) 문턱값 기반 부호화 단위 분할을 이용한 고속 인트라 부호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240318