KR20230003203A - 픽처 증강 방법 및 장치 - Google Patents

픽처 증강 방법 및 장치 Download PDF

Info

Publication number
KR20230003203A
KR20230003203A KR1020227041973A KR20227041973A KR20230003203A KR 20230003203 A KR20230003203 A KR 20230003203A KR 1020227041973 A KR1020227041973 A KR 1020227041973A KR 20227041973 A KR20227041973 A KR 20227041973A KR 20230003203 A KR20230003203 A KR 20230003203A
Authority
KR
South Korea
Prior art keywords
filtering
pixel value
pixel
enhancement
value
Prior art date
Application number
KR1020227041973A
Other languages
English (en)
Inventor
팡둥 천
Original Assignee
항조우 힉비젼 디지털 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 항조우 힉비젼 디지털 테크놀로지 컴퍼니 리미티드 filed Critical 항조우 힉비젼 디지털 테크놀로지 컴퍼니 리미티드
Publication of KR20230003203A publication Critical patent/KR20230003203A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

본 출원은 픽처 증강 방법 및 장치를 제공하는 바, 당해 픽처 증강 방법은: 현재 블록의 임의의 제1 필터링 조건을 충족시키는 픽셀 포인트에 대해, 당해 픽셀 포인트의 제1 필터링 처리 후의 제1 픽셀값을 결정하는 단계; 상기 제1 픽셀값 및 당해 픽셀 포인트의 상기 제1 필터링 처리 전의 제2 픽셀값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 증강 처리 후의 당해 픽셀 포인트의 제3 픽셀값을 얻는 단계를 포함한다.

Description

픽처 증강 방법 및 장치
본 출원은 비디오 픽처 코딩 및 디코딩 기술에 관한 것으로, 특히 픽처 증강 방법 및 장치에 관한 것이다.
완전한 비디오 코딩은 일반적으로 예측, 변환, 양자화, 엔트로피 코딩, 필터링 등 조작을 포함한다.
현재, 표준에서 주로 사용하는 필터링 기술은 디블로킹 필터(DeBlocking Filter, DBF) 기술, 샘플 적응성 보상(Sample Adaptive Offset, SAO) 기술 및 적응성 루프 필터링(Adaptive Loop Filter, ALF) 기술을 포함한다.
DBF 기술은 청크 코딩(chunked coding)에 의해 생성된 블록 경계 효과를 제거한다. SAO 기술은 샘플의 픽셀값과 주변 블록의 기울기 값에 기반하여 분류를 수행하여 각 카테고리의 픽셀값에 상이한 보상값을 추가하여, 재구성된 픽처가 원본 픽처에 더 근접하도록 한다. ALF 기술은 위너 필터를 통해, 재구성된 픽처에 대해 증강 필터링을 수행하여 재구성된 픽처가 원본 픽처에 더 근접하도록 한다.
상술한 DBF, SAO 및 ALF 필터링 기술은 모두 현재 픽셀값, 또는 현재 픽셀값과 주변 픽셀값의 관계에 기반하여 분류를 수행하고, 다시 상이한 카테고리에 기반하여 상이한 필터링 조작을 수행하는 바, 이는 오버필터링 현상, 즉 필터링 후의 픽셀값이 필터링 전의 픽셀값보다 훨씬 크거나 작고, 또한 원본 픽셀값보다 훨씬 크거나 작은 현상이 나타날 수 있다.
이를 감안하여, 본 출원은 픽처 증강 방법 및 장치를 제공한다.
구체적으로, 본 출원은 이하 기술적 해결방안을 통해 구현된다: 본 출원의 실시예의 제1 양태에 따르면, 픽처 증강 방법을 제공하는 바: 현재 블록의 임의의 제1 필터링 조건을 충족시키는 픽셀 포인트에 대해, 당해 픽셀 포인트의 제1 필터링 처리 후의 제1 픽셀값을 결정하는 단계; 상기 제1 픽셀값 및 당해 픽셀 포인트의 상기 제1 필터링 처리 전의 제2 픽셀값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 증강 처리 후의 당해 픽셀 포인트의 제3 픽셀값을 얻는 단계를 포함한다.
본 출원의 실시예의 제2 양태에 따르면, 픽처 증강 장치를 제공하는 바, 프로세서, 통신 인터페이스, 메모리 및 통신 버스를 포함하고, 여기서, 프로세서, 통신 인터페이스, 메모리는 통신 버스를 통해 상호간의 통신을 완성하고; 상기 메모리에는 컴퓨터 프로그램이 저장되어 있고, 상기 프로세서는 상기 컴퓨터 프로그램에 의해: 현재 블록의 임의의 제1 필터링 조건을 충족시키는 픽셀 포인트에 대해, 당해 픽셀 포인트의 제1 필터링 처리 후의 제1 픽셀값을 결정하는 것; 상기 제1 픽셀값 및 당해 픽셀 포인트의 상기 제1 필터링 처리 전의 제2 픽셀값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 증강 처리 후의 당해 픽셀 포인트의 제3 픽셀값을 얻는 것을 구현한다.
본 출원의 실시예의 픽처 증강 방법은, 현재 픽처 블록의 임의의 제1 필터링 조건을 충족시키는 픽셀 포인트에 대해, 당해 픽셀 포인트의 제1 필터링 처리 후의 제1 픽셀값을 결정하고, 제1 픽셀값 및 당해 픽셀 포인트의 제1 필터링 처리 전의 제2 픽셀값에 기반하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 것을 통해 증강 처리 후의 당해 픽셀 포인트의 제3 픽셀값을 얻음으로써, 픽처 품질을 향상시키고, 코딩 및 디코딩 성능을 향상시킨다.
도 1a 내지 1b는 본 출원의 예시적 실시예에서 도시한 블록 파티션의 모식도이다;
도 2는 본 출원의 예시적 실시예에서 도시한 코딩 및 디코딩 방법의 모식도이다;
도 3은 본 출원의 예시적 실시예에서 도시한 DBF 필터링 픽셀 모식도이다;
도 4는 본 출원의 예시적 실시예에서 도시한 픽처 증강 방법의 흐름 모식도다;
도 5는 본 출원의 예시적 실시예에서 도시한 픽처 증강 장치의 하드웨어 구조 모식도이다;
도 6은 본 출원의 예시적 실시예에서 도시한 픽처 증강 장치의 기능 구조 모식도이다;
도 7은 본 출원의 예시적 실시예에서 도시한 다른 픽처 증강 장치의 기능 구조 모식도이다.
예들이 본 명세서에서 상세히 설명될 것이며, 그 예시들은 도면들에 나타나 있다. 이하의 설명들이 도면들을 포함할 때, 상이한 도면들에서의 동일한 번호들은 달리 지시되지 않는 한 동일하거나 유사한 요소들을 지칭한다. 하기 예들에 설명된 실시예들은 본 개시내용과 부합하는 모든 실시예를 나타내지 않는다. 오히려, 이들은 본 개시내용의 일부 양태들과 부합하며 첨부된 청구항들에 상술된 바와 같은 장치들 및 방법들의 예들에 불과하다.
본 개시내용에서 사용되는 용어들은 단지 특정 예들을 설명하기 위한 것이며, 본 개시내용을 제한하려는 의도는 아니다. 본 개시내용 및 첨부된 청구항들에서 단수 형태("a", "the" 및 "said")의 용어들은, 문맥상 명확히 달리 지시되지 않는 한, 복수 형태를 포함하도록 또한 의도된다.
본 기술분야에서 통상의 지식을 가진 자들이 본 출원의 실시예에서 제공하는 기술적 해결수단을 더 잘 이해하도록 하기 위하여 아래에는 본 출원의 실시예와 관련된 일부 기술적 용어 및 기존의 비디오 코딩 및 디코딩의 주요 과정을 간단히 설명한다.
가, 기술 용어
1, 비율 왜곡 최적화(Rate-Distortion Optimization, RDO) 원칙. 코딩 효율을 평가하는 데는 비트 레이트(bitrate)와 PSNR(Peak Signal to Noise Ratio, 피크 신호 대 잡음비) 두 가지 지표가 있는 바, 비트 레이트가 작을수록 압축률이 크고, PSNR이 클수록 재구성된 픽처 품질이 더 양호하다. 모드 선택에서, 판별식은 본질적으로 양자에 대한 포괄적인 평가이다. 모드에 대응하는 코스트(cost): J(mode)＝D＋λ*R이다. 여기서, D는 왜곡(Distortion)을 나타내고 일반적으로 SSE(Sum of the Squared Errors, 차이값 제곱합)지표로 측정할 수 있고, SSE는 재구성된 블록과 소스 픽처 블록의 차이값 제곱합을 가리키며;
Figure pct00001
는 라그랑주 승수이고; R은 당해 모드에서의 픽처 블록 코딩에 필요한 실제 비트 수이며, 코딩 모드 정보, 모션 정보, 잔차 등 필요한 비트 합을 포함한다. 모드 선택에서 RDO원칙를 사용하여 코딩 모드에 대해 비교 결정을 내리면 코딩 성능이 우수하도록 확보할 수 있다.
2, 시퀀스 파라미트 세트(Sequence Parameter Set, SPS). 당해 세트에, 전제 시퀀스에 특정 툴(방법) 스위치를 허락하는 지를 결정하는 플래그가 존재한다. 만약 당해 플래그가 1이면, 당해 비디오 시퀀스에서, 대응하는 툴(방법)을 활성화하는 것을 허용하고; 그렇지 않으면, 당해 툴(방법)은 당해 시퀀스의 코딩 과정에서 활성화될 수 없다.
3, 픽처 파라미트 세트(Picture Parameter Set, PPS). 당해 세트에, 특정 픽처에 특정 툴(방법) 스위치를 허락하는지를 결정하는 플래그가 존재한다. 만약 당해 플래그가 1이면, 당해 픽처에서, 대응하는 툴(방법)을 활성화하는 것을 허락하고; 그렇지 않으면, 당해 대응하는 툴(방법)은 당해 픽처의 코딩 과정에서 활성화될 수 없다.
4, 픽처 헤더(picture header), 특정 픽처에 대한 공동 정보이다.
5, 슬라이스(Slice header). 한 픽처로써, 하나의 slice 또는 복수 개의 slice를 포함할 수 있다. 슬라이스 정보에, 특정 slice에 특정 툴(방법) 스위치를 허락하는지를 결정하는 플래그가 존재한다. 만약 당해 플래그가 1이면, 당해 slice에서, 대응하는 툴(방법)을 활성화하는 것을 허락하고; 그렇지 않으면, 당해 대응하는 툴(방법)은 당해 slice의의 코딩 과정에서 활성화될 수 없다.
6, SAO 필터링, 링잉 효과(ringing effect)를 제거한다. 링잉 효과는 고주파수 AC 계수의 양자화 왜곡으로 인해, 디코딩 후 엣지 주변에 파문을 생성하는 현상인 바, 변환 블록 사이즈가 클수록 링잉 효과가 더 선명하다. SAO의 기본 원리는 재구성된 곡선 중의 파봉(crest) 픽셀에 음수 값을 더하여 보상하고, 파곡(trough) 픽셀에 양수 값을 더하여 보상한다. SAO는 CTU를 기본 단위로, 두 가지 보상 형식: 엣지 보상(Edge Offset, EO) 및 밴드 보상(Band Offset, BO)을 포함하고, 이 외에 파라미트 융합 기술을 도입한다.
7, ALF 필터링. 원본 신호와 왜곡 신호에 기반하여 제곱 의미 상의 최적의 필터를 계산하여 얻는 바, 즉 위너 필터(wiener filter)이다. ALF의 필터는 일반적으로 7x7 또는 5x5의 다이아몬드 필터이다.
나, 기존의 비디오 코딩 표준 중의 블록 파티션 기술
HEVC(High Efficiency Video Coding, 고효율 비디오 코딩)에서, 하나의 코딩 트리 유닛(Coding Tree Unit, CTU)은 쿼드 트리를 이용하여 CU(Coding Unit, 코딩 유닛)로 재귀적으로 분할한다. 잎 노드 CU 레벨에서 인트라 코딩 또는 인터 코딩을 사용하는지를 결정한다. CU는 나아가 두 개 또는 4개의 예측 유닛(Prediction Unit, 약칭은 PU)으로 나뉠 수 있으며, 동일한 PU 내에서 동일한 예측 정보를 사용한다. 예측 완료 후에 잔차 정보를 얻은 후, 하나의 CU는 나아가 쿼드 트리를 이용하여 복수 개의 변환 유닛(Transform Units, 약칭은 TU)으로 분할한다. 예를 들면, 본 출원 중의 현재 픽처 블록이 바로 하나의 PU이다.
하지만 새로 제출한 범용 비디오 코딩(Versatile Video Coding, VVC) 중의 블록 파티션 기술에는 비교적 큰 변화가 있다. 이진 트리/삼차 트리/쿼드 트리를 혼합한 분할 구조가 기존의 분할 모드를 대체하여, 기존의 CU, PU, TU의 개념의 구분을 취소하고, CU의 보다 유연한 분할 방식을 지원한다. 여기서, CU는 정사각형으로 분할될 수도 있고 직사각형으로 분할될 수도 있다. CTU는 먼저 쿼드 트리의 분할을 수행한 후, 쿼드 트리로 분할된 잎 노드는 추가로 이진 트리와 삼항 트리의 분할을 수행할 수 있다. 도 1a를 참조하면, (a) 부분에 도시된 CU에 모두 5가지 분할 유형이 존재하는 바, 각각 (b) 부분에 도시된 쿼드 트리 분할, (c) 부분에 도시된 수평 이진 트리 분할, (d) 부분에 도시된 수직 이진 트리 분할, (e) 부분에 도시된 수평 삼항 트리 분할 및 (f) 부분에 도시된 수직 삼항 트리 분할이다. 도 1b에 도시된 바와 같이, 한 가지 CTU 내의 CU 분할은 상술한 5가지 분할 유형의 임의의 조합일 수 있다. 이로부터 알 수 있다시피, 상이한 분할 방식은, 각 PU의 형상이 상이하도록 하는 바, 예컨대 상이한 사이즈의 직사각형, 정사각형이다.
다, 기존의 비디오 코딩 및 디코딩의 주요 과정
도 2 중의 a 부분을 참조할 경우, 비디오 코딩을 예를 들면, 비디오 코딩은 일반적으로 예측, 변환, 양자화, 엔트로피 코딩 등 과정을 포함하고, 나아가, 코딩 과정은 도 2 중의 b 부분의 프레임워크에 따라 구현될 수도 있다.
여기서, 예측은 인트라 예측 및 인터 예측으로 나뉠 수 있는바, 인트라 예측은 주변 기코딩된 블록을 참조로 현재 미코딩된 블록에 대해 예측을 수행하여, 공간적 리던던시를 효과적으로 제거할 수 있다. 인터 예측은 인접한 기코딩된 픽처를 이용하여 현재 픽처에 대해 예측을 수행하여, 시간적 리던던시를 효과적으로 제거한다.
변환은 픽처를 공간 영역에서 변환 영역으로 변환함을 가리키고, 변환 계수를 이용하여 픽처를 나타낸다. 대다수의 픽처는 모두 비교적 많은 평탄한 영역 및 천천히 변화하는 영역을 포함하고, 적당한 변환은 픽처를 공간 영역에서의 분산 분포로부터 변환 영역에서의 상대적 집중 분포로 변환시켜, 신호 사이의 주파수 영역 상관관계를 제거하고, 양자화 과정과 결부하여 비트 스트림을 효과적으로 압축할 수 있다.
엔트로피 코딩은 무손실 코딩방식으로서, 일련의 원소 부호를 하나의 전송 또는 저장에 사용되는 이진법 비트 스트림으로 전환하고, 입력된 부호에는 양자화 후의 변환 계수, 모션 벡터 정보, 예측 모드 정보, 변환 양자화 관련 신택스 등이 포함될 수 있다. 엔트로피 코딩은 비디오 원소 부호의 리던던시를 효과적으로 제거할 수 있다.
상술한 내용은 코딩을 예로 들어 소개하였는 바, 비디오 디코딩과 비디오 코딩의 과정은 상대적인 바, 즉 비디오 디코딩은 일반적으로 엔트로피 디코딩, 예측, 약양자화, 역변환, 필터링 등 과정을 포함하고, 각 과정의 구현 원리는 엔트로피 코딩과 같거나 또는 유사하다.
아래에 다시 DBF 필터링 처리의 구현 과정에 대해 간단히 설명한다.
DBF 필터링 처리는 두 개의 과정: 필터링 결정 및 필터링 조작을 포함한다.
필터링 결정은: 1) 경계 강도(즉 BS값) 획득; 2) 필터링 스위치 책략; 3) 필터링 강약 선택을 포함한다. 색도 컴포넌트에 대해, 오직 단계 1)만 존재하며, 또한 휘도 컴포넌트의 BS값을 직접 재사용한다. 색도 컴포넌트에 대해, BS값이 2(즉 현재 블록 양측의 블록 중 적어도 하나가 intra(인트라) 모드를 사용)일 때만 필터링 조작을 수행한다.
필터링 조작은: 1) 휘도 컴포넌트에 대한 스트롱(strong) 필터링 및 위크(weak) 필터링; 2) 색도 분류에 대한 필터링을 포함한다. DBF 필터링 처리 일반적으로 8*8을 단위로 수평 엣지 필터링 처리(수평 DBF 필터링 처리라고 지칭할 수 있음) 및 수직 엣지 필터링 처리(수직 DBF 필터링 처리라고 지칭할 수 있음)를 수행하고, 또한 많아서 엣지 양측의 3개의 픽셀 포인트에 대해 필터링을 수행하고, 또한 많아서 엣지 양측의 4개의 픽셀 포인트를 이용하여 필터링을 수행하므로, 상이한 블록의 수평/수직 DBF 필터링은 서로 영향주지 않으며 병렬로 수행할 수 있다.
도 3에 도시된 바와 같이, 현재 블록310(8*8로 예를 듬)에 대해, 먼저 현재 블록 310 좌측 3열 및 좌측 변 블록 320우측 3열 픽셀 포인트의 수직 DBF 필터링을 수행하고, 다시 현재 블록310 상측 3행 및 우측 변 블록 330 하측 3행 픽셀 포인트의 수평 DBF 필터링을 수행한다.
예시적으로, 수직 DBF 필터링 및 수평 DBF 필터링 각각의 수행이 필요한 픽셀 포인트에 대해, 일반적으로 먼저 수직 DBF 필터링을 수행한 후 수평 DBF 필터링을 수행한다.
DBF 필터링든지, SAO 필터링이든지 아니면 ALF 필터링든지를 막론하고, 모두 현재 픽셀값, 또는 현재 픽셀값 및 주변 픽셀의 관계에 기반하여 분류를 수행하고, 다시 상이한 카테고리에 기반하여 상이한 필터링 조작을 수행한다. 본 출원에서 제출한 픽처 증강 방법은 필터링 잔차에 기반한 이차 필터링 방법(본 문에서는 증강 필터링이라고 지칭함)이다. 필터링 잔차는, 필터링 처리 전후의 픽셀값의 차이를 가리킨다. 예를 들면, 만약 DBF 필터링 처리 전의 재구성 값이 Y1이고, DBF 필터링 처리 후의 픽셀값이 Y2이면, Y2-Y1의 결과에 기반하여 분류를 수행한다. 필터링 잔차 기반 분류의 주요한 장점은, 일부 오버필터링 또는 의사 필터링(pseudo filtering)의 픽셀값에 대해 특수한 증강을 수행하여, 이러한 카테고리의 픽셀이 원본값에 더 근접하도록 한다. 오버필터링은, Y2가 Y1보다 훨씬 커서(또는 훨씬 작아서), Y2가원본 픽셀값보다 훨씬 큰(또는 훨씬 작은) 것을 가리킨다. 의사 필터링은, Y2-Y1이 0, 또는 0에 근접하고, 이러한 픽셀값이 필터링 후 여전히 변화지 않는 것을 가리키는 바, 필터링을 수행하지 않는 것에 해당할 수 있다.
본 출원에서, 어느 한 픽셀이, 이의 좌표는 (i, j)로 표시할 수 있고, 첫 번째 필터링 처리(이러한 첫 번째 필터링에는 DBF 필터링 처리, SAO필터링 처리 또는 ALF필터링 처리 등 필터링 잔차를 이용하지 않은 필터링 방법이 포함됨) 전의 재구성 값이 Y1이고, 필터링 처리 후의 픽셀값이 Y2라고 가정하면, Y2-Y1의 결과에 기반하여 잔차 분류를 수행할 수 있다. 잔차 분류결과에 기반하여, 다시 증강 처리를 수행하여 Y3을 얻는다. 여기서, Y3은 Y2에 기반하여 증강을 수행하여 얻을 수도 있고, Y1에 기반하여 증강을 수행하여 얻을 수도 있으며, Y1 및 Y2에 기반하여 증강을 수행하여 얻을 수도 있다. 여기서, 상기 증강 처리는, 하나의 보상값(양의 수일 수도 있고, 음의 수일 수도 있음)을 추가하는 것일 수도 있고, 하나의 가중 필터링 과정을 수행하는 것일 수도 있는 바, 예컨대 Y3=w1*Y1+w2*Y2, 또는 Y3=w1*Y2+w2*Y2(i-1, j)+ w2*Y2(i, j-1), 여기서, Y2(i-1, j) 및 Y2(i, j-1)가 Y2인 공간적 인접 픽셀값, 등이다.
본 개시의 실시예의 상기 목적, 특징 및 장점이 보다 뚜렷하고 이해하기 용이하게 하기 위하여 아래에는 도면에 결부하여 본 개시의 실시예에 따른 기술적 해결수단을 더 상세하게 설명한다.
도 4를 참조하면, 이는 본 출원의 실시예에서 제공하는 픽처 증강 방법의 흐름 모식도인 바, 도 4에 도시된 바와 같이, 당해 픽처 증강 방법은 아래와 같은 단계를 포함한다.
단계 S400, 현재 블록의 임의의 제1 필터링 조건을 충족시키는 픽셀 포인트에 대해, 당해 픽셀 포인트의 제1 필터링 처리 후의 제1 픽셀값을 결정한다.
본 출원의 실시예에서, 제1 필터링 처리는 수직 DBF 필터링 처리, 수평 DBF 필터링 처리, SAO필터링 처리 또는 ALF필터링 처리 등을 포함할 수 있으나 이에 제한되지 않는다.
제1 필터링 처리가 수직 DBF 필터링 처리 또는 수평 DBF 필터링 처리인 것을 예로 들면, 현재 블록의 각 픽셀 포인트가 제1 필터링 조건을 충족시키는지 여부는 픽셀 포인트의 현재 블록 중의 위치, 및 상술한 DBF 필터링 처리의 필터링 결정 책략에 기반하여 결정될 수 있다. 예를 들면, 상술한 DBF 필터링 처리의 필터링 책략에 따라 현재 블록이 DBF 필터링 처리를 수행해야 하는 것을 결정할 경우, 현재 블록 중 수직 DBF 필터링 또는/및 수평 DBF 필터링 처리가 필요한 픽셀 포인트는 도 3에 도시된 바와 같을 수 있다.
현재 블록의 임의의 제1 필터링 조건을 충족시키는 픽셀 포인트에 대해, 당해 픽셀 포인트의 제1 필터링 처리 후의 픽셀값(본 문에서 제1 픽셀값으로 지칭함)을 결정할 수 있다.
단계 S410, 제1 픽셀값과 당해 픽셀 포인트의 제1 필터링 처리 전의 제2 픽셀값에 기반하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 증강 처리 후의 당해 픽셀 포인트의 제3 픽셀값을 얻는다.
본 출원의 실시예에서, 당해 픽셀 포인트의 제1 필터링 처리 후의 제1 픽셀값을 결정한 경우, 당해 제1 픽셀값과 당해 픽셀 포인트의 제1 필터링 처리 전의 픽셀값(본 문에서 제2 픽셀값으로 지칭함)에 기반하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행, 즉 당해 픽셀 포인트의 픽셀값에 대해 필터링 처리를 수행하여, 증강 처리 후의 당해 픽셀 포인트의 픽셀값(본 문에서 제3 픽셀값으로 지칭함)을 얻음으로써, 증강 처리 후의 당해 픽셀 포인트의 픽셀값이 제1 픽셀값보다, 원본 픽셀값에 더 근접하도록 하여, 오버필터링으로 인해 필터링 후의 픽셀값이 픽셀 포인트의 원본 픽셀값보다 훨씬 크거나 또는 훨씬 작은 것을 피하여 픽처 품질을 향상시킨다.
예시적으로, 당해 제3 픽셀값이 제1 픽셀값에 비해 당해 픽셀 포인트의 원본 픽셀값에 더 근접하여, 오버필터링으로 인해 필터링 후의 픽셀값이 픽셀 포인트의 원본 픽셀값보다 훨씬 크거나 또는 훨씬 작은 것을 피한다.
예시적으로, 픽셀 포인트의 픽셀값의 증강 처리에 대해 하나의 보상값(오프셋 량으로도 지칭할 수 있으며, 양의 수일 수도 있고, 음의 수일 수도 있음)을 추가하거나, 또는, 가중 필터링 처리를 수행하는 것을 통해 구현할 수 있다.
가중 필터링 처리를 수행하는 것을 예로 들면, 당해 픽셀의 좌표점이 (i, j)이고, 제1 픽셀값은 Y2이며, 제2 픽셀값은 Y1이고, 제3 픽셀값이 Y3이라고 가정하면, Y3=w1*Y1+w2*Y2, 또는 Y3=w1*Y2+w2*Y2(i-1, j)+ w2*Y2(i, j-1)이고, Y2(i-1, j)와 Y2(i, j-1)이 당해 픽셀 포인트의 공간적 인접 픽셀 포인트의 픽셀값이다.
알수 있다시피, 도 4에 도시된 방법 프로세스에서, 픽셀 포인트에 대해 필터링 처리를 수행한 후, 픽셀 포인트의 필터링 처리 전 및 필터링 처리 후의 픽셀값에 기반하여, 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 코딩 및 디코딩 성능을 향상시키고, 픽처 품질을 향상시킬 수 있다.
가능한 실시예로서, 단계 S410에서, 제1 픽셀값과 당해 픽셀 포인트의 제1 필터링 처리 전의 제2 픽셀값에 기반하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 단계는: 제1 픽셀값과 제2 픽셀값 양자 사이의 차이값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 단계를 포함할 수 있다.
예시적으로, 픽셀 포인트 필터링 전후의 픽셀값의 잔차가 일반적으로 필터링 처리 후의 픽셀 포인트의 픽셀값과 당해 픽셀 포인트의 원본 픽셀값 사이의 잔차를 나타낼 수 있는 것을 고려하기에, 픽셀 포인트 필터링 전후의 픽셀값 잔차에 기반하여 픽셀 포인트에 대해 증강 처리를 수행하여, 증강 처리 후의 픽셀 포인트의 픽셀값이 픽셀 포인트의 원본 픽셀값에 더 근접하도록 하고, 픽처 품질을 향상시킬 수 있다.
픽셀 포인트의 제1 필터링 처리 후의 제1 픽셀값을 결정한 경우, 제1 픽셀값과 당해 픽셀 포인트의 제1 필터링 처리 전의 제2 픽셀값 사이의 차이값을 계산할 수 있고, 당해 차이값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행한다.
하나의 예시에서, 제1 픽셀값과 제2 픽셀값 사이의 차이값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 단계는: 제1 픽셀값과 제2 픽셀값 사이의 차이값, 및 기설정된 임계값의 비교 결과에 기반하여, 당해 픽셀 포인트에 대해 증강 처리를 수행하는 단계를 포함할 수 있다.
예시적으로, 픽셀 포인트의 제1 픽셀값과 제2 픽셀값 사이의 차이값, 및 기설정된 임계값의 비교 결과에 기반하여, 당해 픽셀 포인트에 대해 분류를 수행하고, 당해 픽셀 포인트의 카테고리에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행할 수 있다. 예시적으로, 상이한 카테고리의 픽셀 포인트에 대해 수행하는 증강 처리의 책략은 상이하다.
하나의 예시에서, 제1 픽셀값과 제2 픽셀값 사이의 차이값과 기설정된 임계값의 비교 결과에 기반하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 단계는: 만약 제1 픽셀값과 제2 픽셀값 양자 사이의 차이값이 제1 증강 필터링 임계값보다 크면, 제1 증강 필터링 오프셋 량에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 단계; 만약 제1 픽셀값과 제2 픽셀값 양자 사이의 차이값이 제2 증강 필터링 임계값보다 작으면, 제2 증강 필터링 오프셋 량에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 단계; 제2 증강 필터링 임계값이 제1 증강 필터링 임계값보다 작은 단계를 포함할 수 있다.
예시적으로, 기설정된 임계값은 제1 증강 필터링 임계값과 제2 증강 필터링 임계값을 포함할 수 있는 바, 제2 증강 필터링 임계값이 제1 증강 필터링 임계값보다 작다.
제1 픽셀값과 제2 픽셀값 사이의 차이값을 결정한 경우, 당해 차이값과 제1 증강 필터링 임계값 및 제2 증강 필터링 임계값을 비교할 수 있다. 당해 차이값이 제1 증강 필터링 임계값보다 클 경우, 제1 증강 필터링 오프셋 량에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행할 수 있다. 당해 차이값이 제2 증강 필터링 임계값보다 작을 경우, 제2 증강 필터링 오프셋 량에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행할 수 있다.
예를 들어 설명하면, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행할 경우, 제1 픽셀값 및 제2 픽셀값에 기반하여, 제4 픽셀값을 결정할 수 있다. 제1 픽셀값과 제2 픽셀값 양자 사이의 차이값이 제1 증강 필터링 임계값보다 클 경우, 제1 증강 필터링 오프셋 량에 기반하여 당해 제4 픽셀값에 대해 증강 처리를 수행하여 제3 픽셀값을 얻을 수 있고; 제1 픽셀값과 제2 픽셀값 양자 사이의 차이값이 제2 증강 필터링 임계값보다 작을 경우, 제2 증강 필터링 오프셋 량에 기반하여 당해 제4 픽셀값에 대해 증강 처리를 수행하여 제3 픽셀값을 얻을 수 있다.
또 예를 들어 설명하면, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행할 경우, 제1 픽셀값에 대해 증강 처리를 수행하여 구현할 수 있다. 제1 픽셀값과 제2 픽셀값 양자 사이의 차이값이 제1 증강 필터링 임계값보다 클 경우, 제1 증강 필터링 오프셋 량에 기반하여 당해 제1 픽셀값에 대해 증강 처리를 수행하여 제3 픽셀값을 얻을 수 있고; 제1 픽셀값과 제2 픽셀값 양자 사이의 차이값이 제2 증강 필터링 임계값보다 작을 경우, 제2 증강 필터링 오프셋 량에 기반하여 당해 제1 픽셀값에 대해 증강 처리를 수행하여 제3 픽셀값을 얻을 수 있다.
설명해야 할 것은, 본 출원의 실시예에서, 제1 픽셀값과 제2 픽셀값 양자 사이의 차이값이 제1 증강 필터링 임계값보다 작거나 같고, 제2 증강 필터링 임계값보다 크거나 같을 경우, 제1 픽셀값을 제3 픽셀값로 이용하거나, 또는, 제1 픽셀값에 대해 필터링 처리(본 문에서 제2 필터링 처리라고 지칭함)를 수행하여, 제3 픽셀값을 얻을 수 있다.
예를 들면, 제1 픽셀값과 기설정된 제3 증강 필터링 오프셋 량 양자의 합을 제3 픽셀값으로 결정할 수 있다. 또 예를 들면, 제2 필터링 처리는 ALF필터링 처리일 수 있는 바, 즉 제1 픽셀값에 대해 ALF필터링 처리를 수행하여, 제3 픽셀값을 얻는다.
픽셀 포인트의 픽셀값이 지정된 값 범위에 놓이는 것을 고려하면, 당해 값 범위는 일반적으로 픽처 비트 심도에 의해 결정되는 바, 예컨대 [0, 2D - 1]이며, D는 픽처 비트 심도이다. 예를 들면, 8 비트 픽처에 대해, 당해 값 범위가 [0, 255]이고; 10 비트 픽처에 대해, 당해 값 범위는 [0, 1023]이다. 증강 처리 후의 픽셀 포인트의 제3 픽셀값이 픽셀값의 값 범위를 초과하는 것을 피하기 위해, 제3 픽셀값을 얻을 경우, clip(클립)조작을 통해 제3 픽셀값을 기설정된 값 범위 내에 한정시킨다.
제3 픽셀값이 기설정된 값의 범위의 상한보다 클 경우, 제3 픽셀값을 기설정된 값의 범위의 상한으로 설정하고; 제3 픽셀값이 기설정된 임계값 범위의 하한보다 작을 경우, 제3 픽셀값을 기설정된 값의 범위의 하한으로 설정한다. 8 비트 픽처를 예로 들면, 제3 픽셀값이 0보다 작을 경우, 제3 픽셀값을 0으로 설정하고; 제3 픽셀값이 255보다 클 경우, 제3 픽셀값을 255로 설정한다.
코딩단 기기가 현재 블록의 픽셀 포인트에 대해 상술한 증강 처리를 수행한 것을 고려할 경우, 코딩단 기기 및 디코딩단 기기는 증강 필터링 임계값 및 증강 필터링 오프셋 량의 값을 취함에 있어서 일치해야 한다.
예시적으로, 코딩단 기기 및 디코딩단 기기는 동일한 증강 필터링 임계값 후보 리스트(후문에서의 약칭은 임계값 후보 리스트) 및 동일한 증강 필터링 오프셋 량 후보 리스트를 구축하는 것을 통해, 코딩단 기기는 비트 스트림에 증강 필터링 임계값 인덱스(후문에서의 약칭은 임계값 인덱스) 및 증강 필터링 오프셋 량 인덱스(후문에서의 약칭은 오프셋 량 인덱스)를 탑재할 수 있는 바, 당해 임계값 인덱스는 증강 필터링 임계값, 예컨대 제1 증강 필터링 임계값 또는 제2 증강 필터링 임계값의 임계값 후보 리스트에서의 위치를 나타내고, 오프셋 량 인덱스는 증강 필터링 오프셋 량, 예컨대 제1 증강 필터링 오프셋 량 또는 제2 증강 필터링 오프셋 량의 오프셋 량 후보 리스트에서의 위치를 나타낸다.
디코딩단 기기가 비트 스트림을 수신할 경우, 비트 스트림에서 임계값 인덱스 및 오프셋 량 인덱스에 대해 디코딩을 수행하고, 임계값 인덱스에 기반하여 임계값 후보 리스트에서 제1 증강 필터링 임계값 또는 제2 증강 필터링 임계값을 조회하고, 또한, 오프셋 량 인덱스에 기반하여 오프셋 량 후보 리스트에서 제1 증강 필터링 오프셋 량 또는 제2 증강 필터링 오프셋 량을 조회한다.
하나의 예시에서, 코딩될 임계값 인덱스에 소모되는 비트 수를 줄이기 위해, 제1 증강 필터링 임계값 및 제2 증강 필터링 임계값은 서로 반대 숫자일 수 있다.
예시적으로, 제2 증강 필터링 임계값이 제1 증강 필터링 임계값보다 작기 때문에, 제1 증강 필터링 임계값은 양의 수이고, 제2 증강 필터링 임계값은 음의 수이다. 예를 들면, 제1 증강 필터링 임계값이 2이고, 제2 증강 필터링 임계값이 -2이다. 마찬가지로, 제1 증강 필터링 계수 및 제2 증강 필터링 계수도 서로 반대 숫자일 수 있다.
설명해야 할 것은, 본 출원의 실시예에서, 증강 필터링 임계값 후보 리스트 및 증강 필터링 오프셋 량 후보 리스트를 구축할 경우, 파라미트 세트의 형식으로 구축할 수 있다. 즉 후보 리스트 중 매 하나의 후보값은 하나의 파라미트 세트이고, 당해 파라미트 세트에는 하나의 후보 제1 증강 필터링 임계값, 하나의 후보 제2 증강 필터링 임계값(제1 증강 필터링 임계값과 제2 증강 필터링 임계값이 서로 반대 숫자일 경우, 이 중의 하나만 포함할 수 있음), 하나의 후보 제1 증강 필터링 오프셋 량 및 하나의 후보 제2 증강 필터링 오프셋 량(제1 증강 필터링 오프셋 량과 제2 증강 필터링 오프셋 량이 서로 반대 숫자일 경우, 이 중의 하나만 포함할 수 있음)을 포함한다.
인덱스에 대해 코딩 및 디코딩을 수행을 수행할 경우, 파라미트 세트 인덱스의 형식으로 코딩 및 디코딩을 수행할 수 있는 바, 즉 파라미트 세트 인덱스를 통해 파라미트 세트의 파라미트 세트 후보 리스트 중의 위치를 나타내며, 그 구체적은 구현은 아래의 구체적인 실시예에서 설명한다.
이 외에, 본 출원의 실시예에서, 현재 블록의 증강 필터링 파라미트, 예컨대 증강 필터링 임계값 및 증강 필터링 오프셋 량은, 주변 블록, 예컨대 상측 블록 또는 좌측 블록의 상응한 파라미트를 재사용할 수도 있다.
코딩단/디코딩단은 비트 스트림에서 현재 블록이 주변 블록의 증강 필터링을 재사용하는 지를 지시하는 파라미트의 플래그에 대해, 주변 블록의 증강 필터링 파라미트를 재사용하는 것을 결정할 경우, 현재 블록에 대해 추가의 증강 필터링 파라미트의 코딩 및 디코딩을 수행하지 않아도 된다.
다른 하나의 예시에서, 코딩될 임계값 인덱스에 소모되는 비트 수를 줄이기 위해, 제1 증강 필터링 임계값 또는/및 제2 증강 필터링 임계값은 고정값일 수 있다. 예시적으로, 제1 증강 필터링 임계값 또는/및 제2 증강 필터링 임계값을 고정값으로 설정함으로써 제1 증강 필터링 임계값이 대응하는 임계값 인덱스 또는/및 제2 증강 필터링 임계값이 대응하는 임계값 인덱스에 대해 코딩을 수행하지 않아도 된다. 마찬가지로, 제1 증강 필터링 계수 또는/및 제2 증강 필터링 계수도 고정값일 수 있다.
다른 하나의 가능한 실시예에서, 단계 S410에서, 제1 픽셀값과 당해 픽셀 포인트의 제1 필터링 처리 전의 제2 픽셀값에 기반하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 단계는: 제1 픽셀값 및 제2 픽셀값를 입력 파라미트로 이용하고, 머신 러닝 또는 심도 학습을 이용하여, 제3 픽셀값을 결정하는 단계를 포함할 수 있다.
예시적으로, 머신 러닝 또는 심도 학습 방법을 이용하여 픽셀값의 증강 처리를 구현할 수도 있다. 픽셀 포인트에 대해 제1 필터링 처리를 수행하여 당해 픽셀 포인트의 제1 픽셀값을 결정한 경우, 제1 픽셀값 및 제1 필터링 처리 전의 제2 픽셀값를 입력 파라미트로 이용하고, 머신 러닝 또는 심도 학습을 이용하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 증강 처리 후의 제3 픽셀값을 얻는다.
설명해야 할 것은, 상술한 실시예에서 설명한 제3 픽셀값을 결정하는 방식은 단지 본 출원의 실시예의 제3 픽셀값을 결정하는 구현 방식의 몇 가지 구체적인 예제에 속할 뿐 본 출원의 보호범위를 한정하지 않는 바, 즉 본 출원의 실시예에서, 기타 방식에 따라, 제1 픽셀값 및 제2 픽셀값에 기반하여, 제3 픽셀값을 결정할 수 있는 바, 예를 들면, 제1 픽셀값 및 제2 픽셀값 양자의 차이를 입력으로 이용하고, 위너 필터를 이용하여, 제3 픽셀값을 결정하거나, 또는, 제1 픽셀값 및 제2 픽셀값 양자의 차이에 기반하여, 제2 픽셀값에 대해 분류를 수행하고, 제2 픽셀값의 카테고리에 기반하고, 위너 필터를 사용하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 제3 픽셀값을 결정할 수도 있다.
가능한 실시예로서, 단계 S410에서, 제1 픽셀값과 당해 픽셀 포인트의 제1 필터링 처리 전의 제2 픽셀값에 기반하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 단계는: 현재 블록이 증강 필터링을 활성화할 경우, 제1 픽셀값과 당해 제2 픽셀값에 기반하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 단계를 포함할 수 있다.
예시적으로, 증강 필터링의 유연성 및 제어 가능성을 향상시키기 위해, 증강 필터링을 활성화 또는 비활성화하는 방안을 선택할 수 있는 바, 즉 픽셀 포인트에 대해 필터링 처리를 수행한 후, 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하거나(증강 필터링을 활성화) 또는 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하지 않는다(증강 필터링을 비활성화).
현재 블록의 임의의 제1 필터링 조건을 충족시키는 픽셀 포인트에 대해, 당해 픽셀 포인트의 제1 필터링 처리 후의 제1 픽셀값을 결정한 경우, 현재 블록이 증강 필터링을 활성화하는지 여부에 기반하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 지를 결정할 수 있다. 현재 블록이 증강 필터링을 활성화할 경우, 당해 제1 픽셀값과 당해 제2 픽셀값에 기반하여 당해 픽셀 포인트에 대해 증강 처리를 수행한다.
하나의 예시에서, 지정된 신택스를 이용하여 현재 블록이 증강 필터링을 활성화하는 지를 식별할 수 있다. 예시적으로, 당해 지정된 신택스는: 시퀀스 파라미트 세트 레벨 신택스, 픽처 파라미트 세트 레벨 신택스 및 Slice 레벨 신택스 중 적어도 하나를 포함하거나; 또는, 당해 지정된 신택스는: 시퀀스 파라미트 세트 레벨 신택스, 픽처 파라미트 세트 레벨 신택스, CTU 레벨 신택스 및 CU 레벨 신택스 중 적어도 하나를 포함할 수 있다.
예시적으로, 증강 필터링의 유연성 및 제어 가능성을 향상시키기 위해, 상이한 레벨에서 증강 필터링의 활성화 또는 비활성화를 구현할 수 있다. 예를 들면, 시퀀스 파라미트 세트 레벨, 픽처 파라미트 세트 레벨 또는/및 Slice 레벨에서, 증강 필터링의 활성화 또는 비활성화를 구현할 수 있다. 예를 들면, 픽처 시퀀스 증강 필터링을 활성화할 경우, 픽처 파라미트 세트 신택스에 증강 필터링의 활성화 또는 비활성화를 설정함으로써, 당해 픽처 시퀀스 중의 각 픽처가 선택 가능하게 증강 필터링을 활성화 또는 비활성화할 수도 있다. 또 예를 들면, 픽처가 증강 필터링을 활성화할 경우, Slice 레벨 신택스에서 증강 필터링의 활성화 또는 비활성화를 설정함으로써 당해 픽처의 각 Slice가 선택 가능하게 증강 필터링을 활성화 또는 비활성화할 수도 있다. 설명해야 할 것은, 하나의 픽처에 포함된 Slice의 수량이 1일 경우, 당해 픽처가 증강 필터링을 활성화할 때, 당해 Slice도 증강 필터링을 활성화하고; 그 반대도 마찬가지이다.
마찬가지로, 시퀀스 파라미트 세트 레벨, 픽처 파라미트 세트 레벨, CTU 레벨 또는/및 CU 레벨에서, 증강 필터링의 활성화 또는 비활성화를 구현할 수도 있다.
하나의 예시에서, 지정된 신택스의 후보 레벨에 적어도 두 개의 레벨이 포함될 경우, 기설정된 플래그 비트에 기반하여 지정된 신택스의 레벨을 결정하되, 기설정된 플래그 비트는 상기 지정된 신택스의 레벨을 가리킨다.
예시적으로, 지정된 신택스의 후보 레벨에 적어도 두 개의 레벨이 포함될 경우, 전용 플래그를 통해 상술한 지정된 신택스의 레벨을 가리킬 수도 있다. 예를 들면, 지정된 신택스의 레벨에 픽처 파라미트 세트 레벨 및 CTU 레벨이 포함될 경우, 픽처 파라미트 세트 레벨에 하나의 플래그 비트를 추가하여, 상술한 지정된 신택스의 레벨이 픽처 파라미트 세트 레벨 또는 CTU 레벨임을 가리킬 수도 있다.
예시적으로, 상술한 기설정된 플래그 비트의 신택스 레벨은 지정된 신택스의 후보 레벨 중의 비최저 레벨과 매칭된다. 예를 들면, 지정된 신택스의 후보 레벨에 시퀀스 파라미트 세트 레벨 신택스 및 픽처 파라미트 세트 레벨 신택스가 포함될 경우, 당해 기설정된 플래그 비트의 신택스 레벨은 시퀀스 파라미트 세트 레벨이고; 지정된 신택스의 후보 레벨에 픽처 파라미트 세트 레벨 신택스 및 Slice 레벨 신택스가 포함될 경우, 당해 기설정된 플래그 비트의 신택스 레벨은 픽처 파라미트 세트 레벨이고; 지정된 신택스의 후보 레벨에 시퀀스 파라미트 세트 레벨 신택스, 픽처 파라미트 세트 레벨 신택스 및 Slice 레벨 신택스가 포함될 경우, 당해 기설정된 플래그 비트에는 시퀀스 파라미트 세트 레벨의 플래그 비트 및 픽처 파라미트 세트 레벨의 플래그 비트가 포함되고; 지정된 신택스의 후보 레벨에 픽처 파라미트 세트 레벨 신택스 및 CTU 레벨 신택스가 포함될 경우, 당해 기설정된 플래그 비트의 신택스 레벨은 픽처 파라미트 세트 레벨이고; 지정된 신택스의 후보 레벨에 CTU 레벨 신택스 및 CU 레벨 신택스가 포함될 경우, 당해 기설정된 플래그 비트의 신택스 레벨은 CTU 레벨이고; 지정된 신택스의 후보 레벨에 픽처 파라미트 세트 레벨 신택스, CTU 레벨 신택스 및 CU 레벨 신택스가 포함될 경우, 당해 기설정된 플래그 비트에는 CTU 레벨의 플래그 비트 및 CU 레벨의 플래그 비트가 포함되며, 그 구체적인 구현은 아래 구체적인 실시예와 결부하여 설명한다.
가능한 실시예로서, 제1 필터링 처리가 당해 픽셀 포인트에 대한 연속적인 여러 번의 필터링 처리 중의 첫 번째 필터링 처리가 아닐 경우, 제2 픽셀값은 당해 픽셀 포인트의 지난번 필터링 처리 후의 픽셀값을 증강 처리하여 얻은 픽셀값이다.
예시적으로, 하나의 픽셀 포인트가 연속적인 여러 번의 필터링 처리를 거쳐야 할 경우, 매번 당해 픽셀 포인트에 대해 필터링 처리를 수행한 후, 모두 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행할 수 있는 바, 다음 번 필터링 처리 전의 픽셀 포인트의 픽셀값은 지난번 필터링 처리 후 증강 처리를 거친 픽셀값이다.
하나의 예시에서, 제1 필터링 처리가 수평 DBF 필터링 처리일 경우; 당해 픽셀 포인트가 수직 DBF 필터링 처리 조건을 충족시키고, 제2 픽셀값은 당해 픽셀 포인트의 제5 픽셀값에 대해 증강 처리를 수행한 후의 당해 픽셀 포인트의 픽셀값이고, 제5 픽셀값은 당해 픽셀 포인트의 수직 DBF 필터링 처리 후의 픽셀값이다.
예시적으로, 제1 필터링 처리가 수평 DBF 필터링 처리이고, 당해 픽셀 포인트가 수직 DBF 필터링 처리 조건을 충족시키고, 당해 픽셀 포인트의 수직 DBF 필터링 처리 후의 픽셀값이 제5 픽셀값일 경우, 제2 픽셀값은 당해 픽셀 포인트가 수직 DBF 필터링 처리를 거친 후, 상술한 실시예에서 설명한 방식에 따라 증강 처리를 수행한 후의 당해 픽셀 포인트의 픽셀값이다.
가능한 실시예로서, 제1 필터링 처리가 수직 DBF 필터링 처리일 경우; 단계 S410에서, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행 한 후: 당해 픽셀 포인트가 수평 DBF 필터링 조건을 충족시킬 경우, 제3 픽셀값에 대해 수평 DBF 필터링 처리를 수행하여, 당해 픽셀 포인트의 제6 픽셀값을 얻는 단계; 제3 픽셀값과 제6 픽셀값에 기반하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 증강 처리 후의 당해 픽셀 포인트의 제7 픽셀값을 얻는 단계를 더 포함할 수 있다.
예시적으로, 단계 S400 내지 단계 S410에서 설명한 방식에 따라 당해 픽셀 포인트에 대해 수직 DBF 필터링 처리 및 증강 처리를 수행한 경우, 당해 픽셀 포인트가 수평 DBF 필터링 조건을 충족시키는지 여부를 결정, 예를 들면, 당해 픽셀 포인트의 위치에 기반하여 당해 픽셀 포인트가 수평 DBF 필터링 조건을 충족시키는지 여부를 결정할 수도 있다.
당해 픽셀 포인트가 수평 DBF 필터링 조건을 충족시킬 경우, 제3 픽셀값에 대해 수평 DBF 필터링 처리를 수행하여, 당해 픽셀 포인트의 수평 DBF 필터링 처리 후의 픽셀값(본 문에서 제6 픽셀값이라고 지칭함)을 얻을 수 있고, 당해 픽셀 포인트의 수평 DBF 필터링 처리 전의 픽셀값, 즉 제3 픽셀값, 및 당해 픽셀 포인트의 수평 DBF 필터링 처리 후의 픽셀값, 즉 제6 픽셀값에 기반하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 증강 처리 후의 당해 픽셀 포인트의 픽셀값(본 문에서 제7 픽셀값이라고 지칭함)을 얻는다.
설명해야 할 것은, 제3 픽셀값과 제6 픽셀값에 기반하여 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 구체적인 구현 과정은 상술한 실시예에서 설명한 제1 픽셀값과 제2 픽셀값에 기반하여 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 관련 설명을 참조할 수 있으며, 본 출원의 실시예는 여기서 더 이상 설명하지 않는다.
이 외에, 본 출원의 실시예에서, 상술한 연속적인 여러 번의 필터링 처리의 구현 과정은 픽셀 포인트가 각 필터링 처리를 수행 시 모두 증강 필터링을 활성화하는 것을 예로 들어 설명하였는 바, 만약 증강 필터링을 비활성화하는 경우가 존재하면, 상응한 필터링 처리 후, 대해 증강 처리를 수행하지 않을 수 있다.
예를 들어 설명하면, 수직 DBF 필터링 처리 및 수평 DBF 필터링 처리를 예로 들면, 픽셀 포인트가 수직 DBF 필터링 처리 조건 및 수평 DBF 필터링 처리 조건을 충족시키지만, 수직 DBF 필터링 처리에 대해 증강 필터링을 활성화하지 않은 경우, 당해 픽셀 포인트에 대해 수직 DBF 필터링 처리를 수행한 후, 수직 DBF 필터링 처리 후의 픽셀값에 대해 증강 처리를 수행하지 않아도 되며, 이 경우, 당해 픽셀 포인트에 대해 수평 DBF 필터링 처리를 수행할 경우, 당해 픽셀 포인트의 수평 DBF 필터링 처리 전의 픽셀값은 당해 픽셀 포인트의 수직 DBF 필터링 처리 후의 픽셀값이다.
본 기술분야의 통상의 기술자들이 본 발명의 실시예에 따른 기술적 해결수단을 더 잘 이해하도록 하기 위해, 아래 구체적인 실시예와 결부하여 본 출원의 실시예에서 제공하는 기술적 해결방안에 대해 설명한다. 첫 번째 필터링 처리가 각각 DBF 필터링 처리, SAO필터링 처리 또는 ALF필터링 처리인 것을 예로 들어, 본 출원의 실시예에서 제공하는 기술적 해결 방안에 대해 설명한다.
첫 번째 필터링 처리 전의 재구성 값은 Y1, 첫 번째 필터링 처리 후의 픽셀값은 Y2이라고 가정하면, Y2-Y1 또는 Y1-Y2에 기반하여 분류를 수행할 수 있고, 분류 결과에 기반하여 상이한 카테고리의 잔차에 대해 상응한 증강 처리(증강 필터링 처리라고도 지칭할 수 있음)를 수행하여, 증강 처리 후의 픽셀값 Y3을 얻을 수 있다.
예시적으로, Y3은 Y2에 대해 증강을 수행하여 얻을 수도 있고, Y1에 대해 증강을 수행하여 얻을 수도 있으며, Y1 및 Y2에 기반하여 증강을 수행하여 얻을 수도 있다. 예시적으로, 상술한 증강 처리는, 하나의 보상값(양의 수일 수도 있고, 음의 수일 수도 있음)을 추가하거나; 또는, 하나의 가중 필터링 과정, 예컨대 Y3=w1*Y1+w2*Y2, 또는 Y3=w1*Y2+w2*Y2(i-1, j)+ w2*Y2(i, j-1)을 수행하는 것일 수 있다. 여기서, Y2(i-1, j) 및 Y2(i, j-1)는 Y2의 공간적 인접 픽셀값이다.
먼저 첫 번째 필터링 처리가 DBF 필터링 처리인 것에 대해 설명한다.
실시예 1: 픽셀 포인트 i가 수직 DBF 필터링 처리 조건 및 수평 DBF 필터링 처리 조건을 충족시킬 경우를 예를 든다.
단계 1, Y1(i)를 수직 DBF 필터링 처리한 후 Y2(i)를 얻는다; 단계 2, Y1(i) 및 Y2(i)에 기반하여 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 Y3(i)를 얻는다; 단계 3, Y3(i)를 수평 DBF 필터링 처리한 후 Y4(i)를 얻는다; 단계 4, Y4(i) 및 Y3(i)에 기반하여, 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 Y5(i)를 얻는다.
예시적으로, 상술한 제1 필터링 처리가 수직 DBF 필터링 처리일 경우, Y1(i)가 상술한 제2 픽셀값이고, Y2(i)가 상술한 제1 픽셀값이며, Y3(i)가 상술한 제3 픽셀값이다. Y4(i)가 상술한 제6 픽셀값이고, Y5(i)가 상술한 제7 픽셀값이다. 예시적으로, 상술한 제1 필터링 처리가 수평 DBF 필터링 처리일 경우, Y3(i)가 상술한 제2 픽셀값이고, Y4(i)가 상술한 제1 픽셀값이며, Y5(i)가 상술한 제3 픽셀값이고, Y2(i)가 상술한 제5 픽셀값이다.
실시예 2
실시예 1의 기초 상에, 단계 2에서, Yv(i)=(Y1(i)+Y2(i)+1)/2라고 가정한다;
만약Y1(i)-Y2(i)＞Tv이면, Y3(i)=clip(Yv(i)+f0v)이다;
만약Y1(i)-Y2(i)＜NTv이면, Y3(i)=clip(Yv(i)+f1v)이다;
만약NTv≤Y1(i)-Y2(i)≤Tv이면, Y3(i)=Y2(i), 또는, Y3(i)=Y2(i)+f2v이다. Y3(i)=Y2(i)+f2v는Y2(i)에 대해 필터링 처리(즉 상술한 제2 필터링 처리)를 수행하여, Y3(i)를 얻는 것을 나타낸다.
예시적으로, Tv 및 NTv는 증강 필터링 임계값이고, f0v, f1v 및 f2v는 증강 필터링 오프셋 량이다. clip(x)는 x를 기설정된 값 범위 내에 한정하는 것을 나타낸다. 예시적으로, 제1 필터링 처리가 수직 BDF필터링 처리일 경우, Tv가 상술한 제1 증강 필터링 임계값이고, NTv가 상술한 제2 증강 필터링 임계값이며; f0v가 상술한 제1 증강 필터링 오프셋 량이고, f1v가 상술한 제2 증강 필터링 오프셋 량이며, f2v가 상술한 제3 증강 필터링 오프셋 량이고, Yv(i)가 상술한 제4 픽셀값이며, clip(x)는 x를 기설정된 값 범위 내에 한정하는 것을 나타낸다.
예시적으로, NTv=-Tv, 즉 Tv와 NTv는 서로 반대 숫자이다.
유사하게, 단계 4에서, Yh(i)= (Y3(i)+Y4(i)+1)/2라고 가정한다;
만약Y3(i)-Y4(i)＞Th이면, Y3(i)=clip(Yh(i)+f0h)이다;
만약Y3(i)-Y4(i)＜NTh이면, Y3(i)=clip(Yh(i)+f1h)이다;
만약 NTh≤Y3(i)-Y4(i)≤Th이면, Y5(i)=Y4(i), 또는, Y5(i)= Y4(i)+f2h이다. Y5(i)= Y4(i)+f2h는 Y4(i)에 대해 필터링 처리(즉 상술한 제2 필터링 처리)를 수행하여Y5(i)를 얻는 것을 나타낸다.
예시적으로, Th 및 NTh는 증강 필터링 임계값, f0h, f1h 및 f2h는 증강 필터링 오프셋 량이다.
예시적으로, 제1 필터링 처리가 수평 BDF필터링 처리일 경우, Th가 상술한 제1 증강 필터링 임계값이고, NTh가 상술한 제2 증강 필터링 임계값이며; f0h가 상술한 제1 증강 필터링 오프셋 량이고, f1h가 상술한 제2 증강 필터링 오프셋 량이며, f2h가 상술한 제3 증강 필터링 오프셋 량이다.
예시적으로, NTh=-Th, 즉Th 와 NTh는 서로 반대 숫자이다.
실시예 3
실시예 1의 기초 상에, 단계 2에서, Yv(i)= Y2(i)라고 가정한다;
만약Y1(i)-Y2(i)＞Tv이면, Y3(i)=clip(Yv(i)+f0v)이다;
만약Y1(i)-Y2(i)＜NTv이면, Y3(i)=clip(Yv(i)+f1v)이다;
만약 NTv≤Y1(i)-Y2(i)≤Tv이면, Y3(i)= Y2(i), 또는, Y3(i)= Y2(i)+f2v이다. Y3(i)= Y2(i)+f2v는Y2(i)에 대해 필터링 처리(즉 상술한 제2 필터링 처리)를 수행하여, Y3(i)를 얻는다.
예시적으로, Tv 및 NTv는 증강 필터링 임계값이고, f0v, f1v 및 f2v는 증강 필터링 오프셋 량이다. clip(x)는 x를 기설정된 값 범위 내에 한정하는 것을 나타낸다.
예시적으로, NTv=-Tv, 즉 Tv 및 NTv이 서로 반대 숫자이다.
유사하게, 단계 4에서, Yh(i)= -Y4(i)라고 가정한다;
만약 Y3(i)-Y4(i)＞Th이면, Y3(i)=clip(Yh(i)+f0h)이다;
만약 Y3(i)-Y4(i)＜NTh이면, Y3(i)=clip(Yh(i)+f1h)이다;
만약 NTh≤Y3(i)-Y4(i)≤Th이면, Y5(i)= Y4(i), 또는, Y5(i)= Y4(i)+f2h이다. Y5(i)= Y4(i)+f2h는 Y4(i)에 대해 필터링 처리(즉 상술한 제2 필터링 처리)를 수행하여 Y5(i)를 얻는 것을 나타낸다.
예시적으로, Th 및 NTh는 증강 필터링 임계값이고, f0h, f1h 및 f2h는 증강 필터링 오프셋 량이다. 예시적으로, NTh=-Th, 즉 Th와 NTh는 서로 반대 숫자이다.
상술한 실시예 1부터 실시예 3은 픽셀 포인트 i가 수직 DBF 필터링 처리 조건 및 수평 DBF 필터링 처리 조건을 충족시킬 경우를 예로 들어 설명하였지만, 당해 방법을 픽셀 포인트 i가 수직 DBF 필터링 처리 조건을 충족시키거나 또는 수평 DBF 필터링 처리 조건을 충족시키는 경우에도 응용할 수 있다. 예를 들면, 픽셀 포인트 i가 수직 DBF 필터링 처리 조건만 충족시키는 경우, 상술한 실시예의 전 두 개 단계만 포함한다. 예를 들면, 픽셀 포인트 i가 수평 DBF 필터링 처리 조건만 충족시킬 경우, 두 개 단계만 포함하되, 여기서 단계 1은 Y1(i)를 수평 DBF 필터링 처리한 후 Y2(i)를 얻고; 단계 2는Y1(i) 및Y2(i)에 기반하여 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 Y3(i)를 얻으며, 단계 2의 구체적인 구현은 실시예 2 및 실시예 3 중 단계 2의 구체적인 구현을 참조할 수 있는 바, 수직 DBF 필터링 처리의 각 파라미트를 수평 DBF 필터링 처리의 각 파라미트로 바꾸면 되며, 여기서 더 이상 설명하지 않는다.
실시예 4
픽처 레벨에서 실시예 2 또는 실시예 3에서 설명한 방안을 이용한다. 픽처 레벨은 픽처 파라미트 세트 레벨 또는 Slice 레벨을 포함하고, 픽처 파라미트 세트 레벨은 즉 하나의 픽처이고, 하나의 픽처는 N(N은 양의 정수)개의 slice를 포함할 수 있다.
코딩단 기기에 대해, 픽처 헤더 또는 slice 헤더에 이하 신택스 정보를 코딩하고 전송해야 하는 바, 즉 하나의 픽처 또는 하나의 slice는 한 세트의 아래의 신택스(당해 신택스의 레벨은 픽처 파라미트 세트 레벨 또는 Slice 레벨)를 사용해야 하고, 당해 픽처 또는 slice 내의 모든 코딩 블록은 모두 한 세트의 계수를 재사용해야 한다.
예시적으로, 당해 한 세트의 계수는: 증강 필터링 임계값(수직 방향 증강 필터링 임계값 또는/및 수평 방향 증강 필터링 임계값을 포함할 수 있음) 및 증강 필터링 오프셋 량(수직 방향 증강 필터링 오프셋 량 또는/및 수평 방향 증강 필터링 오프셋 량을 포함할 수 있음)을 포함할 수 있다.
디코딩단 기기에 대해, 픽처 헤더 또는 slice 헤더에 신택스 정보를 디코딩해야 한다.
1, 수직 방향 증강 필터링 활성화 플래그, 당해 플래그는 현재 픽처 또는 slice가 수직 방향에서 증강 필터링을 활성화하는지를 식별한다.
만약 비활성화이면, 상술한 단계 1 이후에, 상술한 단계 2를 수행할 필요가 없고, 관련된 임계값 인덱스 및 오프셋 량 인덱스에 대해 코딩 및 디코딩을 수행할 필요도 없다.
만약 활성화이면, 상술한 단계 1 이후에, 상술한 단계 2를 수행해야 하고, 이하 정보: 수직 방향 증강 필터링 임계값 인덱스 및 수직 방향 증강 필터링 오프셋 량 인덱스를 코딩 및 디코딩해야 한다.
수직 방향 증강 필터링 임계값 인덱스는 하나의 bin일 수 있는 바, 즉 두 개의 후보 임계값을 구비할 수 있다. 예시적으로, 증강 필터링 임계값 후보 리스트는 {1, 2} 또는 {2, 4}일 수 있고, 기타 두 개의 후보값을 포함한 후보 리스트일 수도 있다.
예시적으로, Tv와 NTv가 서로 반대 숫자일 경우, 하나의 임계값 인덱스만 코딩하면 된다. 예시적으로, 증강 필터링 임계값이 고정값, 예컨대 Tv=2, NTv=-2이면, 임계값 인덱스를 코딩 및 디코딩할 필요가 없다.
수직 방향 증강 필터링 오프셋 량 인덱스f0v 및 f1v의 후보값은 같을 수도 있고, 다를 수도 있는 바, 오프셋 량 인덱스는 2개의 bin일 수 있는 바, 즉 4개의 후보 오프셋 량을 포함한다. 예시적으로, 증강 필터링 오프셋 량 후보 리스트는 {1, 2, 3, 4} 또는 {2, 4, 6, 8}일 수도 있고, 기타 4개의 후보값을 포함한 후보 리스트일 수도 있다. 예시적으로, 증강 필터링 오프셋 량이 고정값이면, 당해 오프셋 량 인덱스를 코딩할 필요가 없다. 예시적으로, f0v 및 f1v의 후보 리스트는 같을 수도 있고, 다를 수도 있는 바, 예를 들면, f0v의 후보 리스트는 {-1, -2, -3, -4}이고, f1v의 후보 리스트는 {1, 2, 3, 4}이다.
2, 수평 방향 증강 필터링 활성화 플래그, 당해 플래그는 현재 픽처 또는 slice가 수평 방향에서 증강 필터링을 활성화하는 지를 식별한다.
만약 비활성화이면, 상술한 단계 3 이후에 상술한 단계 4를 수행할 필요가 없고, 관련된 임계값 인덱스 및 오프셋 량 인덱스에 대해 코딩 및 디코딩을 수행할 필요도 없다.
만약 활성화이면, 상술한 단계 3 이후에 상술한 단계 4를 수행해야 하고, 이하 정보: 수평 방향 증강 필터링 임계값 인덱스 및 수평 방향 증강 필터링 오프셋 량 인덱스를 코딩 및 디코딩해야 한다.
수평 방향 증강 필터링 임계값 인덱스는 하나의 bin일 수 있는 바, 즉 두 개의 후보 임계값을 구비할 수 있다. 예시적으로, 증강 필터링 임계값 후보 리스트는 {1, 2} 또는 {2, 4}일 수도 있고, 기타 두 개의 후보값을 포함한 후보 리스트일 수도 있다.
예시적으로, Th와 NTh가 서로 반대 숫자일 경우, 하나의 임계값 인덱스만 코딩하면 된다. 예시적으로, 증강 필터링 임계값이 고정값, 예컨대Th=2, NTh=-2이면, 임계값 인덱스를 코딩 및 디코딩할 필요가 없다.
수평 방향 증강 필터링 오프셋 량 인덱스f0h 및 f1h의 후보값은 같을 수도 있고, 다를 수도 있는 바, 오프셋 량 인덱스는 2개의 bin일 수 있는 바, 즉 4개의 후보 오프셋 량을 포함한다. 예시적으로, 증강 필터링 오프셋 량 후보 리스트는 {1, 2, 3, 4} 또는 {2, 4, 6, 8}일 수도 있고, 기타 4개의 후보값을 포함한 후보 리스트일 수도 있다. 예시적으로, 증강 필터링 오프셋 량이 고정값이면, 당해 오프셋 량 인덱스를 코딩할 필요가 없다. 예시적으로, f0h 및 f1h의 후보 리스트는 같을 수도 있고, 다를 수도 있는 바, 예를 들면, f0h의 후보 리스트는 {-1, -2, -3, -4}이고, f1h의 후보 리스트는 {1, 2, 3, 4}이다.
실시예 5
실시예 4와 구별되게, 실시예 5에서는, 증강 필터링 파라미트(증강 필터링 임계값 및/또는증강 필터링 오프셋 량을 포함)는 파라미트 세트의 형식으로 출현되는 바, 즉 더 이상 단독으로 증강 필터링 임계값 및/또는 증강 필터링 오프셋 량의 인덱스 정보를 코딩 및 디코딩하지 않고, 증강 필터링 임계값 및 증강 필터링 오프셋 량으로 구성된 파라미트 세트의 인덱스 정보를 코딩 및 디코딩한다.
픽처 레벨에서는 실시예 2 또는 실시예 3에서 설명한 방안을 사용한다. 픽처 레벨은 픽처 파라미트 세트 레벨 또는 Slice 레벨을 포함하고, 픽처 파라미트 세트 레벨은 하나의 픽처이고, 하나의 픽처는 N(N은 양의 정수)개의 slice를 포함할 수 있다.
코딩단 기기에 대해, 픽처 헤더 또는 slice 헤더에 이하 신택스 정보를 코딩하고 전송해야 하는 바, 즉 하나의 픽처 또는 하나의 slice는 한 세트의 아래의 신택스(당해 신택스의 레벨은 픽처 파라미트 세트 레벨 또는 Slice 레벨)를 사용해야 하고, 당해 픽처 또는 slice 내의 모든 코딩 블록은 모두 한 세트의 계수를 재사용해야 한다.
예시적으로, 당해 한 세트의 계수는: 증강 필터링 임계값 및 증강 필터링 오프셋 량으로 구성된 증강 필터링 파라미트 세트이다. 디코딩단 기기에 대해, 픽처 헤더 또는 slice 헤더에서 이하 신택스 정보를 디코딩해야 한다.
1, 수직 방향 증강 필터링 활성화 플래그, 당해 플래그는 현재 픽처 또는 slice가 수직 방향에서 증강 필터링을 활성화하는지를 식별한다.
만약 비활성화이면, 상술한 단계 1 이후에 상술한 단계 2를 수행할 필요가 없고, 관련된 파라미트 인덱스에 대해 코딩 및 디코딩을 수행할 필요도 없다.
만약 활성화이면, 상술한 단계 1 이후에 상술한 단계 2를 수행해야 하고, 이하 정보: 수직 방향 증강 필터링 파라미트 인덱스를 코딩 및 디코딩해야 한다.
수직 방향 증강 필터링 파라미트는 파라미트 세트의 형식으로 출현될 수 있는 바, 당해 수직 방향 증강 필터링 파라미트 인덱스는 {Tv, f0v, f1v}의 파라미트 세트 후보 리스트 T{ Tv, f0v, f1v }에서의 인덱스를 포함할 수 있으나 이에 제한되지 않는 바, 즉 당해 인덱스에 기반하여, 파라미트 세트 후보 리스트 T에서 Tv, f0v 및 f1v의 값을 결정할 수 있다.
예시적으로, 수직 방향 증강 필터링 파라미트는 코딩단/디코딩단에 기설정된 고정 파라미트 세트, 또는, 저장된 시간 영역에서 이미 기타 픽처를 코딩한 수직 방향 필터링 파라미트일 수 있는 바, 이때, 당해 파라미트 인덱스에 대해 코딩 및 디코딩을 수행하지 않을 수 있다.
2, 수평 방향 증강 필터링 활성화 플래그, 당해 플래그는 현재 픽처 또는 slice가 수평 방향에서 증강 필터링을 활성화하는 지를 식별한다.
만약 비활성화이면, 상술한 단계 3 이후에 상술한 단계 4을 수행할 필요가 없고, 관련된 파라미트 인덱스에 대해 코딩 및 디코딩을 수행할 필요도 없다.
만약 활성화이면, 단계 3 이후에 상술한 단계 4를 수행해야 하고, 이하 정보: 수평 방향 증강 필터링 파라미트 인덱스를 코딩 및 디코딩해야 한다.
수평 방향 증강 필터링 파라미트는 파라미트 세트의 형식으로 출현될 수 있는 바, 수평 방향 증강 필터링 파라미트 인덱스는 {Th, f0h, f1h}의 파라미트 세트 후보 리스트 T{ Th, f0h, f1h } 중의 인덱스를 포함할 수 있으나 이에 제한되지 않는 바, 즉 당해 인덱스에 기반하여, 파라미트 세트 후보 리스트 T에서Th, f0h 및 f1h의 값을 결정할 수 있다.
예시적으로, 수평 방향 증강 필터링 파라미트는 코딩단/디코딩단에 기설정된 고정 파라미트 세트, 또는, 저장된 시간 영역에서 이미 기타 픽처를 코딩한 수평 방향 필터링 파라미트일 수 있는바, 이때, 당해 파라미트 인덱스에 대해 코딩 및 디코딩을 수행하지 않을 수 있다.
실시예 6
CTU 레벨에서 실시예 2 또는 실시예 3에서 설명한 방안을 이용한다. CTU는 최대 코딩 유닛이고, I 슬라이스에 대해, CTU의 사이즈는 일반적으로 64*64; 비I 슬라이스(예컨대 B 슬라이스 또는 P 슬라이스)에 대해, CTU의 사이즈는 일반적으로 128*128이다.
매개 CTU는 한 세트의 계수를 코딩, 즉 당해 CTU에서의 매개 코딩 블록은 모두 당해 세트의 계수를 이용하고, 매개 CTU 내에서 당해 계수를 코딩 및 디코딩하는 구체적인 구현은 실시예 4 또는 실시예 5중의 상응한 계수를 코딩 및 디코딩하는 구체적인 구현을 참조할 수 있다. 예시적으로, 당해 한 세트의 계수는 증강 필터링 임계값 및 증강 필터링 오프셋 량(실시예 4에 대응함), 또는, 증강 필터링 임계값 및 증강 필터링 오프셋 량으로 구성된 증강 필터링 파라미트 세트(실시예 5에 대응함)를 포함할 수 있다.
예시적으로, 디코딩단 기기에 대해, CTU 헤더에서 이하 신택스 정보를 디코딩해야 한다.
1, 수직 방향 증강 필터링 활성화 플래그, 당해 플래그는 현재 픽처 또는 slice가 수직 방향에서 증강 필터링을 활성화하는지를 식별한다.
만약 비활성화이면, 상술한 단계 1 이후에 상술한 단계 2를 수행할 필요가 없고, 관련된 임계값 인덱스 및 오프셋 량 인덱스에 대해 코딩 및 디코딩을 수행할 필요도 없다.
만약 활성화이면, 상술한 단계 1 이후에 상술한 단계 2를 수행해야 하고, 이하 정보: 수직 방향 증강 필터링 임계값 인덱스 및 수직 방향 증강 필터링 오프셋 량 인덱스를 코딩 및 디코딩해야 한다.
수직 방향 증강 필터링 임계값 인덱스는 하나의 bin일 수 있는 바, 즉 두 개의 후보 임계값을 구비할 수 있다. 예시적으로, 증강 필터링 임계값 후보 리스트는 {1, 2} 또는 {2, 4}일 수도 있고, 기타 두 개의 후보값을 포함한 후보 리스트일 수도 있다.
예시적으로, Tv와 NTv가 서로 반대 숫자일 경우, 하나의 임계값 인덱스만 코딩하면 된다. 예시적으로, 증강 필터링 임계값이 고정값, 예컨대 Tv=2, NTv=-2이면, 임계값 인덱스를 코딩 및 디코딩할 필요가 없다.
수직 방향 증강 필터링 오프셋 량 인덱스f0v 및 f1v의 후보값은 같을 수도 있고, 다를 수도 있는 바, 오프셋 량 인덱스는 2개의 bin일 수 있는 바, 즉 4개의 후보 오프셋 량을 포함한다. 예시적으로, 증강 필터링 오프셋 량 후보 리스트는 {1, 2, 3, 4} 또는 {2, 4, 6, 8}일 수도 있고, 기타 4개의 후보값을 포함한 후보 리스트일 수도 있다. 예시적으로, 증강 필터링 오프셋 량이 고정값이면, 당해 오프셋 량 인덱스를 코딩할 필요가 없다. 예시적으로, f0v 및 f1v의 후보 리스트는 같을 수도 있고, 다를 수도 있는 바, 예를 들면, f0v의 후보 리스트는 {-1, -2, -3, -4}이고, f1v의 후보 리스트는 {1, 2, 3, 4}이다.
2, 수평 방향 증강 필터링 활성화 플래그, 당해 플래그는 현재 픽처 또는 slice가 수평 방향에서 증강 필터링을 활성화하는 지를 식별한다.
만약 비활성화이면, 상술한 단계 3 이후에 상술한 단계 4를 수행할 필요가 없고, 관련된 임계값 인덱스 및 오프셋 량 인덱스에 대해 코딩 및 디코딩을 수행할 필요도 없다.
만약 활성화이면, 상술한 단계 3 이후에 상술한 단계 4를 수행해야 하고, 이하 정보: 수평 방향 증강 필터링 임계값 인덱스 및 수평 방향 증강 필터링 오프셋 량 인덱스를 코딩 및 디코딩해야 한다.
수평 방향 증강 필터링 임계값 인덱스는 하나의 bin일 수 있는 바, 즉 두 개의 후보 임계값을 구비할 수 있다. 예시적으로, 증강 필터링 임계값 후보 리스트는 {1, 2} 또는 {2, 4}일 수도 있고, 기타 두 개의 후보값을 포함한 후보 리스트일 수도 있다.
예시적으로, Th와Th가 서로 반대 숫자일 경우, 하나의 임계값 인덱스만 코딩하면 된다. 예시적으로, 증강 필터링 임계값이 고정값, 예컨대Th=2, NTh=-2이면, 임계값 인덱스를 코딩 및 디코딩할 필요가 없다.
수평 방향 증강 필터링 오프셋 량 인덱스f0h 및 f1h의 후보값은 같을 수도 있고, 다를 수도 있는 바, 오프셋 량 인덱스는 2개의 bin일 수 있는 바, 즉 4개의 후보 오프셋 량을 포함한다. 예시적으로, 증강 필터링 오프셋 량 후보 리스트는 {1, 2, 3, 4} 또는 {2, 4, 6, 8}일 수도 있고, 기타 4개의 후보값을 포함한 후보 리스트일 수도 있다. 예시적으로, 증강 필터링 오프셋 량이 고정값이면, 당해 오프셋 량 인덱스를 코딩할 필요가 없다. 예시적으로, f0h 및 f1h의 후보 리스트는 같을 수도 있고, 다를 수도 있는 바, 예를 들면, f0h의 후보 리스트는 {-1, -2, -3, -4}이고, f1h의 후보 리스트는 {1, 2, 3, 4}이다.
실시예 7
CU 레벨에서 실시예 2 또는 실시예 3에서 설명한 방안을 이용한다. CU의 사이즈는 일반적으로 4*4 내지 128*128 범위 내에 있다.
매개 CU는 한 세트의 계수를 코딩, 즉 당해 CU에서의 매개 코딩 블록은 모두 당해 세트의 계수를 사용하고, 매개 CU 내에서 당해 계수를 코딩 및 디코딩하는 구체적인 구현은 실시예 4 또는 실시예 5 중의 상응한 계수를 코딩 및 디코딩하는 구체적인 구현을 참조할 수 있다. 예시적으로, 당해 한 세트의 계수는 증강 필터링 임계값 및 증강 필터링 오프셋 량(실시예 4에 대응함), 또는, 증강 필터링 임계값 및 증강 필터링 오프셋 량으로 구성된 증강 필터링 파라미트 세트(실시예 5에 대응함)를 포함할 수 있다.
예시적으로, 디코딩단 기기에 대해, 매개 CU에서 이하 신택스 정보를 디코딩해야 한다.
1, 수직 방향 증강 필터링 활성화 플래그, 당해 플래그는 현재 픽처 또는 slice가 수직 방향에서 증강 필터링을 활성화하는지를 식별한다.
만약 비활성화이면, 상술한 단계 1 이후에 상술한 단계 2를 수행할 필요가 없고, 관련된 임계값 인덱스 및 오프셋 량 인덱스에 대해 코딩 및 디코딩을 수행할 필요도 없다.
만약 활성화이면, 상술한 단계 1 이후에 상술한 단계 2를 수행해야 하고, 이하 정보: 수직 방향 증강 필터링 임계값 인덱스 및 수직 방향 증강 필터링 오프셋 량 인덱스를 코딩 및 디코딩해야 한다.
수직 방향 증강 필터링 임계값 인덱스는 하나의 bin일 수 있는 바, 즉 두 개의 후보 임계값을 구비할 수 있다. 예시적으로, 증강 필터링 임계값 후보 리스트는 {1, 2} 또는 {2, 4}일 수도 있고, 기타 두 개의 후보값을 포함한 후보 리스트일 수도 있다.
예시적으로, Tv와 NTv가 서로 반대 숫자일 경우, 하나의 임계값 인덱스만 코딩하면 된다. 예시적으로, 증강 필터링 임계값이 고정값, 예컨대 Tv=2, NTv=-2이면, 임계값 인덱스를 코딩 및 디코딩할 필요가 없다.
수직 방향 증강 필터링 오프셋 량 인덱스f0v 및 f1v의 후보값은 같을 수도 있고, 다를 수도 있으며, 오프셋 량 인덱스는 2개의 bin일 수 있는 바, 즉 4개의 후보 오프셋 량을 포함한다. 예시적으로, 증강 필터링 오프셋 량 후보 리스트는 {1, 2, 3, 4} 또는 {2, 4, 6, 8}일 수도 있고, 기타 4개의 후보값을 포함한 후보 리스트일 수도 있다. 예시적으로, 증강 필터링 오프셋 량이 고정값이면, 당해 오프셋 량 인덱스를 코딩할 필요가 없다. 예시적으로, f0v 및 f1v의 후보 리스트는 같을 수도 있고, 다를 수도 있는 바, 예를 들면, f0v의 후보 리스트는 {-1, -2, -3, -4}이고, f1v의 후보 리스트는 {1, 2, 3, 4}이다.
2, 수평 방향 증강 필터링 활성화 플래그, 당해 플래그는 현재 픽처 또는 slice가 수평 방향에서 증강 필터링을 활성화하는 지를 식별한다.
만약 비활성화이면, 상술한 단계 3 이후에 상술한 단계 4를 수행할 필요가 없고, 관련된 임계값 인덱스 및 오프셋 량 인덱스에 대해 코딩 및 디코딩을 수행할 필요도 없다.
만약 활성화이면, 상술한 단계 3 이후에 상술한 단계 4를 수행해야 하고, 이하 정보: 수평 방향 증강 필터링 임계값 인덱스 및 수평 방향 증강 필터링 오프셋 량 인덱스를 코딩 및 디코딩해야 한다.
수평 방향 증강 필터링 임계값 인덱스는 하나의 bin일 수 있는 바, 즉 두 개의 후보 임계값을 구비할 수 있다. 예시적으로, 증강 필터링 임계값 후보 리스트는 {1, 2} 또는 {2, 4}일 수도 있고, 기타 두 개의 후보값을 포함한 후보 리스트일 수도 있다.
예시적으로, Th와 NTh가 서로 반대 숫자일 경우, 하나의 임계값 인덱스만 코딩하면 된다. 예시적으로, 증강 필터링 임계값이 고정값, 예컨대Th=2, NTh=-2이면, 임계값 인덱스를 코딩 및 디코딩할 필요가 없다.
수평 방향 증강 필터링 오프셋 량 인덱스f0h 및 f1h의 후보값은 같을 수도 있고, 다를 수도 있는 바, 오프셋 량 인덱스는 2개의 bin일 수 있는 바, 즉 4개의 후보 오프셋 량을 포함한다. 예시적으로, 증강 필터링 오프셋 량 후보 리스트는 {1, 2, 3, 4} 또는 {2, 4, 6, 8}일 수도 있고, 기타 4개의 후보값을 포함한 후보 리스트일 수도 있다. 예시적으로, 증강 필터링 오프셋 량이 고정값이면, 당해 오프셋 량 인덱스를 코딩할 필요가 없다. 예시적으로, f0h 및 f1h의 후보 리스트는 같을 수도 있고, 다를 수도 있는 바, 예를 들면, f0h의 후보 리스트는 {-1, -2, -3, -4}이고, f1h의 후보 리스트는 {1, 2, 3, 4}이다.
실시예 8
CU 레벨에서 실시예 2 또는 실시예 3에서 설명한 방안을 사용한다.
매개 CU는 모두 한 세트의 이하 계수를 코딩 및 디코딩한다.
1, 주변 블록의 재사용 여부를 나타내는 증강 필터링 파라미트 플래그.
1.1, 만약 재사용이면, 주변 블록, 예컨대 좌측 블록 또는 상측 블록의 증강 필터링 파라미트를 재사용한다.
1.2, 만약 재사용이 아니면, 이하 파라미트를 코딩한다.
1.2.1, 수직 방향 증강 필터링 활성화 플래그, 당해 플래그는 현재 CU가 수직 방향에서 증강 필터링을 활성화하는 지를 식별한다.
1.2.1.1, 만약 활성화이면, 단계 1 이후에 상술한 단계 2를 수행해야 하고, 이하 정보를 코딩 및 디코딩해야 한다.
1.2.1.1.1, 수직 방향 증강 필터링 임계값 인덱스. 당해 임계값 인덱스는 하나의 bin을 선호하는 바, 즉 두 개의 후보 임계값을 구비할 수 있다. 예시적으로, 증강 필터링 임계값 후보 리스트는 {1, 2} 또는 {2, 4}일 수도 있고, 기타 두 개의 후보값을 포함한 후보 리스트일 수도 있다. 예시적으로, Tv와 NTv가 서로 반대 숫자일 경우, 하나의 임계값 인덱스만 코딩하면 된다. 예시적으로, 증강 필터링 임계값이 고정값, 예컨대 Tv=2, NTv=-2이면, 임계값 인덱스를 코딩 및 디코딩할 필요가 없다.
1.2.1.1.2, 수직 방향 증강 필터링 오프셋 량 인덱스. f0v 및 f1v의 후보값은 같을 수도 있고, 다를 수도 있는 바, 오프셋 량 인덱스는 2개의 bin을 선호하는 바, 즉 4개의 후보 오프셋 량을 포함한다. 예시적으로, 증강 필터링 오프셋 량 후보 리스트는 {1, 2, 3, 4} 또는 {2, 4, 6, 8}일 수도 있고, 기타 4개의 후보값을 포함한 후보 리스트일 수도 있다. 예시적으로, 증강 필터링 오프셋 량이 고정값이면, 당해 오프셋 량 인덱스를 코딩할 필요가 없다. 예시적으로, f0v 및 f1v의 후보 리스트는 같을 수도 있고, 다를 수도 있는 바, 예를 들면, f0v의 후보 리스트는 {-1, -2, -3, -4}이고, f1v의 후보 리스트는 {1, 2, 3, 4}이다.
1.2.1.2, 만약 비활성화이면, 단계 1 이후에 상술한 단계 2를 수행할 필요가 없고, 1.2.1.1.1 및 1.2.1.1.2 중의 임계값 인덱스 및 오프셋 량 인덱스에 대해 코딩 및 디코딩을 수행할 필요도 없다.
1.2.2, 수평 방향 증강 필터링 활성화 플래그, 당해 플래그는 현재 CU가 수평 방향에서 증강 필터링을 활성화하는 지를 식별한다.
1.2.2.1, 만약 활성화이면, 단계 3 이후에 상술한 단계 4를 수행해야 하고, 이하 정보를 코딩 및 디코딩해야 한다:
1.2.2.1.1, 수평 방향 증강 필터링 임계값 인덱스. 당해 임계값 인덱스는 하나의 bin을 선호하는 바, 즉 두 개의 후보 임계값을 구비할 수 있다. 예시적으로, 증강 필터링 임계값 후보 리스트는 {1, 2} 또는 {2, 4}일 수도 있고, 기타 두 개의 후보값을 포함한 후보 리스트일 수도 있다. 예시적으로, Th와 NTh가 서로 반대 숫자일 경우, 하나의 임계값 인덱스만 코딩하면 된다. 예시적으로, 증강 필터링 임계값이 고정값, 예컨대Th=2, NTh=-2이면, 임계값 인덱스를 코딩 및 디코딩할 필요가 없다.
1.2.2.1.2, 수평 방향 증강 필터링 오프셋 량 인덱스. f0h 및 f1h의 후보값은 같을 수도 있고, 다를 수도 있는 바, 오프셋 량 인덱스는 2개의 bin을 선호하는 바, 즉 4개의 후보 오프셋 량을 포함한다. 예시적으로, 증강 필터링 오프셋 량 후보 리스트는 {1, 2, 3, 4} 또는 {2, 4, 6, 8}일 수도 있고, 기타 4개의 후보값을 포함한 후보 리스트일 수도 있다. 예시적으로, 증강 필터링 오프셋 량이 고정값이면, 당해 오프셋 량 인덱스를 코딩할 필요가 없다. 예시적으로, f0h 및 f1h의 후보 리스트는 같을 수도 있고, 다를 수도 있는 바, 예를 들면, f0h의 후보 리스트는 {-1, -2, -3, -4}이고, f1h의 후보 리스트는 {1, 2, 3, 4}이다.
1.2.2.2, 만약 비활성화이면, 단계 3 이후에 상술한 단계 4를 수행할 필요가 없고, 1.2.2.1.1 및 1.2.2.1.2 중의 임계값 인덱스 및 오프셋 량 인덱스에 대해 코딩 및 디코딩을 수행할 필요도 없다.
실시예 9
픽처 레벨 및 CTU 레벨에서 실시예 2 또는 실시예 3에서 설명한 방안을 이용한다.
픽처 레벨에 하나의 플래그 비트(즉 상술한 기설정된 플래그 비트)를 추가하는 바, 당해 플래그 비트는 현재 픽처가 픽처 레벨 신택스를 이용하여 증강 필터링을 활성화하거나 또는 CTU 레벨 신택스를 이용하여 증강 필터링을 활성화하는 것을 지시한다. 코딩단/디코딩단은 픽처 레벨에서 당해 플래그 비트를 코딩 및 디코딩해야 한다.
현재 픽처가 픽처 레벨 신택스를 이용하여 증강 필터링을 활성화할 경우, 매개 픽처 내에서 계수를 코딩 및 디코딩하는 구체적인 구현은 실시예 4 또는 실시예 5를 참조할 수 있다.
현재 픽처가 CTU 레벨 신택스를 이용하여 증강 필터링을 활성화할 경우, 매개 CTU 내에서 계수를 코딩 및 디코딩하는 구체적인 구현은 실시예 6을 참조할 수 있다.
실시예 10
픽처 레벨, CTU 레벨 및 CU 레벨에서 실시예 2 또는 실시예 3에서 설명한 방안을 이용한다.
픽처 레벨에 하나의 플래그 비트를 추가하되, 당해 플래그는 현재 픽처가 픽처 레벨 신택스를 이용하여 증강 필터링을 활성화하거나 또는 CTU 레벨 신택스를 이용하여 증강 필터링을 활성화하는 것을 지시한다. 코딩단/디코딩단은 픽처 레벨에서 당해 플래그 비트를 코딩 및 디코딩해야 한다.
현재 픽처가 픽처 레벨 신택스를 이용하여 증강 필터링을 활성화할 경우, 매개 픽처 내에서 계수를 코딩 및 디코딩하는 구체적인 구현은 실시예 4 또는 실시예 5를 참조할 수 있다.
현재 픽처가 CTU 레벨 신택스를 이용하여 증강 필터링을 활성화할 경우, CTU 레벨에 하나의 플래그 비트를 추가해야 하는 바, 당해 플래그 비트는 현재 CTU가 CTU 레벨 신택스를 이용하여 증강 필터링을 활성화하거나 또는 CU 레벨 신택스를 이용하여 증강 필터링을 활성화하는 것을 지시한다. 코딩단/디코딩단은 CTU 레벨에서 당해 플래그 비트를 코딩 및 디코딩해야 한다.
현재 픽처가 CTU 레벨 신택스를 이용하여 증강 필터링을 활성화할 경우, 매개 CTU 내에서 계수를 코딩 및 디코딩하는 구체적인 구현은 실시예 6을 참조할 수 있다.
현재 픽처가 CU 레벨 신택스를 이용하여 증강 필터링을 활성화할 경우, 매개 CU 내에서 계수를 코딩 및 디코딩하는 구체적인 구현은 실시예 7 또는 실시예 8을 참조할 수 있다.
다음은 첫 번째 필터링이 SAO 필터링인 것을 예로 들어 설명한다.
실시예 11
단계 1, Y1(i)를 SAO필터링 처리한 후Y2(i)를 얻는다; 단계 2, Y1(i) 및Y2(i)에 기반하여 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 Y3(i)를 얻는다.
예시적으로, 상술한 제1 필터링 처리가 SAO필터링 처리일 경우, Y1(i)가 상술한 제2 픽셀값, Y2(i)가 상술한 제1 픽셀값, Y3(i)가 상술한 제3 픽셀값이다.
실시예 12
실시예 11 중의 단계 2는 실시예 2부터 실시예 10 중 임의의 실시예에서 설명한 방안을 이용할 수 있다. 주의해야 할 점은, 실시예 2부터 실시예 10은 주로 두 번의 필터링 처리를 예로 들어 설명하였지만, 본 실시예에서는, 한 번의 필터링 처리만 수행하는 바, 상술한 실시예 중 두 번의 필터링 처리 각각에 대응하는 단계 및 파라미트를 본 실시예 중의 한 번의 필터링 처리에 대응하는 단계 및 파라미트로 대체하기만 하면 된다.
다음 첫 번째 필터링이 ALF 필터링인 것을 예로 들어 설명한다.
실시예 13
단계 1, Y1(i)를 ALF필터링 처리한 후 Y2(i)를 얻는다; 단계 2, Y1(i) 및 Y2(i)에 기반하여 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 Y3(i)를 얻는다.
예시적으로, 상술한 제1 필터링 처리가 ALF필터링 처리일 경우, Y1(i)가 상술한 제2 픽셀값, Y2(i)가 상술한 제1 픽셀값, Y3(i)가 상술한 제3 픽셀값이다.
실시예 14
실시예 13 중의 단계 2는 실시예 2부터 실시예 10 중 임의의 실시예에서 설명한 방안을 이용한다. 주의해야 할 점은, 실시예 2부터 실시예 10은 주로 두 번의 필터링 처리를 예로 들어 설명하였지만, 본 실시예에서는, 한 번의 필터링 처리만 수행하는 바, 상술한 실시예 중 두 번의 필터링 처리 각각에 대응하는 단계 및 파라미트를 본 실시예 중의 한 번의 필터링 처리에 대응하는 단계 및 파라미트로 대체하기만 하면 된다.
마지막으로 첫 번째 필터링이 임의의 필터링 방식인 것을 예로 들어 설명한다.
실시예 15
단계 1, Y1(i)를 필터링 처리한 후 Y2(i)를 얻는다; 단계 2, Y1(i) 및 Y2(i)에 기반하여 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 Y3(i)를 얻는다.
예시적으로, 상술한 제1 필터링 처리가 단계 1 중의 필터링 처리일 경우, Y1(i)가 상술한 제2 픽셀값, Y2(i)가 상술한 제1 픽셀값, Y3(i)가 상술한 제3 픽셀값이다.
실시예 16
실시예 15 중의 단계 2는 실시예 2 내지 실시예 10 중 임의의 실시예에서 설명한 방안을 이용할 수 있다. 주의해야 할 점은, 실시예 2부터 실시예 10은 주로 두 번의 필터링 처리를 예로 들어 설명하였지만, 본 실시예에서는, 한 번의 필터링 처리만 수행하는 바, 상술한 실시예 중 두 번의 필터링 처리 각각에 대응하는 단계 및 파라미트를 본 실시예 중의 한 번의 필터링 처리에 대응하는 단계 및 파라미트로 대체하기만 하면 된다.
실시예 17
실시예 15 중의 단계 2는 Y1(i) 및 Y2(i)를 입력으로 이용하고, 머신 러닝 또는 심도 학습을 이용하여 Y3(i)를 결정한다.
실시예 18
실시예 15 중의 단계 2는 Y1(i)-Y2(i) 또는 Y2(i)-Y1(i)를 입력으로 이용하고, 위너 필터를 이용하여 Y3(i)을 결정한다. 여기서, 위너 필터는:
Figure pct00002
당해 필터는Y2(i)와 이의 인접 영역의 픽셀 포인트에 대해 가중 합산하여Y3(i)를 얻되, K는 양의 정수이고, 이는 필터링에 사용되는 픽셀 포인트 개수(현재 픽셀 포인트 및 주변 픽셀 포인트를 포함함)를 나타낸다.
실시예 19
실시예 15 중의 단계 2는 Y1(i)-Y2(i) 또는 Y2(i)-Y1(i)의 사이즈에 기반하여Y2(i)에 대해 분류를 수행하고, 상이한 카테고리의 Y2(i)에 대해, 상이한 위너 필터를 이용하여 Y3(i)을 결정할 수 있다
예를 들면, Y1(i)-Y2(i) 또는 Y2(i)-Y1(i)의 사이즈, 및 기설정된 세그먼트 임계값에 기반하여, Y1(i)-Y2(i) 또는 Y2(i)-Y1(i)가 처한 세그먼트를 결정하되, Y1(i)-Y2(i) 또는 Y2(i)-Y1(i)가 처한 세그먼트는 상이하고, Y2(i)의 카테고리는 상이하다.
실시예 20
하나의 SPS 레벨의 플래그 비트를 디코딩 또는 코딩하되, 당해 플래그는 현재 픽처 시퀀스 중의 모든 픽처가 상술한 기술을 사용하는 지를 제어하고, 당해 기술은 실시예 1부터 실시예 19 중의 임의의 실시예에서 설명한 증강 필터링 기술의 실시 방식을 포함한다. 예시적으로, 디코딩단 기기가 디코딩하여 얻은 당해 플래그가 상술한 기술을 사용하는 것을 나타낼 경우, 실시예 1부터 실시예 19 중의 임의의 실시예에서 설명한 증강 필터링 기술에 따라 처리를 수행한다.
본 출원의 실시예에서, 현재 픽처 블록의 임의의 제1 필터링 조건을 충족시키는 픽셀 포인트에 대해, 당해 픽셀 포인트의 제1 필터링 처리 후의 제1 픽셀값을 결정하고, 제1 픽셀값 및 당해 픽셀 포인트의 제1 필터링 처리 전의 제2 픽셀값에 기반하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 것을 통해 증강 처리 후의 당해 픽셀 포인트의 제3 픽셀값을 얻음으로써, 픽처 품질을 향상시키고, 코딩 및 디코딩 성능을 향상시킨다.
이상은 본 출원에서 제공하는 방법에 대해 설명하였다. 이하는 본 출원에서 제공하는 장치에 대해 설명한다.
도 5는 본 출원의 실시예에서 제공하는 픽처 증강 장치의 하드웨어 구조 모식도이다. 당해 픽처 증강 장치는 프로세서(501), 컴퓨터 프로그램이 저장된 메모리(502)를 포함할 수 있다. 당해 장치는 통신 인터페이스(503) 및 통신 버스(504)를 더 포함한다. 프로세서(501), 메모리(502)는 통신 인터페이스(503)와 통신 버스(504)를 통해 통신한다. 또한, 프로세서(501)는 메모리(502) 중 픽처 증강 제어 논리에 대응하는 컴퓨터 프로그램, 예컨대 기계 수행 가능 명령을 리드하고 수행하여 상문에서 설명한 픽처 증강 방법을 수행할 수 있다.
본 문에서 제출한 메모리(502)는 실행 가능 명령어, 데이터 등과 같은 정보를 포함하거나 저장할 수 있는 임의의 전기적, 자기적, 광학적 또는 다른 물리 저장 장치일 수 있다. 예를 들어, 메모리는 RAM(Radom Access Memory, 랜덤 액세스 메모리), 휘발성 메모리, 비휘발성 메모리, 플래시 메모리, 메모리 드라이버(예컨대, 하드디스크 드라이버), 솔리드 스테이트 하드디스크, 임의의 유형의 메모리 디스크(예컨대, CD, dvd 등), 또는 유사한 저장 매체, 또는 이들의 조합일 수 있다.
예컨대 도 6에 도시된 바와 같이, 기능적으로 분할하면, 상술한 픽처 증강 장치는: 현재 블록의 임의의 제1 필터링 조건을 충족시키는 픽셀 포인트에 대해, 당해 픽셀 포인트의 제1 필터링 처리 후의 제1 픽셀값을 결정하는 결정 유닛(610); 상기 제1 픽셀값 및 당해 픽셀 포인트의 상기 제1 필터링 처리 전의 제2 픽셀값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 증강 처리 후의 당해 픽셀 포인트의 제3 픽셀값을 얻는 증강 유닛(620)을 포함할 수 있다.
가능한 실시예로서, 상기 증강 유닛(620)은 구체적으로 상기 제1 픽셀값과 상기 제2 픽셀값 양자 사이의 차이값에 기반하여, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행한다.
가능한 실시예로서, 상기 증강 유닛(620)는 구체적으로, 상기 차이값과 기설정된 임계값의 비교 결과에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행한다.
가능한 실시예로서, 상기 증강 유닛(620), 구체적으로 만약 상기 차이값이 제1 증강 필터링 임계값보다 크면, 제1 증강 필터링 오프셋 량에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하고; 만약 상기 차이값이 제2 증강 필터링 임계값보다 작으면, 제2 증강 필터링 오프셋 량에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하되; 상기 제2 증강 필터링 임계값은 상기 제1 증강 필터링 임계값보다 작다.
가능한 실시예로서, 상기 증강 유닛(620)은 구체적으로 상기 제1 픽셀값 및 상기 제2 픽셀값에 기반하여 제4 픽셀값을 결정하고; 상기 제1 증강 필터링 오프셋 량에 기반하여 상기 제4 픽셀값에 대해 증강 처리를 수행하여 상기 제3 픽셀값를 얻는다.
가능한 실시예로서, 상기 증강 유닛(620)은 구체적으로 상기 제1 증강 필터링 오프셋 량에 기반하여 상기 제1 픽셀값에 대해 증강 처리를 수행하여 상기 제3 픽셀값을 얻는다.
가능한 실시예로서, 상기 증강 유닛(620)은 구체적으로 상기 제1 픽셀값 및 상기 제2 픽셀값에 기반하여 제4 픽셀값을 결정하고; 상기 제2 증강 필터링 오프셋 량에 기반하여 상기 제4 픽셀값에 대해 증강 처리를 수행하여 상기 제3 픽셀값을 얻는다.
가능한 실시예로서, 상기 증강 유닛(620)은 구체적으로 상기 제2 증강 필터링 오프셋 량에 기반하여 상기 제1 픽셀값에 대해 증강 처리를 수행하여 상기 제3 픽셀값을 얻는다.
가능한 실시예로서, 상기 증강 유닛(620)은 또한 만약 상기 차이값이 상기 제1 증강 필터링 임계값보다 작거나 같고, 상기 제2 증강 필터링 임계값보다 크거나 같으면, 상기 제1 픽셀값을 상기 제3 픽셀값으로 이용한다.
가능한 실시예로서, 상기 증강 유닛(620)은 또한 만약 상기 차이값이 상기 제1 증강 필터링 임계값보다 작거나 같고, 상기 제2 증강 필터링 임계값보다 크거나 같으면, 상기 제1 픽셀값에 대해 제2 필터링 처리를 수행하여 상기 제3 픽셀값을 얻는다.
가능한 실시예로서, 상기 제1 증강 필터링 임계값과 상기 제2 증강 필터링 임계값은 서로 반대 숫자이거나; 또는/및, 상기 제1 증강 필터링 오프셋 량과 상기 제2 증강 필터링 오프셋 량은 서로 반대 숫자이다.
가능한 실시예로서, 도 7에 도시된 바와 같이, 상기 장치는: 임계값 인덱스에 대해 코딩 및 디코딩을 수행하되, 상기 임계값 인덱스는 상기 제1 증강 필터링 임계값 또는 상기 제2 증강 필터링 임계값의 임계값 후보 리스트에서의 위치를 나타내고; 또한, 오프셋 량 인덱스에 대해 코딩 및 디코딩을 수행하되, 상기 오프셋 량 인덱스는 상기 제1 증강 필터링 오프셋 량 또는 상기 제2 증강 필터링 오프셋 량의 오프셋 량 후보 리스트에서의 위치를 나타내는 코딩 및 디코딩 유닛(630)을 더 포함한다.
가능한 실시예로서, 상기 제1 증강 필터링 임계값 또는/및 상기 제2 증강 필터링 임계값은 고정값이다. 가능한 실시예로서, 상기 제1 증강 필터링 오프셋 량 또는/및 상기 제2 증강 필터링 오프셋 량은 고정값이다.
가능한 실시예로서, 상기 증강 유닛(620)은 또한 상기 제3 픽셀값이 기설정된 값의 범위의 상한보다 클 경우, 상기 제3 픽셀값을 상기 기설정된 값의 범위의 상한으로 설정하고; 상기 제3 픽셀값이 기설정된 임계값 범위의 하한보다 작을 경우, 상기 제3 픽셀값을 상기 기설정된 값의 범위의 하한으로 설정한다.
가능한 실시예로서, 상기 증강 유닛(620)은 구체적으로 상기 제1 픽셀값 및 상기 제2 픽셀값을 입력 파라미트로 이용하고, 머신러닝 또는 딥러닝을 이용하여, 상기 제3 픽셀값을 결정한다.
가능한 실시예로서, 상기 증강 유닛(620)은 구체적으로 상기 현재 블록이 증강 필터링을 활성화할 경우, 상기 제1 픽셀값과 상기 제2 픽셀값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행한다.
가능한 실시예로서, 지정된 신택스를 이용하여 상기 현재 블록이 증강 필터링을 활성화하는지를 식별하고; 상기 지정된 신택스는: 시퀀스 파라미트 세트 레벨 신택스, 픽처 파라미트 세트 레벨 신택스 및 Slice 레벨 신택스 중 적어도 하나를 포함하거나; 또는, 상기 지정된 신택스는: 시퀀스 파라미트 세트 레벨 신택스, 픽처 파라미트 세트 레벨 신택스, 코딩 트리 유닛 CTU 레벨 신택스 및 코딩 유닛 CU 레벨 신택스 중 적어도 하나를 포함한다.
가능한 실시예로서, 상기 지정된 신택스의 후보 레벨에 적어도 두 개의 레벨이 포함될 경우, 기설정된 플래그 비트에 기반하여 상기 지정된 신택스의 레벨을 결정하는 바, 상기 기설정된 플래그 비트는 상기 지정된 신택스의 레벨을 가리킨다.
가능한 실시예로서, 상기 기설정된 플래그 비트의 신택스 레벨은 상기 지정된 신택스의 후보 레벨 중의 비최저 레벨과 매칭된다.
가능한 실시예로서, 상기 지정된 신택스의 후보 레벨에 시퀀스 파라미트 세트 레벨 신택스 및 픽처 파라미트 세트 레벨 신택스가 포함될 경우, 상기 기설정된 플래그 비트의 신택스 레벨은 시퀀스 파라미트 세트 레벨이고; 상기 지정된 신택스의 후보 레벨에 픽처 파라미트 세트 레벨 신택스 및 Slice 레벨 신택스가 포함될 경우, 상기 기설정된 플래그 비트의 신택스 레벨은 픽처 파라미트 세트 레벨이고; 상기 지정된 신택스의 후보 레벨에 시퀀스 파라미트 세트 레벨 신택스, 픽처 파라미트 세트 레벨 신택스 및 Slice 레벨 신택스가 포함될 경우, 상기 기설정된 플래그 비트는 시퀀스 파라미트 세트 레벨의 플래그 비트 및 픽처 파라미트 세트 레벨의 플래그 비트를 포함하고; 상기 지정된 신택스의 후보 레벨에 픽처 파라미트 세트 레벨 신택스 및 CTU 레벨 신택스가 포함될 경우, 상기 기설정된 플래그 비트의 신택스 레벨은 픽처 파라미트 세트 레벨이고; 상기 지정된 신택스의 후보 레벨에 CTU 레벨 신택스 및 CU 레벨 신택스가 포함될 경우, 상기 기설정된 플래그 비트의 신택스 레벨은 CTU 레벨이며; 상기 지정된 신택스의 후보 레벨에 픽처 파라미트 세트 레벨 신택스, CTU 레벨 신택스 및 CU 레벨 신택스가 포함될 경우, 상기 기설정된 플래그 비트는 CTU 레벨의 플래그 비트 및 CU 레벨의 플래그 비트를 포함한다.
가능한 실시예로서, 상기 제1 필터링 처리는 수직 디블록킹 필터링 DBF 필터링 처리, 수평 DBF 필터링 처리, 샘플 적응성 보상SAO필터링 처리 또는 적응성 루프 필터링 ALF필터링 처리를 포함한다.
가능한 실시예로서, 상기 제1 필터링 처리가 당해 픽셀 포인트에 대한 연속적인 여러 번의 필터링 중의 첫 번째 필터링 처리가 아닐 경우, 상기 제2 픽셀값은 당해 픽셀 포인트의 지난번 필터링 처리 후의 픽셀값을 증강 처리를 거쳐 얻은 픽셀값이다. 상기 제1 필터링 처리는 수평 DBF 필터링 처리이고; 당해 픽셀 포인트가 수직 DBF 필터링 처리 조건을 충족시킬 경우, 상기 제2 픽셀값은 당해 픽셀 포인트의 제5 픽셀값에 대해 증강 처리를 수행한 후의 당해 픽셀 포인트의 픽셀값이고, 상기 제5 픽셀값은 당해 픽셀 포인트를 수직 DBF 필터링 처리한 픽셀값이다.
가능한 실시예로서, 상기 제1 필터링 처리는 수직 디블록킹 필터링 DBF 필터링 처리이고; 상기 증강 유닛은 또한, 당해 픽셀 포인트가 수평 DBF 필터링 조건을 충족 시킬 경우, 상기 제3 픽셀값에 대해 수평 DBF 필터링 처리를 수행하여 당해 픽셀 포인트의 제6 픽셀값을 얻고; 상기 제3 픽셀값 및 상기 제6 픽셀값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 증강 처리 후의 당해 픽셀 포인트의 제7 픽셀값을 얻는다.
일부 실시예에서, 본 출원은 카메라 기기를 더 제공하는 바, 상술한 임의의 실시예 중의 픽처 증강 장치를 포함하고, 당해 장치는 코딩 장치에 사용될 수도 있고, 디코딩 장치에 사용될 수도 있다.
설명해야 할 점은, 본 명세서에서 "제1" 및 "제2"와 같은 관계 용어는 하나의 엔티티 또는 조작을 다른 엔티티 또는 조작과 구별하기 위해 사용된 것으로, 반드시 이러한 엔티티 또는 조작 간의 실제 관계 또는 순서를 반드시 요구하거나 암시하지 않는다. 용어 "포함”, "포괄” 또는 이들의 다른 변형체는 일련의 요소를 포함하는 프로세스, 방법, 물품 또는 기기가 해당 요소를 포함할 뿐만 아니라 명시적으로 나열되지 않은 다른 요소도 포함하거나 그러한 프로세스, 방법, 물품 또는 기기에 고유한 요소를 포함할 수도 있도록 의도된다. 추가 제한 없이, 문구 "...를 포함하는"에 의해 한정된 요소는 상기 요소를 포함하는 프로세스, 방법, 물품 또는 기기 중 추가로 존재하는 동일한 요소의 존재를 배제하지 않는다.
상기의 설명은 본 출원의 바람직한 예들일 뿐이고, 본 출원을 제한하려는 의도가 아니며, 본 출원의 사상 및 원리들 내에서 이루어진 임의의 수정, 균등물들, 개선들 등은 본 개시내용의 범위에 포함되어야 한다.

Claims (25)

  1. 픽처 증강 방법으로서,
    현재 블록의 임의의 제1 필터링 조건을 충족시키는 픽셀 포인트에 대해, 당해 픽셀 포인트의 제1 필터링 처리 후의 제1 픽셀값을 결정하는 단계;
    상기 제1 픽셀값 및 당해 픽셀 포인트의 상기 제1 필터링 처리 전의 제2 픽셀값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 증강 처리 후의 당해 픽셀 포인트의 제3 픽셀값을 얻는 단계를 포함하는 것을 특징으로 하는 픽처 증강 방법.
  2. 제1항에 있어서, 상기 제1 픽셀값 및 당해 픽셀 포인트의 상기 제1 필터링 처리 전의 제2 픽셀값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 단계는:
    상기 제1 픽셀값과 상기 제2 픽셀값 양자 사이의 차이값에 기반하여 당해 픽셀 포인트의 상기 픽셀값에 대해 증강 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 픽처 증강 방법.
  3. 제2항에 있어서, 상기 제1 픽셀값과 상기 제2 픽셀값 양자 사이의 차이값에 기반하여 당해 픽셀 포인트의 상기 픽셀값에 대해 증강 처리를 수행하는 단계는:
    상기 차이값과 기설정된 임계값의 비교 결과에 기반하여 당해 픽셀 포인트의 상기 픽셀값에 대해 증강 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 픽처 증강 방법.
  4. 제3항에 있어서, 상기 차이값과 기설정된 임계값의 비교 결과에 기반하여 당해 픽셀 포인트의 상기 픽셀값에 대해 증강 처리를 수행하는 단계는,
    만약 상기 차이값이 제1 증강 필터링 임계값보다 크면, 제1 증강 필터링 오프셋 량에 기반하여 당해 픽셀 포인트의 상기 픽셀값에 대해 증강 처리를 수행하는 단계;
    만약 상기 차이값이 제2 증강 필터링 임계값보다 작으면, 제2 증강 필터링 오프셋 량에 기반하여 당해 픽셀 포인트의 상기 픽셀값에 대해 증강 처리를 수행하는 단계를 포함하되,
    상기 제2 증강 필터링 임계값은 상기 제1 증강 필터링 임계값보다 작은 것을 특징으로 하는 픽처 증강 방법.
  5. 제4항에 있어서, 상기 제1 증강 필터링 오프셋 량에 기반하여 당해 픽셀 포인트의 상기 픽셀값에 대해 증강 처리를 수행하는 단계는,
    상기 제1 픽셀값 및 상기 제2 픽셀값에 기반하여 제4 픽셀값을 결정하는 단계;
    상기 제1 증강 필터링 오프셋 량에 기반하여 상기 제4 픽셀값에 대해 증강 처리를 수행하여 상기 제3 픽셀값를 얻는 단계를 포함하는 것을 특징으로 하는 픽처 증강 방법.
  6. 제4항에 있어서, 상기 제1 증강 필터링 오프셋 량에 기반하여 당해 픽셀 포인트의 상기 픽셀값에 대해 증강 처리를 수행하는 단계는,
    상기 제1 증강 필터링 오프셋 량에 기반하여 상기 제1 픽셀값에 대해 증강 처리를 수행하여 상기 제3 픽셀값을 얻는 단계를 포함하는 것을 특징으로 하는 픽처 증강 방법.
  7. 제4항에 있어서, 상기 제2 증강 필터링 오프셋 량에 기반하여 당해 픽셀 포인트의 상기 픽셀값에 대해 증강 처리를 수행하는 단계는,
    상기 제1 픽셀값 및 상기 제2 픽셀값에 기반하여 제4 픽셀값을 결정하는 단계;
    상기 제2 증강 필터링 오프셋 량에 기반하여 상기 제4 픽셀값에 대해 증강 처리를 수행하여 상기 제3 픽셀값을 얻는 단계를 포함하는 것을 특징으로 하는 픽처 증강 방법.
  8. 제4항에 있어서, 상기 제2 증강 필터링 오프셋 량에 기반하여 당해 픽셀 포인트의 상기 픽셀값에 대해 증강 처리를 수행하는 단계는,
    상기 제2 증강 필터링 오프셋 량에 기반하여 상기 제1 픽셀값에 대해 증강 처리를 수행하여 상기 제3 픽셀값을 얻는 단계를 포함하는 것을 특징으로 하는 픽처 증강 방법.
  9. 제4항 내지 제8항 중 어느 한 항에 있어서, 상기 차이값과 기설정된 임계값의 비교 결과에 기반하여 당해 픽셀 포인트의 상기 픽셀값에 대해 증강 처리를 수행하는 단계는,
    만약 상기 차이값이 상기 제1 증강 필터링 임계값보다 작거나 같고, 상기 제2 증강 필터링 임계값보다 크거나 같으면, 상기 제1 픽셀값을 상기 제3 픽셀값으로 이용하는 단계를 더 포함하는 것을 특징으로 하는 픽처 증강 방법.
  10. 제4항 내지 제8항 중 어느 한 항에 있어서, 상기 차이값과 기설정된 임계값의 비교 결과에 기반하여 당해 픽셀 포인트의 상기 픽셀값에 대해 증강 처리를 수행하는 단계는,
    만약 상기 차이값이 상기 제1 증강 필터링 임계값보다 작거나 같고, 상기 제2 증강 필터링 임계값보다 크거나 같으면, 상기 제1 픽셀값에 대해 제2 필터링 처리를 수행하여 상기 제3 픽셀값을 얻는 단계를 더 포함하는 것을 특징으로 하는 픽처 증강 방법.
  11. 제4항 내지 제10항 중 어느 한 항에 있어서,
    상기 제1 증강 필터링 임계값과 상기 제2 증강 필터링 임계값이 서로 반대 숫자이거나; 또는/및
    상기 제1 증강 필터링 오프셋 량과 상기 제2 증강 필터링 오프셋 량이 서로 반대 숫자인 것을 특징으로 하는 픽처 증강 방법.
  12. 제4항 내지 제11항 중 어느 한 항에 있어서:
    임계값 인덱스에 대해 코딩 및 디코딩을 수행하는 단계 - 상기 임계값 인덱스는 상기 제1 증강 필터링 임계값 또는 상기 제2 증강 필터링 임계값의 임계값 후보 리스트에서의 위치를 나타냄 -; 및
    오프셋 량에 대해 인덱스코딩 및 디코딩을 수행하는 단계 - 상기 오프셋 량 인덱스는 상기 제1 증강 필터링 오프셋 량 또는 상기 제2 증강 필터링 오프셋 량의 오프셋 량 후보 리스트에서의 위치를 나타냄 -;를 더 포함하는 것을 특징으로 하는 픽처 증강 방법.
  13. 제4항 내지 제12항 중 어느 한 항에 있어서,
    상기 제1 증강 필터링 임계값 또는/및 상기 제2 증강 필터링 임계값이 고정값이거나; 또는/및,
    상기 제1 증강 필터링 오프셋 량 또는/및 상기 제2 증강 필터링 오프셋 량이 고정값인 것을 특징으로 하는 픽처 증강 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행 한 후,
    상기 제3 픽셀값이 기설정된 값의 범위의 상한보다 클 경우, 상기 제3 픽셀값을 상기 기설정된 값의 범위의 상기 상한으로 설정하는 단계;
    상기 제3 픽셀값이 상기 기설정된 임계값 범위의 하한보다 작을 경우, 상기 제3 픽셀값을 상기 기설정된 값의 범위의 상기 하한으로 설정하는 단계를 더 포함하는 것을 특징으로 하는 픽처 증강 방법.
  15. 제1항에 있어서, 상기 제1 픽셀값 및 당해 픽셀 포인트의 상기 제1 필터링 처리 전의 제2 픽셀값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 단계는,
    상기 제1 픽셀값 및 상기 제2 픽셀값을 입력 파라미트로 이용하고, 머신러닝 또는 딥러닝을 이용하여, 상기 제3 픽셀값을 결정하는 단계를 포함하는 것을 특징으로 하는 픽처 증강 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서, 상기 제1 픽셀값 및 당해 픽셀 포인트의 상기 제1 필터링 처리 전의 제2 픽셀값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 단계는,
    상기 현재 블록이 증강 필터링을 활성화할 경우, 상기 제1 픽셀값과 상기 제2 픽셀값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하는 것을 특징으로 하는 픽처 증강 방법.
  17. 제16항에 있어서, 지정된 신택스를 이용하여 상기 현재 블록이 증강 필터링을 활성화하는지를 식별하고;
    상기 지정된 신택스는:
    시퀀스 파라미트 세트 레벨 신택스, 픽처 파라미트 세트 레벨 신택스 및 Slice 레벨 신택스 중 적어도 하나를 포함하거나;
    또는,
    상기 지정된 신택스는:
    시퀀스 파라미트 세트 레벨 신택스, 픽처 파라미트 세트 레벨 신택스, 코딩 트리 유닛 CTU 레벨 신택스 및 코딩 유닛 CU 레벨 신택스 중 적어도 하나를 포함하는 것을 특징으로 하는 픽처 증강 방법.
  18. 제17항에 있어서, 상기 지정된 신택스의 후보 레벨에 적어도 두 개의 레벨이 포함될 경우, 기설정된 플래그 비트에 기반하여 상기 지정된 신택스의 레벨을 결정하되, 상기 기설정된 플래그 비트는 상기 지정된 신택스의 레벨을 가리키는 것을 특징으로 하는 픽처 증강 방법.
  19. 제18항에 있어서, 상기 기설정된 플래그 비트의 신택스 레벨은 상기 지정된 신택스의 후보 레벨 중의 비최저 레벨과 매칭되는 것을 특징으로 하는 픽처 증강 방법.
  20. 제19항에 있어서,
    상기 지정된 신택스의 후보 레벨에 상기 시퀀스 파라미트 세트 레벨 신택스 및 상기 픽처 파라미트 세트 레벨 신택스가 포함될 경우, 상기 기설정된 플래그 비트의 신택스 레벨은 상기 시퀀스 파라미트 세트 레벨이고;
    상기 지정된 신택스의 후보 레벨에 상기 픽처 파라미트 세트 레벨 신택스 및 상기 Slice 레벨 신택스가 포함될 경우, 상기 기설정된 플래그 비트의 신택스 레벨은 상기 픽처 파라미트 세트 레벨이고;
    상기 지정된 신택스의 후보 레벨에 상기 시퀀스 파라미트 세트 레벨 신택스, 상기 픽처 파라미트 세트 레벨 신택스 및 상기 Slice 레벨 신택스가 포함될 경우, 상기 기설정된 플래그 비트는 상기 시퀀스 파라미트 세트 레벨의 플래그 비트 및 상기 픽처 파라미트 세트 레벨의 플래그 비트를 포함하고;
    상기 지정된 신택스의 후보 레벨에 상기 픽처 파라미트 세트 레벨 신택스 및 상기 CTU 레벨 신택스가 포함될 경우, 상기 기설정된 플래그 비트의 신택스 레벨은 상기 픽처 파라미트 세트 레벨이고;
    상기 지정된 신택스의 후보 레벨에 상기 CTU 레벨 신택스 및 상기 CU 레벨 신택스가 포함될 경우, 상기 기설정된 플래그 비트의 신택스 레벨은 상기 CTU 레벨이며;
    상기 지정된 신택스의 후보 레벨에 상기 픽처 파라미트 세트 레벨 신택스, 상기 CTU 레벨 신택스 및 상기 CU 레벨 신택스가 포함될 경우, 상기 기설정된 플래그 비트는 상기 CTU 레벨의 플래그 비트 및 상기 CU 레벨의 플래그 비트를 포함하는 것을 특징으로 하는 픽처 증강 방법.
  21. 제1항 내지 제20항 중 어느 한 항에 있어서, 상기 제1 필터링 처리는 수직 디블록킹 필터링 DBF 필터링 처리, 수평 DBF 필터링 처리, 샘플 적응성 보상SAO필터링 처리 또는 적응성 루프 필터링 ALF필터링 처리를 포함하는 것을 특징으로 하는 픽처 증강 방법.
  22. 제1항 내지 제20항 중 어느 항에 있어서, 상기 제1 필터링 처리가 당해 픽셀 포인트에 대한 연속적인 여러 번의 필터링 중의 첫 번째 필터링 처리가 아닐 경우, 상기 제2 픽셀값은 당해 픽셀 포인트의 지난번 필터링 처리 후의 픽셀값을 증강 처리를 거쳐 얻은 픽셀값인 것을 특징으로 하는 픽처 증강 방법.
  23. 제22항에 있어서, 상기 제1 필터링 처리는 수평 DBF 필터링 처리이고;
    당해 픽셀 포인트가 수직 DBF 필터링 처리 조건을 충족시킬 경우, 상기 제2 픽셀값은 당해 픽셀 포인트의 제5 픽셀값에 대해 증강 처리를 수행한 후의 당해 픽셀 포인트의 픽셀값이고, 상기 제5 픽셀값은 당해 픽셀 포인트를 수직 DBF 필터링 처리한 픽셀값인 것을 특징으로 하는 픽처 증강 방법.
  24. 제1항 내지 제20항 중 어느 항에 있어서, 상기 제1 필터링 처리는 수직 디블록킹 필터링 DBF 필터링 처리이고;
    상기 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행 한 후, 상기 픽처 증강 방법은:
    당해 픽셀 포인트가 수평 DBF 필터링 조건을 충족 시킬 경우, 상기 제3 픽셀값에 대해 수평 DBF 필터링 처리를 수행하여 당해 픽셀 포인트의 제6 픽셀값을 얻는 단계;
    상기 제3 픽셀값 및 상기 제6 픽셀값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 증강 처리 후의 당해 픽셀 포인트의 제7 픽셀값을 얻는 단계를 더 포함하는 것을 특징으로 하는 픽처 증강 방법.
  25. 픽처 증강 장치로서,
    프로세서와 메모리를 포함하되, 상기 메모리에는 컴퓨터 프로그램이 저장되어 있고, 상기 프로세서는 상기 컴퓨터 프로그램에 의해:
    현재 블록의 임의의 제1 필터링 조건을 충족시키는 픽셀 포인트에 대해, 당해 픽셀 포인트의 제1 필터링 처리 후의 제1 픽셀값을 결정하고;
    상기 제1 픽셀값 및 당해 픽셀 포인트의 상기 제1 필터링 처리 전의 제2 픽셀값에 기반하여 당해 픽셀 포인트의 픽셀값에 대해 증강 처리를 수행하여 증강 처리 후의 당해 픽셀 포인트의 제3 픽셀값을 얻는 것을 구현하는 것을 특징으로 하는 픽처 증강 장치.
KR1020227041973A 2020-06-05 2021-06-03 픽처 증강 방법 및 장치 KR20230003203A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010508167.4A CN113766224B (zh) 2020-06-05 2020-06-05 图像增强方法及装置
CN202010508167.4 2020-06-05
PCT/CN2021/098177 WO2021244617A1 (zh) 2020-06-05 2021-06-03 图像增强方法及装置

Publications (1)

Publication Number Publication Date
KR20230003203A true KR20230003203A (ko) 2023-01-05

Family

ID=78785185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227041973A KR20230003203A (ko) 2020-06-05 2021-06-03 픽처 증강 방법 및 장치

Country Status (9)

Country Link
US (1) US20230214969A1 (ko)
EP (1) EP4142276A4 (ko)
JP (2) JP7460802B2 (ko)
KR (1) KR20230003203A (ko)
CN (2) CN113766224B (ko)
AU (1) AU2021283592B2 (ko)
TW (1) TWI826792B (ko)
WO (1) WO2021244617A1 (ko)
ZA (1) ZA202213049B (ko)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446501A (en) * 1992-10-22 1995-08-29 Accom, Incorporated Three-dimensional median and recursive filtering apparatus and method for video image enhancement
KR970010087B1 (en) * 1994-04-30 1997-06-21 Daewoo Electronics Co Ltd Postprocessing method for digital image
US6778692B1 (en) * 2000-08-11 2004-08-17 General Electric Company Image processing method and apparatus including image improving circuit
JP4294887B2 (ja) * 2001-05-24 2009-07-15 富士通株式会社 画像処理装置，画像処理方法および画像処理用プログラム
JP4677376B2 (ja) * 2006-07-07 2011-04-27 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP2013250588A (ja) * 2010-09-27 2013-12-12 Shimadzu Corp 画像強調処理方法およびそれを用いた画像強調処理装置
BR112013006832A2 (pt) * 2010-09-28 2017-05-23 Samsung Electronics Co Ltd método de filtragem adaptativa, e aparelho de filtragem adaptativa
US9681132B2 (en) * 2010-11-24 2017-06-13 Thomson Licensing Dtv Methods and apparatus for adaptive loop filtering in video encoders and decoders
CN103299632B (zh) * 2011-01-14 2017-02-22 瑞典爱立信有限公司 去块效应滤波方法及去块效应滤波器单元
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR20180019548A (ko) * 2015-06-18 2018-02-26 엘지전자 주식회사 영상 코딩 시스템에서 영상 특성에 기반한 적응적 필터링 방법 및 장치
EP3457690A4 (en) * 2016-05-13 2019-05-01 Sharp Kabushiki Kaisha IMAGE DECODING DEVICE AND IMAGE ENCODING DEVICE
JP6902604B2 (ja) * 2017-04-06 2021-07-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置及び復号装置
CN111133757B (zh) * 2017-09-27 2022-04-15 索尼公司 编码设备、编码方法、解码设备和解码方法

Also Published As

Publication number Publication date
AU2021283592A1 (en) 2023-02-02
CN114339224A (zh) 2022-04-12
ZA202213049B (en) 2024-04-24
US20230214969A1 (en) 2023-07-06
TW202201959A (zh) 2022-01-01
EP4142276A4 (en) 2023-11-08
TWI826792B (zh) 2023-12-21
WO2021244617A1 (zh) 2021-12-09
JP7460802B2 (ja) 2024-04-02
JP2024060091A (ja) 2024-05-01
CN113766224B (zh) 2022-11-25
CN113766224A (zh) 2021-12-07
EP4142276A1 (en) 2023-03-01
AU2021283592B2 (en) 2024-03-21
CN114339224B (zh) 2022-12-23
JP2023528430A (ja) 2023-07-04

Similar Documents

Publication Publication Date Title
US10205947B2 (en) Apparatus of encoding an image
US10819978B2 (en) Image encoding method and apparatus, and image decoding method and apparatus
GB2521495A (en) Method and apparatus for transition encoding in video coding and decoding
US20180324441A1 (en) Method for encoding/decoding image and device therefor
JP2022522744A (ja) ハイブリッドビデオ符号化ツールのための使用事例駆動コンテキストモデル選択
US20220007025A1 (en) Method and device for decoding video, and method and device for encoding video
KR20230128555A (ko) 인코딩 및 디코딩 방법, 장치 및 이의 기기
GB2526337A (en) Method and apparatus for syntax element encoding in video coding and decoding
KR20230003203A (ko) 픽처 증강 방법 및 장치
US11343502B2 (en) Method and apparatus for encoding an image
RU2810607C1 (ru) Способ и устройство для улучшения изображения
CN114222119B (zh) 增强滤波方法、装置及机器可读存储介质
RU2803189C1 (ru) Способ и устройство для улучшения качества изображения

Legal Events

Date Code Title Description
A201 Request for examination