KR101844698B1 - 블록-예측 기법들에 사용하기 위한 사전-예측 필터링을 위한 방법 및 장치 - Google Patents

블록-예측 기법들에 사용하기 위한 사전-예측 필터링을 위한 방법 및 장치 Download PDF

Info

Publication number
KR101844698B1
KR101844698B1 KR1020167015317A KR20167015317A KR101844698B1 KR 101844698 B1 KR101844698 B1 KR 101844698B1 KR 1020167015317 A KR1020167015317 A KR 1020167015317A KR 20167015317 A KR20167015317 A KR 20167015317A KR 101844698 B1 KR101844698 B1 KR 101844698B1
Authority
KR
South Korea
Prior art keywords
reference samples
prediction
block
subset
blocks
Prior art date
Application number
KR1020167015317A
Other languages
English (en)
Other versions
KR20160082250A (ko
Inventor
엘렉세이 콘스탄티노비치 필리포프
바실리 알렉세비치 루피츠키
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20160082250A publication Critical patent/KR20160082250A/ko
Application granted granted Critical
Publication of KR101844698B1 publication Critical patent/KR101844698B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 향상된 예측 기법들, 예를 들어 인트라 또는 인터-예측을 이용하는 블록 예측에 관한 것으로, 이것은 재구성될 블록의 예측된 샘플들에 대한 노이즈 영향을 감소시키기 위해 사전 예측 필터링 기법을 이용한다. 본 명세서에 제안된 예측 기법은, 예를 들어 인코딩 장치 또는 디코딩 장치에 사용될 수 있다. 이미지의 픽셀들의 주어진 블록을 재구성하는데 사용되는 참조 샘플들은 서브세트로 카테고리화 또는 세그먼트화된다. 서브세트들은 상이하게 처리될 수 있고, 예를 들어 서브세트들은 별개의 필터들을 받게 될 수 있다. 그런 필터의 예들은 평활 필터 및/또는 디블로킹 필터를 포함하고, 이것은 참조 샘플들의 각각의 서브세트에 적용된다.

Description

블록-예측 기법들에 사용하기 위한 사전-예측 필터링을 위한 방법 및 장치{METHOD AND APPARATUS FOR PRE-PREDICTION FILTERING FOR USE IN BLOCK-PREDICTION TECHNIQUES}
본 발명은 이미지의 블록들을 예측을 이용하여 재구성하는 방법들, 및 하드웨어 및/또는 소프트웨어에서 이들의 구현에 관한 것이다. 보다 상세하게는, 본 발명은 향상된 예측 기법, 예를 들어 인트라(intra) 또는 인터-예측(inter-prediction)을 이용하는 블록-예측에 관한 것으로, 이것은 재구성될 블록의 예측된 샘플에 대한 노이즈 영향을 감소시키기 위해 사전-예측 필터링 기법을 이용한다. 본 명세서에서 제안된 예측 기법은, 예를 들어 인코딩 장치 또는 디코딩 장치에 사용될 수 있다.
손실 있는 데이터 압축은 특히, 통신, 브로드캐스팅, 엔터테인먼트 및 보안에서 다수 애플리케이션을 갖는다. 비디오 압축은, 기존 통신 채널을 통해 고품질 및 고해상도 픽처(picture)를 전송하기 위해 큰 압축비가 요구되기 때문에, 도전 과제이다. 이 과제는 무선 및 이동 통신 또는 미디어의 실시간 인코딩의 맥락에서 훨씬 더 도전적이다.
최근에 채택된 ITU-T H.265/HEVC 표준(ISO/IEC 23008-2:2013, "Information technology - High efficiency coding and media delivery in heterogeneous environments - Part　2: High efficiency video coding", November 2013)은 코딩 효율과 계산 복잡성 간의 합당한 트레이드오프를 제공하는 한 세트의 최신 비디오 코딩 툴을 공표했다. ITU-T H.265/HEVC 표준의 개요는 논문(by Gary J. Sullivan, "Overview of the High Efficiency Video Coding (HEVC) Standard", in IEEE Transactions on Circuits and Systems for Video Technology, Vol. 22, No. 12, December 2012)에 기재되어 있고, 그 전체 내용은 참고로 본 명세서에 포함된다.
ITU-T H.264/AVC 비디오 코딩 표준과 유사하게, HEVC/H.265 비디오 코딩 표준은 블록들, 예를 들어 코딩 유닛(CU)(coding unit)들로의 소스 픽처의 분할을 가능하게 한다. 각각의 CU는 더 작은 CU 또는 예측 유닛(PU)(prediction unit)으로 더 분할될 수 있다. PU는 PU의 픽셀들에 적용되는 처리의 유형에 따라 인트라 또는 인터-예측될 수 있다. 인터-예측의 경우, PU는 PU에 대해 특정된 움직임 벡터를 이용하는 움직임 보상에 의해 처리되는 픽셀의 영역을 나타낸다. 인트라 예측에서, PU는 한 세트의 변환 유닛(TU)(transform unit)들에 대한 예측 모드를 특정한다. TU는 상이한 사이즈(예를 들어, 4x4, 8x8, 16x16 및 32x32 픽셀들)을 가질 수 있고, 상이한 방식으로 처리될 수 있다. TU에서 변환 코딩이 수행되고, 즉, 예측 에러가 이산 코사인 변환(DCT)(discrete cosine transform)을 이용하여 변환되고 양자화된다. 최종 양자화된 변환 계수들은 CG들로 그룹화되고, 각각의 CG는 16개의 양자화된 변환 계수를 갖는다.
위에 언급한 바와 같이, 픽처의 블록들을 인코딩하기 위한 이들 표준 또는 유사한 전용 코덱의 핵심 툴은 인터 및 인트라-예측, 스펙트럼-변환(예를 들어, 이산 코사인 변환 또는 그 정수 근사) 및 양자화이다. 인터 및 인트라-예측 툴은 주어진 블록에 대한 예측 신호를 생성하는데 사용된다. 인코더 측에서, 소스 블록과 그 예측 간의 차이, 소위 잔차 신호(residual signal)는 이들의 스펙트럼으로 변환되고, 즉, 소스 블록 픽셀들은 주파수 도메인에서 변환 계수에 의해 표현된다. 또한, 계수들이 양자화된다. 논-제로 및 제로 양자화된 변환 계수들은 종종 유의 계수(significant coefficient) 및 무의 계수(insignificant coefficient)로 각각 지칭된다. 양자화된 변환 계수들을 포함하는 모든 구문 요소(syntax element)와 사이드 정보(예를 들어, 인트라-코딩을 위한 인트라 예측 모드들과 인터-코딩을 위한 움직임 벡터들)는 2진화되고 엔트로피 인코딩된다. 압축된 H.265/HEVC 비트-스트림에서 엔트로피 인코딩된 계수들의 부분은 80%를 초과할 수 있다.
양자화된 변환 계수들을 인코딩하는 스테이지들은 다음과 같다:
- 최종 유의 계수, 즉, 최종 논-제로 양자화된 변환 계수의 위치를 인코딩한다.
- 모든 논-제로 계수의 위치를 복원하는데 사용되는 유의 맵(significance map)을 인코딩한다.
- 유의 계수들의 사인 인코딩.
- 유의 계수들의 크기 인코딩.
이들 스테이지는 소위 계수 그룹(CG)들로 분할되는 양자화된 변환 계수들의 맥락에서 수행된다. 각각의 CG는 전형적으로 4x4 계수들로 구성되는 서브세트이다.
위에 언급한 바와 같이, 최신 비디오 코딩 표준은 소스 픽처(이미지)의 블록들로의 분할에 기초한다. 이들 블록의 처리는 인코더에 의해 특정되는 이들의 사이즈, 공간 위치 및 코딩 모드에 따라 다르다. 코딩 모드들은 예측의 유형(인터 및 인트라-예측 모드들)에 따라 2개의 그룹으로 분류될 수 있다. 인트라-예측은 재구성되는 블록의 픽셀에 대한 예측 값들을 예측하는데 기초로 하는 참조 샘플을 생성하기 위해 동일 이미지의 픽셀들을 이용한다. 인트라-예측은 또한 공간 예측으로서 지칭될 수 있다. 인터-예측 모드는 시간 예측을 위해 설계되고, 현재 픽처의 블록의 픽셀들을 예측하기 위해 이전 및/또는 다음 픽처들의 참조 샘플들을 이용한다.
상이한 유형의 중복성 때문에, 인트라 및 인터 코딩을 위한 예측 프로세스들은 상이하다. 인트라-예측은 전형적으로 참조 샘플의 일차원 버퍼를 구성한다. 인터-예측은 이차원 참조 픽셀 매트릭스의 서브픽셀 보간을 이용한다.
그러나, ITU-T H.264/AVC의 표준화 중에, 움직임 예측을 위한 제3 기술이 또한 고려된다: 움직임 보상된 시간 필터링(MCTF)(Motion Compensated Temporal Filtering). MCTF는 픽셀의 블록들을 계속 적층함으로써 구성되는 픽셀들의 삼차원 어레이를 처리한다. 이러한 블록들 각각은 그 자체의 픽처로부터 추출되고, 이들 블록의 적층은 비디오 시컨스의 픽처에 대해 특정된 것과 동일한 순서로 수행된다. MCTF의 출력은 블록들의 2개의 세트이다: 고대역 블록(잔차)들과 저대역 블록들. 이들 블록은 예측 및 잔차 블록들을 생성하도록 더 처리된다.
MCTF의 개요는 (J.-R. Ohm, "Complexity and delay analysis of MCTF interframe wavelet structures," ISO/IEC JTC1/SC29/WG11, Document M8520, Jul. 2002)에 제공된다. MCTF는 도 18에 예시된 바와 같이 리프팅 프로세스를 이용함으로써 구현되고, 이 프로세스에서 H.26x 비디오 코딩 표준의 움직임 보상 특징들은 MCTF 예측 및 업데이트 단계들에서 재사용될 수 있다.
도 18에 도시된 바와 같이, 비디오 시퀀스의 2개의 연속적인 픽처 A 및 B에서는 "시간적" 저역 통과 프레임 L 및 고역 통과 프레임 H를 획득하기 위해 피라미드 기반의 움직임 보상된 변환이 수행된다. 이런 "시간적" 예측은 다음과 같이 작성될 수 있다:
Figure 112016055329320-pct00001
Figure 112016055329320-pct00002
여기서, α 및 β는 서브픽셀 보간에 사용되는 가중 계수들이다.
픽처 코딩이 시각적 결함을 재구성된 이미지에 도입하는 것은 알려졌다. 이들 결함은 양자화 노이즈 및 블로킹 효과에 의해 유발될 수 있다. 인트라 및 인터-예측과 같은 예측 기법들은 픽셀들의 블록을 예측하기 위해 참조 샘플들로서 이미 디코딩된/재구성된 샘플들을 이용하고, 따라서 이런 디코딩된 정보 내부의 노이즈는 예측 정확도에 영향을 미칠 수 있다. 이런 노이즈는 또한 인코딩될 블록에 대한 잔차 신호에 더 큰 에너지가 있는 것을 암시할 수 있고, 이것은 인코딩된 스트림의 비트 레이트를 증가시키는 것이 허용될 수 없는 경우에, 비트 레이트를 증가시키거나 눈에 띄는 결함들을 허용하는 것으로 대처할 수 있다.
이를 고려하여, 픽처 디테일(picture detail)을 억제하지 않고, 블록의 예측된 샘플들에 대한 노이즈 영향을 감소시킬 수 있는 예측 기법을 제안하는 것이 본 발명의 일 목적이다.
상기 목적 및 다른 목적들은 독립 청구항들의 특징들에 의해 달성된다. 추가 구현 형태들은 종속 청구항들, 상세한 설명 및 도면으로부터 자명하다.
따라서, 본 발명의 일 양태는 향상된 예측 기법, 예를 들어, 인트라 또는 인터-예측을 이용하는 블록 예측에 관한 것으로, 이것은 재구성될 블록의 예측된 샘플들에 대한 노이즈 영향을 감소시키기 위해 사전 예측 필터링 기법을 이용한다. 본 명세서에 제안된 예측 기법은, 예를 들어 인코딩 장치 또는 디코딩 장치에 사용될 수 있다. 이미지의 픽셀들의 주어진 블록을 재구성하는데 사용되는 참조 샘플들은 서브세트들로 카테고리화 또는 세그먼트화된다. 서브세트들은 상이하게 처리될 수 있는데, 예를 들어 서브세트들은 별개의 필터들을 받게 할 수 있다. 그런 필터의 예들은 평활 필터 및/또는 디블로킹 필터들을 포함하고, 이들은 참조 샘플들의 각각의 서브세트에 적용된다.
본 발명의 양태의 제1 구현은 예측을 이용하여 이미지의 블록들을 재구성하는 방법에 관한 것이다. 방법은 재구성될 블록을 예측하기 위해 이용될 하나 이상의 이미 디코딩된 블록의 참조 샘플들을 결정하는 단계; 참조 샘플들의 제1 서브세트 및 참조 샘플들의 제2 서브세트를 선택하는 단계; 상기 제1 서브세트 및 상기 제2 서브세트의 선택된 참조 샘플들의 사전-예측 필터링을 수행하는 단계 - 제1 서브세트의 참조 샘플들을 필터링하기 위한 필터 파라미터는 제2 서브세트의 참조 샘플들을 필터링하기 위한 필터 파라미터들과 상이함 -; 및 제1 서브세트 및 제2 서브세트의 상기 사전-예측 필터링된 참조 샘플을 포함하는 참조 샘플들에 기초하는 예측에 의해 상기 블록을 재구성하는 단계를 포함한다.
제1 구현의 더 상세한 구현인 제2 구현에서, 방법은 재구성될 블록의 사이즈 및/또는 재구성될 블록을 인코딩하기 위해 채택되었던 예측 모드를 결정하는 단계; 및 사이즈 및/또는 예측 모드에 기초하여, 참조 샘플들의 상기 제1 및/또는 제2 서브세트를 결정하고/결정하거나 상기 사전-예측 필터링을 위한 파라미터들을 선택하는 단계를 더 포함한다.
제1 또는 제2 구현의 더 상세한 구현인 제3 구현에서, 인트라-예측은 블록을 재구성하기 위해 이용되고, 재구성될 블록을 인코딩하기 위해 채택되었던 예측 모드를 결정하는 단계는 인트라-예측이 수직 모드, 수평 모드 또는 각도 모드에 따르는지를 결정하는 단계를 포함한다. 인트라-예측이 다른 각도 모드에 따르는 경우, 제1 서브세트 및 제2 서브세트의 참조 샘플들의 상기 사전-예측 필터링이 수행된다. 인트라-예측이 수직 모드에 따르는 경우, 사전-예측 필터링은 재구성될 블록의 좌측 및/또는 좌측 하부에 위치한 참조 샘플들에 적용된다. 인트라-예측이 수평 모드에 따르는 경우, 사전-예측 필터링은 재구성될 블록의 상부 및/또는 상부 우측에 위치한 참조 샘플들에 적용된다.
제3 구현의 더 상세한 구현인 제4 구현에서, 제1 서브세트는 재구성될 블록의 좌측 및/또는 좌측 하부에 위치한 참조 샘플들을 포함하고, 두 번째 제1 서브세트는 재구성될 블록의 상부 및/또는 상부 우측에 위치한 참조 샘플들을 포함한다.
제3 또는 제4 구현의 더 상세한 구현인 제5 구현에서, 재구성될 블록을 인코딩하기 위해 채택되었던 예측 모드를 결정하는 단계는 인트라-예측이 수직 모드, 수평 모드 또는 각도 모드에 따르는 것인지를 결정하는 단계를 포함한다. 인트라-예측이 대각선 모드에 따르는 경우, 모든 참조 샘플은 사전-예측 필터링을 받게 된다.
제1 내지 제5 구현 중 하나의 더 상세한 구현인 제6 구현에서, 상기 제2 서브세트는 잔차가 인코딩된 비디오 스트림에 코딩되지 않은 하나 이상의 블록의 참조 샘플들을 포함한다. 또한, 상기 블록은 참조 샘플들의 상기 필터링된 제1 서브세트 및 참조 샘플들의 필터링된 제2 서브세트를 포함하는 참조 샘플들에 기초하는 예측에 의해 재구성된다.
제1 내지 제6 구현 중 하나의 더 상세한 구현인 제7 구현에서, 방법은 디블로킹 필터를 상이한 디코딩된 블록들의 사전-예측 필터링된 참조 샘플들에 적용하는 단계를 더 포함하고, 상기 사전-예측 필터링된 참조 샘플들은 디코딩된 블록들 사이의 경계들에 있는 참조 샘플들이다.
제8 구현은 예측을 이용하여 이미지의 블록들을 재구성하는 방법에 관한 것이다. 방법은 재구성될 블록을 예측하기 위해 이용될 하나 이상의 이미 디코딩된 블록의 참조 샘플들을 결정하는 단계; 필터가 예측 이전에 적용될 참조 샘플들의 서브세트를 선택하고 상기 서브세트의 선택된 참조 샘플들의 사전-예측 필터링을 수행하는 단계; 및 상기 서브세트의 상기 필터링된 참조 샘플들을 포함하는 참조 샘플들에 기초하는 예측에 의해 상기 블록을 재구성하는 단계를 포함한다. 상기 서브세트의 선택 및 상기 서브세트의 참조 샘플들의 사전-예측 필터링은 예측에 의한 상기 블록의 재구성 이전에 반복된다.
제8 구현의 더 상세한 구현인 제9 구현에서, 서브세트의 참조 샘플들을 필터링하기 위한 필터 파라미터들은 상기 서브세트의 선택 및 사전-예측 필터링의 상기 반복에서 상이하다.
제8 또는 제9 구현의 더 상세한 구현인 제10 구현에서, 상이한 반복에서 선택되는 서브세트는 별개이거나 중첩한다.
제8 내지 제10 구현 중 하나의 더 상세한 구현인 제11 구현에서, 반복들 중 하나에서, 참조 샘플들의 선택된 서브세트는 모든 참조 샘플을 포함한다.
제8 내지 제11 구현 중 하나의 더 상세한 구현인 제12 구현에는 3번의 반복이 있으며, 처음 2번의 반복은 필터링된 참조 샘플들을 획득하기 위해 최초 참조 샘플들에 대해 수행되는 한편, 세 번째 반복은 처음 2번의 반복에서 획득된 필터링된 참조 샘플들에 대해 수행된다.
제8 내지 제12 구현 중 하나의 더 상세한 구현인 제13 구현에서, 제1 반복에서 참조 샘플들의 각각의 서브세트는 재구성될 블록의 사이즈 및/또는 재구성될 블록을 인코딩하기 위해 채택되었던 예측 모드에 기초하여 필터링된다. 제2 반복에서, 참조 샘플들의 각각의 서브세트는 잔차가 인코딩된 비디오 스트림에 코딩되지 않은 하나 이상의 블록의 참조 샘플들을 포함하고; 제3 반복에서, 디블로킹 필터는 제1 또는 제2 반복에서 필터링된 참조 샘플들에 적용되고, 상기 필터링된 참조 샘플들은 디코딩된 블록들 사이의 경계들에 있는 참조 샘플들이다.
제7 또는 제13 구현의 더 상세한 구현인 제14 구현에서, 방법은 디코딩된 블록을 획득하기 위해 디코딩될 상기 블록에 대한 디코딩된 잔차를 상기 재구성된 블록에 추가하는 단계, 및 인-루프(in-loop) 디블로킹 필터를 디코딩된 블록에 적용하는 단계를 더 포한한다.
제1 내지 제14 구현 중 하나의 더 상세한 구현인 제15 구현에서, 참조 샘플들은 2개의 일차원 어레이를 형성한다. 하나의 어레이는 디코딩될 블록의 좌측 또는 우측에 있는 하나 이상의 디코딩된 인접 블록들의 샘플들의 칼럼을 포함하고, 다른 어레이는 디코딩될 블록의 상부 또는 하부에 있는 하나 이상의 디코딩된 인접 블록들의 샘플들의 로우를 포함한다.
제1 내지 제15 구현 중 하나의 더 상세한 구현인 제16 구현에서, 사전-예측 필터링은 평활 필터를 참조 샘플들의 적어도 하나의 서브세트에 적용하는 단계를 포함한다.
제1, 제2, 및 제6 내지 제16 구현 중 하나의 더 상세한 구현인 제17 구현에서, 인터-예측은 픽셀들의 블록을 재구성하기 위해 이용된다.
제17 구현의 더 상세한 구현인 제18 구현에서, 참조 샘플들은 상기 블록을 재구성할 때 인터-예측에 사용될 하나 이상의 디코딩된 블록 내에 이차원 참조 영역을 정의한다. 사전-예측 필터링을 받게 되는 참조 샘플들의 서브세트들 중 하나는 인코딩된 비디오 스트림에 잔차가 인코딩되었던 디코딩된 블록에 속하는 참조 샘플을 포함한다.
제17 구현의 더 상세한 구현인 제19 구현에서, 참조 샘플들은 블록을 재구성할 때 인터-예측에 사용될 하나 이상의 디코딩된 블록 내에 이차원 참조 영역을 정의한다. 필터가 인터-예측 이전에 적용될 참조 샘플들의 상기 서브세트들을 결정하는 단계는 상기 이차원 참조 영역의 참조 샘플들에 대해 에지 검출을 수행한 결과에 기초하여 참조 샘플들의 다수의 별개의 서브세트를 결정하는 단계를 포함한다. 또한, 사전-예측 필터링을 수행하는 단계는 상이한 필터 파라미터들을 이용하여 서브세트들의 참조 샘플들을 필터링하는 단계를 포함한다.
제17 구현의 더 상세한 구현인 제20 구현에서, 다중-참조 인터-예측은 블록을 재구성하기 위해 이용되고, 참조 샘플들은 블록들을 재구성할 때 인터-예측에 사용될 상이한 참조 프레임들로부터의 이차원 참조 영역의 스택을 정의한다. 필터가 예측 이전에 적용될 참조 샘플들의 상기 서브세트들의 결정은 참조 샘플들에 대해 에지 검출을 수행한 결과에 기초하여 이차원 참조 영역의 상기 스택 내에 참조 샘플들의 다수의 별개의 서브세트들을 결정하는 단계를 포함한다. 더욱이, 사전-예측 필터링을 수행하는 단계는 상이한 필터 파라미터들을 이용하여 서브세트들의 참조 샘플들을 필터링하는 단계를 포함하고; 블록을 재구성하는 단계는 이차원 참조 영역들의 스택으로부터의 필터링된 참조 샘플들의 가중 처리된 합을 계산함으로써 상기 블록을 예측하는 단계를 포함한다.
제21 구현은 예측을 이용하여 이미지의 블록들을 재구성하기 위한 장치에 관한 것이다. 장치는 재구성될 블록을 예측하기 위해 이용될 하나 이상의 이미 디코딩된 블록을 저장하기 위한 참조 샘플 버퍼; 참조 샘플들의 제1 서브세트 및 참조 샘플들의 제2 서브세트를 상기 참조 샘플 버퍼로부터 선택하도록 구성되는 처리 유닛; 상기 제1 서브세트 및 상기 제2 서브세트의 선택된 참조 샘플들의 사전-예측 필터링을 수행하도록 구성된 필터 유닛 - 제1 서브세트의 참조 샘플들을 필터링하기 위한 필터 파라미터들은 제2 서브세트의 참조 샘플들을 필터링하기 위한 필터 파라미터들과 상이함 - ; 및 제1 서브세트 및 제2 서브세트의 상기 사전-예측 필터링된 참조 샘플들을 포함하는 참조 샘플들에 기초하는 예측에 의해 상기 블록을 재구성하도록 구성되는 예측 유닛을 포함한다.
제21 구현의 더 상세한 구현인 제22 구현에서, 상기 처리 유닛은 재구성될 블록의 사이즈 및/또는 재구성될 블록을 인코딩하기 위해 채택되었던 예측 모드를 결정하도록 구성된다. 게다가, 상기 처리 유닛은 또한 사이즈 및/또는 예측 모드에 기초하여, 참조 샘플들의 상기 제1 및/또는 제2 서브세트를 결정하고/결정하거나 상기 사전-예측 필터링을 위한 파라미터를 선택하도록 구성된다.
제21 또는 제22 구현의 더 상세한 구현인 제23 구현에서, 인트라-예측은 블록을 재구성하기 위해 이용되고, 상기 처리 유닛은 인트라-예측이 수직 모드, 수평 모드 또는 각도 모드에 따르는 것인지를 결정하도록 구성된다. 인트라-예측이 다른 각도 모드에 따르는 경우에, 상기 처리 유닛은 필터 유닛이 사전-예측 필터링을 제1 서브세트 및 제2 서브세트의 참조 샘플들에 적용하게 하도록 구성된다. 인트라-예측이 수직 모드에 따르는 경우에, 상기 처리 유닛은 필터 유닛이 사전-예측 필터링을 재구성될 블록의 좌측 및/또는 좌측 하부에 위치한 참조 샘플들에 적용하게 하도록 구성된다. 인트라-예측이 수평 모드에 따르는 경우에, 상기 처리 유닛은 필터 유닛이 사전-예측 필터링을 재구성될 블록의 상부 및/또는 상부 우측에 위치한 참조 샘플들에 적용하게 하도록 구성된다.
제23 구현의 더 상세한 구현인 제24 구현에서, 제1 서브세트는 재구성될 블록의 좌측 및/또는 좌측 하부에 위치한 참조 샘플들을 포함하고, 두 번째의 제1 서브세트는 재구성될 블록의 상부 및/또는 상부 우측에 위치한 참조 샘플들을 포함한다.
제23 또는 제24 구현의 더 상세한 구현인 제25 구현에서, 처리 유닛은 인트라-예측이 수직 모드, 수평 모드 또는 각도 모드에 따르는 것인지를 결정하도록 구성된다. 인트라-예측이 각도 모드에 따르는 경우에, 상기 처리 유닛은 필터 유닛이 사전-예측 필터링을 모든 참조 샘플에 적용하게 하도록 구성된다.
제21 내지 제25 구현 중 하나의 더 상세한 구현인 제26 구현에서, 상기 제2 서브세트는 잔차가 인코딩된 비디오 스트림에 코딩되지 않은 하나 이상의 블록의 참조 샘플들을 포함하고; 예측 유닛은 참조 샘플들의 상기 필터링된 제1 서브세트 및 참조 샘플들의 필터링된 제2 서브세트를 포함하는 참조 샘플들에 기초하여 상기 블록을 재구성하도록 구성된다.
제21 내지 제26 구현 중 하나의 더 상세한 구현인 제27 구현에서, 장치는 예측 이전에 상이한 디코딩된 블록들의 사전-예측 필터링된 참조 샘플들의 디블로킹을 수행하도록 구성되는 디블로킹 필터를 더 포함하고, 상기 사전-예측 필터링된 참조 샘플들은 디코딩된 블록들 사이의 경계들에 있는 참조 샘플들이다.
본 발명의 양태의 제28 구현은 예측을 이용하여 이미지의 블록들을 재구성하기 위한 장치에 관한 것이다. 장치는 재구성될 블록을 예측하기 위해 이용될 하나 이상의 이미 디코딩된 블록을 저장하기 위한 참조 샘플 버퍼; 필터가 예측 이전에 적용될 참조 샘플들의 서브세트들을 선택하도록 구성되는 처리 유닛; 상기 서브세트의 선택된 참조 샘플들의 사전-예측 필터링을 수행하도록 적응된 필터 유닛; 및 상기 서브세트의 상기 필터링된 참조 샘플들을 포함하는 참조 샘플들에 기초하는 예측에 의해 상기 블록을 재구성하도록 구성되는 예측 유닛을 포함한다. 처리 유닛 및 상기 필터 유닛은 예측에 의한 상기 블록의 재구성 이전에 상기 서브세트의 선택 및 상기 서브세트의 참조 샘플들의 사전-예측 필터링을 반복하도록 구성된다.
제28 구현의 더 상세한 구현인 제29 구현에서, 필터 유닛은 상기 반복들에서 서브세트의 참조 샘플들을 필터링하기 위해 상이한 파라미터들을 이용하도록 구성된다.
제28 또는 제29 구현의 더 상세한 구현인 제30 구현에서, 상기 처리 유닛은 상이한 반복들에서, 별개이거나 중첩하는 서브세트들을 선택하도록 구성된다.
제28 내지 제30 구현 중 하나의 더 상세한 구현인 제31 구현에서, 반복들 중 하나에서, 참조 샘플들의 선택된 서브세트는 모든 참조 샘플을 포함한다.
제28 내지 제31 구현 중 하나의 더 상세한 구현인 제32 구현에는 3번의 반복이 있으며, 상기 처리 유닛 및 상기 필터 유닛은 필터링된 참조 샘플들을 획득하기 위해 최초 참조 샘플들에 대해 처음 2번의 반복을 수행하고 처음 2번의 반복에서 획득된 필터링된 참조 샘플들에 대해 세 번째 반복을 수행하도록 구성된다.
제28 내지 제32 구현 중 하나의 더 상세한 구현인 제33 구현에서, 제1 반복에서 상기 필터 유닛은 재구성될 블록의 사이즈 및/또는 재구성될 블록을 인코딩하기 위해 채택되었던 예측 모드에 기초하여 참조 샘플들의 각각의 서브세트를 필터링하고; 제2 반복에서 참조 샘플들의 각각의 서브세트는 잔차가 인코딩된 비디오 스트림에 코딩되지 않은 하나 이상의 블록의 참조 샘플들을 포함하고; 제3 반복에서 상기 필터 유닛은 디블로킹 필터를 제1 또는 제2 반복에서 필터링된 참조 샘플들에 적용하고, 상기 필터링된 참조 샘플들은 디코딩된 블록들 사이의 경계들에 있는 참조 샘플들이다.
제27 내지 제33 구현 중 하나의 더 상세한 구현인 제34 구현에서, 장치는 디코딩된 블록을 획득하기 위해 디코딩될 상기 블록에 대한 디코딩된 잔차를 상기 재구성된 블록에 추가하도록 구성되는 합산 유닛; 및 디블로킹을 디코딩된 블록에 적용하도록 구성되는 인-루프 디블로킹 필터를 더 포함한다.
제21 내지 제34 구현 중 하나의 더 상세한 구현인 제35 구현에서, 필터 유닛은 평활 필터를 참조 샘플들의 적어도 하나의 서브세트에 적용하도록 구성된다.
제21 내지 제35 구현 중 하나의 더 상세한 구현인 제36 구현에서, 장치는 비디오의 이미지를 인코딩하기 위한 인코딩 장치 또는 비디오 스트림의 인코딩된 이미지를 디코딩하기 위한 디코딩 장치이다.
제37 구현은 명령어들을 저장하는 컴퓨터 판독 가능 저장 매체에 관한 것으로, 명령어들이 처리 유닛에 의해 실행될 때, 처리 유닛으로 하여금 본 명세서에 설명되는 다양한 구현들 중 하나에 따른 예측을 이용하여 이미지의 블록들을 재구성하는 방법을 수행하게 한다.
상술한 양태의 제1 예시적 실시예는 예측을 이용하여 이미지의 블록들을 재구성하는 방법에 관한 것이다. 이 방법에서는, 재구성될 블록을 예측하기 위해 이용될 하나 이상의 이미 디코딩된 블록의 참조 샘플들이 결정되고, 참조 샘플들의 제1 서브세트 및 참조 샘플들의 제2 서브세트가 선택된다. 또한, 제1 서브세트 및 제2 서브세트의 선택된 참조 샘플들의 사전-예측 필터링이 수행되고, 제1 서브세트의 참조 샘플들을 필터링하기 위한 필터 파라미터들은 제2 서브세트의 참조 샘플들을 필터링하기 위한 필터 파라미터들과 상이하다. 이런 사전-예측 필터링에 후속하여, 블록은 제1 서브세트 및 제2 서브세트의 사전-예측 필터링된 참조 샘플을 포함하는 참조 샘플들에 기초하는 예측에 의해 재구성된다.
제1 실시예의 더 상세한 구현인 제2의 예시적 실시예에서는, 재구성될 블록의 사이즈 및/또는 재구성될 블록을 인코딩하기 위해 채택되었던 예측 모드가 결정되고, 참조 샘플들의 제1 및/또는 제2 서브세트를 결정하고/결정하거나 사전-예측 필터링을 위한 파라미터들을 선택하는 것이 사이즈 및/또는 예측 모드에 기초한다.
제1 또는 제2 실시예의 더 상세한 구현인 제3 예시적 실시예에서, 인트라-예측은 블록을 재구성하기 위해 이용된다. 이 실시예에서, 재구성될 블록을 인코딩하기 위해 채택되었던 예측 모드의 결정은 인트라-예측이 수직 모드, 수평 모드 또는 각도 모드에 따르는 것인지를 결정하는 단계를 포함한다. 인트라-예측이 다른 각도 모드에 따르는 경우, 제1 서브세트 및 제2 서브세트의 참조 샘플들의 사전-예측 필터링이 수행될 수 있다. 인트라-예측이 수직 모드에 따르는 경우, 사전-예측 필터링은 재구성될 블록의 좌측 및/또는 좌측 하부에 위치한 참조 샘플들에 적용될 수 있다. 인트라-예측이 수평 모드에 따르는 경우, 사전-예측 필터링은 재구성될 블록의 상부 및/또는 상부 우측에 위치한 참조 샘플들에 적용될 수 있다.
제3 실시예의 더 상세한 구현인 제4 예시적 실시예에서, 제1 서브세트는 재구성될 블록의 좌측 및/또는 좌측 하부에 위치한 참조 샘플들을 포함하고, 두 번째 제1 서브세트는 재구성될 블록의 상부 및/또는 상부 우측에 위치한 참조 샘플들을 포함한다.
제3 또는 제4 실시예의 더 상세한 구현인 제5 예시적 실시예에는 인트라-예측을 위한 대각선 모드가 또한 있다. 이 방법에서, 재구성될 블록을 인코딩하기 위해 채택되었던 예측 모드의 결정은 인트라-예측이 수직 모드, 수평 모드 또는 각도 모드에 따르는 것인지를 결정하는 단계를 포함하고, 인트라-예측이 대각선 모드에 따르는 경우, 모든 참조 샘플은 사전-예측 필터링을 받게 된다.
제1 내지 제5 실시예 중 하나의 더 상세한 구현인 제6 예시적 실시예에서, 제2 서브세트는 잔차가 인코딩된 비디오 스트림에 코딩되지 않은 하나 이상의 블록의 참조 샘플들을 포함하고, 블록은 참조 샘플들의 필터링된 제1 서브세트 및 참조 샘플들의 필터링된 제2 서브세트를 포함하는 참조 샘플들에 기초하는 예측에 의해 재구성된다.
제1 내지 제6 실시예 중 하나의 더 상세한 구현인 제7 예시적 실시예에서, 방법은 디블로킹 필터를 상이한 디코딩된 블록들의 사전-예측 필터링된 참조 샘플들에 적용하는 단계를 더 포함하고, 사전-예측 필터링된 참조 샘플들은 디코딩된 블록들 사이의 경계들에 있는 참조 샘플들이다.
제8 예시적 실시예는 본 발명의 상술한 양태의 추가 구현을 제공하고, 예측을 이용하여 이미지의 블록들을 재구성하는 다른 방법을 제공한다. 이 방법은 재구성될 블록을 예측하기 위해 이용될 하나 이상의 이미 디코딩된 블록의 참조 샘플들을 결정하는 단계; 필터가 예측 이전에 적용될 참조 샘플들의 서브세트를 선택하고 서브세트의 선택된 참조 샘플들의 사전-예측 필터링을 수행하는 단계; 및 서브세트의 필터링된 참조 샘플들을 포함하는 참조 샘플들에 기초하는 예측에 의해 블록을 재구성하는 단계를 포함한다. 이 방법에서, 서브세트의 선택 및 서브세트의 참조 샘플들의 사전-예측 필터링은 예측에 의한 블록의 재구성 이전에 반복된다.
제8 실시예의 더 상세한 구현인 제9 예시적 실시예에서, 서브세트의 참조 샘플들을 필터링하기 위한 필터 파라미터들은 서브세트의 선택 및 사전-예측 필터링의 반복들에서 상이하다.
제8 또는 제9 실시예의 더 상세한 구현인 제10 예시적 실시예에서, 상이한 반복들에서 선택되는 서브세트들은 별개이거나 중첩한다.
제8 내지 제10 실시예 중 하나의 더 상세한 구현인 제11 예시적 실시예에서, 반복들 중 하나에서, 참조 샘플들의 선택된 서브세트는 모든 참조 샘플을 포함한다.
제8 내지 제11 실시예 중 하나의 더 상세한 구현인 제12 예시적 실시예에는 사전 예측 필터링의 3번의 반복(repetition)(또는 되풀이(iteration))이 있다. 처음 2번의 반복은 필터링된 참조 샘플들을 획득하기 위해 최초 참조 샘플들에 대해 수행되는 한편, 세 번째 반복은 처음 2번의 반복에서 획득된 필터링된 참조 샘플들에 대해 수행된다.
제8 내지 제12 실시예 중 하나의 더 상세한 구현인 제13 예시적 실시예에서, 제1 반복에서 참조 샘플들의 각각의 서브세트는 재구성될 블록의 사이즈 및/또는 재구성될 블록을 인코딩하기 위해 채택되었던 예측 모드에 기초하여 필터링되고; 제2 반복에서, 참조 샘플들의 각각의 서브세트는 잔차가 인코딩된 비디오 스트림에 코딩되지 않은 하나 이상의 블록의 참조 샘플들을 포함하고; 제3 반복에서, 디블로킹 필터는 제1 또는 제2 반복에서 필터링된 참조 샘플들에 적용되고, 상기 필터링된 참조 샘플들은 디코딩된 블록들 사이의 경계들에 있는 참조 샘플들이다.
제7 및 제13 실시예 중 하나의 더 상세한 구현인 제14 예시적 실시예에서, 방법은 디코딩된 블록을 획득하기 위해 디코딩될 블록에 대한 디코딩된 잔차를 재구성된 블록에 추가하는 단계, 및 인-루프 디블로킹 필터를 디코딩된 블록에 적용하는 단계를 더 포함한다.
제1 내지 제14 실시예 중 하나의 더 상세한 구현인 제15 예시적 실시예에서, 참조 샘플들은 2개의 일차원 어레이를 형성하고, 하나의 어레이는 디코딩될 블록의 좌측 또는 우측에 있는 하나 이상의 디코딩된 인접 블록의 샘플들의 칼럼을 포함하고, 다른 어레이는 디코딩될 블록의 상부 또는 하부에 있는 하나 이상의 디코딩된 인접 블록의 샘플들의 로우를 포함한다.
제8 내지 제15 실시예 중 하나의 더 상세한 구현인 제16 예시적 실시예에서, 사전-예측 필터링은 평활 필터를 참조 샘플들의 적어도 하나의 서브세트에 적용하는 단계를 포함한다.
제1, 제2, 및 제6 내지 제16 실시예 중 하나의 더 상세한 구현인 제17 예시적 실시예에서, 인터-예측은 픽셀들의 블록을 재구성하기 위해 이용된다.
제17 실시예의 더 상세한 구현인 제18 예시적 실시예에서, 참조 샘플들은 블록을 재구성할 때 인터-예측에 사용될 하나 이상의 디코딩된 블록 내에 이차원 참조 영역을 정의한다. 또한, 사전-예측 필터링을 받게 되는 참조 샘플들의 서브세트들 중 하나는 잔차가 인코딩된 비디오 스트림에 인코딩되었던 디코딩된 블록에 속하는 참조 샘플을 포함한다.
제17 실시예의 더 상세한 구현인 제19 예시적 실시예에서, 참조 샘플들은 블록을 재구성할 때 인터-예측에 사용될 하나 이상의 디코딩된 블록 내에 이차원 참조 영역을 정의한다. 이 방법에서, 필터가 인터-예측 이전에 적용될 참조 샘플들의 서브세트들의 결정은 이차원 참조 영역의 참조 샘플들에 대해 에지 검출을 수행한 결과에 기초하여 참조 샘플들의 다수의 별개의 서브세트를 결정하는 단계를 포함한다. 또한, 사전-예측 필터링은 상이한 필터 파라미터들을 이용하여 서브세트들의 참조 샘플들을 필터링하는 단계를 포함한다.
제17 실시예의 더 상세한 구현인 제20 예시적 실시예에서, 다중-참조 인터-예측은 블록을 재구성하기 위해 이용되고, 참조 샘플들은 블록들을 재구성할 때 인터-예측에 사용될 상이한 참조 프레임들로부터의 이차원 참조 영역의 스택을 정의한다. 이 방법에서, 필터가 예측 이전에 적용될 참조 샘플들의 서브세트들의 결정은 참조 샘플들에 대해 에지 검출을 수행한 결과에 기초하여 이차원 참조 영역들의 상기 스택 내에서 참조 샘플들의 다수의 별개의 서브세트들을 결정하는 단계를 포함하고, 사전-예측 필터링은 상이한 필터 파라미터들을 이용하여 서브세트들의 참조 샘플들을 필터링하는 단계를 포함하고;
블록을 재구성하는 단계는 이차원 참조 영역의 스택으로부터의 필터링된 참조 샘플들의 가중 처리된 합을 계산함으로써 블록을 예측하는 단계를 포함한다.
제21 예시적 실시예는 상술한 양태의 다른 구현을 제공하며, 예측을 이용하여 이미지의 블록들을 재구성하기 위한 장치에 관한 것이다. 장치는 재구성될 블록을 예측하기 위해 이용될 하나 이상의 이미 디코딩된 블록을 저장하기 위한 참조 샘플 버퍼; 참조 샘플들의 제1 서브세트 및 참조 샘플들의 제2 서브세트를 참조 샘플 버퍼로부터 선택하도록 구성되는 처리 유닛; 제1 서브세트 및 제2 서브세트의 선택된 참조 샘플들의 사전-예측 필터링을 수행하도록 구성된 필터 유닛 - 제1 서브세트의 참조 샘플들을 필터링하기 위한 필터 파라미터들은 제2 서브세트의 참조 샘플들을 필터링하기 위한 필터 파라미터들과 상이함 - ; 및 제1 서브세트 및 제2 서브세트의 사전-예측 필터링된 참조 샘플들을 포함하는 참조 샘플들에 기초하는 예측에 의해 블록을 재구성하도록 구성되는 예측 유닛을 포함한다.
제21 실시예의 더 상세한 구현인 제22 예시적 실시예에서, 처리 유닛은 재구성될 블록의 사이즈 및/또는 재구성될 블록을 인코딩하기 위해 채택되었던 예측 모드를 결정하도록 구성되고; 처리 유닛은 또한 사이즈 및/또는 예측 모드에 기초하여, 참조 샘플들의 제1 및/또는 제2 서브세트를 결정하고/결정하거나 사전-예측 필터링을 위한 파라미터를 선택하도록 구성된다.
제21 또는 제22 실시예의 더 상세한 구현인 제23 예시적 실시예에서, 인트라-예측은 블록을 재구성하기 위해 이용되고, 처리 유닛은 인트라-예측이 수직 모드, 수평 모드 또는 각도 모드에 따르는 것인지를 결정하도록 구성된다. 인트라-예측이 다른 각도 모드에 따르는 경우에, 처리 유닛은 필터 유닛이 사전-예측 필터링을 제1 서브세트 및 제2 서브세트의 참조 샘플들에 적용하게 하도록 구성된다. 또한, 인트라-예측이 수직 모드에 따르는 경우에, 처리 유닛은 필터 유닛이 사전-예측 필터링을 재구성될 블록의 좌측 및/또는 좌측 하부에 위치한 참조 샘플들에 적용하게 하도록 구성된다. 더욱이, 인트라-예측이 수평 모드에 따르는 경우에, 처리 유닛은 필터 유닛이 사전-예측 필터링을 재구성될 블록의 상부 및/또는 상부 우측에 위치한 참조 샘플들에 적용하게 하도록 구성된다.
제23 실시예의 더 상세한 구현인 제24 예시적 실시예에서, 제1 서브세트는 재구성될 블록의 좌측 및/또는 좌측 하부에 위치한 참조 샘플들을 포함하고, 두 번째의 제1 서브세트는 재구성될 블록의 상부 및/또는 상부 우측에 위치한 참조 샘플들을 포함한다.
제23 또는 제24 실시예의 더 상세한 구현인 제25 예시적 실시예에서, 처리 유닛은 인트라-예측이 수직 모드, 수평 모드 또는 각도 모드에 따르는 것인지를 결정하도록 구성된다. 인트라-예측이 대각선 모드에 따르는 경우에, 처리 유닛은 필터 유닛이 사전-예측 필터링을 모든 참조 샘플에 적용하게 하도록 구성된다.
제21 내지 제25 실시예 중 하나의 더 상세한 구현인 제26 예시적 실시예에서, 제2 서브세트는 잔차가 인코딩된 비디오 스트림에 코딩되지 않은 하나 이상의 블록의 참조 샘플들을 포함하고; 예측 유닛은 참조 샘플들의 필터링된 제1 서브세트 및 참조 샘플들의 필터링된 제2 서브세트를 포함하는 참조 샘플들에 기초하여 블록을 재구성하도록 구성된다.
제21 내지 제26 실시예 중 하나의 더 상세한 구현인 제27 예시적 실시예에서, 장치는 예측 이전에 상이한 디코딩된 블록들의 사전-예측 필터링된 참조 샘플들의 디블로킹을 수행하도록 구성되는 디블로킹 필터를 포함한다. 사전-예측 필터링된 참조 샘플들은 디코딩된 블록들 사이의 경계들에 있는 참조 샘플들이다.
제28 예시적 실시예는 상술한 양태의 다른 구현을 제공하며, 예측을 이용하여 이미지의 블록들을 재구성하기 위한 장치에 관한 것이다. 장치는 재구성될 블록을 예측하기 위해 이용될 하나 이상의 이미 디코딩된 블록을 저장하기 위한 참조 샘플 버퍼; 필터가 예측 이전에 적용될 참조 샘플의 서브세트들을 선택하도록 구성되는 처리 유닛; 서브세트의 선택된 참조 샘플들의 사전-예측 필터링을 수행하도록 적응된 필터 유닛; 및 서브세트의 필터링된 참조 샘플들을 포함하는 참조 샘플들에 기초하는 예측에 의해 블록을 재구성하도록 구성되는 예측 유닛을 포함한다. 처리 유닛 및 필터 유닛은 예측에 의한 블록의 재구성 이전에 서브세트의 선택 및 서브세트의 참조 샘플들의 사전-예측 필터링을 반복하도록 구성된다.
제28 실시예의 더 상세한 구현인 제29 예시적 실시예에서, 필터 유닛은 반복들에서 서브세트의 참조 샘플들을 필터링하기 위해 상이한 파라미터들을 이용하도록 구성된다.
제28 또는 제29 실시예의 더 상세한 구현인 제30 예시적 실시예에서, 처리 유닛은 상이한 반복들에서, 별개이거나 중첩한는 서브세트들을 선택하도록 구성된다.
제28 내지 제30 실시예들 중 하나의 더 상세한 구현인 제31 실시예에서, 반복(또한, 되풀이로도 불릴 수 있음)들 중 하나에서, 참조 샘플들의 선택된 서브세트는 모든 참조 샘플을 포함한다.
제28 내지 제31 실시예 중 하나의 더 상세한 구현인 제32 예시적 실시예에는 3번의 반복(또는, 되풀이)이 있다. 처리 유닛 및 필터 유닛은 필터링된 참조 샘플들을 획득하기 위해 최초 참조 샘플들에 대해 처음 2번의 반복을 수행하고 처음의 2번의 반복에서 획득된 필터링된 참조 샘플들에 대해 세 번째 반복을 수행하도록 구성된다.
제28 내지 제32 실시예 중 하나의 더 상세한 구현인 제33 예시적 실시예에서, 제1 반복에서 필터 유닛은 재구성될 블록의 사이즈 및/또는 재구성될 블록을 인코딩하기 위해 채택되었던 예측 모드에 기초하여 참조 샘플들의 각각의 서브세트를 필터링하고; 제2 반복에서 참조 샘플들의 각각의 서브세트는 잔차가 인코딩된 비디오 스트림에 코딩되지 않은 하나 이상의 블록의 참조 샘플들을 포함하고; 제3 반복에서 필터 유닛은 디블로킹 필터를 제1 또는 제2 반복에서 필터링된 참조 샘플들에 적용하고, 필터링된 참조 샘플들은 디코딩된 블록들 사이의 경계들에 있는 참조 샘플들이다.
제27 내지 제33 실시예 중 하나의 더 상세한 구현인 제34 예시적 실시예에서, 장치는 디코딩된 블록을 획득하기 위해 디코딩될 블록에 대한 디코딩된 잔차를 재구성된 블록에 추가하도록 구성되는 합산 유닛; 및 디블로킹을 디코딩된 블록에 적용하도록 구성되는 인-루프 디블로킹 필터를 더 포함한다.
제21 내지 제34 실시예 중 하나의 더 상세한 구현인 제35 예시적 실시예에서, 필터 유닛은 평활 필터를 참조 샘플들의 적어도 하나의 서브세트에 적용하도록 구성된다.
제21 내지 제35 실시예 중 하나의 더 상세한 구현인 제36 예시적 실시예에서, 장치는 비디오의 이미지를 인코딩하기 위한 인코딩 장치 또는 비디오 스트림의 인코딩된 이미지들을 디코딩하기 위한 디코딩 장치이다.
본 명세서에 논의된 상이한 실시예들 중 하나에 따르는 상술한 양태 및 그 구현은 또한 컴퓨터 판독 가능 저장 매체에 구현될 수 있다. 그런 매체는 명령어들을 저장하고, 명령어들이 처리 유닛에 의해 실행될 때, 처리 유닛으로 하여금 본 명세서에 기재되는 다양한 실시예들 중 하나에 따른 예측을 이용하여 이미지의 블록들을 재구성하는 방법을 수행하게 한다.
이하에서는 본 발명의 실시예가 첨부된 그림 및 도면을 참고하여 설명된다. 도면들에서 유사하거나 대응하는 상세 내용에는 동일한 참조 부호들이 마킹된다.
도 1은 본 발명의 예시적 실시예에 따르는, 디코딩될 블록의 인트라-예측에 사용하기 위한 사전-예측 필터링의 예시적 흐름도를 도시한다.
도 2는 도 1에서 사이즈 및 모드-종속 사전 예측 필터링의 예시적 구현의 흐름도를 도시한다.
도 3은 도 2의 사이즈 및 모드-종속 사전 예측 필터링에서 각도 예측 모드들에 대한 참조 샘플들의 처리의 예시적 구현의 흐름도를 도시한다.
도 4는 상이한 각도 예측 모드들에 대한 메인 및 사이드 참조 샘플들을 예시한다.
도 5는 본 발명의 실시예에 따르는 픽셀들의 주어진 블록을 재구성하기 위한 참조 샘플들과, 도 1의 사전-예측 필터링의 단계들(102 및 103)에 따른 참조 샘플들의 처리를 예시한다.
도 6은 도 1의 단계 102에 따른 참조 샘플들의 처리를 위한 본 발명의 실시예에 따르는 참조 샘플 처리를 예시한다.
도 7은 본 발명의 예시적 실시예에 따르는 도 1의 단계 102에 따른 참조 샘플들의 처리의 흐름도를 도시한다.
도 8은 본 발명의 예시적 실시예에 따르는 도 1의 단계 103에 따른 참조 샘플들의 처리의 흐름도를 도시한다.
도 9는 본 발명의 실시예에 따르는 디블로킹 필터의 예시적 구현을 도시한다.
도 10은 본 발명의 실시예에 따르는 디블로킹 필터를 파라미터화하기 위한 예시적 하드웨어 구조를 도시한다.
도 11은 본 발명의 실시예에 따르는 참조 샘플들의 서브세트들의 병렬 처리를 예시한다.
도 12는 본 발명의 실시예에 따르는, 에지 필터를 이용하는 이차원 영역에서 참조 샘플들의 예시적 분류를 도시한다.
도 13은 본 발명의 실시예에 따르는 참조 샘플들의 서브세트들의 다른 병렬 처리를 예시하며, 서브세트는 예를 들어, 도 12의 분류에 의해 획득된다.
도 14는 상이한 이미지 내의 참조 샘플에 기초하는 블록의 사전-예측을 예시한다.
도 15는 본 발명의 실시예에 따르는 이중-예측 프로세스를 예시하는 흐름도를 도시한다.
도 16은 본 발명의 실시예에 따르는 인코딩 장치의 예시적 실시예의 간략화된 블록도를 도시한다.
도 17은 본 발명의 실시예에 따르는 디코딩 장치의 예시적 실시예의 간략화된 블록도를 도시한다.
도 18은 MCTF를 위한 리프팅 프로세스를 도시한다.
도 19는 본 발명의 실시예에 따르는 디블로킹 필터의 다른 예시적 구현을 도시한다.
이하에서는 다양한 양태의 다양한 구현 및 실시예가 설명될 것이다. 위에서 이미 언급한 바와 같이, 본 발명의 일 양태는, 예를 들어 인코딩 또는 디코딩 프로세스의 일부로서, 이미지의 블록을 예측하는데 이용될 참조 샘플들의 사전-예측 필터링에 관한 것이다. 본 명세서에 논의된 예측 기법에 대한 개선은 특히, 인트라 또는 인터-예측을 이용하는 블록-예측에 적용 가능하다. 사전-예측 기법은 재구성될 블록의 예측된 샘플에 대한 노이즈 영향을 감소시키기 위한 것이다. 이미지의 픽셀들의 주어진 블록을 재구성하는데 사용되는 참조 샘플들(또한 이미지의 주어진 블록의 픽셀들의 각각의 값으로 지칭될 수 있음)은 서브세트들로 카테고리화 또는 세그먼트화된다. 서브세트들은 상이하게 처리될 수 있는데, 예를 들어, 서브세트들은 별개의 필터들을 받게 될 수 있다. 그러한 필터들의 예는 평활 필터 및/또는 디블로킹 필터를 포함하며, 이것은 각각 적용된다.
이하의 실시예에서는, 사전에 이미 디코딩되어 있는 다른 블록의 참조 샘플에 기초하는 이미지의 픽셀들의 블록의 인트라-예측에 대해 주로 참조한다. 그러나, 본 명세서에 논의된 원리가 인터-예측에도 적용될 수 있다는 것은 자명해야 한다.
도 1은 본 발명의 예시적 실시예에 따르는 사전-예측 필터링 단계들을 예시하는 흐름도를 도시한다. 여기서, 인트라-예측을 위해 참조 샘플을 처리하는 일차원 경우가 가정된다. 전형적이지만, 이에 제한되지 않게, 재구성될 블록에 대한 참조 샘플(픽셀들의 값)들은 재구성될 블록에 대해 좌측(및 좌측 하부) 및 상부(및 상부 우측)에 있는 인접 블록들로부터 선택된다. 참조 샘플들이 선택되는 블록들의 수는 인접 블록의 사이즈뿐만 아니라 재구성될 블록의 사이즈에 의존한다. 예를 들어, 참조 샘플들은 도 3에 예시된 바와 같이, 인접하는 좌측 블록들 내의 가장 오른쪽 칼럼의 샘플(픽셀 값)들, 및 재구성될 블록 위(상부)의 인접 블록(들) 내의 하부 로우의 샘플(픽셀 값)들일 수 있다. 참조 샘플들은, 예를 들어 참조 샘플 버퍼에 제공될 수 있고, 예측 유닛은 예측 버퍼에 저장되는 샘플에 기초하여 블록을 예측한다. 현재 블록(예를 들어, H.265 비디오 코딩에서의 TU)을 예측하는데 요구되는 참조 블록들 및 참조 샘플들의 수는 현재 블록의 사이즈 N×M에 의존할 수 있다. 도 5에 도시된 바와 같은 예시적 제안을 위해, 수직 방향에서는 참조 샘플들이 현재 블록의 상부 좌측 코너와 관련된 범위 2N에서 좌측 및 좌측 하부에 있는 모든 블록들(502)로부터 선택되고, 수평 방향에서는 참조 샘플들이 현재 블록의 상부 좌측 코너와 관련된 범위 2M에서 상부 및 상부 우측에 있는 모든 블록(501)으로부터 선택된다고 추정할 수 있다. 물론, M은 또한 N과 동일할 수 있다.
예시적 목적을 위해, 사전-예측 필터링의 초기에, 주어진 블록을 재구성하기 위한 디코딩된 참조 샘플들이 인코딩 또는 디코딩 장치의 참조 샘플 버퍼에 제공되고, 도 1에 도시된 단계들(101, 102 및 103)에서 액세스될 수 있다고 추정할 수 있다. 단계들(101 및 102) 중 하나가 옵션이며, 따라서 단계들(101 및 103)이 수행되거나, 단계들(102 및 103)이 수행되거나, 또는 모든 단계들(101, 102 및 103)이 수행되는 것에 유의한다.
참조 샘플 처리의 단계 101은 이하에서 도 2와 관련하여 더 상세히 논의될 사이즈 및 모드-종속 필터링이다. 단계 102는 잔차 신호가 비디오 비트 스트림에 인코딩되지 않은 디코딩된 블록들로부터 선택되는 참조 샘플들의 특정한 처리이다. 단계 103은 디블로킹 필터이며, 이것은 참조 블록들의 블록 경계들 상의 참조 샘플들에 적용된다. 단계들(101 및 102)이 최초("수정되지 않은") 참조 샘플에서 동작하는데 반해, 단계 103은 단계 101 및/또는 단계 102에서 획득되는 처리된 참조 샘플을 이용한다.
도 2는 블록 예측 모드에 의존하는 예측에 의한 재구성시 블록의 전반적인 처리에 대한 예시적 흐름도를 도시한다. 예를 들어, 본 발명을 H.265 비디오 코딩에 적용할 때, 35개의 인트라-예측 모드가 있을 수 있고, 이들 중 33개는 각도 예측 모드들(대각선, 수직, 수평 및 "참" 각도 모드를 포함함)이다. 인트라-예측의 각도는 각도 모드의 인덱스 N am에 의존한다. 이 의존성은 선형이고, 즉, 모드 인덱스 N am의 더 큰 값은 예측 각도의 더 큰 값을 나타낸다. 보편성을 위해, 최대 및 최소 각도 모드 인덱스들이 각각 N min 및 N max로 표시된다. HEVC/H.265 표준의 특정한 경우에, N min = 2 및 N max = 34이고, N am = 0은 평면 모드를 나타내고 N am = 1은 DC 모드를 나타낸다. 평면 모드에서, 예측된 픽셀들은 2개의 이중선형 보간(bilinear interpolation) - 수평 및 수직 보간들 - 의 합으로서 계산된다. DC 예측 모드가 선택될 때, 예측된 픽셀들은 참조 픽셀들의 평균값과 동일하다. 그러나 32개의 픽셀보다 작은 사이즈를 갖는 블록들의 DC 인트라 예측에서는, 예측된 블록의 제1 칼럼 및 제1 로우가 대응하는 참조 픽셀들의 가중 처리된 합과 이들 참조 픽셀의 평균값으로 계산된다.
도 2에 도시된 바와 같이, 먼저 주어진 블록이 DC 모드를 이용하여 예측되는지가 확인되고(201)(예를 들어, N am = 1인지를 확인함으로써), 그게 맞다면, 사전-예측 필터링이 적용되지 않을 수 있다. 다음에, 블록이 평면 모드를 이용하여 예측되는지가 확인된다(202)(예를 들어, N am = 0인지를 확인함으로써). 평면 모드가 이용되는 경우, 모든 참조 샘플은 하나의 필터, 예를 들어, 저역 통과 필터(LPF)와 같은 평활 필터를 받게 될 수 있다.
재구성될 블록의 처리가 DC 모드 또는 평면 모드 어느 것도 아닌 경우, 각도 모드 인트라-예측이 주어진 블록에 사용된다. 본 발명의 예시적 실시예에 따르는 각도 모드 인트라-예측을 받게 하는 블록의 처리(204)는 도 3의 흐름도에 나타난다.
위에 나타낸 바와 같이, 모드 인덱스 N am는 이들 각도 모드 - 구체적으로는, 수평, 수직 및 대각선 모드들 - 로부터 선택될 수 있는 여러 특정한 방향을 나타낼 수 있다. 이들 방향의 각각은 이들과 연관되는 한 세트의 공칭 모드 인덱스들
Figure 112016055329320-pct00003
를 갖는다. 예를 들어, 대각선 모드들은 모드 인덱스들
Figure 112016055329320-pct00004
= {2, 18 34}과 연관될 수 있고, 수직 모드는 모드 인덱스
Figure 112016055329320-pct00005
=26과 연관될 수 있고, 수평 모드는 모드 인덱스
Figure 112016055329320-pct00006
=10과 연관될 수 있다. 그러나 이들 예시적 인덱스들은 제한적인 것으로 의도되지 않는다.
주어진 입력 모드 인덱스 N am가 특정한 방향에 속하는지를 확인하기 위해서, 특정한 범위 R am 이 특정될 수 있다. 범위 R am 은 재구성될 블록의 블록 크기 STU에 기초하여 결정될 수 있다. 예를 들어, 더 큰 블록에서는 더 큰 범위 값들이 사용될 수 있다. N am이 특정한 방향(
Figure 112016055329320-pct00007
및 R am 에 의해 정의됨)에 속하는지의 확인은 다음과 같이 기재될 수 있다:
Figure 112016055329320-pct00008
상이한 각도 모드들에 대한 사이즈 및 모드 적응 필터링(204)의 예시적인 흐름도가 도 3에 도시된다. 이런 예시적 실시예에서 이용 가능한 각도 인트라-예측 모드들은 대각선 모드, 수직 모드, 수평 모드, 및 (다른) 각도 모드이다.
단계 2401에서, 재구성될 블록의 블록 사이즈 STU 및 모드 인덱스 N am는 각도 인트라 예측 - 수직, 수평, 대각선 또는 임의의 것 - 의 경우를 결정하기 위해 획득된다. 대각선 모드에서, 블록의 샘플들의 예측은 인접하는 좌측(옵션으로서 좌측 하부) 및 상부(옵션으로서 상부 우측) 블록들로부터 선택된 참조 샘플들에 기초한다. 수직 모드에서, 블록의 샘플들의 예측은 재구성될 블록의 상부/위(옵션으로서 상부/위 우측)에 있는 인접하는 참조 블록(들)으로부터 선택된 참조 샘플들에 기초한다. 대각선 인트라-예측 경우가 발생한 경우, 모드 인덱스 N am 및 블록 크기 STU는, 예를 들어
Figure 112016055329320-pct00009
= {2, 18 34} 인지를 확인함으로써 결정될 수 있는 인트라-예측의 대각선 경우를 산출한다. 그러한 경우에, 모든 참조 샘플은, 예를 들어 저역 통과 필터(LPF)와 같은 평활 필터인 필터(2403)(아래 나타내는 표에서 경우 D)를 받게 된다.
모드가 대각선 모드가 아닌 경우, 다음에는 인트라-예측 모드가 수평 모드인지가 확인되고(2404), 이 경우 블록의 샘플들의 예측은 재구성될 블록의 상부(옵션으로서 상부 우측)의 인접 참조 블록(들)으로부터 선택된 참조 샘플들에 기초한다. 수평 모드 인트라-예측이 사용되는 경우, 상부 및 상부 우측(존재하는 경우) 블록(들)의 참조 샘플들이 필터링되고(2405)(아래 표시된 표에서 경우 C), 수직 모드 인트라-예측이 사용되는 경우, 좌측 및 좌측 하부(존재하는 경우) 블록(들)의 참조 샘플들이 필터링된다(2407)(아래 표시된 표에서 경우 B).
모드 인덱스 N am가 전술한 바와 같은 수평, 수직 또는 대각선 경우들(도 4 참조)을 결정하지 않을 때 임의의 각도 예측 경우가 발생한다. 모드 인텍스 N am가 수평 방향을 향해 더 많이 산출되는 경우에, 재구성될 블록의 좌측(및 좌측 하부)에 있는 인접 블록(들)의 참조 샘플들은 제1 서브세트(메인 참조 샘플들)를 형성하고, 재구성될 블록의 상부(및 상부 우측)에 있는 인접 블록(들)의 참조 샘플들은 제2 서브세트(사이드 참조 샘플들)를 형성한다. 메인 참조 샘플들 및 사이드 참조 샘플들은, 예를 들어 LPF와 같은 평활 필터들인 상이한 필터들을 받게 된다(2408)(아래 표시된 표에서 경우 A)(즉, 2개의 필터의 필터 파라미터들은 서로 상이하다). 모드 인텍스 N am가 수직 방향을 향해 더 많이 산출될 때, 메인 및 사이드 참조 샘플들은 이에 따라 제1 및 제2 서브세트들에 대응한다.
삭제
삭제
상술한 경우들 중 어느 한 경우에, 필터링된 참조 샘플들은 단계 103에서 사용하기 위해(또는 단계 102에서 업데이트하기 위해) 참조 샘플 버퍼에 저장될 수 있다.
아래의 예시적 표는 도 3에 따르는 참조 샘플들을 필터링하는 모드 및 사이즈-종속 사전 예측을 위한 예시적 필터 구성을 나타낸다. 표의 헤더에 있는 글자는 위에서 도 3과 관련하여 설명된 변형(경우 A, B, C, D)을 나타낸다. TU 사이즈는 재구성될 블록의 사이즈(N×N 픽셀들)를 나타낸다. 대괄호 내에 주어진 필터 계수들은 정규화되지 않는다, 즉, 이들 각각은 자신의 정규화 이후의 계수들의 합이 1과 동일하도록 필터 계수들의 합에서 나누어져야 한다. "[1]"로 지정된 필터 계수들은 필터링이 적용되지 않아야 하는 때를 나타내는 특정한 경우이다.
Figure 112016055329320-pct00012
표로부터 알 수 있는 바와 같이, 참조 샘플의 필터링은 자신의 인트라-예측 모드 및 재구성될 블록의 사이즈에 의존한다.
상기 표에서 값 filter_flag가 존재한다는 것에 유의해야 한다. 이 값은 비디오 비트 스트림에서 시그널링되고, 전술한 표에 의해 특정된 필터 선택의 추가 변형을 나타낸다. 이 플래그의 시그널링은 명시적 또는 암시적으로 수행될 수 있다. 암시적 시그널링은, 예를 들어 (Gordon Clare, Felix Henry, Joel Jung, "Sign Data Hiding", Orange Lab's contribution to JCT-VC meeting, JCTVC-G273, Geneva, November 2011)에 설명된 사인 데이터 은닉과 유사한 데이터 은닉 기술을 이용하여 구현될 수 있으며, 이것은 참고로 본 명세서에 포함된다.
다음에는, 도 1에 도시되는 바와 같은 단계들(102 및 103)이 더욱 상세히 설명될 것이다. 단계들(102 및 103)에서 처리는 도 5를 이용하여 예시되고, 이것은 인접하는 (이미 디코딩된) 블록들로부터의 참조 샘플들을 이용하는 블록의 재구성을 도시한다. 도 5에 도시된 바와 같이, 재구성될 블록이 사이즈 N×M 픽셀들(M이 또한 N과 동일할 수 있음)을 갖는다고 추정한다. 수직 방향에서, 참조 샘플들은 현재 블록의 상부 좌측 코너와 관련된 범위 2N에서 좌측 및 좌측 하부에 있는 모든 블록(502)으로부터 선택된다(본 명세서에서 이들은 블록들(502)의 픽셀들의 가장 오른쪽 칼럼을 형성한다). 수평 방향에서, 참조 샘플들은 현재 블록의 상부 좌측 코너와 관련된 범위 2M에서 상부 및 상부 우측에 있는 모든 블록(501)으로부터 선택된다(본 명세서에서 이들은 블록들(501)의 픽셀들의 최하위 로우를 형성한다). 따라서, 도 5는 수평 모드 또는 수직 모드와는 다른 대각선 또는 각도 모드 인트라-예측을 추정한다(이 경우에 블록(502) 또는 블록(501) 중 어느 하나로부터만 참조 샘플들이 존재할 것이다).
단계들(102 및 103)의 일 구현에서, 참조 샘플들의 세트는 인접 블록들의 구성 및 이들 내의 잔차의 존재에 따라 여러 서브세트로 나누어진다. 단계 102의 하나의 예시적 구현에서는, 참조 샘플들이 잔차가 비디오 스트림에 코딩되지 않은 블록으로부터 온 것인지를 확인한다. H.265에서, 잔차 신호의 존재는 2개의 플래그의 값들을 이용하여 결정될 수 있다:
Figure 112016055329320-pct00013
변환 스킵 플래그(TSk). 이것은 잔차 코딩이 처리되고 있는 색 성분에 대해 인코더 측에서 스킵되었는지를 가리킨다. TSk가 1과 동일한 것은 잔차가 처리되지 말아야 하는 것을 의미하며, 따라서 비트 스트림은 양자화된 변환 계수들을 포함하지 않는다.
Figure 112016055329320-pct00014
cbf _ luma , cbf _cb 또는 cbf _ cr 플래그들. 플래그가 0과 동일한 경우, 이것은 변환된 잔차의 주어진 블록 양자화의 특정한 색 성분이 임의의 논-제로 양자화된 변환 계수를 제공하지 않는다는 것을 의미한다. CBFk는 처리되고 있는 색 성분에 의존하는 이들 플래그 중 하나를 나타낸다.
이들 블록이 예측만으로 재구성되지만 잔차 신호가 추가되지 않을 때, 재구성된 블록(따라서, 이런 블록으로부터의 참조 샘플들) 내의 노이즈는 양자화 노이즈(잔차 신호에 존재했을 것이다)가 추가되지 않기 때문에 감소되고, 따라서, 참조 샘플들은 더 평활화된다. 따라서, 하나의 예시적 구현에서, 잔차 신호없이 재구성되는 참조 블록들로부터의 (수정되지 않은) 참조 샘플들은 단계 101에서 참조 샘플들의 사전 예측 필터링을 위해 사용된 것/것들과는 다른 "더 약한" 필터를 적용하여 필터링된다("수정되지 않은"은 단계 102에서의 필터링이 최초 참조 샘플에 대해 수행되는 것을 표현하고자 의도한 것이지, 단계 101의 필터링된 참조 샘플들 표현하고자 의도한 것이 아니다). 더 약한 필터를 적용한다는 것은 입력 신호가 더 약하게 왜곡되는 것을 의미하며, 즉 필터링이 약할수록 입력과 출력 신호들 간의 평균 제곱 차이의 값이 작아진다. 예를 들어, 도 1의 단계 101에 사용되는 것들과 비교하면 잔차 신호를 갖지 않는 참조 블록의 참조 샘플들을 필터링하기 위한 필터 계수들은 상이하다. 상기 표를 다시 참조하고 경우 A를 고려하면, 메인 참조 샘플들을 필터링하기 위한 단계 101에서의 필터 계수 어레이 [2 3 6 3 2]는 단계 102에서의 필터 계수들 [1 2 1]에 의해 대체될 수 있고, 단계 101의 [1 6 1] 필터 대신에 사이드 참조 샘플이 필터링되지 않는다. 계수들의 마지막 변경은 또한 [1] 필터링의 형태로 표현될 수 있다. 단계 102에 따르는 참조 샘플들의 처리는 재구성될 블록의 사이즈 STU 및 각도 예측의 방향에 의존할 수 있다. 예를 들어, 하나의 예시적 구현에서 단계 102는 16x16 픽셀보다 크거나 같은 블록에 대해서만, 그리고/또는 인트라-예측 모드가 수직 모드, 수평 모드 또는 대각선 모드가 아닌 경우에만 수행될 수 있다.
도 7은 단계 102에서의 필터링의 예시적 흐름도를 도시하며, 여기서 잔차 신호를 갖지 않은 블록들의 참조 샘플들은 반복적 프로세스에서 예측 이전에 필터링된다. 블록 인덱스 k 및 참조 샘플 인덱스 i는 0으로 초기화된다(701, 702). 프로세스는 다음 인접 블록 k의 Lk 참조 샘플들을 선택하고(703), 이 블록 k가 잔차 신호를 가지고 있는지의 여부를 이 블록에 대해 확인한다(704). 블록 k가 잔차 신호를 갖는 경우, 프로세스는 단계 706으로 진행한다.
블록 k가 잔차 신호를 갖지 않는 경우, 프로세스는 단계 705로 진행하고, 이 단계에서 다음 인접 블록 k의 Lk 참조 샘플들이 필터, 예를 들어 저역 통과 필터와 같은 평활 필터를 받게 된다. 본 명세서에서는 블록 사이즈에 관한 어떠한 추가 제한도 고려되진 않지만, 당연히 그런 파라미터가 또한 필터링을 위한 기준으로서 확인될 수 있었다는 점에 유의한다.
단계들(706 및 707)에서, 참조 샘플 인덱스 i는 Lk만큼 증분되고, 카운터 변수 k는 다음 인접 블록을 선택하기 위해 1씩 증분된다. 처리는 참조 샘플 인덱스 i가 참조 샘플들의 전체 수 C를 초과할 때(708) 종료된다. 단계 705에서 필터링된 참조 샘플들은 예측에서 추후 사용을 위해 참조 샘플 버퍼에 저장될 수 있다. 단계들(101 및 102)이 참조 샘플들의 세트에 대해 모두 수행되는 경우에, 단계 705에서 필터링된 참조 샘플이 참조 샘플 버퍼 내의 대응하는 참조 샘플들을 중복 기입하는(overwriting) 것에 유의한다.
단계 103에서, 디블로킹 필터는 단계들(101 및/또는 102) 이전에 필터링을 받게 되는 참조 샘플 버퍼 내의 참조 샘플들에 적용될 수 있다. 이것은 또한 디블로킹이 수행되는 블록 경계들에서 참조 샘플들을 산출하는 이중 화살표를 갖는 참조 샘플들의 블록들에 의해 도 5에 표시된다(또한 도 6 참조). 참조 샘플 디블로킹은 공지된 비디오 인코딩/디코딩 표준에 사용되는 것과 동일한 디블로킹 알고리즘을 재사용할 수 있다. 예를 들어, 참조 샘플 디블로킹을 위한 디블로킹 알고리즘은 H.265 비디오 코딩 표준의 인-루프 필터링 동안 사용되는 알고리즘일 수 있다. 그러나 참조 샘플 디블로킹 프로세스 동안, 디블로킹 파라미터들(β 및 tc)은 인-루프 디블로킹에 의해 사용되는 것들과 달라야 한다. 참조 샘플 디블로킹 필터를 위한 새로운 디블로킹 파라미터들은, 예를 들어 오프셋들(△QP, △β 및 △tc)을 이용하여 도출될 수 있다:
Figure 112016055329320-pct00015
이들 오프셋의 역할은 양자화 파라미터(QP)에 대한 β 및 tc의 의존성을 수정하는 것이다. 오프셋들(△QP, △β 및 △tc)의 도입은 의존성의 그래프의 수평 또는 수직 변위에 의해 설명될 수 있다. 수평 변위는 △QP 값에 의해 제어되고, β 및 tc에 대한 수직 변위는 △β 및 △tc에 의해 각각 결정된다. 이들 오프셋의 값은 상수 값으로 정의될 수 있거나, QP의 함수일 수 있다. 후자의 경우는 룩업 테이블의 형태로 구현일 수 있다, 즉, QP 값마다 3개의 오프셋 값 {△QP, △β 및 △tc}이 정의될 수 있다.
단계 103의 디블로킹 프로세스의 예시적 구현은 도 8의 흐름도에 예시된다. 단계 801에서 양자화 파라미터(QP)의 값이 획득된다. 또한, 디블로킹 파라미터들 β 및 tc은 이전에 정의된 양자화 파라미터를 이용하여 전술한 바와 같이 계산된다(802)(즉, βmodif 및 tc modif는 참조 샘플 디블로킹에 사용된다). 도 7과 유사하게, 도 8의 프로세스는 그 후 재구성될 블록에 인접하는 블록을 통해 반복하고, 디블로킹 필터를 2개의 인접한 참조 블록의 경계에서의 샘플에 적용한다(도 5에 표시된 바와 같이). 보다 상세하게는, 블록 인덱스(k)(블록 반복자) 및 참조 샘플 인덱스 i는 1 및 0으로 각각 초기화된다(803, 804). 다음에는 위에 설명한 바와 같이, 인덱스 k-1 및 k를 갖는 블록들의 경계에 대응하는 Bk 참조 샘플들이 선택되고(805), 디블로킹 필터는 선택된 Bk 참조 샘플에 적용된다(806). 단계들(807 및 808)에서, 참조 샘플 인덱스 i는 현재 블록 k의 참조 샘블들의 수 Lk만큼 증분되고, 블록 인덱스 k는 다음 인접 블록을 선택하기 위해 1씩 증분된다. 처리는 참조 샘플 인덱스 i가 도 7과 유사하게 참조 샘플의 전체 수 C를 초과할 때(809) 종료된다.
하나의 유리한 구현에서, 재구성된 이미지의 참조 샘플 디블로킹 및 인-루프 디블로킹은 도 9에 예시된 바와 같이 비디오 인코딩 또는 비디오 디코딩 장치에서 동일한 디블로킹 모듈을 이용할 수 있다. 디블로킹 필터(모듈)는 스위치가 인-루프 디블로킹 필터 동작 또는 참조 샘플 디블로킹 필터 동작으로 전환하게 하는 디블로킹 모드 제어 신호를 수신한다. 디블로킹된 샘플들은 인-루프 디블로킹이 수행되는 경우에 디코딩된 픽처 버퍼에 기입되거나, 또는 참조 샘플 디블로킹이 수행되는 경우에 참조 샘플 버퍼에 기입된다.
도 9에 따르는 그런 디블로킹 필터 모듈의 데이터 흐름은 도 10에 예시된다. 멀티플렉서(1002)는 판독 전용 메모리 메모리(ROM)(1001)로부터 디블로킹을 위한 필터 파라미터를 판독할 수 있다. ROM(1001)은, 예를 들어 H.265 비디오 코딩 표준에 따르는 파라미터들 β 및 tc를 저장할 수 있다. 멀티플렉서(1002) 및 디멀티플렉서(1004)는 디블로킹 모드 제어 신호에 의해 제어된다. 이 신호가 인-루프 디블로킹 동작을 가리키는 경우, 디블로킹 파라미터 β 및 tc는 디멀티플렉서(1004)로부터 디블로킹 필터에 출력된다. 디블로킹 모드 제어 신호가 참조 샘플 필터링을 가리키는 경우, 파라미터 β 및 tc는 재계산 모듈(1003)을 통과하고, 이것에서 파라미터들 β 및 tc에 기초하여 참조 샘플 디블로킹에 대한 수정된 디블로킹 파라미터들 βmodif 및 tc modif를 계산한다. 이 경우에 디멀티플렉서(1004)는 수정된 디블로킹 파라미터들 βmodif 및 tc modif를 디블로킹 필터에 출력한다. 재계산 모듈(1003)은 ROM(1001)에 저장된 파라미터 값들을 조절하는 특정한 하드웨어 모듈에 의해 구현될 수 있다.
적응 디블로킹 필터 구현을 위한 대안적인 구현이 도 18에 제시된다. 디블로킹을 위한 의사 결정은 필터링 모드를 정의하는 자동 제어에 의해 수행된다. 동작 오토마톤(automaton)은 제어 오토마톤에 의해 제공된 필터링 모드에 따라 입력 버퍼의 샘플들은 필터링한다. 제어 및 동작 오토마톤들이 입력 버퍼의 상이한 샘플을 이용할 수 있다는 점에 유의해야 한다.
참조 샘플 디블로킹은 인-루프 디블로킹 프로세스의 수정으로서 구현될 수 있다. 구체적으로, 이하의 수정이 도입될 수 있다:
Figure 112016055329320-pct00016
제어 오토마톤의 파라미터들, 예를 들어 상술한 바와 같은 디블로킹 파라미터들 β 및 tc;
Figure 112016055329320-pct00017
제어 오토마톤 로직들, 즉, 동작 오토마톤 제어의 절차;
Figure 112016055329320-pct00018
동작 오토마톤 로직들, 즉, 샘플의 처리의 절차;
Figure 112016055329320-pct00019
상기 리스트화된 모든 수정.
일반적으로, 참조 샘플들의 개별 서브세트들의 사전-예측 필터링의 하드웨어 구현은 반복적일 수 있거나(예를 들어, 도 7 및 8에 나타낸 바와 같이) 또는 이하 도 11에 예시된 바와 같이 병렬적일 수 있다. 그러나, 도 11에 도시된 바와 같은 다중 스레드를 이용하는 사전-예측 필터링의 병렬화는 비-중첩 서브세트들을 처리하는 데에만 가능할 수 있다. 본질적으로, 병렬 처리를 위해, 참조 샘플의 상이한 서브세트들이 먼저 선택된다(1101). 그 후에, 참조 샘플들의 각각의 서브세트는 전용 하드웨어에서 다른 서브세트들과 병렬로 처리될 수 있다. 이 처리는 어느 처리 절차(1103)가 서브세트의 샘플들에 적용되어야 하는지를 정의하는 서브세트 분류(1102), 및 주어진 서브세트의 참조 샘플들의 후속 처리/필터링(1103)을 포함할 수 있다.
사전-예측 필터링의 효율적 하드웨어 구현을 달성하기 위한 다른 옵션은 파이프라이닝(pipelining)하는 것이다: 서브세트 분류 및 참조 샘플 처리 단계들은 분리된 하드웨어 모듈들을 이용하여 처리될 수 있다. 그러나, 가장 적절한 구현 전략의 선택은 분류 및 처리 동작들의 하드웨어 플랫폼 및 복잡성에 의존한다.
전술한 실시예는 일차원 참조 샘플들을 사용하는 인트라-예측에 집중되었다. 그러나 참조 샘플 분류 및 사전-예측 필터링의 상기 개념은, 예를 들어 움직임 예측(인터-예측)과 같은 이차원 경우로 일반화될 수 있다. 움직임 예측은 참조 픽셀들의 영역을 예측되는 블록에 할당한다. 이 영역은 이차원 어레이, 즉, 재구성된 픽셀 값들의 매트릭스이다. 이들 값은 일차원 경우에 대해 설명된 바와 같은 유사한 양자화 노이즈 문제를 갖는다: 양자화 노이즈는 참조 영역 내에 상이하게 분포될 수 있다. 이 차이는, 예를 들어 도 12에 도시된 바와 같이 쿼드 트리(quad-tree)를 이용하여 획득된 파티션들 내의 잔차 신호의 존재에 대한 데이터를 이용하는 참조 픽셀들의 분류에 의해 인코더/디코더 측 상에서 추정될 수 있다.
그러나 또한 참조 샘플 분류의 다른 방법이 이차원 참조 픽셀 매트릭스에 대해 정의될 수 있다. 다른 예시적 구현에서, 서브세트로의 참조 샘플들의 분류는 또한 에지 검출 기술에 기초할 수 있고, 이것은 인터-예측 이전에 처리하는 콘텐츠 적응 참조 픽셀들의 메커니즘을 허용한다. 에지 검출 기술은, 예를 들어, 캐니 에지 검출기(Canny edge detector), 허프 변환(Hough transform), 소벨 및 프리위트 필터링(Sobel and Prewitt filtering)을 이용할 수 있다. 그런 실시예의 예시적 흐름도가 도 13에 나타난다.
도 13에서, 참조 샘플 픽셀들은 에지 검출 프로세스에 따른 분류된다(1301). 그러한 분류를 수행하기 위한 가능한 방법들 중 하나는 로컬 그래디언트 값들을 계산하고 이들에 대해 양자화를 적용하는 것이다. 각각의 참조 픽셀은 로컬 그래디언트의 대응하는 양자화된 값과 연관될 것이고, 따라서 이러한 양자화된 값에 따라 모든 픽셀을 클래스들로 세그먼트화하는 것이 가능할 것이다. 모든 참조 픽셀 클래스는 그 자신의 파라미터들 세트, 예를 들어 필터링 강도, 블러링 강도, 필터링 방향 등을 이용하여 처리될 수 있다. 이들 파라미터의 선택(1302)은 클래스들 각각에 대해 개별적으로 추정된 통계치를 이용하여 국부적으로 수행될 수 있다. 참조 샘플 처리 단계가 병렬로 수행될 수 있음에 유의한다. 각각의 처리 분기(1303)는 그 클래스와 연관되고, 따라서 이전 단계에서 획득된 그 자신의 파라미터들 세트를 이용해야 한다.
도 12 및 13의 콘텐츠 적응 처리는 또한, 예를 들어 다중-참조 인터-예측(예를 들어, 이중-예측)에 의해 이용되는 것과 같은 삼차원 참조 픽셀 어레이들로 일반화될 수 있다. 도 14는 이런 유형의 인터-예측의 예를 도시한다. 예측되는 블록은 여러 참조 픽처에 속하는 여러 참조 영역에 의존한다. 이중-예측 프로세스를 예시하는 흐름도가 도 15에 나타난다. 참조 영역들은 삼차원 어레이 내에 적층되고, 콘텐츠 적응 참조 픽셀 필터링을 이용하여 처리된다(1501). 이 동작은 도 13에 제시된 것과 동일한 단계들을 갖는다. 그러나, 에지 검출 및 참조 샘플 처리는 이 경우에 삼차원 어레이들에 대해 수행된다. 참조 샘플들의 클래스를 나타내는 픽셀들의 세트도 물론 삼차원을 갖는다.
다음 단계는 예측되는 블록에 대한 예측된 샘플을 계산하는 것이다. 이 작업은 평균화 스테이지(1502)에서 수행된다. 각각의 예측된 샘플은 필터링된 삼차원적 어레이의 대응하는 샘플들의 가중처리된 합으로 정의될 수 있다.
본 발명의 다른 실시예는 MCTF 기반 인터-프레임 코딩에 관한 것이다. 도 18 및 위에 설명된 이런 리프팅 절차는 피라미드 표현이 달성될 수 있도록 반복적으로 적용될 수 있다. 참조 샘플들의 사전-예측 필터링은 α 및 β가 분류의 결과에 따라 조절될 수 있도록 반복들 사이에서 MCTF 프레임워크에 사용될 수 있다. 도 13에 설명된 단계들은 주어진 반복에서 계산된 H 또는 L 값들로 구성되는 삼차원 픽셀 어레이들에 대한 클래스를 획득하는데 사용될 수 있다. 그러나, 이 경우에 참조 샘플 처리 단계는 다음의 대안적 프로세스들 중 하나로서 설명될 수 있다:
- α 및 β의 조절;
- 이들이 다음 리프팅 반복을 통과하기 전에 L 값들의 필터링.
도 16은 본 발명의 예시적 실시예에 따르는 인코딩 장치의 예시적 실시예의 간략화된 블록도를 도시한다.
소스 프레임(1601)은 RDO 절차(1602) 내의 쿼드트리(quadtree)로 나누어진다. 이 절차는 레이트-왜곡(RD)(Rate Distortion) 비용에 따라 블록들의 최상의 예측 모드 및 사이즈를 선택한다. 비용은 왜곡 및 가중처리된 레이트의 합으로 계산된다. 이 절차는 잔차 신호의 순방향 주파수 변환 및 변환된 잔차 신호의 RD-최적화된 양자화(1603)를 포함한다. 변환 계수들의 양자화된 값들을 계산할 때, 참조 샘플 적응 필터(RSAF)(Reference Samples Adaptive Filter)(1608)에 의해 더 이용될 필터 플래그를 내재적으로 시그널링하는 것이 가능하다.
쿼드트리들의 세트로의 소스 프레임(1601)의 분할은 LCU 분할 버퍼(1604)에 저장되고, 그래서 이전에 인코딩된 쿼드트리의 구성을 복원하는 것이 가능하게 된다.
모듈(1602)에 의해 생성된 양자화된 계수는 콘텍스트 적응 2진 산술 코더(CABAC)(Context-Adaptive Binary Arithmetic Coder)(1605)에 의해 처리되고 출력 비트스트림에 기입된다. 이런 동작 외에, 이들은 추가 역변환(1607)을 위해 변환 계수를 준비하는 역양자화기(1606)에 전달된다. 역변환은 가산기(1611)에 의해 예측 신호를 가진 공간 도메인에 더 추가되는 복원된 잔차 신호를 생성한다.
예측 신호는 인트라 예측(1609) 또는 인터 예측(1610)에 의해 생성될 수 있다. 인트라 예측(1609)은 예측 신호를 생성하기 위해 참조 샘플 버퍼(1612)에 저장된 참조 샘플들을 이용한다. 인터 예측(1610)은 예측 신호 생성을 위해 디코딩된 픽처 버퍼(1618)에 저장된 참조 샘플들을 이용한다.
도 1에 도시된 모드 및 사이즈-종속 필터링 단계 101은 모드 및 사이즈 데이터가 모듈(1602)로부터 RSAF(1608)로 전달되어야 하는 것을 요구한다. LCU 분할 버퍼(1604)에 저장된 쿼드트리 분할 데이터는 또한 도 1의 단계 102를 수행하기 위해 RSAF(1608)에 의해 이용된다. 도 16으로부터, RSAF(1608)가 참조 샘플 버퍼(1612)를 참조 샘플 디블로킹 필터(1614)와 공유한다는 것이 또한 인지될 수 있다. RSAF(1608) 및 RSDF(1614)에 의한 참조 샘플 버퍼(1612)의 공동 사용의 상세 내용은 단계 103에 대한 도 1의 설명에서 주어진다. RSDF 모듈은 인-루프 디블로킹 필터(1613)와 동일한 하드웨어(1615)를 이용하여 수행될 수 있다. 그러나, RSDF(1614)는 물론 분리된 모듈일 수 있다. 인-루프 디블로킹 필터(1615)는 양자화(1603)에 의해 도입되는 블로킹 아티팩트를 감소시킨다. 디블로킹 픽처는 비선형 샘플 적응 오프셋(SAO)(Sample Adaptive Offset)(1616)에 의해 더 처리된다. 그러나 SAO(1616)를 적용하는 것은 강제적이 아니다.
최종 픽처(1617)는 인코더로부터 출력될 수 있고, 인코더에 의해 생성된 비트스트림으로부터 디코더에 의해 생성되는 픽처와 일치하여야 한다. 이런 출력 픽처는 디코딩된 픽처 버퍼(1618)에 저장될 수 있고, 그래서 인터 예측 모듈(1610)은 움직임 보상을 위해 이를 이용할 수 있다.
도 17은 본 발명의 예시적 실시예에 따르는 디코딩 장치의 예시적 실시예의 간략화된 블록도를 도시한다. 인코딩된 입력 비트스트림(1701)은 엔트로피 디코더(1702)에 의해 처리된다. 디코딩된 값들 중 일부는 양자화된 변환 계수들에 대응한다. 이들 값은 또한 역양자화기(1703)에 의해 처리된다. 이 프로세스의 결과는 역변환 프로세스(1705)에 적합한 계수들의 값이다.
입력 비트스트림으로부터 엔트로피 디코더에 의해 복원된 다른 값은 쿼드트리 분할을 복원하는데 사용될 수 있다. 복원된 쿼드트리 데이터는 또한 LCU 분할 버퍼(1704)에 기입된다.
디코딩 장치의 구조, 및 이것이 수행하는 처리 단계들은 인코더 측에 대해 전술한 것과 동일하다(도 16 참조). 디코딩 프로세스의 출력은 디코딩된 입력 비트스트림(1701)이 이 인코딩 프로세스 동안 생성되는 경우 인코딩 프로세스 동안 획득될 수 있는 것(도 16에서 1617로서 표시됨)과 동일해야 하는 재구성된 픽처(1709)이다.
일부 양태들이 방법의 맥락에서 설명된다 할지라도, 이들 양태가 그런 방법을 수행하도록 적절히 적응된 대응하는 장치의 설명을 나타내는 것도 명백하다. 그런 장치에서, (기능 또는 유형(tangible)) 블록은 하나 이상의 방법 단계 또는 방법 단계의 특징에 대응할 수 있다. 유사하게, 대응하는 블록 또는 아이템의 맥락에서 설명된 양태들 또는 대응하는 장치의 특징은 또한 대응하는 방법의 개별 방법 단계들에 대응할 수 있다.
게다가, 본 명세서에서 설명되는 방법들은 또한 프로세서(들), 마이크로프로세서(들), 프로그램가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이를 이용하여) 실행될 수 있다. 가장 중요한 방법 단계들 중 하나 이상은 이런 장치에 의해 실행될 수 있다. 장치가 기능 블록들의 관점에서 본 명세서에서 설명되는 경우, 장치의 이들 요소가 하드웨어 요소들/회로에서 완전히 또는 부분적으로 구현일 수 있다는 것을 더욱 이해해야 한다. 프로세서(들) 또는 마이크로프로세서(들) 등과 같은 개별 하드웨어는 장치의 하나 이상의 요소의 기능을 구현하는데 사용될 수 있다.
게다가, 정보 또는 데이터가 하드웨어 내의 장치의 기능 요소의 방법 단계를 구현하는 중에 저장되는 경우에, 장치는 메모리 또는 저장 매체를 포함할 수 있고, 이것은 장치의 하나 이상의 하드웨어 요소/회로에 통신 가능하게 결합될 수 있다.
또한, 본 발명의 양태들을 하드웨어 또는 소프트웨어 또는 이들의 조합으로 구현하는 것이 고려된다. 이것은 디지털 저장 매체, 예를 들어 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM, 또는 전자적으로 판독가능 제어 신호 또는 명령어가 저장되는 FLASH 메모리를 이용할 수 있으며, 이들은 각각의 방법이 수행되도록 프로그램가능 컴퓨터 시스템과 협력한다(또는 협력할 수 있다). 전자적으로 판독가능한 제어 신호 또는 명령어들을 갖는 데이터 반송파가 제공될 수 있고, 이것은 본 명세서에 설명되는 방법이 수행되도록 프로그램가능 컴퓨터 시스템과 협력할 수 있다.
또한, 본 발명의 양태들을 프로그램 코드를 가진 컴퓨터 프로그램 제품의 형태로 구현하는 것이 고려되고, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행할 때 방법을 수행하도록 동작 가능하다. 프로그램 코드는 머신 판독 가능 반송파 상에 저장될 수 있다.
상술한 내용은 단지 예시적이며, 본 명세서에서 설명되는 배열 및 상세 사항의 수정 및 변경이 본 기술분야의 기술자에게 자명할 것임을 이해해야 한다. 따라서, 이것은 위의 기재 및 설명에 의해 제시된 특정한 상세 내용에 의해서가 아니라 출원 중인 청구항들에 의해서만 제한되는 것으로 의도된다.

Claims (37)

  1. 예측을 이용하여 이미지의 블록들을 재구성하는 방법으로서,
    재구성될 블록을 예측하기 위해 이용될 하나 이상의 이미 디코딩된 블록의 참조 샘플들을 결정하는 단계;
    필터가 예측 이전에 적용될 상기 참조 샘플들의 서브세트를 선택하고, 상기 서브세트의 상기 선택된 참조 샘플들의 사전-예측 필터링을 수행하는 단계; 및
    상기 서브세트의 상기 필터링된 참조 샘플들을 포함하는 상기 참조 샘플들에 기초하는 예측에 의해 상기 블록을 재구성하는 단계
    를 포함하고,
    상기 서브세트의 상기 선택 및 상기 서브세트의 상기 참조 샘플들의 상기 사전-예측 필터링은 예측에 의한 상기 블록의 재구성 이전에 반복되고,
    최초 반복이 필터링된 참조 샘플들을 획득하기 위해 최초 참조 샘플들에 대해 수행되고, 최종 반복이 하나 이상의 이전 반복에서 획득된 상기 필터링된 참조 샘플들에 대해 수행되는, 예측을 이용하여 이미지의 블록들을 재구성하는 방법.
  2. 제1항에 있어서, 상기 서브세트의 상기 참조 샘플들을 필터링하기 위한 필터 파라미터들은 상기 서브세트의 선택 및 상기 사전-예측 필터링의 상기 반복들에서 상이한, 예측을 이용하여 이미지의 블록들을 재구성하는 방법.
  3. 제1항에 있어서, 상이한 반복들에서 선택되는 상기 서브세트들은 별개이거나 중첩하는, 예측을 이용하여 이미지의 블록들을 재구성하는 방법.
  4. 제1항에 있어서, 상기 반복들 중 하나에서, 상기 참조 샘플들의 상기 선택된 서브세트는 모든 참조 샘플을 포함하는, 예측을 이용하여 이미지의 블록들을 재구성하는 방법.
  5. 제1항에 있어서, 3번의 반복이 있고, 처음 2번의 반복은 필터링된 참조 샘플들을 획득하기 위해 최초 참조 샘플들에 대해 수행되고, 세 번째 반복은 상기 처음 2번의 반복에서 획득된 상기 필터링된 참조 샘플들에 대해 수행되는, 예측을 이용하여 이미지의 블록들을 재구성하는 방법.
  6. 제1항에 있어서,
    제1 반복에서, 참조 샘플들의 각각의 서브세트는 재구성될 상기 블록의 사이즈 및/또는 재구성될 상기 블록을 인코딩하기 위해 채택되었던 예측 모드에 기초하여 필터링되고;
    제2 반복에서, 참조 샘플들의 각각의 서브세트는 잔차가 인코딩된 비디오 스트림에 코딩되지 않은 하나 이상의 블록의 참조 샘플들을 포함하고;
    제3 반복에서, 디블로킹 필터는 상기 제1 또는 제2 반복에서 필터링된 상기 참조 샘플들에 적용되고, 상기 필터링된 참조 샘플들은 디코딩된 블록들 사이의 경계들에 있는 참조 샘플들인, 예측을 이용하여 이미지의 블록들을 재구성하는 방법.
  7. 제1항에 있어서,
    디코딩된 블록을 획득하기 위해 디코딩될 상기 블록에 대한 디코딩된 잔차를 상기 재구성된 블록에 추가하는 단계, 및
    인-루프 디블로킹 필터를 상기 디코딩된 블록에 적용하는 단계
    를 더 포함하는, 예측을 이용하여 이미지의 블록들을 재구성하는 방법.
  8. 제1항에 있어서, 상기 참조 샘플들은 2개의 일차원 어레이를 형성하고, 하나의 어레이는 디코딩될 상기 블록의 좌측 또는 우측에 있는 하나 이상의 디코딩된 인접 블록의 샘플들의 칼럼을 포함하고, 다른 어레이는 디코딩될 상기 블록의 상부 또는 하부에 있는 하나 이상의 디코딩된 인접 블록의 샘플들의 로우를 포함하는, 예측을 이용하여 이미지의 블록들을 재구성하는 방법.
  9. 제1항에 있어서, 사전-예측 필터링은 상기 참조 샘플들의 적어도 하나의 서브세트에 평활 필터(smoothing filter)를 적용하는 단계를 포함하는, 예측을 이용하여 이미지의 블록들을 재구성하는 방법.
  10. 제1항에 있어서, 인터-예측이 픽셀들의 상기 블록을 재구성하기 위해 이용되는, 예측을 이용하여 이미지의 블록들을 재구성하는 방법.
  11. 제10항에 있어서, 상기 참조 샘플들은 상기 블록을 재구성할 때 인터-예측에 이용될 하나 이상의 디코딩된 블록 내에 이차원 참조 영역을 정의하고,
    사전-예측 필터링을 받게 되는 참조 샘플들의 상기 서브세트들 중 하나는 잔차가 인코딩된 비디오 스트림에 인코딩되었던 디코딩된 블록에 속하는 참조 샘플들을 포함하는, 예측을 이용하여 이미지의 블록들을 재구성하는 방법.
  12. 제10항에 있어서, 상기 참조 샘플들은 상기 블록을 재구성할 때 인터-예측에 사용될 하나 이상의 디코딩된 블록 내에 이차원 참조 영역을 정의하고,
    필터가 인터-예측 이전에 적용될 참조 샘플들의 상기 서브세트들을 결정하는 단계는 상기 이차원 참조 영역의 상기 참조 샘플들에 대해 에지 검출을 수행한 결과에 기초하여 참조 샘플들의 다수의 별개의 서브세트를 결정하는 단계를 포함하고,
    상기 사전-예측 필터링을 수행하는 단계는 상이한 필터 파라미터들을 이용하여 상기 서브세트들의 상기 참조 샘플들을 필터링하는 단계를 포함하는, 예측을 이용하여 이미지의 블록들을 재구성하는 방법.
  13. 제10항에 있어서, 다중-참조 인터-예측(multi-reference inter-prediction)은 상기 블록을 재구성하는데 이용되고, 상기 참조 샘플들은 상기 블록을 재구성할 때 인터-예측에 사용될 상이한 참조 프레임들로부터의 이차원 참조 영역들의 스택을 정의하고,
    필터가 예측 이전에 적용될 참조 샘플들의 상기 서브세트들을 결정하는 단계는 상기 참조 샘플들에 대해 에지 검출을 수행한 결과에 기초하여 이차원 참조 영역들의 상기 스택 내에서 참조 샘플들의 다수의 별개의 서브세트들을 결정하는 단계를 포함하고,
    상기 사전-예측 필터링을 수행하는 단계는 상이한 필터 파라미터들을 이용하여 상기 서브세트들의 상기 참조 샘플들을 필터링하는 단계를 포함하고,
    상기 블록을 재구성하는 단계는 이차원 참조 영역들의 상기 스택으로부터의 필터링된 참조 샘플들의 가중처리된 합을 계산함으로써 상기 블록을 예측하는 단계를 포함하는, 예측을 이용하여 이미지의 블록들을 재구성하는 방법.
  14. 예측을 이용하여 이미지의 블록들을 재구성하기 위한 장치로서,
    재구성될 블록을 예측하기 위해 이용될 하나 이상의 이미 디코딩된 블록을 저장하기 위한 참조 샘플 버퍼;
    필터가 예측 이전에 적용될 참조 샘플들의 서브세트를 선택하도록 구성되는 처리 유닛;
    상기 서브세트의 상기 선택된 참조 샘플들의 사전-예측 필터링을 수행하도록 적응된 필터 유닛; 및
    상기 서브세트의 상기 필터링된 참조 샘플들을 포함하는 상기 참조 샘플들에 기초하는 예측에 의해 상기 블록을 재구성하도록 구성되는 예측 유닛
    을 포함하고,
    상기 처리 유닛 및 상기 필터 유닛은 예측에 의한 상기 블록의 재구성 이전에 상기 서브세트의 선택 및 상기 서브세트의 상기 참조 샘플들의 상기 사전-예측 필터링을 반복하도록 구성되고,
    최초 반복이 필터링된 참조 샘플들을 획득하기 위해 최초 참조 샘플들에 대해 수행되고, 최종 반복이 하나 이상의 이전 반복에서 획득된 상기 필터링된 참조 샘플들에 대해 수행되는 장치.
  15. 명령어들이 저장된 컴퓨터 판독 가능 저장 매체로서, 상기 명령어들이 처리 유닛에 의해 실행될 때, 처리 유닛으로 하여금 제1항에 따른 예측을 이용하여 이미지의 블록들을 재구성하는 방법을 수행하게 하는 컴퓨터 판독 가능 저장 매체.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
KR1020167015317A 2014-05-23 2014-05-23 블록-예측 기법들에 사용하기 위한 사전-예측 필터링을 위한 방법 및 장치 KR101844698B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2014/000374 WO2015178796A1 (en) 2014-05-23 2014-05-23 Method and apparatus for pre-prediction filtering for use in block-prediction techniques

Publications (2)

Publication Number Publication Date
KR20160082250A KR20160082250A (ko) 2016-07-08
KR101844698B1 true KR101844698B1 (ko) 2018-04-02

Family

ID=52101559

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167015317A KR101844698B1 (ko) 2014-05-23 2014-05-23 블록-예측 기법들에 사용하기 위한 사전-예측 필터링을 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US10313705B2 (ko)
EP (1) EP3058748A1 (ko)
JP (1) JP6324510B2 (ko)
KR (1) KR101844698B1 (ko)
CN (1) CN106134201B (ko)
BR (1) BR112016013761B1 (ko)
WO (1) WO2015178796A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020004902A1 (ko) * 2018-06-25 2020-01-02 김기백 영상 부호화/복호화 방법 및 장치
WO2020184936A1 (ko) * 2019-03-08 2020-09-17 정병득 비디오 신호의 부호화 또는 복호화 방법 및 장치

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017086823A1 (en) 2015-11-17 2017-05-26 Huawei Technologies Co., Ltd. Method and apparatus of adaptive filtering of samples for video coding
KR20170058837A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면내 예측모드 부호화/복호화 방법 및 장치
KR20170058871A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면내 예측 모드 부호화/복호화 방법 및 장치
US20190200011A1 (en) * 2016-09-08 2019-06-27 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus therefor
CN117255194A (zh) * 2016-09-30 2023-12-19 罗斯德尔动力有限责任公司 图像处理方法及其装置
US20180242016A1 (en) * 2017-02-21 2018-08-23 Intel Corporation Deblock filtering for 360 video
US10728548B2 (en) 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
US10623738B2 (en) * 2017-04-06 2020-04-14 Futurewei Technologies, Inc. Noise suppression filter
WO2018208349A1 (en) * 2017-05-09 2018-11-15 Google Llc Directional intra-prediction coding
TWI616090B (zh) * 2017-06-26 2018-02-21 元智大學 使用運算資料共用的高效率視訊編碼畫面內預測方法及其架構
CN110710215A (zh) 2017-09-08 2020-01-17 株式会社Kt 视频信号处理方法及装置
CN111247796B (zh) * 2017-10-20 2022-11-04 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
WO2019088700A1 (ko) * 2017-10-31 2019-05-09 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2020001566A1 (en) 2018-06-28 2020-01-02 Huawei Technologies Co., Ltd. In-loop deblocking filter apparatus and method for video coding
AU2019340292B2 (en) * 2018-09-16 2023-07-13 Huawei Technologies Co., Ltd. Method and apparatus for prediction
WO2020111843A1 (ko) 2018-11-28 2020-06-04 주식회사 윌러스표준기술연구소 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
JP7346837B2 (ja) * 2019-02-06 2023-09-20 株式会社リコー 符号化装置、復号化装置、符号化方法、復号化方法、符号化プログラム及び復号化プログラム
US11638019B2 (en) * 2020-07-29 2023-04-25 Alibaba Group Holding Limited Methods and systems for prediction from multiple cross-components
CN113382257B (zh) * 2021-04-19 2022-09-06 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质
WO2023022530A1 (ko) * 2021-08-18 2023-02-23 엘지전자 주식회사 인트라 예측 모드에 기반하여 참조 샘플 필터링을 수행하는 영상 부호화/복호화 방법, 장치, 및 비트스트림을 전송하는 방법
WO2024016982A1 (en) * 2022-07-20 2024-01-25 Mediatek Inc. Adaptive loop filter with adaptive filter strength

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703788B1 (ko) 2005-06-10 2007-04-06 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US20110116544A1 (en) 2009-07-02 2011-05-19 Chih-Ming Fu Methods of intra prediction, video encoder, and video decoder thereof
JP5702378B2 (ja) * 2009-07-07 2015-04-15 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 領域ベースフィルタの協調型パーティション符号化方法及び装置
US20120163479A1 (en) * 2009-09-28 2012-06-28 Canon Kabushiki Kaisha Methods and devices for filtering and coding a digital signal
EP2559238B1 (en) * 2010-04-13 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive image filtering method and apparatus
CN106060546A (zh) * 2010-06-17 2016-10-26 夏普株式会社 解码装置及编码装置
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US9008175B2 (en) 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
US10142630B2 (en) 2010-12-10 2018-11-27 Texas Instruments Incorporated Mode adaptive intra prediction smoothing in video coding
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US9602839B2 (en) 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
US9344723B2 (en) * 2012-04-13 2016-05-17 Qualcomm Incorporated Beta offset control for deblocking filters in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Gordon Clare, Felix Henry, Joel Jung, "Sign Data Hiding", Orange Lab's contribution to JCT-VC meeting, JCTVC-G273, Geneva, November 2011

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020004902A1 (ko) * 2018-06-25 2020-01-02 김기백 영상 부호화/복호화 방법 및 장치
US11647179B2 (en) 2018-06-25 2023-05-09 B1 Institute Of Image Technology, Inc. Method and apparatus for encoding/decoding images
WO2020184936A1 (ko) * 2019-03-08 2020-09-17 정병득 비디오 신호의 부호화 또는 복호화 방법 및 장치

Also Published As

Publication number Publication date
CN106134201B (zh) 2019-10-25
JP2017508324A (ja) 2017-03-23
US20170034536A1 (en) 2017-02-02
US10313705B2 (en) 2019-06-04
BR112016013761A2 (ko) 2017-08-08
JP6324510B2 (ja) 2018-05-16
WO2015178796A1 (en) 2015-11-26
EP3058748A1 (en) 2016-08-24
CN106134201A (zh) 2016-11-16
KR20160082250A (ko) 2016-07-08
BR112016013761B1 (pt) 2023-03-14

Similar Documents

Publication Publication Date Title
KR101844698B1 (ko) 블록-예측 기법들에 사용하기 위한 사전-예측 필터링을 위한 방법 및 장치
JP6870096B2 (ja) 二次変換を用いたビデオ信号のエンコーディング／デコーディング方法及び装置
JP7171646B2 (ja) ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体
CN112689147B (zh) 视频数据处理方法以及装置
CA2807919C (en) Methods and devices for entropy coding in scalable video compression
KR20190052097A (ko) 영상 처리 방법 및 이를 위한 장치
WO2013103892A1 (en) Devices and methods for sample adaptive offset coding and/or selection of edge offset parameters
EP3516871A1 (en) Devices and methods for video coding
KR20210134555A (ko) 인트라 예측 기반의 영상 부호화 또는 복호화 장치 및 방법
Jeon et al. Improved residual DPCM for HEVC lossless coding
KR102648464B1 (ko) 지도 학습을 이용한 영상 개선 방법 및 장치
CN110786014B (zh) 用于视频编解码的装置、方法和存储介质
CN115550646A (zh) 基于神经网络的视频编解码中的外部注意力
EP4346215A2 (en) Video signal encoding/decoding method and device therefor
EP4029257A1 (en) Method and apparatus for coding video data in transform-skip mode
Kesireddy A new adaptive trilateral filter for in-loop filtering
Ehmann et al. Transform-coded pel-recursive video compression

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant