KR101599646B1 - Hevc 영상의 인트라 예측을 위한 적응적 필터링 방법, 인트라 예측을 위한 적응적 필터를 사용하는 영상 부호 방법 및 복호 방법 - Google Patents

Hevc 영상의 인트라 예측을 위한 적응적 필터링 방법, 인트라 예측을 위한 적응적 필터를 사용하는 영상 부호 방법 및 복호 방법 Download PDF

Info

Publication number
KR101599646B1
KR101599646B1 KR1020140191646A KR20140191646A KR101599646B1 KR 101599646 B1 KR101599646 B1 KR 101599646B1 KR 1020140191646 A KR1020140191646 A KR 1020140191646A KR 20140191646 A KR20140191646 A KR 20140191646A KR 101599646 B1 KR101599646 B1 KR 101599646B1
Authority
KR
South Korea
Prior art keywords
filtering
image
reference sample
intra prediction
mode
Prior art date
Application number
KR1020140191646A
Other languages
English (en)
Inventor
강제원
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020140191646A priority Critical patent/KR101599646B1/ko
Application granted granted Critical
Publication of KR101599646B1 publication Critical patent/KR101599646B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

HEVC 영상의 인트라 측을 위한 적응적 필터링 방법(100)은 영상 처리 장치가 영상을 입력 받는 단계(110), 영상 처리 장치가 참조 픽셀의 통계적 특징 및 부호화된 영역의 변환 생략 모드의 동작 여부를 기준으로 필터링 수행여부를 결정하는 단계를 포함한다.

Description

HEVC 영상의 인트라 예측을 위한 적응적 필터링 방법, 인트라 예측을 위한 적응적 필터를 사용하는 영상 부호 방법 및 복호 방법{ADAPTIVE FILTERING METHOD FOR INTRA PREDICTION OF HEVC VIDEO, ENCODING AND DECODING METHOD USING ADAPTIVE FILTER FOR INTRA PREDICTION}
이하 설명하는 기술은 HEVC 영상에 대한 인트라 예측에 관한 것이다.
HEVC(high efficiency video coding)에서는 인트라 예측(화면 내 예측)은 예측 샘플에 대한 고주파 성분을 제거하여 잔여 성분(residue)이 다음 예측에 보다 적합하게 한다. 이를 위해 HEVC에서 인트라 코딩은 참조 픽셀에 대한 몇 개의 필터를 사용한다. 예컨대, 양 선형 보간 필터(bi-linear interpolation filer), 내부 평탄화 필터(intra smoothing filter), 수평 기울기 필터(horizontallly gradient filter) 및 수직 기울기 필터(vertically gradient filter)를 사용한다.
변환 생략(TS: transform skip) 모드는 변환을 생략하고 잔여 성분을 양자화와 엔트로피 코딩을 통해 직접 인코딩하는 것이다. 예측 블록 내부에서도 화소 간 상관도가 크기 않은 경우가 발생할 수 있다. 예컨대, 블록 내부에 에지성분을 포함하고 있는 경우 이방성 특성이 나타나기 때문에 주파수축으로의 변환 수행 후에 양자화를 적용하는 것보다 변환 수행 없이 바로 양자화를 적용하는것이 효율적이다. 변환 생략 모드는 특히 HEVC RExt(HEVC range extension)에서 코딩 효율이 높다.
G. Sullivan, J. Ohm, Woo-Jin Han, and T. Wiegand: 'Overview of the High Efficiency Video Coding Standard', IEEE Trans. Circuits Syst. Video Tech., 2012, 12, pp. 1649-1668 M. Mrak and J. Xu: 'Improving Screen Content Coding In HEVC by Transform Skipping', EUSIPCO 2012, 2012, pp. 1209-1213 G. Sullivan, J. M. Boyce, Y. Chen, J. R. Ohm, C. A. Segall, A. Vetro: 'Standardized Extensions of High Efficiency Video Coding (HEVC)', IEEE Journal of Selected Topics in Signal Processing, 2013, 6, pp. 1001-1016 H. Chen, A. Saxena, and F. Fernandes, 'Non-RCE2: Enhanced angular intra prediction for screen content coding,' ISO/IEC/JTC1/SC29/WG11 and ITU-T SG16 Q.6, Jul. 2013.
보간 필터 경우 율-왜곡 최적화(rate-distortion optimization)을 통해 필터 적용을 생략하는 기법이 연구되었으나, 율-왜곡 최적화과정은 영상 인코딩을 위한 오버헤드가되는 문제점이 있다.
이하 설명하는 기술은 영상의 인트라 예측을 위해 참조 샘플의 통계적 기준 및 부호화된 영역의 코딩 모드를 기준으로 참조 샘플에 대한 필터링 수행 여부를 결정하고자 한다.
이하 설명하는 기술의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
HEVC 영상의 인트라 예측을 위한 적응적 필터링 방법은 영상 처리 장치가 인트라 예측에서 참조 픽셀의 통계적 특징 및 부호된 영역의 변환 단위의 코딩 모드를 기준으로 상기 참조 픽셀에 대한 필터링 적용여부를 결정한다.
상기 영상 처리 장치는 상기 참조 픽셀과 상기 참조 픽셀의 확률 밀집 분포 사이의 마할라노비스 거리(MD: Mahalanobis distance)가 임계값을 초과하고, 상기 변환 단위에 대한 변환 생략 모드가 수행된 경우 상기 참조 픽셀에 대한 필터링을 수행하지 않는 적응적 필터를 사용한다.
영상 부호 방법은 영상 처리 장치가 영상을 입력받는 단계, 상기 영상의 코딩 단위으로부터 예측 단위을 생성하는 단계, 상기 예측 유닉을 기반으로 예측 블록의 경계에 접한 참조 샘플에 대한 필터링 여부를 참조 샘플의 통계적 특징 및 상기 영상의 부호된 영역에 대한 변환 단위의 코딩 모드를 기준으로 결정하는 단계 및 상기 참조 샘플을 이용하여 인트라 예측을 수행하는 단계를 포함한다.
상기 결정하는 단계에서 상기 영상 처리 장치는 상기 참조 픽셀과 상기 참조 픽셀의 확률 밀집 분포 사이의 마할라노비스 거리(MD: Mahalanobis distance)가 임계값을 초과하고, 상기 변환 단위에 대한 율 왜곡 값을 기준으로 변환 생략 모드가 결정된 경우 상기 참조 샘플에 대한 필터링을 수행하지 않는다.
영상 복호 방법은 영상 처리 장치가 영상을 수신하는 단계, 상기 영상의 코딩 단위으로부터 예측 단위을 생성하는 단계, 상기 예측 유닉을 기반으로 예측 블록의 경계에 접한 참조 샘플에 대한 필터링 여부를 참조 샘플의 통계적 특징 및 상기 참조 샘플에 대한 부호화 단계에서 결정된 변환 단위의 코딩 모드를 기준으로 결정하는 단계 및 상기 참조 샘플을 이용하여 인트라 예측을 수행하는 단계를 포함한다.
상기 결정하는 단계에서 상기 영상 처리 장치는 상기 참조 픽셀과 상기 참조 픽셀의 확률 밀집 분포 사이의 마할라노비스 거리(MD: Mahalanobis distance)가 임계값을 초과하고, 상기 변환 단위에 대한 변환 생략 모드가 수행된 경우 상기 참조 샘플에 대한 필터링을 수행하지 않는다.
이하 설명하는 기술은 영상의 참조 샘플에 대한 필터링 수행을 적응적으로 수행하여 픽셀값이 급격이 변하는 영역을 포함하는 고화질 영상을 효과적으로 복원한다.
이하 설명하는 기술의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 HEVC의 잔차 신호에 대한 쿼드 트리 구조의 예이다.
도 2는 HEVC 영상의 인트라 측을 위한 적응적 필터링 방법에 대한 순서도의 예이다.
도 3은 인트라 예측을 위한 적응적 필터를 사용하는 영상 부호 방법에 대한 순서도의 예이다.
도 4는 인트라 예측을 위한 적응적 필터를 사용하는 영상 복호 방법에 대한 순서도의 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이며, 이러한 이유로 이하 설명하는 기술의 HEVC 영상의 인트라 측을 위한 적응적 필터링 방법(100)에 따른 구성부들의 구성은 이하 설명하는 기술의 목적을 달성할 수 있는 한도 내에서 대응하는 도면과는 상이해질 수 있음을 명확히 밝혀둔다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 HEVC에 규정된 기술 내용에 기반한다. 전술한 바와 같이 특히 이하 설명하는 기술은 HEVC extension(HEVC/RExt)에 표준화를 진행 중인 스크린 콘텐츠 동영상에 특히 효과적일 수 있다. 이하 HEVC(H.265) 표준에서 설명하고 있는 구체적인 기술에 대해서는 해당 분야의 통상의 지식을 가진 자가 충분히 이해하는 것을 전제로 간략하게 설명하거나 설명을 생략한다.
HEVC에서는 블록에 대한 인트라 예측 후에 DST(discrete sine transform) 또는 DCT(discrete cosine transform)를 수행한다. 인트라 예측(화면 내 예측)은 예측 샘플에 대한 고주파 성분을 제거하여 잔여 성분(residue) 내지 잔여 신호가 후속 DCT에 보다 적합하도록 처리한다.
인트라 예측을 위한 참조 블록(픽셀)에 블록의 크기 및 인트라 예측 모드에 따라 내부 평탄화 필터 및 양 선형 보간 필터를 적용할 수 있다. 수평 방향 모드 또는 수직 방향 모드에서 기울기 필터를 적용할 수 있다. DC 모드에서는 참조 픽셀에 DC 예측 필터를 적용할 수도 있다. 각도 방향 모드에서는 양 선형 보간 필터를 적용할 수 있다.
한편 전술한 바와 같이 HEVC에서는 변환 생략 모드(transform skip mode)를 제공한다. 설명의 편의를 위해 이하 변환 생략 모드를 TS 모드라고 약칭한다. TS 모드에 대한 간략한 설명을 하고자 한다. 이 과정은 인코더(부호기)에서 수행되는 것이다.
도 1은 HEVC의 잔차 신호에 대한 쿼드 트리 구조의 예이다. HEVC는 인트라(화면내) 예측 신호와 원본 신호의 차이인 잔차신호에 대하여 변환 단위(TU: transform unit)로 변환하고 양자화를 수행한다. TU는 변환 및 양자화를 수행하는 기본 단위로서 각 TU별로 현재 TU와 동일 크기의 변환을 수행하며, 이때 TU가 가질 수 있는 크기는 최대 32×32 부터?16×16, 8×8, 그리고 최소 4×4까지이다. 각 TU들은 DCT 기반의 변환을 수행하지만, 예외적으로 화면 내 예측을 수행한 4×4 TU의 경우 DST 기반의 변환을 수행한다. 잔차신호는 도 1과 같이 RQT (Residual Quad-Tree) 구조로 이루어진 TU들로 분할된다.
이때 분할되지 않은 잔차신호 블록에 해당하는 깊이를 depth 0 이라 하고, 이를 기준으로 TU는 최대 3단계의 깊이 (즉 depth 0, 1, 2)를 가질 수 있다. 여기서, depth 0은 HEVC의 부호화의 기본 단위인 CU에 해당한다. 인코더는 depth 0부터 최대 depth 2까지 가능한 모든 TU들의 조합에 대하여 율-왜곡(rate-distortion) 비용을 산출하고 이를 기반으로 최적의 TU분할 조합을 선택한다.
HEVC는 인트라 예측에서 변환생략 모드를 지원한다. 인코더는 TU 모드 결정을 위하여 변환 모드와 변환생략 모드 각각에 대한 율-왜곡 비용을 산출하여 비용이 적게드는 모드를 선택한다.
변환(transform)은 잔차 샘플(residual smaple)
Figure 112014126833079-pat00001
에 적용된다. 여기서 s는 원본 픽셀을 의미하고, p는 예측(prediction)을 의미한다. r은 r ∈ RN = {ro, r1, ... ,rN-1}와 같이 크기 N을 갖는 데이터 벡터이다.
변환 계수(transformed coefficients) z는 z ∈ RN = {zo, z1, ... ,zN-1} = Tr과 같이 주어진다. 여기서 T는 변환을 의미한다. T는 결국 DCT/DST 또는 TS 모드 중 하나에 해당한다. zi는 zi = f(ro, r1, ... ,rN-1)와 같이 데이터 백터를 입력값으로 갖는 함수로 연산된다. 여기서 함수 f는 DCT의 선형 변환이다.
샘플 코딩을 위한 최소 비트율은 엔트로피로 추정한다. 블록의 잔여 성분의 엔트로피 H(r) 및 대응되는 DCT 계수의 엔트로피는 각각 아래의 수학식 1 및 수학식 2와 같다.
Figure 112014126833079-pat00002
Figure 112014126833079-pat00003
여기서
Figure 112014126833079-pat00004
는 잔여 성분에 대한 확률 밀도 분포(pdf: probability density distribution)이고,
Figure 112014126833079-pat00005
는 대응하는 변환 계수에 대한 확률 밀도 분포이다. r은 가우시안 랜덤 변수로 생성되고, z는 아래의 수학식 3과 같은 가우시안 확률 밀도 분포를 따른다고 가정한다.
Figure 112014126833079-pat00006
여기서,
Figure 112014126833079-pat00007
는 변화도(분산)를 의미하는 척도 파라미터이고,
Figure 112014126833079-pat00008
는 모양 파라미터이고,
Figure 112014126833079-pat00009
는 감마 함수이다. 이전에 코딩된 프레임에 대한 최대 우도 추정(maximum likelihood estimation)을 수행하여 상기 파라미터를 추정한다.
변환 코딩의 효율을 측정하기 위하여
Figure 112014126833079-pat00010
를 사용한다.
Figure 112014126833079-pat00011
가 1보다 작다면 TS 모드보다 DCT가 작은 비트율을 제공한다는 것이고,
Figure 112014126833079-pat00012
가 1 이상이라면 TS 모드가 잔여 성분 코딩에 더 유리하다는 의미이다. HEVC RExt에서 다루는 스크린 콘텐츠 비디오와 같이 공간적 연관성이 떨어지는 에지 영역이 많은 영상 경우 TS 모드를 적절히 활용하는 것이 바람직하다.
도 2는 HEVC 영상의 인트라 측을 위한 적응적 필터링 방법(100)에 대한 순서도의 예이다. 적응적 필터링 방법(100)은 인코딩 또는 디코딩 과정에서 사용될 수 있다. 이하 설명하는 영상 처리 장치는 부호화 단계에서는 인코더이고, 복호화 단계에서는 디코더이다.
선택적 필터링
인트라 코딩을 위해 참조 픽셀에 적용하는 필터를 적응적으로 사용하고자 한다.
필터의 적용 여부는 참조 픽셀의 통계적 특성 및 부호화된 영역의 정보에 기반한 두 개의 기준을 사용하여 결정한다.
1. 통계적 기준 (제1 기준)
통계적 기준은 샘플과 샘플의 추정된 분포 사이의 거리를 측정하는 마할라노비스 거리(MD: Mahalanobis distance)를 사용한다. MD는 아래의 수학식 4와 같이 정의된다.
Figure 112014126833079-pat00013
여기서 x는 샘플 벡터이고, p는 분포이고 μ는 평균 벡터이고, T는 전치 연산자이고, ∑는 공분산 행렬이다.
s가 인트라 예측을 위해 사용하는 샘플의 좌측 및 상측 경계로부터 획득하는 참조 샘플 벡터(reference sample vector)라면, f(s)는 1D 변환에 의한 변환 계수에 해당한다. 전술한 바와 같이 이전 코딩된 프레임을 이용하여 MLE를 통해 변환 계수를 추정할 수 있다. 추정된 변환 계수에 대한 확률 밀도 분포를 p'라고 한다.
이제 MD(f(s), p')를 연산한 값이 일정한 임계값 TH 이하인 경우 샘플의 분포는 DCT를 선호한다고 볼 수 있다. 제1 기준에서는 MD(f(s), p')를 연산한 값이 일정한 임계값 TH을 이상인 경우가 참(ture)에 해당하고 MD(f(s), p')를 연산한 값이 일정한 임계값 TH보다 작은 경우가 거짓(false)에 해당한다고 가정한다.
2. 부호화된 영역의 기준(제2 기준)
HEVC에서 블록의 부호화 모드는 율-왜곡 최적화(RDO : rate-distortion optimization) 과정을 통해 선택되므로 TS를 사용하는 경우 변환을 수행했을 때와 그렇지 않았을 때의 비용을 계산하여 최적의 부호화 모드를 결정한다.
필터의 적용 여부를 결정하기 위한 부호호된 영역의 기준은 TS 모드가 적용되는지 여부에 따라 결정된다. 인코딩 과정에서 TS 모드 적용 여부는 아래와 같이 율-왜곡 최적화의 결과를 통해 파악할 수 있다.
Figure 112014126833079-pat00014
여기서 sq는 양자화된 샘플이고, R(m)은 모드 m으로부터 얻어지는 비트율이고,
Figure 112014126833079-pat00015
는 라그랑지안 값(Lagrangian cost)이다.
TS 모드 적용 여부는 비트율만으로 결정되지 않고 원본 샘플과 양자화된 샘플 사이의 왜곡값도 고려하여 결정된다. 따라서 TS 모드 적용 여부는 블록의 특징을 나타내는 척도로도 유용할 수 있다.
디코딩 단계에서는 이미 예측 블록의 부호화 과정에서 TS 모드의 적용 여부를 알고 있기 때문에 예측 블록에 대한 TS 모드의 적용 여부를 기준으로 판단할 수 있다.
샘플 영역에 대한 통계적 특성인 제1 기준 및 부호화된 영역의 TS 모드의 작동 여부에 대한 정보인 제2 기준으로 이용하여 참조 픽셀에 대한 필터 적용 여부를 결정할 수 있다.
즉, 제1 기준이 MD(f(s), p')를 연산한 값이 일정한 임계값 TH을 이상인 경우이고, 제2 기준이 TS 모드의 발동이라고 결정된 경우에 참조 픽셀에 대한 필터를 적용하지 않는다. 예컨대, 참조 픽셀에 대하여 양 선형 보간 필터(bi-linear interpolation filer), 내부 평탄화 필터(intra smoothing filter), 수평 기울기 필터(horizontallly gradient filter) 및 수직 기울기 필터(vertically gradient filter) 등을 적용하지 않는다.
도 2에 도시된 HEVC 영상의 인트라 예측을 위한 적응적 필터링 방법(100)을 정리하면 다음과 같다. 먼저 영상 처리 장치가 영상을 입력 받는다(110). 이후 영상 처리 장치는 코딩할 블록의 경계(HEVC 경우 좌측 및 상측 경계)에 위치하는 참조 픽셀의 통계적 특징을 분석한다(120). 통계적 특징은 전술한 바와 같이 참조 샘플과 샘플의 분산(pdf) 사이의 거리를 사용할 수 있다. 예컨대, 전술한 마할라노비스 거리가 특정 임계값을 이상이라면 제1 기준에 해당하는 통계적 특징은 "참"의 값을 갖는다. 반대의 경우 제1 기준은 "거짓"의 값을 갖는다.
제1 기준이 참의 값을 갖는 경우(120 단계의 Yes), 영상 처리 장치는 부호화된 영역의 코딩 모드를 검토한다(130). 여기서 해당 영역의 코딩 모드가 TS 모드라면 제2 기준은 "참"의 값을 갖는다(130의 Yes). 반대의 경우 제1 기준은 "거짓"의 값을 갖느다.
120 단계 또는 130 단계에서 해당 기준이 "거짓"인 경우 해당 참조 픽셀에 대한 필터링을 수행한다(140). 120 단계 또는 130 단계에서 해당 기준이 모두 "참"인 경우 해당 참조 픽셀에 대한 필터링을 수행하지 않는다(150).
적응적 필터링 방법(100)은 인코딩 과정 및 디코딩 과정에 모두 이용될 수 있다. 이하 간략하게 설명한다.
도 3은 인트라 예측을 위한 적응적 필터를 사용하는 영상 부호 방법(200)에 대한 순서도의 예이다. 먼저 영상 처리 장치(인코더)는 원본 영상을 입력 받는다(210). 이후 인트라 예측 과정에서 참조 픽셀의 통계적 특징인 마할라노비스 거리와 특정 임계값을 비교한다(220). 마할라노비스 거리가 특정 임계값 이하라면 참조 픽셀에 대한 필터링을 수행한다(240).
마할라노비스 거리가 특정 임계값을 초과한다면 예측 블록에 대한 율 왜곡값을 기준으로 TS 모드가 적용될지 여부를 결정한다(230). 즉, TS 모드를 적용한 경우와 적용하지 않은 경우의 율 왜곡값을 비교하여, TS 모드의 적용 여부를 결정한다. TS 모드를 적용한 경우의 율왜곡값이 낮다면 TS 모드를 사용하는 것으로 결정한다. 만약에 TS 모드를 사용하지 않는 것으로 결정하는 경우라면 참조 픽셀에 대한 필터링을 수행한다(240).
마할라노비스 거리가 특정 임계값을 초과하고, TS 모드가 동작하는 경우라면 참조 픽셀(샘플)에 대한 필터링 없이 인트라 예측을 수행한다(250).
도 4는 인트라 예측을 위한 적응적 필터를 사용하는 영상 복호 방법(300)에 대한 순서도의 예이다. 영상 처리 장치(디코더)는 인코더가 부호화한 영상을 수신한다(310).
수신한 영상의 참조 픽셀의 통계적 특징인 마할라노비스 거리와 특정 임계값을 비교한다(320). 마할라노비스 거리가 특정 임계값 이하라면 참조 픽셀에 대한 필터링을 수행한다(340).
마할라노비스 거리가 특정 임계값을 초과한다면 예측 블록에 대한 율 왜곡값을 기준으로 TS 모드가 적용될지 여부를 결정한다(330). 부호화 단계에서 결정된 참조 샘플에 대한 TS 모드 적용 여부를 판단한다(330). TS 모드를 사용하지 않은 참조 픽셀에 대한 필터링을 수행한다(340).
마할라노비스 거리가 특정 임계값을 초과하고, 부호화 단계에서 참조 픽셀에 대한 TS 모드가 동작한 경우라면 참조 픽셀(샘플)에 대한 필터링 없이 인트라 예측을 수행한다(350).
본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (9)

  1. HEVC 영상의 인트라 예측 방법에 있어서,
    영상 처리 장치는 인트라 예측에서 참조 픽셀과 상기 참조 픽셀의 확률 밀집 분포 사이의 마할라노비스 거리(MD: Mahalanobis distance)가 임계값을 초과하고, 부호된 영역의 변환 단위에 대한 변환 생략 모드가 수행된 경우 상기 참조 픽셀에 대한 필터링을 수행하지 않는 HEVC 영상의 인트라 예측을 위한 적응적 필터링 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 필터링은
    양 선형 보간 필터링, 내부 평탄화 필터링, 수평 기울기 필터링 및 수직 기울기 필터링 중 적어도 하나를 포함하는 HEVC 영상의 인트라 예측을 위한 적응적 필터링 방법.
  6. 영상 처리 장치가 영상을 입력받는 단계;
    상기 영상의 코딩 단위으로부터 예측 단위을 생성하는 단계;
    상기 예측 단위를 기반으로 예측 블록의 경계에 접한 참조 샘플에 대한 필터링 여부를 참조 샘플의 통계적 특징 및 상기 영상의 부호된 영역에 대한 변환 단위의 코딩 모드를 기준으로 결정하는 단계; 및
    상기 참조 샘플을 이용하여 인트라 예측을 수행하는 단계를 포함하되,
    상기 결정하는 단계에서 상기 영상 처리 장치는 상기 참조 샘플과 상기 참조 샘플의 확률 밀집 분포 사이의 마할라노비스 거리(MD: Mahalanobis distance)가 임계값을 초과하고, 상기 변환 단위에 대한 율 왜곡 값을 기준으로 변환 생략 모드가 결정된 경우 상기 참조 샘플에 대한 필터링을 수행하지 않는 인트라 예측을 위한 적응적 필터를 사용하는 영상 부호 방법.
  7. 삭제
  8. 영상 처리 장치가 영상을 수신하는 단계;
    상기 영상의 코딩 단위으로부터 예측 단위을 생성하는 단계;
    상기 예측 단위를 기반으로 예측 블록의 경계에 접한 참조 샘플에 대한 필터링 여부를 참조 샘플의 통계적 특징 및 상기 참조 샘플에 대한 부호화 단계에서 결정된 변환 단위의 코딩 모드를 기준으로 결정하는 단계; 및
    상기 참조 샘플을 이용하여 인트라 예측을 수행하는 단계를 포함하되,
    상기 결정하는 단계에서 상기 영상 처리 장치는 상기 참조 샘플과 상기 참조 샘플의 확률 밀집 분포 사이의 마할라노비스 거리(MD: Mahalanobis distance)가 임계값을 초과하고, 상기 변환 단위에 대한 변환 생략 모드가 수행된 경우 상기 참조 샘플에 대한 필터링을 수행하지 않는 인트라 예측을 위한 적응적 필터를 사용하는 영상 복호 방법.
  9. 삭제
KR1020140191646A 2014-12-29 2014-12-29 Hevc 영상의 인트라 예측을 위한 적응적 필터링 방법, 인트라 예측을 위한 적응적 필터를 사용하는 영상 부호 방법 및 복호 방법 KR101599646B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140191646A KR101599646B1 (ko) 2014-12-29 2014-12-29 Hevc 영상의 인트라 예측을 위한 적응적 필터링 방법, 인트라 예측을 위한 적응적 필터를 사용하는 영상 부호 방법 및 복호 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140191646A KR101599646B1 (ko) 2014-12-29 2014-12-29 Hevc 영상의 인트라 예측을 위한 적응적 필터링 방법, 인트라 예측을 위한 적응적 필터를 사용하는 영상 부호 방법 및 복호 방법

Publications (1)

Publication Number Publication Date
KR101599646B1 true KR101599646B1 (ko) 2016-03-14

Family

ID=55541740

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140191646A KR101599646B1 (ko) 2014-12-29 2014-12-29 Hevc 영상의 인트라 예측을 위한 적응적 필터링 방법, 인트라 예측을 위한 적응적 필터를 사용하는 영상 부호 방법 및 복호 방법

Country Status (1)

Country Link
KR (1) KR101599646B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124653A1 (ko) * 2016-12-27 2018-07-05 삼성전자 주식회사 인트라 예측에서 참조 샘플을 필터링하는 방법 및 장치
CN114339225A (zh) * 2016-09-05 2022-04-12 Lg电子株式会社 图像编码和解码装置及比特流存储介质和发送装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040097518A (ko) * 2003-05-12 2004-11-18 엘지전자 주식회사 영상 데이터의 압축 방법 및 장치
KR20100017686A (ko) * 2007-06-12 2010-02-16 파나소닉 주식회사 통계적 화상 향상 방법, 화상 부호화 방법 및 화상 복호화 방법
KR20140007097A (ko) * 2012-07-04 2014-01-17 한양대학교 산학협력단 적응적 필터링을 이용하는 인트라 예측 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040097518A (ko) * 2003-05-12 2004-11-18 엘지전자 주식회사 영상 데이터의 압축 방법 및 장치
KR20100017686A (ko) * 2007-06-12 2010-02-16 파나소닉 주식회사 통계적 화상 향상 방법, 화상 부호화 방법 및 화상 복호화 방법
KR20140007097A (ko) * 2012-07-04 2014-01-17 한양대학교 산학협력단 적응적 필터링을 이용하는 인트라 예측 방법 및 장치

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
G. Sullivan, J. M. Boyce, Y. Chen, J. R. Ohm, C. A. Segall, A. Vetro: 'Standardized Extensions of High Efficiency Video Coding (HEVC)', IEEE Journal of Selected Topics in Signal Processing, 2013, 6, pp. 1001-1016
G. Sullivan, J. Ohm, Woo-Jin Han, and T. Wiegand: 'Overview of the High Efficiency Video Coding Standard', IEEE Trans. Circuits Syst. Video Tech., 2012, 12, pp. 1649-1668
H. Chen, A. Saxena, and F. Fernandes, 'Non-RCE2: Enhanced angular intra prediction for screen content coding,' ISO/IEC/JTC1/SC29/WG11 and ITU-T SG16 Q.6, Jul. 2013.
M. Mrak and J. Xu: 'Improving Screen Content Coding In HEVC by Transform Skipping', EUSIPCO 2012, 2012, pp. 1209-1213

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339225A (zh) * 2016-09-05 2022-04-12 Lg电子株式会社 图像编码和解码装置及比特流存储介质和发送装置
CN114339225B (zh) * 2016-09-05 2024-06-04 罗斯德尔动力有限责任公司 图像编码和解码装置及比特流存储介质和发送装置
WO2018124653A1 (ko) * 2016-12-27 2018-07-05 삼성전자 주식회사 인트라 예측에서 참조 샘플을 필터링하는 방법 및 장치

Similar Documents

Publication Publication Date Title
US11272218B2 (en) Method of decoding moving pictures in intra prediction
US11159793B2 (en) Method, device, and recording medium storing bit stream, for encoding/decoding image
WO2018066241A1 (en) Systems and methods for applying deblocking filters to reconstructed video data
EP2536151A2 (en) Method and apparatus for processing a video signal
EP2579598A2 (en) Method for encoding/decoding high-resolution image and device for performing same
KR20190052097A (ko) 영상 처리 방법 및 이를 위한 장치
CA3141352A1 (en) Video encoding/decoding method and apparatus
JP6383327B2 (ja) イントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置
US11356687B2 (en) Image encoding/decoding method and device
KR20200113173A (ko) 예측모드 추정에 기반하는 인트라 예측장치 및 방법
KR20140129423A (ko) 인트라 예측 방법 및 장치
KR20210156256A (ko) 인트라 예측 방법 및 장치
KR101599646B1 (ko) Hevc 영상의 인트라 예측을 위한 적응적 필터링 방법, 인트라 예측을 위한 적응적 필터를 사용하는 영상 부호 방법 및 복호 방법
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
KR102217225B1 (ko) 인트라 예측 방법 및 장치
KR20200084767A (ko) 인트라 예측 방법 및 영상 복호화 장치
KR20140057519A (ko) 영상 부호화 방법
JP6357133B2 (ja) イントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置
Etikala Compression Artifact Reduction in HEVC Using Adaptive Bilateral Filter
KR20140057518A (ko) 영상 복호화 방법
KR20140057516A (ko) 예측 블록 생성 방법
Balaji et al. Fast intra mode prediction for HEVC based on distortion variance
Le et al. Improved Method for the Macroblock‐Level Deblocking Scheme
KR20140129419A (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
KR20140129420A (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 5