KR20130020511A - 영상 인트라 예측 방법 및 장치 - Google Patents

영상 인트라 예측 방법 및 장치 Download PDF

Info

Publication number
KR20130020511A
KR20130020511A KR1020110108848A KR20110108848A KR20130020511A KR 20130020511 A KR20130020511 A KR 20130020511A KR 1020110108848 A KR1020110108848 A KR 1020110108848A KR 20110108848 A KR20110108848 A KR 20110108848A KR 20130020511 A KR20130020511 A KR 20130020511A
Authority
KR
South Korea
Prior art keywords
block
luma
pixels
current
chroma
Prior art date
Application number
KR1020110108848A
Other languages
English (en)
Inventor
권재철
이배근
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Publication of KR20130020511A publication Critical patent/KR20130020511A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

LM 모드에서 영상의 크로마 성분에 대한 인트라 예측을 수행하는 영상 복호화 방법이 제공된다. 본 발명에 따른 영상 복호화 방법은 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행함으로써 다운 샘플링된 루마 샘플들을 생성하는 단계 및 다운 샘플링된 루마 샘플들을 이용하여 크로마 성분에 대한 인트라 예측을 수행함으로써 현재 크로마 블록의 예측 블록을 생성하는 단계를 포함한다. 본 발명에 따르면 영상 부호화 효율이 향상된다.

Description

영상 인트라 예측 방법 및 장치 {METHOD AND APPARATUS FOR IMAGE INTRA PREDICTION}
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 영상 인트라 예측 방법 및 장치에 관한 것이다.
최근 다양한 분야에서 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 증가하고 있다.
고해상도, 고품질의 영상을 제공하기 위해서는 영상 데이터의 데이터량이 증가한다, 따라서, 기존의 영상 데이터 처리 방식과 비교할 때 고해상도, 고품질의 영상을 제공하기 위한 영상 데이터의 전송 비용과 저장 비용은 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.
영상 데이터를 압축하는 기술로서 현재 픽처에 포함된 픽셀값을 다른 픽처로부터 예측하는 화면 간 예측(Inter Prediction, 이하 ‘인터 예측’이라 함) 방법, 현재 픽처의 픽셀값을 현재 픽처의 다른 픽셀의 정보를 이용해서 예측하는 화면 내 예측(Intra Prediction, 이하 ‘인트라 예측’이라 함) 방법, 발생 빈도 혹은 출현 빈도가 높은 신호일수록 짧은 부호를 할당해서 부호화를 수행하는 엔트로피 부호화 방법 등 다양한 기술이 이용되고 있다.
본 발명의 기술적 과제는 영상 부호화 효율을 높일 수 있는 영상 부호화 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 영상 부호화 효율을 높일 수 있는 영상 복호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 부호화 효율을 높일 수 있는 인트라 예측 방법 및 장치를 제공함에 있다.
본 발명의 일 실시 형태는 LM 모드에서 영상의 크로마(chroma) 성분에 대한 인트라(intra) 예측을 수행하는 영상 복호화 방법이다. 상기 방법은 주변 루마(luma) 블록의 픽셀들 및 현재 루마 블록의 픽셀(pixel)들을 사용하여 다운 샘플링(down sampling)을 수행함으로써 다운 샘플링된 루마 샘플(sample)들을 생성하는 단계 및 상기 다운 샘플링된 루마 샘플들을 이용하여 상기 크로마 성분에 대한 인트라 예측을 수행함으로써 현재 크로마 블록의 예측 블록을 생성하는 단계를 포함하고, 상기 LM 모드는 루마 성분의 픽셀값에 따라 크로마 성분 픽셀의 예측값이 결정되는 인트라 예측 모드이고, 상기 현재 루마 블록은 현재 블록 내의 루마 성분 블록이고, 상기 주변 루마 블록은 상기 현재 블록에 인접한 주변(neighboring) 블록 내의 루마 성분 블록이고, 상기 현재 크로마 블록은 상기 현재 블록 내의 크로마 성분 블록이다.
상기 주변 루마 블록의 픽셀들 중 상단 주변 루마 블록의 픽셀들은 상기 현재 블록의 상단에 가장 가까이 인접한 1개 라인의 픽셀들이고, 상기 상단 주변 루마 블록은 상기 현재 블록의 상단에 인접한 주변 블록 내의 루마 성분 블록일 수 있다.
상기 영상의 영상 포맷은 4:2:0 영상 포맷, 4:2:2 영상 포맷 또는 4:4:4 영상 포맷일 수 있다.
상기 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행함으로써 다운 샘플링된 루마 샘플들을 생성하는 단계에서는, 소정의 고정된 개수의 픽셀들을 사용하여 다운 샘플링을 수행할 수 있다.
상기 다운 샘플링에 사용되는 상기 주변 루마 블록의 픽셀들의 개수 및 상기 다운 샘플링에 사용되는 상기 현재 루마 블록의 픽셀들의 개수는 상기 현재 블록의 크기에 비례할 수 있다.
상기 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행함으로써 다운 샘플링된 루마 샘플들을 생성하는 단계에서는, 상기 주변 루마 블록의 일부가 가용(available)하지 않은 경우, 가용한 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행할 수 있다.
상기 주변 루마 블록의 전부가 가용하지 않은 경우, 상기 주변 루마 블록의 픽셀들의 값은 소정의 고정된 값으로 설정될 수 있다.
상기 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행함으로써 다운 샘플링된 루마 샘플들을 생성하는 단계에서는, 3-탭 필터를 이용하여 상기 다운 샘플링을 수행할 수 있다.
본 발명의 다른 실시 형태는 LM 모드에서 영상의 크로마(chroma) 성분에 대한 인트라(intra) 예측을 수행하는 영상 복호화 장치이다. 상기 장치는 주변 루마(luma) 블록의 픽셀들 및 현재 루마 블록의 픽셀(pixel)들을 사용하여 다운 샘플링(down sampling)을 수행함으로써 다운 샘플링된 루마 샘플(sample)들을 생성하고, 상기 다운 샘플링된 루마 샘플들을 이용하여 상기 크로마 성분에 대한 인트라 예측을 수행함으로써 현재 크로마 블록의 예측 블록을 생성하는 인트라 예측부 및 상기 현재 크로마 블록 및 상기 예측 블록의 차분에 의해 잔차(residual) 블록을 생성하는 잔차 블록 생성부를 포함하고, 상기 LM 모드는 루마 성분의 픽셀값에 따라 크로마 성분 픽셀의 예측값이 결정되는 인트라 예측 모드이고, 상기 현재 루마 블록은 현재 블록 내의 루마 성분 블록이고, 상기 주변 루마 블록은 상기 현재 블록에 인접한 주변(neighboring) 블록 내의 루마 성분 블록이고, 상기 현재 크로마 블록은 상기 현재 블록 내의 크로마 성분 블록이다.
본 발명의 또 다른 실시 형태는 LM 모드에서 영상의 크로마(chroma) 성분에 대한 인트라(intra) 예측을 수행하는 인트라 예측 방법이다. 상기 방법은 주변 루마(luma) 블록의 픽셀들 및 현재 루마 블록의 픽셀(pixel)들을 사용하여 다운 샘플링(down sampling)을 수행함으로써 다운 샘플링된 루마 샘플(sample)들을 생성하는 단계 및 상기 다운 샘플링된 루마 샘플들을 이용하여 상기 크로마 성분에 대한 인트라 예측을 수행함으로써 현재 크로마 블록의 예측 블록을 생성하는 단계를 포함하고, 상기 LM 모드는 루마 성분의 픽셀값에 따라 크로마 성분 픽셀의 예측값이 결정되는 인트라 예측 모드이고, 상기 현재 루마 블록은 현재 블록 내의 루마 성분 블록이고, 상기 주변 루마 블록은 상기 현재 블록에 인접한 주변(neighboring) 블록 내의 루마 성분 블록이고, 상기 현재 크로마 블록은 상기 현재 블록 내의 크로마 성분 블록이다.
상기 주변 루마 블록의 픽셀들 중 상단 주변 루마 블록의 픽셀들은 상기 현재 블록의 상단에 가장 가까이 인접한 1개 라인의 픽셀들이고, 상기 상단 주변 루마 블록은 상기 현재 블록의 상단에 인접한 주변 블록 내의 루마 성분 블록일 수 있다.
상기 영상의 영상 포맷은 4:2:0 영상 포맷, 4:2:2 영상 포맷 또는 4:4:4 영상 포맷일 수 있다.
상기 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행함으로써 다운 샘플링된 루마 샘플들을 생성하는 단계에서는, 소정의 고정된 개수의 픽셀들을 사용하여 다운 샘플링을 수행할 수 있다.
상기 다운 샘플링에 사용되는 상기 주변 루마 블록의 픽셀들의 개수 및 상기 다운 샘플링에 사용되는 상기 현재 루마 블록의 픽셀들의 개수는 상기 현재 블록의 크기에 비례할 수 있다.
상기 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행함으로써 다운 샘플링된 루마 샘플들을 생성하는 단계에서는, 상기 주변 루마 블록의 일부가 가용(available)하지 않은 경우, 가용한 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행할 수 있다.
상기 주변 루마 블록의 전부가 가용하지 않은 경우, 상기 주변 루마 블록의 픽셀들의 값은 소정의 고정된 값으로 설정될 수 있다.
상기 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행함으로써 다운 샘플링된 루마 샘플들을 생성하는 단계에서는, 3-탭 필터를 이용하여 상기 다운 샘플링을 수행할 수 있다.
본 발명에 따른 영상 부호화 방법에 의하면, 영상 부호화 효율이 향상될 수 있다.
본 발명에 따른 영상 복호화 방법에 의하면, 영상 부호화 효율이 향상될 수 있다.
본 발명에 따른 인트라 예측 방법에 의하면, 영상 부호화 효율이 향상될 수 있다.
도 1은 본 발명이 적용되는 비디오 부호화기의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 비디오 복호화기의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 4:2:0 영상 포맷이 사용되는 경우, 루마(Y) 성분에 대한 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 4:2:0 영상 포맷이 사용되는 경우, 루마(Y) 성분에 대한 다운 샘플링 방법의 다른 실시예를 개략적으로 나타내는 개념도이다.
도 5는 4:2:2 영상 포맷이 사용되는 경우, 루마(Y) 성분에 대한 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 6은 4:4:4 영상 포맷이 사용되는 경우, 루마(Y) 성분에 대한 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 7은 4:2:0 영상 포맷에서, 수평 및 수직 방향으로 8개의 픽셀이 사용되는 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 8은 4:2:0 영상 포맷에서, 수평 및 수직 방향으로 4개의 픽셀이 사용되는 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 9는 주변 블록의 일부가 가용하지 않은 경우 루마(Y) 성분에 대한 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 10은 3-탭 필터를 이용한 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 11은 본 발명의 실시예에 따른 인트라 예측 모드에서의 부호화 방법을 개략적으로 나타내는 흐름도이다.
도 12는 루마 성분에 대한 인트라 예측 모드의 예측 방향 및 각 예측 방향에 할당된 모드값의 실시예를 개략적으로 나타내는 개념도이다.
도 13은 본 발명의 실시예에 따른 인트라 예측 모드에서의 복호화 방법을 개략적으로 나타내는 흐름도이다.
본 명세서에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화기에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명이 적용되는 비디오 부호화기의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 1을 참조하면, 상기 비디오 부호화기는 픽쳐 분할부(110), 인터 예측부(120), 인트라 예측부(125), 변환부(130), 양자화부(135), 역양자화부(140), 역변환부(145), 필터부(150), 메모리(155), 재정렬부(160) 및 엔트로피 부호화부(165)를 포함한다.
픽쳐 분할부(110)는 입력된 현재 픽쳐를 하나 이상의 부호화 단위로 분할할 수 있다. 부호화 유닛(Coding Unit: CU, 이하 ‘CU’라 함)은 비디오 부호화기에서 부호화가 수행되는 하나의 단위로서, 쿼드 트리 구조(Quad Tree Structure)를 기초로 깊이(depth) 정보를 가지고 계층적으로 분할될 수 있다. CU는 8×8, 16×16, 32×32, 64×64 등 다양한 크기를 가질 수 있다. 가장 큰 크기의 CU를 LCU(Largest Coding Unit), 가장 작은 크기의 CU를 SCU(Smallest Coding Unit)라 한다.
또한 픽쳐 분할부(110)는 CU를 분할하여 예측 유닛(Prediction Unit: PU, 이하 ‘PU’라 함)과 변환 유닛(Transdorm Unit: TU, 이하 ‘TU’라 함)을 생성할 수 있다. PU는 CU보다 작거나 같은 블록이고, 반드시 정방형일 필요는 없으며, 직사각형 형태의 블록일 수도 있다. 통상 인트라 예측은 2N*2N 또는 N*N 크기의 블록 단위로 수행될 수 있다. 여기서 N은 자연수로서 픽셀의 수를 나타내며, 2N*2N 및 N*N은 PU의 크기를 나타낸다.
인터 예측(Inter Prediction) 모드에 있는 경우, 인터 예측부(120)는 움직임 추정(ME: Motion Estimation) 및 움직임 보상(MC: Motion Compensation)을 수행할 수 있다. 인터 예측부(120)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐 정보를 기초로 예측 블록을 생성한다.
인터 예측부(120)는 분할된 예측 대상 블록 및 메모리부(155)에 저장된 적어도 하나의 참조 블록을 기반으로 움직임 추정을 수행한다. 인터 예측부(120)는 움직임 추정의 결과로서 움직임 벡터(MV: Motion Vector), 참조 블록 인덱스 및 예측 모드 등을 포함한 움직임 정보(motion information)를 생성한다.
또한 인터 예측부(120)는 상기 움직임 정보 및 참조 블록을 이용하여 움직임 보상을 수행한다. 이 때, 인터 예측부(120)는 상기 참조 블록으로부터 입력 블록에 대응하는 예측 블록을 생성하여 출력한다.
인트라 예측(Intra Prediction) 모드의 경우, 인트라 예측부(125)는 현재 픽쳐 내의 픽셀 정보를 기초로 예측 블록을 생성할 수 있다. 인트라 예측 모드의 경우, 인트라 예측부(125)는 예측 대상 블록과 이전에 변환 및 양자화된 후 복원된 복원 블록을 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 상기 복원 블록은 디블록킹 필터부를 거치기 전의 복원된 영상일 수 있다.
예측 대상 블록 및 인터 또는 인트라 예측 모드에서 생성된 예측 블록의 차분에 의해 잔차 블록이 생성된다.
변환부(130)는 TU 별로 잔차 블록에 대해 변환을 수행하여 변환 계수를 생성한다.
TU는 최대 크기와 최소 크기의 범위 내에서 트리 구조(tree structure)를 가질 수 있다. TU 별로 현재 블록이 하위 블록(sub-block)으로 나누어지는지가 지시자(flag)를 통해 지시될 수 있다. 변환부(130)는 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform) 등을 사용하여 변환을 수행할 수 있다.
양자화부(135)는 변환부(130)에서 변환된 값들을 양자화할 수 있다. 블록에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화된 변환 계수 값은 재정렬부(160) 및 역양자화부(140)에 제공될 수 있다.
재정렬부(160)는, 엔트로피 부호화의 효율을 높이기 위해, 스캔(scan)을 통하여 상기 양자화된 2차원 블록 형태의 변환 계수를 1차원 벡터 형태의 변환 계수로 정렬할 수 있다. 이때, 재정렬부(160)는 확률적 통계를 기초로 스캔 순서를 달리 하여 엔트로피 부호화 효율을 높일 수 있다.
엔트로피 부호화부(165)는 재정렬부(160)에서 얻어진 값들을 엔트로피 부호화할 수 있다. 부호화된 정보들은 압축된 비트 스트림을 형성하여 네트워크 추상 계층(NAL: Network Abstraction Layer)을 통해 전송되거나 저장될 수 있다.
역양자화부(140)는 양자화부(135)에서 양자화된 변환 계수를 역양자화하며, 역변환부(145)는 역양자화된 변환 계수를 역변환해서 복원된 잔차 블록을 생성한다. 복원된 잔차 블록은 인터 예측부(120) 또는 인트라 예측부(125)에서 생성된 예측 블록과 합쳐져 복원 블록이 생성될 수 있다. 복원 블록은 인트라 예측부(125) 및 필터부(150)에 제공된다.
필터부(150)는 복원된 잔차 블록에 디블록킹 필터(Deblocking Filter), ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset) 등을 적용할 수 있다. 디블록킹 필터는 부호화 및 복호화 과정에서 발생하는 블록 경계 사이의 왜곡을 제거하기 위해, 복원 블록을 필터링한다. ALF는 예측 대상 블록과 최종 복원 블록 사이의 에러를 최소화하기 위해 필터링을 수행한다. ALF는 디블록킹 필터를 통해 필터링된 복원 블록과 현재의 예측 대상 블록을 비교한 값을 기초로 필터링을 수행하며, ALF의 필터 계수 정보는 슬라이스 헤더(slice header)에 실려 부호화기로부터 복호화기로 전송될 수 있다. SAO는 디블록킹 필터가 적용된 잔차 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원해주는 루프 필터 처리 과정이다. SAO를 통해서 적용되는 오프셋으로는 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등이 있다. 밴드 오프셋은 픽셀을 세기(intensity)에 따른 32개의 밴드로 구분하고, 32 개 밴드를 가장 자리의 16개 밴드와 중심부 16개 밴드의 두 밴드 그룹으로 나누어 오프셋을 적용한다. 에지 오프셋은 각 픽셀 별로 에지의 방향과 주변 픽셀과의 세기를 분류하여 오프셋을 적용한다.
메모리(155)는 필터부(150)를 거친 최종 복원 블록을 저장할 수 있고, 저장된 최종 복원 블록은 화면 간 예측을 수행하는 인터 예측부(120)에 제공될 수 있다.
도 2는 비디오 복호화기의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 2를 참조하면, 비디오 복호화기는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 인터 예측부(230), 인트라 예측부(235), 필터부(240) 및 메모리(245)를 포함한다.
엔트로피 복호화부(210)는 NAL로부터 압축된 비트 스트림을 수신한다. 엔트로피 복호화부(210)는 수신된 비트 스트림을 엔트로피 복호화하며, 예측 모드, 움직임 벡터 정보 등이 비트 스트림에 포함되는 경우 이를 함께 엔트로피 복호화할 수 있다.
엔트로피 복호화된 변환 계수 또는 잔차 신호는 재정렬부(215)에 제공된다. 재정렬부(215)는 복호화된 변환 계수 또는 잔차 신호를 역스캔(inverse scan)하여 2차원 블록 형태의 변환 계수를 생성할 수 있다.
역양자화부(220)는 재정렬된 변환 계수를 역양자화할 수 있다. 역변환부(225)는 역양자화된 변환 계수를 역변환하여 잔차 블록을 생성할 수 있다.
잔차 블록은 인터 예측부(230) 또는 인트라 예측부(235)에서 생성된 예측 블록과 합쳐져 복원 블록이 생성될 수 있다. 복원 블록은 인트라 예측부(235) 및 필터부(240)에 제공될 수 있다. 인터 예측부(230) 및 인트라 예측부(235)의 동작은 각각 비디오 부호화기에서의 인터 예측부(120) 및 인트라 예측부(125)의 동작과 동일할 수 있다.
필터부(240)는 복원 블록에 디블록킹 필터, ALF, SAO 등을 적용할 수 있다. 디블록킹 필터는 부호화 및 복호화 과정에서 발생하는 블록 경계 사이의 왜곡을 제거하기 위해, 복원 블록을 필터링할 수 있다. ALF는 예측 대상 블록과 최종 복원 블록 사이의 에러를 최소화하기 위해 디블록킹 필터링 된 복원 블록에 필터링을 수행할 수 있다. 또한, SAO는 디블록킹 필터링된 복원 블록에 픽셀 단위로 적용되어 원본 영상과의 차이를 줄일 수 있다.
메모리(245)는 필터부(240)를 통해 얻어진 최종 복원 블록을 저장할 수 있고, 저장된 최종 복원 블록은 화면 간 예측을 수행하는 인터 예측부(230)에 제공될 수 있다.
일반적으로 영상 신호는 빛의 3원색 성분의 크기를 나타내는 세 가지의 색 신호를 포함한다. 상기 세 가지의 색 신호는 각각 R(Red), G(Green), B(Blue)로 표시될 수 있다. 영상 처리에 사용되는 주파수 대역을 줄이기 위해, 상기 R, G, B 신호는 상기 R, G, B 신호와 등가인 루마(luma), 크로마(chroma) 신호로 변환될 수 있다. 이 때, 영상 신호는 하나의 루마 신호와 두 개의 크로마 신호를 포함할 수 있다. 여기서, 루마 신호는 화면의 밝기를 나타내는 성분이고, 크로마 신호는 화면의 색(color)을 나타내는 성분이다. 루마 신호는 Y로 표시될 수 있고, 크로마 신호는 C로 표시될 수 있다.
인간의 눈은 루마 신호에 대해서 민감하고, 크로마 신호에 대해서 둔감하므로, 하나의 영상 또는 블록 내에서 크로마 성분의 픽셀 수가 루마 성분의 픽셀 수보다 작을 수 있다.
4:2:0 영상 포맷에서, 루마 성분 블록에 대응하는 크로마 성분 블록의 픽셀 수는, 수평 방향으로 루마 성분 블록의 픽셀 수의 1/2, 수직 방향으로 루마 성분 블록의 픽셀 수의 1/2일 수 있다. 4:2:2 영상 포맷에서, 루마 성분 블록에 대응하는 크로마 성분 블록의 픽셀 수는, 수평 방향으로 루마 성분 블록의 픽셀 수의 1/2이고, 수직 방향으로 루마 성분 블록의 픽셀 수와 동일할 수 있다. 4:4:4 영상 포맷에서, 루마 성분 블록에 대응하는 크로마 성분 블록의 픽셀 수는 수평 방향 및 수직 방향으로 루마 성분 블록의 픽셀 수와 동일할 수 있다.
인트라 예측은 현재 블록의 인트라 예측 모드에 따라 수행될 수 있다. 현재 블록의 인트라 예측 모드는 인접한 주변 블록(neighboring block)의 예측 모드와 상관성이 크기 때문에 현재 블록에 인접한 주변 블록의 예측 모드를 이용하여 현재 블록의 예측 모드가 부호화될 수 있다. 이 때, 현재 블록에 대한 MPM(Most Probable Mode)이 이용될 수도 있다.
영상 내의 루마 성분과 크로마 성분은 상관성을 가지므로, 크로마 성분의 예측 모드는 대응하는 루마 성분의 예측 모드를 이용하여 부호화될 수 있으며, 복호화기는 루마 성분의 예측 모드를 이용하여 크로마 성분의 예측 모드를 도출할 수 있다. 따라서 부호화기에서 복호화기로 전송되는 크로마 성분의 예측 모드 정보는 크로마 성분의 예측 모드 자체가 아니라 루마 성분의 예측 모드와의 관계에서 크로마 성분의 예측 모드를 도출하는 데 이용되는 별도의 값일 수 있다. 아래의 표 1은 루마 성분의 예측 모드와 전송되는 값에 따라 결정되는 크로마 예측 모드의 일 실시예를 나타낸다.
[표 1]
Figure pat00001

표 1을 참조하면, 부호화기에서 복호화기로 전송되는 값은 intra_chroma_pred_mode에 할당된 값일 수 있다. 또한 IntraPredMode는 루마 성분의 인트라 예측 모드를 나타낸다. 예를 들어, intra_chroma_pred_mode 값이 2이고 IntraPredMode의 값이 3인 경우, 크로마 성분의 인트라 예측 모드 값은 1일 수 있다. 상기 intra_chroma_pred_mode 및 IntraPredMode는 그 명칭에 한정되는 것은 아니다.
표 1의 실시예에서 intra_chroma_pred_mode의 값이 4일 때에 크로마 성분의 예측 모드는 LM모드로 불릴 수 있고, intra_chroma_pred_mode의 값이 5일 때에 크로마 성분의 예측 모드는 DM모드로 불릴 수 있다. LM 모드는 루마 성분의 픽셀값에 따라 크로마 성분 픽셀의 예측값이 결정되는 예측 모드이고, DM 모드는 루마 성분의 예측 모드가 그대로 크로마 성분의 예측 모드로 사용되는 예측 모드이다.
루마 성분과 크로마 성분은 상관성을 가지므로, 루마 성분을 이용하여 크로마 성분에 대한 예측을 수행함으로써, 크로마 성분에 대한 부호화 효율이 향상될 수 있다. 상술한 LM 모드에서, 루마 성분과 크로마 성분의 상관성은 매개 변수 α와 β를 이용한 선형 관계로 표현될 수 있다. 일 실시예로 이는 다음 수학식 1과 같이 나타내어질 수 있다.
[수학식 1]
Figure pat00002

여기서, PredC는 현재 블록 내 크로마 성분에 대한 예측 블록의 픽셀값을 나타낸다. 이하, 예측 블록은 예측에 의해 생성된 블록을 의미한다. 매개변수 α와 β는 이미 복원된 주변 블록의 루마 성분 픽셀값들 및 크로마 성분 픽셀값들을 이용하여 도출될 수 있다. 여기서, 주변 블록이란 현재 블록에 인접하여 위치한 블록을 의미한다.
수학식 1에서 RecL’은 현재 블록 내 복원된 루마 성분 블록의 픽셀들을 크로마 성분 블록의 픽셀 개수만큼 다운 샘플링(down sampling)함으로써 생성된 샘플의 샘플값을 의미한다. RecL’은 다음 수학식 2에 의해 나타내어질 수 있다.
[수학식 2]
Figure pat00003

여기서, RecL은 현재 블록 내 복원된 루마 성분 블록의 픽셀값을 나타낸다.
수학식 1 및 수학식 2를 참조하면, 현재 블록 내 크로마 성분에 대한 예측 블록의 픽셀값은, 현재 블록 내 복원된 루마 성분 블록의 픽셀들을 다운 샘플링하여 얻은 샘플의 샘플값 및 상기 매개변수들을 이용하여 도출될 수 있다.
이하, 현재 블록 내 루마 성분 블록은 현재 루마 블록, 현재 블록에 인접한 주변 블록 내 루마 성분 블록은 주변 루마 블록, 현재 블록 내 크로마 성분 블록은 현재 크로마 블록, 현재 블록에 인접한 주변 블록 내 크로마 성분 블록은 주변 크로마 블록이라 한다.
도 3은 4:2:0 영상 포맷이 사용되는 경우, 루마(Y) 성분에 대한 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3은 매개변수 α와 β를 계산하기 위해 사용되는 루마 샘플 및 크로마 샘플의 위치를 도시한다. 도 3의 실시예에서 2N은 현재 루마 블록의 높이(height)와 폭(width), N은 현재 크로마 블록의 높이와 폭을 나타낸다.
도 3의 실시예에서, RecL’은 복원된 주변 루마 블록의 픽셀들을 주변 크로마 블록의 픽셀 개수만큼 다운 샘플링(down sampling)함으로써 생성된 샘플의 샘플값을 의미한다. RecC는 복원된 주변 크로마 블록의 픽셀값을 의미한다. 이하, 본 발명의 실시예들에서 RecL’ 및 RecC 는 도 3의 실시예에서와 동일한 의미를 가지며, RecL’은 경우에 따라 현재 루마 블록의 픽셀들을 다운 샘플링(down sampling)함으로써 생성된 샘플의 샘플값을 의미할 수 있다.
도 3을 참조하면, 다운 샘플링에 의해 생성된 샘플의 샘플값들은 주변 루마 블록 내 두 개 픽셀의 경계에 위치한다. 상기 다운 샘플링에 의해 생성되는 샘플의 샘플값들은 상기 두 개 픽셀의 픽셀값에 의해 구해질 수 있다.
매개변수 α 및 β 값은 복원된 주변 루마 블록의 픽셀값들이 다운 샘플링되어 생성된 샘플값(RecL’) 및 복원된 주변 크로마 블록의 픽셀값(RecC)을 이용하여 계산될 수 있다. 즉, 매개변수 α 및 β 값은 현재 블록의 주변 블록들로부터 도출될 수 있다. 매개변수 α 및 β 값은 다음 수학식 3에 의해 도출될 수 있다.
[수학식 3]
Figure pat00004

여기서, I는 매개변수를 구하기 위해 사용되는 주변 블록 내 픽셀 및/또는 샘플의 개수를 의미한다. 이하, 본 발명의 실시예들에서 I는 도 3의 실시예에서와 동일한 의미를 가진다. 상술한 수학식 3은 후술되는 도 4 내지 도 10의 실시예에도 적용될 수 있다.
도 4는 4:2:0 영상 포맷이 사용되는 경우, 루마(Y) 성분에 대한 다운 샘플링 방법의 다른 실시예를 개략적으로 나타내는 개념도이다. 도 4는 매개변수 α와 β를 계산하기 위해 사용되는 루마 샘플 및 크로마 샘플의 위치를 도시한다. 도 4의 실시예에서 2N은 현재 루마 블록의 높이(height)와 폭(width), N은 현재 크로마 블록의 높이와 폭을 나타낸다.
도 3의 실시예에서는 매개변수 α 및 β 값을 도출하기 위해, 현재 루마 블록 상단에 인접한 주변 루마 블록의 픽셀들 중 현재 루마 블록에 인접한 2개 라인의 픽셀들이 사용되므로, 2개 라인의 픽셀들에 대한 메모리가 요구된다. 따라서 메모리의 양을 감소시키기 위해, 현재 루마 블록 상단에 인접한 주변 루마 블록 내의 픽셀들 중 현재 루마 블록에 인접한 1개 라인의 픽셀들만을 사용하는 방법이 제공될 수 있다.
도 4를 참조하면, 현재 루마 블록 상단에 위치한 주변 루마 블록 내에서 현재 루마 블록에 인접한 1개 라인 픽셀들만이 다운 샘플링을 위해 사용될 수 있다. 상단 주변 루마 블록 내 1개 라인 픽셀들을 이용한 다운 샘플링 방법은 다음 수학식 4에 의해 나타내어질 수 있다.
[수학식 4]
Figure pat00005

좌측 주변 루마 블록 내의 픽셀들과 현재 루마 블록 내의 픽셀들에 대한 다운 샘플링 방법은 다음 수학식 5에 의해 나타내어질 수 있다.
[수학식 5]
Figure pat00006

도 5는 4:2:2 영상 포맷이 사용되는 경우, 루마(Y) 성분에 대한 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다. 도 5의 실시예에서 현재루마 블록의 높이(height)와 폭(width)은 2N이고, 현재 크로마 블록의 높이는 2N, 현재 크로마 블록의 폭은 N이다.
도 5는 매개변수 α와 β를 계산하기 위해 사용되는 루마 샘플 및 크로마 샘플의 위치를 도시한다. 4:2:2 영상 포맷이 사용되는 경우, 현재 블록 및 주변 블록의 루마 성분에 대해 수평 방향으로 2:1의 다운 샘플링이 수행될 수 있다.
도 5의 실시예를 참조하면, 현재 루마 블록 상단에 위치한 주변 루마 블록 내에서 현재 루마 블록에 인접한 1개 라인 픽셀들만이 다운 샘플링을 위해 사용될 수 있다. 상단 주변 루마 블록 내 1개 라인 픽셀들을 이용한 다운 샘플링 방법은 다음 수학식 6에 의해 나타내어질 수 있다.
[수학식 6]
Figure pat00007

좌측 주변 루마 블록 내의 픽셀들과 현재 루마 블록 내의 픽셀들에 대한 다운 샘플링 방법은 다음 수학식 7에 의해 나타내어질 수 있다.
[수학식 7]
Figure pat00008

도 6은 4:4:4 영상 포맷이 사용되는 경우, 루마(Y) 성분에 대한 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다. 도 6은 매개변수 α와 β를 계산하기 위해 사용되는 루마 샘플 및 크로마 샘플의 위치를 도시한다. 도 6의 실시예에서 현재 루마 블록의 높이(height)와 폭(width)은 2N, 현재 크로마 블록의 높이와 폭은 2N이다.
도 6의 실시예를 참조하면, 4:4:4 영상 포맷에서는 루마 성분과 크로마 성분이 동일한 해상도를 가지므로, 현재 루마 블록에 인접한 픽셀들 모두가 다운 샘플링에 사용될 수 있다.
또한 도 6의 실시예를 참조하면, 현재 루마 블록 상단에 위치한 주변 루마 블록 내에서 현재 루마 블록에 인접한 1개 라인 픽셀들만이 다운 샘플링을 위해 사용될 수 있다. 상단 주변 루마 블록 내 1개 라인 픽셀들을 이용한 다운 샘플링 방법은 다음 수학식 8에 의해 나타내어질 수 있다.
[수학식 8]
Figure pat00009

좌측 주변 루마 블록 내의 픽셀들에 대한 다운 샘플링 방법은 다음 수학식 9에 의해 나타내어질 수 있다.
[수학식 9]
Figure pat00010

현재 루마 블록 내의 픽셀들에 대한 다운 샘플링 방법은 다음 수학식 10에 의해 나타내어질 수 있다.
[수학식 10]
Figure pat00011

상술한 도 4 내지 도 6의 실시예에 따른 다운 샘플링 방법에서는, 현재 블록, 현재 루마 블록 및/또는 현재 크로마 블록의 크기에 따라 다운 샘플링에 사용되는 픽셀의 개수가 달라진다.
그러나, 현재 블록의 크기가 큰 경우에는 한정된 개수의 픽셀들만을 사용하여 다운 샘플링이 수행되어도 충분한 정확도를 갖는 매개변수 값들이 도출될 수 있다. 따라서 수평 및/또는 수직 방향으로 미리 고정된 소정 개수의 픽셀들만을 사용하는 다운 샘플링 방법이 제공될 수 있다. 상기 방법에서는 현재 블록의 크기에 관계없이 고정된 I 값이 사용될 수 있다. 도 3의 실시예에서 상술한 바와 같이, I는 매개변수를 구하기 위해 사용되는 주변 블록 내 픽셀의 개수를 의미한다. 상기 방법은 4:2:0 영상 포맷에 한정되는 것이 아니고, 모든 영상 포맷에 적용될 수 있다.
예를 들어, 4:2:0 영상 포맷이 사용되는 경우를 가정한다. 이 때, 현재 블록(2Nx2N)의 크기가 16x16인 경우, 루마 성분에 대해 수평 방향으로 8개, 수직 방향으로 8개의 픽셀이 다운 샘플링에 사용될 수 있다. 또한 현재 블록의 크기가 32x32인 경우, 루마 성분에 대해 수평 방향으로 16개, 수직 방향으로 16개의 픽셀이 다운 샘플링에 사용될 수 있고, 현재 블록의 크기가 64x64인 경우, 루마 성분에 대해 수평 방향으로 32개, 수직 방향으로 32개의 픽셀이 다운 샘플링에 사용될 수 있다.
그러나, 다운 샘플링에 사용되는 픽셀의 개수가 수직, 수평 방향으로 각각 8개(I=8)로 고정되는 경우, 현재 블록의 크기에 관계 없이 항상 수평 방향으로 8개, 수직 방향으로 8개의 픽셀만이 다운 샘플링에 사용되므로, 매개변수 계산에 요구되는 연산의 복잡도가 감소될 수 있다. 또한 고정되는 픽셀의 개수는 8에 한정되는 것이 아니고, 다르게 정해질 수도 있다. 예를 들어, 고정되는 픽셀의 개수는 4개(I=4)일 수도 있다. 이 때에는 항상 수평 방향으로 4개, 수직 방향으로 4개의 픽셀만이 다운 샘플링에 사용될 수 있으므로, 연산의 복잡도가 더욱 감소될 수 있다. 또한 수직, 수평 방향으로 4개의 픽셀을 사용하는 다운 샘플링 방법은 8x8 이상의 크기를 갖는 모든 블록에 대해 적용될 수 있다. 상기 방법에 의하면, 예측의 정확도가 유지되면서도 연산의 복잡도가 감소될 수 있다.
도 7은 4:2:0 영상 포맷에서, 수평 및 수직 방향으로 8개의 픽셀이 사용되는 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 7은 매개변수 α와 β를 계산하기 위해 사용되는 루마 샘플 및 크로마 샘플의 위치를 도시한다. 도 7의 실시예에서 2N은 현재 루마 블록의 높이(height)와 폭(width), N은 현재 크로마 블록의 높이와 폭을 나타낸다.
도 7의 실시예에서는 수평 방향으로 8개, 수직 방향으로 8개의 픽셀이 다운 샘플링에 사용될 수 있다.
도 8은 4:2:0 영상 포맷에서, 수평 및 수직 방향으로 4개의 픽셀이 사용되는 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 8은 매개변수 α와 β를 계산하기 위해 사용되는 루마 샘플 및 크로마 샘플의 위치를 도시한다. 도 8의 실시예에서 2N은 현재 루마 블록의 높이(height)와 폭(width), N은 현재 크로마 블록의 높이와 폭을 나타낸다.
도 8의 실시예에서는 현재 루마 블록의 크기가 16x16이지만, 수평 방향으로 4개, 수직 방향으로 4개의 픽셀이 다운 샘플링에 사용될 수 있다. 또한 수직 및 수평 방향으로 4개의 샘플만이 매개변수 도출에 사용되므로, 매개변수 도출을 위한 연산의 복잡도가 감소될 수 있다.
다른 실시예로 다운 샘플링에 사용되는 픽셀의 개수는, 현재 블록의 크기에 비례하여 결정될 수 있다. 또한 현재 블록 및 주변 블록의 루마 성분에 대해 수평 및 수직 방향으로 4:1의 다운 샘플링이 수행될 수도 있다. 다만, 다운 샘플링에 사용되는 수평, 수직 방향 픽셀의 개수는 각각 적어도 4 이상일 수 있다.
예를 들어 현재 블록 및/또는 현재 루마 블록의 크기가 8x8일 때에는 루마 성분에 대해 수평, 수직 방향으로 각각 4개, 크로마 성분에 대해 수평, 수직 방향으로 각각 4개의 픽셀이 다운 샘플링에 사용될 수 있고, 16x16일 때에는 루마 성분에 대해 수평, 수직 방향으로 각각 4개, 크로마 성분에 대해 수평, 수직 방향으로 각각 4개의 픽셀이 다운 샘플링에 사용될 수 있다. 또한 현재 블록 및/또는 현재 루마 블록의 크기가 32x32일 때에는 루마 성분에 대해 수평, 수직 방향으로 각각 8개, 크로마 성분에 대해 수평, 수직 방향으로 각각 8개의 픽셀이 다운 샘플링에 사용될 수 있고, 64x64일 때에는 루마 성분에 대해 수평, 수직 방향으로 각각 16개, 크로마 성분에 대해 수평, 수직 방향으로 각각 16개의 픽셀이 다운 샘플링에 사용될 수 있다. 영상 포맷에 따라 다운 샘플링되는 픽셀들의 위치는 도 4 내지 도 6에 도시된 다운 샘플링된 픽셀들의 위치와 동일할 수 있다.
도 9는 주변 블록의 일부가 가용하지 않은 경우 루마(Y) 성분에 대한 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다. 도 9는 현재 블록의 크기가 8x8이고, 상단 주변 블록이 가용하지 않은 경우를 나타낸다.
도 9의 실시예에서 2N은 현재 루마 블록의 높이(height)와 폭(width), N은 현재 크로마 블록의 높이와 폭을 나타낸다. 또한 YL1 내지 YL4는 좌측 주변 루마 블록 내의 다운 샘플링된 루마 샘플을 나타내고, CL1 내지 CL4는 좌측 주변 크로마 블록 내의 크로마 샘플을 나타낸다.
현재 블록이 픽쳐나 슬라이스의 경계에 있는 블록인 경우 또는 CIP(Constrained Intra Prediction) 모드가 사용되면서 인트라 모드로 부호화되지 않은 주변 블록이 존재하는 경우에는 상단 주변 블록 및/또는 좌측 주변 블록이 가용(available)하지 않을 수 있다. 현재 블록에 인접한 주변 블록들 중 가용하지 않은 인접 블록이 존재하는 경우, 가용한 주변 블록 내의 픽셀값만을 이용하여 매개변수가 도출될 수 있다.
도 9를 참조하면, 현재 블록의 상단 주변 블록이 가용하지 않으므로, 가용한 좌측 주변 블록 내 샘플 YL1 내지 YL4, CL1 내지 CL4을 이용하여 매개변수가 계산될 수 있다.
상술한 도 9의 실시예에 따른 다운 샘플링 방법은 도 3 내지 도 8의 실시예에 따른 다운 샘플링 방법에 모두 적용될 수 있으며, 다운 샘플링에 사용되는 픽셀의 개수가 현재 블록의 크기에 비례하여 결정되는 경우에도 적용될 수 있다.
현재 블록의 상단 주변 블록 및 좌측 주변 블록이 모두 가용하지 않은 경우, 주변 루마 블록 내의 루마 성분 픽셀값 및 주변 크로마 블록 내의 크로마 성분 픽셀값은 소정의 고정된 값으로 설정될 수 있다. 일 실시예로, 루마 성분 픽셀 및 크로마 성분 픽셀은 각각 0에서 255까지의 값을 가질 수 있으므로, 주변 루마 블록 내의 루마 성분 픽셀값 및 주변 크로마 블록 내의 크로마 성분 픽셀값은 각각 0 내지 255의 평균값 또는 중간값인 128로 설정될 수 있다.
도 10은 3-탭 필터를 이용한 다운 샘플링 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 3 내지 도 8의 실시예에 따른 다운 샘플링 방법에서 현재 루마 블록에 인접한 상단 주변 루마 블록 내 픽셀에 대해서는 3-탭 필터가 적용됨으로써 다운 샘플링이 수행될 수 있다. 일 실시예로 다운 샘플링되는 상단 주변 루마 블록 내 픽셀에 대해서 [1,2,1] 필터가 적용될 수 있다. [1,2,1] 필터를 이용한 다운 샘플링은 다음 수학식 11에 의해 나타내어질 수 있다.
[수학식 11]
Figure pat00012

도 10을 참조하면, [1,2,1] 필터가 적용되는 경우, 다운 샘플링에 의해 생성되는 루마 샘플과 동일한 위치에 있는 픽셀의 픽셀값에는 2/4가 곱해지고, 상기 픽셀의 좌측 및 우측에 인접하여 위치한 픽셀들의 픽셀값들에는 각각 1/4이 곱해질 수 있다. 상기 곱해진 값들이 더해진 값이 다운 샘플링된 루마 샘플의 샘플값일 수 있다.
도 3 내지 도 8의 실시예에서 현재 루마 블록 내의 픽셀에 대해서는 상기 3-탭 필터가 적용되지 않을 수 있으며, 상기 각 실시예에서 상술된 방식에 의해 다운 샘플링이 수행될 수 있다. 4:2:2 영상 포맷이 사용되는 경우에는, 현재 루마 블록 내의 픽셀에 대해서도 도 10의 실시예에서 상술한 3-탭 필터를 이용하여 다운 샘플링이 수행될 수도 있다.
도 11은 본 발명의 실시예에 따른 인트라 예측 모드에서의 부호화 방법을 개략적으로 나타내는 흐름도이다.
도 11을 참조하면, 부호화기는 인트라 예측에 필요한 참조 픽셀을 생성한다(S1110). 이 때, 부호화기는 현재 블록에 인접한 좌측 블록의 맨 오른쪽 수직 라인상의 픽셀들과 현재 블록에 인접한 상단 블록의 맨 아래쪽 수평 라인상의 픽셀들을 참조 픽셀 생성에 사용할 수 있다.
참조 픽셀은 그대로 사용될 수도 있고 AIS(Adaptive Intra Smoothing filter)를 통해 필터링된 후 사용될 수도 있다. 참조 픽셀이 AIS 필터링되는 경우에 사용되는 필터 계수는 [1,2,1], [1,1,4,1,1] 중 하나일 수 있으며, 후자의 필터 계수를 사용하는 필터가 더 급격한(sharp) 경계면을 제공할 수 있다. 부호화기는 AIS 필터가 사용되는지 여부에 대한 정보 및/또는 어떤 필터가 사용되는지에 대한 정보를 복호화기로 전송 또는 시그널링할 수 있다.
부호화기는 현재 블록에 대한 인트라 예측 모드를 결정한다(S1120). 인트라 예측 모드 결정은 예측 유닛별로 수행될 수 있다. 예측 모드 결정의 일 실시예로서, 소요 비트율과 왜곡량의 관계를 고려하여 최적의 예측 모드가 결정될 수 있다.
현재 블록에 대한 인트라 예측 모드는 각각에 대해 서로 다른 모드값이 할당된 복수의 인트라 예측 모드 중에서 결정될 수 있다. PU 크기에 따른 루마 성분에 대한 인트라 예측 모드의 개수는, 일 실시예로 다음 표 2와 같을 수 있다.
[표 2]
Figure pat00013

도 12는 루마 성분에 대한 인트라 예측 모드의 예측 방향 및 각 예측 방향에 할당된 모드값의 실시예를 개략적으로 나타내는 개념도이다. 도 12는 복수의 인트라 예측 모드를 도시하며, 각각의 인트라 예측 모드는 서로 다른 예측 방향을 가진다. 또한 각각의 인트라 예측 모드에 할당된 번호는 모드값이라 한다.
도 12를 참조하면, 모드값이 0인 경우 인접 블록의 픽셀값을 사용하여 수직 방향으로 예측이 수행되며, 모드값이 1인 경우 수평 방향으로 예측이 수행될 수 있다. 모드값이 2인 경우는 DC 모드로 불릴 수 있으며, 현재 블록 내의 픽셀값의 평균에 의해 예측 블록이 생성될 수 있다. 또한 나머지 모드의 경우, 해당 각도에 따라 인접 블록 픽셀값들을 이용하여 예측이 수행될 수 있다.
DC 모드에서 예측 블록이 생성된 경우, 부호화기는 예측 효율을 높이기 위해 예측 블록 내에서 맨 위쪽 라인의 픽셀들과 맨 왼쪽 라인의 픽셀들을 필터링할 수 있다. 이 때, 부호화기는 예측 블록 내의 나머지 픽셀들은 필터링하지 않을 수 있다.
부호화기는 루마 성분의 예측 모드뿐만 아니라, 크로마 성분의 예측 모드도 결정할 수 있다.
부호화기는 현재 루마 블록 및 현재 크로마 블록에 대한 예측 모드 정보를 부호화하여 복호화기로 전송할 수 있다. 부호화기는 인트라 예측 모드 정보를 복호화기로 전송하기 위해 소정의 구문 요소를 정의할 수 있으며, 정의된 구문 요소 값들은 매핑 테이블에 의해 엔트로피 부호화되어 복호화기로 전송될 수 있다.
현재 블록의 예측 모드는 현재 블록에 인접한 주변 블록의 예측 모드와 상관성이 클 수 있다. 따라서 부호화기는 주변 블록의 예측 모드를 이용하여 현재 블록의 예측 모드를 부호화함으로써 복호화기로 전송되는 비트량을 감소시킬 수 있다. 부호화기는 현재 블록의 MPM(Most Probable Mode)를 결정하고, MPM을 이용하여 현재 블록의 예측 모드를 부호화할 수 있다.
다시 도 11을 참조하면, 부호화기는 참조 픽셀 및 현재 블록의 인트라 예측 모드를 이용하여 인트라 예측을 수행한다(S1130).
부호화기는 인트라 예측을 수행함으로써, 현재 루마 블록 및 현재 크로마 블록에 대한 예측 블록을 생성할 수 있다. 현재 크로마 블록에 대해 LM 모드에서 예측이 수행되는 경우, 부호화기는 상술한 도 3 내지 도 10의 실시예에 따른 다운 샘플링 방법을 이용하여 인트라 예측을 수행할 수 있다. 이 때, 부호화기는 매개변수 α 와 β에 대한 정보를 양자화하여 복호화기로 전송할 수 있다.
부호화기는 복호화기로 전송되는 비트 스트림을 생성한다(S1140).
부호화기는 현재 블록의 픽셀값과 예측 블록의 픽셀값을 픽셀 단위로 차분하여 잔차(residual) 신호, 즉 잔차 블록을 생성할 수 있다. 부호화기는 변환 커널(kernel)을 적용하여 잔차 신호를 변환 부호화할 수 있으며, 변환 부호화 커널의 크기는 2*2, 4*4, 8*8, 16*16, 32*32 또는 64*64일 수 있다. 일 실시예로 n*n 블록에 대한 변환 계수 C는 다음 수학식 12에 의해 계산될 수 있다.
[수학식 12]
C(n,n)=T(n,n) x B(n,n) x T(n,n)T
여기서, C(n,n)은 n*n 크기의 변환 계수에 대한 행렬이고, T(n,n)은 n*n 크기의 변환 커널 행렬이고, B(n,n)은 n*n 크기의 잔차 블록에 대한 행렬이다.
부호화기는 생성된 변환 계수를 양자화할 수 있다.
잔차 블록과 변환 계수 중 어떤 것이 전송되는 지는 RDO를 통해 결정될 수 있다. 예측이 잘 된 경우에는 변환 부호화 없이 잔차 블록, 즉 잔차 신호가 그대로 전송될 수 있다. 부호화기는 변환 부호화 전/후의 비용 함수(cost function)를 비교할 수 있으며, 비용이 최소화되는 방법을 선택할 수 있다. 이 때, 부호화기는 현재 블록에 대해 전송하는 신호의 타입(잔차 신호 또는 변환 계수)에 대한 정보를 복호화 장치로 전송할 수 있다.
부호화기는 변환 계수를 스캔할 수 있고, 스캔된 변환 계수와 현재 블록의 인트라 예측 모드를 엔트로피 부호화할 수 있다. 부호화된 정보들은 압축된 비트 스트림을 형성하여 네트워크 추상 계층(NAL: Network Abstraction Layer)을 통해 전송되거나 저장될 수 있다.
도 13은 본 발명의 실시예에 따른 인트라 예측 모드에서의 복호화 방법을 개략적으로 나타내는 흐름도이다.
도 13을 참조하면, 복호화기는 수신된 비트 스트림으로부터 잔차 블록 및 인트라 예측 모드를 도출한다(S1310).
복호화기는 수신된 비트 스트림을 엔트로피 복호화할 수 있다. 복호화기는 VLC(variable length coding) 테이블로부터 현재 블록의 인트라 예측 모드를 도출할 수 있다. 또한 복호화기는 VLC 테이블로부터 블록 타입 정보를 도출할 수도 있다. 복호화기는 현재 블록에 대해 수신한 신호가 잔차 신호인지 아니면 변환 계수인지에 관한 정보를 얻을 수 있고, 현재 블록에 대해 잔차 신호나 1차원 벡터 형태의 변환 계수를 얻을 수 있다. 수신된 비트 스트림에 복호화에 필요한 보조 정보(side information)가 포함되는 경우, 이들이 함께 엔트로피 복호화될 수도 있다.
복호화기는 엔트로피 복호화된 잔차 신호나 변환 계수를 역스캔하여 2차원 블록을 생성할 수 있다. 이 때, 잔차 신호의 경우 잔차 블록이 생성되고, 변환 계수의 경우 2차원 블록 형태의 변환 계수가 생성될 수 있다. 변환 계수가 생성된 경우 복호화기는 역양자화를 수행할 수 있다. 복호화기는 역양자화된 변환 계수를 역변환하여 잔차 블록을 생성할 수 있다. 역변환 과정은 다음 수학식 13에 의해 나타내어질 수 있다.
[수학식 13]
B(n,n)=T(n,n) x C(n,n) x T(n,n)T
또는
B(m,n)=T(m,m) x C(m,n) x T(n,n)T
다시 도 13을 참조하면, 복호화기는 인트라 예측에 필요한 참조 픽셀을 생성한다(S1320).
복호화기는 AIS 필터가 사용되는지 여부에 대한 정보 및/또는 어떤 필터가 사용되는지에 대한 정보를 부호화기로부터 수신할 수 있고, 상기 정보를 참조하여 현재 블록에 대한 참조 픽셀을 생성할 수 있다. 이 때, 부호화 단계에서와 마찬가지로, 복호화기는 현재 블록에 인접한, 이미 복호화되어 복원된 좌측 블록의 맨 오른쪽 수직 라인상의 픽셀들과 현재 블록에 인접한 상단 블록의 맨 아래쪽 수평 라인상의 픽셀들을 참조 픽셀 생성에 사용할 수 있다. 참조 픽셀 생성시, 부호화기 측에서 AIS 필터링이 적용된 경우에는 복호화기 측에서도 AIS(Adaptive Intra Smoothing) 필터링이 수행될 수 있다. 또한 복호화기는 필터 타입 정보를 이용하여 [1,2,1]과 [1,1,4,1,1] 중 하나의 필터 계수를 선택할 수 있다.
복호화기는 참조 픽셀 및 현재 블록의 인트라 예측 모드를 이용하여 인트라 예측을 수행한다(S1330).
복호화기는 인트라 예측을 수행함으로써, 현재 루마 블록 및 현재 크로마 블록에 대한 예측 블록을 생성할 수 있다. 현재 크로마 블록에 대해 LM 모드에서 예측이 수행되는 경우, 복호화기는 상술한 도 3 내지 도 10의 실시예에 따른 다운 샘플링 방법을 이용하여 인트라 예측을 수행할 수 있다.
복호화기는 예측 블록의 픽셀값과 잔차 블록의 픽셀값을 픽셀 단위로 더하여 복원 블록을 생성한다(S1340).
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 흐름도 또는 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 병렬적으로 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도 또는 흐름도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상에서 본 발명은 실시예를 참조하여 설명되었으나, 상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합이 기술될 수는 없지만, 당해 기술 분야에서 통상의 지식을 가진 당업자는 본 발명의 사상에서 벗어나지 않는 범위 내에서 본 발명에 대한 다양한 변경 또는 수정이 가능함을 이해할 수 있을 것이다.

Claims (17)

  1. LM 모드에서 영상의 크로마(chroma) 성분에 대한 인트라(intra) 예측을 수행하는 영상 복호화 방법으로서,
    주변 루마(luma) 블록의 픽셀(pixel)들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링(down sampling)을 수행함으로써 다운 샘플링된 루마 샘플(sample)들을 생성하는 단계; 및
    상기 다운 샘플링된 루마 샘플들을 이용하여 상기 크로마 성분에 대한 인트라 예측을 수행함으로써 현재 크로마 블록의 예측 블록을 생성하는 단계를 포함하고,
    상기 LM 모드는 루마 성분의 픽셀값에 따라 크로마 성분 픽셀의 예측값이 결정되는 인트라 예측 모드이고, 상기 현재 루마 블록은 현재 블록 내의 루마 성분 블록이고, 상기 주변 루마 블록은 상기 현재 블록에 인접한 주변(neighboring) 블록 내의 루마 성분 블록이고, 상기 현재 크로마 블록은 상기 현재 블록 내의 크로마 성분 블록인 영상 복호화 방법.
  2. 청구항 1에 있어서, 상기 주변 루마 블록의 픽셀들 중 상단 주변 루마 블록의 픽셀들은 상기 현재 블록의 상단에 가장 가까이 인접한 1개 라인의 픽셀들이고, 상기 상단 주변 루마 블록은 상기 현재 블록의 상단에 인접한 주변 블록 내의 루마 성분 블록인 영상 복호화 방법.
  3. 청구항 2에 있어서, 상기 영상의 영상 포맷은 4:2:0 영상 포맷, 4:2:2 영상 포맷 또는 4:4:4 영상 포맷인 영상 복호화 방법.
  4. 청구항 1에 있어서, 상기 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행함으로써 다운 샘플링된 루마 샘플들을 생성하는 단계에서는,
    소정의 고정된 개수의 픽셀들을 사용하여 다운 샘플링을 수행하는 영상 복호화 방법.
  5. 청구항 1에 있어서, 상기 다운 샘플링에 사용되는 상기 주변 루마 블록의 픽셀들의 개수 및 상기 다운 샘플링에 사용되는 상기 현재 루마 블록의 픽셀들의 개수는 상기 현재 블록의 크기에 비례하는 영상 복호화 방법.
  6. 청구항 1에 있어서, 상기 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행함으로써 다운 샘플링된 루마 샘플들을 생성하는 단계에서는,
    상기 주변 루마 블록의 일부가 가용(available)하지 않은 경우, 가용한 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행하는 영상 복호화 방법.
  7. 청구항 1에 있어서, 상기 주변 루마 블록의 전부가 가용하지 않은 경우, 상기 주변 루마 블록의 픽셀들의 값은 소정의 고정된 값으로 설정되는 것을 특징으로 하는 영상 복호화 방법.
  8. 청구항 1에 있어서, 상기 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행함으로써 다운 샘플링된 루마 샘플들을 생성하는 단계에서는, 3-탭 필터를 이용하여 상기 다운 샘플링을 수행하는 영상 복호화 방법.
  9. LM 모드에서 영상의 크로마(chroma) 성분에 대한 인트라(intra) 예측을 수행하는 영상 복호화 장치로서,
    주변 루마(luma) 블록의 픽셀들 및 현재 루마 블록의 픽셀(pixel)들을 사용하여 다운 샘플링(down sampling)을 수행함으로써 다운 샘플링된 루마 샘플(sample)들을 생성하고, 상기 다운 샘플링된 루마 샘플들을 이용하여 상기 크로마 성분에 대한 인트라 예측을 수행함으로써 현재 크로마 블록의 예측 블록을 생성하는 인트라 예측부; 및
    상기 현재 크로마 블록 및 상기 예측 블록의 차분에 의해 잔차(residual) 블록을 생성하는 잔차 블록 생성부를 포함하고,
    상기 LM 모드는 루마 성분의 픽셀값에 따라 크로마 성분 픽셀의 예측값이 결정되는 인트라 예측 모드이고, 상기 현재 루마 블록은 현재 블록 내의 루마 성분 블록이고, 상기 주변 루마 블록은 상기 현재 블록에 인접한 주변(neighboring) 블록 내의 루마 성분 블록이고, 상기 현재 크로마 블록은 상기 현재 블록 내의 크로마 성분 블록인 영상 복호화 장치.
  10. LM 모드에서 영상의 크로마(chroma) 성분에 대한 인트라(intra) 예측을 수행하는 인트라 예측 방법으로서,
    주변 루마(luma) 블록의 픽셀들 및 현재 루마 블록의 픽셀(pixel)들을 사용하여 다운 샘플링(down sampling)을 수행함으로써 다운 샘플링된 루마 샘플(sample)들을 생성하는 단계; 및
    상기 다운 샘플링된 루마 샘플들을 이용하여 상기 크로마 성분에 대한 인트라 예측을 수행함으로써 현재 크로마 블록의 예측 블록을 생성하는 단계를 포함하고,
    상기 LM 모드는 루마 성분의 픽셀값에 따라 크로마 성분 픽셀의 예측값이 결정되는 인트라 예측 모드이고, 상기 현재 루마 블록은 현재 블록 내의 루마 성분 블록이고, 상기 주변 루마 블록은 상기 현재 블록에 인접한 주변(neighboring) 블록 내의 루마 성분 블록이고, 상기 현재 크로마 블록은 상기 현재 블록 내의 크로마 성분 블록인 인트라 예측 방법.
  11. 청구항 10에 있어서, 상기 주변 루마 블록의 픽셀들 중 상단 주변 루마 블록의 픽셀들은 상기 현재 블록의 상단에 가장 가까이 인접한 1개 라인의 픽셀들이고, 상기 상단 주변 루마 블록은 상기 현재 블록의 상단에 인접한 주변 블록 내의 루마 성분 블록인 인트라 예측 방법.
  12. 청구항 11에 있어서, 상기 영상의 영상 포맷은 4:2:0 영상 포맷, 4:2:2 영상 포맷 또는 4:4:4 영상 포맷인 인트라 예측 방법.
  13. 청구항 10에 있어서, 상기 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행함으로써 다운 샘플링된 루마 샘플들을 생성하는 단계에서는,
    소정의 고정된 개수의 픽셀들을 사용하여 다운 샘플링을 수행하는 인트라 예측 방법.
  14. 청구항 10에 있어서, 상기 다운 샘플링에 사용되는 상기 주변 루마 블록의 픽셀들의 개수 및 상기 다운 샘플링에 사용되는 상기 현재 루마 블록의 픽셀들의 개수는 상기 현재 블록의 크기에 비례하는 인트라 예측 방법.
  15. 청구항 10에 있어서, 상기 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행함으로써 다운 샘플링된 루마 샘플들을 생성하는 단계에서는,
    상기 주변 루마 블록의 일부가 가용(available)하지 않은 경우, 가용한 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행하는 인트라 예측 방법.
  16. 청구항 10에 있어서, 상기 주변 루마 블록의 전부가 가용하지 않은 경우, 상기 주변 루마 블록의 픽셀들의 값은 소정의 고정된 값으로 설정되는 것을 특징으로 하는 인트라 예측 방법.
  17. 청구항 10에 있어서, 상기 주변 루마 블록의 픽셀들 및 현재 루마 블록의 픽셀들을 사용하여 다운 샘플링을 수행함으로써 다운 샘플링된 루마 샘플들을 생성하는 단계에서는, 3-탭 필터를 이용하여 상기 다운 샘플링을 수행하는 인트라 예측 방법.
KR1020110108848A 2011-08-17 2011-10-24 영상 인트라 예측 방법 및 장치 KR20130020511A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110081876 2011-08-17
KR20110081876 2011-08-17

Publications (1)

Publication Number Publication Date
KR20130020511A true KR20130020511A (ko) 2013-02-27

Family

ID=47898446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110108848A KR20130020511A (ko) 2011-08-17 2011-10-24 영상 인트라 예측 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20130020511A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111801940A (zh) * 2018-01-05 2020-10-20 Sk电信有限公司 使用ycbcr的相关性的图像编码/解码方法和设备
CN116456102A (zh) * 2023-06-20 2023-07-18 深圳传音控股股份有限公司 图像处理方法、处理设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111801940A (zh) * 2018-01-05 2020-10-20 Sk电信有限公司 使用ycbcr的相关性的图像编码/解码方法和设备
CN116456102A (zh) * 2023-06-20 2023-07-18 深圳传音控股股份有限公司 图像处理方法、处理设备及存储介质
CN116456102B (zh) * 2023-06-20 2023-10-03 深圳传音控股股份有限公司 图像处理方法、处理设备及存储介质

Similar Documents

Publication Publication Date Title
US11418815B2 (en) Method for encoding and decoding image information
US10313667B2 (en) Method and apparatus for encoding/decoding image using transform skip flag
KR20130027975A (ko) 인트라 예측 모드 부호화/복호화 방법 및 장치
KR20210100739A (ko) Cclm 예측에 기반한 영상 디코딩 방법 및 그 장치
WO2017003978A1 (en) Computationally efficient sample adaptive offset filtering during video encoding
KR20130029130A (ko) 단거리 인트라 예측 단위 복호화 방법 및 복호화 장치
KR20140100863A (ko) 화면 내 예측 방법 및 장치
KR20130027400A (ko) Ｄｃ 모드에서의 인트라 예측 방법 및 장치
KR20130020511A (ko) 영상 인트라 예측 방법 및 장치
WO2013001720A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
CN114830643A (zh) 图像编码方法和图像解码方法
CN114830645A (zh) 图像编码方法和图像解码方法
CN114830641A (zh) 图像编码方法和图像解码方法
KR20190023294A (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination