KR20170111473A

KR20170111473A - 화면 내 예측을 이용한 비디오 부호화/복호화 방법 및 장치

Info

Publication number: KR20170111473A
Application number: KR1020160036993A
Authority: KR
Inventors: 한종기; 이재영
Original assignee: 세종대학교산학협력단
Priority date: 2016-03-28
Filing date: 2016-03-28
Publication date: 2017-10-12

Abstract

예측 유닛에 기반한 화면 내 예측을 이용한 비디오 부호화/복호화 방법 및 장치가 개시된다. 화면 내 예측을 이용한 비디오 복호화 방법은, 부호화된 비트스트림에 대한 복호화를 수행하여 잔차 블록 및 화면 내 예측(intra-prediction)의 수행을 위한 예측 유닛(Prediction Unit, PU)의 분할 모드에 대한 결정을 위한 인덱스를 산출하는 단계와; 산출된 인덱스에 상응하는 예측 유닛의 분할 모드에 따라 현재 복호화 대상이 되는 코딩 유닛(Coding Unit, CU)에 대한 화면 내 예측을 수행하여 예측 블록을 생성하는 단계와; 잔차 블록에 예측 블록을 가산하여 현재 복호화 대상이 되는 코딩 유닛에 대한 복원 블록을 생성하는 단계를 포함한다.

Description

화면 내 예측을 이용한 비디오 부호화/복호화 방법 및 장치{VIDEO ENCODING/DOCODING METHOD USING INTRA-PREDICTION AND APPARATUS THEREROF}

본 발명은 비디오 부호화/복호화에 관한 것으로, 더욱 상세하게는 예측 유닛에 기반한 화면 내 예측을 이용한 비디오 부호화/복호화 방법 및 장치에 관한 것이다.

종래의 H.264/AVC와 비교하여 약 2 배 이상의 압축 효율을 갖는 것으로 알려져 있는 차세대 비디오 압축 표준 기술로 HEVC(High Efficiency Video Coding)에 대한 표준화가 진행되어 최근에 완료되었다.

HEVC는 쿼드트리(quadtree) 구조를 가진 코딩 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit), 변환 유닛(TU: Transform Unit)을 정의하고 있으며, 샘플 적응적 오프셋(SAO: Sample Adaptive Offset), 디블록킹 필터(Deblocking filter)와 같은 인루프 필터를 적용하고 있다. 또한, 기존의 인트라 예측(intra prediction) 및 인터 예측(inter prediction)을 개선하여 압축 부호화 효율을 향상시키고 있다.

특히, MPEG-2를 비롯하여 MPEG-4, H.263 H.264/AVC 등의 기존 비디오 코덱들에서는 하나의 픽쳐(Picture)를 16×16 크기 블록 단위인 MB(Macro Block)으로 분할하여 부호화/복호화하였으나, HEVC에서는 부호화의 기본 단위인 CU (Coding Unit)을 사용한다.

도 1은 HEVC의 코딩 유닛을 설명하기 위한 개념도이다. 도 1을 참조하면, CU는 SPS(Sequence Parameter Set)에 저장된 파라미터값이 지정하는 최대 및 최소 크기까지 분할될 수 있다. 또한, 각 CU들의 부호화/복호화 순서는 Raster Scan을 사용하고 있고, 이로 인하여 CU0에서 CU18와 같은 순서로 부호화/복호화될 수 있다.

HEVC에서는 다양한 크기의 CU를 사용함으로써, 영상의 공간 해상도 및 블록 특성을 효과적으로 고려하여 부호화할 수 있다. 일반적으로 영상의 해상도가 작거나 화소값들이 국지적으로 크게 변화는 경우에는 작은 크기의 CU들을 이용하여 화면 내 예측 및 화면 간 예측을 수행하는 것이 효율적이다.

즉, 작은 크기의 CU을 이용하게 되면 부호화에 필요한 헤더 비트량은 증가하지만, 상대적으로 예측이 정밀하게 이루어져 양자화 에러와 변환 계수의 부호화에 필요한 비트량이 감소하는 장점이 있다.

반대로, 영상의 공간 해상도가 크거나 화소값들의 변화가 적은 영역에서는 큰 CU를 사용하는 것이 부호화 효율을 높일 수 있다. 즉, 이 경우에는 큰 CU를 사용하여도 작은 CU을 사용하여 예측하는 경우에 비하여 예측 오차가 크게 증가하지 않는 경향이 있으므로 이러한 블록들을 부호화할 경우, 큰 CU를 사용하여 헤더 비트량을 절약하는 것이 효율적이다.

또한, HEVC는 예측 부호화의 기본 단위로 PU(Prediction Unit)로 정의하고 있고, 하나의 CU는 다수개의 PU로 분할되어 예측된다.

그러나, HEVC는 화면 내 예측을 위한 PU의 분할 모드로, 2N×2N 및 N×N 만을 지원하고 있기 때문에, 특정 패턴을 가진 CU에 대한 화면 내 예측을 수행할 때 비효율적인 문제점이 발생한다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 화면 내 예측을 이용한 비디오 부호화 방법을 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 화면 내 예측을 이용한 비디오 복호화 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 화면 내 예측을 이용한 비디오 부호화 방법은, 코딩 유닛(Coding Unit, CU)를 분할하여 화면 내 예측(intra-prediction)을 수행할 단위인 예측 유닛(Prediction Unit, PU)의 분할 모드들을 설정하는 단계와; 설정된 예측 유닛의 분할 모드들 중에서 현재 부호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행할 예측 유닛의 분할 모드를 결정하는 단계와; 결정된 예측 유닛의 분할 모드에 따라 현재 부호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행하는 단계를 포함한다.

여기에서, 상기 예측 유닛의 분할 모드들을 설정하는 단계는, 면적이 1:3의 비율을 가지는 두 개의 예측 유닛으로 코딩 유닛을 분할하는 적어도 하나의 추가 분할 모드를 포함시켜 설정할 수 있다.

여기에서, 상기 예측 유닛의 분할 모드들을 설정하는 단계는, 코딩 유닛을 네 개의 정방형(square) 블록들로 분할하고, 네 개의 정방형 블록들 중에서 하나를 제1 예측 유닛으로, 네 개의 정방형 블록들 중에서 3개를 제2 예측 유닛으로 하는 적어도 하나의 추가 분할 모드를 포함시켜 설정할 수 있다.

여기에서, 상기 제1 예측 유닛과 상기 제2 예측 유닛은, 코딩 유닛의 좌상측 영역에 대한 포함 여부를 기준으로 화면 내 예측의 순서가 설정될 수 있다.

여기에서, 상기 코딩 유닛의 좌상측 영역을 포함하는 예측 유닛에 대한 화면 내 예측을 먼저 수행하는 것으로 설정될 수 있다.

여기에서, 상기 현재 부호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행하는 단계는, 적어도 하나의 추가 분할 모드로부터 결정된 예측 유닛의 분할 모드에 따라 분할한 현재 부호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 설정된 MPM(Most Probable Mode)을 활용할 수 있다.

여기에서, 상기 현재 부호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행하는 단계는, 적어도 하나의 추가 분할 모드로부터 결정된 예측 유닛의 분할 모드에 따라 분할한 현재 부호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 한 참조 샘플(reference sample)을 활용하여 화면 내 예측을 수행할 수 있다.

여기에서, 상기 현재 부호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행하는 단계는, 현재 부호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하는 예측 유닛의 경우, 현재 부호화 대상이 되는 코딩 유닛의 좌측 및 상측에 인접한 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행하고, 현재 부호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛의 경우, 현재 부호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛의 좌측, 우측, 상측 및 하측에 인접한 픽셀 중에서 적어도 두 측 이상의 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행할 수 있다.

상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 화면 내 예측을 이용한 비디오 복호화 방법은, 부호화된 비트스트림에 대한 복호화를 수행하여 잔차 블록 및 화면 내 예측(intra-prediction)의 수행을 위한 예측 유닛(Prediction Unit, PU)의 분할 모드에 대한 결정을 위한 인덱스를 산출하는 단계와; 산출된 인덱스에 상응하는 예측 유닛의 분할 모드에 따라 현재 복호화 대상이 되는 코딩 유닛(Coding Unit, CU)에 대한 화면 내 예측을 수행하여 예측 블록을 생성하는 단계와; 잔차 블록에 예측 블록을 가산하여 현재 복호화 대상이 되는 코딩 유닛에 대한 복원 블록을 생성하는 단계를 포함한다.

여기에서, 상기 산출된 인덱스는, 예측 유닛의 분할 모드에 대한 결정을 위한 인덱스들로부터 결정되고, 상기 예측 유닛의 분할 모드에 대한 결정을 위한 인덱스들은, 코딩 유닛을 분할하여 화면 내 예측을 수행할 단위인 예측 유닛의 분할 모드들에 할당될 수 있다.

여기에서, 상기 예측 유닛의 분할 모드들은, 코딩 유닛을 면적이 1:3의 비율을 가지는 두 개의 예측 유닛으로 분할하는 적어도 하나의 추가 분할 모드를 포함할 수 있다.

여기에서, 상기 예측 유닛의 분할 모드들은, 코딩 유닛을 네 개의 정방형(square) 블록들로 분할하고, 네 개의 정방형 블록들 중에서 하나를 제1 예측 유닛으로, 네 개의 정방형 블록들 중에서 3개를 제2 예측 유닛으로 하는 적어도 하나의 추가 분할 모드를 포함할 수 있다.

여기에서, 상기 코딩 유닛의 좌상측 영역을 포함하는 예측 유닛에 대한 화면 내 예측을 먼저 수행할 수 있다.

여기에서, 상기 예측 블록을 생성하는 단계는, 산출된 인덱스에 상응하는 예측 유닛의 분할 모드가 적어도 하나의 추가 분할 모드 중 하나인 경우, 현재 복호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 설정된 MPM(Most Probable Mode)을 활용하여 화면 내 예측을 수행할 수 있다.

여기에서, 상기 예측 블록을 생성하는 단계는, 산출된 인덱스에 상응하는 예측 유닛의 분할 모드가 적어도 하나의 추가 분할 모드 중 하나인 경우, 현재 복호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 한 참조 샘플(reference sample)을 활용하여 화면 내 예측을 수행할 수 있다.

여기에서, 상기 예측 블록을 생성하는 단계는, 산출된 인덱스에 상응하는 예측 유닛의 분할 모드가 상기 적어도 하나의 추가 분할 모드 중 하나인 경우, 현재 복호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하는 예측 유닛의 경우, 현재 복호화 대상이 되는 코딩 유닛의 좌측 및 상측에 인접한 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행하고, 현재 복호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛의 경우, 현재 복호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛의 좌측, 우측, 상측 및 하측에 인접한 픽셀 중에서 적어도 두 측 이상의 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행할 수 있다.

상기 다른 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 화면 내 예측을 이용한 비디오 복호화 방법은, 부호화된 비트스트림에 대한 복호화를 수행하여 잔차 블록 및 화면 내 예측(intra-prediction)의 수행을 위한 예측 유닛(Prediction Unit, PU)의 분할 모드에 대한 결정을 위한 인덱스를 산출하는 단계와; 산출한 인덱스에 상응하는 예측 유닛의 분할 모드에 따라 현재 복호화 대상이 되는 코딩 유닛(Coding Unit, CU)을 제1 예측 유닛과 제2 예측 유닛으로 분할하는 단계와; 제1 예측 유닛과 제2 예측 유닛에 기반하여 현재 복호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행하여 예측 블록을 생성하는 단계와; 잔차 블록에 예측 블록을 가산하여 현재 복호화 대상이 되는 코딩 유닛에 대한 복원 블록을 생성하는 단계를 포함한다.

상기와 같은 본 발명에 따른 화면 내 예측을 이용한 비디오 부호화/복호화 방법을 이용할 경우에는 화면 내 예측을 위한 예측 단위를 추가적으로 지원함으로써 다양한 패턴의 영상에 대한 부호화 효율을 향상시킬 수 있다.

도 1은 HEVC의 코딩 유닛을 설명하기 위한 개념도이다.
도 2는 HEVC의 PU의 분할 모드를 설명하기 위한 개념도이다.
도 3은 HEVC의 화면 내 예측 모드를 설명하기 위한 예시도이다.
도 4는 HEVC에서 MPM을 결정하기 위한 방법을 설명하기 위한 흐름도이다.
도 5는 특정 영역에서 화면 내 예측 모드가 다른 영상을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 화면 내 예측을 위한 예측 유닛의 추가 분할 모드를 설명하기 위한 예시도이다.
도 7은 본 발명의 실시예에 따른 화면 내 예측을 위한 예측 유닛의 추가 분할 모드에 기반한 Most Probable Mode(MPM)의 설정을 설명하기 위한 예시도이다.
도 8a 내지 도 8d는 본 발명의 실시예에 따른 화면 내 예측을 위한 예측 유닛의 추가 모드에 기반한 참조 샘플을 설명하기 위한 예시도이다.
도 9는 본 발명의 실시예에 따른 비디오 부호화 장치를 설명하기 위한 예시도이다.
도 10은 본 발명의 실시예에 따른 비디오 복호화 장치를 설명하기 위한 예시도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또 등과 같은 사용자 단말기이거나 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 화면간 또는 화면내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.

통상적으로 동영상은 일련의 픽쳐(Picture) 또는 프레임(frame)로 구성될 수 있으며, 각 픽쳐들은 유닛(unit), 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 화면 내 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 화면 내 예측 부호화란 현재 부호화를 수행하는 현재 픽쳐 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 화면 간 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 화면 간 예측 부호화란 하나 이상의 과거 픽쳐 또는 미래 픽쳐를 참조하여 현재 픽쳐 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽쳐를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다. 또한, 이하에 기재된 "픽쳐(picture)"이라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 또한, 본 발명에 있어서 참조가 되는 픽쳐는 복원된 픽쳐를 의미하는 것은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

더 나아가, 블록(block)이라는 용어는 HEVC 표준의 코딩 트리 유닛(Coding Tree Unit, CTU), 코딩 유닛(Coding Unit, CU), 예측 유닛(Prediction Unit, PU) 및 변환 유닛(Transform Unit, TU)을 포함하는 개념일 수 있다. CU는 부호화 기본 단위를 의미하고, PU는 예측 부호화의 기본 단위이며, TU는 변환 부호화의 기본 단위를 의미할 수 있다.

예를 들어, CTU가 64×64일 때, 이를 네 개의 32×32 블록으로 분할하여 부호화할 수 있는데, 이 때 각각의 32×32 블록이 CU에 해당할 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 2는 HEVC의 PU의 분할 모드를 설명하기 위한 개념도이고, 도 3은 HEVC의 화면 내 예측 모드를 설명하기 위한 예시도이며, 도 4는 HEVC에서 MPM을 결정하기 위한 방법을 설명하기 위한 흐름도이다.

도 2를 참조하면, HEVC의 예측 부호화의 기본 단위는 PU이며, 예측 모드에 따라 다양한 모양의 PU를 사용할 수 있다.

도 2 (a)는 사이즈가 2N×2N인 CU에 대한 PU 분할 모드를 도시하고, 도 2 (b)는 SCU(Smallest Coding Unit)(8×8)인 CU에 대한 PU 분할 모드를 도시한다.

먼저, 도 2 (a)를 참조하면, HEVC는 SCU(Smallest Coding Unit)보다 큰 2N×2N 사이즈의 CU에 대한 화면 간 예측을 위한 PU 분할 모드로 2N×2N, 2N×N, N×2N, N×N, 2N×nU, 2N×nD, nL×2N, nR×2N를 지원하고, 화면 내 예측을 위한 PU 분할 모드로 2N×2N을 지원한다.

다음으로, 도 2 (b)를 참조하면, HEVC는 SCU(Smallest Coding Unit)(8×8)인 CU에 대한 PU 분할 모드로 8×8, 8×4, 4×8을 지원하고, 화면 내 예측을 위한 PU 분할 모드로 8×8, 4×4을 지원한다.

다음의 표 1은 HEVC에서 화면 내 예측을 위한 PU 분할 모드에 부여된 인덱스를 나타낸다.

상세하게는, HEVC의 화면 내 예측에서 PU 분할 모드에 따른 인덱스 할당 방법은 다음과 같다. 현재 CU가 SCU인 경우, 2N×2N, N×N와 같은 PU 분할 모드를 적용할 수 있다. 또한, 현재 CU가 SCU보다 큰 경우에는, 항상 2N×2N와 같은 PU 분할 모드를 적용하므로, 이와 같은 경우에는 PU 분할 모드에 대한 정보를 부호화할 필요가 없다.

Prediction mode	CU size	PartMode	part_mode
MODE_INTRA	> SCU	PART_2Nx2N	-
	> SCU	PART_NxN	-
	== SCU	PART_2Nx2N	0
	== SCU	PART_NxN	1

도 3을 참조하면, HEVC는 화면 내 예측을 위해 총 35개의 예측 모드를 지원하며, 이 중에서 33개는 방향성을 가지는 예측 모드(Intra_Angular 모드)이며, 나머지 2개는 비방향성 예측 모드(Intra_Planar 모드 및 Intra_DC 모드)이다.

도 4를 참조하면, HEVC는 총 3개의 MPM(Most Probable Mode)을 사용하여 현재 CU에 대한 화면 내 예측 모드를 결정할 수 있다.

HEVC는 기존의 화면 내 예측 기법 보다 많은 3개의 MPM(Most Probable Mode)를 사용하여 화면 내 예측 모드를 결정할 수 있다.

상세하게는, 현재 부호화 대상인 PU(현재 PU)를 기준으로 좌측 및 상측에 위치한 블록을 기준으로 MPM을 결정할 수 있다. 도 4에서 A는 현재 PU의 좌측에 위치한 블록의 화면 내 예측 모드를 의미하고, B는 현재 PU의 상측에 위치한 블록의 화면 내 예측 모드를 의미할 수 있다. 따라서, A와 B가 동일한지 여부, 여부, A 또는 B가 DC 모드인지 여부, A 또는 B가 Planar 모드인지 여부 등을 판단하여 3개의 MPM(MPM[0], MPM[1], MPM[2])을 결정할 수 있다.

다음의 표 2는 HEVC에서 화면 내 예측 모드에 대한 이진화를 나타낸다.

표 2를 참조하면, 현재 PU의 화면 내 예측 방향을 부호화 할 때, MPM과 같은 방향을 사용하였으면 prev_intra_pred_flag를 '1'로 설정하고 어떤 MPM을 사용하였는지 MPM의 색인 정보를 부호화한다. 또한, MPM과 다른 방향을 사용하였으면 prev_intra_pred_flag를 '0'으로 설정하고 MPM의 모드를 제외하고 남은 화면 내 예측 모드를 부호화한다.

prev _ intra _ pred _flag	mpm _ idx	Binarization
1	0	1
	1	00
	2	01
prev _ intra _ pred _flag	rem_ intra _ pred _mode	Binarization
0	0	00000
	1	00001
	...	...
	31	11111

도 5는 특정 영역에서 화면 예측 모드가 다른 영상을 설명하기 위한 예시도이다.

도 5를 참조하면, 32×32의 현재 CU는 4개의 16×16의 CU로 구획될 수 있다. 먼저, 도 5 (a)를 보면, 4개의 16×16의 CU 중에서 제1 사분면에 위치한 CU의 화면 내 예측 모드만이 다른 3개의 CU와 다르다. 또한, 도 5 (b)를 보면, 4개의 16×16의 CU 중에서 제4 사분면에 위치한 CU의 화면 내 예측 모드만이 다른 3개의 CU와 다르다.

도 5와 같은 패턴을 가진 영상의 경우 기존의 화면 내 예측을 위한 PU 분할 모드만을 이용하여 부호화하는 것은 효율적이지 못하다.

상세하게는, 기존의 화면 내 예측을 위한 PU 분할 방법은 2N×2N 또는 N×N 으로의 분할만을 지원한다.

기존의 화면 내 예측을 위한 PU 분할 방법을 적용한 경우, 32×32의 CU에서는 기존의 PU 분할 방법(즉, 2N×2N)이 효율적이지 못하기 때문에, 4개의 16×16의 CU들로 분할되며, 분할된 4개의 CU들 중 3개는 동일한 화면 내 예측 모드를 가지고 있고, 나머지 한 개의 CU에 대해서만 다른 화면 내 예측 모드를 가진다. 따라서, 이러한 경우 상위 크기의 CU를 사용하여 부호화할 수 없기 때문에 4개의 분할된 CU들을 이용하여 화면 내 예측 모드를 전송해야 한다. 또한, 여러 플래그나 각 CU의 화면 내 예측 모드를 전송하기 위한 추가 비트를 사용해야 하므로 비효율적이다.

따라서, 본 발명은 도 5와 같은 영상의 경우, 기존 비디오 코딩의 화면 내 예측을 위한 PU 분할 모드에 추가적인 PU 분할 모드를 지원함으로써 부호화 효율을 향상시킬 수 있다. 또한, 본 발명은 이에 따른 추가적인 PU 분할 모드와 이에 따른 MPM 후보 리스트 및 참조 샘플의 선정 방법을 제안하다.

도 6은 본 발명의 실시예에 따른 화면 내 예측을 위한 예측 유닛의 추가 분할 모드를 설명하기 위한 예시도이다.

도 6을 참조하면, 기존 비디오 코딩에서 고려되던 화면 내 예측의 PU 분할 모드에 4개의 추가적인 PU 분할 모드를 추가할 수 있다.

상세하게는, 현재 CU는 면적을 달리하는 두 개의 PU로 분할될 수 있고, 분할된 PU는 P0 및 P1로 표시될 수 있다. 상술한 도 5와 같은 패턴을 가진 영상은 특정 영역의 화면 내 예측 모드가 다른 영역들과 다를 수 있고, 이러한 영상의 경우 도 6과 같은 추가적인 PU 분할 모드를 적용함으로써 부호화 효율을 향상시킬 수 있다.

본 발명의 실시예에 따른 현재 CU의 PU 분할 모드는 4개의 타입을 가질 수 있고, 이들은 AddType0, AddType1, AddType2 및 AddType3와 같이 표시될 수 있다.

보다 상세하게는, 현재 CU는 네 개의 정방형(square) 블록들로 분할되고, 네 개의 정방형 블록들 중에서 하나를 제1 예측 유닛으로 하고, 네 개의 정방형 블록들 중에서 3개를 제2 예측 유닛으로 할 수 있다. 따라서, 제1 예측 블록과 제2 예측 블록 사이의 면적의 비율은 1:3이 될 수 있다.

예를 들어, AddType0은 우측 상단 영역의 예측 유닛(P1)이 제1 예측 유닛이 되고, 나머지 영역을 차지하는 예측 유닛(P0)이 제2 예측 유닛이 될 수 있다.

AddType1은 우측 하단 영역의 예측 유닛(P1)이 제1 예측 유닛이 되고, 나머지 영역을 차지하는 예측 유닛(P)이 제2 예측 유닛이 될 수 있다.

AddType2는 좌측 상단 영역의 예측 유닛(P0)이 제1 예측 유닛이 되고, 나머지 영역을 차지하는 예측 유닛(P1)이 제2 예측 유닛이 될 수 있다.

AddType3은 좌측 하단 영역의 예측 유닛(P1)이 제1 예측 유닛이 되고, 나머지 영역을 차지하는 예측 유닛(P0)이 제2 예측 예측 유닛이 될 수 있다.

또한 추가적인 PU 분할 모드의 적용 여부를 결정하는 플래그는 상위 파라미터에 시그널링할 수 있다.

본 발명에서는 기존 비디오 코딩의 화면 내 예측에서 사용하던 PU 분할 모드에 추가적인 PU 분할 모드를 적용하기 위하여 다음의 표 3과 같이 PU 분할 모드에 따른 인덱스를 할당할 수 있다.

Prediction mode	CU size	PartMode	part_mode
MODE_INTRA	> SCU	PART_2Nx2N	0
		AddType _0	1
		AddType _1	2
		AddType _2	3
		AddType _3	4
		PART_NxN	-
	== SCU	PART_2Nx2N	0
		AddType _0	1
		AddType _1	2
		AddType _2	3
		AddType _3	4
		PART_NxN	5

상기 표 3과 같이 추가된 PU 분할 모드는 모든 CU 크기에 대해서 적용할 수 있으며, 추가된 PU 분할 모드는 N×N 보다 낮은 PU 분할 모드 인덱스를 가질 수 있다.

다만, 상기 표 3에 따른 PU 분할 모드의 인덱스를 할당하는 방법은 한 가지 예시일 뿐이며, 도 6에서 제안한 추가적인 PU 분할 모드들 전부 또는 일부만을 활용할 수도 있다. 또한, 추가되는 PU 분할 모드의 인덱스 할당 방법은 상기 표 3에 따른 형식에 제한되지 않는다.

도 7은 본 발명의 실시예에 따른 화면 내 예측을 위한 예측 유닛의 추가 분할 모드에 기반한 Most Probable Mode(MPM)의 설정을 설명하기 위한 예시도이다.

도 7을 참조하면, 추가적인 PU 분할 모드로부터 결정된 예측 유닛의 분할 모드에 따라 분할한 현재 부호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 설정된 MPM(Most Probable Mode)를 활용할 수 있다.

상세하게는, 도 7에 도시된 바와 같이 PU 분할 모드에 따라 예측 유닛의 좌측과 상측의 화면 내 예측 모드를 사용하여 MPM을 계산할 수 있다.

예를 들어, 도 7 (a)에 도시된 AddType0의 경우, 먼저 PO 블록의 MPM은 P0 블록의 좌측인 Left_of_P0의 화면 내 예측 모드와 상측인 Above_of_P0의 화면 내 예측 모드를 사용하여 계산할 수 있다. 그 다음, P1 블록의 MPM은 P1 블록의 좌측인 Left_of_P1의 화면 내 예측 모드와 상측인 Above_of_P1의 화면 내 예측 모드를 사용하여 계산할 수 있다.

또한, 도 7 (c) 및 (d)에 도시된 AddType2 및 AddType3의 경우에도, 먼저 PO 블록의 MPM은 P0 블록의 좌측인 Left_of_P0의 화면 내 예측 모드와 상측인 Above_of_P0의 화면 내 예측 모드를 사용하여 계산할 수 있다. 그 다음, P1 블록의 MPM은 P1 블록의 좌측인 Left_of_P1의 화면 내 예측 모드와 상측인 Above_of_P1의 화면 내 예측 모드를 사용하여 계산할 수 있다.

다만, 도 7 (b)에 도시된 AddType1의 경우에는, 먼저 PO 블록의 MPM은 P0 블록의 좌측인 Left_of_P0의 화면 내 예측 모드와 상측인 Above_of_P0의 화면 내 예측 모드를 사용하여 계산할 수 있다. 그러나, P1 블록의 MPM은 P1 블록의 좌측인 Left_of_P1의 화면 내 예측 모드와 PO 블록의 상측인 Above_of_P1의 화면 내 예측 모드를 사용하여 계산할 수 있다. 즉, P1 블록의 상측은 P1 블록의 좌측과 동일한 화면 내 예측 모드를 가지므로 사용할 수 없다.

또한, 도 7은 화면 내 예측을 위한 MPM 계산을 위해 사용되는 주변 블록의 위치 및 개수를 나타내나, 본 발명의 MPM 계산 방법은 도 7의 설명에 한정되는 것은 아니다.

도 8a 내지 도 8d는 본 발명의 실시예에 따른 화면 내 예측을 위한 예측 유닛의 추가 모드에 기반한 참조 샘플을 설명하기 위한 예시도이다.

도 8a 내지 도 8d를 참조하면, 추가 분할 모드로부터 결정된 예측 유닛의 분할 모드에 따라 분할한 현재 부호화/복호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 한 참조 샘플(reference sample)을 활용하여 화면 내 예측을 수행할 수 있다.

보다 상세하게는, 현재 부호화/복호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하는 예측 유닛의 경우, 현재 부호화/복호화 대상이 되는 코딩 유닛의 좌측 및 상측에 인접한 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행할 수 있다.

또한, 현재 부호화/복호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛은, 현재 부호화/복호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛의 좌측, 우측, 상측 및 하측에 인접한 픽셀 중에서 적어도 두 측 이상의 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행할 수 있다.

예를 들어, 도 8a의 AddType0의 경우, P0 블록의 좌측 및 상측에 인접한 픽셀을 참조 샘플로 활용하여 P0 블록에 대한 화면 내 예측을 수행할 수 있고, P1 블록의 좌측, 상측 및 하측에 인접한 픽셀을 참조 샘플로 활용하여 P1 블록에 대한 화면 내 예측을 수행할 수 있다.

도 8b의 AddType1의 경우, P0 블록의 좌측 및 상측에 인접한 픽셀을 참조 샘플로 활용하여 P0 블록에 대한 화면 내 예측을 수행할 수 있고, P1 블록의 좌측 및 상측에 인접한 픽셀을 참조 샘플로 활용하여 P1 블록에 대한 화면 내 예측을 수행할 수 있다.

도 8c의 AddType2의 경우, P0 블록의 좌측 및 상측에 인접한 픽셀을 참조 샘플로 활용하여 P0 블록에 대한 화면 내 예측을 수행할 수 있고, P1 블록의 좌측 및 상측에 인접한 픽셀을 참조 샘플로 활용하여 P1 블록에 대한 화면 내 예측을 수행할 수 있다.

도 8d의 AddType3의 경우, P0 블록의 좌측 및 상측에 인접한 픽셀을 참조 샘플로 활용하여 P0 블록에 대한 화면 내 예측을 수행할 수 있고, P1 블록의 좌측, 상측 및 우측에 인접한 픽셀을 참조 샘플로 활용하여 P1 블록에 대한 화면 내 예측을 수행할 수 있다.

따라서, 본 발명의 실시예에 따르면, 기존 비디오 코딩의 화면 내 예측의 기법과 달리 예측 유닛의 하측 또는 우측에 인접한 픽셀을 참조 샘플로 활용할 수 있다.

도 9는 본 발명의 실시예에 따른 비디오 부호화 장치를 설명하기 위한 예시도이다.

도 9를 참조하면, 본 발명의 실시예에 따른 영상 부호화 장치는, 감산부(110), 변환부(120), 양자화부(130), 역양자화부(131), 역변환부(121), 엔트로피 부호화부(140), 가산부(150), 인루프 필터부(160), 프레임 메모리(170), 인트라 예측부(180) 및 인터 예측부(190)를 포함한다.

감산부(110)은 제공받은 입력 영상인 부호화할 대상 영상(현재 영상)으로부터 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상을 감산함으로써 현재 영상과 예측 영상 간의 잔차 영상(residue image)을 생성한다.

변환부(120)는 감산부(110)에 의해 생성된 잔차 영상을 공간 영역에서 주파수 영역으로 변환하는 기능을 한다. 여기서, 변환부(120)는 하다마드 변환, 이산 여현 변환(Discrete Cosine Transform), 이산 사인 변환(Discrete Cosine Transform) 등과 같이 공간축의 화상 신호를 주파수축으로 변환하는 기법을 이용하여 잔차 영상을 주파수 영역으로 변환할 수 있다.

양자화부(130)는 변환부(120)로부터 제공되는 변환된 데이터(주파수 계수)에 대해 양자화를 수행한다. 즉, 양자화부(130)는 변환부(120)에 의해 변환된 데이터인 주파수 계수들을 양자화 스텝사이즈(Quantization Step-Size)로 나누어 근사화하여 양자화 결과값을 산출한다.

엔트로피 부호화부(140)는 양자화부(130)에 의하여 산출된 양자화 결과값을 엔트로피 부호화함으로써 비트스트림을 생성한다. 또한, 엔트로피 부호화부(140)는 양자화부(130)에 의해 산출된 양자화 결과값을 CAVLC(Context-Adaptive Variable Length Coding) 또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 기법 등을 이용하여 엔트로피 부호화할 수 있으며, 양자화 결과값 이외에 영상을 복호화하는데 필요한 정보를 엔트로피 부호화할 수 있다.

역양자화부(131)은 양자화부(130)에 의해 산출된 양자화 결과값을 역양자화한다. 즉, 역양자화부(131)은 양자화 결과값으로부터 주파수 영역의 값(주파수 계수)을 복원한다.

역변환부(121)는 역양자화부(131)에 제공받은 주파수 영역의 값(주파수 계수)을 주파수 영역에서 공간 영역으로 변환함으로써 잔차 영상을 복원하고, 가산부(150)는 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상에 역변환부(121)에 의해 복원된 잔차 영상을 가산함으로써 입력 영상의 복원 영상을 생성하여 프레임 메모리(170)에 저장한다.

인트라 예측부(180)는 화면 내 예측(Intra Prediction)을 수행하며, 인터 예측부(190)는 화면 간 예측(Inter Prediction)을 위한 움직임 벡터를 보상할 수 있다. 여기서, 인트라 예측부(180)와 인터 예측부(190)를 예측부로 통칭할 수 있다.

인트라 예측부(180)는 코딩 유닛(Coding Unit, CU)를 분할하여 화면 내 예측(intra-prediction)을 수행할 단위인 예측 유닛(Prediction Unit, PU)의 분할 모드들을 설정할 수 있다.

또한, 인트라 예측부(180)는 설정된 예측 유닛의 분할 모드들 중에서 현재 부호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행할 예측 유닛의 분할 모드를 결정할 수 있고, 결정된 예측 유닛의 분할 모드에 따라 현재 부호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행할 수 있다.

인트라 예측부(180)는 면적이 1:3의 비율을 가지는 두 개의 예측 유닛으로 코딩 유닛을 분할하는 적어도 하나의 추가 분할 모드를 포함시켜 예측 유닛의 분할 모드들을 설정할 수 있다.

예를 들어, 인트라 예측부(180)는 코딩 유닛을 네 개의 정방형(square) 블록들로 분할하고, 네 개의 정방형 블록들 중에서 하나를 제1 예측 유닛으로, 네 개의 정방형 블록들 중에서 3개를 제2 예측 유닛으로 하는 적어도 하나의 추가 분할 모드를 포함시켜 예측 유닛의 분할 모드들을 설정할 수 있다.

또한, 제1 예측 유닛과 상기 제2 예측 유닛은, 코딩 유닛의 좌상측 영역에 대한 포함 여부를 기준으로 화면 내 예측의 순서가 설정될 수 있다. 예를 들어, 코딩 유닛의 좌상측 영역을 포함하는 예측 유닛에 대한 화면 내 예측을 먼저 수행하는 것으로 설정될 수 있다.

또한, 인트라 예측부(180)는 적어도 하나의 추가 분할 모드로부터 결정된 예측 유닛의 분할 모드에 따라 분할한 현재 부호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 설정된 MPM(Most Probable Mode)을 활용할 수 있다.

또한, 인트라 예측부(180)는 적어도 하나의 추가 분할 모드로부터 결정된 예측 유닛의 분할 모드에 따라 분할한 현재 부호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 한 참조 샘플(reference sample)을 활용하여 화면 내 예측을 수행할 수 있다. 예를 들어, 인트라 예측부(180)는 현재 부호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하는 예측 유닛의 경우, 현재 부호화 대상이 되는 코딩 유닛의 좌측 및 상측에 인접한 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행하고, 현재 부호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛의 경우, 현재 부호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛의 좌측, 우측, 상측 및 하측에 인접한 픽셀 중에서 적어도 두 측 이상의 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행할 수 있다.

인루프 필터부(160)는 복원된 영상에 대한 필터링을 수행하는 것으로, 디블록킹 필터(DF: Deblocking Filter), 샘플 적응적 오프셋(SAO: Sample Adaptive Offset)를 포함하여 구성될 수 있다.

도 10은 본 발명의 실시예에 따른 비디오 복호화 장치를 설명하기 위한 예시도이다.

도 10을 참조하면, 본 발명의 실시예에 따른 영상 복호화 장치는, 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 가산부(240), 인루프 필터부(250), 프레임 메모리(260), 인트라 예측부(270) 및 인터 예측부(280)를 포함할 수 있다. 여기서, 인트라 예측부(270) 및 인터 예측부(280)는 예측부로 통칭될 수 있다.

엔트로피 복호화부(210)는 부호화된 비트스트림에 대한 복호화를 수행하여 잔차 블록 및 화면 내 예측(intra-prediction)의 수행을 위한 예측 유닛(Prediction Unit, PU)의 분할 모드에 대한 결정을 위한 인덱스를 산출할 수 있다.

인트라 예측부(270)는 산출된 인덱스에 상응하는 예측 유닛의 분할 모드에 따라 현재 복호화 대상이 되는 코딩 유닛(Coding Unit, CU)에 대한 화면 내 예측을 수행하여 예측 블록을 생성할 수 있다.

상세하게는, 엔트로피 복호화부(210)로부터 산출된 인덱스는, 예측 유닛의 분할 모드에 대한 결정을 위한 인덱스들로부터 결정될 수 있다. 또한, 예측 유닛의 분할 모드에 대한 결정을 위한 인덱스들은, 코딩 유닛을 분할하여 화면 내 예측을 수행할 단위인 예측 유닛의 분할 모드들에 할당될 수 있다.

예를 들어, 예측 유닛의 분할 모드들은, 코딩 유닛을 면적이 1:3의 비율을 가지는 두 개의 예측 유닛으로 분할하는 적어도 하나의 추가 분할 모드를 포함할 수 있다.

또한, 예측 유닛의 분할 모드들은, 코딩 유닛을 네 개의 정방형(square) 블록들로 분할하고, 네 개의 정방형 블록들 중에서 하나를 제1 예측 유닛으로, 상기 네 개의 정방형 블록들 중에서 3개를 제2 예측 유닛으로 하는 적어도 하나의 추가 분할 모드를 포함할 수 있다. 여기에서, 제1 예측 유닛과 제2 예측 유닛은, 코딩 유닛의 좌상측 영역에 대한 포함 여부를 기준으로 화면 내 예측의 순서가 설정될 수 있다. 예를 들어, 코딩 유닛의 좌상측 영역을 포함하는 예측 유닛에 대한 화면 내 예측을 먼저 수행할 수 있다.

또한, 인트라 예측부(270)는 산출된 인덱스에 상응하는 예측 유닛의 분할 모드가 적어도 하나의 추가 분할 모드 중 하나인 경우, 현재 복호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 설정된 MPM(Most Probable Mode)을 활용하여 화면 내 예측을 수행할 수 있다.

또한, 인트라 예측부(270)는 산출된 인덱스에 상응하는 예측 유닛의 분할 모드가 적어도 하나의 추가 분할 모드 중 하나인 경우, 현재 복호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 한 참조 샘플(reference sample)을 활용하여 화면 내 예측을 수행할 수 있다. 예를 들어, 인트라 예측부(270)는 산출된 인덱스에 상응하는 예측 유닛의 분할 모드가 적어도 하나의 추가 분할 모드 중 하나인 경우, 현재 복호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하는 예측 유닛의 경우, 상기 현재 복호화 대상이 되는 코딩 유닛의 좌측 및 상측에 인접한 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행하고, 현재 복호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛의 경우, 현재 복호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛의 좌측, 우측, 상측 및 하측에 인접한 픽셀 중에서 적어도 두 측 이상의 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행할 수 있다.

가산부(240)는 잔차 블록에 예측 블록을 가산하여 현재 복호화 대상이 되는 코딩 유닛에 대한 복원 블록을 생성할 수 있다.

한편, 도 10의 영상 복호화 장치의 각 구성 요소는 도 9의 영상 부호화 장치의 구성 요소와 각각 대응되어 이해될 수 있으므로 상세한 설명한 생략한다.

또한, 상술한 본 발명의 실시예에 따른 영상 부호화 장치와 영상 복호화 장치의 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개가 합쳐져 하나의 프로세서로 이루어지거나, 하나의 구성부가 복수개의 프로세서로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.

그리고, 본 발명에 따른 영상 부호화 장치와 영상 복호화 장치는, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.

상술한 본 발명에 따른 화면 내 예측을 이용한 비디오 부호화/복호화 방법을 이용할 경우에는 화면 내 예측을 위한 예측 단위를 추가적으로 지원함으로써 다양한 패턴의 영상에 대한 부호화 효율을 향상킬 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

110: 감산부 120: 변환부
121, 230: 역변환부 130: 양자화부
131, 220: 역양자화부 140: 엔트로피 부호화부
150, 240: 가산부 160, 250: 인루프 필터부
170, 260: 프레임 메모리 180: 인트라 예측부
190, 280: 인터 예측부 210: 엔트로피 복호화부

Claims

화면 내 예측을 이용한 비디오 부호화 방법에 있어서,
코딩 유닛(Coding Unit, CU)를 분할하여 화면 내 예측(intra-prediction)을 수행할 단위인 예측 유닛(Prediction Unit, PU)의 분할 모드들을 설정하는 단계;
상기 설정된 예측 유닛의 분할 모드들 중에서 현재 부호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행할 예측 유닛의 분할 모드를 결정하는 단계; 및
상기 결정된 예측 유닛의 분할 모드에 따라 상기 현재 부호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행하는 단계를 포함하는, 비디오 부호화 방법.
청구항 1에 있어서,
상기 예측 유닛의 분할 모드들을 설정하는 단계는,
면적이 1:3의 비율을 가지는 두 개의 예측 유닛으로 상기 코딩 유닛을 분할하는 적어도 하나의 추가 분할 모드를 포함시켜 설정하는 것을 특징으로 하는, 비디오 부호화 방법.
청구항 1에 있어서,
상기 예측 유닛의 분할 모드들을 설정하는 단계는,
상기 코딩 유닛을 네 개의 정방형(square) 블록들로 분할하고, 상기 네 개의 정방형 블록들 중에서 하나를 제1 예측 유닛으로, 상기 네 개의 정방형 블록들 중에서 3개를 제2 예측 유닛으로 하는 적어도 하나의 추가 분할 모드를 포함시켜 설정하는 것을 특징으로 하는, 비디오 부호화 방법.
청구항 3에 있어서,
상기 제1 예측 유닛과 상기 제2 예측 유닛은,
상기 코딩 유닛의 좌상측 영역에 대한 포함 여부를 기준으로 화면 내 예측의 순서가 설정되는 것을 특징으로 하는, 비디오 부호화 방법.
청구항 3에 있어서,
상기 코딩 유닛의 좌상측 영역을 포함하는 예측 유닛에 대한 화면 내 예측을 먼저 수행하는 것으로 설정되는 것을 특징으로 하는, 비디오 부호화 방법.
청구항 3에 있어서,
상기 현재 부호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행하는 단계는,
상기 적어도 하나의 추가 분할 모드로부터 결정된 예측 유닛의 분할 모드에 따라 분할한 상기 현재 부호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 설정된 MPM(Most Probable Mode)을 활용하는 것을 특징으로 하는, 비디오 부호화 방법.
청구항 3에 있어서,
상기 현재 부호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행하는 단계는,
상기 적어도 하나의 추가 분할 모드로부터 결정된 예측 유닛의 분할 모드에 따라 분할한 상기 현재 부호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 한 참조 샘플(reference sample)을 활용하여 화면 내 예측을 수행하는 것을 특징으로 하는, 비디오 부호화 방법.
청구항 7에 있어서,
상기 현재 부호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행하는 단계는,
상기 현재 부호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하는 예측 유닛의 경우, 상기 현재 부호화 대상이 되는 코딩 유닛의 좌측 및 상측에 인접한 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행하고,
상기 현재 부호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛의 경우, 상기 현재 부호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛의 좌측, 우측, 상측 및 하측에 인접한 픽셀 중에서 적어도 두 측 이상의 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행하는 것을 특징으로 하는, 비디오 부호화 방법.
화면 내 예측을 이용한 비디오 복호화 방법에 있어서,
부호화된 비트스트림에 대한 복호화를 수행하여 잔차 블록 및 화면 내 예측(intra-prediction)의 수행을 위한 예측 유닛(Prediction Unit, PU)의 분할 모드에 대한 결정을 위한 인덱스를 산출하는 단계;
상기 산출된 인덱스에 상응하는 예측 유닛의 분할 모드에 따라 현재 복호화 대상이 되는 코딩 유닛(Coding Unit, CU)에 대한 화면 내 예측을 수행하여 예측 블록을 생성하는 단계; 및
상기 잔차 블록에 상기 예측 블록을 가산하여 상기 현재 복호화 대상이 되는 코딩 유닛에 대한 복원 블록을 생성하는 단계를 포함하는, 비디오 복호화 방법.
청구항 9에 있어서,
상기 산출된 인덱스는, 예측 유닛의 분할 모드에 대한 결정을 위한 인덱스들로부터 결정되고,
상기 예측 유닛의 분할 모드에 대한 결정을 위한 인덱스들은, 코딩 유닛을 분할하여 화면 내 예측을 수행할 단위인 예측 유닛의 분할 모드들에 할당되는 것을 특징으로 하는, 비디오 복호화 방법.
청구항 10에 있어서,
상기 예측 유닛의 분할 모드들은,
상기 코딩 유닛을 면적이 1:3의 비율을 가지는 두 개의 예측 유닛으로 분할하는 적어도 하나의 추가 분할 모드를 포함하는 것을 특징으로 하는, 비디오 복호화 방법.
청구항 10에 있어서,
상기 예측 유닛의 분할 모드들은,
상기 코딩 유닛을 네 개의 정방형(square) 블록들로 분할하고, 상기 네 개의 정방형 블록들 중에서 하나를 제1 예측 유닛으로, 상기 네 개의 정방형 블록들 중에서 3개를 제2 예측 유닛으로 하는 적어도 하나의 추가 분할 모드를 포함하는 것을 특징으로 하는, 비디오 복호화 방법.
청구항 12에 있어서,
상기 제1 예측 유닛과 상기 제2 예측 유닛은,
상기 코딩 유닛의 좌상측 영역에 대한 포함 여부를 기준으로 화면 내 의 순서가 설정되는 것을 특징으로 하는, 비디오 복호화 방법.
청구항 12에 있어서,
상기 코딩 유닛의 좌상측 영역을 포함하는 예측 유닛에 대한 화면 내 예측을 먼저 수행하는 것을 특징으로 하는, 비디오 복호화 방법.
청구항 12에 있어서,
상기 예측 블록을 생성하는 단계는,
상기 산출된 인덱스에 상응하는 예측 유닛의 분할 모드가 상기 적어도 하나의 추가 분할 모드 중 하나인 경우,
상기 현재 복호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 설정된 MPM(Most Probable Mode)을 활용하여 화면 내 예측을 수행하는 것을 특징으로 하는, 비디오 복호화 방법.
청구항 12에 있어서,
상기 예측 블록을 생성하는 단계는,
상기 산출된 인덱스에 상응하는 예측 유닛의 분할 모드가 상기 적어도 하나의 추가 분할 모드 중 하나인 경우,
상기 현재 복호화 대상이 되는 코딩 유닛을 위한 제1 예측 유닛과 제 2 예측 유닛의 경계를 기준으로 한 참조 샘플(reference sample)을 활용하여 화면 내 예측을 수행하는 것을 특징으로 하는, 비디오 복호화 방법.
청구항 16에 있어서,
상기 예측 블록을 생성하는 단계는,
상기 산출된 인덱스에 상응하는 예측 유닛의 분할 모드가 상기 적어도 하나의 추가 분할 모드 중 하나인 경우,
상기 현재 복호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하는 예측 유닛의 경우, 상기 현재 복호화 대상이 되는 코딩 유닛의 좌측 및 상측에 인접한 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행하고,
상기 현재 복호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛의 경우, 상기 현재 복호화 대상이 되는 코딩 유닛의 좌상측 영역을 포함하지 않는 예측 유닛의 좌측, 우측, 상측 및 하측에 인접한 픽셀 중에서 적어도 두 측 이상의 픽셀을 참조 샘플로 활용하여 화면 내 예측을 수행하는 것을 특징으로 하는, 비디오 복호화 방법.
화면 내 예측을 이용한 비디오 복호화 방법에 있어서,
부호화된 비트스트림에 대한 복호화를 수행하여 잔차 블록 및 화면 내 예측(intra-prediction)의 수행을 위한 예측 유닛(Prediction Unit, PU)의 분할 모드에 대한 결정을 위한 인덱스를 산출하는 단계;
상기 산출한 인덱스에 상응하는 예측 유닛의 분할 모드에 따라 현재 복호화 대상이 되는 코딩 유닛(Coding Unit, CU)을 제1 예측 유닛과 제2 예측 유닛으로 분할하는 단계;
상기 제1 예측 유닛과 상기 제2 예측 유닛에 기반하여 상기 현재 복호화 대상이 되는 코딩 유닛에 대한 화면 내 예측을 수행하여 예측 블록을 생성하는 단계; 및
상기 잔차 블록에 상기 예측 블록을 가산하여 상기 현재 복호화 대상이 되는 코딩 유닛에 대한 복원 블록을 생성하는 단계를 포함하는, 비디오 복호화 방법.
청구항 18에 있어서,
상기 제1 예측 유닛과 상기 제2 예측 유닛은,
상기 현재 복호화 대상이 되는 코딩 유닛을 네 개의 정방형(square) 블록들로 분할하고, 상기 네 개의 정방형 블록들 중에서 하나를 상기 제1 예측 유닛으로, 상기 네 개의 정방형 블록들 중에서 3개를 상기 제2 예측 유닛으로 하는 것을 특징으로 하는, 비디오 복호화 방법.