KR20230166899A

KR20230166899A - 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Info

Publication number: KR20230166899A
Application number: KR1020230057893A
Authority: KR
Inventors: 허진; 박승욱
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2022-05-30
Filing date: 2023-05-03
Publication date: 2023-12-07

Abstract

본 발명에서, 현재 색차 블록의 참조 블록으로부터 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹을 결정하는 단계, 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보를 인트라 예측 모드 후보의 우선 순위에 따라 재정렬하는 단계, 색차 인트라 예측 모드 후보 그룹으로부터 현재 색차 블록의 인트라 예측 모드를 나타내는 색차 인트라 예측 모드 정보를 획득하는 단계, 및 색차 인트라 예측 모드 정보에 기초하여, 현재 색차 블록의 인트라 예측 모드를 결정하는 단계를 포함하는 영상 복호화 방법이 제공된다.

Description

영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 {METHOD AND APPARATUS FOR ENCODING/DECODING IMAGE AND RECORDING MEDIUM FOR STORING BITSTREAM}

본 발명은 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체에 관한 것이다. 구체적으로, 본 발명은 색차 화면 내 예측 방법을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체에 관한 것이다

최근 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 더 높은 해상도 및 화질을 갖는 영상에 대한 고효율 영상 부호화(encoding)/복호화(decoding) 기술이 요구된다.

영상의 인트라 예측에 있어서, 블록의 색 성분에 따라 다른 인트라 예측 모드 결정 방법이 사용될 필요가 있다. 휘도 블록의 경우, 색차 블록에 대하여 독립적으로 인트라 예측 모드가 결정되며, 영상 코덱에서 지원되는 인트라 예측 모드가 모두 인트라 예측 모드 후보로 적용될 수 있다. 그러나, 색차 블록의 경우, 대응되는 휘도 블록과 유사성이 높으므로, 대응되는 휘도 블록을 참조하여 적용가능한 인트라 예측 모드 후보를 제한함으로써, 부호화 효율을 향상시키는 방안이 논의되고 있다.

본 발명은 부호화/복호화 효율이 향상된 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 본 발명에서 제공된 영상 복호화 방법 또는 장치에 의해 생성된 비트스트림을 저장한 기록 매체를 제공하는 것을 목적으로 한다.

본 발명의 일 실시예에 따른 영상 복호화 방법은, 현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹을 결정하는 단계, 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보를 상기 인트라 예측 모드 후보의 우선 순위에 따라 재정렬하는 단계, 상기 색차 인트라 예측 모드 후보 그룹으로부터 상기 현재 색차 블록의 인트라 예측 모드를 나타내는 색차 인트라 예측 모드 정보를 획득하는 단계, 및 상기 색차 인트라 예측 모드 정보에 기초하여, 상기 현재 색차 블록의 인트라 예측 모드를 결정하는 단계를 포함할 수 있다.

일 실시 예에 따르면, 상기 현재 색차 블록의 상기 참조 블록은, 상기 현재 색차 블록에 대응되는 현재 휘도 블록으로부터 분할된 복수의 휘도 블록을 포함하는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 복수의 휘도 블록은 상기 현재 색차 블록의 복수의 참조 위치에 대응되고, 상기 복수의 참조 위치는 중앙 위치, 좌상측 위치, 우상측 위치, 좌하측 위치, 및 우하측 위치 중 적어도 둘을 포함하는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 현재 색차 블록의 상기 참조 블록은, 상기 현재 색차 블록에 인접한 색차 블록을 포함하는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 현재 색차 블록에 인접한 블록은, 상기 현재 색차 블록의 좌측 색차 블록, 상측 색차 블록, 좌하측 색차 블록, 우상측 색차 블록, 및 좌상측 색차 블록 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 현재 색차 블록의 상기 참조 블록은, 상기 현재 색차 블록에 대응되는 현재 휘도 블록에 인접한 휘도 블록을 포함하는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 현재 휘도 블록에 인접한 블록은, 상기 현재 휘도 블록의 좌측 휘도 블록, 상측 휘도 블록, 좌하측 휘도 블록, 우상측 휘도 블록, 및 좌상측 휘도 블록 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹을 결정하는 단계는, 상기 현재 색차 블록의 참조 블록의 인트라 예측 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함시키는 단계, 및 상기 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드 후보의 개수가 소정의 값보다 작을 경우, 상기 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드 후보로부터 유도된 이차 인트라 예측 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함시키는 단계를 포함하는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 이차 인트라 예측 모드는, 상기 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보의 인덱스 값보다 소정의 값만큼 크거나 작은 인덱스 값의 인트라 예측 모드인 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹을 결정하는 단계는, 상기 현재 색차 블록의 참조 블록으로부터 유도된 인트라 예측 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함시키는 단계 및 상기 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드 후보의 개수가 소정의 값보다 작을 경우, 디폴트 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함시키는 단계를 포함하는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹을 결정하는 단계는, 상기 현재 색차 블록의 참조 블록으로부터 인트라 예측 모드를 추출하는 단계, 및 상기 추출된 인트라 예측 모드가 상기 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드 후보와 중복되지 않을 때, 상기 추출된 인트라 예측 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함하는 단계를 포함하는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 인트라 예측 모드 후보의 우선 순위는 상기 현재 색차 블록의 템플릿에 대한 기초하여 결정되는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 템플릿은 상기 현재 색차 블록으로부터 좌측 및 상측 중 적어도 하나의 방향에 인접한 소정 크기의 복원 영역이며, 상기 인트라 예측 모드 후보의 우선 순위는, 상기 템플릿의 복원 샘플과 상기 인트라 예측 모드 후보에 따라 예측된 템플릿의 예측 샘플의 차이에 기초하여 결정되는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 인트라 예측 모드 후보의 우선 순위는 상기 현재 색차 블록의 복수의 관련 블록에 기초하여 결정되는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 인트라 예측 모드 후보의 우선 순위는, 상기 복수의 관련 블록 중 상기 인트라 예측 모드 후보가 적용된 관련 블록의 개수 또는 관련 블록의 총 면적을 계산함으로써 결정되는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 현재 색차 블록의 관련 블록은, 상기 현재 색차 블록에 대응되는 현재 휘도 블록에 포함된 휘도 블록, 상기 현재 색차 블록에 인접한 색차 블록, 상기 현재 휘도 블록에 인접한 휘도 블록, 및 상기 현재 색차 블록의 복호화 이전에 복호화된 색차 블록 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.

일 실시 예에 따르면, 상기 색차 인트라 예측 모드 정보는, 상기 색차 인트라 예측 모드 후보 그룹의 첫 번째 인트라 예측 모드 후보가 상기 현재 색차 블록의 인트라 예측 모드인지 여부를 나타내는 우세 플래그 정보, 및 상기 우세 플래그 정보가 상기 현재 색차 블록의 인트라 예측 모드가 상기 색차 인트라 예측 모드 후보 그룹의 첫 번째 인트라 예측 모드 후보가 아님을 나타낼 때, 상기 색차 인트라 예측 모드 후보 그룹의 첫 번째 인트라 예측 모드 후보를 제외한 나머지 인트라 예측 모드 후보들 중 상기 현재 색차 블록의 인트라 예측 모드를 나타내는 나머지 인덱스 정보를 포함하는 것을 특징으로 할 수 있다.

본 발명의 일 실시예에 따른 영상 부호화 방법은, 현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 인트라 예측 모드 후보 그룹을 결정하는 단계, 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보를 상기 인트라 예측 모드 후보의 우선 순위에 따라 재정렬하는 단계, 상기 현재 색차 블록의 인트라 예측 모드를 결정하는 단계 및 상기 인트라 예측 모드 후보 그룹으로부터 상기 현재 색차 블록의 인트라 예측 모드를 나타내는 색차 인트라 예측 모드 정보를 부호화하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 비 일시적 컴퓨터 판독가능한 기록 매체는, 상기 영상 부호화 방법에 의하여 생성된 비트스트림을 저장한다.

본 발명의 일 실시예에 따른 전송 방법은, 상기 영상 부호화 방법에 의하여 생성된 비트스트림을 전송한다.

본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.

본 발명은 색차 블록에 적용되는 인트라 예측 모드의 결정 방법을 개선하는 방법을 제안한다.

본 발명에서, 현재 색차 블록에 적용가능성이 높은 인트라 예측 모드를 색차 인트라 예측 모드 후보 그룹에 포함시킴으로써, 색차 블록의 예측 부호화 효율이 향상될 수 있다.

또한, 본 발명에서, 현재 색차 블록에 대한 적용가능성에 따라 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보를 재정렬함으로써, 색차 블록의 예측 부호화 효율이 향상될 수 있다.

또한, 본 발명에서, 색차 블록의 인트라 예측 모드를 나타내는 색차 인트라 예측 모드 정보에 대한 다양한 이진화 방법에 따라, 색차 블록의 예측 부호화 효율이 향상될 수 있다.

도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는 비디오 코딩 시스템을 개략적으로 나타내는 도면이다.
도 4는 제1 세트 내지 제3 세트에 포함되는 색차 인트라 예측 모드를 설명하기 위한 휘도 블록과 색차 블록을 도시한다.
도 5는 앞에서 설명된 제1 세트 내지 제5 세트에 따른 색차 인트라 예측 모드 후보 그룹의 결정 방법에 대한 순서도를 나타낸다.
도 6은 템플릿 기반 화면 내 모드 유도 방법에서 사용하는 현재 색차 블록의 템플릿과 예측 템플릿을 생성하기 위해 사용하는 템플릿의 참조 화소를 나타낸다.
도 7은 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보 재정렬을 위한 인트라 예측 모드의 발생 빈도의 결정을 위한 블록들을 도시한다.
도 8은 본 발명에 따른 영상 복호화 방법의 일 실시 예를 나타낸다.
도 9는 본 발명에 따른 영상 부호화 방법의 일 실시 예를 나타낸다.
도 10은 본 발명에 따른 실시예가 적용될 수 있는 컨텐츠 스트리밍 시스템을 예시적으로 나타낸다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 예시적으로 제공될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.

본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

실시예에서 용어 "적어도 하나(at least one)"는 1, 2, 3 및 4와 같은 1 이상의 개수들 중 하나를 의미할 수 있다. 실시예에서 용어 "복수(a plurality of)"는 2, 3 및 4와 같은 2 이상의 개수들 중 하나를 의미할 수 있다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

용어 설명

이하에서, “영상”은 동영상(video)을 구성하는 하나의 픽처(picture)를 의미할 수 있으며, 동영상 자체를 나타낼 수도 있다. 예를 들면, "영상의 부호화 및/또는 복호화"는 "동영상의 부호화 및/또는 복호화"를 의미할 수 있으며, "동영상을 구성하는 영상들 중 하나의 영상의 부호화 및/또는 복호화"를 의미할 수도 있다.

이하에서, "동영상" 및 "비디오"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또한, 대상 영상은 부호화의 대상인 부호화 대상 영상 및/또는 복호화의 대상인 복호화 대상 영상일 수 있다. 또한, 대상 영상은 부호화 장치로 입력된 입력 영상일 수 있고, 복호화 장치로 입력된 입력 영상일 수 있다. 여기서, 대상 영상은 현재 영상과 동일한 의미를 가질 수 있다.

이하에서, "영상(image)", "픽처(picture)", "프레임(frame)" 및 "스크린(screen)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.

이하에서, “대상 블록”은 부호화의 대상인 부호화 대상 블록 및/또는 복호화의 대상인 복호화 대상 블록일 수 있다. 또한, 대상 블록은 현재 부호화 및/또는 복호화의 대상인 현재 블록일 수 있다. 예를 들면, "대상 블록" 및 "현재 블록"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.

이하에서, "블록" 및 "유닛"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또한, “유닛”은 블록과 구분하여 지칭하기 위해 휘도(Luma) 성분 블록과 그에 대응하는 색차(Chroma) 성분 블록을 포함한 것을 의미할 수 있다. 일 예로, 부호화 트리 유닛(Coding Tree Unit, CTU)은 하나의 휘도 성분(Y) 부호화 트리 블록(Coding Tree Block, CTB)과 관련된 두 색차 성분(Cb, Cr) 부호화 트리 블록들로 구성될 수 있다.

이하에서, “샘플”, “화소” 및 “픽셀”은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 여기서, 샘플은 블록을 구성하는 기본 단위를 나타낼 수 있다.

이하에서, “인터” 및 “화면 간”은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.

이하에서, “인트라” 및 “화면 내”는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.

도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

부호화 장치(100)는 인코더, 비디오 부호화 장치 또는 영상 부호화 장치일 수 있다. 비디오는 하나 이상의 영상들을 포함할 수 있다. 부호화 장치(100)는 하나 이상의 영상들을 순차적으로 부호화할 수 있다.

도 1을 참조하면, 부호화 장치(100)는 영상 분할부(110), 인트라 예측부(120), 움직임 예측부(121), 움직임 보상부(122), 스위치(115), 감산기(113), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(117), 필터부(180) 및 참조 픽처 버퍼(190)를 포함할 수 있다.

또한, 부호화 장치(100)는 입력 영상에 대한 부호화를 통해 부호화된 정보를 포함하는 비트스트림을 생성할 수 있고, 생성된 비트스트림을 출력할 수 있다. 생성된 비트스트림은 컴퓨터 판독가능한 기록 매체에 저장될 수 있거나, 유/무선 전송 매체를 통해 스트리밍될 수 있다.

영상 분할부(110)는 동영상 부호화/복호화의 효율을 높이기 위해, 입력 영상을 다양한 형태로 분할할 수 있다. 즉, 입력 동영상은 다수의 픽처로 구성되어 있고 하나의 픽처는 압축 효율, 병렬처리 등을 위하여 계층적으로 분할되어 처리될 수 있다. 예를 들어, 하나의 픽처를 하나 또는 다수개의 타일(tile) 또는 슬라이스(slice)로 분할하고 다시 다수개의 CTU (Coding Tree Unit)로 분할할 수 있다. 또 다른 방식으로, 먼저 하나의 픽처를 직사각형 모양의 슬라이스의 그룹으로 정의되는 다수개의 서브픽처(sub-picture)로 분할하고, 각 서브픽처를 상기 타일/슬라이스로 분할할 수도 있다. 여기서, 서브픽처는 픽처를 부분적으로 독립 부호화/복호화 및 전송하는 기능을 지원하기 위하여 활용될 수 있다. 여러 개의 서브픽처는 각각 개별적으로 복원 가능하기에 멀티 채널 입력을 하나의 픽처로 구성하는 응용에 있어서 편집이 용이하다는 장점을 가지게 된다. 또한, 타일을 횡방향으로 분할하여 브릭(brick)을 생성할 수도 있다. 여기서, 브릭(brick)은 픽처내 병렬처리의 기본 단위로 활용할 수 있다. 또한, 하나의 CTU는 쿼드 트리(QT: Quadtree)로 재귀적으로 분할될 수 있고, 분할의 말단 노드를 CU (Coding Unit)라고 정의할 수 있다. CU는 예측 단위인 PU(Prediction Unit)와 변환 단위인 TU (Transform Unit)로 분할되어 예측과 분할이 수행될 수 있다. 한편, CU는 예측 단위 및/또는 변환 단위 그 자체로 활용할 수 있다. 여기서, 유연한 분할을 위하여 각 CTU는 쿼드 트리(QT) 뿐만 아니라 멀티타입 트리(MTT: Multi-Type Tree)로 재귀적으로 분할될 수도 있다. CTU는 QT의 말단 노드에서 멀티타입 트리로 분할이 시작될 수 있으며 MTT는 BT(Binary Tree)와 TT(Triple Tree)로 구성될 수 있다. 예를 들어, MTT구조에는 수직 이진 분할모드(SPLIT_BT_VER), 수평 이진 분할모드(SPLIT_BT_HOR), 수직 삼항 분할모드(SPLIT_TT_VER), 수평 삼항 분할모드(SPLIT_TT_HOR)로 구분될 수 있다. 또한, 분할 시 휘도 블록의 쿼드 트리의 최소 블록 크기(MinQTSize)는 16x16이고 바이너리 트리의 최대블록 크기(MaxBtSize)는 128x128, 트리플 트리의 최대 블록 크기(MaxTtSize)는 64x64로 설정할 수 있다. 또한, 바이너리 트리의 최소 블록 크기(MinBtSize)와 트리플 트리의 최소 블록 크기(MinTtSize)는 4x4, 멀티 타입 트리의 최대 깊이(MaxMttDepth)는 4로 지정할 수 있다. 또한 I 슬라이스의 부호화 효율을 높이기 위하여 휘도와 색차 성분의 CTU 분할 구조를 서로 다르게 사용하는 듀얼 트리(dual tree)를 적용할 수도 있다. 반면 P와 B슬라이스에서는 CTU 내의 휘도와 색차 CTB (Coding Tree Block)들이 코딩 트리 구조를 공유하는 싱글 트리(single tree)로 분할할 수 있다.

부호화 장치(100)는 입력 영상에 대해 인트라 모드 및/또는 인터 모드로 부호화를 수행할 수 있다. 또는, 부호화 장치(100)는 입력 영상에 대해 상기 인트라 모드 및 인터 모드가 아닌 제3의 모드 (예, IBC 모드, Palette 모드 등)로 부호화를 수행할 수도 있다. 단, 상기 제3의 모드가 인트라 모드 또는 인터 모드와 유사한 기능적 특징을 가지는 경우, 설명의 편의를 위해 인트라 모드 또는 인터 모드로 분류하기도 한다. 본 발명에서는 상기 제3의 모드에 대한 구체적인 설명이 필요한 경우에만 이를 별도로 분류하여 기술할 것이다.

예측 모드로 인트라 모드가 사용되는 경우 스위치(115)는 인트라로 전환될 수 있고, 예측 모드로 인터 모드가 사용되는 경우 스위치(115)는 인터로 전환될 수 있다. 여기서 인트라 모드는 인트라 예측 모드를 의미할 수 있으며, 인터 모드는 화면 간 예측 모드를 의미할 수 있다. 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성할 수 있다. 또한, 부호화 장치(100)는 예측 블록이 생성된 후, 입력 블록 및 예측 블록의 차분(residual)을 사용하여 잔여 블록을 부호화할 수 있다. 입력 영상은 현재 부호화의 대상인 현재 영상으로 칭해질 수 있다. 입력 블록은 현재 부호화의 대상인 현재 블록 혹은 부호화 대상 블록으로 칭해질 수 있다.

예측 모드가 인트라 모드인 경우, 인트라 예측부(120)는 현재 블록의 주변에 이미 부호화/복호화된 블록의 샘플을 참조 샘플로서 이용할 수 있다. 인트라 예측부(120)는 참조 샘플을 이용하여 현재 블록에 대한 공간적 예측을 수행할 수 있고, 공간적 예측을 통해 입력 블록에 대한 예측 샘플들을 생성할 수 있다. 여기서 인트라 예측은 화면 내 예측을 의미할 수 있다.

인트라 예측 방식으로, DC 모드, Planar 모드와 같은 무방향성 예측 모드와 방향성 예측 모드 (예, 65개 방향)가 적용될 수 있다. 여기서, 인트라 예측 방식은 인트라 예측 모드 또는 인트라 예측 모드로 표현될 수 있다.

예측 모드가 인터 모드인 경우, 움직임 예측부(121)는, 움직임 예측 과정에서 참조 영상으로부터 입력 블록과 가장 매치가 잘 되는 영역을 검색할 수 있고, 검색된 영역을 이용하여 움직임 벡터를 도출할 수 있다. 이때, 상기 영역으로 탐색 영역을 사용할 수 있다. 참조 영상은 참조 픽처 버퍼(190)에 저장될 수 있다. 여기서, 참조 영상에 대한 부호화/복호화가 처리되었을 때 참조 픽처 버퍼(190)에 저장될 수 있다.

움직임 보상부(122)는 움직임 벡터를 이용하는 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다. 여기서 인터 예측은 화면 간 예측 혹은 움직임 보상을 의미할 수 있다.

상기 움직임 예측부(121)과 움직임 보상부(122)는 움직임 벡터의 값이 정수 값을 가지지 않을 경우에 참조 영상 내의 일부 영역에 대해 보간 필터(Interpolation Filter)를 적용하여 예측 블록을 생성할 수 있다. 화면 간 예측 혹은 움직임 보상을 수행하기 위해 부호화 유닛을 기준으로 해당 부호화 유닛에 포함된 예측 유닛의 움직임 예측 및 움직임 보상 방법이 스킵 모드(Skip Mode), 머지 모드(Merge Mode), 향상된 움직임 벡터 예측(Advanced Motion Vector Prediction; AMVP) 모드, 인트라 블록 카피(Intra Block Copy; IBC) 모드 중 어떠한 방법인지 여부를 판단할 수 있고, 각 모드에 따라 화면 간 예측 혹은 움직임 보상을 수행할 수 있다.

또한, 상기 화면 간 예측 방법을 기초로, sub-PU 기반 예측의 AFFINE 모드, SbTMVP (Subblock-based Temporal Motion Vector Prediction) 모드, 및 PU 기반 예측의 MMVD(Merge with MVD) 모드, GPM(Geometric Partitioning Mode) 모드를 적용할 수도 있다. 또한, 각 모드의 성능 향상을 위하여 HMVP(History based MVP), PAMVP(Pairwise Average MVP), CIIP(Combined Intra/Inter Prediction), AMVR(Adaptive Motion Vector Resolution), BDOF(Bi-Directional Optical-Flow), BCW(Bi-predictive with CU Weights), LIC (Local Illumination Compensation), TM(Template Matching), OBMC(Overlapped Block Motion Compensation) 등을 적용할 수도 있다.

감산기(113)는 입력 블록 및 예측 블록의 차분을 사용하여 잔여 블록을 생성할 수 있다. 잔여 블록은 잔여 신호로 칭해질 수도 있다. 잔여 신호는 원 신호 및 예측 신호 간의 차이(difference)를 의미할 수 있다. 또는, 잔여 신호는 원신호 및 예측 신호 간의 차이를 변환(transform)하거나, 양자화하거나, 또는 변환 및 양자화함으로써 생성된 신호일 수 있다. 잔여 블록은 블록 단위의 잔여 신호일 수 있다.

변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 생성할 수 있고, 생성된 변환 계수를 출력할 수 있다. 여기서, 변환 계수는 잔여 블록에 대한 변환을 수행함으로써 생성된 계수 값일 수 있다. 변환 생략(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔여 블록에 대한 변환을 생략할 수도 있다.

변환 계수 또는 잔여 신호에 양자화를 적용함으로써 양자화된 레벨(quantized level)이 생성될 수 있다. 이하, 실시예들에서는 양자화된 레벨도 변환 계수로 칭해질 수 있다.

일 예로, 화면내 예측을 통해 생성된 4x4 휘도 잔차 블록은 DST(Discrete Sine Transform) 기반 기저 벡터를 통해 변환하며, 나머지 잔차 블록에 대해서는 DCT(Discrete Cosine Transform) 기반의 기저 벡터를 사용하여 변환을 수행할 수 있다. 또한 RQT(Residual Quad Tree) 기술을 통하여 하나의 블록에 대하여 변환 블록을 쿼드 트리 형태로 분할하며 RQT를 통해 분할된 각 변환 블록에 대하여 변환과 양자화를 수행하고 난 후 모든 계수가 0이 되는 경우의 부호화 효율을 높이기 위해 cbf(coded block flag)를 전송할 수 있다.

또 다른 대안으로는, 여러 변환 기저를 선택적으로 사용하여 변환을 수행하는 MTS(Multiple Transform Selection) 기술을 적용할 수도 있다. 즉, CU를 RQT를 통해 TU로 분할하지 않고, SBT(Sub-block Transform) 기술을 통해 TU분할과 유사한 기능을 수행할 수 있다. 구체적으로, SBT는 화면 간 예측 블록에만 적용되며 RQT와 달리 현재 블록을 수직 혹은 수평 방향으로 ½ 혹은 ¼ 크기로 분할한 뒤 그 중 하나의 블록에 대해서만 변환을 수행할 수 있다. 예를 들어, 수직으로 분할된 경우 맨 왼쪽 혹은 맨 오른쪽 블록에 대해 변환을 수행하고, 수평으로 분할된 경우 맨 위쪽 혹은 맨 아래쪽 블록에 대하여 변환을 수행할 수 있다.

또한 DCT 또는 DST를 통해 주파수 영역으로 변환된 잔차 신호를 추가 변환하는 2차 변환 (secondary transform) 기술인 LFNST(Low Frequency Non-Separable Transform)를 적용할 수도 있다. LFNST는 좌측 상단의 4x4 또는 8x8의 저주파수 영역에 대해서 변환을 추가적으로 수행하여 잔차 계수를 좌측 상단으로 집중시킬 수 있게 된다.

양자화부(140)는 변환 계수 또는 잔여 신호를 양자화 매개변수 (QP, Quantization parameter)에 따라 양자화함으로써 양자화된 레벨을 생성할 수 있고, 생성된 양자화된 레벨을 출력할 수 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 변환 계수를 양자화할 수 있다.

일 예로, 0~51 QP 값을 사용하는 양자화기를 사용할 수 있다. 또는, 영상의 크기가 보다 크고 높은 부호화 효율이 요구되는 경우에는, 0~63 QP를 사용할 수도 있다. 또한 하나의 양자화기를 사용하는 것이 아닌 두 개의 양자화기를 사용하는 DQ(Dependent Quantization) 방법을 적용할 수도 있다. DQ는 두개의 양자화기(예, Q0, Q1)를 사용하여 양자화를 수행하되, 특정 양자화기 사용에 대한 정보를 시그널링 하지 않더라도, 상태 전이 모델을 통해 현재 상태에 기반하여 다음 변환 계수에 사용할 양자화기가 선택되도록 적용할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터(Coding Parameter) 값들 등에 대하여 확률 분포에 따른 엔트로피 부호화를 수행함으로써 비트스트림(bitstream)을 생성할 수 있고, 비트스트림을 출력할 수 있다. 엔트로피 부호화부(150)는 영상의 샘플에 관한 정보 및 영상의 복호화를 위한 정보에 대한 엔트로피 부호화를 수행할 수 있다. 예를 들면, 영상의 복호화를 위한 정보는 구문 요소(syntax element) 등을 포함할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골롬(exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다. 예를 들면, 엔트로피 부호화부(150)는 가변 길이 부호화(Variable Length Coding/Code; VLC) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법, 확률 모델, 문맥 모델(Context Model)을 사용하여 산술 부호화를 수행할 수도 있다.

관련하여, CABAC을 적용함에 있어서, 복호화 장치에서 저장되는 확률 테이블의 크기를 줄이고자, 테이블 확률 업데이트 방식을 간단한 수식을 통한 테이블 업데이트 방식으로 변경하여 적용할 수도 있다. 또한 더 정확한 심볼의 확률 값을 얻기 위하여 2개의 서로 다른 확률 모델을 사용할 수도 있다.

엔트로피 부호화부(150)는 변환 계수 레벨(양자화된 레벨)을 부호화하기 위해 변환 계수 스캐닝(Transform Coefficient Scanning) 방법을 통해 2차원의 블록 형태(form) 계수를 1차원의 벡터 형태로 변경할 수 있다.

부호화 파라미터(Coding Parameter)는 구문 요소 (syntax element)와 같이 부호화 장치(100)에서 부호화되어 복호화 장치(200)로 시그널링되는 정보(플래그, 색인 등)뿐만 아니라, 부호화 과정 혹은 복호화 과정에서 유도되는 정보를 포함할 수 있으며, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미할 수 있다.

여기서, 플래그 혹은 색인을 시그널링(signaling)한다는 것은 인코더에서는 해당 플래그 혹은 색인을 엔트로피 부호화(Entropy Encoding)하여 비트스트림(Bitstream)에 포함하는 것을 의미할 수 있고, 디코더에서는 비트스트림으로부터 해당 플래그 혹은 색인을 엔트로피 복호화(Entropy Decoding)하는 것을 의미할 수 있다.

부호화된 현재 영상은 이후에 처리되는 다른 영상에 대한 참조 영상으로서 사용될 수 있다. 따라서, 부호화 장치(100)는 부호화된 현재 영상을 다시 복원 또는 복호화할 수 있고, 복원 또는 복호화된 영상을 참조 영상으로 참조 픽처 버퍼(190)에 저장할 수 있다.

양자화된 레벨은 역양자화부(160)에서 역양자화(dequantization)될 수 있고. 역변환부(170)에서 역변환(inverse transform)될 수 있다. 역양자화 및/또는 역변환된 계수는 가산기(117)를 통해 예측 블록과 합해질 수 있다, 역양자화 및/또는 역변환된 계수와 예측 블록을 합함으로써 복원 블록(reconstructed block)이 생성될 수 있다. 여기서, 역양자화 및/또는 역변환된 계수는 역양자화 및 역변환 중 적어도 하나 이상이 수행된 계수를 의미하며, 복원된 잔여 블록을 의미할 수 있다. 상기 역양자화부(160) 및 역변환부(170)는 양자화부(140) 및 변환부(130)의 역과정으로 수행될 수 있다.

복원 블록은 필터부(180)를 거칠 수 있다. 필터부(180)는 디블록킹 필터(deblocking filter), 샘플 적응적 오프셋(Sample Adaptive Offset; SAO), 적응적 루프 필터(Adaptive Loop Filter; ALF), 양방향 필터 (Bilateral filter; BIF), LMCS (Luma Mapping with Chroma Scaling) 등을 복원 샘플, 복원 블록 또는 복원 영상에, 전부 또는 일부 필터링 기술로 적용할 수 있다. 필터부(180)는 인-루프 필터(in-loop filter)로 칭해질 수도 있다. 이때, 인-루프 필터(in-loop filter)는 LMCS를 제외하는 명칭으로 사용하기도 한다.

디블록킹 필터는 블록들 간의 경계에서 발생한 블록 왜곡을 제거할 수 있다. 디블록킹 필터를 수행할지 여부를 판단하기 위해 블록에 포함된 몇 개의 열 또는 행에 포함된 샘플을 기초로 현재 블록에 디블록킹 필터 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용하는 경우 필요한 디블록킹 필터링 강도에 따라 서로 다른 필터를 적용할 수 있다.

샘플 적응적 오프셋을 이용하여 부호화 에러를 보상하기 위해 샘플 값에 적정 오프셋(offset) 값을 더할 수 있다. 샘플 적응적 오프셋은 디블록킹을 수행한 영상에 대해 샘플 단위로 원본 영상과의 오프셋을 보정할 수 있다. 영상에 포함된 샘플을 일정한 수의 영역으로 구분한 후 오프셋을 수행할 영역을 결정하고 해당 영역에 오프셋을 적용하는 방법 또는 각 샘플의 에지 정보를 고려하여 오프셋을 적용하는 방법을 사용할 수 있다.

양방향 필터 (Bilateral filter; BIF) 또한 디블록킹을 수행한 영상에 대해 샘플 단위로 원본 영상과의 오프셋을 보정할 수 있다.

적응적 루프 필터는 복원 영상 및 원래의 영상을 비교한 값에 기반하여 필터링을 수행할 수 있다. 영상에 포함된 샘플을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. 적응적 루프 필터를 적용할지 여부에 관련된 정보는 부호화 유닛(Coding Unit, CU) 별로 시그널링될 수 있고, 각각의 블록에 따라 적용될 적응적 루프 필터의 모양 및 필터 계수는 달라질 수 있다.

LMCS(Luma Mapping with Chroma Scaling)에서, 루마 매핑(LM, Luma-mapping)은 piece-wise 선형 모델을 통해 휘도 값을 재맵핑 하는 것을 의미하고, 크로마 스케일링(CS, Chroma scaling)은 예측 신호의 평균 휘도 값에 따라 색차 성분의 잔차 값을 스케일링해주는 기술을 의미한다. 특히, LMCS는 HDR(High Dynamic Range) 영상의 특성을 반영한 HDR 보정 기술로 활용될 수 있다.

필터부(180)를 거친 복원 블록 또는 복원 영상은 참조 픽처 버퍼(190)에 저장될 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상의 일부일 수 있다. 말하자면, 참조 영상은 필터부(180)를 거친 복원 블록들로 구성된 복원 영상일 수 있다. 저장된 참조 영상은 이후 화면 간 예측 혹은 움직임 보상에 사용될 수 있다.

도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

복호화 장치(200)는 디코더, 비디오 복호화 장치 또는 영상 복호화 장치일 수 있다.

도 2를 참조하면, 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(201), 스위치 (203), 필터부(260) 및 참조 픽처 버퍼(270)를 포함할 수 있다.

복호화 장치(200)는 부호화 장치(100)에서 출력된 비트스트림을 수신할 수 있다. 복호화 장치(200)는 컴퓨터 판독가능한 기록 매체에 저장된 비트스트림을 수신하거나, 유/무선 전송 매체를 통해 스트리밍되는 비트스트림을 수신할 수 있다. 복호화 장치(200)는 비트스트림에 대하여 인트라 모드 또는 인터 모드로 복호화를 수행할 수 있다. 또한, 복호화 장치(200)는 복호화를 통해 복원된 영상 또는 복호화된 영상을 생성할 수 있고, 복원된 영상 또는 복호화된 영상을 출력할 수 있다.

복호화에 사용되는 예측 모드가 인트라 모드인 경우 스위치(203)가 인트라로 전환될 수 있다. 복호화에 사용되는 예측 모드가 인터 모드인 경우 스위치(203)가 인터로 전환될 수 있다.

복호화 장치(200)는 입력된 비트스트림을 복호화하여 복원된 잔여 블록(reconstructed residual block)을 획득할 수 있고, 예측 블록을 생성할 수 있다. 복원된 잔여 블록 및 예측 블록이 획득되면, 복호화 장치(200)는 복원된 잔여 블록과 및 예측 블록을 더함으로써 복호화 대상이 되는 복원 블록을 생성할 수 있다. 복호화 대상 블록은 현재 블록으로 칭해질 수 있다.

엔트로피 복호화부(210)는 비트스트림에 대한 확률 분포에 따른 엔트로피 복호화를 수행함으로써 심볼들을 생성할 수 있다. 생성된 심볼들은 양자화된 레벨 형태의 심볼을 포함할 수 있다. 여기에서, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법의 역과정일 수 있다.

엔트로피 복호화부(210)는 변환 계수 레벨(양자화된 레벨)을 복호화하기 위해 변환 계수 스캐닝 방법을 통해 1차원의 벡터 형태 계수를 2차원의 블록 형태로 변경할 수 있다.

양자화된 레벨은 역양자화부(220)에서 역양자화될 수 있고, 역변환부(230)에서 역변환될 수 있다. 양자화된 레벨은 역양자화 및/또는 역변환이 수행된 결과로서, 복원된 잔여 블록으로 생성될 수 있다. 이때, 역양자화부(220)는 양자화된 레벨에 양자화 행렬을 적용할 수 있다. 복호화 장치에 적용되는 역양자화부(220) 및 역변환부(230)는 전술한 부호화 장치에 적용되는 역양자화부(160) 및 역변환부(170)와 동일한 기술을 적용할 수 있다.

인트라 모드가 사용되는 경우, 인트라 예측부(240)는 복호화 대상 블록 주변의 이미 복호화된 블록의 샘플 값을 이용하는 공간적 예측을 현재 블록에 대해 수행함으로써 예측 블록을 생성할 수 있다. 복호화 장치에 적용되는 인트라 예측부(240)는 전술한 부호화 장치에 적용되는 인트라 예측부(120)와 동일한 기술을 적용할 수 있다.

인터 모드가 사용되는 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하는 움직임 보상을 현재 블록에 대해 수행함으로써 예측 블록을 생성할 수 있다. 상기 움직임 보상부(250)는 움직임 벡터의 값이 정수 값을 가지지 않을 경우에 참조 영상 내의 일부 영역에 대해 보간 필터를 적용하여 예측 블록을 생성할 수 있다. 움직임 보상을 수행하기 위해 부호화 유닛을 기준으로 해당 부호화 유닛에 포함된 예측 유닛의 움직임 보상 방법이 스킵 모드, 머지 모드, AMVP 모드, 현재 픽처 참조 모드 중 어떠한 방법인지 여부를 판단할 수 있고, 각 모드에 따라 움직임 보상을 수행할 수 있다. 복호화 장치에 적용되는 움직임 보상부(250)는 전술한 부호화 장치에 적용되는 움직임 보상부(122)와 동일한 기술을 적용할 수 있다.

가산기(201)는 복원된 잔여 블록 및 예측 블록을 가산하여 복원 블록을 생성할 수 있다. 필터부(260)는 Inverse-LMCS, 디블록킹 필터, 샘플 적응적 오프셋 및 적응적 루프 필터 등 적어도 하나를 복원 블록 또는 복원 영상에 적용할 수 있다. 복호화 장치에 적용되는 필터부(260)는 전술한 부호화 장치에 적용되는 필터부(180)에 적용된 필터링 기술과 동일한 기술을 적용할 수 있다.

필터부(260)는 복원 영상을 출력할 수 있다. 복원 블록 또는 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다. 필터부(260)를 거친 복원 블록은 참조 영상의 일부일 수 있다. 말하자면, 참조 영상은 필터부(260)를 거친 복원 블록들로 구성된 복원 영상일 수 있다. 저장된 참조 영상은 이후 화면 간 예측 혹은 움직임 보상에 사용될 수 있다.

도 3은 본 발명이 적용될 수 있는 비디오 코딩 시스템을 개략적으로 나타내는 도면이다.

일 실시예에 따른 비디오 코딩 시스템은 부호화 장치(10) 및 복호화 장치(20)를 포함할 수 있다. 부호화 장치(10)는 부호화된 비디오(video) 및/또는 영상(image) 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 복호화 장치(20)로 전달할 수 있다.

일 실시예에 따른 부호화 장치(10)는 비디오 소스 생성부(11), 부호화부(12), 전송부(13)를 포함할 수 있다. 일 실시예에 따른 복호화 장치(20)는 수신부(21), 복호화부(22) 및 렌더링부(23)를 포함할 수 있다. 상기 부호화부(12)는 비디오/영상 부호화부라고 불릴 수 있고, 상기 복호화부(22)는 비디오/영상 복호화부라고 불릴 수 있다. 전송부(13)는 부호화부(12)에 포함될 수 있다. 수신부(21)는 복호화부(22)에 포함될 수 있다. 렌더링부(23)는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다.

비디오 소스 생성부(11)는 비디오/영상의 캡쳐, 합성 또는 생성 과정 등을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스 생성부(11)는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 예를 들어, 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브 등을 포함할 수 있다. 비디오/영상 생성 디바이스는 예를 들어 컴퓨터, 타블렛 및 스마트폰 등을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터 등을 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.

부호화부(12)는 입력 비디오/영상을 부호화할 수 있다. 부호화부(12)는 압축 및 부호화 효율을 위하여 예측, 변환, 양자화 등 일련의 절차를 수행할 수 있다. 부호화부(12)는 부호화된 데이터(부호화된 비디오/영상 정보)를 비트스트림(bitstream) 형태로 출력할 수 있다. 상기 부호화부(12)의 상세 구성은 전술한 도 1의 부호화 장치(100)와 동일하게 구성하는 것도 가능하다.

전송부(13)는 비트스트림 형태로 출력된 부호화된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 복호화 장치(20)의 수신부(21)로 전달할 수 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 전송부(13)는 미리 정해진 파일 포맷을 통하여 미디어 파일을 생성하기 위한 엘리먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘리먼트를 포함할 수 있다. 수신부(21)는 상기 저장매체 또는 네트워크로부터 상기 비트스트림을 추출/수신하여 복호화부(22)로 전달할 수 있다.

복호화부(22)는 부호화부(12)의 동작에 대응하는 역양자화, 역변환, 예측 등 일련의 절차를 수행하여 비디오/영상을 복호화할 수 있다. 상기 복호화부(22)의 상세 구성은 전술한 도 2의 복호화 장치(200)와 동일하게 구성하는 것도 가능하다.

렌더링부(23)는 복호화된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.

본 발명에서, 색차 블록의 인트라 예측 모드를 결정하는 방법에 대한 다양한 실시 예가 설명된다.

색차 블록에는 휘도 블록에 적용될 수 있는 인트라 예측 모드가 적용될 수 있다. 또한 색차 블록에는 복원된 휘도 블록의 샘플 값에 기초하여 색차 블록을 예측하는 CCLM(cross component linear model) 모드도 적용될 수 있다. 본 발명에서, CCLM 모드가 아닌 인트라 예측 모드는 non-CCLM 모드로 정의된다.

CCLM 모드에서, 휘도 성분 샘플과 색차 성분 샘플의 관계가 선형 모델로 정의된다. 이 때 상기 선형 모델을 결정하기 위하여, 현재 색차 블록의 주변 샘플과 현재 휘도 블록의 주변 샘플이 참조될 수 있다. 예를 들어, 현재 색차 블록의 좌측 샘플 및 상측 샘플과 현재 휘도 블록의 좌측 샘플 및 상측 샘플이 상기 선형 모델을 결정하기 위하여 참조될 수 있다. 또한, 실시 예에 따라, 좌측 샘플 또는 상측 샘플만 상기 선형 모델을 결정하기 위하여 참조될 수 있다.

그리고 선형 모델에 따라 현재 휘도 블록의 샘플 값으로부터 현재 색차 블록의 샘플 값이 유도될 수 있다. 이 때, 현재 휘도 블록과 현재 색차 블록은 위치 및 크기가 서로 대응된다. 그리고 현재 색차 블록의 샘플의 위치와 현재 색차 블록의 샘플이 참조하는 현재 휘도 블록의 샘플의 위치는 서로 대응된다.

일 실시 예에 따르면, 색차 블록의 인트라 예측 모드를 결정하기 위하여, 색차 인트라 예측 모드 후보 그룹이 결정될 수 있다. 그리고 색차 인트라 예측 모드 후보 그룹의 후보들 중에서 색차 블록의 인트라 예측 모드가 선택될 수 있다. 색차 인트라 예측 모드 후보 그룹에는 CCLM 모드 뿐만 아니라, 휘도 블록에 적용될 수 있는 인트라 예측 모드 (예를 들어, DC 모드, 플래너 모드, 방향성 인트라 예측 모드 등)이 포함될 수 있다.

일 실시 예에 따르면, 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹에는 N개의 non-CCLM 모드가 포함될 수 있다. N은 5 이상의 정수일 수 있다. 상기 N개의 non-CCLM 모드는 M개의 디폴트 모드와 현재 색차 블록에 대응되는 현재 휘도 블록의 인트라 예측 모드로 구성될 수 있다. M은 N보다 작은 정수이다. 상기 M개의 디폴트 모드는 DC 모드, 플래너 모드, 수직 모드, 및 수평 모드 중 적어도 하나를 포함할 수 있다. 또는 색차 인트라 예측 모드 후보 그룹에는 디폴트 모드 없이 현재 색차 블록과 관련된 블록의 인트라 예측 모드로만 구성될 수 있다.

일 실시 예에 따르면, 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹에는 하나 이상의 CCLM 모드가 더 포함될 수 있다. 상기 하나 이상의 CCLM 모드에는 현재 색차 블록과 현재 휘도 블록의 좌측 참조 영역과 상측 참조 영역을 모두 참조하는 LT_CCLM 모드, 현재 색차 블록과 현재 휘도 블록의 좌측 참조 영역만을 참조하는 L_CCLM 모드, 및 현재 색차 블록과 현재 휘도 블록의 상측 참조 영역을 참조하는 T_CCLM 모드 중 적어도 하나가 포함될 수 있다. 앞서 설명된 바와 같이, 현재 색차 블록과 현재 휘도 블록의 참조 영역에 기초하여, 현재 색차 블록과 현재 휘도 블록의 샘플들 간의 선형 모델이 결정된다.

일 실시 예에 따르면, 색차 인트라 예측 모드 후보 그룹에는 정해진 순서에 따른 방법에 따라, 색차 인트라 예측 모드 후보들이 순차적으로 유도될 수 있다. 이 때, 본 발명에서 4개의 색차 인트라 예측 모드 후보의 유도 방법이 설명된다. 그리고 4개의 색차 인트라 예측 모드 후보에 의하여, 4개의 색차 인트라 예측 모드 세트가 유도되며, 색차 인트라 예측 모드 후보 그룹은 4개의 색차 인트라 예측 모드 세트의 인트라 예측 모드에 따라 결정될 수 있다.

이 때, 4개의 색차 인트라 예측 모드 세트는 다중 직접 모드(multiple direct modes, MDM)를 포함하는 제1 세트, 현재 색차 블록의 이웃 색차 블록의 인트라 예측 모드를 포함하는 제2 세트, 현재 휘도 블록의 이웃 휘도 블록의 인트라 예측 모드를 포함하는 제3 세트, 이차 인트라 예측 모드(secondary intra prediction modes)를 포함하는 제4 세트, 그리고 디폴트 모드(default modes)를 포함하는 제5 세트를 포함할 수 있다. 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹에 9개의 색차 인트라 예측 모드가 포함될 경우, 4개의 색차 인트라 예측 모드 세트의 중복되지 않는 9개의 색차 인트라 예측 모드가 소정의 순서에 따라 순차적으로 색차 인트라 예측 모드 후보 그룹에 추가될 수 있다.

다중 직접 모드는 현재 색차 블록에 대응하는 복수의 휘도 블록으로부터 유도된 인트라 예측 모드이다. 싱글 트리 구조의 경우, 휘도 영상과 색차 영상은 동일한 트리 구조에 따라 분할된다. 따라서, 싱글 트리 구조가 적용될 경우, 하나의 색차 블록은 하나의 휘도 블록에만 대응될 수 있다. 그러나 듀얼 트리 구조의 경우, 휘도 영상과 색차 영상은 서로 다른 트리 구조에 따라 분할될 수 있다. 그러므로 하나의 색차 블록은 복수의 휘도 블록에 대응될 수 있다. 이러한 듀얼 트리 구조는 인트라 예측만 적용되는 인트라 픽처에 대하여 주로 적용될 수 있다.

인트라 예측만 적용되는 인트라 픽처에 듀얼 트리 구조가 적용될 수 있는 바, 색차 블록에 위치적으로 연관된 2개 이상의 휘도 블록으로부터 2개 이상의 색차 인트라 예측 모드 후보를 유도하는 다중 직접 모드를 이용함으로써, 색차 블록의 인트라 예측 모드 유도의 효율성이 증대될 수 있다.

일 실시 예에 따르면, 현재 색차 블록에 대응하는 복수의 휘도 블록은 현재 색차 블록의 중앙(Center, C), 우상측(Top Right, TR), 좌상측(Top Left, TL), 우하측(Bottom Right, BR), 그리고 좌하측(Bottom Left, BL) 위치에 대응되는 휘도 블록들을 포함할 수 있다. 상기 다중 직접 모드가 참조하는 위치는 예시에 불과하며, 좌측 위치, 우측 위치, 상측 위치, 하측 위치를 포함할 수 있다. 또한 상기 다중 직접 모드가 참조하는 위치의 개수는 2개 이상으로 결정되며, 상기 다중 직접 모드가 참조하는 위치는 상기 언급된 위치들 중 선택될 수 있다.

제1 세트는 다중 직접 모드로부터 유도한 인트라 예측 모드를 순차적으로 포함한다. 이 때, 제1 세트는 현재 색차 블록에 대응되는 현재 휘도 블록에 포함된 복수의 휘도 블록에서 유도된 최대 5개의 인트라 예측 모드를 포함할 수 있다. 이 때, 제1 세트에 상기 참조 위치에 대한 소정의 순서에 따라 인트라 예측 모드가 포함될 수 있다. 예를 들어, 소정의 순서는 C, TR, TL, BR, 및 BL의 순서일 수 있다. 상기 순서는 예시일 뿐, 순서는 실시 예에 따라 변경될 수 있다.

제1 세트에 인트라 예측 모드를 포함함에 있어서, 다중 직접 모드로부터 유도한 인트라 예측 모드의 중복성 여부가 확인된다. 그리고 중복되지 않는 인트라 예측 모드만이 제1 세트에 추가된다. 다중 직접 모드로부터 유도한 인트라 예측 모드가 임의의 순서에 따라 제1 세트에 추가된다. 제1 세트에 포함된 인트라 예측 모드는 색차 인트라 예측 모드 후보 그룹에 포함된다.

또한, 제1 세트를 구성하는 과정에서, 색차 인트라 예측 모드 후보 그룹의 최대 후보 개수의 인트라 예측 모드가 모두 결정되면, 제1 세트의 구성 프로세스는 종료된다. 그리고, 제1 세트에 기초하여, 색차 인트라 예측 모드 후보 그룹이 결정되고, 제2 세트의 구성은 수행되지 않는다.

제2 세트는 현재 색차 블록의 이웃 색차 블록의 인트라 예측 모드를 포함할 수 있다. 현재 색차 블록과 이웃 색차 블록의 인트라 예측 모드는 동일할 가능성이 높다. 그러므로 이웃 색차 블록의 인트라 예측 모드가 현재 블록에도 적용될 수 있도록 이웃 색차 블록의 인트라 예측 모드를 색차 인트라 예측 모드 후보 그룹에 포함시킬 수 있다.

이 때, 현재 색차 블록의 좌측 색차 블록, 상측 색차 블록, 우상측 색차 블록, 좌하측 색차 블록, 및 좌상측 색차 블록의 인트라 예측 모드가 순차적으로 제2 세트에 포함될 수 있다. 실시 예에 따라, 참조되는 이웃 색차 블록의 위치는 변경될 수 있다. 또한, 실시 예에 따라, 현재 색차 블록의 좌측 색차 블록 및 상측 색차 블록만 참조될 수 있다.

제2 세트를 구성함에 있어서, 이웃 색차 블록의 인트라 예측 모드의 중복성 여부가 판단될 수 있다. 다시 말해, 이웃 색차 블록의 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 이미 포함되어 있는지 판단될 수 있다. 그리고 이웃 색차 블록의 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 포함되지 않은 경우, 상기 인트라 예측 모드가 제2 세트에 포함될 수 있다. 제2 세트에 포함된 인트라 예측 모드는 색차 인트라 예측 모드 후보 그룹에 포함된다.

일 실시 예에 따르면, 제1 세트의 인트라 예측 모드의 개수가 색차 인트라 예측 모드 후보 그룹의 최대 후보 개수보다 작은 경우, 제2 세트가 결정될 수 있다. 또한, 제2 세트를 구성하는 과정에서, 색차 인트라 예측 모드 후보 그룹의 최대 후보 개수의 인트라 예측 모드가 모두 결정되면, 제2 세트의 구성 프로세스는 종료된다. 그리고, 제1 세트와 제2 세트에 기초하여, 색차 인트라 예측 모드 후보 그룹이 결정되고, 제3 세트의 구성은 수행되지 않는다.

제3 세트는 현재 색차 블록에 대응되는 현재 휘도 블록의 이웃 휘도 블록의 인트라 예측 모드를 포함할 수 있다. 제3 세트를 결정하기 위한 현재 휘도 블록은 현재 색차 블록의 색차 샘플들의 위치에 대응되는 휘도 샘플을 모두 포함하도록 결정된다. 따라서, 제3 세트를 결정하기 위한 현재 휘도 블록은 분할이 완료된 블록이 아닌, 추가로 더 분할될 수 있는 블록일 수 있다.

상기 현재 휘도 블록의 주변 위치를 참조하여, 제3 세트를 결정하기 위한 이웃 휘도 블록이 결정될 수 있다. 이 때, 현재 휘도 블록의 좌측 휘도 블록, 상측 휘도 블록, 우상측 휘도 블록, 좌하측 휘도 블록, 및 좌상측 휘도 블록의 인트라 예측 모드가 순차적으로 제3 세트에 포함될 수 있다. 실시 예에 따라, 참조되는 이웃 휘도 블록의 위치는 변경될 수 있다. 또한, 실시 예에 따라, 현재 휘도 블록의 좌측 휘도 블록 및 상측 휘도 블록만 참조될 수 있다.

제3 세트를 구성함에 있어서, 이웃 휘도 블록의 인트라 예측 모드의 중복성 여부가 판단될 수 있다. 다시 말해, 이웃 휘도 블록의 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 이미 포함되어 있는지 판단될 수 있다. 그리고 이웃 휘도 블록의 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 포함되지 않은 경우, 상기 인트라 예측 모드가 제3 세트에 포함될 수 있다. 제3 세트에 포함된 인트라 예측 모드는 색차 인트라 예측 모드 후보 그룹에 포함된다.

일 실시 예에 따르면, 제1 세트 및 제2 세트의 인트라 예측 모드의 개수가 색차 인트라 예측 모드 후보 그룹의 최대 후보 개수보다 작은 경우, 제3 세트가 결정될 수 있다. 또한, 제3 세트를 구성하는 과정에서, 색차 인트라 예측 모드 후보 그룹의 최대 후보 개수의 인트라 예측 모드가 모두 결정되면, 제3 세트의 구성 프로세스는 종료된다. 그리고, 제1 세트 내지 제3 세트에 기초하여, 색차 인트라 예측 모드 후보 그룹이 결정되고, 제4 세트의 구성은 수행되지 않는다.

제4 세트는 색차 인트라 예측 모드 후보 그룹의 첫 번째 또는 두 번째 인트라 예측 모드로부터 유도된 이차 인트라 예측 모드를 포함할 수 있다. 즉, 제4 세트는 제1 세트 내지 제3 세트 중 하나에 포함된 인트라 예측 모드로부터 유도된 이차 인트라 예측 모드를 포함할 수 있다. 실시 예에 따라, 제4 세트는 색차 인트라 예측 모드 후보 그룹의 세 번째 또는 그 이후 순서의 인트라 예측 모드로부터 유도된 이차 인트라 예측 모드를 포함할 수 있다.

이차 인트라 예측 모드는 색차 인트라 예측 모드 후보 그룹의 첫 번째 인트라 예측 모드의 인덱스 값보다 1만큼 크거나 작은 인덱스 값의 인트라 예측 모드를 포함할 수 있다. 실시 예에 따라 첫 번째 인트라 예측 모드의 인덱스 값과 이차 색차 인트라 예측 모드의 인덱스 값의 차이는 2 이상일 수 있다. 첫 번째 인트라 예측 모드로부터 이차 인트라 예측 모드가 유도된 후, 두 번째 인트라 예측 모드로부터 이차 인트라 예측 모드가 더 유도될 수 있다. 만약 색차 인트라 예측 모드 후보 그룹의 세 번째 또는 그 이후 순서의 인트라 예측 모드가 참조될 수 있는 경우, 세 번째 또는 그 이후 순서의 인트라 예측 모드로부터 이차 인트라 예측 모드가 더 유도될 수 있다.

제4 세트를 구성함에 있어서, 이차 인트라 예측 모드의 중복성 여부가 판단될 수 있다. 다시 말해, 이차 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 이미 포함되어 있는지 판단될 수 있다. 그리고 이차 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 포함되지 않은 경우, 상기 이차 인트라 예측 모드가 제4 세트에 포함될 수 있다. 제4 세트에 포함된 인트라 예측 모드(이차 인트라 예측 모드)는 색차 인트라 예측 모드 후보 그룹에 포함된다.

일 실시 예에 따르면, 제1 세트 내지 제3 세트의 인트라 예측 모드의 개수가 색차 인트라 예측 모드 후보 그룹의 최대 후보 개수보다 작은 경우, 제4 세트가 결정될 수 있다. 또한, 제4 세트를 구성하는 과정에서, 색차 인트라 예측 모드 후보 그룹의 최대 후보 개수의 인트라 예측 모드가 모두 결정되면, 제4 세트의 구성 프로세스는 종료된다. 그리고, 제1 세트 내지 제4 세트에 기초하여, 색차 인트라 예측 모드 후보 그룹이 결정되고, 제5 세트의 구성은 수행되지 않는다.

제5 세트는 미리 정한 디폴트 모드를 포함한다. 일 실시 예에 따르면, 디폴트 모드는 Planar 모드, 수직 모드, 수평 모드, DC 모드, 우상측 방향의 대각선 모드, 좌상측 방향의 대각선 모드, 좌하측 방향의 대각선 모드, 수직 모드보다 인덱스 값이 4만큼 큰 인트라 예측 모드, 수직 모드보다 인덱스 값이 4만큼 작은 인트라 예측 모드, 수평 모드보다 인덱스 값이 4만큼 큰 인트라 예측 모드, 및 수평 모드보다 인덱스 값이 4만큼 작은 인트라 예측 모드 중 하나 이상을 포함할 수 있다. 실시 예에 따라, 디폴트 모드는 다른 인트라 예측 모드를 더 포함할 수 있다. 상기 디폴트 모드는 제5 세트에 임의의 순서로 포함될 수 있다.

제5 세트를 구성함에 있어서, 디폴트 모드의 중복성 여부가 판단될 수 있다. 예를 들어, 디폴트 모드가 색차 인트라 예측 모드 후보 그룹에 이미 포함되어 있는지 판단될 수 있다. 그리고 디폴트 모드가 색차 인트라 예측 모드 후보 그룹에 포함되지 않은 경우, 상기 디폴트 모드가 제5 세트에 포함될 수 있다. 제5 세트에 포함된 인트라 예측 모드(디폴트 모드)는 색차 인트라 예측 모드 후보 그룹에 포함된다.

일 실시 예에 따르면, 제1 세트 내지 제4 세트의 인트라 예측 모드의 개수가 색차 인트라 예측 모드 후보 그룹의 최대 후보 개수보다 작은 경우, 제5 세트가 결정될 수 있다. 또한, 제5 세트를 구성하는 과정에서, 색차 인트라 예측 모드 후보 그룹의 최대 후보 개수의 인트라 예측 모드가 모두 결정되면, 제5 세트의 구성 프로세스는 종료된다.

색차 인트라 예측 모드 후보 그룹에서 제1 세트 내지 제5 세트의 결정 순서는 실시 예에 따라 변경될 수 있다. 예를 들어, 제2 세트 및 제3 세트의 순서는 변경될 수 있다. 또는 제1 세트와 제2 세트, 제1 세트와 제3 세트의 순서도 변경될 수 있다. 또는 디폴트 모드가 포함된 제5 세트가 색차 인트라 예측 모드 후보 그룹에 가장 먼저 포함되고, 제1 세트 내지 제4 세트가 색차 인트라 예측 모드 후보 그룹에 소정의 순서에 따라 포함될 수도 있다.

또한 일 실시예에 따르면, 제1 세트 내지 제5 세트 중 일부 세트에 따라, 색차 인트라 예측 모드 후보 그룹이 결정될 수 있다. 예를 들어, 제1 세트 및 제2 세트만을 사용하여 색차 인트라 예측 모드 후보 그룹이 결정될 수 있다. 또는 제1 세트 내지 제3 세트만을 사용하여 색차 인트라 예측 모드 후보 그룹이 결정될 수 있다. 또는 제1 세트, 제2 세트 및 제4 세트만을 사용하여 색차 인트라 예측 모드 후보 그룹이 결정될 수 있다. 그리고 제5 세트는 실시 예에 따라, 색차 인트라 예측 모드 후보 그룹에 더 포함될 수 있다. 제1 세트 내지 제5 세트 중 색차 인트라 예측 모드 후보 그룹에 사용되는 세트들의 순서는 실시 예에 따라 변경될 수 있다.

일 실시 예에 따르면, 현재 색차 블록 이전에 부호화 또는 복호화된 색차 블록에 적용된 인트라 예측 모드로 구성된 색차 인트라 예측 모드 세트(제6 세트)가 색차 인트라 예측 모드 후보 그룹의 결정에 사용될 수 있다. 제6 세트에는 현재 색차 블록과 공간적으로 인접하지 않더라도, 현재 색차 블록과 부호화 또는 복호화 순서 상 인접한 색차 블록의 인트라 예측 모드가 포함될 수 있다.

제6 세트에 참조되는 색차 블록은 색차 인트라 모드 히스토리 리스트로부터 도출될 수 있다. 소정의 단위마다 색차 인트라 모드 히스토리 리스트가 생성될 수 있다. 예를 들어, 슬라이스 또는 부호화 트리 블록마다 독립적인 색차 인트라 모드 히스토리 리스트가 생성될 수 있다. 현재 색차 블록이 인트라 예측되는 경우, 색차 인트라 모드 히스토리 리스트에는 상기 리스트에서 가장 처음으로 추가된 인트라 예측 모드가 제외된다. 그리고, 대신 현재 색차 블록에 적용된 인트라 예측 모드가 상기 리스트에 포함된다. 만약 현재 색차 블록의 인트라 예측 모드가 이미 색차 인트라 모드 히스토리 리스트에 포함된 경우, 상기 리스트에서 어떠한 인트라 예측 모드도 제외되지 않는다. 대신 상기 현재 색차 블록에 적용된 인트라 예측 모드가 상기 리스트의 소정의 위치에 할당되도록, 상기 리스트의 인트라 예측 모드의 순서가 변경된다. 상기 소정의 위치는 상기 리스트에서 가장 최근에 리스트에 진입한 인트라 예측 모드에 부여되는 위치이다.

제6 세트의 인트라 예측 모드가 색차 인트라 예측 모드 세트에 포함되는 순서는 실시 예에 따라 다르게 결정될 수 있다. 일 실시 예에 따르면, 제1 세트 내지 제3 세트의 인트라 예측 모드가 색차 인트라 예측 모드 세트에 포함된 후, 제6 세트의 인트라 예측 모드가 색차 인트라 예측 모드 세트에 포함될 수 있다. 또는 제1 세트 내지 제4 세트의 인트라 예측 모드가 색차 인트라 예측 모드 세트에 포함된 후, 제6 세트의 인트라 예측 모드가 색차 인트라 예측 모드 세트에 포함될 수 있다. 제6 세트의 인트라 예측 모드를 색차 인트라 예측 모드 세트에 포함시킴에 있어서, 제1 세트 내지 제5 세트의 인트라 예측 모드에 적용된 중복성 검사가 수행될 수 있다.

도 4는 제1 세트 내지 제3 세트에 포함되는 색차 인트라 예측 모드를 설명하기 위한 휘도 블록과 색차 블록을 도시한다.

도 4에 따라, 다중 직접 모드에서 참조되는 복수의 휘도 블록의 위치가 설명된다.

현재 색차 블록(400)은 현재 휘도 블록(410)에 대응된다. 컬러 포맷이 4:4:4인 경우, 현재 색차 블록의 크기는 현재 휘도 블록과 같도록 설정될 수 있다. 그리고 컬러 포맷이 4:2:2인 경우, 현재 색차 블록의 면적은 현재 휘도 블록의 절반으로 설정될 수 있다. 그리고 컬러 포맷이 4:2:0인 경우, 현재 색차 블록의 크기는 현재 휘도 블록의 1/4으로 설정될 수 있다. 도 4는 컬러 포맷이 4:2:0인 경우, 현재 색차 블록(400)에 대응되는 현재 휘도 블록(410)을 나타낸다.

도 4에 의하면, 현재 색차 블록(400)과 달리, 현재 휘도 블록(410)은 추가적으로 분할된다. 따라서 현재 색차 블록(400)은 현재 휘도 블록(410)으로부터 분할된 복수의 블록들과 대응될 수 있다. 상기 복수의 블록들 중 일부 블록들이 다중 직접 모드에서 참조될 수 있다.

제1 세트를 결정하기 위하여, 현재 휘도 블록(410)의 C, TR, TL, BR, 및 BL 위치가 참조될 수 있다. 현재 휘도 블록(410)에서 C, TR, TL, BR, 및 BL 위치에 대응되는 5개의 블록들 (412, 414, 416, 418, 420)이 다중 직접 모드에서 사용될 수 있다. 따라서, 제1 세트는 상기 블록들(412, 414, 416, 418, 420)의 인트라 예측 모드를 포함할 수 있다. 제1 세트는 5개의 블록들 (412, 414, 416, 418, 420)의 인트라 예측 모드를 순서대로 포함할 수 있다. 다만, 제1 세트에 포함되는 인트라 예측 모드의 순서는 임의로 변경될 수 있다.

이 때, 중복성 검사에 따라, 제1 세트에는 제1 세트에 이미 포함된 인트라 예측 모드와 중복되지 않는 인트라 예측 모드가 포함될 수 있다. 제1 세트에 포함된 인트라 예측 모드는 색차 인트라 예측 모드 후보 그룹에 포함될 수 있다.

제2 세트를 결정하기 위하여, 현재 색차 블록(400)의 인접 위치인 C1, C2, C3, C4, 및 C5가 참조될 수 있다. 현재 색차 블록(400)의 C1, C2, C3, C4, 및 C5에 대응되는 5개의 블록들 (422, 424, 426, 428, 430)로부터 제2 세트의 인트라 예측 모드가 결정될 수 있다. 제2 세트는 5개의 블록들 (422, 424, 426, 428, 430)의 인트라 예측 모드를 순서대로 포함할 수 있다. 다만, 제2 세트에 포함되는 인트라 예측 모드이 순서는 임의로 변경될 수 있다.

그리고 C1의 위치는 도 4에서는 현재 색차 블록(400)의 좌측 샘플들 중 가장 하측의 샘플로 결정되었으나, 실시 예에 따라, 현재 색차 블록(400)의 좌측 샘플들 중 가장 상측의 샘플 또는 중앙부의 샘플로 결정될 수 있다. 또한 C2의 위치는 도 4에서는 현재 색차 블록(400)의 상측 샘플들 중 가장 우측의 샘플로 결정되었으나, 실시 예에 따라, 현재 색차 블록(400)의 상측 샘플들 중 가장 좌측의 샘플 또는 중앙부의 샘플로 결정될 수 있다

중복성 검사에 따라, 제2 세트에는 제1 세트 및 제2 세트에 이미 포함된 인트라 예측 모드와 중복되지 않는 인트라 예측 모드가 포함될 수 있다. 제2 세트에 포함된 인트라 예측 모드는 색차 인트라 예측 모드 후보 그룹에 포함될 수 있다.

제3 세트를 결정하기 위하여, 현재 휘도 블록(410)의 인접 위치인 L1, L2, L3, L4, 및 L5가 참조될 수 있다. 현재 색차 블록(400)의 L1, L2, L3, L4, 및 L5에 대응되는 5개의 블록들 (432, 434, 436, 438, 440)로부터 제3 세트의 인트라 예측 모드가 결정될 수 있다. 제3 세트는 5개의 블록들 (432, 434, 436, 438, 440)의 인트라 예측 모드를 순서대로 포함할 수 있다. 다만, 제3 세트에 포함되는 인트라 예측 모드이 순서는 임의로 변경될 수 있다.

그리고 L1의 위치는 도 4에서는 현재 휘도 블록(410)의 좌측 샘플들 중 가장 하측의 샘플로 결정되었으나, 실시 예에 따라, 현재 휘도 블록(410)의 좌측 샘플들 중 가장 상측의 샘플 또는 중앙부의 샘플로 결정될 수 있다. 또한 L2의 위치는 도 4에서는 현재 휘도 블록(410)의 상측 샘플들 중 가장 우측의 샘플로 결정되었으나, 실시 예에 따라, 현재 휘도 블록(410)의 상측 샘플들 중 가장 좌측의 샘플 또는 중앙부의 샘플로 결정될 수 있다

중복성 검사에 따라, 제3 세트에는 제1 세트 내지 제3 세트에 이미 포함된 인트라 예측 모드와 중복되지 않는 인트라 예측 모드가 포함될 수 있다. 제3 세트에 포함된 인트라 예측 모드는 색차 인트라 예측 모드 후보 그룹에 포함될 수 있다.

도 5는 앞에서 설명된 제1 세트 내지 제5 세트에 따른 색차 인트라 예측 모드 후보 그룹의 결정 방법에 대한 순서도를 나타낸다.

단계 502에서, 다중 직접 모드로 구성된 제1 세트의 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 포함된다. 그리고 단계 504에서, 단계 502에 의하여 색차 인트라 예측 모드 후보 그룹이 완성되었는지 판단된다. 만약 색차 인트라 예측 모드 후보 그룹에 추가적인 인트라 예측 모드 후보가 필요한 경우, 단계 506이 수행된다. 그리고 색차 인트라 예측 모드 후보 그룹이 완성된 경우, 상기 방법은 종료된다.

단계 506에서, 현재 색차 블록의 인접 블록을 참조하여 구성된 제2 세트의 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 포함된다. 그리고 단계 508에서, 단계 506에 의하여 색차 인트라 예측 모드 후보 그룹이 완성되었는지 판단된다. 만약 색차 인트라 예측 모드 후보 그룹에 추가적인 인트라 예측 모드 후보가 필요한 경우, 단계 510이 수행된다. 그리고 색차 인트라 예측 모드 후보 그룹이 완성된 경우, 상기 방법은 종료된다.

단계 510에서, 현재 휘도 블록의 인접 블록을 참조하여 구성된 제3 세트의 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 포함된다. 그리고 단계 512에서, 단계 510에 의하여 색차 인트라 예측 모드 후보 그룹이 완성되었는지 판단된다. 만약 색차 인트라 예측 모드 후보 그룹에 추가적인 인트라 예측 모드 후보가 필요한 경우, 단계 514이 수행된다. 그리고 색차 인트라 예측 모드 후보 그룹이 완성된 경우, 상기 방법은 종료된다.

단계 514에서, 이차 인트라 예측 모드로 구성된 제4 세트의 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 포함된다. 그리고 단계 516에서, 단계 514에 의하여 색차 인트라 예측 모드 후보 그룹이 완성되었는지 판단된다. 만약 색차 인트라 예측 모드 후보 그룹에 추가적인 인트라 예측 모드 후보가 필요한 경우, 단계 518이 수행된다. 그리고 색차 인트라 예측 모드 후보 그룹이 완성된 경우, 상기 방법은 종료된다.

단계 518에서, 디폴트 모드로 구성된 제5 세트의 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 포함된다.

실시 예에 따라서, 단계 502에서 제1 세트가 아닌 다른 세트의 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 포함될 수 있다. 그리고 단계 506, 510, 514 및 518에서 색차 인트라 예측 모드 후보 그룹에 포함되는 인트라 예측 모드도 도 5에서 표시된 세트가 아닌 다른 세트일 수 있다.

실시 예에 따라서, 5개의 세트가 순차적으로 색차 인트라 예측 모드 후보 그룹에 포함되지 않고, 3-4 개의 세트가 순차적으로 색차 인트라 예측 모드 후보 그룹에 포함될 수 있다.

도 5의 방법에 제6 세트의 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 포함되는 단계가 추가될 수 있다.

상기 5개의 색차 인트라 예측 모드 세트로의 인트라 예측 모드로 구성된 색차 인트라 예측 모드 후보 그룹이 현재 색차 블록의 인트라 예측 모드 결정에 이용될 수 있다. 상기 색차 인트라 예측 모드 후보 그룹으로부터 현재 색차 블록의 인트라 예측 모드가 결정될 수 있다.

부호화 단에서는 상기 색차 인트라 예측 모드 후보 그룹으로부터 현재 색차 블록의 인트라 예측 모드를 나타내는 색차 인트라 예측 모드 정보가 부호화될 수 있다. 그리고 복호화 단에서는 상기 부호화된 색차 인트라 예측 모드 정보가 복호화될 수 있다.

색차 인트라 예측 모드 정보는 절삭형 단항 코드(truncated unary code)를 사용하여 전송/파싱할 수 있다. 표 1은 9개의 색차 인트라 예측 모드를 갖는 색차 인트라 예측 모드 후보 그룹의 각 인덱스에 대한 절삭형 단항 코드를 나타낸다. 색차 인트라 예측 모드 정보는 현재 색차 블록의 인트라 예측 모드에 따라 표 1에서 설명된 값을 가질 수 있다.

색차 인트라 예측 모드 리스트 인덱스	절삭형 단항 코드워드
1	0 또는 1
2	10 또는 01
3	110 또는 001
4	1110 또는 0001
5	11110 또는 00001
6	111110 또는 000001
7	1111110 또는 0000001
8	11111110 또는 00000001
9	11111111 또는 00000000

일 실시 예에 따르면, 색차 인트라 예측 모드 후보 그룹 내의 색차 인트라 예측 모드의 우선 순위를 고려하여 색차 인트라 예측 모드 후보 그룹 내의 색차 인트라 예측 모드가 재정렬될 수 있다. 이하 표 2는 색차 인트라 예측 모드 후보 그룹의 인덱스에 대응되는 색차 인트라 예측 모드 후보의 예시를 나타낸다.

색차 인트라 예측 모드 후보 그룹 인덱스	색차 인트라 예측 모드 후보
1	Mode1
2	Mode2
3	Mode3
4	Mode4
5	Mode5
6	Mode6
7	Mode7
8	Mode8
9	Mode9

표 2에서 Mode1 - Mode9는 중복하지 않는 임의의 인트라 예측 모드를 나타낸다. 상기 색차 인트라 예측 모드 후보 그룹으로부터 선택된 색차 인트라 예측 모드를 나타내는 색차 인트라 예측 모드 정보는 표 1의 절삭형 단항 코드에 따라 이진화되어 부호화된다.

표 1에서 보듯이, 절삭형 단항 코드(truncated unary code)에 따른 이진화에 의하면, 작은 값의 인덱스에 적은 비트가 할당되고, 큰 값의 인덱스에 많은 비트가 할당된다. 그러므로 선택 확률이 높은 인트라 예측 모드를 색차 인트라 예측 모드 후보 그룹의 상위 인덱스(작은 값의 인덱스)에 할당하고, 상대적으로 선택 확률이 낮은 모드를 색차 인트라 예측 모드 후보 그룹의 하위 인덱스(큰 값의 인덱스)에 할당함으로써, 색차 인트라 예측 모드 정보의 비트량이 감소될 수 있다. 그러므로 앞서 제안된 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보를 선택 확률에 따라 재정렬함으로써, 색차 인트라 예측 모드 정보의 부호화 효율이 증가할 수 있다.

이하, 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보의 선택 확률을 계산하는 방법이 제시된다. 첫 번째로 템플릿 매칭을 사용하여 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드들의 선택 확률을 계산하고, 이에 따라, 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드들을 재정렬하는 방법이 설명된다. 두 번째로 색차 인트라 예측 모드의 발생 빈도를 고려하여 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드들의 선택 확률을 계산하고, 이에 따라, 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드들을 재정렬하는 방법이 설명된다.

앞서 언급한 바와 같이, 템플릿 매칭을 사용하여 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보가 재정렬될 수 있다.

일 실시 예에 따른 템플릿 매칭 기반 재정렬 방법에 따르면, 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹에 포함된 각 인트라 예측 모드 후보가 현재 색차 블록의 템플릿에 적합한지 여부가 판단된다. 여기서 템플릿은, 현재 색차 블록의 소정의 주변 범위를 나타낸다. 예를 들어, 템플릿은, 현재 색차 블록의 좌측 인접 샘플 범위와 상측 인접 샘플 범위를 포함할 수 있다. 현재 색차 블록에 인접한 템플릿에 대한 예측 정확도가 높은 인트라 예측 모드가 현재 색차 블록에 대하여도 예측 정확도가 높을 가능성이 크다. 그러므로 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹을 재정렬함에 있어서, 현재 색차 블록의 템플릿에 대한 적합도가 높은 인트라 예측 모드에 대하여 높은 우선순위를 할당함으로써, 색차 인트라 예측 모드 정보의 부호화 효율이 증가할 수 있다.

일 실시 예에 따르면, 인트라 예측 모드 후보의 방향성에 따라 템플릿에 대한 예측 템플릿이 생성된다. 그리고 인트라 예측 모드 후보의 방향성에 따라 템플릿을 예측하기 위하여, 템플릿에 인접한 참조 샘플들이 이용될 수 있다. 예를 들어, 템플릿의 상측 참조 샘플들과 좌측 참조 샘플들이 템플릿의 예측에 이용될 수 있다. 그리고 예측 템플릿의 화소와 이미 복원된 템플릿의 화소의 차이에 기초하여, 인트라 예측 모드 후보의 평가 값이 계산된다. 상기 평가 값은 현재 색차 블록의 템플릿에 대한 인트라 예측 모드 후보의 예측 정확도를 나타내며, 상기 평가 값이 작을수록, 현재 색차 블록의 템플릿에 대한 인트라 예측 모드 후보의 예측 정확도가 높다고 볼 수 있다. 상기 평가 값은 예측 템플릿의 화소와 복원된 템플릿의 화소의 차이는 절대 차이의 합(sum of absolute difference, SAD) 혹은 제곱 오차의 합(sum of square error, SSE) 혹은 절대 변환 차이의 합(sum of absolute transformed differences, SATD)를 중 임의의 방법을 사용하여 계산될 수 있다.

각 인트라 예측 모드 후보의 평가 값에 따라, 현재 색차 블록에 대한 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보의 순서가 재정렬될 수 있다. 예를 들어, 인트라 예측 모드 후보의 평가 값이 작은 인트라 예측 모드 후보가 상위 인덱스(작은 값의 인덱스)에 할당되고, 인트라 예측 모드 후보의 평가 값이 큰 인트라 예측 모드 후보가 하위 인덱스(큰 값의 인덱스)에 할당될 수 있다. 이처럼 색차 인트라 예측 모드 리스트 내의 각각의 색차 후보 모드에 대해 템플릿 기반의 차이 값을 비교하여 색차 인트라 예측 모드 리스트 내에서 위치가 재조정될 수 있다.

도 6은 템플릿 기반 화면 내 모드 유도 방법에서 사용하는 현재 색차 블록의 템플릿과 예측 템플릿을 생성하기 위해 사용하는 템플릿의 참조 화소를 나타낸다.

현재 색차 블록 (600)은 MxN 크기의 블록이다. 그리고 현재 색차 블록 (600)의 템플릿 (610)은 현재 색차 블록 (600)에 인접한 L1xN 크기의 좌측 템플릿 (612)과 MxL2 크기의 상측 템플릿 (614)을 포함한다. 여기서 L1과 L2는 각각 1 이상의 정수 값이다. L1과 L2는 동일한 값으로 결정될 수 있다. 또는 L1과 L2는 각각 M 및 N에 비례하여 결정될 수 있다. 실시 예에 따라, 템플릿 (610)은 현재 색차 블록 (600)에 인접한 L1xL2 크기의 좌상측 템플릿 (616)을 더 포함할 수도 있다.

현재 색차 블록 (600)의 템플릿 (610)은 템플릿 (610) 주변의 인접 참조 샘플들 (620)을 참조하여 예측될 수 있다. 인접 참조 샘플들 (620)은 좌측 템플릿 (612)에서 바로 인접한 좌측 참조 샘플 라인 (622)으로부터 2(N+L2)+1 개의 참조 샘플을 포함할 수 있다. 그리고 인접 참조 샘플들(620)은 상측 템플릿(614)에서 바로 인접한 상단 참조 샘플 라인 (626)으로부터 2(M+L1) 개의 참조 샘플을 포함할 수 있다.

일 실시 예에 따르면, 좌측 참조 샘플 라인 (622)의 하단의 N+L2개의 참조 샘플 (624) 대신 좌측 템플릿(612) 하단의 참조 샘플 (630)을 참조하여 템플릿 (610)이 예측될 수 있다. 또한, 상단 참조 샘플 라인 (626)의 우측의 M+L1개의 참조 샘플(628) 대신 상측 템플릿 (614)의 우측의 참조 샘플 (632)을 참조하여 템플릿 (610)이 예측될 수 있다.

앞서 언급한 바와 같이, 인트라 예측 모드의 발생 빈도에 따라 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보가 재정렬될 수 있다.

색차 인트라 예측 모드 후보 그룹의 각 인트라 예측 모드 후보의 발생 빈도가 결정된다. 예를 들어, 제1 세트 내지 제3 세트의 참조 블록들의 인트라 예측 모드들로부터, 인트라 예측 모드 후보의 발생 빈도가 계산될 수 있다. 예를 들어, 도 4에 따르면, 제1 세트 내지 제3 세트는 각각 5개의 참조 블록들을 참조되므로, 최대 15개의 참조 블록이 인트라 예측 모드 후보의 발생 빈도 결정에 참조될 수 있다. 그러므로 최대 15개의 참조 블록의 인트라 예측 모드에 따라, 인트라 예측 모드 후보의 발생 빈도가 결정될 수 있다.

만약 참조 블록을 결정하기 위한 참조 위치들 중 두 개 이상의 참조 위치가 하나의 참조 블록을 가리킬 경우, 상기 하나의 참조 블록이 포함하는 참조 위치의 개수에 따라 인트라 예측 모드 후보의 발생 빈도가 결정될 수 있다. 또는 반대로, 상기 하나의 참조 블록이 포함하는 참조 위치의 개수와 상관없이, 인트라 예측 모드 후보의 발생 빈도가 결정될 수 있다.

각 인트라 예측 모드 후보의 발생 빈도에 따라, 색차 인트라 예측 모드 후보 그룹이 재정렬될 수 있다. 예를 들어, 발생 빈도가 높은 인트라 예측 모드 후보가 상위 인덱스(작은 값의 인덱스)에 할당되고, 발생 빈도가 낮은 인트라 예측 모드 후보가 하위 인덱스(큰 값의 인덱스)에 할당될 수 있다.

일 실시예에 따르면, 앞서 설명된 제1 세트 내지 제3 세트의 중복성 검사에 의하여, 이미 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드는 더 이상 색차 인트라 예측 모드 후보 그룹에 포함되지 않는다. 대신, 중복성 검사에 따라, 제1 세트 내지 제3 세트에 대하여 유도된 인트라 예측 모드가 색차 인트라 예측 모드 후보 그룹에 포함되지 않는 경우, 상기 인트라 예측 모드에 대한 중복 카운트를 1만큼 증가시킬 수 있다. 상기 중복 카운트는 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드 후보의 발생 빈도를 나타낸다.

그리고 각 인트라 예측 모드 후보의 중복 카운트의 크기에 따라, 색차 인트라 예측 모드 후보 그룹이 재정렬될 수 있다. 예를 들어, 중복 카운트가 큰 인트라 예측 모드 후보가 상위 인덱스(작은 값의 인덱스)에 할당되고, 중복 카운트가 작은 인트라 예측 모드 후보가 하위 인덱스(큰 값의 인덱스)에 할당될 수 있다. 인트라 예측 모드 후보 도출 과정에서 결정된 중복 카운트를 이용하여 인트라 예측 모드 후보의 발생 빈도를 결정함으로써, 인트라 예측 모드 후보 결정 후, 인트라 예측 모드 후보의 발생 빈도를 별도로 계산하는 단계가 생략될 수 있다.

일 실시예에 따르면, 현재 색차 블록에 관련된 모든 관련 블록으로부터 인트라 예측 모드 후보의 발생 빈도가 판단될 수 있다. 도 4에 따르면, 제1 세트 내지 제3 세트의 인트라 예측 모드를 결정하기 위하여 특정 위치의 블록만이 사용되었다, 그러나, 일 실시 예에 따르면, 이미 결정된 인트라 예측 모드 후보의 발생 빈도를 결정하기 위하여, 현재 색차 블록에 관련된 모든 관련 블록들의 인트라 예측 모드가 고려될 수 있다. 예를 들어, 현재 휘도 블록에 포함된 모든 블록들의 인트라 예측 모드, 현재 색차 블록의 모든 인접 색차 블록들의 인트라 예측 모드, 및 현재 휘도 블록의 모든 인접 휘도 블록들의 인트라 예측 모드를 참조함으로써, 각 인트라 예측 모드 후보의 발생 빈도가 결정될 수 있다. 그리고 각 인트라 예측 모드 후보의 발생 빈도에 따라, 색차 인트라 예측 모드 후보 그룹이 재정렬될 수 있다.

일 실시예에 따르면, 현재 색차 블록에 바로 인접하지 않으나, 현재 색차 블록의 부호화 (또는 복호화) 이전에 부호화된 (또는 복호화된) 블록들도 현재 색차 블록의 관련 블록으로 간주될 수 있다. 예를 들어, 현재 색차 블록에 포함된 부호화 트리 블록 또는 슬라이스에 포함된 모든 색차 블록이 현재 색차 블록의 관련 블록으로 간주될 수 있다. 또는 현재 색차 블록에 포함된 부호화 트리 블록 또는 슬라이스에 포함된 색차 블록들 중에서 현재 색차 블록으로부터 최근에 부호화된 (또는 복호화된) 색차 블록들이 현재 색차 블록의 관련 블록으로 간주될 수 있다. 색차 블록들이 최근에 부호화되었는지 (또는 복호화되었는지) 여부는 현재 색차 블록과 부호화된 (또는 복호화된) 블록 간 부호화 순서의 차이가 소정의 값보다 작은지에 따라 결정될 수 있다.

일 실시예에 따르면, 인트라 예측 모드 후보의 발생 빈도를 판단함에 있어, 참조 블록의 개수 대신 참조 블록의 면적이 고려될 수 있다. 인트라 예측 모드 후보가 사용된 하나 이상의 참조 블록의 총 면적이 모두 합산되고, 상기 총 면적에 따라 발생 빈도 점수가 결정될 수 있다. 그리고 각 인트라 예측 모드 후보의 발생 빈도 점수에 따라, 색차 인트라 예측 모드 후보 그룹이 재정렬될 수 있다. 그리고 발생 빈도 점수에 따라, 색차 인트라 예측 모드 후보 그룹이 재정렬될 수 있다. 또는 실시 예에 따라, 인트라 예측 모드 후보의 참조 블록의 개수와 면적이 발생 빈도 점수의 계산에 모두 고려될 수 있다.

도 7은 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보 재정렬을 위한 인트라 예측 모드의 발생 빈도의 결정을 위한 블록들을 도시한다.

도 7은 현재 색차 블록(700)과 이에 대응하는 현재 휘도 블록(710)이 도시되어 있다. 그리고 현재 휘도 블록(710)에는 8개의 블록 (712 내지 726)이 포함되어 있다. 현재 색차 블록(700)에는 4개의 좌측 인접 블록 (730, 732, 734, 736)과 4개의 상측 인접 블록 (742, 744, 746, 748)과 1개의 좌상측 인접 블록 (740)이 인접해 있다. 그리고 현재 휘도 블록(710)에는 8개의 좌측 인접 블록 (750 내지 764)과 8개의 상측 인접 블록 (772 내지 786)과 1개의 좌상측 인접 블록 (770)이 인접해 있다.

제1 세트 내지 제3 세트의 참조 블록들만 참조하여 인트라 예측 모드 후보의 발생 빈도가 결정되는 경우, 현재 휘도 블록 (710)의 4개의 블록 (712, 716, 722, 726)과 현재 색차 블록 (700)에 인접한 5개의 블록 (732, 734, 740, 744, 746)과 현재 휘도 블록 (710)에 인접한 5개의 블록 (756, 758, 770, 778, 780)로부터 인트라 예측 모드 후보의 발생 빈도가 결정된다. 일 실시 예에 따르면, 블록 (726)은 참조 위치 C와 BR을 모두 포함하므로, 블록 (726)의 인트라 예측 모드는 인트라 예측 모드 후보의 발생 빈도 계산에 있어서 2회 카운팅 될 수 있다.

현재 색차 블록 (700)에 관련된 모든 블록으로부터 인트라 예측 모드 후보의 발생 빈도가 판단되는 경우, 현재 휘도 블록 (710)의 8개의 블록 (712 내지 726)과 현재 색차 블록 (700)에 인접한 9개의 블록 (730 내지 736, 740 내지 748)과 현재 휘도 블록 (710)에 인접한 17개의 블록 (750 내지 764, 770 내지 786)로부터 인트라 예측 모드 후보의 발생 빈도가 결정된다.

다만, 현재 색차 블록 (700) 또는 현재 휘도 블록 (710)으로부터 바로 인접하지 않은 블록은 발생 빈도 계산에서 제외될 수 있다. 예를 들어, 현재 색차 블록 (700)에 바로 인접하지 않은 색차 블록 (736, 748)과 현재 휘도 블록 (710)에 바로 인접하지 않은 휘도 블록 (760, 762, 764, 782, 784, 786)은 발생 빈도 계산에서 제외될 수 있다.

인트라 예측 모드의 발생 빈도를 결정함에 있어서, 참조 블록의 면적이 고려될 수 있다. 예를 들어, 블록 (712)의 면적은 블록 (714)의 4배이므로, 발생 빈도 계산에 있어서 블록 (712)의 가중치는 블록 (714)의 가중치의 4배로 결정될 수 있다.

앞서 논의된 바와 같이, 실시 예에 따라, 도 7의 휘도 블록 및 색차 블록들 중 일부를 참조하여, 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보의 발생 빈도가 결정될 수 있다.

본 발명에서, 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보를 효율적으로 부호화 또는 복호화하는 방법이 제안된다.

표 1은 색차 인트라 예측 모드 후보 그룹의 9개의 인트라 예측 모드 후보에 대한 인덱스 정보를 절삭형 단항 코드를 사용하여 이진화하기 위한 코드워드를 나타낸다. 표 1에서 보듯이, 작은 값의 인덱스에 대하여 더 적은 비트가 할당되는 반면, 큰 값의 인덱스에 대하여 더 많은 비트가 할당된다. 따라서 선택 확률이 높은 인트라 예측 모드 후보에 대하여 작은 값의 인덱스를 부여함으로써, 색차 인트라 예측 모드의 부호화 효율이 증가할 수 있다.

다만, 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보의 선택 확률이 거의 유사할 경우, 인덱스 정보를 절삭형 단항 코드로 이진화하지 않고, 고정 길이 코드(fixed length code, FLC)로 이진화하는 것이 효율적일 수 있다. 고정 길이 코드로 인덱스 정보를 이진화 경우, 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보의 개수를 2의 지수승으로 결정하는 것이 효율적일 수 있다. 예를 들어, 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보의 개수는 2, 4, 8, 16 등일 수 있다.

만약, 색차 인트라 예측 모드 후보 그룹에 9개의 인트라 예측 모드 후보가 포함될 경우, 인덱스 정보를 효율적으로 전송/파싱하기 위해 우세 플래그(dominant flag) 정보가 사용될 수 있다. 표 3은 우세 플래그 정보를 사용하여 9개의 색차 인트라 예측 모드를 갖는 색차 인트라 예측 모드 리스트의 각 인덱스를 전송/파싱하는 코드워드를 나타낸다.

색차 인트라 예측 모드 후보 그룹 인덱스	코드워드
1	0 또는 1
2	1000 또는 0000
3	1001 또는 0001
4	1010 또는 0010
5	1011 또는 0011
6	1100 또는 0100
7	1101 또는 0101
8	1110 또는 0110
9	1111 또는 0111

표 3에서 보듯이, 색차 인트라 예측 모드 후보 그룹의 첫 번째 인트라 예측 모드(인덱스 1)에 대해서는 0 또는 1의 코드워드가 부여된다. 따라서 첫 번째 인트라 예측 모드(인덱스 1)의 부호화를 위하여 우세 플래그 정보만이 사용된다. 이후 색차 인트라 예측 모드 후보 그룹의 두 번째 색차 인트라 예측 모드(인덱스 2)부터 아홉 번째 색차 인트라 예측 모드(인덱스 9)에 대해서는, 첫 번째 색차 인트라 예측 모드와 구별하기 위한 우세 플래그 정보의 차별 비트(discriminated bit)와 8개의 인트라 예측 모드를 구분하기 위한 나머지 인덱스 (remainder index) 정보가 사용된다. 색차 인트라 예측 모드 후보 그룹에 9개의 인트라 예측 모드가 포함된 경우, 상기 나머지 인덱스 정보는 3비트의 고정 길이일 수 있다. 하나의 사용 빈도가 높은 특별한 색차 인트라 예측 모드가 존재하는 경우, 표 3와 같이 우세한 플래그를 사용함으로써 인덱스 정보가 효율적으로 부호화/복호화될 수 있다.

도 8은 본 발명에 따른 영상 복호화 방법의 일 실시 예를 나타낸다.

단계 802에서, 현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹이 결정된다.

일 실시 예에 따르면, 상기 현재 색차 블록의 상기 참조 블록은 상기 현재 색차 블록에 대응되는 현재 휘도 블록으로부터 분할된 복수의 휘도 블록을 포함할 수 있다. 상기 복수의 휘도 블록은 상기 현재 색차 블록의 복수의 참조 위치에 대응되고, 상기 복수의 참조 위치는 중앙 위치, 좌상측 위치, 우상측 위치, 좌하측 위치, 및 우하측 위치 중 적어도 둘을 포함할 수 있다.

일 실시 예에 따르면, 상기 현재 색차 블록의 상기 참조 블록은 상기 현재 색차 블록에 인접한 색차 블록을 포함할 수 있다. 상기 현재 색차 블록에 인접한 블록은 상기 현재 색차 블록의 좌측 색차 블록, 상측 색차 블록, 좌하측 색차 블록, 우상측 색차 블록, 및 좌상측 색차 블록 중 적어도 하나를 포함할 수 있다.

일 실시 예에 따르면, 상기 현재 색차 블록의 상기 참조 블록은 상기 현재 색차 블록에 대응되는 현재 휘도 블록에 인접한 휘도 블록을 포함할 수 있다. 상기 현재 휘도 블록에 인접한 블록은 상기 현재 휘도 블록의 좌측 휘도 블록, 상측 휘도 블록, 좌하측 휘도 블록, 우상측 휘도 블록, 및 좌상측 휘도 블록 중 적어도 하나를 포함할 수 있다.

일 실시 예에 따르면, 단계 802에서, 상기 현재 색차 블록의 참조 블록의 인트라 예측 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함시키는 단계 및 상기 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드 후보의 개수가 소정의 값보다 작을 경우, 상기 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드 후보로부터 유도된 이차 인트라 예측 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함시키는 단계가 포함될 수 있다. 상기 이차 인트라 예측 모드는, 상기 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보의 인덱스 값보다 소정의 값만큼 크거나 작은 인덱스 값의 인트라 예측 모드일 수 있다.

일 실시 예에 따르면, 단계 802에서, 상기 현재 색차 블록의 참조 블록으로부터 유도된 인트라 예측 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함시키는 단계 및 상기 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드 후보의 개수가 소정의 값보다 작을 경우, 디폴트 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함시키는 단계가 포함될 수 있다.

일 실시 예에 따르면, 단계 802에서, 상기 현재 색차 블록의 참조 블록으로부터 인트라 예측 모드를 추출하는 단계 및 상기 추출된 인트라 예측 모드가 상기 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드 후보와 중복되지 않을 때, 상기 추출된 인트라 예측 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함하는 단계가 포함될 수 있다.

단계 804에서, 상기 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보가 결정되면, 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보는 상기 인트라 예측 모드 후보의 우선 순위에 따라 재정렬될 수 있다.

일 실시 예에 따르면, 상기 인트라 예측 모드 후보의 우선 순위는 상기 현재 색차 블록의 템플릿에 대한 기초하여 결정될 수 있다. 상기 템플릿은 상기 현재 색차 블록으로부터 좌측 및 상측 중 적어도 하나의 방향에 인접한 소정 크기의 복원 영역이며, 상기 인트라 예측 모드 후보의 우선 순위는, 상기 템플릿의 복원 샘플과 상기 인트라 예측 모드 후보에 따라 예측된 템플릿의 예측 샘플의 차이에 기초하여 결정될 수 있다.

일 실시 예에 따르면, 상기 인트라 예측 모드 후보의 우선 순위는 상기 현재 색차 블록의 복수의 관련 블록에 기초하여 결정될 수 있다. 상기 인트라 예측 모드 후보의 우선 순위는, 상기 복수의 관련 블록 중 상기 인트라 예측 모드 후보가 적용된 관련 블록의 개수 또는 관련 블록의 총 면적을 계산함으로써 결정될 수 있다. 상기 현재 색차 블록의 관련 블록은, 상기 현재 색차 블록에 대응되는 현재 휘도 블록에 포함된 휘도 블록, 상기 현재 색차 블록에 인접한 색차 블록, 상기 현재 휘도 블록에 인접한 휘도 블록, 및 상기 현재 색차 블록의 복호화 이전에 복호화된 색차 블록 중 적어도 하나를 포함할 수 있다.

단계 806에서, 색차 인트라 예측 모드 후보 그룹으로부터 상기 현재 색차 블록의 인트라 예측 모드를 나타내는 색차 인트라 예측 모드 정보가 획득된다.

일 실시 예에 따르면, 상기 색차 인트라 예측 모드 정보는 표 1과 같이 절삭형 단항 코드에 따라 이진화되었을 수도 있고, 고정 길이 코드에 따라 이진화되었을 수도 있다.

단계 808에서, 색차 인트라 예측 모드 정보에 기초하여, 색차 인트라 예측 모드 후보 그룹으로부터 상기 현재 색차 블록의 인트라 예측 모드가 결정된다.

도 9는 본 발명에 따른 영상 부호화 방법의 일 실시 예를 나타낸다.

단계 902에서, 현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 인트라 예측 모드 후보 그룹이 결정될 수 있다.

단계 904에서, 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보는 인트라 예측 모드 후보의 우선 순위에 따라 재정렬될 수 있다.

단계 902 및 904의 인트라 예측 모드 후보 그룹의 결정을 위하여, 단계 802 및 804에 대하여 설명된 인트라 예측 모드 후보 그룹의 결정 방법 및 재정렬 방법이 적용될 수 있다.

단계 906에서, 상기 현재 색차 블록의 인트라 예측 모드가 결정될 수 있다.

단계 908에서, 상기 인트라 예측 모드 후보 그룹으로부터 상기 현재 색차 블록의 인트라 예측 모드를 나타내는 색차 인트라 예측 모드 정보가 부호화될 수 있다. 단계 908의 색차 인트라 예측 모드 정보 역시 단계 808의 색차 인트라 예측 모드 정보와 마찬가지로 이진화될 수 있다.

도 10는 본 발명에 따른 실시예가 적용될 수 있는 컨텐츠 스트리밍 시스템을 예시적으로 나타내는 도면이다.

도 10에 도시된 바와 같이, 본 발명의 실시예가 적용된 컨텐츠 스트리밍 시스템은 크게 인코딩 서버, 스트리밍 서버, 웹 서버, 미디어 저장소, 사용자 장치 및 멀티미디어 입력 장치를 포함할 수 있다.

상기 인코딩 서버는 스마트폰, 카메라, CCTV 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 상기 스트리밍 서버로 전송하는 역할을 한다. 다른 예로, 스마트폰, 카메라, CCTV 등과 같은 멀티미디어 입력 장치들이 비트스트림을 직접 생성하는 경우, 상기 인코딩 서버는 생략될 수도 있다.

상기 비트스트림은 본 발명의 실시예가 적용된 영상 부호화 방법 및/또는 영상 부호화 장치에 의해 생성될 수 있고, 상기 스트리밍 서버는 상기 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 상기 비트스트림을 저장할 수 있다.

상기 스트리밍 서버는 웹 서버를 통한 사용자 요청에 기반하여 멀티미디어 데이터를 사용자 장치에 전송하고, 상기 웹 서버는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 할 수 있다. 사용자가 상기 웹 서버에 원하는 서비스를 요청하면, 상기 웹 서버는 이를 스트리밍 서버에 전달하고, 상기 스트리밍 서버는 사용자에게 멀티미디어 데이터를 전송할 수 있다. 이때, 상기 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 상기 제어 서버는 상기 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 수행할 수 있다.

상기 스트리밍 서버는 미디어 저장소 및/또는 인코딩 서버로부터 컨텐츠를 수신할 수 있다. 예를 들어, 상기 인코딩 서버로부터 컨텐츠를 수신하는 경우, 상기 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 상기 스트리밍 서버는 상기 비트스트림을 일정 시간동안 저장할 수 있다.

상기 사용자 장치의 예로는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등이 있을 수 있다.

상기 컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.

상기의 실시 예들은 부호화 장치 및 복호화 장치에서 동일한 방법 또는 상응하는 방법으로 수행될 수 있다. 또한, 상기 실시 예들 중 적어도 하나 혹은 적어도 하나의 조합을 이용해서 영상을 부호화/복호화할 수 있다.

상기 실시 예들이 적용되는 순서는 부호화 장치와 복호화 장치에서 상이할 수 있다. 또는, 상기 실시 예들이 적용되는 순서는 부호화 장치와 복호화 장치에서 동일할 수 있다.

상기 실시 예들은 휘도 및 색차 신호 각각에 대하여 수행될 수 있다. 또는, 휘도 및 색차 신호에 대한 상기 실시예들이 동일하게 수행될 수 있다.

상기 실시 예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상기 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

상기 실시예에 따른 부호화 방법에 의해 생성된 비트스트림은 비 일시적인 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다. 또한, 상기 비 일시적인 컴퓨터 판독 가능한 기록 매체에 저장되는 비트스트림은 상기 실시예에 따른 복호화 방법에 의해 복호화될 수 있다.

여기서, 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

영상 복호화 방법에 있어서,
현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹을 결정하는 단계;
상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보를 상기 인트라 예측 모드 후보의 우선 순위에 따라 재정렬하는 단계;
상기 색차 인트라 예측 모드 후보 그룹으로부터 상기 현재 색차 블록의 인트라 예측 모드를 나타내는 색차 인트라 예측 모드 정보를 획득하는 단계; 및
상기 색차 인트라 예측 모드 정보에 기초하여, 상기 현재 색차 블록의 인트라 예측 모드를 결정하는 단계를 포함하는 영상 복호화 방법.
제1 항에 있어서,
상기 현재 색차 블록의 상기 참조 블록은,
상기 현재 색차 블록에 대응되는 현재 휘도 블록으로부터 분할된 복수의 휘도 블록을 포함하는 것을 특징으로 하는 영상 복호화 방법.
제2 항에 있어서,
상기 복수의 휘도 블록은 상기 현재 색차 블록의 복수의 참조 위치에 대응되고,
상기 복수의 참조 위치는 중앙 위치, 좌상측 위치, 우상측 위치, 좌하측 위치, 및 우하측 위치 중 적어도 둘을 포함하는 것을 특징으로 하는 영상 복호화 방법.
제1 항에 있어서,
상기 현재 색차 블록의 상기 참조 블록은,
상기 현재 색차 블록에 인접한 색차 블록을 포함하는 것을 특징으로 하는 영상 복호화 방법.
제4 항에 있어서,
상기 현재 색차 블록에 인접한 블록은,
상기 현재 색차 블록의 좌측 색차 블록, 상측 색차 블록, 좌하측 색차 블록, 우상측 색차 블록, 및 좌상측 색차 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제1 항에 있어서,
상기 현재 색차 블록의 상기 참조 블록은,
상기 현재 색차 블록에 대응되는 현재 휘도 블록에 인접한 휘도 블록을 포함하는 것을 특징으로 하는 영상 복호화 방법.
제6 항에 있어서,
상기 현재 휘도 블록에 인접한 블록은,
상기 현재 휘도 블록의 좌측 휘도 블록, 상측 휘도 블록, 좌하측 휘도 블록, 우상측 휘도 블록, 및 좌상측 휘도 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제1 항에 있어서,
상기 현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹을 결정하는 단계는,
상기 현재 색차 블록의 참조 블록의 인트라 예측 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함시키는 단계; 및
상기 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드 후보의 개수가 소정의 값보다 작을 경우, 상기 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드 후보로부터 유도된 이차 인트라 예측 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함시키는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제8 항에 있어서,
상기 이차 인트라 예측 모드는,
상기 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보의 인덱스 값보다 소정의 값만큼 크거나 작은 인덱스 값의 인트라 예측 모드인 것을 특징으로 하는 영상 복호화 방법.
제1 항에 있어서,
상기 현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹을 결정하는 단계는,
상기 현재 색차 블록의 참조 블록으로부터 유도된 인트라 예측 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함시키는 단계; 및
상기 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드 후보의 개수가 소정의 값보다 작을 경우, 디폴트 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함시키는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제1 항에 있어서,
상기 현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹을 결정하는 단계는,
상기 현재 색차 블록의 참조 블록으로부터 인트라 예측 모드를 추출하는 단계; 및
상기 추출된 인트라 예측 모드가 상기 색차 인트라 예측 모드 후보 그룹에 포함된 인트라 예측 모드 후보와 중복되지 않을 때, 상기 추출된 인트라 예측 모드를 상기 색차 인트라 예측 모드 후보 그룹에 포함하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제1 항에 있어서,
상기 인트라 예측 모드 후보의 우선 순위는 상기 현재 색차 블록의 템플릿에 대한 기초하여 결정되는 것을 특징으로 하는 영상 복호화 방법.
제12 항에 있어서,
상기 템플릿은 상기 현재 색차 블록으로부터 좌측 및 상측 중 적어도 하나의 방향에 인접한 소정 크기의 복원 영역이며,
상기 인트라 예측 모드 후보의 우선 순위는, 상기 템플릿의 복원 샘플과 상기 인트라 예측 모드 후보에 따라 예측된 템플릿의 예측 샘플의 차이에 기초하여 결정되는 것을 특징으로 하는 영상 복호화 방법.
제1 항에 있어서,
상기 인트라 예측 모드 후보의 우선 순위는 상기 현재 색차 블록의 복수의 관련 블록에 기초하여 결정되는 것을 특징으로 하는 영상 복호화 방법.
제14 항에 있어서,
상기 인트라 예측 모드 후보의 우선 순위는, 상기 복수의 관련 블록 중 상기 인트라 예측 모드 후보가 적용된 관련 블록의 개수 또는 관련 블록의 총 면적을 계산함으로써 결정되는 것을 특징으로 하는 영상 복호화 방법.
제14 항에 있어서,
상기 현재 색차 블록의 관련 블록은, 상기 현재 색차 블록에 대응되는 현재 휘도 블록에 포함된 휘도 블록, 상기 현재 색차 블록에 인접한 색차 블록, 상기 현재 휘도 블록에 인접한 휘도 블록, 및 상기 현재 색차 블록의 복호화 이전에 복호화된 색차 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제1항에 있어서,
상기 색차 인트라 예측 모드 정보는,
상기 색차 인트라 예측 모드 후보 그룹의 첫 번째 인트라 예측 모드 후보가 상기 현재 색차 블록의 인트라 예측 모드인지 여부를 나타내는 우세 플래그 정보; 및
상기 우세 플래그 정보가 상기 현재 색차 블록의 인트라 예측 모드가 상기 색차 인트라 예측 모드 후보 그룹의 첫 번째 인트라 예측 모드 후보가 아님을 나타낼 때, 상기 색차 인트라 예측 모드 후보 그룹의 첫 번째 인트라 예측 모드 후보를 제외한 나머지 인트라 예측 모드 후보들 중 상기 현재 색차 블록의 인트라 예측 모드를 나타내는 나머지 인덱스 정보를 포함하는 것을 특징으로 하는 영상 복호화 방법.
영상 부호화 방법에 있어서,
현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹을 결정하는 단계;
상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보를 상기 인트라 예측 모드 후보의 우선 순위에 따라 재정렬하는 단계;
상기 현재 색차 블록의 인트라 예측 모드를 결정하는 단계; 및
상기 색차 인트라 예측 모드 후보 그룹으로부터 상기 현재 색차 블록의 인트라 예측 모드를 나타내는 색차 인트라 예측 모드 정보를 부호화하는 단계를 영상 부호화 방법.
영상 부호화 방법에 의하여 생성된 비트스트림을 저장한 컴퓨터로 판독가능한 기록매체에 있어서,
상기 영상 부호화 방법은,
현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹을 결정하는 단계;
상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보를 상기 인트라 예측 모드 후보의 우선 순위에 따라 재정렬하는 단계;
상기 현재 색차 블록의 인트라 예측 모드를 결정하는 단계; 및
상기 색차 인트라 예측 모드 후보 그룹으로부터 상기 현재 색차 블록의 인트라 예측 모드를 나타내는 색차 인트라 예측 모드 정보를 부호화하는 단계를 포함하는 기록매체.
영상 부호화 방법에 의하여 생성된 비트스트림을 전송하는 비트스트림 전송 방법에 있어서,
상기 영상 부호화 방법에 기초하여 영상을 부호화하는 단계; 및
상기 부호화된 영상이 포함된 비트스트림을 전송하는 단계를 포함하고,
상기 영상 부호화 방법은,
현재 색차 블록의 참조 블록으로부터 상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹을 결정하는 단계;
상기 현재 색차 블록의 색차 인트라 예측 모드 후보 그룹의 인트라 예측 모드 후보를 상기 인트라 예측 모드 후보의 우선 순위에 따라 재정렬하는 단계;
상기 현재 색차 블록의 인트라 예측 모드를 결정하는 단계; 및
상기 색차 인트라 예측 모드 후보 그룹으로부터 상기 현재 색차 블록의 인트라 예측 모드를 나타내는 색차 인트라 예측 모드 정보를 부호화하는 단계를 포함하는 비트스트림 전송 방법.