KR20210036822A - 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 - Google Patents

Abstract

현재 블록에 매트릭스 기반 인트라 예측이 적용되는지 여부를 나타내는 매트릭스 기반 인트라 예측 플래그를 획득하는 단계, 상기 현재 블록에 인덱스가 가장 작은 예측 모드가 적용되는지 여부를 나타내는 논제로 모드 플래그를 획득하는 단계, 및 상기 매트릭스 기반 인트라 예측 플래그가 상기 현재 블록에 매트릭스 기반 인트라 예측이 적용되지 않음을 나타내고, 상기 현재 블록에 상기 현재 블록의 MPM 후보들 중 하나가 상기 현재 블록에 적용될 때, 상기 논제로 모드 플래그에 기초하여 상기 현재 블록의 인트라 예측 상기 현재 블록에 매트릭스 기반 인트라 예측이 적용되지 않음을 나모드를 결정하는 단계를 포함하고, 상기 논제로 모드 플래그가 상기 현재 블록에 논제로 모드가 사용되지 않음을 나타낼 때, 플래너 모드를 상기 현재 블록의 인트라 예측 모드로 결정하는 것을 특징으로 하는 비디오 복호화 방법이 제공된다.

Description

영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체{METHOD AND APPARATUS FOR ENCODING/DECODING IMAGE, RECORDING MEDIUM FOR STROING BITSTREAM}

본 개시는 영상의 부호화/복호화 방법 및 장치에 관한 것으로, 보다 상세하게는 화면 내 예측 모드를 기반으로 영상을 부호화/복호화하는 방법 및 장치에 관한 것이다.

최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 더 높은 해상도 및 화질을 갖는 영상에 대한 고효율 영상 부호화(encoding)/복호화(decoding) 기술이 요구된다.

영상 압축 기술로 현재 픽처의 이전 또는 이후 픽처로부터 현재 픽처에 포함된 화소 값을 예측하는 화면 간 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 화소 값을 예측하는 화면 내 예측 기술, 잔여 신호의 에너지를 압축하기 위한 변환 및 양자화 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.

본 개시는 압축 효율이 향상된 영상 부호화/복호화 방법, 장치 및 본 개시의 영상 부호화 방법/장치에 의해 생성된 비트스트림을 저장한 기록 매체를 제공하는 것을 목적으로 한다.

또한, 본 개시는 화면 내 예측 모드를 이용하여 압축 효율을 향상시키는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체를 제공하는 것을 목적으로 한다.

본 개시에서, 현재 블록에 매트릭스 기반 인트라 예측이 적용되는지 여부를 나타내는 매트릭스 기반 인트라 예측 플래그를 획득하는 단계, 상기 현재 블록에 인덱스가 가장 작은 예측 모드가 적용되는지 여부를 나타내는 논제로 모드 플래그를 획득하는 단계, 및 상기 매트릭스 기반 인트라 예측 플래그가 상기 현재 블록에 매트릭스 기반 인트라 예측이 적용되지 않음을 나타내고, 상기 현재 블록에 상기 현재 블록의 MPM 후보들 중 하나가 상기 현재 블록에 적용될 때, 상기 논제로 모드 플래그에 기초하여 상기 현재 블록의 인트라 예측 모드를 결정하는 단계를 포함하고, 상기 논제로 모드 플래그가 상기 현재 블록에 논제로 모드가 사용되지 않음을 나타낼 때, 플래너 모드를 상기 현재 블록의 인트라 예측 모드로 결정하는 것을 특징으로 하는 비디오 복호화 방법이 제공된다.

본 개시에서, 현재 블록에 최적화된 현재 블록의 인트라 예측 모드를 결정하는 단계, 및 현재 블록의 인트라 예측 모드에 따라, 현재 블록에 매트릭스 기반 인트라 예측이 적용되는지 여부를 나타내는 매트릭스 기반 인트라 예측 플래그와 상기 현재 블록에 인덱스가 가장 작은 예측 모드가 적용되는지 여부를 나타내는 논제로 모드 플래그를 결정하는 단계, 및 상기 매트릭스 기반 인트라 예측 플래그와 상기 논제로 모드 플래그를 인코딩하는 단계를 포함하고, 상기 현재 블록의 인트라 예측 모드가 플래너 모드일 때, 상기 논제로 모드 플래그가 상기 현재 블록에 논제로 모드가 사용되지 않음을 나타내도록 설정되는 것을 특징으로 하는 비디오 부호화 방법이 제공된다.

본 발명에 따른, 컴퓨터 판독 가능한 기록매체는 영상 복호화 장치에 수신되고 현재 픽처에 포함된 현재 블록을 복원하는데 이용되는 비트스트림을 저장한 컴퓨터 판독가능한 기록매체로서, 상기 비트스트림은 상기 현재 블록의 예측 모드에 관한 정보를 포함하고, 상기 예측 모드에 관한 정보는 상기 현재 블록의 예측 모드를 결정하는데 이용되고, 상기 결정된 예측 모드는 상기 현재 블록에 대한 예측을 수행하는데 이용될 수 있다.

본 개시에 따르면, 압축 효율이 향상된 영상 부호화/복호화 방법, 장치 및 본 개시의 영상 부호화 방법/장치에 의해 생성된 비트스트림을 저장한 기록 매체가 제공될 수 있다.

또한, 본 개시에 따르면, 화면 내 예측 모드를 이용하여 압축 효율을 향상시키는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체가 제공될 수 있다.

도 1은 영상 부호화기 시스템 구조의 일 예이다.
도 2는 화면 내 예측 모드와 화면 내 예측 과정의 일 예이다.
도 3a는 화면 내 예측의 Matrix weighted Intra Prediction (MIP) 도시 일 예이다.
도 3b는 화면 내 예측의 Multiple reference line (MRL) 도시 일 예이다.
도 4는 일 실시 예에 따른 영상 복호화기 화면 내 예측 모드 정보 시그널링 부분 흐름도 일 예이다.
도 5는 Zero mode flag를 통한 인트라 예측 모드 유도 과정의 일 예이다.
도 6은 화면 내 예측에서 0번 화면 내 예측 모드를 별도로 시그널링하는 방법의 개념도 일 예이다.
도 7은 화면 내 예측에서 0번 화면 내 예측 모드를 별도로 시그널링하는 방법의 개념도 다른 일 예이다.
도 8은 화면 내 예측에서 0번 모드를 제외한 화면 내 예측 모드 복원 절차를 수행하는 방법의 개념도의 일 예이다.
도 9는 본 개시의 일 실시 예 흐름도이다.
도 10은 본 개시의 다른 일 실시 예 흐름도이다.
도 11은 본 개시가 적용된 영상 부호화기 복호화기 전체 장치도 구성 일 예이다.
도 12는 일 실시 예에 따른 인트라 예측 방법의 세부 장치도 일 예이다.
도 13은 본 개시를 포함하는 세부 장치도 일 예이다.
도 14는 본 개시를 포함하는 세부 장치도 다른 일 예이다.
도 15는 일 실시 예에 따른 비디오 복호화 방법을 도시한다.
도 16은 일 실시 예에 따른 비디오 부호화 방법을 도시한다.

본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예에 관련하여 본 개시의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.

본 개시에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 개시의 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 개시의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 개시의 본질에서 벗어나지 않는 한 본 개시의 권리범위에 포함된다.

본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 개시에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 개시의 실시 또는 본 개시의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

본 개시의 일부의 구성 요소는 본 개시에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 개시는 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 개시의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 개시의 권리범위에 포함된다.

이하, 도면을 참조하여 본 개시의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 기본적인 영상 부호화기 시스템 구조를 도시한 것으로 일반적인 비디오 영상 압축 기술에 쓰이는 기본 장치들로 구성되어 있다. 영상 압축 기술은 입력 영상의 통계적인 특성을 고려하여 부호화하는 것으로, 시간적 및 공간적 중복성을 제거하는 예측 부호화(Predictive coding) 기술과 인지 시각 기반의 변환 부호화(Transform coding)기술 및 양자화(Quantization) 기술, 엔트로피 부호화(Entropy coding) 기술, 예측 효율 증진을 위한 필터 기술(Filter) 등이 있다. 부호화기는 부호화를 위해 원본 비디오 영상으로부터 픽처 단위의 정보 입력을 받는데, 이 때 입력받은 원본 영상을 부호화 픽처라고 한다. 예측 부호화 기술은 부호화하려는 부호화 픽처의 내부 화소들 사이의 공간적 유사성과, 부호화 픽처와 이전 시간에 기복호화된 참조픽처 간의 시간적 유사성을 이용하여 정보를 예측하는 기술로, 전자를 화면 내 예측, 후자를 화면 간 예측이라고 한다.

비디오 영상 압축 기술은, 영상 신호에서 중복되는 신호를 제거시켜 영상 데이터 크기를 줄이는 원리에 기반한다. 비디오 영상 압축 기술에서는 시간축 상의 중복되는 영상 신호를 제거하기 위해 영상 프레임 간 중복되는 정보를 찾아 영상 신호의 예측에 사용하는 화면 간 예측과, 공간 상 중복되는 영상 신호를 제거하기 위해 영상 프레임 내 중복되는 정보를 찾아 영상 신호의 예측에 사용하는 화면 내 예측이 있다. 영상 압축은 에러 강인성 및 효율적인 메모리 사용을 위해 영상 화면을 일정 크기의 블록 단위로 나누어 예측을 수행하는데, 비디오 압축 및 복원 과정에서 현재 예측을 수행하고 있는 블록을 현재블록이라고 한다. 영상 압축 기술에서의 영상 신호 예측은 현재블록의 영상 신호와 인접한 블록의 화소를 사용하거나 현재블록 이전에 먼저 복호화된 영상의 신호를 사용하여 다양한 방법을 통해 현재블록의 화소를 예측한다. 영상 압축 과정에서 현재블록과 정확히 동일한 영상 신호를 가지는 영역이 시간적, 공간적으로 존재하지 않을 가능성이 있기 때문에, 영상 신호를 예측할 경우 예측 오차에 해당하는 잔차 신호가 발생할 수 있다. 따라서 부호화기에서 가장 효율적인 예측 방법에 대한 예측 정보 및, 예측을 수행한 후 발생되는 잔차 신호를 복호화기로 전달하고, 복호화기는 인코더로부터 송신된 예측 방법 및 잔차 신호를 수신하여 영상 신호 복호화를 수행한다. 따라서 영상신호의 압축 과정에서, 복호화기로 송신되는 잔차 신호를 최소화하면서 복호화기로 송신되는 예측에 대한 정보를 최소화하는 것이 영상 압축 효율 측면에서 유리하다.

영상 압축 기술의 화면 내 예측에서는 도 2와 같이 현재블록과 인접한 주변 블록 화소를 이용하여 현재블록의 화소에 대한 영상 신호 예측을 수행한다. 화면 내 예측에서 잔차 신호를 최소화하기 위해 부호화기는 주변 블록 화소로부터 많은 예측 방법을 시도하여 부호화 효율을 계산하고, 최적의 부호화 효율을 갖는 부호화 방법을 선택하게 된다. 영상 압축 기술의 화면 내 예측에서는 도 2와 같이 DC 예측, PLANAR 예측 및 방향성 있는 화면 내 예측을 사용하고, 도 2와 같이 주변 화소로부터 현재블록 화소의 영상 신호를 예측한다. 도 2의 예측 과정은 화면 내 예측의 방향성 있는 모드에 따른 예측 방법의 일 예를 나타낸 것으로, DC 예측의 경우에는 현재블록 인접 화소들의 평균값을 사용하고, PLANAR 예측의 경우엔 현재블록의 인접 화소 값에 일련의 연산을 수행하여 현재블록 화소의 영상 신호 예측을 수행한다. 영상 부호화기에서 결정된 화면 내 예측 모드는 영상 부호화기로 송신되어야 하며 많은 예측 모드를 표현하기 위해 많은 비트의 영상 신호가 필요할 수 있다. 영상 압축 기술의 화면 내 예측 모드를 표현함에 있어, 높은 숫자에는 더 많은 표현 비트가 필요하므로 자주 발생하는 화면 내 예측 모드에 낮은 번호를 할당하게 된다.

도 3a는 화면 내 예측의 매트릭스 가중 화면 내 예측 (Matrix weighted Intra Prediction, MIP) 도시 일 예를 나타낸 그림이다. MIP는 현재 블록의 주변 블록으로부터 샘플을 추출하고 샘플의 평균 등을 연산하여 MIP 샘플을 구성한다. MIP 샘플은 기 정의된 Matrix와의 연산을 통해 예측 샘플로 구성되고 예측 샘플을 현재 블록의 정해진 위치에 채운 후 보간하여 현재 블록을 복원한다. MIP의 방법을 포함한 부호화기 및 복호화기에서는, 부호화기에서 복호화기로 MIP 사용 여부를 나타내는 MIP flag와 매트릭스 선택 정보를 나타내는 신호가 MIP 모드 형태로 시그널링 되어 송신된다. (이하 MIP flag signaling 및 MIP 모드 signaling와 같은 MIP와 관련된 시그널링을 “MIP signaling (MIP 시그널링)”으로 부른다) 매트릭스 선택 정보는 MIP 모드로 시그널링 되는데, 플래너 모드, DC mode 및 방향성 있는 화면 내 예측 모드와는 경향성이 다르므로 MIP flag를 사용하여 MIP 모드와 Non-MIP 모드로서 플래너 모드, DC mode 및 방향성 있는 화면 내 예측 모드를 구분한다.

도 3b은 화면 내 예측의 Multiple reference line(MRL)을 도시한 일 예를 나타낸 것이다. 도 3b에서 정방형의 Block Unit은 현재 블록을 나타내며, Segment들은 현재 블록의 주변 참조 영역을 나타낸다. 화면 내 예측에서 도 3b와 같이 현재 블록을 예측하기 위해 인접한 주변 영역의 화소를 여러 라인으로 참조 정보로 사용할 수 있다.

MRL 방법을 포함한 부호화기 및 복호화기에서는, 부호화기에서 복호화기로 MRL 사용 여부나 MRL의 몇 번째 라인인지를 나타내는 MRL index 등에 대한 영상 신호가 시그널링 되어 송신되어야 한다. 일 실시 예에 따른 부호화기 및 복호화기에서 MRL index가 1 이상의 화면내 예측을 수행할 때, 화면내 예측 모드는 플래너 모드에 해당하는 0번 모드가 아닌 다른 화면 내 예측 모드를 사용하는 형태로 구성한다.

영상 압축에서 N개의 값을 표현하기 위해서는

비트 이상의 디지털 신호가 필요하다. 여기서

은 logN보다 크거나 같은 정수 중 가장 작은 정수를 의미한다. 만약 64개의 숫자를 표현하려면 최소 6비트의 디지털 신호가 필요하며, 30개의 숫자를 표현하려면 최소 5비트의 디지털 신호가 필요하다. 일 실시 예에 따른 영상 압축의 화면 내 예측에서, 화면 내 예측 모드 표현을 위한 데이터량을 감소시키기 위한 방법으로, 현재블록 주변 블록으로부터 화면 내 예측 모드를 가져와서 화면 내 예측 모드로 구성된 리스트인 Most Probable Mode (MPM) 후보를 구성하고 MPM 후보 내 현재 블록과 동일한 화면 내 예측 모드가 있을 경우 해당 index를 송신하는 방법을 사용하고 있다. MPM 후보는 현재블록의 주변 블록으로부터 화면 내 예측 모드를 가져와 구성할 수 있고, 주변 블록의 화면 내 예측 모드로부터 일련의 연산을 거쳐 구성될 수 있으며, 가용한 주변 블록의 화면 내 예측이 없을 경우 정해진 화면 내 예측 모드로 채워질 수 있다. 일반적으로 MPM 후보 리스트의 개수는 화면 내 예측 모드의 종류 개수보다 적게 구성하기 때문에, MPM index를 표현하기 위한 데이터가 화면 내 예측 모드의 종류 개수를 표현하기 위한 데이터보다 적은 표현 비트를 요구한다는 점에서 압축 효율이 발생한다. MPM을 활용하는 화면 내 예측 부호화기 및 복호화기에서는, 현재 블록의 화면 내 예측을 예측 및 복원하는데 MPM 후보를 사용할 지 여부에 대한 신호인 MPM flag와, MPM 후보 리스트 내 현재 블록의 화면 내 예측 모드가 있을 경우 해당 모드의 MPM내 인덱스에 해당하는 MPM index를 송신한다. MPM은 특정 화면 내 예측 방법이나 블록 분할 방법 등에 구애받지 않고 가장 기본적으로 사용할 수 있는 단순하고도 명료한 시그널링 압축 방법이다. MPM 리스트 구성 후 MPM을 사용한 화면 내 예측 모드 부호화/복호화가 수행되지 않는 경우 MPM flag는 false로 설정되며, MPM 리스트 내 화면 내 예측 모드를 제외한 나머지 화면 내 예측 모드를 부호화/복호화하는 방법을 사용하여 화면 내 예측 모드 표현 비트를 줄이게 된다. MPM list의 0번 index에는 플래너 모드와 같이 가장 많이 사용되는 화면 내 예측 모드를 고정적으로 배치할 수 있으며, MPM list의 0번 index에 플래너 모드가 고정적으로 위치할 경우 0번 MPM index에 대한 시그널링을 Not-planar flag와 같은 형태로 구성하여 시그널링 할 수 있다. 이 경우 Not-planar flag가 1일 경우에만 mpm index에 대한 추가 시그널링이 수행되고, Not-planar flag가 0일 경우 mpm index는 추가 시그널링 하지 않으며 현재 블록의 화면 내 예측 모드는 플래너 모드로 설정된다 (mpm index가 0으로 설정되는 것 과 같다).

일 실시 예에 따른 영상 복호화기의 MIP에서 사용되는 화면 내 예측 모드는 MIP 모드라 부르며, MIP가 아닌 화면 내 예측 방법에서 사용되는 화면 내 예측 모드를 Non- MIP 모드라 한다. 화면 내 예측 모드는 번호를 사용하여 구분할 수 있는데, MIP 모드와 Non-MIP 모드는 같은 번호를 사용하더라도 MIP flag를 통해 구분할 수 있으므로, 동일한 번호를 사용할 수도 있다. MIP일 경우 MPM을 사용하지 않기 때문에 MPM과 관련있는 MPM flag, MPM index, Not-planar flag를 시그널링하지 않을 수 있다. 마찬가지로 MIP일 경우 MIP에서 사용되지 않는 화면 내 예측 모드 정보에 대해 시그널링 하지 않도록 구분되어 있다. 따라서 MIP를 사용하는 경우 MIP와 관련 없는 MPM flag 및 플래너 모드 관련 플래그를 별도로 시그널링하지 않으며, MIP 모드는 사전 정의된 방식대로 별도 시그널링되어 화면 내 예측 모드로 복원된다. 하지만 일 실시 예에 따른 영상 부호화 방법에서 현재 블록이 MIP를 사용하는지에 대한 여부는 항상 필요하므로 MIP flag는 항상 시그널링된다.

일 실시 예에 따른 영상 부호화기 및 복호화기에서 MIP 모드는 화면 내 예측 모드로 저장된다. 따라서 복호화기에서 저장된 화면 내 예측 모드가 MIP 모드인지 Non-MIP 모드인지를 구분할 수 있도록, 항상 MIP flag가 선행 시그널링된다. MIP flag가 1 또는 참일 경우, 화면 내 예측 모드는 MIP 모드를 의미하고, MIP flag가 0 또는 거짓일 경우, 화면 내 예측 모드는 Non-MIP 모드임을 의미한다. MIP 모드와 Non-MIP 모드는 각각 별도의 방식을 통해 시그널링되며, 예측 모듈에서는 MIP flag값에 따라 화면 내 예측 모드를 MIP 모드 와 Non-MIP 모드로 구분하여 각각 다른 방식으로 화면 내 예측을 수행하게 된다.

Non-MIP 모드를 사용한 예측에서, 플래너 모드는 다른 화면 내 예측 모드보다 높은 확률로 발생한다. 따라서 일 실시 예에 따른 영상 복호화기에서는 플래너 모드의 번호를 0번으로 정의하여 사용한다. 일 실시 예에 따른 영상 복호화기에서는 플래너 모드를 MPM에 구성하는 방식을 사용하므로 플래너 모드를 표현하기 위해서는 MPM을 사용하는 MPM flag와 MPM index를 선행 시그널링해야 한다. 따라서 플래너 모드가 높은 확률로 발생함에도 불구하고 MPM 관련 시그널링이 같이 수행되면서 추가 시그널링이 발생하게 되는 구조를 갖게 된다. 플래너 모드는 통계적으로 자주 발생하는 모드이므로, 플래너 모드임을 나타내는 Planar flag를 MPM과는 별도로 시그널링하고, 플래너 모드일 때 MPM 관련 시그널링을 생략하는 방법을 사용하여 부호화 효율을 높일 수 있다.

MIP 예측에서도, MIP 모드의 모드 번호 0로 정의된 MIP 모드는 높은 빈도로 발생한다. 따라서 Non-MIP 모드에서 플래너 모드를 별도로 시그널링 하는 방법과 유사하게, 통계적으로 자주 발생하는 0번 MIP 모드를 별도로 시그널링하는 방법을 통해 부호화 효율을 높일 수 있다.

MIP 모드에 대한 시그널링과 Non-MIP 모드는, 모두 화면 내 예측 모드 형태로 동일하게 저장된다. 하지만 MIP 모드와 Non-MIP 모드는 발생 특성이나 인접블록 간의 유사성 등의 특성이 달라서 별도의 방식으로 시그널링될 수 있다. 하지만 Non-MIP 모드 및 MIP 모드에서, 공통적으로 모드 번호 0번에 해당하는 플래너 모드 및 0번 MIP 모드는 높은 빈도로 발생할 수 있다. 따라서 본 개시에서는 Non-MIP 모드의 플래너 모드에 해당하는 0번 모드와 0번 MIP 모드를 하나의 flag로 통합 시그널링하여, 화면 내 예측 모드가 0번 모드인지에 대한 여부를 시그널링하는 방법이 설명된다.

도 4는 일 실시 예에 따른 비디오 복호화기에서 화면 내 예측 모드 정보 시그널링 부분 흐름도를 나타낸다. 도 4에서와 같이 MIP flag 값에 따라 MIP flag가 1이면 MIP 모드가 시그널링되고, 시그널링된 MIP 모드는 화면 내 예측 모드(Intra mode)로 설정(세팅)된다. MIP flag 값이 1이 아닐 때에도, 다양한 절차 또는 시그널링을 거쳐 Non-MIP 모드를 복원한 화면 내 예측 모드 설정이 수행된다. 따라서 일 실시 예에 따른 영상 복호화 방법에서 MIP 모드 및 Non-MIP 모드는 모두 화면 내 예측 모드로 설정된다. Non-MIP 모드에서 플래너 모드는 높은 빈도로 발생하기 때문에, 비디오 복호화기는 Non-MIP 모드 복원 과정에서도 Not-planar flag를 별도로 시그널링하여 Not-planar flag가 1일 경우에는 화면 내 예측 모드를 플래너 모드로 세팅하고, Not-planar flag가 0인 경우에 MPM index를 시그널링 하여 화면 내 예측 모드를 설정하는 구조를 포함하고 있다.

표 1은 MIP, MRL, ISP, MPM을 사용하는 비디오 복호화기에서의 예측 모드 정보 신택스 일 예를 나타낸 표이다.

[x0][y0] : 각 신택스 구성 요소가 수행되는 블록의 좌측 상단 휘도 샘플에 대한 위치를 의미한다. 각 신택스 구성 요소가 속하는 블록의 위치를 의미할 수 있다.

신택스 구성 요소에 대한 설명은 다음과 같다.

intra_mip_flag[ x0 ][ y0 ] : MIP flag에 해당한다. 값이 1인 경우 화면 내 예측 모드 Type이 MIP 모드로 지정된다. 값이 0인 경우 화면 내 예측 모드 Type이 Non-MIP 모드로 지정된다. 초기값은 0이며, 따라서 직접 시그널링이 되지 않는 경우에는 0의 값을 가진다.

intra_mip_mode[ x0 ][ y0 ] : MIP 모드 번호에 해당한다. intra_mip_flag[ x0 ][ y0 ] 값이 1인 경우에만 시그널링 되며, MIP 모드 번호를 지정하는 신호가 시그널링된다.

intra_luma_ref_idx[ x0 ][ y0 ] : MRL index에 해당한다. MRL을 사용함에 있어 화면 내 예측을 위해 참조하는 참조 행이 몇번째 인지를 서술한다. MRL index 값이 0인 경우 참조 샘플 행 중 현재 블록에 가장 인접한 첫 번째 행을 참조하며, MRL index 값이 0보다 큰 경우 각 값에 대응되는 참조 샘플 행을 참조한다. MRL index의 각 값에 대응되는 참조 샘플 행은 사전에 부호화 및 복호화 방법에서 정의한다.

MRL index 값이 0 보다 큰 경우 화면 내 예측 모드는 MPM 모드를 사용하고 여기서 MPM flag 값은 1로 유추되므로 MPM flag인 intra_luma_mpm_flag[ x0 ][ y0 ]는 시그널링 되지 않는다.

MRL index 값이 0인 경우 화면 내 예측 모드는 MPM을 사용하여 복원될 수도 있고, Remainder mode에 의해 복원될 수 있다. 따라서 MPM 사용 여부를 구분하는 신호인 MPM flag가 시그널링 된다.

MRL index 값이 0 보다 큰 경우 화면 내 예측 모드로 0번 모드(플래너 모드)를 사용하지 않는다. 따라서 Not-planar flag(intra_luma_not_planar_flag[ x0 ][ y0 ]) 값은 1로 유추될 수 있으므로 시그널링 되지 않는다. MRL index 값이 0이고 MPM flag 값이 1인 경우, Not-planar flag 값은 특정되지 않으므로 시그널링될 수 있다.

intra_subpartitions_mode_flag[ x0 ][ y0 ] : 본 개시에서 설명하는 ISP 여부를 나타내는 ISP flag에 해당한다. 값이 1인 경우 ISP를 수행하며, 값이 0인 경우 ISP를 수행하지 않는다. MRL index(intra_luma_ref_idx[ x0 ][ y0 ])가 0인 경우에만 시그널링 될 수 있다. MRL index가 0보다 큰 경우 ISP flag는 0의 값으로 유추될 수 있다.

intra_subpartitions_split_flag[ x0 ][ y0 ] : ISP mode에 해당하며 ISP를 사용할 경우 분할 형태 (수평 또는 수직)를 나타낸다. ISP flag(intra_subpartitions_mode_flag[ x0 ][ y0 ])가 1인 경우에만 시그널링 될 수 있다. 값이 0인 경우 수평 분할을 의미하며, 값이 1인 경우 수직 분할을 의미한다.

intra_luma_mpm_flag[ x0 ][ y0 ] : 본 개시에서 설명하는 MPM flag에 해당한다. 값이 1인 경우 MPM을 수행하여 현재 블록의 화면 내 예측 모드를 복원한다. 값이 0인 경우 MPM을 수행하지 않고 Remainder mode를 통해 현재 블록의 화면 내 예측 모드를 복원한다. MPM을 수행하는 경우 화면 내 예측 모드 Type은 Non-MIP 모드에 해당하며, Remainder mode를 수행하는 경우의 화면 내 예측 모드 Type도 Non-MIP 모드에 해당한다. 따라서 MIP flag(intra_mip_flag[ x0 ][ y0 ]) 값이 0인 경우에만 시그널링 될 수 있다. MRL index(intra_luma_ref_idx[ x0 ][ y0 ])가 0보다 큰 값을 가지는 경우 MPM flag 값은 1로 유추될 수 있다. MPM flag 값이 0인 경우 0번 모드(플래너 모드)로 화면 내 예측이 수행되지 않으므로 Not-planar flag(intra_luma_not_planar_flag[ x0 ][ y0 ]) 값은 1로 유추될 수 있으므로 Not-planar flag는 시그널링 되지 않을 수 있다.

intra_luma_not_planar_flag[ x0 ][ y0 ] : 본 개시에서 설명하는 Not-planar flag에 해당한다. 값이 0인 경우 화면내 예측 0번 모드(플래너 모드)를 의미한다. 값이 1인 경우 MPM index(intra_luma_mpm_idx[ x0 ][ y0 ])를 시그널링 하여 MPM index 값에 따라 화면 내 예측 모드의 번호가 결정된다. Not-planar flag 값이 0인 경우 0번 모드로 지정되므로 MPM index의 시그널링은 생략될 수 있다. Not-planar flag에 따라 결정되는 화면 내 예측 모드의 화면 내 예측 모드 Type은 Non-MIP 모드에 해당한다.

intra_luma_mpm_idx[ x0 ][ y0 ] : 본 개시에서 설명하는 MPM index에 해당한다. MPM flag(intra_luma_mpm_flag[ x0 ][ y0 ]) 값이 1이고, Not-planar flag(intra_luma_not_planar_flag[ x0 ][ y0 ]) 값이 1인 경우에만 시그널링 될 수 있다. MPM을 사용하여 화면 내 예측 모드 번호를 복원할 때, MPM list 중 참조하는 후보를 색인하는 신호이다.

intra_luma_mpm_remainder[ x0 ][ y0 ] : MPM이 아닌 나머지 모드(Remainder mode)들에 대한 시그널링이다. TBC나 FLC를 사용하여 시그널링될 수 있다.

MPM flag(intra_luma_mpm_flag[ x0 ][ y0 ]) 값이 0인 경우에만 시그널링 될 수 있다. Remainder mode의 화면 내 예측 모드 Type은 Non-MIP 모드에 해당한다. MPM에 사용되지 않은 Non-MIP 모드의 화면 내 예측 모드들을 구분하기 위한 색인 정보가 시그널링된다.

비트스트림을 위한 부호화기 및 복호화기 동작을 이용하여 표1를 설명하면 다음과 같다.

일 실시 예에 따른 비디오 부호화기 및 복호화기에서 MIP flag (intra_mip_flag[ x0 ][ y0 ]) 에 대한 시그널링을 우선적으로 수행하고, MIP flag가 1일 경우 MIP 모드(intra_mip_mode[ x0 ][ y0 ])에 대한 시그널링 될 수 있다.

일 실시 예에 따른 비디오 부호화기 및 복호화기에서 MIP flag가 1이 아닌 경우에 대해서만 MRL index(intra_luma_ref_idx[ x0 ][ y0 ]) 시그널링을 우선적으로 수행한다.

일 실시 예에 따른 비디오 부호화기 및 복호화기에서, MRL index가 0일 경우에만 ISP 시그널링(intra_subpartitions_mode_flag[ x0 ][ y0 ], intra_subpartitions_split_flag[ x0 ][ y0 ])을 수행한다.

일 실시 예에 따른 비디오 부호화기 및 복호화기에서, MRL index가 0일 경우에만 MPM flag(intra_luma_mpm_flag[ x0 ][ y0 ])를 시그널링 한다.

일 실시 예에 따른 비디오 부호화기 및 복호화기에서, MPM flag가 1인 경우, Not-planar flag(intra_luma_not_planar_flag[ x0 ][ y0 ])를 시그널링 하고 Not-planar flag가 1인 경우에 대해서 MPM index(intra_luma_mpm_idx[ x0 ][ y0 ])를 시그널링 한다.

일 실시 예에 따른 비디오 부호화기 및 복호화기에서, MIP 모드 시그널링에서도 0번 모드가 발생할 수 있고, Not-planar flag 시그널링 값에 따라서 Non-MIP 모드 시그널링에서도 0번 모드(플래너 모드)가 발생할 수 있으며, 두 경우는 모두 높은 빈도로 발생한다.

일 실시 예에 따른 비디오 부호화기 및 복호화기에서, Not-planar flag는 Non-MIP 모드 중 0번 모드(플래너 모드)에 관련된 신호로, Not-planar flag 값이 0이면 Non-MIP 모드 중 0번 모드임을 의미하고 Not-planar flag 값이 1이면 Non-MIP 모드 중 0번 모드가 아님을 의미한다. 이 때, Not-planar flag 값 0과 1이 의미하는 바는 부호화기 및 복호화기의 사전 설정에 따라 반대로 적용될 수도 있다. Not-planar flag 값 0과 1이 의미하는 바가 반대로 적용되는 경우의 일 예로, Not-planar flag 값이 0일 때, Non-MIP 모드 중 0번 모드가 아님을 의미하고, Not-planar flag 값이 1일 때, Non-MIP 모드가 0번 모드임을 의미하도록 적용되는 경우를 들 수 있다. Not-planar flag 값과 Not-planar flag 값이 의미하는 범위는 부호화기 및 복호화기의 사전 설정에 따라 결정될 수 있다.

일 실시 예에 따른 비디오 부호화기 및 복호화기에서, Not-planar flag는 Non-MIP 모드 중 0번 모드(플래너 모드)에 관련된 신호로, Not-planar flag 값이 1로 시그널링 된 경우, Non-MIP 모드는 0번 모드가 아니므로 0이 아닌 다른 Non-MIP 모드 중 몇 번 모드인지 구분하기 위한 신호가 시그널링 되어야 하며, 따라서 MPM index(intra_luma_mpm_idx[x0][y0]) 또는 Remainder index(intra_luma_mpm_remainder[x0][y0]) 등의 추가적인 신호를 통해 시그널링 될 수 있다. 반대로 Not-planar flag 값이 0인 경우 Non-MIP 모드는 0번 모드로 확정되므로 부가적인 신호의 시그널링이 생략될 수 있다.

일 실시 예에 따른 비디오 부호화기 및 복호화기에서, 0번 모드의 발생 빈도가 높을 경우 0번 모드에 대한 시그널링(Not-planar flag)을 별도로 구성하는 방법은 부호화 효율 측면에서 유리할 수 있다. 따라서 본 개시는, 0번 모드가 발생하는 빈도가 높은 MIP 모드 시그널링 여부를 나타내는 시그널링 플래그를 별도로 구성하는 방법을 적용하여 부호화 효율을 향상시킨다.

본 개시에서 MIP 모드의 0번 모드 플래그를 별도로 시그널링 하면서, MIP 모드 0번 모드 플래그와 Non-MIP 모드 0번 모드 플래그의 시그널링을 통합하는 방법이 개시된다.

본 개시의 일 실시 예로 화면내 예측 모드 유도 과정은 0(zero) 모드를 수행하는 부분만 별도로 분리하여 실행할 수 있고 이때 mip(matrix based intra prediction)의 유무에 따라 mip에서 사용하는 화면내 예측 모드(0)인지 아니면 mpm 모드(0)인지를 판단한다.

도 5는 zero mode flag를 이용한 인트라 예측 모드 유도 과정을 보인 것이다.

도 5의 일 실시 예는 다양한 방법으로 구성될 수 있고 CU, sub CU 단위 등으로 유도가 가능하다.

일 실시 예로 도 6은 본 개시의 화면 내 예측에서 0번 화면 내 예측 모드를 별도로 시그널링하는 방법의 개념도 일 예이다. 도 6의 본 개시에서는, Non-zero mode flag를 먼저 시그널링하여 Non-zero flag가 0일 경우 현재 복호화 중인 블록의 화면 내 예측 모드를 0으로 설정하고, 화면 내 예측 모드 복원 절차를 생략한다. 만약 Non-zero mode flag가 1일 경우 현재 블록은 0번 모드가 아닌 것으로 판단하고 화면 내 예측 모드 복원 절차를 수행한다. 화면 내 예측 모드 복원 절차에는 MPM 관련 시그널링을 포함한 화면 내 예측 모드 복원을 위한 다양한 모드 시그널링 절차를 포함한다.

도 7은 본 개시의 화면 내 예측에서 0번 화면 내 예측 모드를 별도로 시그널링하는 방법의 개념도 다른 일 예이다. 도 7의 본 개시에서는, Zero mode flag를 먼저 시그널링하여 Zero-mode flag가 1일 경우 현재 복호화 중인 블록의 화면 내 예측 모드를 0으로 설정하고, 화면 내 예측 모드 복원 절차를 생략한다. 만약 Zero mode flag가 0일 경우 현재 블록은 0번 모드가 아닌 것으로 판단하고 화면 내 예측 모드 복원 절차를 수행한다. 화면 내 예측 모드 복원 절차에는 MPM 관련 시그널링을 포함한 화면 내 예측 모드 복원을 위한 다양한 모드 시그널링 절차를 포함한다.

도 6 에서, Non-zero mode flag 값에 따라 현재 블록의 화면 내 예측 모드 번호가 0번 인지 구분되며, 화면 내 예측 과정에서는 MIP flag 값에 따라 다른 화면 내 예측 방법을 사용할 수 있다. 도 6의 예시의 Non-zero mode flag 값과 MIP flag 값에 따른 화면 내 예측 모드 구성 방법은 표 2의 예시와 같을 수 있다.

표 2는 Non-zero mode flag의 값과 MIP flag의 값에 따라 화면 내 예측 모드가 구성되는 방법의 일 실시 예를 보여준다.

Non-zero mode flag (또는 Zero mode flag)는 화면 내 예측 모드 번호가 0번인지 여부를 구분한다. 따라서 Non-zero mode flag 값이 0인 경우 화면 내 예측 모드 번호는 0이 되며, Non-zero mode flag 값이 1인 경우 화면 내 예측 모드 번호는 0 이 아닌 다른 값이 된다. Non-zero mode flag 값이 1인 경우에는 부가적인 시그널링 또는 유도 절차 등을 통해 화면 내 예측 모드 번호를 구분한다.

MIP flag 값은 화면 내 예측 모드 Type을 결정한다. 화면 내 예측 모드 Type이라 함은 화면 내 예측 모드의 종류를 의미하며, MIP 모드, Non-MIP 모드 등의 종류를 가질 수 있다. MIP flag 값이 0인 경우 화면 내 예측 모드는 Non-MIP 모드로 구성되며, MIP flag 값이 1인 경우 화면 내 예측 모드는 MIP 모드로 구성된다. 따라서 Non-zero mode flag의 값과 MIP flag의 값에 의해 화면 내 예측 모드의 Type과 화면 내 예측 모드 번호를 구분할 수 있다.

Non-zero mode flag가 0이고 MIP flag가 0인 경우 화면 내 예측 모드는 Non-MIP 모드며 0번 모드(플래너 모드)를 사용한다.

Non-zero mode flag가 0이고 MIP flag가 1인 경우 화면 내 예측 모드는 MIP 모드며 0번 모드(MIP 모드 0번)를 사용한다.

Non-zero mode flag가 1이고 MIP flag가 0인 경우 화면 내 예측 모드는 Non-MIP 모드인 0번 모드가 아닌 모드를 사용하며, 모드 번호를 구분하기 위한 부가적인 시그널링 또는 절차가 수행될 수 있다.

Non-zero mode flag가 1이고 MIP flag가 1인 경우 화면 내 예측 모드는 MIP 모드며 0번 모드가 아닌 모드를 사용하며, 모드 번호를 구분하기 위한 부가적인 시그널링 또는 절차가 수행될 수 있다.

일 실시 예로 도 7에서, Zero mode flag 값에 따라 현재 블록의 화면 내 예측 모드 번호가 0번 인지 구분되며, 화면 내 예측 과정에서는 MIP flag 값에 따라 다른 화면 내 예측 방법을 사용할 수 있다. 도 7의 예시의 Zero mode flag 값과 MIP flag 값에 따른 화면 내 예측 모드 구성 방법은 표 3의 예시와 같을 수 있다.

표 3은 Zero-mode flag의 값과 MIP flag의 값에 따라 화면 내 예측 모드가 구성되는 방법의 일 실시 예를 보여준다. Zero mode flag는 화면 내 예측 모드 번호가 0번인지 여부를 구분한다. 따라서 Zero mode flag 값이 1인 경우 화면 내 예측 모드 번호는 0이 되며, Zero mode flag 값이 0인 경우 화면 내 예측 모드 번호는 0이 아닌 다른 값이 된다. Zero mode flag 값이 0인 경우에는 부가적인 시그널링 또는 유도 절차 등을 통해 화면 내 예측 모드 번호를 구분한다. MIP flag 값은 화면 내 예측 모드 Type을 결정한다. 화면 내 예측 모드 Type 이라 함은 화면 내 예측 모드의 종류를 의미하며, MIP 모드, Non-MIP 모드 등의 종류를 가질 수 있다. MIP flag 값이 0인 경우 화면 내 예측 모드는 Non-MIP 모드로 구성되며, MIP flag 값이 1인 경우 화면 내 예측 모드는 MIP 모드로 구성된다. 따라서 Zero mode flag의 값과 MIP flag의 값에 의해 화면 내 예측 모드의 Type과 화면 내 예측 모드 번호를 구분할 수 있다.

Zero mode flag가 1이고 MIP flag가 0인 경우 화면 내 예측 모드는 Non-MIP 모드며 0번 모드(플래너 모드)를 사용한다.

Zero mode flag가 1이고 MIP flag가 1인 경우 화면 내 예측 모드는 MIP 모드며 0번 모드(MIP 모드 0번)를 사용한다.

Zero mode flag가 0이고 MIP flag가 0인 경우 화면 내 예측 모드는 Non-MIP 모드며 0번 모드가 아닌 모드를 사용하며, 모드 번호를 구분하기 위한 부가적인 시그널링 또는 절차가 수행될 수 있다.

Zero mode flag가 0이고 MIP flag가 1인 경우 화면 내 예측 모드는 MIP 모드며 0번 모드가 아닌 모드를 사용하며, 모드 번호를 구분하기 위한 부가적인 시그널링 또는 절차가 수행될 수 있다.

표 3은 Zero-mode flag와 MIP flag 값에 따른 화면 내 예측 모드 구성 방법의 일 예이다.

도 6 와 도 7에서, 본 개시에서 현재 블록이 0번 모드인지를 의미하는 신호가 우선 시그널링된다는 개념은 동일하며, 먼저 시그널링되는 신호의 명칭 및 조건만 부분적으로 다른 것이다. 도 6 및 도 7에서의 시그널링 신호는 1,0의 값이 아닌 TRUE/FALSE의 값을 가질 수도 있다.

도 6 과 도 7에서 Non-zero mode flag와 Zero mode flag는 같은 경우에 대해 서로 반대되는 값을 가질 수 있으며, 이는 화면 내 예측 모드의 번호가 0 번인지 여부를 구분하기 위한 신호이다. 이는 Non-zero mode flag 값이 0인 경우와 Zero mode flag 값이 1인 경우가 의미하는 바가 동일하고, Non-zero mode flag 값이 1인 경우와 Zero mode flag 값이 0인 경우가 의미하는 바가 동일함을 의미한다. 따라서 Non-zero mode flag와 Zero mode flag는 둘 중 하나의 신호만 시그널링될 수 있다.

도 6 및 도 7에서, mode number 0에 대한 시그널링을 선행으로 수행함에 따라, 도 8과 같이 Non-zero flag가 1일 때 또는 Zero-mode flag가 0일 때, 0번 모드가 아닌 다른 화면 내 예측 모드들에 대한 시그널링을 수행하는 방법을 사용할 수 있다. 예를 들면, MIP 모드의 개수가 N (N은 1이상의 정수) 일 때, 일 실시 예에 따르면, N 개의 MIP 모드에 대해 시그널링이 수행될 수 있다. 하지만, 또 다른 일 실시 예에 따르면, N-1개 (0번 모드 제외된 개수)의 MIP 모드에 대한 시그널링이 수행될 수 있다. 마찬가지로 Non-MIP 모드의 개수가 N2 (N2는 1이상의 정수) 일 때, 일 실시 예에 따르면, N2 개의 Non-MIP 모드에 대해 시그널링이 수행된다. 하지만, 또 다른 일 실시 예에 따르면, N2-1개 (0번 모드 제외된 개수)의 Non-MIP 모드에 대한 시그널링을 수행될 수 있다.

도 9는 본 개시의 일 실시 예로, 도 6에 매칭되는 흐름도이다. 화면 내 예측 모드 복원에 있어 Non-zero mode flag를 시그널링하고, Non-zero mode flag 값이 0일 경우 화면 내 예측 모드는 0으로 설정하고 화면 내 예측 모드 복원을 종료한다. 도 9에서 Non-zero mode flag 시그널링은 MIP flag 시그널링보다 우선될 수 있다. 도 9의 Non-zero mode flag값을 체크하는 조건에서 Non-zero mode flag의 값은 1, 0 또는 True, false의 값을 가질 수 있다. 상기 조건에서 Non-zero mode flag가 1임을 체크하는 것에서 1이 아닌 다른 값으로 변경될 수 있다. 예를 들면, Non-zero mode flag == 1이 참일 때의 조건은, Non-zero mode flag == 0 이 거짓일 때의 조건이나, Non-zero mode flag == true의 조건이나, Non-zero mode flag == false 의 조건으로 대체될 수 있다. 마찬가지로 Non-zero mode flag == 1이 거짓일 때의 조건은, Non-zero mode flag == 0 이 참일 때의 조건이나, Non-zero mode flag == true가 거짓일 때의 조건이나, Non-zero mode flag == false가 참일 때의 조건으로 대체될 수 있다. 도 9에서 시작과 종료는 화면 내 예측 모드 정보 시그널링 절차의 시작과 종료로 화면 내 예측 전반의 시작과 종료를 의미하지 않는다.

도 10은 본 개시의 다른 일 실시 예로, 도 7에 매칭되는 흐름도이다. 화면 내 예측 모드 복원에 있어 Zero mode flag를 시그널링하고, Zero mode flag 값이 1일 경우 화면 내 예측 모드는 0으로 설정하고 화면 내 예측 모드 복원을 종료한다. 도 10에서 Zero mode flag 시그널링은 MIP flag 시그널링보다 우선될 수 있다. 도 10의 Zero mode flag값을 체크하는 조건에서 Zero mode flag의 값은 1, 0 또는 True, false의 값을 가질 수 있으며, 조건에서 Zero mode flag가 1임을 체크하는 것에서 1이 아닌 다른 값으로 변경될 수 있다. 예를 들면, Zero mode flag == 0인 조건이 참일 때의 조건은, Zero mode flag == 1 이 거짓일 때의 조건이나, Zero mode flag == true가 거짓일 때의 조건이나, Zero mode flag == false가 참일 때의 조건으로 대체될 수 있다. 마찬가지로 Zero mode flag == 0인 조건이 거짓일 때의 조건은, Zero mode flag == 1이 참일 때의 조건이나, Zero mode flag == true가 참일 때의 조건이나, Zero mode flag == false가 거짓일 때의 조건으로 대체될 수 있다. 도 10에서 시작과 종료는 화면 내 예측 모드 정보 시그널링 절차의 시작과 종료로, 화면 내 예측 전반의 시작과 종료를 의미하지 않는다.

표 4는 본 개시의 신택스 구조 일 예이다.

표 5는 본 개시의 방법에 대한 신택스 구조 일 예를 나타낸 표로 도 6, 도 9 에 매칭되는 신택스에 해당한다. 황색 배경 표기 부분은 본 개시의 신택스 구조에서 변경된 부분을 의미한다. 일 실시 예에 따르면, 본 개시의 신택스 구조에서는 Non-zero mode flag ( intra_non_zero_mode_flag[x0][y0] )가 추가될 수 있다. 그리고 플래너 모드에 대한 시그널링을 의미하는 Not-planar flag ( intra_luma_not_planar_flag[x0][y0] )가 제거될 수 있다.

신택스 구성 요소에 대한 설명은 다음과 같다.

[x0][y0] : 각 신택스 구성 요소가 수행되는 블록의 좌측 상단 휘도 샘플에 대한 위치를 의미한다. 각 신택스 구성 요소가 속하는 블록의 위치를 의미할 수 있다.

intra_mip_flag[ x0 ][ y0 ] : 본 개시에서 설명하는 MIP flag에 해당한다. 값이 1인 경우 화면 내 예측 모드 Type이 MIP 모드로 지정된다. 값이 0인 경우 화면 내 예측 모드 Type이 Non-MIP 모드로 지정된다. 초기값은 0이며, 따라서 직접 시그널링이 되지 않는 경우에는 0의 값을 가진다.

intra_mip_mode[ x0 ][ y0 ] : 본 개시에서 설명하는 MIP 모드 번호에 해당한다. MIP flag(intra_mip_flag[ x0 ][ y0 ]) 값이 1이고 Non-zero mode flag(intra_non_zero_mode_flag[ x0 ][ y0 ])가 1인 경우에만 시그널링 되며, MIP 모드 번호를 지정하는 신호가 시그널링 된다.

intra_non_zero_mode_flag[ x0 ][ y0 ] : 본 개시에서 설명하는 Non-zero mode flag에 해당한다. 값이 0인 경우 화면 내 예측 모드의 번호가 0번으로 지정된다. 값이 1인 경우 화면 내 예측 모드의 번호는 0이 아닌 번호 값을 갖는다. Non-zero mode flag는 화면 내 예측 모드 Type과 무관하게 화면 내 예측 모드의 번호가 0인지 아닌지를 구분한다. 화면 내 예측 모드 Type이 Non-MIP 모드고 Non-zero mode flag 값이 0인 경우 지정되는 0번 모드는 플래너 모드를 의미한다. 화면 내 예측 모드 Type이 MIP 모드고 Non-zero mode flag 값이 0인 경우 지정되는 0번 모드는 MIP 모드 0번을 의미한다. 화면 내 예측 모드 Type이 Non-MIP 모드고 Non-zero mode flag 값이 1인 경우 화면 내 예측 모드는 Non-MIP 모드 중 0번 모드(플래너 모드)가 아닌 모드 번호 중 하나가 될 수 있다. 화면 내 예측 모드 Type이 MIP 모드고 Non-zero mode flag 값이 1인 경우 화면 내 예측 모드는 MIP 모드 중 0번 모드가 아닌 모드 번호 중 하나가 될 수 있다. 따라서 Non-zero mode flag 값이 0인 경우, 화면 내 예측 모드의 번호를 복원하기 위한 신호인 MIP 모드(intra_mip_mode[ x0 ][ y0 ]), MPM index(intra_luma_mpm_idx[ x0 ][ y0 ]), Remainder mode(intra_luma_mpm_remainder[ x0 ][ y0 ]) 시그널링이 생략될 수 있다. 또한 MPM 사용 여부를 구분할 필요가 없으므로 MPM flag(intra_luma_mpm_flag[ x0 ][ y0 ]) 시그널링도 생략될 수 있다. Non-zero mode flag 값이 0이고 MIP flag(intra_mip_flag[ x0 ][ y0 ]) 값이 0인 경우, 화면 내 예측 모드 Type은 Non-MIP 모드로 유추되고 화면 내 예측 모드 번호는 0번 모드(플래너 모드)로 유추된다. 이 때, MRL index는 값이 0인 경우에만 0번 모드(플래너 모드)를 사용할 수 있으므로, MRL index(intra_luma_ref_idx[ x0 ][ y0 ])의 값은 0으로 유추될 수 있다. 따라서 Non-zero mode flag 값이 0인 경우, MRL index의 시그널링은 생략될 수 있다.

intra_luma_ref_idx[ x0 ][ y0 ] : 본 개시에서 설명하는 MRL index에 해당한다. MRL을 사용함에 있어 참조하는 참조 샘플 행을 구분하기 위한 신호를 의미한다. MRL index 값이 0인 경우 참조 샘플 행 중 현재 블록에 가장 인접한 첫 번째 행을 참조하며, MRL index 값이 0보다 큰 경우 각 값에 대응되는 참조 샘플 행을 참조한다. MRL index의 각 값에 대응되는 참조 샘플 행은 사전에 부호화 및 복호화 방법에서 정의될 수 있다. MRL에 사용되는 화면 내 예측 모드는 Non-MIP 모드에 해당하므로 MIP flag(intra_mip_flag[ x0 ][ y0 ]) 값이 0인 경우에만 시그널링 될 수 있다. MRL index 값이 0보다 큰 경우 화면 내 예측 모드는 MPM을 통해서 복원되며, 따라서 MPM flag 값은 1로 유추되므로 MPM flag(intra_luma_mpm_flag[ x0 ][ y0 ])는 시그널링 되지 않는다. MRL index 값이 0인 경우 화면 내 예측 모드는 MPM을 사용하여 복원될 수도 있고, Remainder mode에 의해 복원될 수 있다. 따라서 MPM 사용 여부를 구분하는 신호인 MPM flag가 시그널링 된다. MRL index 값이 0보다 큰 경우 화면 내 예측 모드로 0번 모드(플래너 모드)를 사용하지 않는다. 따라서 Non-zero mode flag(intra_non_zero_mode_flag[ x0 ][ y0 ]) 값이 0인 경우 MRL index는 시그널링 되지 않는다. Non-zero mode flag 값이 1인 경우에만 MRL index는 시그널링 될 수 있다.

intra_subpartitions_mode_flag[ x0 ][ y0 ] : 본 개시에서 설명하는 ISP 여부를 나타내는 ISP flag에 해당한다. 값이 1인 경우 ISP를 수행하며, 값이 0인 경우 ISP를 수행하지 않는다. MIP flag(intra_mip_flag[ x0 ][ y0 ]) 값이 0이고, MRL index(intra_luma_ref_idx[ x0 ][ y0 ])가 0인 경우에만 시그널링 될 수 있다. MIP flag값이 1이거나, MRL index가 0보다 큰 경우 ISP flag는 0의 값으로 유추될 수 있다.

intra_subpartitions_split_flag[ x0 ][ y0 ] : ISP mode에 해당하며 ISP를 사용할 경우 분할 형태 (수평 또는 수직)를 나타낸다. ISP flag(intra_subpartitions_mode_flag[ x0 ][ y0 ])가 1인 경우에만 시그널링 될 수 있다. 값이 0인 경우 수평 분할을 의미하며, 값이 1인 경우 수직 분할을 의미한다.

intra_luma_mpm_flag[ x0 ][ y0 ] : 본 개시에서 설명하는 MPM flag에 해당한다. 값이 1인 경우 MPM을 수행하여 현재 블록의 화면 내 예측 모드를 복원한다. 값이 0인 경우 MPM을 수행하지 않고 Remainder mode를 통해 현재 블록의 화면 내 예측 모드를 복원한다. MPM을 수행하는 경우 화면 내 예측 모드 Type은 Non-MIP 모드에 해당하며, Remainder mode를 수행하는 경우의 화면 내 예측 모드 Type도 Non-MIP 모드에 해당한다. 따라서 MIP flag(intra_mip_flag[ x0 ][ y0 ]) 값이 0인 경우에만 시그널링 될 수 있다. MRL index(intra_luma_ref_idx[ x0 ][ y0 ])가 0보다 큰 값을 가지는 경우 MPM flag 값은 1로 유추될 수 있다. Non-zero mode flag(intra_non_zero_mode_flag[ x0 ][ y0 ]) 값이 0인 경우 MPM flag는 시그널링 되지 않는다. Non-zero mode flag 값이 1인 경우에만 MPM flag는 시그널링 될 수 있다.

intra_luma_mpm_idx[ x0 ][ y0 ] : 본 개시에서 설명하는 MPM index에 해당한다. MPM flag(intra_luma_mpm_flag[ x0 ][ y0 ]) 값이 1이고, Non-zero mode flag(intra_non_zero_mode_flag[ x0 ][ y0 ]) 값이 1인 경우에만 시그널링 될 수 있다. MPM을 사용하여 화면 내 예측 모드 번호를 복원할 때, MPM list 중 참조하는 후보를 색인하는 신호이다.

intra_luma_mpm_remainder[ x0 ][ y0 ] : MPM이 아닌 나머지 모드(Remainder mode)들에 대한 시그널링이다. TBC나 FLC를 사용하여 시그널링될 수 있다. MPM flag(intra_luma_mpm_flag[ x0 ][ y0 ]) 값이 0인 경우에만 시그널링 될 수 있다. Remainder mode의 화면 내 예측 모드 Type은 Non-MIP 모드에 해당한다. MPM에 사용되지 않은 Non-MIP 모드의 화면 내 예측 모드들을 구분하기 위한 색인 정보가 시그널링된다.

신택스 구성 요소에 대한 흐름은 다음과 같다.

Non-zero mode flag가 0인 경우, 화면 내 예측 모드 번호는 0으로 설정되면서 화면 내 예측 모드 복원을 위한 MPM 관련 시그널링 (intra_luma_mpm_flag[x0][y0])이 생략된다.

Non-zero mode flag가 0인 경우, 0번 모드를 사용하지 않는 Multiple reference line 의 index는 0으로 설정되고 관련 시그널링 ( intra_luma_ref_idx[ x0 ][ y0 ] ) 또한 생략된다.

Non-zero mode flag가 1인 경우, 화면 내 예측 모드 복호화 과정이 진행된다. 화면 내 예측 모드 복호화 과정에는 MIP 관련 시그널링 (

, intra_mip_mode[ x0 ][ y0 ]), MRL 관련 시그널링 (intra_luma_ref_idx[ x0 ][ y0 ]), ISP 관련 시그널링 (intra_subpartitions_split_flag[ x0 ][ y0 ], intra_subpartitions_split_flag[ x0 ][ y0 ]), MPM 관련 시그널링 (intra_luma_mpm_flag[ x0 ][ y0 ], intra_luma_mpm_idx[ x0 ][ y0 ], intra_luma_mpm_remainder[ x0 ][ y0 ]) 과정을 포함한다.

본 개시에서는 Non-zero mode flag가 1인 경우, Not-planar flag ( intra_luma_not_planar_flag[x0][y0] )에 대한 시그널링 과정은 생략된다.

표 5는 본 개시의 방법에 대한 신택스 구조 다른 일 예를 나타낸다.

표 5의 표는 본 개시의 방법에 대한 신택스 구조 다른 일 예를 나타낸 표로 도 7, 도 10에 매칭되는 신택스에 해당한다. 본 개시의 신택스 구조에서는 Zero mode flag ( intra_zero_mode_flag[x0][y0] )가 추가되었고, 플래너 모드에 대한 시그널링을 의미하는 Not-planar flag ( intra_luma_not_planar_flag[x0][y0] )가 제거되었다.

[x0][y0] : 각 신택스 구성 요소가 수행되는 블록의 좌측 상단 휘도 샘플에 대한 위치를 의미한다. 각 신택스 구성 요소가 속하는 블록의 위치를 의미할 수 있다.

intra_mip_flag[ x0 ][ y0 ] : 본 개시에서 설명하는 MIP flag에 해당한다. 값이 1인 경우 화면 내 예측 모드 Type이 MIP 모드로 지정된다. 값이 0인 경우 화면 내 예측 모드 Type이 Non-MIP 모드로 지정된다. 초기값은 0이며, 따라서 직접 시그널링이 되지 않는 경우에는 0의 값을 가진다.

intra_mip_mode[ x0 ][ y0 ] : 본 개시에서 설명하는 MIP 모드 번호에 해당한다. MIP flag(intra_mip_flag[ x0 ][ y0 ]) 값이 1이고 Zero mode flag(intra_zero_mode_flag[ x0 ][ y0 ])가 0인 경우에만 시그널링 되며, MIP 모드 번호를 지정하는 신호가 시그널링 된다.

intra_zero_mode_flag[ x0 ][ y0 ] : 본 개시에서 설명하는 Zero mode flag에 해당한다. 값이 1인 경우 화면 내 예측 모드의 번호가 0번으로 지정된다. 값이 0인 경우 화면 내 예측 모드의 번호는 0이 아닌 번호 값을 갖는다. Zero mode flag는 화면 내 예측 모드 Type과 무관하게 화면 내 예측 모드의 번호가 0인지 아닌지를 구분한다. 화면 내 예측 모드 Type이 Non-MIP 모드고 Zero mode flag 값이 1인 경우 지정되는 0번 모드는 플래너 모드를 의미한다. 화면 내 예측 모드 Type이 MIP 모드고 Zero mode flag 값이 1인 경우 지정되는 0번 모드는 MIP 모드 0번을 의미한다. 화면 내 예측 모드 Type이 Non-MIP 모드고 Zero mode flag 값이 0인 경우 화면 내 예측 모드는 Non-MIP 모드 중 0번 모드(플래너 모드)가 아닌 모드 번호 중 하나가 될 수 있다. 화면 내 예측 모드 Type이 MIP 모드고 Zero mode flag 값이 0인 경우 화면 내 예측 모드는 MIP 모드 중 0번 모드가 아닌 모드 번호 중 하나가 될 수 있다. 따라서 Zero mode flag 값이 1인 경우, 화면 내 예측 모드의 번호를 복원하기 위한 신호인 MIP 모드(intra_mip_mode[ x0 ][ y0 ]), MPM index(intra_luma_mpm_idx[ x0 ][ y0 ]), Remainder mode(intra_luma_mpm_remainder[ x0 ][ y0 ]) 시그널링이 생략될 수 있다. 또한 MPM 사용 여부를 구분할 필요가 없으므로 MPM flag(intra_luma_mpm_flag[ x0 ][ y0 ]) 시그널링도 생략될 수 있다. Zero mode flag 값이 1이고 MIP flag(intra_mip_flag[ x0 ][ y0 ]) 값이 0인 경우, 화면 내 예측 모드 Type은 Non-MIP 모드로 유추되고 화면 내 예측 모드 번호는 0번 모드(플래너 모드)로 유추된다. 이 때, MRL index는 값이 0인 경우에만 0번 모드(플래너 모드)를 사용할 수 있으므로, MRL index(intra_luma_ref_idx[ x0 ][ y0 ])의 값은 0으로 유추될 수 있다. 따라서 Zero mode flag 값이 1인 경우, MRL index의 시그널링은 생략될 수 있다.

intra_luma_ref_idx[ x0 ][ y0 ] : 본 개시에서 설명하는 MRL index에 해당한다. MRL을 사용함에 있어 참조하는 참조 샘플 행을 구분하기 위한 신호를 의미한다. MRL index 값이 0인 경우 참조 샘플 행 중 현재 블록에 가장 인접한 첫 번째 행을 참조하며, MRL index 값이 0보다 큰 경우 각 값에 대응되는 참조 샘플 행을 참조한다. MRL index의 각 값에 대응되는 참조 샘플 행은 사전에 부호화 및 복호화 방법에서 정의될 수 있다. MRL에 사용되는 화면 내 예측 모드는 Non-MIP 모드에 해당하므로 MIP flag(intra_mip_flag[ x0 ][ y0 ]) 값이 0인 경우에만 시그널링 될 수 있다. MRL index 값이 0보다 큰 경우 화면 내 예측 모드는 MPM을 통해서 복원되며, 따라서 MPM flag 값은 1로 유추되므로 MPM flag(intra_luma_mpm_flag[ x0 ][ y0 ])는 시그널링 되지 않는다. MRL index 값이 0인 경우 화면 내 예측 모드는 MPM을 사용하여 복원될 수도 있고, Remainder mode에 의해 복원될 수 있다. 따라서 MPM 사용 여부를 구분하는 신호인 MPM flag가 시그널링 된다. MRL index 값이 0보다 큰 경우 화면 내 예측 모드로 0번 모드(플래너 모드)를 사용하지 않는다. 따라서 Zero mode flag(intra_non_zero_mode_flag[ x0 ][ y0 ]) 값이 1인 경우 MRL index는 시그널링 되지 않는다. Zero mode flag 값이 0인 경우에만 MRL index는 시그널링 될 수 있다.

intra_subpartitions_mode_flag[ x0 ][ y0 ] : 본 개시에서 설명하는 ISP 여부를 나타내는 ISP flag에 해당한다. 값이 1인 경우 ISP를 수행하며, 값이 0인 경우 ISP를 수행하지 않는다. MIP flag(intra_mip_flag[ x0 ][ y0 ]) 값이 0이고, MRL index(intra_luma_ref_idx[ x0 ][ y0 ])가 0인 경우에만 시그널링 될 수 있다. MIP flag값이 1이거나, MRL index가 0보다 큰 경우 ISP flag는 0의 값으로 유추될 수 있다.

intra_subpartitions_split_flag[ x0 ][ y0 ] : ISP mode에 해당하며 ISP를 사용할 경우 분할 형태 (수평 또는 수직)를 나타낸다. ISP flag(intra_subpartitions_mode_flag[ x0 ][ y0 ])가 1인 경우에만 시그널링 될 수 있다. 값이 0인 경우 수평 분할을 의미하며, 값이 1인 경우 수직 분할을 의미한다.

intra_luma_mpm_flag[ x0 ][ y0 ] : 본 개시에서 설명하는 MPM flag에 해당한다. 값이 1인 경우 MPM을 수행하여 현재 블록의 화면 내 예측 모드를 복원한다. 값이 0인 경우 MPM을 수행하지 않고 Remainder mode를 통해 현재 블록의 화면 내 예측 모드를 복원한다. MPM을 수행하는 경우 화면 내 예측 모드 Type은 Non-MIP 모드에 해당하며, Remainder mode를 수행하는 경우의 화면 내 예측 모드 Type도 Non-MIP 모드에 해당한다. 따라서 MIP flag(intra_mip_flag[ x0 ][ y0 ]) 값이 0인 경우에만 시그널링 될 수 있다. MRL index(intra_luma_ref_idx[ x0 ][ y0 ])가 0보다 큰 값을 가지는 경우 MPM flag 값은 1로 유추될 수 있다. Zero mode flag(intra_zero_mode_flag[ x0 ][ y0 ]) 값이 1인 경우 MPM flag는 시그널링 되지 않는다. Zero mode flag 값이 0인 경우에만 MPM flag는 시그널링 될 수 있다.

intra_luma_mpm_idx[ x0 ][ y0 ] : 본 개시에서 설명하는 MPM index에 해당한다. MPM flag(intra_luma_mpm_flag[ x0 ][ y0 ]) 값이 1이고, Zero mode flag(intra_zero_mode_flag[ x0 ][ y0 ]) 값이 0인 경우에만 시그널링 될 수 있다. MPM을 사용하여 화면 내 예측 모드 번호를 복원할 때, MPM list 중 참조하는 후보를 색인하는 신호이다.

intra_luma_mpm_remainder[ x0 ][ y0 ] : MPM이 아닌 나머지 모드(Remainder mode)들에 대한 시그널링이다. TBC나 FLC를 사용하여 시그널링될 수 있다. MPM flag(intra_luma_mpm_flag[ x0 ][ y0 ]) 값이 0인 경우에만 시그널링 될 수 있다. Remainder mode의 화면 내 예측 모드 Type은 Non-MIP 모드에 해당한다. MPM에 사용되지 않은 Non-MIP 모드의 화면 내 예측 모드들을 구분하기 위한 색인 정보가 시그널링된다.

신택스 구성 요소에 대한 흐름은 다음과 같다.

Zero mode flag가 1인 경우, 화면 내 예측 모드 번호는 0으로 설정되면서 화면 내 예측 모드 복원을 위한 MPM 관련 시그널링 (intra_luma_mpm_flag[x0][y0])이 생략된다.

Zero mode flag가 1인 경우, 0번 모드를 사용하지 않는 Multiple reference line 의 index는 0으로 설정되고 관련 시그널링 ( intra_luma_ref_idx[ x0 ][ y0 ] ) 또한 생략된다.

Zero mode flag가 0인 경우, 화면 내 예측 모드 복호화 과정이 진행된다. 화면 내 예측 모드 복호화 과정에는 MIP 관련 시그널링 (

, intra_mip_mode[ x0 ][ y0 ]), MRL 관련 시그널링 (intra_luma_ref_idx[ x0 ][ y0 ]), ISP 관련 시그널링 (intra_subpartitions_split_flag[ x0 ][ y0 ], intra_subpartitions_split_flag[ x0 ][ y0 ]), MPM 관련 시그널링 (intra_luma_mpm_flag[ x0 ][ y0 ], intra_luma_mpm_idx[ x0 ][ y0 ], intra_luma_mpm_remainder[ x0 ][ y0 ]) 과정을 포함한다.

본 개시에서는 Zero mode flag가 0인 경우, Not-planar flag ( intra_luma_not_planar_flag[x0][y0] )에 대한 시그널링 과정은 생략된다.

도 11의 일 예는 본 개시가 적용된 영상 부호화기 복호화기 전체 장치도 구성 일 예이다. 본 개시는 부호화기 및 복호화기의 화면 내 예측부 장치에서 화면 내 예측 모드 부호화 및 복호화에 대해 기술하는 것으로 화면 내 예측부에 대한 변경/추가가 발생한다.

도 12는 화면 내 예측 방법의 세부 장치도 일 실시 예를 나타낸 그림이다. 상기 화면 내 예측 방법은 화면 내 예측부가 화면 내 예측을 수행하는 화면 내 예측 수행부 장치와 화면 내 예측 모드 정보를 시그널링하는 화면 내 예측 모드 정보 시그널링부 장치, 예측 후 잔차 신호를 변환하는 잔차 신호 변환부 장치로 구성된다. 상기 화면 내 예측 방법의 세부 장치에서, 화면 내 예측 수행부 중 하위분할 관련 장치는 하위분할 플래그 확인부에서 하위분할 관련 플래그를 확인한 후, 화면 내 예측 수행 조건 탐색부에서 하위분할 관련 플래그 값에 따라 화면 내 예측 진행 여부에 대한 수행 조건을 검토한다. 이어서 화면 내 예측 진행부에서 화면 내 예측 수행 조건 탐색부에서 결정된 조건에 맞게 화면 내 예측을 수행한다. 화면 내 예측 모드 시그널링부는, MIP flag 시그널링을 수행하는 MIP flag 시그널링부 장치, MIP 모드 시그널링을 수행하는 MIP 모드 시그널링부 장치, MRL index 등 MRL 관련 시그널링을 수행하는 MRL 시그널링부 장치, ISP 관련 시그널링 조건을 체크하는 ISP 시그널링 결정부 장치, ISP flag, ISP mode 등 ISP 관련 시그널링을 수행하는 ISP 시그널링부 장치, MPM 관련 시그널링 조건을 체크하는 MPM 시그널링 결정부 장치, MPM flag 시그널링을 수행하는 MPM flag 시그널링부 장치, Non-MPM에 해당하는 경우(MPM flag가 0인 경우)에 Remaining mode에 대한 화면 내 예측 모드 복원을 수행하는 Non-MPM 화면 내 예측 모드 복원부 장치, Not-planar flag의 시그널링 조건을 체크하는 Not-planar flag 시그널링 결정부 장치, Not-planar flag 시그널링을 수행하는 Not-planar flag 시그널링부 장치, MPM index 시그널링부 장치 및 화면 내 예측모드 설정부 장치로 도 12의 일 예와 같이 구성되어 있다.

도 13, 도 14는 각각 본 개시를 포함하는 세부 장치도의 일 예와, 본 개시를 포함하는 세부 장치도의 다른 일 예이다.

도 13은 도 4, 도 7에 대응되는 장치도 일 예이며, 도 14은 도 6, 도 9에 대응되는 장치도 일 예이다. 각각 Intra non-zero mode flag 시그널링부(Non-zero mode flag 시그널링)와 Intra zero mode flag 시그널링부(Zero mode flag 시그널링 )가 추가되었다.

도 13의 Intra non-zero mode flag 시그널링부는 Non-zero mode flag 시그널링을 수행하는 장치이며, Non-zero mode flag 값에 따라 MIP 모드 시그널링 결정부 또는 화면 내 예측 모드 설정부로 연결된다. MIP 모드 시그널링 결정부에서는 MIP 모드 시그널링을 수행할 지, 또는 Non-MIP 모드 시그널링을 수행할지를 결정하게 된다.

도 14의 Intra zero mode flag 시그널링부는 Zero mode flag 시그널링을 수행하는 장치이며, Zero mode flag 값에 따라 MIP 모드 시그널링 결정부 또는 화면 내 예측 모드 설정부로 연결된다. MIP 모드 시그널링 결정부에서는 MIP 모드 시그널링을 수행할 지, 또는 Non-MIP 모드 시그널링을 수행할지를 결정하게 된다.

도 13, 도 14에서, 도 8의 개념도가 적용된 본 개시의 장치의 경우, MIP 모드 시그널링부와 Non-MPM 화면내 예측모드 복원부의 변경이 적용된다.

도 13, 도 14에서 MIP flag 시그널링부는 Intra non-zero mode flag 시그널링부나 Intra zero mode flag 시그널링부 이후에 위치할 수 있다. 도 13, 도 14는 방법의 일 예를 나타낸 그림으로, MRL, ISP, MPM 관련 시그널링의 순서는 도 13, 및 도 14와 다르게 구성될 수 있으며, 일부 장치도가 추가되거나 삭제된 형태로 구성될 수 있다.

도 15는 일 실시 예에 따른 비디오 복호화 방법을 도시한다.

단계 1502에서, 현재 블록에 매트릭스 기반 인트라 예측이 적용되는지 여부를 나타내는 매트릭스 기반 인트라 예측 플래그가 획득될 수 있다.

단계 1504에서, 현재 블록에 인덱스가 가장 작은 예측 모드가 적용되는지 여부를 나타내는 논제로 모드 플래그가 획득될 수 있다.

단계 1506에서, 매트릭스 기반 인트라 예측 플래그가 현재 블록에 매트릭스 기반 인트라 예측이 적용되지 않음을 나타내고, 현재 블록에 현재 블록의 MPM 후보들 중 하나가 현재 블록에 적용될 때, 논제로 모드 플래그에 기초하여 현재 블록의 인트라 예측 모드가 결정될 수 있다.

일 실시 예에 따르면, 논제로 모드 플래그가 현재 블록에 논제로 모드가 사용되지 않음을 나타낼 때, 플래너 모드가 현재 블록의 인트라 예측 모드로 결정될 수 있다.

일 실시 예에 따르면, 단계 1504에서 논제로 플래그 대신 제로 플래그가 획득될 수 있다. 제로 플래그는 논제로 플래그와 반대로, 현재 블록에 인덱스가 가장 작은 예측 모드가 적용되지 않는지 여부를 나타낼 수 있다.

일 실시 예에 따르면, 현재 블록이 참조하는 참조 샘플 라인을 나타내는 참조 샘플 라인 인덱스가 획득될 수 있다. 그리고 참조 샘플 라인 인덱스가 나타내는 참조 샘플 라인으로부터 현재 블록이 예측될 수 있다.

일 실시 예에 따르면, 참조 샘플 라인 인덱스가 현재 블록으로부터 가장 가까운 참조 샘플 라인을 나타낼 경우에, ISP 플래그 및/또는 MPM 플래그가 획득될 수 있다. ISP 플래그는 인트라 예측되는 현재 블록이 서브 파티션을 분할되는지 여부를 나타낸다. MPM 플래그는 현재 블록의 인트라 예측 모드가 현재 블록의 MPM 후보들 중 하나로 결정되는지 여부를 나타낸다.

일 실시 예에 따르면, 참조 샘플 라인 인덱스가 현재 블록으로부터 가장 가까운 참조 샘플 라인을 나타낼 경우에, 논제로 플래그 또는 제로 플래그에 따라, 현재 블록에 인덱스가 0번인 인트라 예측 모드가 적용되는지 여부가 결정될 수 있다. 만약, 현재 블록에 인덱스가 0번인 인트라 예측 모드 (예: 플래너 모드 또는 DC 모드)가 적용될 경우, 현재 블록은 인덱스가 0번인 인트라 예측 모드에 따라 예측될 수 있다.

일 실시 예에 따르면, 참조 샘플 라인 인덱스가 현재 블록으로부터 가장 가까운 참조 샘플 라인이 아닌 다른 참조 샘플 라인을 나타낼 경우에, 현재 블록의 인트라 예측 모드는 현재 블록의 MPM 후보들 중 하나로 결정된다.

일 실시 예에 따르면, 참조 샘플 라인 인덱스가 현재 블록으로부터 가장 가까운 참조 샘플 라인이 아닌 다른 참조 샘플 라인을 나타낼 경우에, 논제로 플래그 또는 제로 플래그와 상관 없이, 현재 블록에는 인덱스가 0번인 인트라 예측 모드가 적용되지 않도록 설정될 수 있다.

일 실시 예에 따르면, 현재 블록에 인덱스가 0번인 인트라 예측 모드가 적용되지 않을 경우, 현재 블록의 MPM 후보들 중 하나가 현재 블록의 인트라 예측 모드로 결정될 수 있다. 현재 블록의 MPM 후보들은 현재 블록의 상측 블록 및 우측 블록에 따라 결정될 수 있다. 현재 블록의 MPM 후보들의 결정 방법은 현재 블록의 상측 블록 및 우측 블록의 인트라 예측 모드들이 서로 동일한지 여부에 따라 결정될 수 있다.

일 실시 예에 따르면, 상기 현재 블록의 상측 블록의 인트라 예측 모드와 상기 현재 블록의 좌측 블록의 인트라 예측 모드가 동일할 때, MPM 후보들은 상기 좌측 블록의 인트라 예측 모드를 포함할 수 있다.

일 실시 예에 따르면, 상기 현재 블록의 상측 블록의 인트라 예측 모드와 상기 현재 블록의 좌측 블록의 인트라 예측 모드가 동일할 때, MPM 후보들은 상기 좌측 블록의 인트라 예측 모드보다 인덱스가 1만큼 작은 인트라 예측 모드, 상기 좌측 블록의 인트라 예측 모드보다 인덱스가 2만큼 작은 인트라 예측 모드, 상기 좌측 블록의 인트라 예측 모드보다 인덱스가 1만큼 큰 인트라 예측 모드, 상기 좌측 블록의 인트라 예측 모드보다 인덱스가 2만큼 큰 인트라 예측 모드 중 적어도 하나를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 현재 블록의 상측 블록의 인트라 예측 모드와 상기 현재 블록의 좌측 블록의 인트라 예측 모드가 상이할 때, MPM 후보들은 상기 좌측 블록의 인트라 예측 모드와 상기 상측 블록의 인트라 예측 모드를 포함할 수 있다.

일 실시 예에 따르면, 상기 현재 블록의 상측 블록의 인트라 예측 모드와 상기 현재 블록의 좌측 블록이 모두 방향성 인트라 예측 모드일 때, MPM 후보들은 상기 좌측 블록의 인트라 예측 모드와 상기 상측 블록의 인트라 예측 모드 중 인덱스가 큰 인트라 예측 모드보다 인덱스가 1만큼 큰 인트라 예측 모드, 상기 좌측 블록의 인트라 예측 모드와 상기 상측 블록의 인트라 예측 모드 중 인덱스가 큰 인트라 예측 모드보다 인덱스가 2만큼 큰 인트라 예측 모드, 상기 좌측 블록의 인트라 예측 모드와 상기 상측 블록의 인트라 예측 모드 중 인덱스가 작은 인트라 예측 모드보다 인덱스가 1만큼 작은 인트라 예측 모드, 및 상기 좌측 블록의 인트라 예측 모드와 상기 상측 블록의 인트라 예측 모드 중 인덱스가 작은 인트라 예측 모드보다 인덱스가 2만큼 작은 인트라 예측 모드 중 적어도 하나를 포함할 수 있다.

일 실시 예에 따르면, 상기 현재 블록의 상측 블록의 인트라 예측 모드와 상기 현재 블록의 좌측 블록이 모두 비방향성 인트라 예측 모드일 때, MPM 후보들은 DC 모드, 수직 모드, 수평 모드 중 적어도 하나를 포함할 수 있다.

일 실시 예에 따르면, 상기 현재 블록의 상측 블록의 인트라 예측 모드와 상기 현재 블록의 좌측 블록 중 하나가 DC 모드이고, 다른 하나는 방향성 인트라 예측 모드일 때, MPM 후보들은 상기 방향성 인트라 예측 모드보다 인덱스가 1만큼 작은 인트라 예측 모드, 상기 방향성 인트라 예측 모드보다 인덱스가 2만큼 작은 인트라 예측 모드, 상기 방향성 인트라 예측 모드보다 인덱스가 1만큼 큰 인트라 예측 모드, 상기 방향성 인트라 예측 모드보다 인덱스가 2만큼 큰 인트라 예측 모드 중 적어도 하나를 포함할 수 있다.

도 16은 일 실시 예에 따른 비디오 부호화 방법을 도시한다.

단계 1602에서, 현재 블록에 최적화된 현재 블록의 인트라 예측 모드가 결정될 수 있다.

단계 1604에서, 현재 블록의 인트라 예측 모드에 따라, 현재 블록에 매트릭스 기반 인트라 예측이 적용되는지 여부를 나타내는 매트릭스 기반 인트라 예측 플래그와 현재 블록에 인덱스가 가장 작은 예측 모드가 적용되는지 여부를 나타내는 논제로 모드 플래그가 결정될 수 있다.

단계 1606에서, 매트릭스 기반 인트라 예측 플래그와 논제로 모드 플래그가 부호화될 수 있다.

일 실시 예에 따르면, 현재 블록의 인트라 예측 모드가 플래너 모드일 때, 논제로 모드 플래그가 현재 블록에 논제로 모드가 사용되지 않음을 나타내도록 설정될 수 있다.

일 실시 예에 따르면, 단계 1604에서 논제로 플래그 대신 제로 플래그가 결정될 수 있다. 제로 플래그는 논제로 플래그와 반대로, 현재 블록에 인덱스가 가장 작은 예측 모드가 적용되지 않는지 여부를 나타낼 수 있다.

이 외에도 도 16에는 도15에서 언급된 다양한 비디오 복호화 방법에 상응하는 비디오 부호화 방법을 구현하기 위한 실시 예들이 적용될 수 있다.

도 15 및 16의 실시 예는 예시에 불과하며, 도 15 및 16의 각 단계는 통상의 기술자에게 용이하게 변형 실시 가능하다. 또한, 도 15 및 16의 각 구성은 생략되거나 다른 구성으로 대체될 수 있다. 도 15 의 비디오 복호화 방법 및 도 16 의 비디오 부호화 방법은 도 11의 복호화기 및 부호화기에서 수행될 수 있다. 또한 하나 이상의 프로세서는 도 15 및 16의 각 단계를 구현한 명령들을 수행할 수 있다. 그리고 도 15 및 16의 각 단계를 구현한 명령들을 포함하는 프로그램 제품은 메모리 디바이스에 저장되거나, 온라인 상으로 유통될 수 있다.

본 개시는 화면 내 예측 모드 신호 시그널링 장치에서 중복된 연산을 제거하고, 불필요한 화면 내 예측 과정을 생략하여 보다 효율적인 장치 구성이 가능하게 한다. 이는 영상 부호화기 및 복호화기에서 장치 구성 비용을 감소시킬 수 있고, 연산 비용을 감소시킬 수 있는 효과를 기대할 수 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 개시는 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 개시의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 개시는 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

이상 설명된 본 개시에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 개시에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 개시가 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 개시의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 개시가 상기 실시예들에 한정되는 것은 아니며, 본 개시가 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 개시의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 개시의 사상의 범주에 속한다고 할 것이다.

Claims (1)

1. 현재 블록에 매트릭스 기반 인트라 예측이 적용되는지 여부를 나타내는 매트릭스 기반 인트라 예측 플래그를 획득하는 단계;
   상기 현재 블록에 인덱스가 가장 작은 예측 모드가 적용되는지 여부를 나타내는 논제로 모드 플래그를 획득하는 단계; 및
   상기 매트릭스 기반 인트라 예측 플래그가 상기 현재 블록에 매트릭스 기반 인트라 예측이 적용되지 않음을 ₃타내고, 상기 현재 블록에 상기 현재 블록의 MPM 후보들 중 하나가 상기 현재 블록에 적용될 때, 상기 논제로 모드 플래그에 기초하여 상기 현재 블록의 인트라 예측 상기 현재 블록에 매트릭스 기반 인트라 예측이 적용되지 않음을 나모드를 결정하는 단계를 포함하고,
   상기 논제로 모드 플래그가 상기 현재 블록에 논제로 모드가 사용되지 않음을 나타낼 때, 플래너 모드를 상기 현재 블록의 인트라 예측 모드로 결정하는 것을 특징으로 하는 비디오 복호화 방법.
   

Images