KR102238127B1

KR102238127B1 - 비디오 인코딩 및 디코딩 방법과 이를 이용하는 장치

Info

Publication number: KR102238127B1
Application number: KR1020207026685A
Authority: KR
Inventors: 헨드리헨드리; 전병문; 전용준; 박승욱; 김정선; 박준영; 임재현; 박내리; 김철근
Original assignee: 엘지전자 주식회사
Priority date: 2011-12-29
Filing date: 2012-12-28
Publication date: 2021-04-08
Also published as: CN104041031A; WO2013100694A1; KR20220095257A; KR102158629B1; US20180131939A1; KR20210144943A; CN108322756A; KR20230025037A; KR102500639B1; US20230319320A1; US20200351523A1; US9883185B2; KR20140110876A; US20140376643A1; KR102331361B1; KR20200013793A; CN108600753B; CN108322756B; KR20200110472A; KR102375821B1

Abstract

디코딩 장치의 의하여 수행되는 비디오 디코딩 방법은 비트스트림으로부터 픽처의 적어도 하나의 서브스트림을 디코딩하기 위한 엔트리 포인트를 나타내는 엔트리 포인트 정보를 도출하는 단계; 및 상기 엔트리 포인트 정보를 기반으로 상기 픽터를 복원하는 단계를 포함하며, 상기 엔트리 포인트 정보는 슬라이스 헤더 내의 오프셋 신택스 요소(syntax element)들의 개수를 나타내는 개수 신택스 요소를 포함하고, 상기 오프셋 신택스 요소들의 개수가 0보다 큰 경우, 상기 엔트리 포인트 정보는 서브스트림의 엔트리 포인트를 나타내는 오프셋 신택스 요소를 포함하고, 상기 오프셋 신택스 요소들의 개수가 0보다 큰 경우, 상기 엔트리 포인트 정보는 상기 오프셋 신택스 요소의 비트들 길이(bits length)를 나타내는 길이 신택스 요소를 포함하고, 상기 길이 신택스 요소의 값 더하기 1은 상기 오프셋 신택스 요소의 비트들 길이에 대응하고, 상기 개수 신택스 요소의 값 더하기 1은 상기 슬라이스 헤더 내의 상기 오프셋 신택스 요소들의 개수에 대응하고, 상기 엔트리 포인트 정보는 상기 슬라이스 헤더에 포함될 수 있다.

Description

비디오 인코딩 및 디코딩 방법과 이를 이용하는 장치{VIDEO ENCODING AND DECODING METHOD AND APPARATUS USING SAME}

본 발명은 영상 정보 압축 기술에 관한 것으로, 더 구체적으로는 영상 정보를 포함하는 비트스트림의 시그널링 하는 방법과 이를 이용하여 정보를 파싱하는 방법에 관한 것이다.

최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다.

따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다.

고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.

영상 압축의 효율을 높이기 위해, 인터 예측과 인트라 예측을 이용할 수 있다. 인터 예측(inter prediction) 방법에서는 다른 픽처의 정보를 참조하여 현재 픽처(picture)의 픽셀값을 예측하며, 인트라 예측(intra prediction) 방법에서는 동일한 픽처 내에서 픽셀 간 연관 관계를 이용하여 픽셀값을 예측한다.

예측된 영상의 처리 단위, 예컨대 블록에 대하여는 영상을 원본과 동일하게 만들기 위한 다양한 방법이 적용될 수 있다. 이를 통해 디코딩 장치는 해당 영상을 더 정확하게(원본과 더 일치하게) 디코딩할 수 있으며, 인코딩 장치는 해당 영상이 더 정확하게 복원될 수 있도록 인코딩할 수 있다.

본 발명은 인코딩된 비디오 정보를 효과적으로 시그널링하는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명은 병렬 디코딩이 적용되는 경우에 엔트리 포인트를 바이트 단위로 설정하고 이를 시그널링하는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명은 바이트 정렬된 디코딩 단위를 이용하여 병렬 디코딩을 수행하는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명은 바이트 정렬된 디코딩 단위를 이용하여 병렬 디코딩을 수행하기 위해 전송 및 수신되는 정보를 규정하고 이를 이용하여 인코딩 및 디코딩하는 방법과 장치를 제공하는 것을 목적으로 한다.

본 문서의 일 실시예에 따른 디코딩 장치의 의하여 수행되는 비디오 디코딩 방법은 비트스트림으로부터 픽처의 적어도 하나의 서브스트림을 디코딩하기 위한 엔트리 포인트를 나타내는 엔트리 포인트 정보를 도출하는 단계; 및 상기 엔트리 포인트 정보를 기반으로 상기 픽터를 복원하는 단계를 포함하며, 상기 엔트리 포인트 정보는 슬라이스 헤더 내의 오프셋 신택스 요소(syntax element)들의 개수를 나타내는 개수 신택스 요소를 포함하고, 상기 오프셋 신택스 요소들의 개수가 0보다 큰 경우, 상기 엔트리 포인트 정보는 서브스트림의 엔트리 포인트를 나타내는 오프셋 신택스 요소를 포함하고, 상기 오프셋 신택스 요소들의 개수가 0보다 큰 경우, 상기 엔트리 포인트 정보는 상기 오프셋 신택스 요소의 비트들 길이(bits length)를 나타내는 길이 신택스 요소를 포함하고, 상기 길이 신택스 요소의 값 더하기 1은 상기 오프셋 신택스 요소의 비트들 길이에 대응하고, 상기 개수 신택스 요소의 값 더하기 1은 상기 슬라이스 헤더 내의 상기 오프셋 신택스 요소들의 개수에 대응하고, 상기 엔트리 포인트 정보는 상기 슬라이스 헤더에 포함될 수 있다.

본 문서의 다른 실시예에 따른 인코딩 장치에 의한 비디오 인코딩 방법은 픽처의 적어도 하나의 서브스트림을 디코딩하기 위한 엔트리 포인트를 나타내는 엔트리 포인트 정보를 도출하는 단계; 비트스트림을 생성하기 위하여 상기 엔트리 포인트 정보를 인코딩하는 단계; 및 생성된 상기 비트스트림을 출력하는 단계를 포함하며, 상기 엔트리 포인트 정보는 슬라이스 헤더 내의 오프셋 신택스 요소(syntax element)들의 개수를 나타내는 개수 신택스 요소를 포함하고, 상기 오프셋 신택스 요소들의 개수가 0보다 큰 경우, 상기 엔트리 포인트 정보는 서브스트림의 엔트리 포인트를 나타내는 오프셋 신택스 요소를 포함하고, 상기 오프셋 신택스 요소들의 개수가 0보다 큰 경우, 상기 엔트리 포인트 정보는 상기 오프셋 신택스 요소의 비트들 길이(bits length)를 나타내는 길이 신택스 요소를 포함하고, 상기 길이 신택스 요소의 값 더하기 1은 상기 오프셋 신택스 요소의 비트들 길이에 대응하고, 상기 개수 신택스 요소의 값 더하기 1은 상기 슬라이스 헤더 내의 상기 오프셋 신택스 요소들의 개수에 대응하고, 상기 엔트리 포인트 정보는 상기 슬라이스 헤더에 포함될 수 있다.

또한, 본 문서의 다른 실시예에 따르면, 컴퓨터로 판독 가능한 디지털 저장 매체로서, 상기 인코딩 방법 또는 디코딩 방법에 의해 출력된 비트스트림이 저장된, 디지털 저장 매체가 제공된다.

본 발명에 의하면 인코딩된 비디오 정보를 효과적으로 시그널링함으로써 코딩 효율을 향상시킬 수 있다.

본 발명에 의하면 병렬 디코딩이 적용되는 경우에 엔트리 포인트를 바이트 단위로 설정하고 이를 시그널링함으로써 데이터 자원을 효과적으로 이용하고 압축 효율을 증가시킬 수 있다.

본 발명에 의하면 바이트 정렬된 디코딩 단위를 이용하여 병렬 디코딩을 수행함으로써 비디오 디코딩의 효율을 크게 향상 시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다.
도 3은 슬라이스에 관한 일 예를 개략적으로 설명하는 도면이다.
도 4는 타일과 슬라이스에 관한 일 예를 개략적으로 설명하는 도면이다.
도 5는 타일과 슬라이스에 관한 다른 예를 개략적으로 설명하는 도면이다.
도 6은 WPP 서브스트림에 대하여 개략적으로 설명하는 도면이다.
도 7은 타일에 대하여 개략적으로 설명하는 도면이다.
도 8은 WPP와 타일의 관계를 개략적으로 설명하는 도면이다.
도 9는 픽처 내 LCU 들의 순서에 관한 일 예를 개략적으로 설명하는 도면이다.
도 10은 비트스트림 내에서 LCU들의 순서에 관한 일 예를 개략적으로 설명하는 도면이다.
도 11은 서브스트림의 바이트 정렬에 대하여 개략적으로 설명하는 일 예를 도시한 것이다.
도 12는 WPP 서브스트림에 대한 엔트리 포인트의 일 예를 개략적으로 설명하는 도면이다.
도 13은 타일에 대한 엔트리 포인트의 일 예를 개략적으로 설명하는 도면이다.
도 14는 타일과 WPP 서브스트림이 함께 적용되는 경우에 대한 엔트리 포인트의 일 예를 개략적으로 설명하는 도면이다.
도 15는 본 발명에 따른 인코딩 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 16은 본 발명에 따른 인코딩 장치의 일 예를 개략적으로 설명하는 도면이다.
도 17은 본 발명에 따른 디코딩 방법의 일 예를 개략적으로 나타낸 것이다.
도 18은 본 발명에 따른 디코딩 장치의 일 예를 개략적으로 나타낸 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.

픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, 이하 'PU'라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 'TU'라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 'CU'라 함)일 수도 있다.

픽처 분할부(105)에서 분할되는 처리 단위 블록들은 쿼드 트리(quad-tree) 구조를 가질 수 있다.

예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.

인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU에 대응하는 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.

예측 블록은 정수 샘플 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다.

인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 예측 블록을 복원 블록으로 할 수 있으므로, 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.

인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.

인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다.

인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.

PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.

생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.

변환부(115)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다.

변환 블록은 샘플들의 직사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.

변환부(115)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행할 수 있다.

예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.

변환부(115)는 변환에 의해 변환 계수들의 변환 블록을 생성할 수 있다.

양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들, 즉 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.

재정렬부(125)는 양자화부(120)로부터 제공된 양자화된 변환 계수를 재정렬한다. 양자화된 변환 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다.

재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화된 변환 계수들을 1차원의 벡터 형태로 재정렬할 수 있다.

엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화된 변환 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 인코딩할 수 있다.

또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.

역양자화부(135)는 양자화부(120)에서 양자화된 값(양자화된 변환 계수)들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다.

역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.

도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.

필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.

디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.

한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.

메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.

도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 비디오 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.

비디오 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 비디오 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.

예컨대, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 'VLC' 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.

엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(215)로 입력될 수 있다.

재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.

재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 현재 블록(변환 블록)에 적용된 예측 모드와 변환 블록의 크기를 기반으로 계수에 대한 스캐닝을 수행하여 2 차원 블록 형태의 계수(양자화된 변환 계수) 배열을 생성할 수 있다.

역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.

역변환부(225)는 비디오 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.

예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다.

현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.

현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 비디오 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.

복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.

스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.

복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.

메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.

한편, 인코딩 장치와 디코딩 장치는 픽처를 소정의 단위로 분할하여 처리(인코딩/디코딩) 할 수 있다.

예컨대, 픽처는 슬라이스와 타일로 분할될 수 있다.

슬라이스는 하나 이상의 슬라이스 시그먼트(segment)들의 시퀀스이다. 슬라이스 시퀀스는 독립(independent) 슬라이스 시그먼트로부터 시작하며 다음 독립 슬라이스 시그먼트 전까지 존재하는 종속(dependent) 슬라이스 시그먼트들을 포함한다.

슬라이스 시그먼트는 코딩 트리 유닛(Coding Tree Unit: CTU) 또는 코딩 트리 블록(Coding Tree Block: CTB)의 시퀀스일 수 있다. 코딩 트리 유닛은 쿼드 트리(Quad-Tree) 구조의 코딩 유닛으로서, 최대 크기 코딩 유닛(Largest Coding Unit: LCU)일 수 있다. 본 명세서에서는 발명의 이해를 돕기 위해 필요한 곳에서 코딩 트리 유닛, 최대 코딩 유닛을 혼용하여 설명할 수도 있다.

도 3은 슬라이스에 관한 일 예를 개략적으로 설명하는 도면이다.

현재 픽처(300)는 슬라이스 경계(350)에 의해 두 개의 슬라이스로 구분된다. 첫 번째 슬라이스는 4 개의 코딩 트리 유닛을 포함하는 독립 슬라이스 시그먼트(310)와 슬라이스 시그먼트 경계(330)를 전후로 32개의 코딩 트리 유닛을 포함하는 제1 종속 슬라이스 시그먼트(320) 및 24개의 코딩 트리 유닛을 포함하는 제2 종속 슬라이스 시그먼트(340)로 구성될 수 있다.

또 하나의 독립 슬라이스 시그먼트(360)는 28개의 코딩 트리 유닛으로 구성된다.

타일(tile) 역시 코딩 트리 유닛, 코딩 트리 블록 또는 최대 코딩 유닛의 시퀀스일 수 있다. 코딩 트리 유닛은 쿼드 트리(Quad-Tree) 구조의 코딩 유닛으로서, 최대 크기 코딩 유닛(Largest Coding Unit: LCU)일 수 있다. 앞서 말한 바대로, 본 명세서에서는 발명의 이해를 돕기 위해 필요한 곳에서 코딩 트리 유닛, 최대 코딩 유닛을 혼용하여 설명한다.

구체적으로, 타일은 하나의 행(row) 및 하나의 열(column)로 규정될 수 있는 영역 내에 함께 나타나는(co-occurring) 정수 개의 코딩 트리 유닛들 또는 최대 코딩 유닛들일 수 있다.

각 슬라이스와 타일에 대해서는 다음 두 조건이 모두 성립되거나 적어도 하나가 성립된다. (1) 슬라이스 내의 모든 코딩 트리 유닛 또는 최대 코딩 유닛은 동일한 타일에 속한다. (2) 타일 내의 모든 코딩 트리 유닛 또는 최대 코딩 유닛은 동일한 슬라이스에 속한다.

따라서, 동일한 픽처 내에서 복수의 타일을 포함하는 슬라이스들과 복수의 슬라이스를 포함하는 타일이 존재할 수 있다.

또한, 각 슬라이스 시그먼트와 타일에 대해서는 다음 두 조건이 모두 성립되거나 적어도 하나가 성립된다. (1) 슬라이스 시그먼트 내의 모든 코딩 트리 유닛 또는 최대 코딩 유닛은 동일한 타일에 속한다. (2) 타일 내의 모든 코딩 트리 유닛 또는 최대 코딩 유닛은 동일한 슬라이스 시그먼트에 속한다.

도 4는 타일과 슬라이스에 관한 일 예를 개략적으로 설명하는 도면이다.

현재 픽처(400)는 하나의 슬라이스만 포함하며 타일 경계(410) 좌우의 두 타일로 나뉘어진다. 현재 픽처(400) 내의 슬라이스는 독립 슬라이스 시그먼트(420)와 슬라이스 시그먼트 경계(430, 440, 450)에 의해 나뉘는 4 개의 종속 슬라이스 시그먼트들로 구성된다.

도 5는 타일과 슬라이스에 관한 다른 예를 개략적으로 설명하는 도면이다.

현재 픽처(500)는 타일 경계(510) 좌우의 두 타일로 나뉘어진다. 타일 경계(510) 좌측의 타일은 슬라이스 경계(550)을 기준으로 하는 두 개의 슬라이스를 포함한다. 슬라이스 경계(550) 위쪽의 슬라이스는 독립 슬라이스 시그먼트(520)과 종속 슬라이스 시그먼트(540)을 포함하며, 슬라이스 경계(550) 아래쪽의 슬라이스는 독립 슬라이스 시그먼트(530)과 종속 슬라이스 시그먼트(560)을 포함한다. 슬라이스 경계(590)를 기준으로 하는 다음 슬라이스, 즉 두 번째 타일 내의 슬라이스는 독립 슬라이스 시그먼트(530)과 종속 슬라이스 시그먼트(580)을 포함한다.

인코딩과 디코딩은 타일 단위로 수행될 수도 있고, 코딩 트리 유닛의 행(이하, 설명의 편의를 위해, 코딩 트리 유닛의 행(또는 스트림) 혹은 최대 코딩 유닛의 행(또는 스트림)을 '서브스트림'이라 한다) 단위로 수행될 수도 있다. 타일 또는 서브스트림에서 각 샘플들은 코딩 트리 유닛 혹은 최대 코딩 유닛 단위로 처리될 수 있다.

이때, 디코딩 과정은 병렬적으로 처리될 수 있다. 예컨대, 디코딩 과정은 각 타일별로 병렬 진행될 수 있다. 또한, 디코딩 과정은 서브스트림별로 병렬 진행될 수도 있다.

예컨대, 서브스트림별로 엔트로피 디코딩이 진행되는 경우에는 n 번째(n은 정수) 서브스트림에 대하여 엔트로피 디코딩이 진행된 후, n 번째 째 서브스트림의 두 번째 코딩 트리 유닛 혹은 최대 코딩 유닛에 대한 엔트로피 디코딩이 완료된 후, n+1 번째 서브스트림에 대한 엔트로피 디코딩이 진행될 수 있다.

서브스트림은 복수의 디코딩 과정이 병렬적으로 진행되는 경우에, 각 디코딩 과정에 있어서 디코딩 대상이 되는 비트스트림의 일부분으로서 최대 코딩유닛들 혹은 코딩 트리 유닛들의 행(row)일 수 있다.

이때, n번째 서브스트림(n 번째 코딩 트리 유닛(최대 코딩 유닛) 행)의 2 번째 코딩 트리 유닛(최대 코딩 유닛)에 대한 엔트로피 디코딩이 완료되면, 관련된 콘텍스트 정보가 저장된다. n+1번째 서브스트림의 1 번째 코딩 트리 유닛(최대 코딩 유닛)은, n번째 서브스트림의 2번째 코딩 트리 유닛(최대 코딩 유닛)에 대한 콘텍스트 정보를 기반으로 엔트로피 디코딩될 수 있다.

이와 같이, 각 서브스트림이 한 코딩 트리 유닛(최대 코딩 유닛)씩의 차이를 두고 병렬적으로 파싱되는 것을 WPP(Wavefront Parallel Processing)이라고 한다.

타일 구조에서는, WPP와 달리 각 타일이 동시에 디코딩될 수 있다. 이때, 병렬 처리 가능한 타일의 최대 개수가 미리 정해져 있을 수도 있다. 예컨대, 최대 4개의 타일을 병렬 처리할 수 있도록 설정할 수 있다. 병렬 처리가 가능한 타일들의 개수4개 이하인 경우에, 디코딩 장치는 1 내지 4개의 타일들을 한번에 처리할 수 있다.

타일 구조와 WPP는 인코딩 장치가 픽처를 몇 개의 부분으로 나눌 수 있도록 하며, 이렇게 나뉘어지 부분들은 디코딩 장치에서 병렬적인 방식(parallel manner)으로 디코딩될 수 있다.

타일 구조(타일 서브스트림) 또는 WPP 서브스트림을 이용하여 디코딩을 병렬적으로 진행하기 위한 비트스트림상의 액세스 포인트를 엔트리 포인트라고 한다. 예컨대, 엔트리 포인트는 비트스트림상에서 병렬 처리의 대상이 되는 각 WPP서브스트림의 시작점 또는 각 타일의 시작점일 수 있다.

따라서, 병렬 처리를 위해 각 타일의 엔트리 포인트(entry point)를 시그널링하거나 WPP서브스트림 슬라이스 헤더의 엔트리 포인트를 시그널링하는 것이 중요하다. 타일과 WPP은 적용되는 인코딩/디코딩 기술에 있어서 차이가 있지만, 타일의 엔트리 포인트와 WPP가 적용되는 서브스트림의 엔트리 포인트는 동일한 방식으로 시그널링될 수 있다.

병렬 처리에 있어서, 타일은 항상 바이트 정렬된(byte aligned) 위치에서 시작되지만 WPP 가 적용되는 서브스트림(이하, 설명의 편의를 위해 WPP 서브스트림이라 함)은 바이트 정렬된 위치에서 시작되지 않을 수도 있다. 바이트 정렬이란, 바이트 단위로 정렬되는 것을 의미한다.

따라서, 타일과 WPP 서브스트림은 엔트리 포인트에 대한 비트 그래뉼리티에서 상이하기 때문에 파티션(즉, 타일의 WPP 서브스트림)의 길이가 바이트 단위로 시그널링되는지 혹은 비츠(bits) 단위로 시그널링 되는지 바이츠(bytes) 단위로 시그널링되는지를 아는 것이 중요할 수 있다.

도 6은 WPP 서브스트림에 대하여 개략적으로 설명하는 도면이다.

도 6의 예에서, 픽처 내 소정의 영역(600)은 서브스트림 A(610), 서브스트림 B(620), 서브스트림 C(630) 등 복수의 서브스트림을 포함한다.

각 서브스트림은 첫 번째 LCU부터 순차적으로 디코딩된다. 각 서브스트림의 두 번째 이후의 LCU들은 이전 LCU들의 엔트로피 디코딩 결과, 즉 콘텍스트를 기반으로 엔트로피 디코딩될 수 있다.

WPP의 경우, 각 서브스트림들은 병렬적으로 디코딩 될 수 있으며, 첫 번째 서브스트림 다음의 서브스트림들에서 첫 번째 LCU들은 이전 서브스트림의 두 번째 LCU에 대한 콘텍스트 변수들의 값을 기반으로 엔트로피 디코딩될 수 있다.

예컨대, WPP를 적용하여 디코딩을 병렬적으로 진행하는 경우에, 디코딩 대상 영역(600) 내 첫 번째 행(610)의 첫 번째 LCU(A1)부터 디코딩 과정이 진행된다. 첫 번째 행(610)의 두 번째 LCU(A2)에 대한 엔트로피 디코딩이 완료되면, 디코딩 장치는 A2에 대한 콘텍스트 변수들(context variables)의 값을 저장한다.

두 번째 행(620)의 첫 번째 LCU(B1)는 첫 번째 행(610)의 두 번째 LCU(A2)에 대한 콘텍스트 변수들의 값을 기반으로 엔트로피 디코딩된다. 두 번째 행(620)의 두 번째 LCU(B2)에 대한 엔트로피 디코딩이 완료되면, 디코딩 장치는 B2에 대한 콘텍스트 변수들의 값을 저장한다.

세 번째 행(630)의 첫 번째 LCU(C1)는 두 번째 행(610)의 두 번째 LCU(B2)에 대한 콘텍스트 변수들의 값을 기반으로 엔트로피 디코딩된다. 세 번째 행(630)의 두 번째 LCU(C2)에 대한 엔트로피 디코딩이 완료되면, 디코딩 장치는 B2에 대한 콘텍스트 변수들의 값을 저장한다.

동일한 방법으로 네 번째 행과 그 이후의 행들에 대해서도 직전 행의 두 번째 LCU에 대한 콘텍스트 변수 값들을 이용하여 엔트로피 디코딩될 수 있다.

WPP가 적용되는 경우, 엔트리 포인트는 각 서브스트림에 대한 디코딩 시작점(액세스 포인트)을 지시할 수 있다.

도 6에서 픽처 내 소정의 영역(600)은 현재 픽처의 일부 영역일 수도 있고, 현재 픽처의 슬라이스일 수도 있으며, 현재 픽처의 전체 영역일 수도 있다.

도 7은 타일에 대하여 개략적으로 설명하는 도면이다.

도 7의 예에서 픽처 내 소정의 영역(700)은 타일 1(710), 타일 2(720), 타일 3(730), 타일 4(740)로 나뉘어 있다. 각 타일은 복수의 서브스트림을 포함한다.

타일 구조가 적용되는 경우, 디코딩 장치는 각 타일을 동시에 디코딩할 수 있다. 상술한 바와 같이, 병렬적으로 디코딩할 수 있는 타일의 개수가 최대 4개라면, 디코딩 장치는 타일 1 내지 4를 동시에 디코딩할 수 있다.

각 타일에 대한 디코딩이 병렬적으로 진행될 때, 타일의 첫 번째 서브스트림부터 차례로 서브스트림들의 디코딩이 진행되며(예컨대, A→B→C→...), 서브스트림 내에서는 첫 번째 LCU부터 차례대로 LCU들이 디코딩된다(Xx1→Xx2→Xx3→...).

타일 구조가 적용되는 경우에, 엔트리 포인트들은 각 타일에 대한 디코딩 시작점(액세스 포인트)을 지시할 수 있다.

도 7에서 픽처 내 소정의 영역(700)은 현재 픽처의 일부 영역일 수도 있고, 현재 픽처의 슬라이스일 수도 있으며, 현재 픽처의 전체 영역일 수도 있다.

한편, WPP와 타일 구조가 모두 적용될 수도 있다.

도 8은 WPP와 타일 구조의 관계를 개략적으로 설명하는 도면이다.

WPP와 타일 구조가 모두 이용되는 경우에, WPP 서브스트림은 도시된 바와 같이 타일 내에 적용된다.

도 8의 예에서, 픽처 내 소정의 영역(800)은 타일 1(810), 타일 2(820), 타일 3(830), 타일 4(840)로 나뉘어 있다. 각 타일은 복수의 WPP 서브스트림을 포함한다.

도시된 바와 같이, 타일 1(810) 내에는 서브스트림 A와 서브스트림 B가 번갈아 위치하며, 타일 2(820) 내에는 서브스트림 C와 서브스트림 D가 번갈아 위치하고, 타일 3(830) 내에는 서브스트림 E와 서브스트림 F가 번갈아 위치하며, 타일 4(840) 내에는 서브스트림 G와 서브스트림 H가 번갈아 존재한다.

따라서, 타일과 WPP의 적용을 고려하면, 타일과 WPP가 둘 다 사용되지 않는 경우, 타일이 사용되는 경우, WPP가 사용되는 경우, 타일과 WPP가 둘 다 사용되는 경우로 나누어 시그널링되는 엔트리 포인트가 지시하는 내용을 특정할 필요가 있다. 예컨대, 엔트리 포인트들이 무엇에 대한 엔트리 포인트인지는 다음과 같이 특정될 수 있다.

(i) 타일과 WPP가 둘 다 사용되지 않는 경우에는, 엔트리 포인트가 존재하지 않는다.

(ii) 타일이 사용되고 WPP가 적용되지 않는 경우에, 엔트리 포인트는 타일의 엔트리 포인트다.

(iii) 타일이 사용되지 않고 WPP가 적용되는 경우에, 엔트리 포인트는 WPP 서브스트림의 엔트리 포인트다.

(iv) 타일과 WPP가 둘 다 사용되는 경우에, i% WPP 서브스트림의 개수=0이면 i번째 엔트리 포인트는 타일과 WPP 서브스트림 모두에 대한 엔트리 포인트이고, i% WPP 서브스트림의 개수≠0 이면 i번째 엔트리 포인트는 WPP 서브스트림의 엔트리 포인트이다.

도 8에서 픽처 내 소정의 영역(800)은 현재 픽처의 일부 영역일 수도 있고, 현재 픽처의 슬라이스일 수도 있으며, 현재 픽처의 전체 영역일 수도 있다.

상술한 바와 같이, 디코딩의 병렬적 수행에 있어서 각 병렬 처리의 개시점(액세스 포인트)은 엔트리 포인트로 지시된다. 따라서, 인코딩 장치에서 엔트리 포인트를 시그널링하는 다양한 방법과 디코딩 장치에서 엔트리 포인트의 시그널링을 수신하여 병렬적 디코딩을 처리하는 다양한 방법을 고려할 수 있다.

이하, 엔트리 포인트에 관한 정보의 시그널링에 관한 다양한 실시예를 구체적으로 설명한다.

실시예 1

표 1은 WPP 서브스트림 및 타일의 엔트리 포인트를 시그널링하는 슬라이스 헤더 내 신택스 엘리먼트의 일 예를 나타낸 것이다.

표 1에서, 엔트리 포인트 정보는 WPP 서브스트림의 엔트리 포인트에 관한 정보이거나 타일의 엔트리 포인트에 관한 정보일 수 있다.

entry_point_location_flag는 비트스트림에 엔트리 포인트 정보가 존재하는지를 지시한다. 예컨대, 비트스트림 내에 엔트리 포인트 정보(예컨대, 엔트리 포인트 위치 정보)가 존재하면 entry_point_location_flag의 값은 1이 되며, 비트스트림 내에 엔트리 포인트 정보가 존재하지 않으면 entry_point_location_flag의 값은 0이 된다.

표 2는 표 1에 따른 엔트리 포인트 위치 정보에 관한 신택스 구조의 일 예를 나타낸 것이다.

표 2에서 엔트리 포인트 정보는 WPP 서브스트림의 엔트리 포인트에 관한 정보이거나 타일의 엔트리 포인트에 관한 정보일 수 있다.

num_of_entry_points_minus1은 슬라이스 내에 있는 비트스트림상의 엔트리 포인트 개수를 지시한다. 엔트리 포인트 오프셋의 개수는 엔트리 포인트보다 1 적으므로, num_of_entry_points_minus1은 슬라이스 헤더 내 entry_point_offset[i] 신택스 엘리먼트의 개수를 특정할 수도 있다.

entry_point_offset_length_minus2는 엔트리 포인트 오프셋에 관한 정보(entry_point_offset 신택스 엘리먼트)을 시그널링하는데 이용되는 비트 수를 특정한다. 즉, entry_point_offset_length_minus2는entry_point_offset[i] 신택스 엘리먼트의 길이를 비트 혹은 바이트 단위로 나타낼 수 있다.

entry_point_offset[i]는 두 엔트리 포인트 사이의 비트 수를 특정한다. 다만, i값이 0이면, entry_point_offset[0]은 슬라이스 헤더의 끝(the end of slice header)과 슬라이스 내 첫 번째 엔트리 포인트 사이의 비트 수를 특정한다. i값이 0이 아닌 경우, entry_point_offset[i]는 i-1번째 엔트리 포인트(entry point i-1)와 i 번째 엔트리 포인트(entry point i) 사이의 비트 수를 특정한다.

entry_point_offset[i]의 길이를 xx라고 할 때, xx는 수식 1처럼 정의될 수 있다.

<수식 1>

xx = (num_substreams_minus1 > 0) ? entry_point_offset_length_minus2 + 5 : entry_point_offset_length_minus2 + 2

수식1에서 서브스트림의 개수가 1보다 큰 경우는 WPP가 적용되는 경우일 수 있으며, 서브스트림의 개수가 1 이하인 경우는 타일을 사용하는 경우일 수 있다.

이 경우에, 엔트리 포인트의 타입(즉, 엔트리 포인트가 타일에 대한 것인지 혹은 WPP 서브스트림에 대한 것인지)은 다음과 같이 추정(infer)될 수 있다.

1)tile_info_present_flag의 값이 1이고 num_substream_minus1의 값이 0이면(if tile_info_present_flag==1 ＆＆ num_substream_minus1==0), 모든 엔트리 포인트들은 타일의 엔트리 포인트다. 즉, 타일 정보가 존재하고, 서브스트림의 개수가 하나인 경우에 엔트리 포인트들은 타일의 엔트리 포인트로 추정될 수 있다.

(2)tile_info_present_flag의 값이 0이고 num_substream_minus1의 값이 0보다 크면(if tile_info_present_flag==0 ＆＆ num_substream_minus1>0), 모든 엔트리 포인트들은 WPP 서브스트림의 엔트리 포인트다. 즉, 타일 정보가 존재하지 않고, 복수의 서브스트림이 존재하는 경우에, 엔트리 포인트들은 WPP 서브스트림의 엔트리 포인트로 추정될 수 있다.

(3) tile_info_present_flag의 값이 1이고 num_substream_minus1의 값이 0보다 큰 경우에(if tile_info_present_flag==1 ＆＆ num_substream_minus1>0), i번째 엔트리 포인트는 i가 0이 아니고(i!=0) (i+1)%(num_substream1+1)==0 이면, i번째 엔트리 포인트는 타일의 엔트리 포인트이고 i 번째 엔트리 포인트이다. 그 외 경우에 엔트리 포인트들은 WPP 서브스트림의 엔트리 포인트가 된다. 즉, 타일 정보가 존재하고, 서브스트림도 복수 존재하는 경우에, 엔트리 포인트는 WPP 서브스트림의 엔트리 포인트로 추정될 수도 있고, 타일과 WPP 서브스트림의 엔트리 포인트로 추정될 수도 있다.

실시예 2

WPP가 적용되면, 슬라이스 내 인코딩된 데이터의 스트림(예컨대, 비트스트림)이 하나 이상의 서브스트림으로 분할될 수 있다.

서브스트림은 병렬 처리(병렬 디코딩)의 단위일 수 있으며 각 서브스트림은 비트 단위로 정렬된다. 본 명세서에서는 설명의 편의를 위해 비트 단위로 정렬되는 것을 비트 정렬(bit-aligned)라 한다.

따라서, 각 서브스트림의 길이는 비트 단위로 표현될 수 있으며, 각 서브스트림의 엔트리 포인트도 비트 단위로 표현될 수 있다.

도 9는 픽처 내 LCU 들의 순서에 관한 일 예를 개략적으로 설명하는 도면이다.

도 9의 예를 참조하면, 픽처의 소정 영역(910)은 두 개의 서브스트림(0번째 서브스트림인 서브스트림 A, 1번째 서브스트림인 서브스트림 B)을 포함한다. 도시된 바와 같이, 서브스트림 A는 LCU Ax(x=1, 2, ..., 7, 8)들로 구성된 스트림이며, 서브스트림 B는 LCU Bx(x=1, 2, ..., 7, 8)들로 구성된 스트림이다.

도 9의 예에서는 서브스트림 A와 서브스트림 B는 영역(900) 내에서 교차 배치되어 있다.

픽처 내 소정의 영역(900)은 현재 픽처의 일부 영역일 수도 있고, 현재 픽처의 슬라이스 또는 타일일 수도 있으며, 현재 픽처의 전체 영역일 수도 있다. 또한, LCU는 CTU(Coding Tree Unit)일 수 있다.

도 10은 비트스트림 내에서 LCU들의 순서에 관한 일 예를 개략적으로 설명하는 도면이다. 도 10에서는 도 9의 예에서 설명한 LCU들로 비트스트림이 구성되는 경우를 예로서 설명한다.

도 10을 참조하면, 비트스트림(1010)은 두 서브스트림(0번째 서브스트림인 서브스트림 A, 1번째 서브스트림인 서브스트림 B)를 포함한다. 서브스트림 A는 LCU Ax(x=1, 2, ..., 7, 8)들로 구성된 스트림이며, 서브스트림 B는 LCU Bx(x=1, 2, ..., 7, 8)들로 구성된 스트림이다.

비트스트림(1010)에서 서브스트림 A의 엔트리 포인트(1020)는 LCU A1의 시작점에 대응하며, 서브스트림 B의 엔트리 포인트(1030)는 LCU B1의 시작점에 대응할 수 있다.

도 9에서 영역(900)가 타일이고 WPP가 아닌 타일 구조가 적용된다면, 엔트리 포인트(1030)는 타일의 엔트리 포인트일 수도 있다.

앞서 설명한 바와 같이, 도 10의 예에서 서브스트림은 비트 단위의 길이를 가지며, 엔트리 포인트로 비트 단위로 표현된다.

이와 관련하여, 서브스트림을 비트 단위로 정렬하는 것이 아니라 바이트 단위로 정렬하는 것을 고려할 수 있다. 본 명세서에서는 설명의 편의를 위해 바이트 단위로 정렬되는 것을 바이트 정렬(byte-aligned)이라 한다.

따라서, WPP가 적용되는 경우에도 WPP 서브스트림들은 바이트 정렬되며, 타일 구조가 적용되는 경우에도 타일 내 서브스트림들은 바이트 정렬될 수 있다.

서브스트림을 바이트 정렬하기 위한 방법으로 바이트 정렬 비트(byte-aligned bits)를 이용할 수 있다. 바이트 정렬 비트는 각 서브스트림을 바이트 정렬 시키기 위해 비트스트림 혹은 서브스트림에 추가되는 비트(bits)이다.

예컨대, 각 서브스트림(예컨대. WPP 서브스트림 또는 타일 내 서브스트림)의 각 종단(end)에서 바이트 정렬되지 않는 경우에는 바이트 정렬 비트가 추가될 수 있다. 따라서, 각 서브스트림의 길이는 비트 단위가 아닌 바이트 단위로 나타내진다.

바이트 정렬 비트는 바이트 정렬을 적용할 서브스트림의 소정 부분에 추가될 수 있다. 예컨대, 바이트 정렬 비트는 각 서브스트림의 종단에 추가될 수 있다.

도 11은 서브스트림의 바이트 정렬에 대하여 개략적으로 설명하는 일 예를 도시한 것이다.

도 11에서는 도 9의 예에서 설명한 LCU들로 비트스트림이 구성되는 경우를 예로서 설명한다.

도 11을 참조하면, 비트스트림(1110)은 두 서브스트림(0번째 서브스트림인 서브스트림 A, 1번째 서브스트림인 서브스트림 B)를 포함한다. 서브스트림 A는 LCU Ax(x=1, 2, ..., 7, 8)들로 구성된 스트림이며, 서브스트림 B는 LCU Bx(x=1, 2, ..., 7, 8)들로 구성된 스트림이다.

비트스트림(1110)에서 서브스트림 A의 엔트리 포인트(1120)는 LCU A1의 시작점에 대응하며, 서브스트림 B의 엔트리 포인트(1130)는 LCU B1의 시작점에 대응할 수 있다.

도 9에서 영역(900)가 타일이고 WPP가 아닌 타일 구조가 적용된다면, 엔트리 포인트(1130)는 타일의 엔트리 포인트일 수도 있다.

서브스트림 A의 길이가 바이트 단위가 아닌 경우에는 바이트 정렬 비트(1140)를 서브스트림 A의 후단에 추가하여 서브스트림 A를 바이트 단위로 나타낼 수 있다.

서브스트림 B의 길이가 바이트 단위가 아닌 경우에는 바이트 정렬 비트(1150)를 서브스트림 B의 후단에 추가하여 서브스트림 B를 바이트 단위로 나타낼 수 있다.

서브스트림이 바이트 정렬되면, 타일과 WPP 서브스트림을 모두 바이트 레벨에서 표현할 수 있으면, 타일과 WPP 서브스트림의 엔트리 포인트의 그래뉼래러티(granularity)를 동일하게 하면서 더 간단한 방식으로 엔트리 포인트를 시그널링할 수 있다.

표 3은 WPP 서브스트림 및 타일의 엔트리 포인트를 시그널링하는 슬라이스 헤더 내 신택스 엘리먼트의 일 예를 나타낸 것이다.

표 3에서, 엔트리 포인트 정보는 WPP 서브스트림의 엔트리 포인트에 관한 정보이거나 타일의 엔트리 포인트에 관한 정보일 수 있다.

표 4는 표 3에 따른 엔트리 포인트 위치 정보에 관한 신택스 구조의 일 예를 나타낸 것이다.

표 4에서 엔트리 포인트 정보는 WPP 서브스트림의 엔트리 포인트에 관한 정보이거나 타일의 엔트리 포인트에 관한 정보일 수 있다.

entry_point_offset_length_minus2는 엔트리 포인트 오프셋에 관한 정보(entry_point_offset 신택스 엘리먼트)을 시그널링하는데 이용되는 비트 수를 특정한다. 즉, entry_point_offset_length_minus2는 entry_point_offset[i] 신택스 엘리먼트의 길이를 비트 혹은 바이트 단위로 나타낼 수 있다.

entry_point_offset[i]는 두 엔트리 포인트 사이의 바이트 수를 특정한다.

i가 0인 경우에, entry_point_offset[i]는 슬라이스 헤더의 끝(the end of slice header)와 슬라이스 내 첫 번째 엔트리 포인트 사이의 바이트 수를 특정한다. 이때, 슬라이스 헤더의 끝을 바이트 정렬시키기 위해서 첫 번째 타일/WPP 서브스트림의 처음 몇 비트를 슬라이스 헤더의 끝에 더할 수 있다. 더해지는 비트는 앞서 설명한 바이트 정렬 비트로서 역할한다.

i가 0이 아닌 경우에 entry_point_offset[i]는 i-1번째 엔트리 포인트와 i 번째 엔트리 포인트 사이의 바이트 수를 특정한다.

이때, entry_point_offset[i]의 길이는 entry_point_offset_length _minus2 + 2가 된다.

엔트리 포인트의 타입(즉, 엔트리 포인트가 타일에 대한 것인지 혹은 WPP 서브스트림에 대한 것인지)은 다음과 같이 추정(infer)될 수 있다.

실시예 3

병렬 처리가 수행되는 경우에, 서브스트림 중 WPP 서브스트림의 엔트리 포인트만 시그널링할 수 있다. 예컨대, WPP와 타일 구조를 함께 적용하지 않고 WPP 만을 적용하는 경우에, WPP 서브스트림의 엔트리 포인트를 시그널링할 수 있다.

WPP 서브스트림의 엔트리 포인트에 관한 정보 역시 슬라이스 헤더에서 시그널링될 수 있다.

표 5는 슬라이스 헤더에서 WPP 서브스트림의 엔트리 포인트에 관한 정보를 시그널링하는 신택스의 일 예이다.

표 5에서, log_max_substream_length_minus2는 서브스트림의 길이에 관한 정보 substream_length[i]를 전송하는데 이용되는 비트 수를 특정한다.

substream_length[i]는 두 엔트리 포인트 사이의 비트 수를 특정한다. 이때 두 엔트리 포인트는 WPP 서브스트림에 관한 것일 수 있다.

i값이 0이면, substream_length[i]은 슬라이스 헤더의 끝(the end of slice header)과 슬라이스 내 첫 번째 엔트리 포인트 사이의 비트 수를 특정한다. i값이 0이 아닌 경우, substream_length[i]는 i-1번째 엔트리 포인트(entry point i-1)와 i번째 엔트리 포인트(entry point i) 사이의 비트 수를 특정한다.

또한, 실시예 2의 경우와 같이, 서브스트림의 길이는 바이트 단위로 나타낼 수도 있다. 이 경우에, substream_length[i]는 두 WPP 서브스트림 엔트리 포인트 사이의 바이트 수를 특정한다.

여기서는, WPP 서브스트림의 엔트리 포인트만이 전송되는 점을 고려하여, 서브스트림의 길이에 관한 정보를 전송하는 것으로 설명하였으나, 실시예 1 및 2와 같이, 서브스트림의 길이 대신에 엔트리 포인트 오프셋을 전송하도록 할 수도 있다.

이 경우에, 표 5의 슬라이스 헤더는 substream_length[i] 대신 entry_point_offset[i]를 전송한다.entry_point_offset[i]는 두 엔트리 포인트 사이의 바이트 수 혹은 비트 수를 특정하며, 바이트 수를 특정하는 경우에는 서브스트림의 바이트 정렬을 위한 바이트 정렬 비트가 이용될 수도 있다.

실시예 4

앞선 실시예와 달리 엔트리 포인트 타입(엔트리 포인트가 타일에 관한 것인지 WPP 서브스트림에 관한 것인지)를 유도하지 않고, 직접 시그널링하는 방법을 고려할 수 있다.

표 6은 슬라이스 헤더에서 엔트리 포인트에 관한 정보를 시그널링하는 신택스의 일 예를 나타낸 것이다.

표 6에서 entry_point_location_flag는 비트스트림에 엔트리 포인트 정보가 존재하는지를 지시한다. 예컨대, 비트스트림 내에 엔트리 포인트 정보(예컨대, 엔트리 포인트 위치 정보)가 존재하면 entry_point_location_flag의 값은 1이 되며, 비트스트림 내에 엔트리 포인트 정보가 존재하지 않으면 entry_point_location_flag의 값은 0이 된다.

표 7은 표 6에 따른 엔트리 포인트 위치 정보(entry point location information)에 관한 신택스의 일 예를 나타낸 것이다.

entry_point_type[i]는 엔트리 포인트 타입을 지시한다. 예컨대, entry_point_type[i]의 값이 1인 경우에는 WPP 서브스트림의 엔트리 포인트임을 지시하고, entry_point_type[i]의 값이 0인 경우에는 타일과 WPP 서브스트림 모두의 엔트리 포인트임을 지시한다.

entry_point_offset[i]는 두 엔트리 포인트 사이의 비트 수 또는 바이트 수를 특정한다. i값이 0이면, entry_point_offset[0]은 슬라이스 헤더의 끝(the end of slice header)과 슬라이스 내 첫 번째 엔트리 포인트 사이의 비트 수 또는 바이트 수를 특정한다. i값이 0이 아닌 경우, entry_point_offset[i]는 i-1번째 엔트리 포인트(entry point i-1)와 i 번째 엔트리 포인트(entry point i) 사이의 비트 수 또는 바이트 수를 특정한다.

entry_point_offset[i]가 두 엔트리 포인트 사이의 바이트 수를 특정하는 경우에는 바이트 정렬을 위한 바이트 정렬 비트를 사용할 수도 있다.

entry_point_offset[i]의 길이를 xx라고 할 때, xx는 수식 2처럼 정의될 수 있다.

<수식 2>

수식 2에서 서브스트림의 개수가 1보다 큰 경우는 WPP가 적용되는 경우일 수 있으며, 서브스트림의 개수가 1 이하인 경우는 타일을 사용하는 경우일 수 있다.

실시예 5

실시예 1 과 달리, 엔트리 포인트 오프셋의 길이에 대한 정보를 다른 방식으로 시그널링할 수도 있다.

표 8은 WPP 서브스트림 및 타일의 엔트리 포인트를 시그널링하는 슬라이스 헤더 내 신택스 엘리먼트의 일 예를 나타낸 것이다.

표 8에서, 엔트리 포인트 정보는 WPP 서브스트림의 엔트리 포인트에 관한 정보이거나 타일의 엔트리 포인트에 관한 정보일 수 있다.

표 9는 표 8에 따른 엔트리 포인트 위치 정보에 관한 신택스 구조의 일 예를 나타낸 것이다.

표 9에서 엔트리 포인트 정보는 WPP 서브스트림의 엔트리 포인트에 관한 정보이거나 타일의 엔트리 포인트에 관한 정보일 수 있다.

entry_point_offset_length_minus1은 엔트리 포인트 오프셋에 관한 정보(entry_point_offset 신택스 엘리먼트)을 시그널링하는데 이용되는 비트 수를 특정한다. 즉, entry_point_offset_length_minus1은 entry_point_offset[i] 신택스 엘리먼트의 길이를 비트 혹은 바이트 단위로 나타낼 수 있다.

entry_point_offset[i]는 두 엔트리 포인트 사이의 비트 수 또는 바이트 수를 특정한다. 다만, i값이 0이면, entry_point_offset[0]은 슬라이스 헤더의 끝(the end of slice header)과 슬라이스 내 첫 번째 엔트리 포인트 사이의 비트 수/바이트 수를 특정한다. i값이 0이 아닌 경우, entry_point_offset[i]는 i-1번째 엔트리 포인트(entry point i-1)와 i 번째 엔트리 포인트(entry point i) 사이의 비트 수/바이트 수를 특정한다.

엔트리 포인트를 바이트 단위로 나타내는 경우, 즉 서브스트림을 바이트 단위로 정렬하는 경우에는 실시예 2에서 설명한 바와 같이 바이트 정렬 비트를 사용할 수 있다.

entry_point_offset_length_minus1을 이용하여 엔트리 포인트 오프셋의 전송에 이용되는 비트 수를 특정하는 경우에, entry_point_offset[i]의 길이를 xx라고 하면, xx는 수식 3처럼 정의될 수 있다.

<수식 3>

xx = (num_substreams_minus1 > 0) ? entry_point_offset_length_minus1 + 4 : entry_point_offset_length_minus1 + 1

수식 3에서 서브스트림의 개수가 1보다 큰 경우는 WPP가 적용되는 경우일 수 있으며, 서브스트림의 개수가 1 이하인 경우는 타일을 사용하는 경우일 수 있다.

실시예 6

앞선 실시예들에서 비트스트림에 엔트리 포인트 정보가 존재하는지를 지시하던entry_point_location_flag를 전송하지 않고 추정하거나 유도하는 방법을 고려할 수 있다.

예컨대, 슬라이스 헤더에서 비트스트림에 엔트리 포인트 정보가 존재하는지를 지시하는 신택스 엘리먼트가 전송될 필요없이, 다음의 방식을 이용하여 엔트리 포인트 정보의 존재가 추정될 수 있다.

구체적으로, 타일의 행(row) 개수가 1보다 크거나 타일의 열(column) 개수가 1보다 크고 서브스트림의 개수도 1보다 큰 경우에는 엔트리 포인트 정보가 비트스트림에 존재한다고 추정한다. 그렇지 않은 경우에는 엔트리 포인트 정보가 비트스트림에 존재하지 않는다고 추정한다.

표 8은 설명한 바와 같이 엔트리 포인트 정보의 존재를 추정하는 방법의 일 예를 나나탠 것이다.

표 10에서, num_tile_columns_minus1 +1은 픽처를 파티셔닝(partitioning)하는 타일 열(column)의 개수를 특정하며, num_tile_columns_minus1 의 값은 인코딩 장치로부터 시그널링 될 수 있다. 또한, 표 8에서, num_tile_row_minus1 +1은 픽처를 파티셔닝(partitioning)하는 타일 열(column)의 개수를 특정하며, num_tile_rows_minus1 의 값은 인코딩 장치로부터 시그널링 될 수 있다.

따라서, 슬라이스 내에 복수의 타일과 복수의 서브스트림이 존재하는 경우에, 엔트리 포인트 정보가 비트스트림에 존재한다고 추정되도록 할 수도 있다.

표 11는 슬라이스 헤더에서 엔트리 포인트 정보를 전송하는 신택스의 다른 예를 나타낸 것이다.

앞선 실시예에서는 슬라이스 헤더에서 엔트리 포인트 정보의 존부에 관한 entry_point_location_flag를 전송하여 entry_point_location_flag의 값이 1이면 엔트리 포인트 정보가 비트스트림에 존재하는 것을 지시하였다.

표 9에서는 타일의 행(row) 개수가 1보다 크거나 타일의 열(column) 개수가 1보다 크고 서브스트림의 개수도 1보다 큰 경우에는 엔트리 포인트 정보가 비트스트림에 존재하는 것으로 본다. 이 경우, 표 10과 같이 엔트리 포인트 정보가 전송될 수 있다.

표 12는 표 11에서 엔트피 포인트 정보가 비트스트림에 존재하는 경우에 전송되는 신택스의 일 예를 나타낸다.

*표 12에서 num_of_entry_points_minus1은 슬라이스 내에 있는 비트스트림상의 엔트리 포인트 개수를 지시한다. 엔트리 포인트 오프셋의 개수는 엔트리 포인트보다 1 적으므로, num_of_entry_points_minus1은 슬라이스 헤더 내 entry_point_offset[i] 신택스 엘리먼트의 개수를 특정할 수도 있다.

실시예 7

실시예 4와 같이 엔트리 포인트 오프셋의 길이 정보를 전송하는 경우에, 엔트리 포인트 타입을 조건부로 시그널링하는 방법을 생각할 수 있다.

예컨대, 슬라이스 내에 복수의 타일과 복수의 서브스트림이 존재하는 경우에, 타일과 서브스트림 중 어떤 것의 엔트리 포인트인지, 즉 엔트리 포인트의 타입이 무엇인지를 전송하도록 할 수 있다.

표 13은 슬라이스 헤더에서 엔트리 포인트에 관한 정보를 시그널링하는 신택스의 일 예를 나타낸 것이다.

표 13에서 entry_point_location_flag는 비트스트림에 엔트리 포인트 정보가 존재하는지를 지시한다. 예컨대, 비트스트림 내에 엔트리 포인트 정보(예컨대, 엔트리 포인트 위치 정보)가 존재하면 entry_point_location_flag의 값은 1이 되며, 비트스트림 내에 엔트리 포인트 정보가 존재하지 않으면 entry_point_location_flag의 값은 0이 된다.

표 14는 표 13에 따른 엔트리 포인트 위치 정보(entry point location information)에 관한 신택스의 일 예를 나타낸 것이다.

entry_point_offset_length_minus2 는 엔트리 포인트 오프셋에 관한 정보(entry_point_offset 신택스 엘리먼트)을 시그널링하는데 이용되는 비트 수를 특정한다. 즉, entry_point_offset_length_minus2는 entry_point_offset[i] 신택스 엘리먼트의 길이를 비트 혹은 바이트 단위로 나타낼 수 있다.

타일의 행(row) 개수가 1보다 크거나 타일의 열(column) 개수가 1보다 크고 서브스트림의 개수도 1보다 큰 경우, 즉 복수의 타일과 복수의 서브스트림이 존재하는 경우에 엔트리 포인트 타입을 지시하는 정보 entry_point_type[i]를 시그널링한다.

따라서, 타일은 복수 개가 아니나 서브스트림은 복수 개인 경우에는 WPP 서브스트림의 엔트리 포인트임을 지시하고, 그렇지 않은 경우에는 타일과 WPP 엔트리 포인트 모두에 대한 엔트리 포인트임을 지시한다.

entry_point_offset[i]의 길이를 xx라고 할 때, xx는 수식 4처럼 정의될 수 있다.

<수식 4>

실시예 8

실시예 5와 같이 엔트리 포인트 오프셋의 길이 정보를 전송하는 경우에, 엔트리 포인트 타입을 조건부로 시그널링하는 방법을 생각할 수 있다.

표 15는 슬라이스 헤더에서 엔트리 포인트에 관한 정보를 시그널링하는 신택스의 일 예를 나타낸 것이다.

*표 15에서 entry_point_location_flag는 비트스트림에 엔트리 포인트 정보가 존재하는지를 지시한다. 예컨대, 비트스트림 내에 엔트리 포인트 정보(예컨대, 엔트리 포인트 위치 정보)가 존재하면 entry_point_location_flag의 값은 1이 되며, 비트스트림 내에 엔트리 포인트 정보가 존재하지 않으면 entry_point_location_flag의 값은 0이 된다.

표 16은 표 15에 따른 엔트리 포인트 위치 정보(entry point location information)에 관한 신택스의 일 예를 나타낸 것이다.

entry_point_offset_length_minus1 은 엔트리 포인트 오프셋에 관한 정보(entry_point_offset 신택스 엘리먼트)을 시그널링하는데 이용되는 비트 수를 특정한다. 즉, entry_point_offset_length_minus1은 entry_point_offset[i] 신택스 엘리먼트의 길이를 비트 혹은 바이트 단위로 나타낼 수 있다.

<수식 4>

xx = (num_substreams_minus1 > 0) ? entry_point_offset_length_minus2 + 4 : entry_point_offset_length_minus2 + 1

수식 4에서 서브스트림의 개수가 1보다 큰 경우는 WPP가 적용되는 경우일 수 있으며, 서브스트림의 개수가 1 이하인 경우는 타일을 사용하는 경우일 수 있다.

실시예 9

실시예 4와 같이 엔트리 포인트 오프셋의 길이 정보를 전송하는 경우에, 엔트리 포인트 타입을 시그널링 하지 않고 추정하는 방법을 생각할 수 있다.

예컨대, 엔트리 포인트의 타입(즉, 엔트리 포인트가 타일에 대한 것인지 혹은 WPP 서브스트림에 대한 것인지)은 다음과 같이 추정(infer)될 수 있다.

표 17은 슬라이스 헤더에서 엔트리 포인트에 관한 정보를 시그널링하는 신택스의 일 예를 나타낸 것이다.

표 18은 표 17에 따른 엔트리 포인트 위치 정보(entry point location information)에 관한 신택스의 일 예를 나타낸 것이다.

entry_point_offset_length_minus2 는 엔트리 포인트 오프셋에 관한 정보(entry_point_offset 신택스 엘리먼트)을 시그널링하는데 이용되는 비트 수를 특정한다. 즉, entry_point_offset_length_minus1는 entry_point_offset[i] 신택스 엘리먼트의 길이를 비트 혹은 바이트 단위로 나타낼 수 있다.

표 18에서는 엔트리 포인트 타입을 직접 시그널링하지 않는다. 대신, 실시예 9에서는, 앞서 설명한 바와 같이 tile_info_present_flag의 값과 num_substream_minus1의 값을 기반으로 엔트리 포인트 타입을 추정한다.

실시예 10

실시예 5와 같이 엔트리 포인트 오프셋의 길이 정보를 전송하는 경우에, 엔트리 포인트 타입을 시그널링 하지 않고 추정하는 방법을 생각할 수 있다.

(1)tile_info_present_flag의 값이 1이고 num_substream_minus1의 값이 0이면(if tile_info_present_flag==1 ＆＆ num_substream_minus1==0), 모든 엔트리 포인트들은 타일의 엔트리 포인트다. 즉, 타일 정보가 존재하고, 서브스트림의 개수가 하나인 경우에 엔트리 포인트들은 타일의 엔트리 포인트로 추정될 수 있다.

표 19는 슬라이스 헤더에서 엔트리 포인트에 관한 정보를 시그널링하는 신택스의 일 예를 나타낸 것이다.

표 19에서 entry_point_location_flag는 비트스트림에 엔트리 포인트 정보가 존재하는지를 지시한다. 예컨대, 비트스트림 내에 엔트리 포인트 정보(예컨대, 엔트리 포인트 위치 정보)가 존재하면 entry_point_location_flag의 값은 1이 되며, 비트스트림 내에 엔트리 포인트 정보가 존재하지 않으면 entry_point_location_flag의 값은 0이 된다.

표 20은 표 19에 따른 엔트리 포인트 위치 정보(entry point location information)에 관한 신택스의 일 예를 나타낸 것이다.

표 20에서는 엔트리 포인트 타입을 직접 시그널링하지 않는다. 대신, 실시예 10에서는, 앞서 설명한 바와 같이 tile_info_present_flag의 값과 num_substream_minus1의 값을 기반으로 엔트리 포인트 타입을 추정한다.

실시예 11

실시예 11에서는 앞선 10개의 실시예들에 아래 (1) ~ (4)와 같은 변형 또는 특징들 중 적어도 하나를 부가한 방법을 설명한다.

(1) 디코딩의 병렬 처리를 위해 타일이나 WPP를 적용하는 경우에는, 엔트리 포인트 정보를 전송하게 된다. 따라서, 앞선 실시예들에서 설명한 바와 같이 엔트리 포인트 정보의 존부를 지시하는 entry_point_location_flag는 필요하지 않을 수도 있다.

(2) 타일과 WPP가 이용되지 않는 경우를 고려하여, 엔트리 포인트의 개수를 특정하는 정보도 0의 값을 지시할 수 있도록 num_of_entry_points_minus1 대신 num_of_entry_points의 값으로 전송할 수 있다. 즉, 전체 엔트리 포인트 개수에서 1을 뺀 값을 전송하는 것이 아니라, 전체 엔트리 포인트 개수의 값을 전송할 수 있다.

(3) WPP와 타일이 함께 이용될 수 없도록 할 수도 있다. 이 경우에, WPP가 이용되면 타일이 이용되지 않으며, 타일이 이용되면 WPP가 이용되지 않는다.

(4) 엔트리 포인트 오프셋은 바이트 0의 NALU 데이터로부터 산출되도록 할 수 있다. 바이트 0은 슬라이스 시그먼트 데이터의 첫 번째 바이트일 수 있다.

(1)의 특징을 부가한 경우에, 앞선 10개의 실시예와 달리, 실시예 11에서는 슬라이스 헤더에서 엔트리 포인트 정보의 존부를 지시하는 entry_point_location_flag를 전송하지 않고, 필요한 엔트리 포인트 정보를 바로 시그널링할 수 있다.

표 21은 실시예 11에 따라서 WPP 서브스트림 또는 타일에 관한 엔트리 포인트 정보를 시그널링하는 슬라이스 헤더 신택스의 일 예를 나타낸 것이다.

entry_point_offset_length_minus1 은 엔트리 포인트 오프셋에 관한 정보(entry_point_offset 신택스 엘리먼트)을 시그널링하는데 이용되는 비트 수를 특정한다. 즉, entry_point_offset_length_minus1은 entry_point_offset[i] 신택스 엘리먼트의 길이를 비트 혹은 바이트 단위로 나타낼 수 있다. 여기서는 entry_point_offset_length_minus1가 시그널링 되는 것으로 설명하였으나, entry_point_offset_length_minus1 대신 entry_point_offset_length_minus2가 시그널링되도록 할 수도 있다.

entry_point_offset[i]는 두 엔트리 포인트 사이의 비트 수 또는 바이트 수를 특정한다. i값이 0이면, entry_point_offset[0]은 NAL 유닛 데이터의 시작(즉, 바이트 0)과 슬라이스 내 첫 번째 엔트리 포인트(즉, entry_point_offset[0] - 1) 사이의 바이트 수를 특정한다. i값이 0이 아닌 경우, entry_point_offset[i]는 i-1번째 엔트리 포인트(entry point i-1)와 i 번째 엔트리 포인트(entry point i) 사이의 비트 수 또는 바이트 수를 특정한다.

entry_point_offset[i]의 길이는 entry_point_offset_length_minus1 + 1 비트 혹은 entry_point_offset_length_minus2 + 2 비트가 될 수 있다.

도 12는 WPP 서브스트림에 대한 엔트리 포인트의 일 예를 개략적으로 설명하는 도면이다.

도 12의 예에서 픽처의 소정 영역(1210)은 4 개의 서브스트림, 즉 서브스트림 A, 서브스트림 B, 서브스트림 C, 서브스트림 D를 포함한다. 각 서브스트림은 LCU들의 열(array)라고 할 수 있다.

이때, 각 서브스트림의 시작점은 엔트리 포인트로서 지시될 수 있다. 예컨대, 서브스트림 A에 대한 엔트리 포인트는 비트스트림의 개시점(혹은 슬라이스 헤더의 종료점)으로부터 특정될 수 있다고 할 때, 서브스트림 B에 대한 엔트리 포인트는 엔트리 포인트 0(1220)이고, 서브스트림 C에 대한 엔트리 포인트는 엔트리 포인트 1(1230)이며, 서브스트림 D에 대한 엔트리 포인트는 엔트리 포인트2(1240)가 된다.

이 경우, 1번째 엔트리 포인트인 엔트리 포인트 0(1220)은 슬라이스 헤더의 종료점과 1번째 엔트리 포인트 사이의 바이트 수(혹은 비트 수)를 나타내는 엔트리 포인트 오프셋(예컨대, entry_point_offset[0])을 슬라이스 헤더의 종료점에 더한 값일 수 있다. 마찬가지로, 1 번째 엔트리 포인트인 엔트리 포인트 1(1220)과 2번째 엔트리 포인트인 엔트리 포인트 2(1230) 사이의 바이트 수(혹은 비트 수)도 엔트리 포인트 오프셋(예컨대, entry_point_offset[1])에 의해 지시될 수 있다.

도 12의 예에서 픽처 내 소정의 영역(1210)은 현재 픽처의 일부 영역일 수도 있고, 현재 픽처의 슬라이스일 수도 있으며, 현재 픽처의 전체 영역일 수도 있다.

도 13은 타일에 대한 엔트리 포인트의 일 예를 개략적으로 설명하는 도면이다.

도 13의 예에서 픽처의 소정 영역(310)은 4 개의 타일 즉, 타일 1(Tile 1), 타일 2(Tile 2), 타일 3(Tile 3), 타일 4(Tile 4)을 포함한다.

이때, 각 타일의 시작점은 엔트리 포인트로서 지시될 수 있다. 예컨대, 타일 1 에 대한 엔트리 포인트는 비트스트림의 개시점(혹은 슬라이스 헤더의 종료점)으로부터 특정될 수 있다고 할 때, 타일 2에 대한 엔트리 포인트는 엔트리 포인트 0(1320)이고, 타일 3에 대한 엔트리 포인트는 엔트리 포인트 1(1330)이며, 타일 4에 대한 엔트리 포인트는 엔트리 포인트2(1340)가 된다.

이 경우, 1번째 엔트리 포인트인 엔트리 포인트 0(1320)은 슬라이스 헤더의 종료점과 1번째 엔트리 포인트 사이의 바이트 수(혹은 비트 수)를 나타내는 엔트리 포인트 오프셋(예컨대, entry_point_offset[0])을 슬라이스 헤더의 종료점에 더한 값일 수 있다. 마찬가지로, 1 번째 엔트리 포인트인 엔트리 포인트 1(1320)과 2번째 엔트리 포인트인 엔트리 포인트 2(1330) 사이의 바이트 수(혹은 비트 수)도 엔트리 포인트 오프셋(예컨대, entry_point_offset[1])에 의해 지시될 수 있다.

도 13의 예에서 픽처 내 소정의 영역(1310)은 현재 픽처의 일부 영역일 수도 있고, 현재 픽처의 슬라이스일 수도 있으며, 현재 픽처의 전체 영역일 수도 있다.

도 14는 타일과 WPP 서브스트림이 함께 적용되는 경우에 대한 엔트리 포인트의 일 예를 개략적으로 설명하는 도면이다.

도 14의 예에서 픽처의 소정 영역(1410)은 4 개의 타일, 즉 타일 1(1410), 타일 2(1420), 타일 3(1430), 타일 4(1440)을 포함한다.

또한, 각 타일은 두 개의 서브스트림을 포함한다. 예컨대, 타일 1(1410)은 서브스트림 A와 서브스트림 B를 포함한다. 타일 2(1420)은 서브스트림 C와 서브스트림 D를 포함한다. 타일 3(1430)은 서브스트림 E와 서브스트림 F를 포함한다. 타일 4(1440)은 서브스트림 G와 서브스트림 H를 포함한다.

이때, 각 타일의 시작점 및/또는 서브스트림의 시작점은 엔트리 포인트로서 지시될 수 있다. 예컨대, 타일 1(1410)에 대한 엔트리 포인트는 비트스트림의 개시점(혹은 슬라이스 헤더의 종료점)으로부터 특정될 수 있고 서브스트림 A에 대한 엔트리 포인트 역시 비트스트림의 개시점(혹은 슬라이스 헤더의 종료점)으로부터 특정될 수 있다. 타일 1(1410) 내 두 번째 서브스트림인 서브스트림 B에 대한 엔트리 포인트는 엔트리 포인트 0(1450)이 된다.

타일 2(1420) 및 서브스트림 C에 대한 엔트리 포인트는 엔트리 포인트 1(1455)이 된다. 타일 2(1420) 내 서브스트림 D에 대한 엔트리 포인트는 엔트리 포인트 2(1260)가 된다.

타일 3(1430) 및 서브스트림 E에 대한 엔트리 포인트는 엔트리 포인트 3(1465)이며, 타일 3(1430) 내 서브스트림 F에 대한 엔트리 포인트는 엔트리 포인트 4(1470)가 된다.

타일 4(1440) 및 서브스트림 G에 대한 엔트리 포인트는 엔트리 포인트 5(1475)이며, 타일 4(1440) 내 서브스트림 H에 대한 엔트리 포인트는 엔트리 포인트 6(1480)이 된다.

이 경우, 1번째 엔트리 포인트인 엔트리 포인트 0(1450)은 슬라이스 헤더의 종료점과 1번째 엔트리 포인트 사이의 바이트 수(혹은 비트 수)를 나타내는 엔트리 포인트 오프셋(예컨대, entry_point_offset[0])을 슬라이스 헤더의 종료점에 더한 값일 수 있다.

2번째 엔트리 포인트인 엔트리 포인트 1(1455)는 1 번째 엔트리 포인트인 엔트리 포인트 0(1450)에 엔트리 포인트 오프셋(예컨대, entry_point_offset[1])을 더한 값으로 지시될 수 있다. 3번째 엔트리 포인트인 엔트리 포인트 2(1460)는 2번째 엔트리 포인트인 엔트리 포인트 1(1455)에 엔트리 포인트 오프셋(예컨대, entry_point_offset[2])을 더한 값으로 지시될 수 있다. 4번째 엔트리 포인트인 엔트리 포인트 3(1465)는 3 번째 엔트리 포인트인 엔트리 포인트 2(1460)에 엔트리 포인트 오프셋(예컨대, entry_point_offset[3])을 더한 값으로 지시될 수 있다. 5번째 엔트리 포인트인 엔트리 포인트 4(1470)는 4 번째 엔트리 포인트인 엔트리 포인트 3(1465)에 엔트리 포인트 오프셋(예컨대, entry_point_offset[4])을 더한 값으로 지시될 수 있다. 6번째 엔트리 포인트인 엔트리 포인트 5(1475)는 5번째 엔트리 포인트인 엔트리 포인트 4(1470)에 엔트리 포인트 오프셋(예컨대, entry_point_offset[5])을 더한 값으로 지시될 수 있다. 7번째 엔트리 포인트인 엔트리 포인트 6(1480)는 6 번째 엔트리 포인트인 엔트리 포인트 5(1475)에 엔트리 포인트 오프셋(예컨대, entry_point_offset[6])을 더한 값으로 지시될 수 있다.

도 15는 본 발명에 따른 인코딩 방법의 일 예를 개략적으로 설명하는 순서도이다.

도 15를 참조하면, 인코딩 장치는 입력된 영상 신호를 변환할 수 있다(S1510). 인코딩 장치는 입력된 픽처를 인코딩 단위로 분할하고, 분할된 인코딩 단위 또는 더 분할된 단위를 기반으로 예측을 수행할 수 있다. 인코딩 장치는 예측 결과와 원본 신호의 차이값인 레지듀얼을 생성한다. 인코딩 장치는 레지듀얼을 변환하고 양자화한다. 변환 방법으로서 DCT 및/또는 DST가 사용될 수 있다.

예측 방법, 변환 방법 및 양자화 방법은 도 1에서 설명한 바와 같다.

인코딩 장치는 S1510에서 출력된 변환 신호를 엔트로피 인코딩할 수 있다(S1520). 엔트로피 인코딩 방법으로서 CABAC, VLC, 지수 골롬(Exponential Golomb) 등이 이용될 수 있다.

인코딩 장치는 엔트로피 인코딩된 영상 정보 및 디코딩에 필요한 정보를 비트스트림으로 시그널링한다(S1530). 디코딩에 병렬 처리가 적용되는 경우에, 시그널링되는 정보는 슬라이스 헤더에서 병렬 처리에 필요한 정보, 예컨대 엔트리 포인트에 관한 정보를 포함할 수 있다.

엔트리 포인트에 관한 정보는, 상술한 바와 같이, 엔트리 포인트 오프셋 정보, 엔트리 포인트의 개수에 관한 정보, 엔트리 포인트 오프셋의 길이에 관한 정보를 포함한다.

예컨대, 슬라이스 헤더에서 전송되는 엔트리 포인트 오프셋 정보entry_point_offset[i]는 i번째 엔트리 포인트 오프셋을 바이트(bytes) 단위로 특정한다. entry_point_offset[i]는 엔트리 포인트 오프셋의 길이를 지시하는 정보에 의해 표현될 수 있다. 예컨대, 엔트리 포인트 오프셋의 길이를 지시하는 정보가 entry_point_offset_length_minus1이라면, 엔트리 포인트 오프셋은 entry_point_offset_length_minus1에 1비트를 더한 값으로 표현될 수 있다.

슬라이스 헤더에 뒤따르는 슬라이스 시그먼트 데이터는 엔트리 포인트의 개수를 지시하는 정보에 의해 특정되는 개수만큼의 서브셋(subset)으로 구성되며, 서브셋 단위로 병렬 디코딩이 수행될 수 있다. 엔트리 포인트의 개수는 이웃하는 엔트리 포인트 간의 오프셋을 지시하는 엔트리 포인트 오프셋의 개수보다 하나 더 많으므로, 슬라이스 헤더에서 전송되는 엔트리 포인트 오프셋 정보의 개수에 의해 슬라이스 내 엔트리 포인트의 개수가 특정될 수 있다. 예컨대, 엔트리 포인트 오프셋의 개수가 N이라고 시그널링되면, 서브셋은 N+1개가 존재하게 된다.

설명한 바와 같이, 슬라이스 내 i번째 엔트리 포인트는 i-1번째 엔트리 포인트에 i번째 엔트리 포인트 오프셋을 더한 값이 된다.

혹은 i번째 엔트리 포인트 오프셋을 이용하여 슬라이스 시그먼트 데이터를 구성하는 서브셋 중 i번째 서브셋의 구간을 특정할 수도 있다. 예컨대, 0번째 서브셋은 슬라이스 시그먼트 데이터의 첫 번째 바이트(바이트 0)부터 0번째 엔트리 포인트 오프셋-1까지의 구간을 가질 수 있다. i(i는 0이 아닌 정수)번째 서브셋의 구간 중 첫 번째 바이트는 이전 서브셋들의 합(이전 엔트리 포인트 오프셋들의 합)이 되며, 마지막 바이트는 첫 번째 바이트에 i번째 엔트리 포인트 오프셋을 더한 값에서 1 비트를 뺀 값이 된다.

상술한 바와 같이, 엔트리 포인트 오프셋의 개수에 관한 정보는 슬라이스 헤더 내 entry_point_offset[i] 신택스 엘리먼트의 개수를 특정할 수 있다. 예컨대, WPP가 적용되는 경우에 엔트리 포인트 오프셋의 개수는 0부터 픽처 내 CTB(Coding Tree Block)들의 행 개수 범위 내의 값을 가질 수 있다. 타일이 적용되는 경우에 엔트리 포인트 오프셋의 개수는 0부터 타일 개수-1 범위 내의 값을 가질 수 있다. 타일과 WPP가 함께 적용되는 경우에, 엔트리 포인트 오프셋의 개수는 0부터 타일 열의 개수*CTB 행의 개수 -1 범위의 값을 가질 수 있다.

설명한 바와 같이, 엔트리 포인트 오프셋 신택스 엘리먼트의 개수에 관한 정보는 슬라이스 헤더 내 entry_point_offset[i] 신택스 엘리먼트의 개수를 특정한다. 예컨대, 엔트리 포인트 오프셋의 개수는 엔트리 포인트의 개수보다 1 적으므로, 엔트리 포인트 오프셋 신택스 엘리먼트의 개수에 관한 정보가 num_of_entry_point_munus1으로 전송될 수 있다. 또한, 엔트리 포인트 오프셋의 개수를 num_of_entry_point_offset으로 바로 전송할 수도 있다.

엔트리 포인트 오프셋의 길이에 관한 정보는 entry_point_offset[i] 신택스 엘리먼트의 길이를 비트 단위로 특정할 수 있다. 예컨대, 엔트리 포인트 오프셋 신택스 엘리먼트의 길이에 관한 정보가 entry_point_offset_length_minus1로 전송되면, 엔트리 포인트 오프셋 신택스 엘리먼트의 길이는 entry_point_offset_length_minus1+1 비트가 된다. 또한, 엔트리 포인트 오프셋 신택스 엘리먼트의 길이에 관한 정보가 entry_point_offset_length_minus2로 전송되면, 엔트리 포인트 오프셋 신택스 엘리먼트의 길이는 entry_point_offset_length_minus2+2 비트가 된다. 물론, 엔트리 포인트 오프셋 신택스 엘리먼트의 길이를 entry_point_offset_length의 신택스 엘리먼트로 전송할 수도 있으며, 이 경우엔 엔트리 포인트 오프셋 신택스 엘리먼트의 길이는 entry_point_offset_length 비트가 된다.

도 16은 본 발명에 따른 인코딩 장치의 일 예를 개략적으로 설명하는 도면이다.

도 16을 참조하면, 인코딩 장치(1600)는 신호 변환부(1610), 엔트로피 인코딩부(1620), 시그널링부(1630)를 포함한다.

신호 변환부(1610)는 입력된 픽처(비디오)를 인코딩 단위로 분할하고, 분할된 인코딩 단위 또는 더 분할된 단위를 기반으로 예측을 수행할 수 있다. 신호 변환부(1610)는 예측 결과와 원본 신호의 차이값인 레지듀얼을 생성한다. 신호 변환부(1610)는 레지듀얼을 변환하고 양자화한다. 변환 방법으로서 DCT 및/또는 DST가 사용될 수 있다.

신호 변환부(1610)는 도 1의 예에서 설명한 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125) 등을 포함할 수 있으며, 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125)에서 수행되는 절차를 수행할 수 있다.

엔트로피 인코딩부(1620)는 신호 변환부(1610)에서 출력된 신호를 엔트로피 인코딩할 수 있다.

엔트로피 인코딩부(1620)는 도 1의 예에서 설명한 엔트로피 인코딩부(130)에 대응할 수 있으며, 엔트로피 인코딩부(130)의 동작을 수행할 수 있다.

시그널링부(1630)는 인코딩된 영상 정보 및 디코딩에 필요한 정보를 비트스트림으로 시그널링한다. 병렬적 디코딩이 적용되는 경우라면, 시그널링되는 정보는 슬라이스 헤더에서 병렬 처리에 필요한 정보, 예컨대 엔트리 포인트에 관한 정보를 포함할 수 있다.

설명한 바와 같이, 슬라이스 내 i번째 엔트리 포인트는 i-1번째 엔트리 포인트에 i번째 엔트리 포인트 오프셋을 더한 값이 된다. 따라서, 엔트리 포인트의 개수에 관한 정보는 슬라이스 헤더 내에서 전송되는 엔트리 포인트 오프셋 정보의 개수를 지시하는 정보일 수 있다.

도 17은 본 발명에 따른 디코딩 방법의 일 예를 개략적으로 나타낸 것이다.

도 17을 참조하면, 디코딩 장치는 인코딩 장치로부터 영상 정보에 관한 시그널링을 수신한다(S1710). 영상 정보는 엔트로피 인코딩된 비트스트림으로 시그널링된 것일 수 있다.

디코딩 장치는 수신한 비트스트림을 엔트로피 디코딩할 수 있다(S1720). 디코딩 장치는 비트스트림으로 전송된 데이터 비트들을 입력받아서 신택스 엘리먼트 값들을 출력할 수 있다. 신택스 엘리먼트는 비트스트림에서 나타낸 데이터의 엘리먼트(An element of data represented in the bitstream)를 의미한다.

디코딩이 병렬적으로 진행되는 경우에, 데이터들은 바이트 정렬될 수 있다. 이때, 바이트 정렬(byte-aligned)된다는 것은 비트스트림 내에서 나타나는 위치가 바이트 단위라는 것을 의미한다. 예컨대, 비트스트림 내의 위치(position)가 비트스트림의 첫 번째 비트로부터 8 비트의 정수배인 경우에, 해당 위치가 바이트 정렬되었다고 할 수 있다.

서브스트림의 바이트 정렬에 대해서는 앞서 설명한 바 있다.

엔트로피 디코딩 방법으로 CABAC이 적용되는 경우에, 디코딩 장치는 초기화(initialization) 과정, 이진화(binarization) 과정, 디코딩 과정(decoding process)을 차례로 수행할 수 있다.

디코딩 장치는 슬라이스 시그먼트 데이터에 대한 파싱, 타일의 첫 번째 CTU(LCU)에 대한 파싱, CTU(LCU들의 행(row)의 첫 번째 CTU(LCU)에 대한 파싱 중 적어도 하나를 시작하는 경우에 초기화를 수행할 수 있다.

디코딩 장치는 초기화에 의해 CABAC을 수행하기 위한 변수들의 초기값을 생성할 수 있다.

이진화(binarization)는 신택스 엘리먼트의 가능한 값들에 대한 빈 스트링(bin string)의 집합이다. 이진화 과정은 신택스 엘리먼트의 가능한 값들을 빈 스트링의 집합에 매핑시키는 고유의 매핑 과정(unique mappimg process)이다.

디코딩 장치는 이진화에 의해 신택스 엘리먼트의 값을 빈 스트링, 즉 이진 시퀀스 또는 이진 코드로 매핑시켜 출력할 수 있다. 디코딩 장치는 이진화를 위해 신택스 엘리먼트와 빈 스트링을 매핑시키는 소정의 테이블을 이용할 수도 있다.

디코딩 장치는 CABAC의 디코딩 과정을 통해서 신택스 엘리먼트의 값을 결정할 수 있다. 디코딩 장치는 빈 스트링의 각 빈에 대하여 빈 인덱스를 결정하고, 빈 인덱스를 기반으로 콘텍스트 인덱스를 결정할 수 있다. 디코딩 장치는 콘텍스트 인덱스를 이용하여 복호화 대상 빈 스트링에 대한 확률 변수 값들을 결정하여 신택스 엘리먼트 값을 출력할 수 있다. 디코딩 장치는 빈 인덱스를 기반으로 콘텍스트 인덱스를 결정하는 과정에서 소정의 테이블을 이용할 수 있으며, 복호화 대상 픽처(슬라이스)의 타입(I 슬라이스, B 슬라이스, P 슬라이스)를 고려할 수도 있다.

상술한 CTU(LCU)들의 행은 WPP 서브스트림일 수 있다. WPP가 적용되는 경우에는, n번째 서브스트림(n 번째 코딩 트리 유닛(최대 코딩 유닛) 행)의 2 번째 코딩 트리 유닛(최대 코딩 유닛) 행(row)에 대한 엔트로피 디코딩이 완료되면, 관련된 콘텍스트 정보가 저장될 수 있다. n+1번째 서브스트림의 1 번째 코딩 트리 유닛(최대 코딩 유닛)은, n번째 서브스트림의 2번째 코딩 트리 유닛(최대 코딩 유닛)에 대한 콘텍스트 정보를 기반으로 초기화를 수행할 수 있다.

디코딩 장치는 신택스 엘리먼트 값들을 기반으로 픽처를 복원할 수 있다(S1730). 상술한 바와 같이, 신택스 엘리먼트 값들은 인코딩 장치로부터 시그널링되러 엔트로피 디코딩 과정을 통해 획득될 수 있다.

디코딩이 병렬적으로 진행되는 경우에는 타일 구조 또는 WPP가 적용될 있다. 이 경우에 신택스 엘리먼트들은 타일에 대한 엔트리 포인트를 지시하는 정보 또는 WPP 서브스트림의 엔트리 포인트를 지시하는 정보를 포함할 수 있다.

엔트리 포인트를 지시하는 신택스 엘리먼트들, 예컨대, 엔트리 포인트의 개수를 지시하는 신택스 엘리먼트, 엔트리 포인트 오프셋을 지시하는 신택스 엘리먼트, 엔트리 포인트 오프셋에 관한 신택스 엘리먼트의 길이를 지시하는 신택스 엘리먼트, 엔트리 포인트 타입을 지시하는 신택스 엘리먼트, 엔트리 포인트 정보의 존부를 지시하는 신택스 엘리먼트 등에 관한 구체적인 내용은 앞서 설명한 바와 같다.

이때, 인코딩 장치로부터 전송되는 엔트리 포인트에 관한 신택스 엘리먼트들은 앞서 실시예들에서와 같이, 상술한 신택스 엘리먼트들의 전부 또는 일부일 수 있다.

한편, 도 17의 예에서는 발명의 이해를 돕기 위해 엔트로피 디코딩 단계(S1720) 및 복원 단계(S1730)로 나누어 설명하였으나, 엔트로피 디코딩 단계(S1720)와 복원 단계(S1730)를 하나의 디코딩 단계라고 할 수도 있다.

도 18은 본 발명에 따른 디코딩 장치의 일 예를 개략적으로 나타낸 도면이다.

도 18을 참조하면, 디코딩 장치(1800)는 시그널링 수신부(1810), 엔트로피 디코딩부(1820), 복원부(1830)를 포함한다.

시그널링 수신부(1810)는 인코딩 장치로부터 영상 정보에 관한 시그널링을 수신한다. 영상 정보는 엔트로피 인코딩된 비트스트림으로 시그널링된 것일 수 있다.

엔트로피 디코딩부(1820)는 수신한 비트스트림을 엔트로피 디코딩할 수 있다. 디코딩 장치는 비트스트림으로 전송된 데이터 비트들을 입력받아서 신택스 엘리먼트 값들을 출력할 수 있다. 엔트로피 디코딩의 내용은 도 17에서 설명한 바와 같다.

엔트로피 디코딩부(1820)는 도 2의 예에서 설명한 엔트로피 디코딩부(210)에 대응한다.

복원부(1830)는 엔트로피 디코딩부(1820)에서 출력한 신택스 엘리먼트 값들을 기반으로 픽처를 복원할 수 있다. 복원부(1830)는 도 2의 예에서 설명한 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있으며, 도 2의 예에서 설명한 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)의 동작을 수행할 수 있다.

도 18의 예에서는 본 발명의 이해를 돕기 위해, 엔트로피 디코딩부(1820) 및 복원부(1830)으로 나누어 설명하였으나, 엔트로피 디코딩부(1820)와 복원부(1830)를 하나의 디코딩부로 구성할 수도 있다.

상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

100: 인코딩 장치
200: 디코딩 장치

Claims

인코딩 장치에 의한 비디오 인코딩 방법으로,
픽처의 적어도 하나의 서브스트림을 디코딩하기 위한 엔트리 포인트를 나타내는 엔트리 포인트 정보를 도출하는 단계;
비트스트림을 생성하기 위하여 상기 엔트리 포인트 정보를 인코딩하는 단계; 및
생성된 상기 비트스트림을 출력하는 단계를 포함하며,
상기 엔트리 포인트 정보는 슬라이스 헤더 내의 오프셋 신택스 요소(syntax element)들의 개수를 나타내는 개수 신택스 요소를 포함하고,
상기 오프셋 신택스 요소들의 개수가 0보다 큰 경우, 상기 엔트리 포인트 정보는 서브스트림의 엔트리 포인트를 나타내는 오프셋 신택스 요소를 포함하고,
상기 오프셋 신택스 요소는 두 엔트리 포인트 사이의 바이트 수를 나타내고,
상기 오프셋 신택스 요소들의 개수가 0보다 큰 경우, 상기 엔트리 포인트 정보는 상기 오프셋 신택스 요소의 비트들 길이(bits length)를 나타내는 길이 신택스 요소를 포함하고,
상기 길이 신택스 요소의 값 더하기 1은 상기 오프셋 신택스 요소의 비트들 길이에 대응하고,
상기 개수 신택스 요소의 값 더하기 1은 상기 슬라이스 헤더 내의 상기 오프셋 신택스 요소들의 개수에 대응하는 것을 특징으로 하는 비디오 인코딩 방법.
제1항에 있어서,
상기 오프셋 신택스 요소들의 개수는 둘 이상의 타일들이 상기 픽처 내에 존재하는지 여부 및 상기 픽처 내 코딩 트리 유닛들의 행들이 병렬적으로 인코딩되는지 여부를 기반으로 결정되는 것을 특징으로 하는 비디오 인코딩 방법.
제2항에 있어서,
둘 이상의 타일들이 상기 픽처 내에 존재하지 않고 상기 픽처 내 코딩 트리 유닛들의 행들이 병렬적으로 인코딩되는 경우, 상기 개수 신택스 요소의 최대값은 상기 픽처 내의 코딩 트리 유닛들의 행들의 개수 빼기 1인 값으로 결정되는 것을 특징으로 하는 비디오 인코딩 방법.
제2항에 있어서,
둘 이상의 타일들이 상기 픽처 내에 존재하고 상기 픽처 내 코딩 트리 유닛들의 행들이 병렬적으로 인코딩되는 경우, 상기 개수 신택스 요소의 최대값은 상기 픽처 내의 코딩 트리 유닛들의 행들의 개수와 상기 픽처 내의 상기 타일들의 개수의 곱한 값에서 1을 뺀 값으로 결정되는 것을 특징으로 하는 비디오 인코딩 방법.
디코딩 장치의 의하여 수행되는 비디오 디코딩 방법으로,
비트스트림으로부터 픽처에 대한 서브스트림의 엔트리 포인트를 나타내는 엔트리 포인트 정보를 도출하는 단계; 및
상기 엔트리 포인트 정보를 기반으로 상기 서브스트림을 디코딩 하는 단계를 포함하며,
상기 엔트리 포인트 정보는 슬라이스 헤더 내의 오프셋 신택스 요소(syntax element)들의 개수를 나타내는 개수 신택스 요소를 포함하고,
상기 오프셋 신택스 요소들의 개수가 0보다 큰 경우, 상기 엔트리 포인트 정보는 서브스트림의 엔트리 포인트를 나타내는 오프셋 신택스 요소를 포함하고,
상기 오프셋 신택스 요소는 두 엔트리 포인트 사이의 바이트 수를 나타내고,
상기 오프셋 신택스 요소들의 개수가 0보다 큰 경우, 상기 엔트리 포인트 정보는 상기 오프셋 신택스 요소의 비트들 길이(bits length)를 나타내는 길이 신택스 요소를 포함하고,
상기 길이 신택스 요소의 값 더하기 1은 상기 오프셋 신택스 요소의 비트들 길이에 대응하고,
상기 개수 신택스 요소의 값 더하기 1은 상기 슬라이스 헤더 내의 상기 오프셋 신택스 요소들의 개수에 대응하는 것을 특징으로 하는 비디오 디코딩 방법.
제5항에 있어서,
상기 오프셋 신택스 요소들의 개수는 둘 이상의 타일들이 상기 픽처 내에 존재하는지 여부 및 상기 픽처 내 코딩 트리 유닛들의 행들이 병렬적으로 디코딩되는지 여부를 기반으로 결정되는 것을 특징으로 하는 비디오 디코딩 방법.
제6항에 있어서,
둘 이상의 타일들이 상기 픽처 내에 존재하지 않고 상기 픽처 내 코딩 트리 유닛들의 행들이 병렬적으로 디코딩되는 경우, 상기 개수 신택스 요소의 최대값은 상기 픽처 내의 코딩 트리 유닛들의 행들의 개수 빼기 1인 값으로 결정되는 것을 특징으로 하는 비디오 디코딩 방법.
제6항에 있어서,
둘 이상의 타일들이 상기 픽처 내에 존재하고 상기 픽처 내 코딩 트리 유닛들의 행들이 병렬적으로 디코딩되는 경우, 상기 개수 신택스 요소의 최대값은 상기 픽처 내의 코딩 트리 유닛들의 행들의 개수와 상기 픽처 내의 상기 타일들의 개수의 곱한 값에서 1을 뺀 값으로 결정되는 것을 특징으로 하는 비디오 디코딩 방법.
컴퓨터로 판독 가능한 디지털 저장 매체로서, 청구항 1항의 비디오 인코딩 방법에 의해 출력된 비트스트림이 저장된, 디지털 저장 매체.