KR102490112B1

KR102490112B1 - 비디오 데이터가 부호화된 비트스트림을 처리하는 방법

Info

Publication number: KR102490112B1
Application number: KR1020220089791A
Authority: KR
Inventors: 임정연; 손세훈; 이선영; 김정한; 김형덕; 신재섭; 이경택
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2017-02-22
Filing date: 2022-07-20
Publication date: 2023-01-18
Also published as: KR102453850B1; US11991372B2; US20230045606A1; KR20220106101A; US11985336B2; US20230047755A1; KR20220107128A; KR20220106732A; US20230040835A1; WO2018155939A1; US20230039998A1; US11985334B2; KR102489102B1; KR20220106099A; US11985335B2; KR102489899B1

Abstract

본 발명은 각각을 복수의 타일로 분할하여 부호화한 제1 비트스트림을 처리하는 비트스트림 처리 방법에 관한 것으로, 타일 분할 정보 및 영역 정보를 포함하는 상기 제1 비트스트림을 수신하는 단계, 상기 영역 정보는 두 개 이상의 타일들을 포함하는 영역을 허용하고, 상기 픽처들 내에서의 기준 위치를 수평 및 수직 방향에서 각각 정의하는 제1 신택스 요소들 및 상기 기준 위치로부터 연장되는 폭과 높이를 각각 나타내는 제2 신택스 요소들을 포함함; 상기 영역 정보를 이용하여 상기 제1 비트스트림으로부터 재구성된 제2 비트스트림을 생성하는 단계; 및 복호화를 위해 상기 제2 비트스트림을 출력하는 단계를 포함한다.

Description

비디오 데이터가 부호화된 비트스트림을 처리하는 방법{Method for Processing Bitstream Generated by Encoding Video Data}

본 발명은 영상을 효율적으로 복호화하기 위한 영상 복호화에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래 기술을 구성하는 것은 아니다.

동영상 데이터는 음성 데이터나 정지 영상 데이터 등에 비하여 데이터량이 많기 때문에, 압축을 위한 처리 없이 그 자체를 저장하거나 전송하기 위해서는 메모리를 포함하여 많은 하드웨어 자원을 필요로 한다. 따라서, 통상적으로 동영상 데이터를 저장하거나 전송할 때에는 부호화기를 사용하여 동영상 데이터를 압축하여 저장하거나 전송하며, 복호화기에서는 압축된 동영상 데이터를 수신하여 압축을 해제하고 재생한다. 이러한 동영상 압축 기술로는 H.264/AVC를 비롯하여, H.264/AVC 약 40% 정도의 부호화 효율을 향상시킨 2013년 초에 제정된 HEVC(High Efficiency Video Coding)가 존재한다.

최근 영상의 크기 및 해상도, 프레임율이 점차 증가하고 있고, 카메라에 의해 생성된 기존의 2D 자연 영상 이외에 게임이나 360도 영상(이하, '360 영상'이라 함) 등의 비디오 콘텐츠에 대한 수요도 갈수록 증가하고 있다. 이에 따라 복호화해야 하는 데이터량도 증가하여 복호화기의 복잡도가 점차 높아지게 되는 문제가 발생하게 된다.

특히, 360 영상의 경우, 사용자의 시점 변화 등에 따라 화면에 디스플레이되는 영상이 변해야 한다. 따라서, 차세대 비디오 코덱에서는 코딩 효율의 저하 없이, 압축된 비트스트림으로부터 요청한 영역의 시점에 대한 데이터를 효율적으로 추출할 수 있는 기술이 요구되고 있다.

본 발명은 수신단에서 부분 복호화를 위한 정보를 생성함으로써 실시간으로 부분 복호화 대상 영역을 결정하여 부분 복호화를 수행할 수 있는 영상 복호화 방법 및 장치를 제공하는 데 일 목적이 있다.

본 발명의 일 측면에 따르면, 픽처들 각각을 복수의 타일로 분할하여 부호화한 제1 비트스트림을 처리하는 비트스트림 처리 방법에 있어서, 타일 분할 정보 및 영역 정보를 포함하는 상기 제1 비트스트림을 수신하는 단계, 상기 영역 정보는 두 개 이상의 타일들을 포함하는 영역을 허용하고, 상기 픽처들 내에서의 기준 위치를 수평 및 수직 방향에서 각각 정의하는 제1 신택스 요소들 및 상기 기준 위치로부터 연장되는 폭과 높이를 각각 나타내는 제2 신택스 요소들을 포함함; 상기 영역 정보를 이용하여 상기 제1 비트스트림으로부터 재구성된 제2 비트스트림을 생성하는 단계; 및 복호화를 위해 상기 제2 비트스트림을 출력하는 단계를 포함하는 것을 특징으로 하는 방법을 제공한다. 여기서, 상기 제2 비트스트림을 생성하는 단계는, 상기 제1 비트스트림에 포함되는 픽처들의 부호화 데이터로부터 상기 영역 정보에 의해 정의되는 영역의 부호화 데이터만을 추출하는 단계; 및 상기 기준 위치를 정의하는 제1 신택스 요소들 및 상기 폭과 높이를 정의하는 상기 제2 신택스 요소들을 이용하여 상기 제1 비트스트림의 헤더 내의 신택스들을 수정하는 단계를 포함할 수 있다.

본 발명의 다른 측면에 따르면, 상기의 비트스트림 처리 방법에 의해 생성된 제2 비트스트림을 저장하는, 디코더에 의해 판독 가능한, 저장 매체를 제공한다.

도 1은 복수의 타일로 분할되어 부호화된 픽처에 대한 예시도이다.
도 2는 본 발명의 실시예와 관련된 부호화 장치에 대한 블록도이다.
도 3은 본 발명의 실시예에 따른 영상 복호화 시스템에 대한 블록도이다.
도 4는 본 발명의 실시예에 따른 영상 복호화 시스템의 동작방법을 나타내는 흐름도이다.
도 5는 부호화된 픽처 내 디스플레이 영역 및 복호화 대상 타일을 나타내는 예시도이다.
도 6은 본 발명의 실시예에 따른 복호화 대상 타일을 결정하는 방법을 나타내는 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 복호화 대상 타일을 결정하는 방법을 나타내는 흐름도이다.
도 8은 본 발명의 또 다른 실시예에 따른 복호화 대상 타일을 결정하는 방법을 나타내는 흐름도이다.
도 9는 부호화된 픽처 내 디스플레이 영역 및 복호화 대상 타일을 나타내는 다른 예시도이다.
도 10은 360 영상의 디스플레이 영역을 나타내는 예시도이다.
도 11은 360 영상 내 디스플레이 영역의 위치를 표현하기 위한 좌표축을 나타내는 도면이다.
도 12는 2차원 평면에 투영된 360 영상 내 디스플레이 영역 및 복호화 대상 타일을 나타내는 예시도이다.
도 13은 2차원 평면에 투영된 360 영상 내 디스플레이 영역 및 복호화 대상 타일을 나타내는 다른 예시도이다.
도 14는 부호화된 픽처 내 디스플레이 영역, 디스플레이 영역 외 추가 영역 및 복호화 대상 타일을 나타내는 예시도이다.
도 15는 본 발명의 실시예에 따른 도 3의 영상 복호화부의 세부 구성요소에 대한 블록도이다.
도 16은 본 발명의 다른 실시예에 따른 영상 복호화 시스템에 대한 블록도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 복수의 타일로 분할되어 부호화된 픽처에 대한 예시도이다.

픽처는 하나 이상의 타일로 분할되어 타일 별로 독립적으로 부호화 및 복호화될 수 있다. 픽처는 하나 이상의 세로열로 분할하는 타일로 분할되거나, 하나 이상의 가로열로 분할하는 타일로 분할되거나, 또는 하나 이상의 세로열 및 하나 이상의 가로열로 분할되는 타일들로 분할될 수도 있다. 타일은 픽처 내 가로열 또는 세로열의 길이 기준으로 균등하게 영역을 분할할 수도 있고, 임의의 크기로 영역을 분할할 수도 있다. 다만, 각각의 가로열 타일 개수 및 각각의 세로열 타일 개수는 동일해야 한다.

타일을 위한 하이 레벨 신택스(high level syntax)의 일례는 표 1과 같다.

pic_parameter_set_rbsp(　) {	Descriptor
...	...
tiles_enabled_flag	u(1)
...	...
if( tiles_enabled_flag ) {
num _tile_columns_ minus1	ue(v)
num _tile_rows_ minus1	ue(v)
uniform_spacing_flag	u(1)
if( !uniform_spacing_flag ) {
for( i = 0; i < num_tile_columns_minus1; i++ )
column_width_ minus1[　i　]	ue(v)
for( i = 0; i < num_tile_rows_minus1; i++ )
row_height_ minus1[　i　]	ue(v)
}
loop_filter_across_tiles_enabled_flag	u(1)
}

표 1을 참조하면, PPS(Picture Parameter Set) 내의 타일 기능의 온/오프를 지시하는 플래그인 tiles_ enalbed _flag와 해당 플래그가 온(on)되었을 때, 타일의 크기를 지정할 수 있는 다수의 신택스들이 추가적으로 존재한다. 픽처의 가로축 기준으로 분할된 타일의 개수에서 1을 뺀 값인 num _tile_columns_ minus1, 픽처의 세로축 기준으로 분할된 타일의 개수에서 1을 뺀 값인 num _tile_rows_ minus1, 및 가로축과 세로축이 균등하게 분할되었음을 나타내는 플래그 uniform_ sapacing _flag 등이 있다. 타일이 가로축 및 세로축으로 균등하게 분할되지 않았을 경우(uniform_spacing_flag = off), 가로축 기준으로 각 타일에 대한 폭(width) 정보(column_width_minus1)와 세로축 기준으로 각 타일에 대한 높이(height) 정보(row_height_minus1)를 추가적으로 전송한다. 마지막으로, 타일 간 경계 영역에서 루프 필터(loop filter)의 실행 여부를 나타내는 플래그(loop_filter_across_tiles_enabled_flag)를 전송한다.

본 발명은 복수의 타일로 분할되어 부호화된 픽처에 있어서 픽처 전체를 복호화하지 않고 일부 영역만을 복호화(이하, '부분 복호화'라 지칭함)함으로써 복호화의 복잡도를 크게 낮출 수 있는 영상 복호화 방법 및 장치를 제안한다.

부분 복호화가 가능하도록 하기 위해서는 하나의 픽처가 복수의 타일로 분할되고 분할된 각 타일이 독립적으로 부호화 및 복호화가 되어야 한다. 여기서, 독립이란 인트라 예측, 인터 예측, 변환, 양자화, 엔트로피, 및 필터를 포함한 모든 부호화/복호화 과정들이 분할된 다른 타일과는 무관하게 수행되는 것을 의미한다. 이하, 독립적으로 부호화된 타일을 '독립 타일'이라 지칭한다.

본 발명의 영상 복호화 방법 및 장치는 복수의 독립 타일로 분할되어 부호화된 픽처에 적용되는 것을 전제로 한다. 여기서, 타일이란 하나의 픽처로부터 분할된 복수의 영역으로서고, 각 영역을 독립적으로 부호화 및 복호화하기 위한 수단(tool)을 의미할 뿐이고, 본 발명이 반드시 타일이란 용어에 한정되는 것은 아니다. 즉, 타일이란 용어는 전술한 의미와 동일한 다양한 용어로 대체될 수 있다. 이하, 도 1과 같이 12개의 독립 타일로 분할된 픽처를 예로 들어 본 발명에 대하여 상세히 설명한다.

도 2는 본 발명의 실시예와 관련된 부호화 장치에 대한 블록도이다.

부호화 장치는 블록 분할부(210), 예측부(220), 감산기(230), 변환부(240), 양자화부(245), 부호화부(250), 역양자화부(260), 역변환부(265), 가산기(270), 필터부(280) 및 메모리(290)를 포함한다. 부호화 장치의 각 구성요소는 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.

블록 분할부(210)는 영상을 구성하는 각 픽처(picture)를 복수의 타일로 분할한다. 그리고 각 타일을 복수의 CTU(Coding Tree Unit)로 분할한 이후에, 트리 구조(tree structure)를 이용하여 CTU를 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU(Coding Unit)가 된다. 트리 구조로는 상위 노드가 네 개의 하위 노드로 분할하는 쿼드트리(QuadTree, QT), 또는 QT 구조 및 상위 노드가 두 개의 하위 노드로 분할하는 바이너리트리(BinaryTree, BT) 구조를 혼용한 QTBT (QuadTree plus BinaryTree) 구조가 사용될 수 있다.

예측부(220)는 현재블록을 예측하여 예측블록을 생성한다. 예측부(220)는 인트라 예측부(222)와 인터 예측부(224)를 포함한다. 여기서, 현재블록은 상기의 트리 구조에서 리프 노드에 해당하는 부호화의 기본 단위로서, 현재 부호화하고자 하는 CU를 의미한다. 대안적으로, 현재블록은 CU로부터 분할된 복수의 서브블록 중 하나의 서브블록일 수도 있다.

인트라 예측부(222)는 현재블록이 포함된 현재 픽처 내에서 현재블록의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 현재블록 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재하며, 각 예측모드에 따라 사용할 주변 픽셀과 연산식이 다르게 정의된다.

인터 예측부(224)는 현재 픽처보다 먼저 부호화 및 복호화된 참조 픽처 내에서 현재블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재블록과 참조 픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 현재블록을 예측하기 위해 사용된 참조 픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 부호화부(250)에 의해 부호화되어 복호화 장치로 전달된다.

감산기(230)는 현재블록으로부터 인트라 예측부(222) 또는 인터 예측부(224)에 의해 생성된 예측블록을 감산하여 잔차 블록을 생성한다.

변환부(240)는 공간 영역의 픽셀 값들을 가지는 잔차 블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(240)는 잔차 블록 내의 잔차 신호들을 현재블록의 크기를 변환 단위로 사용하여 변환할 수 있으며, 또는 잔차 블록을 더 작은 복수의 서브블록을 분할하고 서브블록 크기의 변환 단위로 잔차 신호들을 변환할 수도 있다. 잔차 블록을 더 작은 서브블록으로 분할하는 방법은 다양하게 존재할 수 있다. 예컨대, 기 정의된 동일한 크기의 서브블록으로 분할할 수도 있으며, 또는 잔차 블록을 루트 노드로 하는 QT(quadtree) 방식의 분할을 사용할 수도 있다.

양자화부(245)는 변환부(240)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 부호화부(250)로 출력한다.

부호화부(250)는 양자화된 변환 계수들을 CABAC 등의 부호화 방식을 사용하여 부호화하여 비트스트림을 생성한다. 한편, 부호화부(250)는 트리 구조의 최상위 레이어에 위치하는 CTU의 크기에 대한 정보 및 CTU로부터 트리 구조로 블록을 분할하기 위한 분할 정보를 부호화하여, 복호화 장치가 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다. 예컨대, QT 분할의 경우에는 상위 레이어의 블록이 하위 레이어의 네 개의 블록으로 분할되는지 여부를 지시하는 QT 분할 정보를 부호화한다. BT 분할의 경우에는 QT의 리프 노드에 해당하는 블록으로부터 시작하여 각 블록이 두 개의 블록으로 분할되는지 여부 및 분할되는 타입을 지시하는 BT 분할 정보를 부호화한다.

부호화부(250)는 현재블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보 또는 인터 예측정보를 부호화한다.

부호화부(250)는 부분 복호화 정보와 관련된 신택스 요소를 위한 기 지정된 필드를 부호화한다. 여기서, 기 지정된 필드는 부분 복호화 정보와 관련된 신택스 요소들을 위해서 사용되는 데이터 영역을 의미한다. 다만, 부호화부(250)는 실제 부분 복호화를 지시하는 정보가 아닌 널(null) 값 또는 디폴트(default) 값을 기 지정된 필드에 설정함으로써 비트스트림 내에 부분 복호화 정보와 관련된 신택스 요소를 위한 공간을 확보한다. 여기서, 디폴트(default) 값이란 부분 복호화를 수행하지 않는다는 정보(예: 부분 복호화 수행을 지시하는 플래그=off)를 의미할 수 있다. 이러한 부분 복호화 정보와 관련된 신택스 요소는 비트스트림의 NAL(Network Abstraction Layer) 유닛 헤더 내의 기 지정된 위치에 설정될 수 있다. 또는, SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 및 SEI(Supplementary Enhancement Information) 중 어느 하나의 헤더 내의 기 지정된 위치에 설정될 수도 있다.

부호화부(250)에서 생성된 비트스트림이 영상 복호화 시스템으로 전송된 후, 외부로부터 부분 복호화 수행이 결정되면, 비트스트림의 기 지정된 필드에 설정된 널(null) 값 또는 디폴트(default) 값은 후술할 부분 복호화 정보 생성기에 의해 부분 복호화를 지시하는 의미있는 값으로 재설정된다.

역양자화부(260)는 양자화부(245)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(265)는 역양자화부(260)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.

가산기(270)는 복원된 잔차블록과 예측부(220)에 의해 생성된 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조 픽셀로서 사용된다.

필터부(280)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(290)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.

도 3은 본 발명의 실시예에 따른 영상 복호화 시스템에 대한 블록도이다. 영상 복호화 시스템은 부분 복호화 정보 생성기(310) 및 복호화 장치(320)를 포함할 수 있다. 복호화 장치(320)는 영상 복호화부(322) 및 부분 복호화부(324)를 포함할 수 있다.영상 복호화 시스템의 각 구성요소는 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실현하도록 구현될 수도 있다.

부분 복호화 정보 생성기(310)는 부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 널(null) 값 또는 디폴트(default) 값으로 설정된 부분 복호화 정보를 부분 복호화 수행을 결정하는 외부 제어 신호에 따라 재설정함으로써, 입력 비트스트림을 생성한다. 부분 복호화를 결정하는 외부 제어 신호는 외부 사용자의 입력, 관심영역 추출 기법 또는 서비스 시나리오에 의한 사전 지정 값 등에 따라 발생하는 신호를 의미할 수 있다. 부분 복호화 정보 생성기(310)가 생성한 입력 비트스트림은 복호화 장치(320)로 입력되는 비트스트림으로서, 부분 복호화 정보 생성기(310)가 부호화 장치로부터 수신한 비트스트림과는 구별된다. 즉, 입력 비트스트림은 부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 널(null) 값 또는 디폴트(default) 값으로 설정된 부분 복호화 정보를 재설정하여 생성한 비트스트림으로 의미한다.

부분 복호화 정보는 부분 복호화를 수행할지 여부를 나타내는 제1 정보 및 부분 복호화를 수행할 영역을 지시하기 위한 제2 정보 중 적어도 하나를 포함한다. 다만, 부분 복호화 정보는 영상 부호화 이후에 영상 복호화 시스템에서 결정되는 부분 복호화 수행 여부에 따라 서로 다른 값을 가질 수 있다. 부분 복호화 수행이 결정되는 경우에 부분 복호화 정보는, 부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 설정된 널(null) 또는 디폴트(default) 값이 아닌, 부분 복호화 정보 생성기(310)에 의해 재설정된 값을 갖는다. 부분 복호화 정보 생성기(310)에 의해 재설정된 값은 부분 복호화 수행을 지시하는 의미있는 값이다. 반면, 부분 복호화 수행이 결정되지 않는 경우에 부분 복호화 정보는, 부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 널(null) 또는 디폴트(default)로 설정된 값을 갖는다. 이 경우에는 부분 복호화 정보 생성기(310)에 의해 부분 복호화 정보가 재설정되지 않기 때문이다.

영상 복호화 시스템은 부분 복호화 수행이 결정됨에 따라 부분 복호화 정보 즉, 부분 복호화 수행을 나타내는 정보(제1 정보) 및 부분 복호화를 수행할 영역을 지시하는 정보(제2 정보) 중 적어도 하나를 포함한 의미있는 정보를 전술한 비트스트림의 기 지정된 필드에 재설정한다. 보다 구체적으로, 부분 복호화 정보 생성기(310)는 해당 필드에 부분 복호화 정보를 재설정함으로써, 복호화 장치(320)에 부분 복호화 수행 명령을 전달할 수 있다.

예를 들어, 부분 복호화를 수행할지 여부를 나타내기 위해 플래그를 이용하는 경우, 부호화 장치는 해당 플래그가 오프(off)나 null 값을 나타내도록 부호화하고, 부분 복호화를 수행할 타일을 지시하기 위한 정보를 null, "0", 또는 don't care를 의미하는 데이터로 부호화할 수 있다. 부호화된 영상의 비트스트림이 영상 복호화 시스템으로 수신된 이후, 부분 복호화 수행이 결정되면 부분 복호화 정보 생성기(310)는 부분 복호화 수행 여부를 나타내는 플래그를 온(on)으로 변경하고, 부분 복호화를 수행할 영역을 지시하기 위한 기 지정된 필드에 의미있는 정보를 재설정할 수 있다.

복호화 장치(320)는 부분 복호화 정보 생성기(310)에 의해 부분 복호화 정보가 재설정된 입력 비트스트림으로부터 부분 복호화 정보를 복호화하여, 부분 복호화 정보가 지시하는 일부 영역에 해당하는 영상 데이터를 복호화한다. 구체적으로, 부분 복호화부(324)는 입력 비트스트림에 포함된 부분 복호화 정보를 복호화함으로써, 하나 이상의 복호화 대상 타일을 결정한다. 영상 복호화부(322)는 픽처를 구성하는 복수의 타일 중 복호화 대상 타일에 해당하는 영상 데이터를 복호화한다.

도 4는 본 발명의 실시예에 따른 영상 복호화 시스템의 동작방법을 나타내는 흐름도이다.

우선, 부분 복호화 정보 생성기(310)가 부분 복호화 수행을 결정하는 외부 제어신호를 수신한다(S410). 부분 복호화 정보 생성기(310)는 부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 널(null) 값 또는 디폴트(default) 값으로 설정된 부분 복호화 정보를 외부 제어신호에 따라 재설정한다(S420). 부분 복호화 정보 생성기(310)는 부분 복호화 정보를 재설정함으로써 입력 비트스트림을 생성하고, 입력 비트스트림은 복호화 장치(320)로 전달된다. 복호화 장치(320)의 부분 복호화부(324)는 입력 비트스트림에 포함된 부분 복호화 정보를 복호화함으로써, 하나 이상의 복호화 대상 타일을 결정한다(S430). 결정된 복호화 대상 타일에 대한 정보는 영상 복호화부(322)로 전달되고, 이에 따라 영상 복호화부(322)는 복수의 타일 중 복호화 대상 타일에 해당하는 영상 데이터를 복호화한다(S440).

도 5를 참조하여 예를 들어 설명한다. 도 5는 부호화된 픽처 내 디스플레이 영역 및 복호화 대상 타일을 나타내는 예시도이다.

복수의 타일로 분할되어 부호화된 전체 픽처 중 일부 영역만을 디스플레이 하는 경우, 전체 픽처를 모두 복호화하지 않고 디스플레이되는 일부 영역만을 복호화하면 복호화의 복잡도를 크게 낮출 수 있다. 예컨대, 12개의 타일로 분할된 픽처에서 도 5와 같이 디스플레이 영역(510)이 결정되는 경우, 12개의 타일 전부를 복호화하지 않고 디스플레이 영역(510)을 포함하는 6개의 타일(이하, '복호화 대상 타일'이라 지칭함)만을 복호화함으로써, 디스플레이 영역(510)을 디스플레이 할 수 있다.

복호화 장치(320)가 픽처 내 복수의 타일 중 하나 이상의 복호화 대상 타일을 결정하여 부분 복호화를 수행하기 위해서는 부분 복호화 정보가 필요하다. 부분 복호화 정보에는 전술한 바와 같이 부분 복호화를 수행할지 여부를 나타내는 제1 정보 및 부분 복호화를 수행할 영역을 지시하기 위한 제2 정보 중 적어도 하나를 포함된다.

부분 복호화 정보는 입력 비트스트림의 헤더에 포함될 수 있고, 입력 비트스트림의 헤더는 NAL(Network Abstraction Layer) 유닛 헤더, SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 및 SEI(Supplementary Enhancement Information) 중 어느 하나일 수 있다.

또한, 부분 복호화 정보 중 부분 복호화를 수행할지 여부를 나타내는 제1 정보는 NAL 유닛 헤더, SPS, PPS, 및 SEI 중 어느 하나의 헤더에 포함될 수 있고, 부분 복호화를 수행할 영역을 지시하는 제2 정보는 SEI 및 복호화 장치의 내부 파라미터 중 어느 하나일 수 있다. 여기서, 파라미터란 복호화 동작을 제어할 수 있는 매개변수를 의미한다.

제1 정보는 아래 3가지 형태로 나타낼 수 있다.

i) NAL 유닛 헤더에 포함된 NAL 유닛 타입 정보(nal_unit_type)로 표시

ii) 별도의 플래그(pd_enabled_flag)로 표시

iii) 별도로 시그널링하지 않고 제2 정보를 이용하여 부분 복호화 수행 여부를 판단

여기서, 제1 정보가 별도로 시그널링되지 않는다는 것은 부호화 장치가 제1 정보와 관련된 신택스 요소를 위한 별도의 공간(필드)을 마련하고 있지 않음을 의미한다.

제2 정보는 실시예에 따라 아래와 같이 서로 다른 정보를 포함할 수 있다.

a) 디스플레이 영역의 위치정보 및 크기정보

b) 하나 이상의 복호화 대상 타일을 구성하는 최초 타일 및 최후 타일의 식별정보

위와 같은 제1 정보를 나타내는 방법 및 제2 정보가 포함하는 정보에 따라 하나 이상의 복호화 대상 타일을 결정하는 방법이 달라질 수 있다. 이에 대한 구체적인 설명은 후술한다.

이하, 제1 정보를 나타내는 3가지 방법 별로 NAL 유닛 헤더의 예시 및 복호화 대상 타일을 결정하는 방법에 대하여 설명한다. 다만, 명확한 설명을 위하여 제2 정보는 a) 디스플레이 영역의 위치정보 및 크기정보를 포함하는 경우에 한정하여 설명한다. 제2 정보가 b) 하나 이상의 복호화 대상 타일을 구성하는 최초 타일 및 최후 타일의 식별정보를 포함하는 경우 대해서는 별도로 후술한다.

우선, 제1 정보가 i) NAL 유닛 헤더에 포함된 NAL 유닛 타입 정보(nal_unit_type)로 표시되는 경우에 대하여 설명한다. 본 실시예에 따른 NAL 유닛 헤더의 일례는 표 2와 같다.

nal_unit_header(　) {	Descriptor
forbidden_zero_bit	f(1)
nal _unit_type	u(6)
...	...
u_ pos
v_ pos
u_width
v_height
...
}

표 2를 참조하면, 디스플레이 영역의 위치(u, v) 정보는 u_ pos 및 v_ pos로 표시되고, 디스플레이 영역의 크기 정보(가로축 및 세로축의 크기)는 u_width 및 v_height로 표시될 수 있다.

제2 정보는 표 2와 같이 아무 조건 없이(즉, NAL 유닛 타입 정보가 VCL인지 또는 non-VCL인지와 무관하게) 항상 비트스트림의 헤더에 포함될 수도 있으나, 특정 조건을 만족할 때에만 포함될 수도 있다. 예컨대, 제2 정보는 NAL 유닛 타입 정보가 VCL(Video Coding Layer)에 해당하는 경우 또는 NAL 유닛 타입 정보가 I(Intra) 슬라이스에 해당하는 경우에 비트스트림의 헤더에 포함될 수 있다.

NAL 유닛 타입 중 부분 복호화가 필요한 슬라이스 데이터를 포함한 NAL 유닛 타입은 VCL에 해당하며, 부분 복호화가 필요하지 않은 SPS, PPS, SEI, 등과 같은 헤더 정보를 포함한 NAL 유닛 타입은 non-VCL에 해당한다. 그러므로, 부분 복호화가 필요한 VCL에 해당하는 NAL 유닛 타입에만 부분 복호화 정보를 포함시킬 수 있다. 또한, 슬라이스 데이터를 포함한 VCL NAL 유닛 타입 중 I 슬라이스에 해당하는 NAL 유닛 타입에만 부분 복호화 정보를 포함시킬 수도 있다. 즉, 비디오의 부호화 (예측을 위한 참조) 구조 상 부분 복호화 정보는 I 슬라이스에서 설정 및 변경이 가능하기 때문이다.

제2 정보가 비트스트림의 헤더에 포함되는 조건이 존재하는 경우에 대한 NAL 유닛 헤더의 일례는 표 3 및 표 4와 같다. 표 3은 NAL 유닛 타입 정보가 VCL에 해당하는 경우를 조건으로 하고, 표 4는 NAL 유닛 타입 정보가 I 슬라이스에 해당하는 경우를 조건으로 한다.

nal_unit_header(　) {	Descriptor
forbidden_zero_bit	f(1)
nal _unit_type	u(6)
...	...
if (nal_unit_type == VCL) {
u_ pos
v_ pos
u_width
v_height
}
}

nal_unit_header(　) {	Descriptor
forbidden_zero_bit	f(1)
nal _unit_type	u(6)
...	...
if (nal_unit_type == I slice) {
u_ pos
v_ pos
u_width
v_height
}
}

HEVC 표준에는 I 슬라이스를 나타내는 6가지의 NAL 유닛 타입 정보가 존재한다. 본 실시예에서는 HEVC 표준에 정의된 6가지의 NAL 유닛 타입 정보에 더하여 부분 복호화(PD: Partial Decoding) 여부를 나타내는 정보를 포함하는 총 12가지의 I 슬라이스에 대한 NAL 유닛 타입 정보를 정의할 수 있다. 이는 표 5와 같다.

nal _unit_type	Name of nal_unit_type	Content of NAL unit and RBSP syntax structure	NAL unit type class
...
	BLA_W_LP BLA_W_RADL BLA_N_LP BLA_W_LP_PD BLA_W_RADL_PD BLA_N_LP_PD	Coded slice segment of a BLA picture slice_segment_layer_rbsp(　)	VCL
	IDR_W_RADL IDR_N_LP IDR_W_RADL_PD IDR_N_LP_PD	Coded slice segment of an IDR picture slice_segment_layer_rbsp(　)	VCL
	CRA_NUT CRA_NUT_PD	Coded slice segment of a CRA picture slice_segment_layer_rbsp(　)	VCL

예를 들어, 부호화 시 BLA_W_LP, BLA_W_RADL, BLA_N_LP, IDR_W_RADL, IDR_N_LP 및 CRA_NUT 중 어느 하나에 해당하던 NAL 유닛 타입 정보는, 부분 복호화 수행이 결정된 후에 부분 복호화 정보 생성기(310)에 의하여 BLA_W_LP_PD, BLA_W_RADL_PD, BLA_N_LP_PD, IDR_W_RADL_PD, IDR_N_LP_PD 및 CRA_NUT_PD 중 어느 하나로 변경될 수 있다.

편의상, 본 발명에서는 HEVC 표준을 기준으로 부분 복호화 여부를 나타내는 NAL 유닛 타입을 정의하였으나, 이에 한정되는 것은 아니다. 즉, NAL 유닛 타입 중 부분 복호화 여부를 나타내는 특정 NAL 유닛 타입으로 정의도 가능하며, 표 5는 예시에 불과하다.

도 6을 참조하여 본 실시예에 따른 부분 복호화부(324)가 복호화 대상 타일을 결정하는 방법에 대하여 설명한다. 도 6은 본 발명의 실시예에 따른 복호화 대상 타일을 결정하는 방법을 나타내는 흐름도이다.

부분 복호화부(324)는 우선, NAL 유닛 헤더에 포함된 NAL 유닛 타입 정보를 제1 정보로서 복호화한다(S610). NAL 유닛 타입 정보가 부분 복호화를 허용하지 않는 NAL 유닛을 지시할 때(예: NAL 유닛 타입 정보가 BLA_W_LP인 경우)에는, 복수의 타일 전체를 복호화 대상 타일로 결정한다(S620). 예를 들어, NAL 유닛 타입 정보가 부분 복호화를 허용하지 않음을 나타내는 경우, 제2 정보는 부분 복호화 정보 생성기(310)에 의해 의미 있는 값으로 재설정되지 않는다. 제2 정보는 부호화 장치에 의해 설정된 널(null) 등의 값으로 유지된다. 따라서, 부분 복호화부(324)는 제2 정보가 널(null)임을 확인하고 픽처를 구성하는 복수의 타일 전체를 복호화 대상 타일로 결정하게 된다. 한편, NAL 유닛 타입 정보가 부분 복호화를 허용하는 NAL 유닛을 지시할 때(예: NAL 유닛 타입 정보가 BLA_W_LP_PD인 경우)에는, NAL 유닛 헤더에 포함된 제2 정보 역시 부분 복호화와 관련하여 의미 있는 정보로 재설정된 값이다. 따라서, 제2 정보를 복호화하고, 제2 정보에 의해 지시되는 영역을 포함하는 타일을 복호화 대상 타일로 결정한다(S630).

이하, 다른 실시예로서 제1 정보가 ii) 별도의 플래그(pd_enabled_flag)로 표시되는 경우에 대하여 설명한다. 본 실시예에 따른 NAL 유닛 헤더의 일례는 표 6과 같다.

nal_unit_header(　) {	Descriptor
forbidden_zero_bit	f(1)
nal _unit_type	u(6)
...	...
pd_ enbled _flag
u_ pos
v_ pos
u_width
v_height
...
}

본 실시예에서는 제1 정보(즉, pd_enabled_flag) 및 제2 정보는 표 6과 같이 아무 조건 없이(즉, NAL 유닛 타입 정보가 VCL인지 또는 non-VCL인지와 무관하게) 항상 비트스트림의 헤더에 포함될 수도 있으나, 특정 조건을 만족할 때에만 포함될 수도 있다. 제1 정보 및 제2 정보는 NAL 유닛 타입 정보가 VCL에 해당하는 조건이 있는 경우에 비트스트림의 헤더에 포함될 수도 있고, NAL 유닛 타입 정보가 I 슬라이스에 해당하는 조건이 있는 경우에 비트스트림의 헤더에 포함될 수도 있다. NAL 유닛 타입 정보가 VCL에 해당하는 경우에 대한 NAL 유닛 헤더의 일례는 표 7과 같고, NAL 유닛 타입 정보가 I 슬라이스에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 8과 같다.

nal_unit_header(　) {	Descriptor
forbidden_zero_bit	f(1)
nal _unit_type	u(6)
...	...
if (nal_unit_type == VCL) {
pd_ enbled _flag
u_ pos
v_ pos
u_width
v_height
}
}

nal_unit_header(　) {	Descriptor
forbidden_zero_bit	f(1)
nal _unit_type	u(6)
...	...
if (nal_unit_type == I slice) {
pd_ enbled _flag
u_ pos
v_ pos
u_width
v_height
}
}

본 실시예에서는 I 슬라이스를 나타내는 NAL 유닛 타입 정보가 HEVC 표준과 동일하게 6가지 존재한다.

도 7을 참조하여 본 실시예에 따른 부분 복호화부(324)가 복호화 대상 타일을 결정하는 방법에 대하여 설명한다. 도 7은 본 발명의 다른 실시예에 따른 복호화 대상 타일을 결정하는 방법을 나타내는 흐름도이다.

부분 복호화부(324)는 우선, 입력 비트스트림의 헤더로부터 부분 복호화를 수행할지 여부를 지시하는 플래그를 제1 정보로서 복호화한다(S710). 플래그가 부분 복호화를 지시하지 않을 때(예: pd_enabled_flag가 off)에는, 복수의 타일 전체를 복호화 대상 타일로 결정한다(S720). 플래그가 부분 복호화를 지시할 때(예: pd_enabled_flag가 on)에는, 입력 비트스트림의 헤더에 포함된 제2 정보는 부분 복호화와 관련하여 의미 있는 정보를 포함하므로, 제2 정보를 복호화하고, 제2 정보에 의해 지시되는 영역을 포함하는 타일을 복호화 대상 타일로 결정한다(S730).

마지막으로, 또 다른 실시예로서 제1 정보가 iii) 별도로 시그널링되지 않고 제2 정보를 이용하여 부분 복호화 수행 여부를 판단하는 경우에 대하여 설명한다. 본 실시예에 따른 NAL 유닛 헤더의 일례는 표 2와 같다.

본 실시예에서는 제1 정보가 별도로 시그널링되지 않지만, 제2 정보로부터 부분 복호화 수행 여부에 대하여 유추할 수 있다. 예컨대, 부호화 장치가 제2 정보에 대한 모든 신택스(u_ pos , v_ pos , u_width, v_height)에 0의 값(또는 null 값)을 할당하고, 이후 부분 복호화 수행이 결정되지 않음으로써 복호화 장치(320)에서 복호화되는 해당 신택스의 값도 모두 0의 값(또는 null 값)으로 유지되면, 복호화 장치(320)는 부분 복호화가 수행되지 않음을 유추할 수 있다. 반대로, 부호화 장치가 제2 정보에 대한 모든 신택스(u_ pos , v_ pos , u_width, v_height)에 0의 값(또는 null 값)을 할당하고, 이후 부분 복호화 수행이 결정되는 경우, 부분 복호화 정보 생성기(310)는 모두 0의 값(또는 null 값)으로 부호화된 제2 정보에 대한 신택스들의 값을 변경함으로써 부분 복호화 수행을 명령할 수 있다.

마찬가지로, 본 실시예에서도 제2 정보는 표 2과 같이 아무 조건 없이(즉, NAL 유닛 타입 정보가 VCL인지 또는 non-VCL인지와 무관하게) 항상 비트스트림의 헤더에 포함될 수도 있으나, 특정 조건을 만족할 때에만 포함될 수도 있다. NAL 유닛 타입 정보가 VCL에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 3과 같고, NAL 유닛 타입 정보가 I 슬라이스에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 4와 같다.

도 8을 참조하여 본 실시예에 따른 부분 복호화부(324)가 복호화 대상 타일을 결정하는 방법에 대하여 설명한다. 도 8은 본 발명의 또 다른 실시예에 따른 복호화 대상 타일을 결정하는 방법을 나타내는 흐름도이다.

부분 복호화부(324)는 우선, 입력 비트스트림의 헤더로부터 제2 정보를 복호화하고, 부분 복호화를 수행할 영역이 제2 정보에 의해 지시되는지 여부를 판단한다(S810). 부분 복호화를 수행할 영역이 제2 정보에 의해 지시되지 않을 때에는, 복수의 타일 전체를 복호화 대상 타일로 결정한다(S820). 이와 달리, 부분 복호화를 수행할 영역이 제2 정보에 의해 지시될 때에는, 제2 정보에 의해 지시되는 영역을 복호화 대상 타일로 결정한다(S830).

제2 정보는 전술한 바와 같이 a) 디스플레이 영역의 위치정보 및 크기정보를 포함할 수 있다. 여기서, 위치정보는 2차원 평면인 픽처 내의 또는 3차원 공간 내의 기준점의 위치를 포함하고, 크기정보는 기준점으로부터의 폭과 높이를 포함한다. 디스플레이 영역은 위치정보에 따른 기준점의 위치에서 크기정보에 따른 폭과 높이만큼 연장되어 형성되는 영역으로 정의될 수 있다. 이 경우, 하나 이상의 복호화 대상 타일은 위치정보 및 크기정보에 의해 정의되는 디스플레이 영역과 오버랩되는 영역을 갖는 하나 이상의 타일로 결정될 수 있다.

이상에서는 디스플레이 영역의 크기를 표시하기 위해, 가로 크기(u_width) 및 세로 크기(v_height)를 사용하는 것으로 설명하였다. 그러나 본 발명이 이에 한정되는 것은 아니며, 디스플레이 영역의 크기를 정의할 수 있는 다양한 신택스들이 사용될 수 있다. 예컨대, 기준점과 대각선에 위치한 꼭지점의 위치를 디스플레이 영역의 크기를 나타내는 정보로 사용할 수도 있다. 기준점이 디스플레이 영역의 좌상측 꼭지점이라면 디스플레이 영역의 크기를 나타내기 위한 정보는 우하측 꼭지점의 위치로 표현할 수 있다.

이하, 제2 정보가 b) 하나 이상의 복호화 대상 타일을 구성하는 최초 타일 및 최후 타일의 식별정보를 포함하는 경우 대해서 구체적으로 설명한다. 부분 복호화 정보 생성기(310)는 부분 복호화를 수행할 영역의 위치와 크기 정보를 기반으로 하나 이상의 복호화 대상 타일을 구성하는 최초 타일(좌상측 타일)의 식별정보와 최후 타일(우하측 타일)의 식별정보를 이용하여 비트스트림의 헤더 내 상응하는 신택스를 갱신할 수 있다. 이에 따라, 복호화 장치(320)는 입력 비트스트림의 헤더에 포함된 최초 타일의 식별정보와 최후 타일의 식별정보를 복호화하여 이를 기반으로 복호화 대상 타일을 결정할 수 있다.

도 9를 참조하여 예를 들어 설명한다. 도 9는 부호화된 픽처 내 디스플레이 영역 및 복호화 대상 타일을 나타내는 다른 예시도이다.

도 9에는 0번부터 11번까지의 식별정보를 갖는 복수의 타일로 분할되어 부호화된 픽처가 도시되어 있다. 디스플레이 영역(910)에 따라 결정되는 복호화 대상 타일(920)은 0번, 1번, 2번, 4번, 5번 및 6번 타일로 구성된다. 이 경우, 부분 복호화 정보 생성기(310)가 최초 타일의 식별정보(0번) 및 최후 타일의 식별정보(6번)를 이용하여 비트스트림 헤더 내 상응하는 신택스를 갱신시켜 복호화 장치(320)로 전달하게 된다. 이에 따라, 복호화 장치(320)는 최초 타일 및 최후 타일이 각각 좌상측 타일 및 우하측 타일로 구성되는 타일 영역을 복호화 대상 타일(920)로 결정하여 0번, 1번, 2번, 4번, 5번 및 6번 타일을 복호화하게 된다.

본 실시예에 따른 복호화 장치(320)는 독립타일의 식별정보가 불연속적으로 되어 있더라도, 공간적 구성을 참조하여 연속적으로 변경한 뒤 부분 복호화를 수행할 수 있다.

본 실시예에서도 부분 복호화를 수행할지 여부를 나타내는 제1 정보를 아래 3가지 형태로 나타낼 수 있다.

i) NAL 유닛 헤더에 포함된 NAL 유닛 타입 정보(nal _unit_type)로 표시

ii) 별도의 플래그(pd_enabled_flag)로 표시

iii)의 경우, 본 실시예에서는 최초 타일의 식별정보 및 최후 타일의 식별정보에 의해 부분 복호화를 수행할 타일이 지시될 때, 지시되는 타일을 복호화 대상 타일로 결정할 수 있다. 예컨대, 최초 타일 번호 및 최후 타일 번호 중 어느 하나가 픽처를 분할하는 복수의 타일들의 타일 번호 중 어느 하나와 일치하면, 부분 복호화를 수행하는 것으로 판단할 수 있다. 반대로, 최초 타일 번호 및 최후 타일 번호 모두가 픽처를 분할하는 복수의 타일들의 타일 번호 중 어느 것과도 일치하지 않는 경우(예: 모두 null 값을 갖는 경우)에는 부분 복호화를 수행하지 않는 것으로 판단할 수 있다.

본 실시예에 따른 NAL 유닛 헤더의 일례는 표 9와 같다.

nal_unit_header(　) {	Descriptor
forbidden_zero_bit	f(1)
nal _unit_type	u(6)
...	...
topleft _tile_id
bottomright _tile_id
...
}

표 9를 참조하면, 최초 타일의 식별정보는 topleft _tile_id로 표시될 수 있고, 최후 타일의 식별정보는 bottomright _tile_id로 표시될 수 있다.

마찬가지로, 본 실시예에서도 제2 정보는 표 9와 같이 아무 조건 없이(즉, NAL 유닛 타입 정보가 VCL인지 또는 non-VCL인지와 무관하게) 항상 비트스트림의 헤더에 포함될 수도 있으나, 특정 조건을 만족할 때에만 포함될 수도 있다. NAL 유닛 타입 정보가 VCL에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 10과 같고, NAL 유닛 타입 정보가 I 슬라이스에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 11과 같다.

nal_unit_header(　) {	Descriptor
forbidden_zero_bit	f(1)
nal _unit_type	u(6)
...	...
if (nal_unit_type == VCL) {
topleft _tile_id
bottomrigh _tile_id
}
}

nal_unit_header(　) {	Descriptor
forbidden_zero_bit	f(1)
nal _unit_type	u(6)
...	...
if (nal_unit_type == I slice) {
topleft _tile_id
bottomrigh _tile_id
}
}

도 10은 360 영상의 디스플레이 영역(1010)을 나타내는 예시도이다. 도 11은 360 영상 내 디스플레이 영역의 위치를 표현하기 위한 좌표축을 나타내는 도면이다.

도 10의 디스플레이 영역(1010)은 도 11과 같이 3차원 공간 상의 원점을 기준으로 x축, y축, 및 z 축 방향을 회전축으로 한 회전 정도로 표현할 수 있다. pitch는 가로축(y축)을 기준으로 한 회전 정도를 나타내고, yaw는 세로축(z축)을 기준으로 한 회전 정도를 나타내며, roll은 구의 중심점으로부터 pitch-yaw 평면에 대한 수직 방향의 축을 기준으로 한 회전 정도를 표현한다.

360 영상의 부분 복호화를 수행하기 위해서도 복호화 장치(320)는 부분 복호화를 수행할지 여부는 나타내는 제1 정보 및 부분 복호화를 수행할 영역을 지시하기 위한 제2 정보를 필요로 한다. 360 영상의 경우에도 전술한 다른 실시예들과 마찬가지로, 제1 정보를 3가지 형태로 나타낼 수 있으므로 이에 대한 구체적인 설명은 생략한다.

본 실시예에 따른 NAL 유닛 헤더의 일례는 표 12와 같다.

nal_unit_header(　) {	Descriptor
forbidden_zero_bit	f(1)
nal _unit_type	u(6)
...	...
yaw
roll
pitch
delta_yaw
delta_pitch
...
}

표 12를 참조하면, 부분 복호화를 수행할 지 여부를 나타내는 제1 정보는 nal_unit_type으로 표시되고, 디스플레이 영역의 위치정보는 yaw, roll, 및 pitch로 표시되며, 디스플레이 영역의 크기정보는 delta_pitch(디스플레이 영역의 가로축 방향의 크기) 및 delta_yaw(디스플레이 영역의 세로축 방향의 크기)로 표시될 수 있다.

yaw 및 pitch에 의해 3D 공간 상의 기준점이 특정될 수 있고, delta_pitch 및 delta_yaw에 의해 기준점으로부터의 폭과 높이가 정해진다. 그리고 yaw, pitch, delta_pitch 및 delta_yaw에 의해 정의되는 영역의 중심점과 구의 원점을 잇는 선분을 축으로 해당 영역을 roll에 의해 지시되는 값만큼 회전시킴으로써, 3D 공간 상에서의 디스플레이 영역이 정해진다. 복호화 대상 타일은 3D 공간 상에서 정의된 디스플레이 영역을 2D로 투영하였을 때, 2D로 투영된 디스플레이 영역과 오버랩되는 하나 이상의 타일로 정의될 수 있다.

마찬가지로, 본 실시예에서도 제2 정보는 표 12와 같이 아무 조건 없이(즉, NAL 유닛 타입 정보가 VCL인지 또는 non-VCL인지와 무관하게) 항상 비트스트림의 헤더에 포함될 수도 있으나, 특정 조건을 만족할 때에만 포함될 수도 있다. NAL 유닛 타입 정보가 VCL에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 13과 같고, NAL 유닛 타입 정보가 I 슬라이스에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 14와 같다.

nal_unit_header(　) {	Descriptor
forbidden_zero_bit	f(1)
nal _unit_type	u(6)
...	...
if (nal_unit_type == VCL) {
yaw
roll
pitch
delta_yaw
delta_pitch
}
}

nal_unit_header(　) {	Descriptor
forbidden_zero_bit	f(1)
nal _unit_type	u(6)
...	...
if (nal_unit_type == I slice) {
yaw
roll
pitch
delta_yaw
delta_pitch
}
}

본 실시예에서도 HEVC 표준에 정의된 6가지의 NAL 유닛 타입 정보에 더하여 부분 복호화(PD: Partial Decoding) 여부를 나타내는 정보를 포함하는 총 12가지의 I 슬라이스에 대한 NAL 유닛 타입 정보를 정의할 수 있다. 이는 표 5와 같다. 편의상, 본 발명에서는 HEVC 표준을 기준으로 부분 복호화 여부를 나타내는 NAL 유닛 타입을 정의하였으나, 이에 한정되는 것은 아니다. 즉, NAL 유닛 타입 중 부분 복호화 여부를 나타내는 특정 NAL 유닛 타입으로 정의도 가능하며, 표 5는 예시에 불과하다.

도 12는 2차원 평면에 투영된 360 영상 내 디스플레이 영역(1210) 및 복호화 대상 타일(1220)을 나타내는 예시도이다. 복호화 장치(320) 또는 부분 복호화 정보 생성기(310)는 3차원 공간 상의 디스플레이 영역(1010)에 대한 위치정보 및 크기정보로부터 2차원 평면에 투영된 디스플레이 영역(1210)의 픽셀 위치를 결정할 수 있다.

360 영상의 디스플레이 영역에 대한 위치정보 및 크기정보는 표 12 내지 표 14와 같이 3차원 공간 상의 위치정보 및 크기정보로 나타낼 수 있지만, 2차원 평면 상의 위치정보 및 크기정보로도 나타낼 수 있다. 도 13을 참조하여 설명한다.

도 13은 2차원 평면에 투영된 360 영상 내 디스플레이 영역(1310) 및 복호화 대상 타일(1330)을 나타내는 다른 예시도이다.

부분 복호화 정보 생성기(310)는 디스플레이 영역(1310)을 도 13의 점선 사각형(1320)으로 확장하고, 점선 사각형(1320)의 위치정보 및 크기정보를 복호화 대상 영역(타일)을 지시하기 위한 제2 정보로 사용할 수 있다. 이 때, 표 2 내지 표4 및 표 6 내지 표 8에 기재된 신택스 u_ pos , v_ pos , u_width, v_height은 점선 사각형(1320)에 대한 것으로 대체된다.

예컨대, 부분 복호화 정보 생성기(310)는 부분 복호화 수행이 결정되면, 디스플레이 영역(1310)의 위치정보 및 크기정보를 대체하여, 디스플레이 영역(1310)으로부터 확장된 점선 사각형(1320)의 위치정보 및 크기정보로 비트스트림의 헤더 내 상응하는 신택스 값을 변경할 수 있다. 여기서, 위치정보는 점선 사각형(1320)의 기준점의 위치를 나타내고, 크기정보는 기준점으로부터의 폭과 높이를 나타낸다. 이 경우, 부분 복호화부(324)는 위치정보에 따른 기준점의 위치로부터 크기정보에 따른 폭과 높이만큼 연장되어 형성되는 영역으로 점선 사각형(1320)을 정의하고, 점선 사각형(1320)과 오버랩되는 영역을 갖는 타일을 복호화 대상 타일로 결정할 수 있다.

이와 달리, 부분 복호화 정보 생성기(310)는 디스플레이 영역(1310)의 위치정보 및 크기정보를 대체하여, 점선 사각형(1320)의 좌상측 꼭지점 및 우하측 꼭지점에 대한 정보로 비트스트림의 헤더 내 상응하는 신택스 값을 변경할 수도 있다. 이 경우, 부분 복호화부(324)는 좌상측 꼭지점 및 우하측 꼭지점으로부터 연장되어 형성되는 영역을 점선 사각형(1320)으로 정의하고, 점선 사각형(1320)과 오버랩되는 영역을 갖는 타일을 복호화 대상 타일로 결정할 수 있다.

다른 실시예로, 디스플레이 영역(1310)을 도 13의 점선 사각형(1320)으로 확장하고, 점선 사각형(1320)을 이용하여 표 9 내지 표 11에 정의된 최초 타일의 식별정보(topleft _tile_id)와 최후 타일의 식별정보(bottomright _tile_id)를 설정할 수도 있다. 이 경우, 부분 복호화 정보 생성기(310)는 최초 타일의 식별정보로서 점선 사각형(1320)의 좌상측 꼭지점을 포함한 타일의 식별정보와, 최후 타일의 식별정보로서 점선 사각형(1320)의 우하측 꼭지점을 포함한 타일의 식별정보로 비트스트림 내 상응하는 신택스 값을 변경할 수 있다. 부분 복호화부(324)는 최초 타일의 식별정보에 의해 식별되는 타일을 좌상측 타일로, 최후 타일의 식별정보에 의해 식별되는 타일을 우하측 타일로 설정함으로써, 복호화 대상 타일로 결정할 수 있다.

또 다른 실시예로, 디스플레이 영역(1310)은 디스플레이 영역(1310)의 네 꼭지점의 위치정보(픽셀 위치정보)로도 표현될 수도 있다. 이 경우, 부분 복호화 정보 생성기(310)는 디스플레이 영역(1310)의 네 꼭지점의 위치정보(픽셀 위치정보)로 비트스트림 내 상응하는 신택스 값을 변경하고, 부분 복호화부(24)는 네 꼭지점의 위치정보를 이용하여 디스플레이 영역(1310)을 정의하여 디스플레이 영역(1310)과 오버랩되는 영역을 갖는 타일을 복호화 대상 타일로 결정할 수 있다.

또 다른 실시예로, 디스플레이 영역(1310)은 디스플레이 영역(1310)의 네 꼭지점을 포함한 좌상측 타일, 우상측 타일, 좌하측 타일 및 우하측 타일의 식별정보로 표현될 수 있다. 이 경우, 부분 복호화 정보 생성기(310)는 디스플레이 영역(1310)의 네 꼭지점을 포함한 좌상측 타일, 우상측 타일, 좌하측 타일 및 우하측 타일의 식별정보로 비트스트림 내 상응하는 신택스 값을 변경할 수 있다. 부분 복호화부(324)는 좌상측 타일, 우상측 타일, 좌하측 타일 및 우하측 타일의 식별정보를 이용하여 디스플레이 영역(1310)을 정의하고, 디스플레이 영역(1310)과 오버랩되는 영역을 갖는 타일을 복호화 대상 타일로 결정할 수 있다.

도 14는 부호화된 픽처 내 디스플레이 영역(1410), 디스플레이 영역 외 추가 영역(1420) 및 복호화 대상 타일(1430)을 나타내는 예시도이다.

부분 복호화 시, 사용자의 급격한 시점 이동에 따라 부분 복호화가 수행될 하나 이상의 복호화 대상 타일 이외의 나머지 영역(이하, '추가 영역'이라 지칭함)에 대한 복호화도 필요한 경우가 있다. 추가 영역(1420)이 없는 경우, 전술한 바와 같이 복호화 대상 타일만을 복호화하면 되지만, 추가 영역(1420)이 존재하는 경우에는 디스플레이 영역(1410) 및 추가 영역(1420)을 모두 포함하는 타일들이 복호화되어야 한다.

이에 따라, 부분 복호화를 수행할 타일을 지시하기 위한 제2 정보에는 디스플레이 영역(1410) 이외의 추가 영역(1420)을 지시하기 위한 정보가 더 포함될 수 있다. 추가 영역(1420)을 지시하기 위한 정보는 디스플레이 영역의 크기에 대한 비율(예: 1.5, 2.0) 또는 절대적 크기(예: 100, 150)로 정의될 수 있다. 추가 영역(1420)을 지시하기 위한 정보는 SPS, PPS, SEI, 슬라이스 헤더, 및 NAL 유닛 헤더 중 하나 이상의 위치에 부호화될 수 있다. 본 실시예에서 복호화 대상 타일은 디스플레이 영역(1410) 및 추가 영역(1420)을 포함하는 하나 이상의 타일로 결정될 수 있다.

이하, 도 15를 참조하여 도 3의 영상 복호화부(322)가 결정된 각각의 복호화 대상 타일을 복호화하여 영상을 복원하는 과정에 대하여 설명한다. 도 15는 본 발명의 실시예에 따른 영상 복호화부(322)의 세부 구성요소에 대한 블록도이다.

영상 복호화부(322)는 복호화부(1510), 역양자화부(1520), 역변환부(1530), 예측부(1540), 가산기(1550), 필터부(1560) 및 메모리(1570)를 포함한다. 도 15에 도시된 구성요소들은 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.

복호화부(1510)는 도 3의 부분 복호화부(324)의 기능도 수행할 수 있는 하나의 통합적인 구성요소로 구현될 수도 있다. 복호화부(1510)는 비트스트림을 복호화하여 부분 복호화와 관련된 정보를 추출함으로써, 픽처 전체가 아닌 복호화 대상 타일만이 복호화되도록 하거나, 비트스트림 전체가 아닌 부분 복호화를 위해 재구성된 비트스트림만이 복호화되도록 할 수 있다.

복호화부(1510)는 복호화 대상 타일이나 재구성된 비트스트림을 복원하기 위해 필요한 예측 정보와 잔차신호에 대한 정보 등을 추출한다. 복호화부(1510)는 SPS 또는 PPS와 같은 하이 레벨 신택스로부터 CTU(Coding Tree Unit) 사이즈에 대한 정보를 추출하여 CTU의 크기를 결정하고, 복호화 대상 타일을 결정된 크기의 CTU로 분할한다. 그리고 CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할 정보를 추출함으로써 트리 구조를 이용하여 CTU를 분할한다.

복호화부(1510)는 트리 구조의 분할을 통해 복호화하고자 하는 현재블록을 결정하게 되면, 현재블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다. 복호화부(1510)는 예측 타입 정보가 인트라 예측을 지시하는 경우, 현재블록의 인트라 예측정보(인트라 예측 모드)에 대한 신택스 요소를 추출하고, 예측 타입 정보가 인터 예측을 지시하는 경우, 인터 예측정보에 대한 신택스 요소를 추출한다.

한편, 복호화부(1510)는 잔차신호에 대한 정보로서 현재블록의 양자화된 변환계수들에 대한 정보를 추출한다.

역양자화부(1520)는 양자화된 변환계수들을 역양자화하고, 역변환부(1530)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재블록에 대한 잔차블록을 생성한다.

예측부(1540)는 인트라 예측부(1542) 및 인터 예측부(1544)를 포함한다. 인트라 예측부(1542)는 현재블록의 예측 타입인 인트라 예측일 때 활성화되고, 인터 예측부(1544)는 현재블록의 예측 타입인 인트라 예측일 때 활성화된다.

인트라 예측부(1542)는 복호화부(1510)로부터 추출된 인트라 예측 모드에 대한 신택스 요소로부터 복수의 인트라 예측 모드 중 현재블록의 인트라 예측 모드를 결정하고, 인트라 예측 모드에 따라 현재블록 주변의 참조 픽셀들을 이용하여 현재블록을 예측한다.

인터 예측부(1544)는 복호화부(1510)로부터 추출된 인터 예측 모드에 대한 신택스 요소를 이용하여 현재블록의 움직임정보를 결정하고, 결정된 움직임정보를 이용하여 현재블록을 예측한다.

가산기(1550)는 역변환부(1530)로부터 출력되는 잔차블록과 인터 예측부(1544) 또는 인트라 예측부(1542)로부터 출력되는 예측블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.

필터부(1560)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(1570)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 복호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.

지금까지는 도 3에서 도시하는 바와 같이, 복호화 장치(320)가 입력 비트스트림에 포함된 부분 복호화 정보를 복호화함으로써, 하나 이상의 복호화 대상 타일을 결정하고, 복호화 대상 타일에 해당하는 영상 데이터를 복호화하는 영상 복호화 방법에 대하여 설명하였다. 이하, 도 16을 참조하여 복호화 장치 전단에서 복호화 대상 타일을 결정하고, 복호화 장치는 이미 결정된 복호화 대상 타일에 대하여 복호화를 수행하는 경우에 대하여 설명한다.

도 16은 본 발명의 다른 실시예에 따른 영상 복호화 시스템에 대한 블록도이다. 영상 복호화 시스템은 부분 복호화 정보 생성기(1610) 및 복호화 장치(1620)를 포함할 수 있다. 영상 복호화 시스템의 각 구성요소는 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실현하도록 구현될 수도 있다.

부분 복호화 정보 생성기(1610)는 부분 복호화 수행을 결정하는 외부 제어 신호에 따라서, 부호화 장치로부터 수신한 비트스트림에서 복호화되어야 하는 일부분을 추출하여 재구성한 후, 복호화 장치(1620)에 전달한다. 이하, 부분 복호화 정보 생성기(1610)에 의해 재구성된 비트스트림을 입력 비트스트림이라 지칭한다. 부분 복호화를 결정하는 외부 제어 신호는 외부 사용자의 입력, 관심영역 추출 기법 또는 서비스 시나리오에 의한 사전 지정 값 등에 따라 발생하는 신호를 의미할 수 있다.

복호화 장치(1620)는 부분 복호화 정보 생성기(1610)로부터 입력 비트스트림을 수신하여 이를 복호화한다.

본 실시예에서는 부분 복호화를 위해 비트스트림이 재구성되었음을 나타내는 정보를 복호화 장치(1620)로 전달하기만 하면 된다. 부분 복호화 정보 생성기(1610)는 부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 비트스트림의 재구성을 알리는 정보를 설정함으로써, 입력 비트스트림을 생성한다. 입력 비트스트림은 복호화 장치(1620)로 전달된다. 여기서, 기 지정된 필드는 부분 복호화 정보와 관련된 신택스 요소들을 위해서 사용되는 데이터 영역을 의미하며, 부호화 장치에 의해 의미없는 값(null 또는 default 값)으로 부호화된다. 이후, 부분 복호화 수행이 결정되면, 부분 복호화 정보 생성기(1610)에 의해 의미있는 값으로 재설정된다.

본 실시예에 따른 NAL 유닛 헤더의 일례는 표 15와 같다.

nal_unit_header(　) {	Descriptor
forbidden_zero_bit	f(1)
nal _unit_type	u(6)
...	...
pd_ enbled _flag
...
}

표 15를 참조하면, pd_ enalbed _flag는 부분 복호화를 위하여 비트스트림이 재구성되었는지 여부를 나타낸다. 표 15에서는 pd_enabled_flag가 아무 조건 없이(즉, NAL 유닛 타입 정보가 VCL인지 또는 non-VCL인지와 무관하게) 항상 비트스트림의 헤더에 포함되는 경우를 나타내고 있으나, 본 실시예도 다른 실시예들과 마찬가지로 특정 조건을 만족할 때에만 포함될 수도 있다. 즉, NAL 유닛 타입 정보가 VCL에 해당하는 경우 또는 NAL 유닛 타입 정보가 I 슬라이스에 해당하는 경우에 포함될 수도 있다.

다른 실시예로, 별도의 플래그(pd_enabled_flag)가 아닌 부분 복호화를 위한 특정 NAL 유닛 타입 정보를 정의할 수도 있다. 이 경우, 복호화 장치(1620)는 독립 타일의 식별정보가 불연속적으로 되어 있더라도, 전송 오류가 아닌 부분 복호화가 발생한 것으로 간주하여 부분 복호화를 수행할 수 있다.

도 16의 복호화 장치(1620)가 재구성된 비트스트림으로부터 타일 관련 신택스 요소들(표 1 참조)을 복호화하여 픽처를 복수의 타일로 분할하고, 각 타일에 대하여 복호화를 수행하는 과정은 도 15를 참조하여 설명한 내용과 유사하므로 이에 대한 구체적인 설명은 생략한다.

전술한 부분 복호화 정보 생성기가 본 발명에 따른 영상 복호화 시스템에 포함되는 것으로 도시되어 있으나, 반드시 이에 한정되는 것은 아니고 외부에 별도로 구현될 수도 있다.

한편, 전술한 실시예들과 같이 비디오에 대한 부분 복호화가 수행될 경우, 오디오에 대한 복호화는 다음과 같이 수행될 수 있다.

우선, 비디오의 부분 복호화 영역에 해당하는 위치 등의 정보를 이용하여, 해당 위치에 맵핑되는 오디오가 선택하고, 선택된 오디오를 복호화하여 출력할 수 있다. 특히, 360 영상, 파노라믹뷰 영상 또는 기타 공간적 특징을 갖는 영상들은 최근 3D 오디오, 멀티채널 오디오, 멀티 트랙 오디오 등 다양한 포맷의 오디오와 함께 서비스 되고 있다. 예를 들어, 360 공간에서 특정 시점에 해당하는 위치와 각도, 거리에 따른 다양한 방식의 오디오가 제공 가능하다.

따라서, 이러한 영상에 대하여 부분 복호화가 시행될 경우, 부분 복호화 영역은 부분 복호화 정보 생성부에 의해 사전에 결정되어 그 위치정보가 비디오 및 오디오 부호화부로 전달될 수 있다. 전달된 위치정보를 기반으로 비디오의 부분 복호화가 수행되고, 해당 위치, 각도, 거리에 맞는 오디오 복호화가 실시된다. 이때 부분 복호화 정보 생성부는 해당 위치 정보를 오디오 부호화부에 직접 전달할 수 도 있고, 해당 위치의 오디오 트랙, 코멘트리 등의 별도 스트림을 선택하여 오디오 부호화부에 전달할 수 도 있다.

이러한 방법으로 시점에 따른 부분 복호화와 위치에 따른 오디오 스트림 혹은 트랙 혹은 코멘트리 복호화를 결합함으로써, 사용자로 하여금 완전히 몰입하도록 할 수 있는 초실감 미디어 서비스가 가능하다.

도 4 및 도 6 내지 도 8에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4 및 도 6 내지 도 8에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4 및 도 6 내지 도 8는 시계열적인 순서로 한정되는 것은 아니다.

도 4 및 도 6 내지 도 8에 기재된 본 실시예에 따른 영상 복호화 방법은 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 복호화 방법을 구현하기 위한 컴퓨터 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨팅 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

픽처들 각각을 복수의 타일로 분할하여 부호화한 제1 비트스트림을 처리하는 비트스트림 처리 방법에 있어서,
타일 분할 정보 및 영역 정보를 포함하는 상기 제1 비트스트림을 수신하는 단계, 상기 영역 정보는 두 개 이상의 타일들을 포함하는 영역을 허용하고, 상기 픽처들 내에서의 기준 위치를 수평 및 수직 방향에서 각각 정의하는 제1 신택스 요소들 및 상기 기준 위치로부터 연장되는 폭과 높이를 각각 나타내는 제2 신택스 요소들을 포함함;
상기 영역 정보를 이용하여 상기 제1 비트스트림으로부터 재구성된 제2 비트스트림을 생성하는 단계; 및
복호화를 위해 상기 제2 비트스트림을 출력하는 단계
를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 제2 비트스트림을 생성하는 단계는,
상기 제1 비트스트림의 헤더 중 하나인 NAL 유닛 헤더에 포함된 NAL 유닛 타입 정보를 복호화하는 단계; 및
상기 NAL 유닛 타입 정보가 부분 복호화를 허용하는 NAL 유닛을 지시할 때, 상기 NAL 유닛 헤더로부터 상기 영역 정보를 복호화하고, 상기 영역 정보에 의해 지시되는 영역을 포함하는 하나 이상의 복호화 대상 타일을 결정하고 상기 복호화 대상 타일의 부호화 데이터를 추출하여 상기 제2 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 제2 비트스트림을 생성하는 단계는,
상기 제1 비트스트림의 헤더로부터 부분 복호화를 수행할지 여부를 지시하는 플래그를 복호화하는 단계; 및
상기 플래그가 부분 복호화를 지시할 때, 상기 제1 비트스트림의 헤더로부터 상기 영역 정보를 복호화하고, 상기 영역 정보에 의해 지시되는 영역을 포함하는 하나 이상의 복호화 대상 타일을 결정하고 상기 복호화 대상 타일의 부호화 데이터를 추출하여 상기 제2 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 제2 비트스트림을 생성하는 단계는,
상기 제1 비트스트림의 헤더로부터 상기 영역 정보를 복호화하고, 부분 복호화를 수행할 영역이 상기 영역 정보에 의해 지시되는지 여부를 판단하는 단계; 및
상기 부분 복호화를 수행할 영역이 상기 영역 정보에 의해 지시될 때, 상기 영역 정보에 의해 지시되는 영역을 포함하는 하나 이상의 타일을 복호화 대상 타일로 결정하고 상기 복호화 대상 타일의 부호화 데이터를 추출하여 상기 제2 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 영역 정보는 디스플레이 영역 이외의 추가 영역을 지시하기 위한 정보를 더 포함하고,
상기 추가 영역은 상기 디스플레이 영역의 크기에 대한 비율 또는 절대적 크기로 정의되며,
상기 영역 정보에 의해 정의되는 영역은 상기 디스플레이 영역 및 상기 추가 영역 중 적어도 하나와 오버랩되는 영역을 갖는 하나 이상의 타일로 결정되는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 영역 정보는, 상기 제1 비트스트림의 헤더 중 하나인 NAL 유닛 헤더에 포함된 NAL 유닛 타입 정보가 VCL 또는 I 슬라이스에 해당하는 경우에 상기 제1 비트스트림의 헤더에 포함되는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 제2 비트스트림을 생성하는 단계는,
상기 제1 비트스트림에 포함되는 픽처들의 부호화 데이터로부터 상기 영역 정보에 의해 정의되는 영역의 부호화 데이터만을 추출하는 단계; 및
상기 기준 위치를 정의하는 제1 신택스 요소들 및 상기 폭과 높이를 정의하는 상기 제2 신택스 요소들을 이용하여 상기 제1 비트스트림의 헤더 내의 신택스들을 수정하는 단계
를 포함하는 것을 특징으로 하는 방법.
픽처들 각각을 복수의 타일로 분할하여 부호화한 제1 비트스트림을 처리하는 비트스트림 처리 방법에 의해 생성된 제2 비트스트림을 저장하는, 디코더에 의해 판독 가능한, 저장 매체로서,
상기 처리 방법은,
타일 분할 정보 및 영역 정보를 포함하는 상기 제1 비트스트림을 수신하는 단계, 상기 영역 정보는 두 개 이상의 타일들을 포함하는 영역을 허용하고, 상기 픽처들 내에서의 기준 위치를 수평 및 수직 방향에서 각각 정의하는 제1 신택스 요소들 및 상기 기준 위치로부터 연장되는 폭과 높이를 각각 나타내는 제2 신택스 요소들을 포함함;
상기 영역 정보를 이용하여 상기 제1 비트스트림으로부터 재구성된 제2 비트스트림을 생성하는 단계; 및
복호화를 위해 상기 제2 비트스트림을 출력하는 단계
를 포함하는 것을 특징으로 하는, 디코더에 의해 판독 가능한 비트스트림을 저장하는 저장 매체.