KR102412410B1

KR102412410B1 - 타일 기반 360도 영상 전송 방법 및 장치

Info

Publication number: KR102412410B1
Application number: KR1020200176808A
Authority: KR
Inventors: 정종범; 이순빈; 류은석
Original assignee: 성균관대학교산학협력단
Priority date: 2020-07-14
Filing date: 2020-12-16
Publication date: 2022-06-23
Also published as: KR20220008713A

Abstract

본 발명은 타일 기반 360도 영상 전송 방법 및 장치에 관한 것으로, 본 발명의 일 실시예에 따른 타일 기반 360도 영상 전송 방법은, 입력 영상을 기본 계층의 비트스트림 및 적어도 하나의 타일로 이루어진 타일 계층의 비트스트림으로 부호화하는 단계, 360도 영상 렌더링 장치로부터 수신된 사용자 시점 정보를 이용해, 상기 부호화된 타일 계층의 비트스트림에서 사용자 시점 영상에 포함되는 목표 타일을 선택하는 단계, 상기 선택된 목표 타일에 따라 목표 타일 데이터를 추출하고, 상기 추출된 목표 타일 데이터에서 원본 파라미터 셋을 수정하여 대체 파라미터 셋을 생성하고, 상기 생성된 대체 파라미터 셋을 이용하여 타일 비트스트림을 생성하는 단계, 및 상기 360도 영상 렌더링 장치에 상기 부호화된 기본 계층의 비트스트림 및 상기 생성된 타일 비트스트림을 360도 영상 렌더링 장치로 스트리밍하는 단계를 포함한다.

Description

타일 기반 360도 영상 전송 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING 360 DEGREE VIDEO BASED ON TILE}

본 발명은 타일 기반 360도 영상 전송 방법 및 장치에 관한 것이다.

기존의 2D 원근(perspective) 영상 렌더링과는 달리, 머리장착형 영상장치를 통한 360도 영상 렌더링 시 사용자의 FoV(Field of view)만큼, 즉 영상의 일부만이 화면에 출력된다. 몰입형 가상 현실을 위한 360도 영상 스트리밍 시 초고해상도 영상이 필요한 것을 감안하여, 사용자 시점을 판단하여 그에 해당하는 360도 영상의 일부만을 전송하는 기술이 사용될 수 있다.

그러나, 단순히 영상을 픽셀 수준에서 분할하여 부호화한 후 비트스트림을 전송하는 것은 서버에 추가적인 연산량과 저장 공간을 요구하므로 바람직하지 않다. 따라서, MPEG(Moving Picture Experts Group)에서는 부호화된 비트스트림 수준에서 직사각형 형태의 영역, 즉 타일을 추출할 수 있도록 하는 MCTS(Motion-constrained tile set) 기법과 비트스트림 내에 포함된 타일에 대한 정보를 포함하는 EIS(Extraction Information Sets) SEI(Supplemental enhancement information) 메시지를 정의하였고, 이는 HEVC(High Efficiency Video Coding)에 포함되었다.

그러나, 타일 기반 360도 영상 스트리밍 시 사용자가 시점을 빠르게 전환하면 새로운 시점에 해당하는 영상이 전송되기 전까지는 사용자는 어떤 영상도 시청하지 못하는 문제가 있다.

한편, HEVC 표준을 따르는 참조 소프트웨어인 HM(HEVC Test Model)에 포함된 타일 추출기는 타일 한 개 당 한 개의 타일 비트스트림을 생성한다. 타일의 개수를 증가시킬 때 타일의 크기가 줄어들어 사용자 시점 영역의 크기가 줄어들어 대역폭이 절감된다. 이 경우 사용자 시점에 해당하는 타일이 복수 개가 됨을 감안했을 때, 클라이언트 단에서 복호화해야 할 비트스트림의 개수는 기존 스트리밍 기법 대비 늘어나게 된다.

본 발명의 실시예들은 사용자 시점 영역에 해당하는 다수의 360도 영상 타일 전송 시, 연산량 및 처리 시간을 감소시켜 360도 영상을 위한 저지연 전송 및 렌더링을 제공하기 위한, 타일 기반 360도 영상 전송 방법 및 장치를 제공하고자 한다.

다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위의 환경에서도 다양하게 확장될 수 있을 것이다.

본 발명의 일 실시예에 따르면, 360도 영상 전송 장치에 의해 수행되는 360도 영상 전송 방법에 있어서, 입력 영상을 기본 계층의 비트스트림 및 적어도 하나의 타일로 이루어진 타일 계층의 비트스트림으로 부호화하는 단계; 360도 영상 렌더링 장치로부터 수신된 사용자 시점 정보를 이용해, 상기 부호화된 타일 계층의 비트스트림에서 사용자 시점 영상에 포함되는 목표 타일을 선택하는 단계; 상기 선택된 목표 타일에 따라 목표 타일 데이터를 추출하고, 상기 추출된 목표 타일 데이터에서 원본 파라미터 셋을 수정하여 대체 파라미터 셋을 생성하고, 상기 생성된 대체 파라미터 셋을 이용하여 타일 비트스트림을 생성하는 단계; 및 상기 360도 영상 렌더링 장치에 상기 부호화된 기본 계층의 비트스트림 및 상기 생성된 타일 비트스트림을 스트리밍하는 단계를 포함하는, 타일 기반 360도 영상 전송 방법이 제공될 수 있다.

상기 타일 비트스트림을 생성하는 단계는, 추출해야 할 목표 타일들의 인덱스들이 주어지면, NAL(Network abstraction layer) 유닛 단위로 구성된 비트스트림을 분석하여 추출 시 필요한 목표 타일 개수 정보, 영상 크기 정보, 타일 크기 집합 정보 및 CTU 크기 정보 중에서 적어도 하나를 저장할 수 있다.

상기 타일 비트스트림을 생성하는 단계는, 상기 원본 파라미터 셋을 수정하여 슬라이스 세그먼트 주소 집합, 영상 크기, 타일 크기 집합, 및 루프 필터 옵션 중에서 적어도 하나를 반영한 대체 파라미터 셋을 생성할 수 있다.

상기 타일 비트스트림을 생성하는 단계는, 시퀀스 파라미터 셋(SPS, sequence parameter set)에서 루마 샘플의 픽처 넓이(pic_width_in_luma_samples)와 루마 샘플에서의 픽처 높이(pic_height_in_luma_samples)를 수정하여 출력 영상의 크기를 반영할 수 있다.

상기 타일 비트스트림을 생성하는 단계는, 픽처 파라미터 셋(PPS, picture parameter set)에서 타일 행 개수 정보(num_tile_rows_minus1)와 타일 열 개수 정보(num_tile_columns_minus1)를 수정하여 타일의 열 및 행 개수를 수정할 수 있다.

상기 타일 비트스트림을 생성하는 단계는, 타일이 비대칭적으로 분할되었을 경우, 픽처 파라미터 셋(PPS)에서 타일 행의 높이 정보(row_height_minus1) 및 타일 열의 폭 정보(column_width_minus1) 배열을 수정하여 각 타일의 크기를 수정할 수 있다.

상기 타일 비트스트림을 생성하는 단계는, VCL(Video Coding Layer) NAL(Network Abstraction Layer) 유닛인 슬라이스(slice)의 헤더(header) 정보를 수정할 수 있다.

상기 타일 비트스트림을 생성하는 단계는, 대체 파라미터 셋에 포함된 시퀀스 파라미터 셋(SPS) 및 픽처 파라미터 셋(PPS)을 사용해 픽쳐 객체를 생성하고, 추출할 타일의 인덱스를 참고하여 상기 생성된 픽처 객체로부터 각 슬라이스의 첫 번째 코딩 트리 유닛(CTU, Coding tree unit)의 순차 스캔(raster scan) 주소를 구할 수 있다.

상기 타일 비트스트림을 생성하는 단계는, 상기 구한 순차 스캔 주소를 타일 스캔(tile scan) 주소로 변환하고 상기 변환된 타일 스캔 주소를 슬라이스에 반영하여 슬라이스 세그먼트 주소를 수정할 수 있다.

상기 슬라이스 세그먼트 주소는, 픽쳐(picture)에 포함된 슬라이스 내의 첫 번째 코딩 트리 유닛의 순차 스캔 주소를 나타내고, 슬라이스 객체에 포함된 픽쳐 객체로부터 도출될 수 있다.

한편, 본 발명의 다른 실시예에 따르면, 입력 영상을 기본 계층의 비트스트림 및 적어도 하나의 타일로 이루어진 타일 계층의 비트스트림으로 부호화하는 영상 부호화기; 360도 영상 렌더링 장치로부터 수신된 사용자 시점 정보를 이용해, 상기 부호화된 타일 계층의 비트스트림에서 사용자 시점 영상에 포함되는 목표 타일을 선택하는 사용자 시점 타일 선택기; 상기 선택된 목표 타일에 따라 목표 타일 데이터를 추출하고, 상기 추출된 목표 타일 데이터에서 원본 파라미터 셋을 수정하여 대체 파라미터 셋을 생성하고, 상기 생성된 대체 파라미터 셋을 이용하여 타일 비트스트림을 생성하는 다중 타일 추출기; 및 상기 360도 영상 렌더링 장치에 상기 부호화된 기본 계층의 비트스트림 및 상기 생성된 타일 비트스트림을 전송하는 송신기를 포함하는, 타일 기반 360도 영상 전송 장치가 제공될 수 있다.

상기 다중 타일 추출기는, 추출해야 할 목표 타일들의 인덱스들이 주어지면, NAL(Network abstraction layer) 유닛 단위로 구성된 비트스트림을 분석하여 추출 시 필요한 목표 타일 개수 정보, 영상 크기 정보, 타일 크기 집합 정보 및 CTU 크기 정보 중에서 적어도 하나를 저장할 수 있다.

상기 다중 타일 추출기는, 상기 원본 파라미터 셋을 수정하여 슬라이스 세그먼트 주소 집합, 영상 크기, 타일 크기 집합, 및 루프 필터 옵션 중에서 적어도 하나를 반영한 대체 파라미터 셋을 생성할 수 있다.

상기 다중 타일 추출기는, 시퀀스 파라미터 셋(SPS, sequence parameter set)에서 루마 샘플의 픽처 넓이(pic_width_in_luma_samples)와 루마 샘플에서의 픽처 높이(pic_height_in_luma_samples)를 수정하여 출력 영상의 크기를 반영할 수 있다.

상기 다중 타일 추출기는, 픽처 파라미터 셋(PPS, picture parameter set)에서 타일 행 개수 정보(num_tile_rows_minus1)와 타일 열 개수 정보(num_tile_columns_minus1)를 수정하여 타일의 열 및 행 개수를 수정할 수 있다.

상기 다중 타일 추출기는, 타일이 비대칭적으로 분할되었을 경우, 픽처 파라미터 셋(PPS)에서 타일 행의 높이 정보(row_height_minus1) 및 타일 열의 폭 정보(column_width_minus1) 배열을 수정하여 각 타일의 크기를 수정할 수 있다.

상기 다중 타일 추출기는, VCL(Video Coding Layer) NAL(Network Abstraction Layer) 유닛인 슬라이스(slice)의 헤더(header) 정보를 수정할 수 있다.

상기 다중 타일 추출기는, 대체 파라미터 셋에 포함된 시퀀스 파라미터 셋(SPS) 및 픽처 파라미터 셋(PPS)을 사용해 픽쳐 객체를 생성하고, 추출할 타일의 인덱스를 참고하여 상기 생성된 픽처 객체로부터 각 슬라이스의 첫 번째 코딩 트리 유닛(CTU, Coding tree unit)의 순차 스캔(raster scan) 주소를 구할 수 있다.

상기 다중 타일 추출기는, 상기 구한 순차 스캔 주소를 타일 스캔(tile scan) 주소로 변환하고 상기 변환된 타일 스캔 주소를 슬라이스에 반영하여 슬라이스 세그먼트 주소를 수정할 수 있다.

한편, 본 발명의 다른 실시예에 따르면, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 입력 영상을 기본 계층의 비트스트림 및 적어도 하나의 타일로 이루어진 타일 계층의 비트스트림으로 부호화하는 단계; 360도 영상 렌더링 장치로부터 수신된 사용자 시점 정보를 이용해, 상기 부호화된 타일 계층의 비트스트림에서 사용자 시점 영상에 포함되는 목표 타일을 선택하는 단계; 상기 선택된 목표 타일에 따라 목표 타일 데이터를 추출하고, 상기 추출된 목표 타일 데이터에서 원본 파라미터 셋을 수정하여 대체 파라미터 셋을 생성하고, 상기 생성된 대체 파라미터 셋을 이용하여 타일 비트스트림을 생성하는 단계; 및 상기 360도 영상 렌더링 장치에 상기 부호화된 기본 계층의 비트스트림 및 상기 생성된 타일 비트스트림을 스트리밍하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명의 실시예들은 사용자 시점 영역에 해당하는 다수의 360도 영상 타일 전송 시, 연산량 및 처리 시간을 감소시켜 360도 영상을 위한 저지연 전송 및 렌더링을 제공할 수 있다.

본 발명의 실시예들은 몰입형 미디어를 위한 가상 현실(virtual reality, VR) 기술을 응용하여 초고화질의 360도 영상을 타일 기반 부호화 및 전송 시, 다수의 타일을 추출한 후 단일 비트스트림을 생성하는 다중 타일 추출기를 위한 메타데이터를 정의함으로써, 사용자 시점 영역에 해당하는 다수의 360도 영상 타일 전송 시 연산량 및 처리 시간을 감소하여 360도 영상을 위한 저지연 전송 및 렌더링을 제공할 수 있다.

본 발명의 실시예들은 360도 영상 전체에 대한 저화질 비트스트림을 생성하여 고화질의 타일과 같이 전송함으로써, 고화질 저지연 스트리밍이 가능하고, 종래의 스트리밍 방식 대비 대역폭을 절감할 수 있고 복호화 연산량을 감소시킬 수 있다.

본 발명의 실시예들은 타일 스트리밍 시 단일 타일 추출기보다는 복수 개의 타일을 포함하는 단일 비트스트림을 출력함으로써, 다중 타일 추출기가 더 적은 수의 복호기를 클라이언트에 요구하므로 더 효율적인 스트리밍 환경을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 타일 기반 360도 영상 전송 시스템을 나타낸 구성도이다.
도 2는 본 발명의 일 실시예에 따른 다중 타일 추출기의 기능 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 생성된 타일 비트스트림 구조를 나타낸 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에서 사용되는 순차 스캔 주소와 타일 스캔 주소를 나타낸 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 발명의 일 실시예의 적용 범위는 영상 전송에서의 부가정보를 처리하는 객체를 다루며, 이는 사용자 단말, 서버, 중계 시스템 및 라우터 등을 포함할 수 있다. 또한, 본 발명의 일 실시예의 부가 정보 구문(Syntax) 및 의미론(Semantics)은 실감형 미디어를 위한 실시간 스트리밍 시스템에 적용가능하며, (1) 세션(Session) 정보를 포함하는 고수준 구문(High-level Syntax, HLS) 프로토콜을 통해 전해질 수도 있고, (2) 비디오 표준의 SEI, VUI 또는 슬라이스 헤더(Slice Header) 등의 패킷 단위에서 전해질 수도 있고, (3) 비디오 파일을 설명(Descript)하는 별도의 파일로(예: DASH(Dynamic adaptive streaming over HTTP) MPD(Media presentation description)) 전달될 수 있다.

도 1은 본 발명의 일 실시예에 따른 타일 기반 360도 영상 전송 시스템을 나타낸 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 타일 기반 360도 영상 전송 시스템(10)은 서버로 동작하는 360도 영상 전송 장치(100) 및 클라이언트로 동작하는 360도 영상 렌더링 장치(200)를 포함한다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 타일 기반 360도 영상 전송 시스템(10)이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 타일 기반 360도 영상 전송 시스템(10)이 구현될 수 있다.

본 발명의 일 실시예는 사용자의 머리 움직임 추적이 가능한 머리 장착형 영상장치 (head-mounted display, HMD)를 통한 타일 기반 360도 영상 전송 및 렌더링 시, 타일 개수만큼의 비트스트림을 생성하는 종래의 타일 추출기와는 달리 복수 개의 타일을 포함하는 하나의 비트스트림을 생성하는 다중 타일 추출기의 추출 및 메타데이터 기록 기술, 표준 신호 체계 규격(구문과 의미론)에 관한 것이다. 본 발명의 일 실시예는 타일 기반 360도 영상 전송 시스템(10)에 적용이 가능하다.

이하, 도 1의 타일 기반 360도 영상 전송 시스템(10)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.

우선, 360도 영상 전송 장치(100)는 사용자 시점 타일 선택기(110), 영상 부호화기(120), 다중 타일 추출기(130) 및 송신기(140)를 포함한다.

도 1에 도시된 바와 같이, 360도 영상 전송 장치(100)는 사용자 시점에 해당하는 영역을 고화질의 타일로 전송하고, 전체 영상에 대해서는 저화질의 비트스트림으로 전송하는 타일 기반 360도 영상 스트리밍을 제공한다. 영상 부호화기(120)는 영상을 타일 계층과 기본 계층으로 나누어서 부호화한다. 저화질의 비트스트림은 기본 계층으로 나타내어지고, 고화질의 타일은 타일 계층으로 나타내어진다. 기본 계층은 저화질이고, 비-모션 제한된 타일 세트(non-MCTS, non Motion-constrained tile set)이고, 타일 계층은 고화질이고, 모션 제한된 타일 세트(MCTS, Motion-constrained tile set)이다. 360도 영상 전송 장치(100)는 360도 영상 렌더링 장치(200)로부터 사용자 시점 정보를 전송 받고 사용자 시점 타일 선택기(110)를 통해 사용자 시점에 해당하는 사용자 시점 타일 정보를 선택하여 다중 타일 추출기(130)로 전달한다. 이후 다중 타일 추출기(130)는 목표 타일들을 추출 후 단일 비트스트림을 생성하여 전송하고, 기본 계층 비트스트림은 이와 상관없이 전송된다.

한편, 360도 영상 렌더링 장치(200)는 수신기(210), 영상 복호화기(220), 사용자 시점 렌더러(230) 및 머리장착형 영상 장치(240)를 포함한다.

360도 영상 렌더링 장치(200)는 타일 계층 및 기본 계층에 대응하는 비트 스트림을 수신기(210)를 통해 수신한다. 그리고 영상 복호화기(220)는 각 계층에 대응하는 비트 스트림을 복호화하여 타일 계층과 기본 계층으로 나누어서 복호화한다. 이때, 영상 복호화기(220)는 타일 계층 및 기본 계층에 대응하는 2개의 복호화기로 비트 스트림을 복호화할 수 있다. 이후 사용자 시점 렌더러(230)로 복호화된 타일 계층 영상과 복호화된 기본 계층 영상이 전달될 수 있다. 이후, 사용자 시점 렌더러(230)로 영상이 전달되면 사용자 시점의 영상이 생성되어 머리장착형 영상장치에 표현된다. 이렇게, 360도 영상 전송 장치(100)가 저화질, 고화질 계층을 나누어 전송함으로써 고화질 저지연 몰입형 영상 제공이 가능하다.

따라서, 본 발명의 일 실시예는 360도 영상 전체에 대한 저화질 비트스트림을 생성하여 고화질의 타일과 같이 전송함으로써, 고화질 저지연 스트리밍이 가능하고, 종래의 스트리밍 방식 대비 대역폭을 절감할 수 있고, 복호화 연산량을 감소시킬 수 있다.

또한, 본 발명의 일 실시예는 타일 스트리밍 시 단일 타일 추출기보다는 복수 개의 타일을 포함하는 단일 비트스트림을 출력하는 다중 타일 추출기(130)를 이용함으로써, 더 적은 수의 복호기를 클라이언트에 요구하므로 더 효율적인 스트리밍 환경을 제공할 수 있다.

이와 관련하여, 다중 타일 추출기(130)로 입력되는 입력 픽쳐와 출력되는 출력 픽쳐의 크기가 같을 수 있다. 또는 다중 타일 추출기로 입력되는 입력 픽쳐와 출력되는 출력 픽쳐의 크기가 다를 수 있다.

이에 따라, 360도 영상 전송 장치(100)는 복수 개의 타일이 입력 영상의 일부 영역에 위치할 경우 출력 영상의 크기를 추출할 타일에 맞게 축소하여 복호화할 영상의 크기를 줄일 수 있다.

이때, 출력 비트스트림은 종래의 영상 복호화 시 필요한 레벨(level) 보다 더 낮은 레벨을 요구하므로 360도 영상 렌더링 장치(200)가 부담하는 복잡도를 감소시킬 수 있다.

도 2는 본 발명의 일 실시예에 따른 다중 타일 추출기의 기능 흐름도이다.

본 발명의 일 실시예에 따른 타일 기반 360도 영상 전송 장치(100)는 다중 타일을 추출하고 추출된 다중 타일이 포함된 단일 비트스트림을 생성한다. 이를 통해, 본 발명의 일 실시예에 따른 타일 기반 360도 영상 전송 장치(100)는 360도 영상을 스트리밍하는 시스템 환경에서 클라이언트 단의 연산량 및 지연 시간을 줄일 수 있다. 사용자 시점이 변경된 후 해당 시점에 포함되는 타일들이 결정되면, 360도 영상 전송 장치(100)는 전체 영상에 대한 저화질 비트스트림을 전송하면서 동시에 고화질의 사용자 시점 타일들을 추출하여 전송한다. 이때, 360도 영상 렌더링 장치(200)는 복호화된 저화질 영상으로 사용자 시점을 렌더링하여 영상을 일시적으로 보여주고 이후 고화질 영상을 머리장착형 영상장치에 재주사함으로써 사용자에게 몰입감 있는 경험을 제공할 수 있다.

본 발명의 일 실시예에 따른 타일 기반 360도 영상 전송 시스템(10)은 다중 타일 추출을 위해 타일로 분할되어 구성된 비트스트림의 구조 정보를 이용한다. 도 2는 다중 타일 추출기(130)에서의 복수 개의 타일을 추출하여 단일 비트스트림을 생성하는 과정을 보여준다.

단계 S101에서, 다중 타일 추출기(130)는 목표 타일 인덱스 집합을 입력 옵션으로 입력받는다.

단계 S102에서, 다중 타일 추출기(130)는 원본 PPS(picture parameter set)를 해석한다. 추출해야 할 목표 타일들의 인덱스들이 주어지면, 다중 타일 추출기(130)는 NAL(Network abstraction layer) 유닛 단위로 구성된 비트스트림을 분석하여 추출 시 필요한 정보를 저장한다. 추출 시 필요한 정보에는 목표 타일 개수, 영상 크기, 타일 크기 집합 및 CTU 크기 중에서 적어도 하나가 포함될 수 있다. 상기 정보들은 비트스트림 복호화 시 필요한 정보들을 가지고 있는 non-VCL(video coding layer) NAL 유닛인 VPS(video parameter set), SPS(sequence parameter set), PPS(picture parameter set)에 저장된다. 특히, SPS는 픽쳐의 크기를 포함하고, PPS는 타일 활성화 여부, 타일의 열 및 행 개수, 각 타일의 크기, 루프 필터(loop filter) 옵션 등을 포함한다. 다중 타일 추출기(130)는 비트스트림 복호화 시 필요한 정보들을 가지고 있는 NAL 유닛인 VPS(video parameter set), SPS(sequence parameter set), PPS(picture parameter set)에서 영상 크기, 타일 크기 집합, Coding Tree Unit(CTU) 크기 등을 가져온다.

이후, 단계 S103에서, 다중 타일 추출기(130)는 EIS(extraction information sets) SEI(supplemental enhancement information) 메시지를 해석하여 MCTS(Motion-constrained tile set) id, 슬라이스 정보, 원본 파라미터 셋(VPS, SPS, PPS) 등을 가져와 저장한다.

단계 S104에서, 다중 타일 추출기(130)는 목표 타일들을 포함한 슬라이스들을 탐색 및 추출한다.

단계 S105에서, 다중 타일 추출기(130)는 추출 완료 후 목표 타일들에 따라 원본 파라미터 셋을 수정하여 슬라이스 세그먼트 주소 집합, 영상 크기, 타일 크기 집합 및 루프 필터 옵션 중에서 적어도 하나가 반영한 대체 파라미터 셋을 생성한다.

특히, 다중 타일 추출기(130)는 시퀀스 파라미터 셋(SPS, sequence parameter set)에서 루마 샘플의 픽처 넓이(pic_width_in_luma_samples)와 루마 샘플에서의 픽처 높이(pic_height_in_luma_samples)를 수정하여 출력 영상의 크기를 반영할 수 있다. 다중 타일 추출기(130)는 픽처 파라미터 셋(PPS, picture parameter set)에서 타일 행 개수 정보(num_tile_rows_minus1)와 타일 열 개수 정보(num_tile_columns_minus1)를 수정하여 타일의 열 및 행 개수를 수정할 수 있다.

또한, 다중 타일 추출기(130)는 타일이 비대칭적으로 분할되었을 경우, 픽처 파라미터 셋(PPS)에서 타일 행의 높이 정보(row_height_minus1) 및 타일 열의 폭 정보(column_width_minus1) 배열을 수정하여 각 타일의 크기를 수정할 수 있다.

다중 타일 추출기(130)는 VCL(Video Coding Layer) NAL(Network Abstraction Layer) 유닛인 슬라이스(slice)의 헤더(header) 정보를 수정할 수 있다.

슬라이스 세그먼트 주소는 픽쳐(picture) 에 포함된 슬라이스 내의 첫 번째 CTU의 순차 스캔 (raster scan) 주소를 나타내고, 슬라이스 객체에 포함된 픽쳐 객체로부터 도출가능하다.

다중 타일 추출기(130)는 대체 파라미터 셋에 포함된 시퀀스 파라미터 셋(SPS) 및 픽처 파라미터 셋(PPS)을 사용해 픽쳐 객체를 생성하고, 추출할 타일의 인덱스를 참고하여, 생성된 픽처 객체로부터 각 슬라이스의 첫 번째 코딩 트리 유닛(CTU, Coding tree unit)의 순차 스캔(raster scan) 주소를 구할 수 있다. 다중 타일 추출기(130)는 출력 비트스트림에 포함될 타일 인덱스들이 주어지면 픽쳐 객체를 참조하여 순차 스캔(raster-scan) 구조의 코딩 트리 유닛(coding tree unit, CTU) 단위 주소를 가져올 수 있다.

이후, 다중 타일 추출기(130)는 순차 스캔 주소를 타일 스캔(tile scan) 주소로 변환하고 슬라이스에 반영하여 슬라이스 세그먼트 주소를 수정한다.

단계 S106에서, 다중 타일 추출기(130)는 비트스트림에 삽입하기 위해 파라미터 셋을 슬라이스 헤더와 같이 부호화를 진행한다.

이후, 단계 S107에서, 다중 타일 추출기(130)는 추출된 목표 타일/슬라이스들을 비트스트림에 입력함으로써, 다중 타일을 포함한 단일 비트스트림을 생성한다. 이렇게 단일 비트스트림 생성 시 복수 개의 비트스트림들을 처리할 때 보다 복호화 연산량 및 처리 시간을 감소시킬 수 있다.

도 3은 본 발명의 일 실시예에 따라 생성된 타일 비트스트림 구조를 나타낸 도면이다.

도 3에 도시된 바와 같이, 타일 기반의 비트스트림에는 NAL 유닛 단위로 구성된 대체 VPS, 대체 SPS, 대체 PPS와, 복수의 목표 타일/슬라이스 등으로 구성되어 있다.

도 4 및 도 5는 본 발명의 일 실시예에서 사용되는 순차 스캔 주소와 타일 스캔 주소를 나타낸 도면이다.

도 4 및 도 5에는 슬라이스 #0 내지 #3에 대응되는 타일 #0 내지 #3이 포함된 타일/슬라이스 구조(301, 302)가 도시되어 있다.

도 4는 순차 스캔 주소로 이루어져 있으며, 슬라이스 세그먼트 주소가 왼쪽 상단 첫번째 줄부터 0, 1, 2, …, 9까지 지정되어 있고, 두번째 줄부터 10, 11, …, 16까지 지정되어 있다.

이와 다르게, 도 5는 타일 스캔 주소로 이루어져 있다. 슬라이스 세그먼트 주소가 슬라이스 #0 안에 0, 1, 2, …, 9까지 지정되어 있고, 다음으로 슬라이스 #1 안에 10, 11, …, 16까지 지정되어 있다.

다중 타일 추출기(130)는 도 4에 도시된 순차 스캔 주소를 도 5에 도시된 타일 스캔 주소로 변환하고 슬라이스에 반영하여 슬라이스 세그먼트 주소를 수정할 수 있다.

한편, 본 발명의 일 실시예에서 사용되는 표준 신호 체계 규격에 대해 설명하기로 한다.

본 발명의 일 실시예의 핵심 신호 체계는 비디오 수신 및 렌더링을 담당하는 머리장착형 영상장치가 360도 영상 스트리밍 360도 영상 전송 장치(100)로부터 전달받는 비트스트림에 포함된 타일 크기, 위치 및 개수 정보들을 포함한다.

본 발명의 일 실시예에서 다루는 신호 체계는 상위 수준 구문 프로토콜을 통해 전해질 수 있고, SEI 메시지를 통해 전해질 수도 있으며, 영상 파일을 설명하는 별도의 파일(예: MPEG DASH의 MPD)로 전달될 수도 있다.

다중 타일 비트스트림에 대한 신호 체계 규격이다. 표에 나온 u(n)는 통상 프로그래밍 언어에서 부호가 없는(unsigned) 'n' 비트 수를 의미한다.

한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.

한편, 상술한 다양한 실시예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

또한, 상술한 다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 360도 영상 전송 장치
110: 영상 부호화기
120: 사용자 시점 타일 선택기
130: 다중 타일 추출기
140: 송신기
200: 360도 영상 렌더링 장치
210: 수신기
210: 영상 복호화기
220: 사용자 시점 렌더러
240: 머리장착형 영상 장치

Claims

360도 영상 전송 장치에 의해 수행되는 360도 영상 전송 방법에 있어서,
입력 영상을 비-모션 제한된(non-motion-constrained) 기본 계층의 비트스트림 및 모션 제한된(motion-constrained) 적어도 하나의 타일로 이루어진 타일 계층의 비트스트림으로 부호화하는 단계;
360도 영상 렌더링 장치로부터 수신된 사용자 시점 정보를 이용해, 상기 부호화된 타일 계층의 비트스트림에서 사용자 시점 영상에 포함되는 목표 타일을 선택하는 단계;
상기 선택된 목표 타일에 따라 목표 타일 데이터를 추출하고, 상기 추출된 목표 타일 데이터에서 원본 파라미터 셋을 수정하여 대체 파라미터 셋을 생성하고, 상기 생성된 대체 파라미터 셋을 이용하여 다중 타일을 포함한 단일의 타일 비트스트림을 생성하는 단계; 및
상기 360도 영상 렌더링 장치에 상기 부호화된 기본 계층의 비트스트림 및 상기 생성된 단일의 타일 비트스트림을 스트리밍하는 단계를 포함하고,
상기 타일 계층의 비트스트림은 상기 기본 계층의 비트스트림에 비해 상대적으로 고화질인, 타일 기반 360도 영상 전송 방법.
제1항에 있어서,
상기 타일 비트스트림을 생성하는 단계는,
추출해야 할 목표 타일들의 인덱스들이 주어지면, NAL(Network abstraction layer) 유닛 단위로 구성된 비트스트림을 분석하여 추출 시 필요한 목표 타일 개수 정보, 영상 크기 정보, 타일 크기 집합 정보 및 CTU 크기 정보 중에서 적어도 하나를 저장하는, 타일 기반 360도 영상 전송 방법.
제1항에 있어서,
상기 타일 비트스트림을 생성하는 단계는,
상기 원본 파라미터 셋을 수정하여 슬라이스 세그먼트 주소 집합, 영상 크기, 타일 크기 집합, 및 루프 필터 옵션 중에서 적어도 하나를 반영한 대체 파라미터 셋을 생성하는, 타일 기반 360도 영상 전송 방법.
제1항에 있어서,
상기 타일 비트스트림을 생성하는 단계는,
시퀀스 파라미터 셋(SPS, sequence parameter set)에서 루마 샘플의 픽처 넓이(pic_width_in_luma_samples)와 루마 샘플에서의 픽처 높이(pic_height_in_luma_samples)를 수정하여 출력 영상의 크기를 반영하는, 타일 기반 360도 영상 전송 방법.
제1항에 있어서,
상기 타일 비트스트림을 생성하는 단계는,
픽처 파라미터 셋(PPS, picture parameter set)에서 타일 행 개수 정보(num_tile_rows_minus1)와 타일 열 개수 정보(num_tile_columns_minus1)를 수정하여 타일의 열 및 행 개수를 수정하는, 타일 기반 360도 영상 전송 방법.
제1항에 있어서,
상기 타일 비트스트림을 생성하는 단계는,
타일이 비대칭적으로 분할되었을 경우, 픽처 파라미터 셋(PPS)에서 타일 행의 높이 정보(row_height_minus1) 및 타일 열의 폭 정보(column_width_minus1) 배열을 수정하여 각 타일의 크기를 수정하는, 타일 기반 360도 영상 전송 방법.
제1항에 있어서,
상기 타일 비트스트림을 생성하는 단계는,
VCL(Video Coding Layer) NAL(Network Abstraction Layer) 유닛인 슬라이스(slice)의 헤더(header) 정보를 수정하는, 타일 기반 360도 영상 전송 방법.
제1항에 있어서,
상기 타일 비트스트림을 생성하는 단계는,
대체 파라미터 셋에 포함된 시퀀스 파라미터 셋(SPS) 및 픽처 파라미터 셋(PPS)을 사용해 픽쳐 객체를 생성하고, 추출할 타일의 인덱스를 참고하여 상기 생성된 픽처 객체로부터 각 슬라이스의 첫 번째 코딩 트리 유닛(CTU, Coding tree unit)의 순차 스캔(raster scan) 주소를 구하는, 타일 기반 360도 영상 전송 방법.
제8항에 있어서,
상기 타일 비트스트림을 생성하는 단계는,
상기 구한 순차 스캔 주소를 타일 스캔(tile scan) 주소로 변환하고 상기 변환된 타일 스캔 주소를 슬라이스에 반영하여 슬라이스 세그먼트 주소를 수정하는, 타일 기반 360도 영상 전송 방법.
제9항에 있어서,
상기 슬라이스 세그먼트 주소는,
픽쳐(picture)에 포함된 슬라이스 내의 첫 번째 코딩 트리 유닛의 순차 스캔 주소를 나타내고, 슬라이스 객체에 포함된 픽쳐 객체로부터 도출되는, 타일 기반 360도 영상 전송 방법.
입력 영상을 비-모션 제한된(non-motion-constrained) 기본 계층의 비트스트림 및 모션 제한된(motion-constrained) 적어도 하나의 타일로 이루어진 타일 계층의 비트스트림으로 부호화하는 영상 부호화기;
360도 영상 렌더링 장치로부터 수신된 사용자 시점 정보를 이용해, 상기 부호화된 타일 계층의 비트스트림에서 사용자 시점 영상에 포함되는 목표 타일을 선택하는 사용자 시점 타일 선택기;
상기 선택된 목표 타일에 따라 목표 타일 데이터를 추출하고, 상기 추출된 목표 타일 데이터에서 원본 파라미터 셋을 수정하여 대체 파라미터 셋을 생성하고, 상기 생성된 대체 파라미터 셋을 이용하여 다중 타일을 포함한 단일의 타일 비트스트림을 생성하는 다중 타일 추출기; 및
상기 360도 영상 렌더링 장치에 상기 부호화된 기본 계층의 비트스트림 및 상기 생성된 단일의 타일 비트스트림을 전송하는 송신기를 포함하고,
상기 타일 계층의 비트스트림은 상기 기본 계층의 비트스트림에 비해 상대적으로 고화질인, 타일 기반 360도 영상 전송 장치.
제11항에 있어서,
상기 다중 타일 추출기는,
추출해야 할 목표 타일들의 인덱스들이 주어지면, NAL(Network abstraction layer) 유닛 단위로 구성된 비트스트림을 분석하여 추출 시 필요한 목표 타일 개수 정보, 영상 크기 정보, 타일 크기 집합 정보 및 CTU 크기 정보 중에서 적어도 하나를 저장하는, 타일 기반 360도 영상 전송 장치.
제11항에 있어서,
상기 다중 타일 추출기는,
상기 원본 파라미터 셋을 수정하여 슬라이스 세그먼트 주소 집합, 영상 크기, 타일 크기 집합, 및 루프 필터 옵션 중에서 적어도 하나를 반영한 대체 파라미터 셋을 생성하는, 타일 기반 360도 영상 전송 장치.
제11항에 있어서,
상기 다중 타일 추출기는,
시퀀스 파라미터 셋(SPS, sequence parameter set)에서 루마 샘플의 픽처 넓이(pic_width_in_luma_samples)와 루마 샘플에서의 픽처 높이(pic_height_in_luma_samples)를 수정하여 출력 영상의 크기를 반영하는, 타일 기반 360도 영상 전송 장치.
제11항에 있어서,
상기 다중 타일 추출기는,
픽처 파라미터 셋(PPS, picture parameter set)에서 타일 행 개수 정보(num_tile_rows_minus1)와 타일 열 개수 정보(num_tile_columns_minus1)를 수정하여 타일의 열 및 행 개수를 수정하는, 타일 기반 360도 영상 전송 장치.
제11항에 있어서,
상기 다중 타일 추출기는,
타일이 비대칭적으로 분할되었을 경우, 픽처 파라미터 셋(PPS)에서 타일 행의 높이 정보(row_height_minus1) 및 타일 열의 폭 정보(column_width_minus1) 배열을 수정하여 각 타일의 크기를 수정하는, 타일 기반 360도 영상 전송 장치.
제11항에 있어서,
상기 다중 타일 추출기는,
VCL(Video Coding Layer) NAL(Network Abstraction Layer) 유닛인 슬라이스(slice)의 헤더(header) 정보를 수정하는, 타일 기반 360도 영상 전송 장치.
제11항에 있어서,
상기 다중 타일 추출기는,
대체 파라미터 셋에 포함된 시퀀스 파라미터 셋(SPS) 및 픽처 파라미터 셋(PPS)을 사용해 픽쳐 객체를 생성하고, 추출할 타일의 인덱스를 참고하여 상기 생성된 픽처 객체로부터 각 슬라이스의 첫 번째 코딩 트리 유닛(CTU, Coding tree unit)의 순차 스캔(raster scan) 주소를 구하는, 타일 기반 360도 영상 전송 장치.
제18항에 있어서,
상기 다중 타일 추출기는,
상기 구한 순차 스캔 주소를 타일 스캔(tile scan) 주소로 변환하고 상기 변환된 타일 스캔 주소를 슬라이스에 반영하여 슬라이스 세그먼트 주소를 수정하는, 타일 기반 360도 영상 전송 장치.
제19항에 있어서,
상기 슬라이스 세그먼트 주소는,
픽쳐(picture)에 포함된 슬라이스 내의 첫 번째 코딩 트리 유닛의 순차 스캔 주소를 나타내고, 슬라이스 객체에 포함된 픽쳐 객체로부터 도출되는, 타일 기반 360도 영상 전송 장치.
프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은:
입력 영상을 비-모션 제한된(non-motion-constrained) 기본 계층의 비트스트림 및 모션 제한된(motion-constrained) 적어도 하나의 타일로 이루어진 타일 계층의 비트스트림으로 부호화하는 단계;
360도 영상 렌더링 장치로부터 수신된 사용자 시점 정보를 이용해, 상기 부호화된 타일 계층의 비트스트림에서 사용자 시점 영상에 포함되는 목표 타일을 선택하는 단계;
상기 선택된 목표 타일에 따라 목표 타일 데이터를 추출하고, 상기 추출된 목표 타일 데이터에서 원본 파라미터 셋을 수정하여 대체 파라미터 셋을 생성하고, 상기 생성된 대체 파라미터 셋을 이용하여 다중 타일을 포함한 단일의 타일 비트스트림을 생성하는 단계; 및
상기 360도 영상 렌더링 장치에 상기 부호화된 기본 계층의 비트스트림 및 상기 생성된 단일의 타일 비트스트림을 스트리밍하는 단계를 포함하고,
상기 타일 계층의 비트스트림은 상기 기본 계층의 비트스트림에 비해 상대적으로 고화질인, 비일시적 컴퓨터 판독 가능한 저장 매체.