KR102482702B1 - 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법 및 장치 - Google Patents

움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법 및 장치 Download PDF

Info

Publication number
KR102482702B1
KR102482702B1 KR1020200183886A KR20200183886A KR102482702B1 KR 102482702 B1 KR102482702 B1 KR 102482702B1 KR 1020200183886 A KR1020200183886 A KR 1020200183886A KR 20200183886 A KR20200183886 A KR 20200183886A KR 102482702 B1 KR102482702 B1 KR 102482702B1
Authority
KR
South Korea
Prior art keywords
tile
bitstream
slice
target
parameter set
Prior art date
Application number
KR1020200183886A
Other languages
English (en)
Other versions
KR20210127593A (ko
Inventor
정종범
이순빈
류은석
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Publication of KR20210127593A publication Critical patent/KR20210127593A/ko
Application granted granted Critical
Publication of KR102482702B1 publication Critical patent/KR102482702B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 타일(tile) 기반 360 가상 현실(Virtual Reality) 영상 부호화 방법 및 복호화 방법에 관한 것으로, 본 발명의 일 실시예에 따른 타일 기반 360 가상 현실 영상 부호화 방법은, 적어도 하나 이상이 타일로 분할된 360도 영상을 움직임 제한 타일 집합(motion-constrained tile sets, MCTS)을 사용해 비트스트림으로 부호화하는 단계, 상기 부호화된 비트스트림으로부터 사용자 시점에 해당되는 타일 인덱스를 이용해 상기 사용자 시점에 포함된 목표 타일들에 대한 영상 데이터에 접근하여 상기 목표 타일을 추출하는 단계, 및 상기 추출된 목표 타일에 대응하는 메타데이터 및 타일 비트스트림을 생성하여 전송하는 단계를 포함한다.

Description

움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법 및 장치{METHOD AND APPARATUS FOR STREAMING 360 DEGREE VIDEO BASED ON MOTION-CONSTRAINED TILE SETS}
본 발명은 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법 및 장치에 관한 것이다.
종래에 널리 사용되던 영상 압축 코덱으로는 AVC(advanced video coding), HEVC(high-efficiency video coding) 등이 있다. 360도 영상에서 사용자 시점에 해당하는 타일만을 전송하려면 AVC에서는 영상을 타일의 너비와 높이에 맞추어 쪼개고 이를 각각 압축하는 과정을 거쳐야만 한다. 이를 비디오 스트리밍 서버에서 구현하기에는 너무나 많은 연산량을 요구하여 널리 쓰이지 않았다. HEVC에서는 MCTS(motion-constrained tile sets)를 적용하여 압축된 비트스트림에서 타일 비트스트림만을 추출할 수 있는 추출기가 제안된 바 있으나, 차세대 코덱인 VVC(Versatile Video Coding)는 기존 HEVC 대비 약 50%의 압축률 향상을 목표로 하므로, HEVC와는 많은 차이점을 보여 VVC를 사용해 압축된 비트스트림에 종래의 타일 추출기를 사용하는 것은 불가능하다.
또한, 종래 HEVC에서는 이를 위해 SEI(supplemental enhancement information) 메시지(message)를 참조하여 타일 추출을 진행했으나, VVC에서는 타일 추출에 필요한 SEI 메시지를 활성화하는 것이 불가능하다. 따라서, 종래와는 다른 비트스트림 분석 및 추출 기법이 필요하다.
본 발명의 실시예들은 부호화된 영상에서의 목표 타일을 추출하기 위한 것으로, 전체 영상을 부호화한 비트스트림에서 직사각형 형태의 적어도 하나의 타일로 이루어진 영상을 압축된 비트스트림의 형태로 추출하기 위한, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법 및 장치를 제공하고자 한다. 본 발명의 실시예들에 따른 추출 기법은 차세대 영상 압축 코덱인 VVC에 적용될 수 있다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위의 환경에서도 다양하게 확장될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 360도 영상 스트리밍 장치에 의해 수행되는 360도 영상 스트리밍 방법에 있어서, 적어도 하나 이상이 타일로 분할된 360도 영상을 움직임 제한 타일 집합(motion-constrained tile sets, MCTS)을 사용해 비트스트림으로 부호화하는 단계; 상기 부호화된 비트스트림으로부터 사용자 시점에 해당되는 타일 인덱스를 이용해 상기 사용자 시점에 포함된 목표 타일들에 대한 영상 데이터에 접근하여 상기 목표 타일을 추출하는 단계; 및 상기 추출된 목표 타일에 대응하는 메타데이터 및 타일 비트스트림을 생성하여 전송하는 단계를 포함하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법이 제공될 수 있다.
상기 목표 타일을 추출하는 단계는, 상기 부호화된 비트스트림에서 분석할 NAL(Network Abstraction Layer) 유닛에 대한 원본 파라미터 셋을 복사하고, 목표 타일이 탐색되면 탐색된 목표 타일 정보에 따라 상기 복사된 원본 파라미터 셋을 변경할 수 있다. 복사되는 원본 파라미터 셋은 NAL 유닛의 유형(type)에 따라 결정될 수 있다.
상기 원본 파라미터 셋은, 타일 개수, 영상 크기, 각 타일의 크기를 나타내는 배열인 타일 크기 배열 및 CTU(coding tree unit) 크기 중에서 적어도 하나를 포함할 수 있다.
상기 목표 타일을 추출하는 단계는, 상기 부호화된 비트스트림에서 분석할 NAL 유닛이 픽처 파라미터 셋(PPS, picture parameter set)이면, 변경을 위한 원본 파라미터 셋을 복사할 수 있다.
상기 목표 타일을 추출하는 단계는, 상기 부호화된 비트스트림에서 분석할 NAL 유닛이 VPS(Video parameter set), APS(Adaptation Parameter Set), SPS(Sequence parameter set) 및 PH(Picture header) 중 어느 하나이면, 변경을 위한 원본 파라미터 셋을 복사할 수 있다.
상기 목표 타일을 추출하는 단계는, 상기 부호화된 비트스트림에서 분석할 NAL 유닛이 슬라이스이면, 목표 타일을 탐색할 수 있다.
상기 목표 타일을 추출하는 단계는, 계산된 목표 타일 슬라이스의 CTU 시작 주소가 현재 탐색 중인 타일 슬라이스의 CTU 시작 주소와 일치하지 않으면, 다음 슬라이스를 탐색하되 비트스트림에 포함된 한 프레임 내에서의 모든 슬라이스를 탐색할 수 있다.
상기 목표 타일을 추출하는 단계는, 계산된 목표 타일 슬라이스의 CTU 시작 주소가 현재 탐색 중인 타일 슬라이스의 CTU 시작 주소와 일치하지 않으면, 다음 슬라이스를 탐색하되 비트스트림에 포함된 한 프레임 내에서의 모든 슬라이스를 탐색할 수 있다.
상기 목표 타일을 추출하는 단계는, 상기 변경된 파라미터 셋을 부호화하고, 입력 슬라이스 형태로 부호화된 목표 타일의 입력 슬라이스를 출력 슬라이스로 변환할 수 있다.
상기 타일 비트스트림을 생성하여 전송하는 단계는, 상기 부호화된 파라미터 셋과 상기 변환된 출력 슬라이스를 부호화하여 타일 비트스트림을 생성할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 적어도 하나 이상의 타일로 분할된 360도 영상을 움직임 제한 타일 집합(motion-constrained tile sets, MCTS)을 사용해 비트스트림으로 부호화하는 영상 부호화기; 및 상기 부호화된 비트스트림으로부터 사용자 시점에 해당되는 타일 인덱스를 이용해 상기 사용자 시점에 포함된 목표 타일들에 대한 영상 데이터에 접근하여 상기 목표 타일을 추출하고, 상기 추출된 목표 타일에 대응하는 메타데이터 및 타일 비트스트림을 생성하여 전송하는 타일 비트스트림 추출기를 포함하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 장치가 제공될 수 있다.
상기 타일 비트스트림 추출기는, 상기 부호화된 비트스트림에서 분석할 NAL(Network Abstraction Layer) 유닛에 대한 원본 파라미터 셋을 복사하고, 목표 타일이 탐색되면 탐색된 목표 타일 정보에 따라 상기 복사된 원본 파라미터 셋을 변경할 수 있다. 복사되는 원본 파라미터 셋은 NAL 유닛의 유형(type)에 따라 결정될 수 있다.
상기 원본 파라미터 셋은, 타일 개수, 영상 크기, 각 타일의 크기를 나타내는 배열인 타일 크기 배열 및 CTU(coding tree unit) 크기 중에서 적어도 하나를 포함할 수 있다.
상기 타일 비트스트림 추출기는, 상기 부호화된 비트스트림에서 분석할 NAL 유닛이 픽처 파라미터 셋(PPS, picture parameter set)이면, 변경을 위한 원본 파라미터 셋을 복사할 수 있다.
상기 타일 비트스트림 추출기는, 상기 부호화된 비트스트림에서 분석할 NAL 유닛이 VPS(Video parameter set), APS(Adaptation Parameter Set), SPS(Sequence parameter set) 및 PH(Picture header) 중 어느 하나이면, 변경을 위한 원본 파라미터 셋을 복사할 수 있다.
상기 타일 비트스트림 추출기는, 상기 부호화된 비트스트림에서 분석할 NAL 유닛이 슬라이스이면, 목표 타일을 탐색할 수 있다.
상기 타일 비트스트림 추출기는,
계산된 목표 타일 슬라이스의 CTU(Coding tree unit) 시작 주소가 현재 탐색 중인 타일 슬라이스의 CTU 시작 주소와 일치하면, 현재 탐색 중인 타일 슬라이스를 목표 타일로 탐색할 수 있다.
상기 타일 비트스트림 추출기는, 상기 계산된 목표 타일 슬라이스의 CTU 시작 주소가 현재 탐색 중인 타일 슬라이스의 CTU 시작 주소와 일치하지 않으면, 다음 슬라이스를 탐색하되 비트스트림에 포함된 한 프레임 내에서의 모든 슬라이스를 탐색할 수 있다.
상기 타일 비트스트림 추출기는, 상기 변경된 파라미터 셋을 부호화하고, 입력 슬라이스 형태로 부호화된 목표 타일의 입력 슬라이스를 출력 슬라이스로 변환할 수 있다.
상기 타일 비트스트림 추출기는, 상기 부호화된 파라미터 셋과 상기 변환된 출력 슬라이스를 부호화하여 타일 비트스트림을 생성할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 적어도 하나 이상의 타일로 분할된 360도 영상을 움직임 제한 타일 집합(motion-constrained tile sets, MCTS)을 사용해 비트스트림으로 부호화하는 단계; 상기 부호화된 비트스트림으로부터 사용자 시점에 해당되는 타일 인덱스를 이용해 상기 사용자 시점에 포함된 목표 타일들에 대한 영상 데이터에 접근하여 상기 목표 타일을 추출하는 단계; 및 상기 추출된 목표 타일에 대응하는 메타데이터 및 타일 비트스트림을 생성하여 전송하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 실시예들은 전체 영상을 부호화한 비트스트림에서 직사각형 형태의 적어도 하나의 타일로 이루어진 영상을 압축된 비트스트림의 형태로 추출할 수 있다.
본 발명의 실시예들은 사용자 시점을 고려하지 않고 360도 영상을 모두 전송했을 때 보다 전송 대역폭을 절감할 수 있고 사용자 지연 시간을 줄일 수 있다.
또한, 본 발명의 실시예들은 전체 영상보다 작은 크기의 사용자 시점 영상을 복호화하므로 머리장착형 영상장치에 요구되는 연산량을 절감할 수 있다.
또한, 본 발명의 실시예들은 영상 전송을 위한 통신 회선의 상태에 따라 적응적으로 고품질의 영상을 전송할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 움직임 제한 타일 집합 기반 360도 영상 스트리밍 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 360도 영상에서 사용자 시점에 해당하는 타일 추출 및 비트스트림 스트리밍 방법에 대한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 목표 타일 추출 및 비트스트림 생성 방법에 대한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 비트스트림에서의 목표 타일 슬라이스(slice) 탐색 방법에 대한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 목표 타일의 탐색 및 추출, 파라미터 셋 변경 방법에 대한 순서도이다.
본 명세서에 개시된 기술은 사용자 시점 기반 가상 현실 영상 전송 기술에 적용될 수 있다. 그러나 본 명세서에 개시된 기술은 이에 한정 되지 않고, 상기 기술의 기술적 사상이 적용될 수 있는 모든 전자 장치 및 방법에도 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥 상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
최근 가상 현실 기술 및 장비의 발달과 함께 머리장착형 영상장치(head-mounted display; HMD)와 같이 가상 현실을 체험 가능한 기기들이 출시되고 있다. 머리장착형 영상장치는 전방위 360도 영상을 재생해야 하기 때문에 ultra high-definition (UHD) 급 이상의 초고화질 영상이 요구되므로, 해당 영상의 전송에는 높은 대역폭이 필요하다. 이를 보완하기 위해 사용자가 감상하는 영역을 직사각형 형태의 타일로 특정하여 고화질로 전송하고 나머지 타일들은 저화질로 전송하는 방안이 비디오 표준화(MPEG, JCT-VC, JVET) 미팅에서 논의되고 있다. 본 발명의 실시예들은 차세대 영상 압축 코덱인 versatile video coding (VVC)에 대응하는 움직임 제한 타일 집합 (motion-constrained tile sets; MCTS) 기반 타일 비트스트림 추출 및 전송 방법을 제공하고자 한다. 본 발명의 실시예들은 VVC(versatile video coding)에서 움직임 제한 타일 기법에 기초한 타일 추출 및 전송 방법에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 움직임 제한 타일 집합 기반 360도 영상 스트리밍 시스템의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 움직임 제한 타일 집합 기반 360도 영상 스트리밍 시스템은, 360도 영상 스트리밍 장치(100) 및 360도 영상 렌더링 장치(200)를 포함한다. 여기서, 360도 영상 스트리밍 장치(100)는 영상 부호기(110) 및 타일 비트스트림 추출기(120)를 포함한다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 360도 영상 스트리밍 시스템이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 360도 영상 스트리밍 시스템이 구현될 수 있다.
이하, 도 1의 360도 영상 스트리밍 시스템의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
상기 360도 영상 스트리밍 시스템은 360도 영상 스트리밍 및 재생 시스템으로 불릴 수 있다. 도 1에 도시된 각 구성요소들의 수는 예시적인 것일 뿐 이에 제한되지 아니한다.
360도 영상 스트리밍 장치(100)는 영상 부호기(110) 및 타일 비트스트림 추출기(120)를 포함한다. 360도 영상 스트리밍 장치(100)는 후술할 영상 부호기(110) 및 타일 비트스트림 추출기(120)를 통해 사용자 시점에 해당하는 타일 비트스트림을 영상 전체를 압축한 비트스트림에서 추출하여 360도 영상 렌더링 장치(200)로 전송한다.
영상 부호기(110)는 적어도 하나 이상의 360도 영상을 원하는 품질의 영상으로 인코딩하되 움직임 제한 타일 기법을 적용하여 독립적으로 타일을 추출할 수 있도록 한다. 이를 위해 타일과 슬라이스(slice)는 1 대 1 대응하고, 파라미터 셋 추출을 위해 부분적 디코딩(decoding; 복호화)이 적용될 수 있다.
타일 비트스트림 추출기(120)는 전체 영상을 부호화한 비트스트림을 NAL 유닛(network abstraction layer unit) 단위로 분석하여 목표 타일을 추출하고 타일 비트스트림을 생성한다. NAL 유닛 분석은 VVC에 대응하여 VPS(Video parameter set), SPS(Sequence parameter set), PPS(Picture parameter set), APS(adaptation parameter set), PH(picture header), 및 슬라이스에 적용될 수 있으나, 이는 예시적인 것일 뿐 이에 제한되지 아니한다.
360도 영상 렌더링 장치(200)는 수신된 비트스트림들을 복호화하여 사용자의 시점에 대응하는 360도 영상을 출력할 수 있다.
도 2는 본 발명의 일 실시예에 따른 360도 영상에서 사용자 시점에 해당하는 타일 추출 및 비트스트림 스트리밍 방법에 대한 순서도이다.
도 2에 도시된 예시적인 영상 스트리밍 방법에 의하면, 먼저 영상 부호기(110)는 가상 현실 공간을 표현한 가상 현실 영상을 하나 이상의 직사각형 형태의 타일로 분할할 수 있다(S101).
360도 영상 스트리밍 장치(100)는 360도 영상 렌더링 장치(200)로부터 사용자 시점에 해당하는 목표 타일들의 인덱스(index)를 수신할 수 있다(S102). 영상 부호기(110)는 가상 현실 영상을 움직임 제한 타일 기법을 사용해 비트스트림으로 부호화한다.
타일 비트스트림 추출기(120)는 움직임 제한 타일 기법을 사용해 부호화된 비트스트림으로부터 사용자 시점에 포함된 타일들에 대한 영상 데이터에 접근하여 추출할 수 있다(S103). 타일 비트스트림 추출기(120)는 부호화된 비트스트림으로부터 타일 인덱스를 이용해 사용자 시점에 포함된 목표 타일들에 대한 영상 데이터에 접근하여 목표 타일을 추출할 수 있다.
타일 비트스트림 추출기(120)는 추출된 타일 데이터에 대응하는 메타데이터 및 비트스트림을 생성할 수 있다(S104).
360도 영상 스트리밍 장치(100)는 생성된 타일 비트스트림들을 360도 영상 렌더링 장치(200)로 전송할 수 있다(S105).
도 3은 본 발명의 일 실시예에 따른 목표 타일 추출 및 비트스트림 생성 방법에 대한 순서도이다.
360도 영상 스트리밍 장치(100)는 본 발명의 일 실시예에 따른 목표 타일 추출 및 비트스트림 생성 방법을 시작한다(S201)
360도 영상 스트리밍 장치(100)는 360도 영상 렌더링 장치(200)로부터 전송된 사용자 시점에 해당하는 타일, 즉 목표 타일 인덱스를 생성한다(S202).
타일 비트스트림 추출기(120)는 비트스트림을 NAL 유닛 단위로 파싱(parsing)하여 분석한다(S203).
타일 비트스트림 추출기(120)는 분석할 NAL 유닛이 PPS인지 확인하고(S204), 분석할 NAL 유닛이 PPS이면, 타일 개수, 영상 크기, 타일 크기 배열, 및 CTU(coding tree unit) 크기 중에서 적어도 하나를 포함한 파라미터들을 파싱하며 원본 파라미터 셋을 복사한다(S205). 타일 크기 배열은, 예를 들어, 본 발명의 실시예들에 관한 표준 내지 공개 소스 코드 등에서 PPS의 구문(syntax) 내에 각 타일의 너비 및 높이를 나타내는 배열 형식의 데이터로 제공될 수 있다.
타일 비트스트림 추출기(120)는 분석할 NAL 유닛이 PPS가 아니면, 분석할 NAL 유닛이 VPS, APS, SPS, 및 PH 중에서 어느 하나인지 확인하고(S206), 분석할 NAL 유닛이 VPS, APS, SPS, 및 PH 중에서 어느 하나이면, 원본 파라미터 셋을 복사한다(S207).
타일 비트스트림 추출기(120)는 분석할 NAL 유닛이 VPS, APS, SPS, 및 PH 중에서 어느 하나가 아니면, 분석할 NAL 유닛이 슬라이스(Slice)인지 확인하고(S208), 분석할 NAL 유닛이 슬라이스이면, 도 4에 도시된 목표 타일 탐색 방법을 수행한다(S208).
타일 비트스트림 추출기(120)는 도 4에 따른 목표 타일이 탐색되면(S209), 도 5에 따라 복사한 원본 파라미터 셋을 목표 타일 정보에 대응하여 대체 파라미터 셋으로 변경한다(S210).
이후, 타일 비트스트림 추출기(120)는 변경된 파라미터 셋을 코딩(coding; 부호화)한다(S211).
이후, 타일 비트스트림 추출기(120)는 입력 슬라이스의 형태로 부호화된 목표 타일 입력 슬라이스(Slice)를 출력 슬라이스로 변환한다(S212).
이후, 타일 비트스트림 추출기(120)는 생성된 출력 슬라이스를 파라미터 셋과 같이 코딩하여 타일 비트스트림을 생성한다(S213).
360도 영상 스트리밍 장치(100)는 상기와 같은 목표 타일 추출 및 비트스트림 생성 방법을 종료한다(S214). 360도 영상 스트리밍 장치(100)는 분석할 NAL 유닛이 슬라이스가 아니거나(S208), 목표 타일이 탐색되지 않으면(S209), 단계 S214와 같이 종료한다.
도 4는 본 발명의 일 실시예에 따른 비트스트림에서의 목표 타일 슬라이스(slice) 탐색 방법에 대한 순서도이다.
360도 영상 스트리밍 장치(100)는 비트스트림에서의 목표 타일 슬라이스(slice) 탐색 방법을 시작한다(S301).
360도 영상 스트리밍 장치(100)는 목표 타일 인덱스 Ti를 생성한다(S302).
타일 비트스트림 추출기(120)는 도 3의 단계 S205에서 복사된 타일 개수, 영상 크기, 타일 크기 배영, CTU 크기에 기초하여 목표 타일 슬라이스의 CTU 단위로 표현되는 시작 주소인 목표 타일 슬라이스의 CTU 시작 주소 Taddr 를 계산한다(S303).
타일 비트스트림 추출기(120)는 비트스트림에 포함된 한 프레임 내에서의 모든 슬라이스를 탐색한다(S304). 현재 탐색중인 슬라이스 인덱스 Si는 0(Si=0)이다.
타일 비트스트림 추출기(120)는 현재 탐색중인 슬라이스의 인덱스 Si가 전체 슬라이스 개수 Sn 보다 크거나 같은지 확인한다(S305).
타일 비트스트림 추출기(120)는 현재 탐색중인 슬라이스의 인덱스 Si가 전체 슬라이스 개수 Sn 미만이면, 슬라이스 헤더(header)에서 해당 타일 슬라이스의 CTU 단위로 표현되는 S번째 타일 슬라이스의 시작 주소 Saddr 를 파싱한다(S306).
이후, 타일 비트스트림 추출기(120)는 목표 타일 슬라이스와 현재 타일 슬라이스의 CTU 단위로 표현되는 시작 주소들을 Saddr=Taddr와 같이 비교한다(S307).
타일 비트스트림 추출기(120)는 목표 타일 슬라이스와 현재 타일 슬라이스의 CTU 단위로 표현되는 시작 주소들 일치하지 않으면, Si=Si+1와 같이 다음 타일 슬라이스를 탐색한다(S308). 그리고 타일 비트스트림 추출기(120)는 다음 슬라이스 헤더에서 해당 타일 슬라이스의 CTU 단위로 표현되는 시작 주소를 파싱하는 단계 S306를 수행한다.
한편, 타일 비트스트림 추출기(120)는 현재 탐색중인 슬라이스의 인덱스 Si가 전체 슬라이스 개수 Sn 이상이면, 도 4에 도시된 목표 타일 탐색 과정을 종료한다(S309).
타일 비트스트림 추출기(120)는 목표 타일 슬라이스와 현재 타일 슬라이스의 CTU 단위로 표현되는 시작 주소들 일치하면, 도 4에 도시된 탐색을 종료하는 단계 S309를 수행한다.
도 5는 본 발명의 일 실시예에 따른 목표 타일의 탐색 및 추출, 파라미터 셋 변경 방법에 대한 순서도이다.
360도 영상 스트리밍 장치(100)는 목표 타일 Id를 입력 옵션으로 입력받는다(S401).
360도 영상 스트리밍 장치(100)는 원본 PPS(picture parameter set)를 해석한다(S402). 원본 PPS에는 목표 타일 개수, 영상 크기, 타일 크기 집합, 및 CTU 크기 중에서 적어도 하나가 포함될 수 있다.
360도 영상 스트리밍 장치(100)는 원본 파라미터 셋을 대체 파라미터 셋으로 대체한다(S403). 대체 파라미터 셋에는 영상 파티셔닝 플래그, 슬라이스에서 CTU들의 번호, 루마 및 CTU에서 영상 크기, 타일 정보, 슬라이스 맵에서 CTU 주소, 및 PH의 임시 Id 중에서 적어도 하나가 포함될 수 있다. 대체 파라미터 셋은 VPS, SPS, PPS, APS, 및 PH 중에서 적어도 하나가 포함될 수 있다.
360도 영상 스트리밍 장치(100)는 입력 옵션에 대응되는 목표 타일/슬라이스를 선택한다(S404).
360도 영상 스트리밍 장치(100)는 파라미터 셋, 슬라이스 헤더를 부호화한다(S405).
360도 영상 스트리밍 장치(100)는 입력 슬라이스 NALU들을 출력 NALU들로 변환한다(S406).
이를 통해, 360도 영상 스트리밍 장치(100)는 타일 비트스트림을 추출한다.
도 5를 참고하면, 타일 비트스트림의 파라미터 셋은 원본 영상에 대한 비트스트림의 것을 기반으로 한다. 360도 영상 렌더링 장치(200)에서의 타일 비트스트림 복호화를 가능하게 하기 위해 타일 파라미터 셋의 일부 정보들은 변경된다. 영상 파티셔닝 플래그(Picture partitioning flag), 슬라이스 내에서의 CTU 개수, 휘도 정보(luma)로 표현되는 영상 크기, CTU 크기, 타일 정보, 한 슬라이스 내에서의 CTU 주소들이 포함된다. 상기 정보들은 VPS, SPS, PPS, APS, PH, 그리고 슬라이스 헤더에 반영될 수 있다.
특히, 본 발명의 일 실시예는 VVC에 대응하기 위해 파라미터 셋 정보 변경 시 변경이 완료된 SPS, PPS를 슬라이스 헤더에 반영하여 업데이트한다.　본 발명의 일 실시예는 HEVC 타일 추출기와 달리 출력 비트스트림에 포함될 SPS(sequence parameter set), PPS(picture parameter set)를 슬라이스 헤더에 반영하여 업데이트하는 동작을 수행한다. 이러한 동작이 포함되어야 VVC에서의 타일 추출이 가능하다.
본 발명의 실시예들은 또한 비트스트림을 분할하여 전송하는 스트리밍 서비스인 MPEG DASH, 마이크로소프트 사의 Smooth 스트리밍(Smooth Streaming), 애플 사의 HLS(HTTP Live Streaming)에도 적용이 가능하다.
본 발명의 실시예들에 따른 타일 추출 및 전송 기술은 적응적 360도 영상 스트리밍에 활용될 수 있다. 영상에 대한 사용자 시점을 미리 예측하는 샐리언시 맵 (saliency map)과 병행하여 사용된다면 목표 타일을 더욱 빠르게 추출 및 전송할 수 있으므로 초저지연 스트리밍 구현이 가능하다. 다수의 타일 비트스트림들을 전송할 때 MPEG DASH와의 연동이 가능하다.
한편, 본 발명의 실시예들은 VVC 상의 시간적 움직임 제한 타일 집합(MCTS) 기반의 타일 비트스트림 추출기(tile bitstream extractor)의 소프트웨어 구현을 제공한다. 본 발명의 실시예들은 원래 비트스트림으로부터 목표 타일을 추출하고, 종래의 VVC 디코더와 호환되는 타일 비트스트림을 생성한다. 수정은 VT 7.3 레퍼런스 소프트웨어에 기초하여 구현될 수 있다.
본 발명의 실시예들에 따른 추출기는 원래 비트스트림의 모든 NAL 유닛을 검사한다. PPS NAL 유닛이 발견되면, 추출기는 도 5에 도시 된 바와 같이 타일과 관련된 파라미터를 복사한다. 그 다음, 타겟 슬라이스의 제 1 CTU 어드레스는 전술 한 파라미터를 사용하여 계산된다. 예를 들어, 타겟 타일의 폭 및 높이는 다음과 같이 계산된다:
targetTileIdxInCol = targetTileIdx % numTileCols
targetTileIdxInRow = targetTileIdx / numTileCols
targetTileWidth = tileColWidth[ targetTileIdxInCol ] * CtuSize
targetTileHeight = tileRowHeight[ targetTileIdxInRow ] * CtuSize
여기서, targetTileIdx는 타겟 타일 인덱스를 나타낸다. 원본 비트스트림으로부터 동일한 CTU 어드레스를 갖는 슬라이스가 발견되면, 추출기는 원본 파라미터 세트를 복사하여 타겟 타일에 따라 교체한다. 예를 들어, SPS NAL 유닛에서, 다음 파라미터가 대체된다:
maxWidthInLumaSamples = targetTileWidth
maxHeightInLumaSamples = targetTileHeight
마찬가지로, PPS NAL 유닛에서, 다음 파라미터가 재기록된다:
noPicPartitionFlag = true
picWidthInLumaSamples = targetTileWidth
picHeightInLumaSamples = targetTileHeight
numExpTileRows = 1
numExpTileCols = 1
numTileCols = 1
numTileRows = 1
PH NAL 유닛에서, CTU의 수는 타겟 타일 슬라이스에서 CTU의 수로 대체된다. 또한, 본 발명의 일 실시예는 VVC에 대응하기 위해 타일 내에 포함된 모든 CTU의 순차 스캔(raster scan) 주소를 가지는 슬라이스 맵(slice map)을 출력 비트스트림에 맞게 수정하고 슬라이스 헤더에 반영한다.
파라미터 세트의 교체 후, 이들은 코딩되고 출력 비트스트림에 추가된다. 마지막으로, 입력 타겟 타일 슬라이스는 출력 NAL 유닛으로 변환되고 타겟 비트스트림에 추가된다.
한편, 본 발명의 실시예들은 VVC를 위한 MCTS 기반 타일 추출기를 제공할 수 있다. 본 발명의 실시예들에 따른 타일 추출 방법은 다음과 같은 장점이 있다. 종래의 VVC 테스트 모델과 호환될 수 있다. 본 발명의 실시예들은 SEI를 포함하는 추가 파라미터가 필요하지 않다. 본 발명의 실시예들은 선택적 타일 기반 스트리밍으로 대역폭을 절약할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 다양한 실시예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
또한, 상술한 다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 360도 영상 스트리밍 장치
110: 영상 부호기
120: 타일 비트스트림 추출기
200: 360도 영상 렌더링 장치

Claims (21)

  1. 360도 영상 스트리밍 장치에 의해 수행되는 360도 영상 스트리밍 방법에 있어서,
    적어도 하나 이상이 타일로 분할된 360도 영상을 움직임 제한 타일 집합(motion-constrained tile sets, MCTS)을 사용해 비트스트림으로 부호화하는 단계;
    상기 부호화된 비트스트림으로부터 사용자 시점에 해당되는 타일 인덱스를 이용해 상기 사용자 시점에 포함된 목표 타일들에 대한 영상 데이터에 접근하여 SEI(supplemental enhancement information) 메시지 없이 NAL 유닛(network abstraction layer unit)을 분석함으로써 상기 목표 타일을 추출하는 단계; 및
    상기 추출된 목표 타일에 대응하는 메타데이터 및 타일 비트스트림을 생성하여 전송하는 단계를 포함하고,
    상기 목표 타일을 추출하는 단계는,
    상기 부호화된 비트스트림에서 분석할 NAL 유닛이 슬라이스이면, 목표 타일을 탐색하되,
    계산된 목표 타일 슬라이스의 CTU(Coding tree unit) 시작 주소가 현재 탐색 중인 타일 슬라이스의 CTU 시작 주소와 일치하면, 현재 탐색 중인 타일 슬라이스를 목표 타일로 탐색하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법.
  2. 제1항에 있어서,
    상기 목표 타일을 추출하는 단계는,
    상기 부호화된 비트스트림에서 분석할 NAL(Network Abstraction Layer) 유닛에 대한 원본 파라미터 셋을 복사하고, 목표 타일이 탐색되면 탐색된 목표 타일 정보에 따라 상기 복사된 원본 파라미터 셋을 변경하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법.
  3. 제2항에 있어서,
    상기 원본 파라미터 셋은,
    타일 개수, 영상 크기, 각 타일의 크기를 나타내는 배열인 타일 크기 배열 및 CTU(coding tree unit) 크기 중에서 적어도 하나를 포함하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법.
  4. 제2항에 있어서,
    상기 목표 타일을 추출하는 단계는,
    상기 부호화된 비트스트림에서 분석할 NAL 유닛이 픽처 파라미터 셋(PPS, picture parameter set)이면, 원본 파라미터 셋을 복사하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법.
  5. 제2항에 있어서,
    상기 목표 타일을 추출하는 단계는,
    상기 부호화된 비트스트림에서 분석할 NAL 유닛이 VPS(Video parameter set), APS(Adaptation Parameter Set), SPS(Sequence parameter set) 및 PH(Picture header) 중 어느 하나이면, 원본 파라미터 셋을 복사하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 목표 타일을 추출하는 단계는,
    계산된 목표 타일 슬라이스의 CTU 시작 주소가 현재 탐색 중인 타일 슬라이스의 CTU 시작 주소와 일치하지 않으면, 다음 슬라이스를 탐색하되 비트스트림에 포함된 한 프레임 내에서의 모든 슬라이스를 탐색하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법.
  9. 제2항에 있어서,
    상기 목표 타일을 추출하는 단계는,
    상기 변경된 파라미터 셋을 부호화하고, 입력 슬라이스 형태로 부호화된 목표 타일의 입력 슬라이스를 출력 슬라이스로 변환하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법.
  10. 제9항에 있어서,
    상기 타일 비트스트림을 생성하여 전송하는 단계는,
    상기 부호화된 파라미터 셋과 상기 변환된 출력 슬라이스를 부호화하여 타일 비트스트림을 생성하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법.
  11. 적어도 하나 이상의 타일로 분할된 360도 영상을 움직임 제한 타일 집합(motion-constrained tile sets, MCTS)을 사용해 비트스트림으로 부호화하는 영상 부호화기; 및
    상기 부호화된 비트스트림으로부터 사용자 시점에 해당되는 타일 인덱스를 이용해 상기 사용자 시점에 포함된 목표 타일들에 대한 영상 데이터에 접근하여 SEI(supplemental enhancement information) 메시지 없이 NAL 유닛(network abstraction layer unit)을 분석함으로써 상기 목표 타일을 추출하고, 상기 추출된 목표 타일에 대응하는 메타데이터 및 타일 비트스트림을 생성하여 전송하는 타일 비트스트림 추출기를 포함하고,
    상기 타일 비트스트림 추출기는,
    상기 부호화된 비트스트림에서 분석할 NAL 유닛이 슬라이스이면, 목표 타일을 탐색하되,
    계산된 목표 타일 슬라이스의 CTU(Coding tree unit) 시작 주소가 현재 탐색 중인 타일 슬라이스의 CTU 시작 주소와 일치하면, 현재 탐색 중인 타일 슬라이스를 목표 타일로 탐색하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 장치.
  12. 제11항에 있어서,
    상기 타일 비트스트림 추출기는,
    상기 부호화된 비트스트림에서 분석할 NAL(Network Abstraction Layer) 유닛에 대한 원본 파라미터 셋을 복사하고, 목표 타일이 탐색되면 탐색된 목표 타일 정보에 따라 상기 복사된 원본 파라미터 셋을 변경하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 장치.
  13. 제12항에 있어서,
    상기 원본 파라미터 셋은,
    타일 개수, 영상 크기, 각 타일의 크기를 나타내는 배열인 타일 크기 배열 및 CTU(coding tree unit) 크기 중에서 적어도 하나를 포함하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 장치.
  14. 제12항에 있어서,
    상기 타일 비트스트림 추출기는,
    상기 부호화된 비트스트림에서 분석할 NAL 유닛이 픽처 파라미터 셋(PPS, picture parameter set)이면, 원본 파라미터 셋을 복사하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 장치.
  15. 제12항에 있어서,
    상기 타일 비트스트림 추출기는,
    상기 부호화된 비트스트림에서 분석할 NAL 유닛이 VPS(Video parameter set), APS(Adaptation Parameter Set), SPS(Sequence parameter set) 및 PH(Picture header) 중 어느 하나이면, 원본 파라미터 셋을 복사하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 장치.
  16. 삭제
  17. 삭제
  18. 제11항에 있어서,
    상기 타일 비트스트림 추출기는,
    계산된 목표 타일 슬라이스의 CTU 시작 주소가 현재 탐색 중인 타일 슬라이스의 CTU 시작 주소와 일치하지 않으면, 다음 슬라이스를 탐색하되 비트스트림에 포함된 한 프레임 내에서의 모든 슬라이스를 탐색하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 장치.
  19. 제12항에 있어서,
    상기 타일 비트스트림 추출기는,
    상기 변경된 파라미터 셋을 부호화하고, 입력 슬라이스 형태로 부호화된 목표 타일의 입력 슬라이스를 출력 슬라이스로 변환하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 장치.
  20. 제19항에 있어서,
    상기 타일 비트스트림 추출기는,
    상기 부호화된 파라미터 셋과 상기 변환된 출력 슬라이스를 부호화하여 타일 비트스트림을 생성하는, 움직임 제한 타일 집합 기반 360도 영상 스트리밍 장치.
  21. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은:
    적어도 하나 이상의 타일로 분할된 360도 영상을 움직임 제한 타일 집합(motion-constrained tile sets, MCTS)을 사용해 비트스트림으로 부호화하는 단계;
    상기 부호화된 비트스트림으로부터 사용자 시점에 해당되는 타일 인덱스를 이용해 상기 사용자 시점에 포함된 목표 타일들에 대한 영상 데이터에 접근하여 SEI(supplemental enhancement information) 메시지 없이 NAL 유닛(network abstraction layer unit)을 분석함으로써 상기 목표 타일을 추출하는 단계; 및
    상기 추출된 목표 타일에 대응하는 메타데이터 및 타일 비트스트림을 생성하여 전송하는 단계를 포함하고,
    상기 목표 타일을 추출하는 단계는,
    상기 부호화된 비트스트림에서 분석할 NAL 유닛이 슬라이스이면, 목표 타일을 탐색하되,
    계산된 목표 타일 슬라이스의 CTU(Coding tree unit) 시작 주소가 현재 탐색 중인 타일 슬라이스의 CTU 시작 주소와 일치하면, 현재 탐색 중인 타일 슬라이스를 목표 타일로 탐색하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
KR1020200183886A 2020-04-14 2020-12-24 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법 및 장치 KR102482702B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200045479 2020-04-14
KR20200045479 2020-04-14

Publications (2)

Publication Number Publication Date
KR20210127593A KR20210127593A (ko) 2021-10-22
KR102482702B1 true KR102482702B1 (ko) 2023-01-02

Family

ID=78275656

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200183886A KR102482702B1 (ko) 2020-04-14 2020-12-24 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102482702B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102577685B1 (ko) * 2021-10-27 2023-09-15 한국전자기술연구원 사용자의 관심영역 추정이 가능한 저지연 360 vr 스트리밍 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102106103B1 (ko) * 2015-07-03 2020-05-04 에스케이 텔레콤주식회사 고 해상도 영상에서의 영상 추출 장치 및 방법
US20190253734A1 (en) * 2017-03-20 2019-08-15 Lg Electronics Inc. Method for transmitting 360 video, method for receiving 360 video, 360 video transmitting device, and 360 video receiving device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jangwoo Son et al, Implementing Motion-Constrained Tile and Viewport Extraction for VR Streaming, NOSSDAV '18, Pages 61-66 (2018.06.) 1부.*

Also Published As

Publication number Publication date
KR20210127593A (ko) 2021-10-22

Similar Documents

Publication Publication Date Title
US20200236403A1 (en) Method of coding transform coefficient based on high frequency zeroing and apparatus thereof
US20240146964A1 (en) Video Decoding Method Using Residual Information in Video Coding System, and Apparatus Thereof
JP2022530765A (ja) 点群コーディング用の属性をコーディングする方法
US11277607B2 (en) Method and apparatus for constructing prediction candidate on basis of HMVP
US20220007028A1 (en) Method and device for signaling information on chroma format
CN112956201B (zh) 使用句法来执行编码的句法设计方法和设备
KR102482702B1 (ko) 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법 및 장치
US9591355B2 (en) Decoding video streams using decoders supporting a different encoding profile
CN117939164A (zh) 图像解码方法、图像编码方法、存储介质和发送方法
US20230038928A1 (en) Picture partitioning-based coding method and device
US11979608B2 (en) Transform coefficient coding method and device
US20210400274A1 (en) Method and device for coding transform coefficient
CN114762339A (zh) 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码
KR102412410B1 (ko) 타일 기반 360도 영상 전송 방법 및 장치
US11509903B2 (en) Method and device for coding transform skip flag
US20240048764A1 (en) Method and apparatus for multi view video encoding and decoding, and method for transmitting bitstream generated by the multi view video encoding method
RU2778250C1 (ru) Управление максимальным размером преобразования
RU2804324C2 (ru) Кодирование видео или изображений на основе отображения яркости
US20230028326A1 (en) Image coding method based on partial entry point-associated information in video or image coding system
US20220345710A1 (en) Method and device for transform-based image coding
KR20220059929A (ko) 다시점 영상 처리 방법 및 장치
KR20240019021A (ko) 다시점 영상 부호화/복호화 방법 및 장치와, 다시점 영상 부호화 방법에 의해 생성된 비트스트림을 전송하는 방법
KR20240056566A (ko) 엔트로피 코딩에 기반한 피쳐 부호화/복호화 방법, 장치, 비트스트림을 저장한 기록 매체 및 비트스트림 전송 방법
CN114902667A (zh) 基于色度量化参数偏移信息的图像或视频编码
CN118175303A (zh) 解码设备、编码设备和发送设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant