KR102027172B1 - Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법 - Google Patents

Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법 Download PDF

Info

Publication number
KR102027172B1
KR102027172B1 KR1020180134700A KR20180134700A KR102027172B1 KR 102027172 B1 KR102027172 B1 KR 102027172B1 KR 1020180134700 A KR1020180134700 A KR 1020180134700A KR 20180134700 A KR20180134700 A KR 20180134700A KR 102027172 B1 KR102027172 B1 KR 102027172B1
Authority
KR
South Korea
Prior art keywords
roi
segment
resolution
file
electronic device
Prior art date
Application number
KR1020180134700A
Other languages
English (en)
Inventor
박우출
장준환
김용화
양진욱
윤상필
김현욱
조은경
최민수
이준석
양재영
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180134700A priority Critical patent/KR102027172B1/ko
Priority to PCT/KR2018/014572 priority patent/WO2020096118A1/ko
Application granted granted Critical
Publication of KR102027172B1 publication Critical patent/KR102027172B1/ko
Priority to US16/713,797 priority patent/US11025880B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Abstract

본 발명은 ROI 기반의 VR 콘텐츠 스트리밍 서버 및 방법이 개시된다. 본 발명의 스트리밍 서버는 전자장치로부터 분할 영상의 조각들에 대한 MPD(Media Presentation Description) 파일에 대한 요청신호, ROI(Region of Interesting) 정보 및 세그먼트 파일에 대한 요청신호를 수신하고, 전자장치로 요청신호에 대응되는 MPD 파일 및 세그먼트 파일을 전송하는 통신부 및 MPD 파일에 대한 요청신호가 수신되면 전자장치로 요청신호에 대응되는 MPD 파일이 전송되도록 제어하고, ROI 정보가 수신되면 ROI 정보를 기초로 분할 영상의 각 조각에 제1 해상도 및 상기 제1 해상도보다 낮은 해상도인 제2 해상도 내지 제n 해상도(n은 2이상 자연수)를 부여한 세그먼트 파일을 생성하여 캐싱(caching)하며, 세그먼트 파일에 대한 요청신호가 수신되면 전자장치로 캐싱된 세그먼트 파일이 전송되도록 제어하는 제어부를 포함한다.

Description

ROI 기반의 VR 콘텐츠 스트리밍 서버 및 방법{VR content streaming server and method based on ROI information}
본 발명은 VR(Virtual Reality) 콘텐츠 스트리밍 기술에 관한 것으로, 더욱 상세하게는 스트리밍 지연시간이 단축되는 ROI를 기반의 VR 콘텐츠 스트리밍 서버 및 방법에 관한 것이다.
최근 IT 기술이 발달하고, 고화질 콘텐츠 전송이 가능해지면서 고품질 미디어 콘텐츠 영상 스트리밍(streaming) 서비스에 대한 수요가 증가하고 있다. 이에 UHD(Ultra High-Definition) 이상의 고화질 고품질 미디어 콘텐츠 영상을 더욱 효율적으로 스트리밍하고, 렌더링(rendering)하기 위한 다양한 기술들에 대한 연구들이 빠르게 진행되고 있다.
최근에는 영상을 공간 단위로 분할하여 HEVC로 인코딩을 수행하고, 인코딩된 영상을 다시 공간과 시간단위로 분할한 조각을 생성한다. 그 후 사용자의 ROI(Region of Interesting)에 해당하는 조각은 고품질 조각로, 해당하지 하지 않는 조각은 저품질의 조각로 비트스트림 스티칭(Bitstream Stitching)을 수행하여 네트워크 효율 및 스트리밍 영상의 품질을 선택적으로 향상시킬 수 있는 SRD(Spatial Relationship Description)가 제안되었다.
하지만 아직가지 최종적으로 HMD(Head Mounted Display) 기기로 스트리밍 및 렌더링되기 까지 시점의 전환이 발생할 경우 스위칭 지연이 발생할 수 밖에 없다. 이를 해결하기 위해서는 사용자에서의 트래킹(tracking) 및 렌더링 처리뿐만 아니라 스트리밍 서버에서 Dashing Segment에 대한 빠른 응답을 요구한다.
한국등록특허공보 제10-1764317호(2017.07.27.)
본 발명이 이루고자 하는 기술적 과제는 ROI를 이용한 분할 영상의 조각 캐싱을 통해 스트리밍 지연시간을 단축하는 ROI 기반의 VR 콘텐츠 스트리밍 서버 및 방법을 제공하는데 목적이 있다.
상기 목적을 해결하기 위해 본 발명의 ROI 기반의 VR 콘텐츠 스트리밍 서버는 전자장치로부터 분할 영상의 조각들에 대한 MPD(Media Presentation Description) 파일에 대한 요청신호, ROI(Region of Interesting) 정보 및 세그먼트 파일에 대한 요청신호를 수신하고, 상기 전자장치로 상기 요청신호에 대응되는 MPD 파일 및 세그먼트 파일을 전송하는 통신부 및 상기 MPD 파일에 대한 요청신호가 수신되면 상기 전자장치로 상기 요청신호에 대응되는 MPD 파일이 전송되도록 제어하고, 상기 ROI 정보가 수신되면 상기 ROI 정보를 기초로 상기 분할 영상의 각 조각에 제1 해상도 및 상기 제1 해상도보다 낮은 해상도인 제2 해상도 내지 제n 해상도(n은 2이상 자연수)를 부여한 세그먼트 파일을 생성하여 캐싱(caching)하며, 상기 세그먼트 파일에 대한 요청신호가 수신되면 상기 전자장치로 상기 캐싱된 세그먼트 파일이 전송되도록 제어하는 제어부를 포함한다.
또한 상기 제어부는, 상기 ROI 정보를 기초로 다음 ROI 정보를 예측하여 상기 제1 해상도 내지 상기 제n 해상도가 부여된 세그먼트 파일을 생성하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 복수의 조각들 중 상기 ROI 정보에 대응되는 베이스 조각을 기준으로 상기 베이스 조각에 포함된 객체가 이동되는 방향을 예측하여 상기 다음 ROI 정보를 예측하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 복수의 조각들 중 ROI 영역에 대응되는 조각에 상기 제1 해상도를 부여하고, 나머지 조각에 상기 제2 해상도 내지 제n 해상도를 부여하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 캐싱된 세그먼트 파일이 실시간으로 전송되도록 제어하는 것을 특징으로 한다.
본 발명의 ROI 기반의 VR 콘텐츠 스트리밍 방법은 스트리밍 서버가 전자장치로부터 분할 영상의 조각들에 대한 MPD 파일에 대한 요청신호를 수신하면 상기 전자장치로 상기 요청신호에 대응되는 MPD 파일을 전송하는 단계, 상기 스트리밍 서버가 상기 전자장치로부터 ROI 정보를 수신하면 상기 ROI 정보를 기초로 상기 분할 영상의 각 조각에 제1 해상도 및 상기 제1 해상도보다 낮은 해상도인 제2 해상도 내지 제n 해상도를 부여한 세그먼트 파일을 생성하여 캐싱하는 단계 및 상기 스트리밍 서버가 상기 전자장치로부터 상기 세그먼트 파일에 대한 요청신호를 수신하면 상기 전자장치로 상기 캐싱된 세그먼트 파일을 전송하는 단계를 포함한다.
또한 상기 캐싱하는 단계는, 상기 ROI 정보를 기초로 다음 ROI 정보를 예측하여 상기 제1 해상도 내지 상기 제n 해상도가 부여된 세그멘트 파일을 생성하는 것을 특징으로 한다.
또한 상기 캐싱하는 단계는, 상기 복수의 조각들 중 상기 ROI 정보에 대응되는 베이스 조각을 기준으로 상기 베이스 조각에 포함된 객체가 이동되는 방향을 예측하여 상기 다음 ROI 정보를 예측하는 것을 특징으로 한다.
또한 상기 캐싱하는 단계는, 상기 복수의 조각들 중 ROI 영역에 대응되는 조각에 상기 제1 해상도를 부여하고, 나머지 조각들에 상기 제2 해상도 내지 제n 해상도를 부여하는 것을 특징으로 한다.
또한 상기 분할영상을 전송하는 단계는, 상기 캐싱된 세그먼트 파일을 실시간으로 전송하는 것을 특징으로 한다.
본 발명의 ROI 기반의 VR 콘텐츠 스트리밍 서버 및 방법은 사용자의 ROI 정보를 이용하여 사전에 전송하기 위한 고품질, 저품질 조각을 캐싱하고, 캐싱된 조각을 전송 요청에 따라 전송함으로써, 전송 요청에 대한 부하를 줄이고, 응답 지연시간을 최소화하여 스트리밍 지연시간을 단축시킬 수 있다.
도 1은 본 발명의 실시예에 따른 VR 콘텐츠 스트리밍 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 스트리밍 서버를 설명하기 위한 블록도이다.
도 3은 도 2의 Dash 연결부를 설명하기 위한 도면이다.
도 4는 도 2의 세그먼트 캐시를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 전자장치를 설명하기 위한 블록도이다.
도 6은 본 발명의 실시예에 따른 ROI 검출을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 분할 영상의 구성을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 360 VR 영상 모델링을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 분할 영상의 렌더링을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 스트리밍 서버의 VR 콘텐츠 스트리밍 방법을 설명하기 위한 순서도이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 VR 콘텐츠 스트리밍 시스템을 설명하기 위한 구성도이다.
도 1을 참조하면, VR 콘텐츠 스트리밍 시스템(300)은 ROI를 이용한 분할 영상의 조각(tile) 캐싱을 통해 스트리밍 지연시간을 단축한다. VR 콘텐츠 스트리밍 시스템(300)은 스트리밍 서버(100) 및 전자장치(200)를 포함한다.
스트리밍 서버(100)는 분할 영상의 조각들에 대한 MPD(Media Presentation Description) 파일을 생성하여 전자장치(200)로 전송한다. 스트리밍 서버(100)는 ROI(Region of Interesting) 정보를 이용하여 분할 영상의 조각별로 해상도가 차등으로 부여되는 세그먼트 파일을 생성하여 캐싱한다. 즉 스트리밍 서버(100)는 서로 다른 해상도의 분할 영상 조각들을 저장 관리할 수 있다. 스트리밍 서버(100)는 캐싱된 서로 다른 해상도의 분할 영상의 조각들인 세그먼트 파일을 전자장치(200)로 전송한다. 여기서 MPD 파일은 전자장치(200)가 이용 가능한 콘텐츠. 제공하는 alternative bit rates, URL 주소 값 등의 정보를 포함하는 Manifest. 파일에 대응될 수 있고, ROI는 사용자의 시점(Field of View, FOV) 정보를 기반으로 생성될 수 있다. 스트리밍 서버(100)는 데스크톱, 랩톱, 서버 컴퓨터, 클러스터 컴퓨터 등으로 구현될 수 있다.
전자장치(200)는 MPD 파일을 파싱하면서 프로그램 타이밍, media- content availability, media type, 화질, 최소 및 최대 bandwidth, 사용할 수 있는 encoded-alternatives, DRM 등의 정보를 획득할 수 있다. 전자장치(200)는 네트워크 상태 또는 전자장치의 상태에 맞는 엔코딩(encoding)을 선택한 후, HTTP GET Requst를 통해서 스트리밍 요청을 수행할 수 있다. 예를 들어 사용자 입력에 따라 스트리밍 서버(100)와 통신 채널을 형성할 수 있다. 이를 통해 전자장치(200)는 ROI 정보를 스트리밍 서버(200)에 전송하고, ROI 정보를 이용하여 생성된 세그먼트 파일을 수신한다. 전자장치(200)는 수신된 세그먼트 파일에 포함된 서로 다른 해상도의 분할 영상 조각들을 조합하여 하나의 영상으로 생성한 후, 생성된 영상을 출력한다. 예컨대 전자장치(200)는 관심 영역에서 상대적으로 고해상도의 영상 조각들이 위치하고, 비관심 영역에서 상대적으로 저해상도의 영상 조각들이 위치함으로써, 데이터 처리의 부하량을 감소시키면서 실시간으로 사용자에게 고해상도의 VR 콘텐츠를 제공할 수 있다. 전자장치(200)는 데스크톱, 랩톱, 스마트폰, 태블릿 PC, 핸드헬드 PC, HMD 등으로 구현될 수 있으며, 바람직하게는 HMD일 수 있다.
한편 VR 콘텐츠 스트리밍 시스템(300)은 스트리밍 서버(100) 및 전자장치(200)가 서로 간에 정보를 송수신하는 스트리밍 프로토콜을 더 포함할 수 있다. 스트리밍 프로토콜은 HTTP 1.1 GET 프로토콜을 사용할 수 있으나, 이에 한정하지 않는다.
도 2는 본 발명의 실시예에 따른 스트리밍 서버를 설명하기 위한 블록도이고, 도 3은 도 2의 Dash 연결부를 설명하기 위한 도면이며, 도 4는 도 2의 세그먼트 캐시를 설명하기 위한 도면이다.
도 1 내지 도 4를 참조하면, 스트리밍 서버(100)는 통신부(10) 및 제어부(30)를 포함하고, 저장부(50)를 더 포함할 수 있다.
통신부(10)는 전자장치(200)와 통신을 수행한다. 이때 통신부(10)는 유무선 통신을 통해 전자장치(200)와 통신을 수행할 수 있다. 통신부(10)는 전자장치(200)로부터 분할 영상의 조각들에 대한 MPD 파일에 대한 요청신호, ROI 정보 및 세그먼트 파일에 대한 요청신호를 수신한다. 통신부(10)는 전자장치(200)로 요청신호에 대응되는 MPD 파일 및 세그먼트 파일을 전송한다.
제어부(30)는 MPD 파일에 대한 요청신호가 수신되면 전자장치(200)로 요청신호에 대응되는 MPD 파일이 전송되도록 제어한다. 제어부(30)는 ROI 정보가 수신되면 ROI 정보를 기초로 분할 영상의 각 조각에 제1 해상도 및 제1 해상도보다 낮은 해상도인 제2 해상도 내지 제n 해상도(n은 2이상 자연수)를 부여한 세그먼트 파일을 생성하여 캐싱(caching)한다. 이를 통해 제어부(30)는 분할 영상마다 서로 다른 해상도를 부여할 수 있다. 제어부(30)는 세그먼트 파일에 대한 요청신호가 수신되면 전자장치(200)로 캐싱된 세그먼트 파일이 전송되도록 제어한다.
상세하게는 제어부(30)는 ROI 정보를 기초로 다음 ROI 정보를 예측하여 제1 해상도 내지 제n 해상도가 부여된 세그먼트 파일을 생성할 수 있다. 즉 제어부(30)는 복수의 조각들 중 ROI 정보에 대응되는 베이스 조각을 기준으로 베이스 조각에 포함된 객체가 이동되는 방향을 예측하여 다음 ROI 정보를 예측한다. 또한 제어부(30)는 복수의 조각들 중 ROI 영역에 대응되는 조각에 제1 해상도를 부여하고, 나머지 조각에 제2 해상도 내지 제n 해상도를 부여하여 시스템 부하를 낮출 수 있다. 이를 통해 제어부(30)는 시스템 부하를 낮출 수 있으며, 사전에 전자장치(200)로 전송하기 위한 세그먼트 파일을 생성 및 캐싱함으로써, 응답 지연시간을 최소화하여 실시간으로 전자장치(200)로 세그먼트 파일을 전송할 수 있다.
특히 제어부(30)는 세그먼트 파일을 생성하기 위해 Dash 연결부(35)를 포함할 수 있다. Dash 연결부(35)는 Dash 라이브 연결 모듈(41) 및 Dash 라이브 연결 스레드(43)를 포함한다.
Dash 라이브 연결 모듈(41)은 전자장치(200)로부터 HTTP Connection을 수신하는 역할을 수행한다. 또한 Dash 라이브 연결 모듈(41)은 HTTP Connection 연결 시, DashConnectionThread를 생성하고, HTTP Connection을 전달하고 실행하는 역할을 한다. 이때 Dash 라이브 연결 모듈(41)은 MultiThread Socket과 동일한 구조로 시스템이 허락하는 한도에서 Connection을 수신할 수 있다.
Dash 라이브 연결 스레드(43)는 HttpServelRequest 요청 및 응답과 관련된 스레드로써, Dash 라이브 연결 모듈(41)로부터 생성되는 SubThread로 HTTP URI를 파싱하여 해당하는 Work를 수행하는 스레드이다. 즉 Dash 라이브 연결 스레드(43)는 스레드의 core 메서드로 파싱된 URI 메시지에 따라 ClientID 생성 및 전송, IndexList 전송, MPD 전송, 세그먼트 전송 여부를 결정한다. Dash 라이브 연결 스레드(43)는 베이스 조각 유무를 확인하여 스래를 생성하고, 요청된 베이스 조각을 기준으로 전자장치(200)를 사용하는 사용자가 예측할 Adaptation Set을 구성한 후, 캐싱을 요청한다.
저장부(50)는 스트리밍 서버(100) 운용에 필요한 다양한 프로그램 또는 다양한 명령어가 저장된다. 예컨대 저장부(50)는 분할 영상의 조각들에 대한 MPD 파일, ROI 정보 및 세그먼트 파일과 관련된 명령어들이 저장될 수 있다. 저장부(50)는 MPD 파일, ROI 정보 및 세그먼트 파일이 저장된다. 특히 저장부(50)는 세그먼트 파일을 캐싱하기 위한 세그먼트 캐시(segment cache)(55)를 포함할 수 있다. 세그먼트 캐시(55)는 3개의 레벨 캐시(61, 63, 65)로 구성되고, 모든 캐시는 FIFO(First In First Out) 구조로 메모리상에 로드된 파일을 관리한다. Lv1 캐시(61)는 예측 적응 조각에 대한 세그먼트 캐시이고, Lv2 캐시(63)는 최근 Dashing된 조각에 대한 세그먼트 캐시이며, Lv3 캐시(65)는 최저 사용 빈도(Least Recently used, LRU) 조각에 대한 세그먼트 캐시이다. 이때 Lv1 캐시(61), Lv2 캐시(63), Lv3 캐시(65)는 서로 중복되는 조각을 포함하지 않는다. 세그먼트 캐시(55)는 세그먼트 파일 요청 시, Lv1 캐시(61), Lv2 캐시(63), Lv3 캐시(65) 순서로 캐시가 탐색되고, 캐시가 존재하지 않는 경우 파일 시스템을 마지막으로 탐색하게 된다. 이때 세그먼트 캐시(55)는 key/value 맵 구조로 이루어져 파일 이름(file name)을 key로 탐색한다. 세그먼트 캐시(55)는 탐색되어 리턴(return)되는 조각에 해당하는 requestCount를 +1하고, 리턴되는 순간의 타임 스탬프(time stamp)를 기록하여 캐시에서 삭제 시 Lv3 캐시(65)로 이동 유무의 판단 인자로 사용한다.
여기서 Dash 라이브 연결 스레드(43)가 신규 중앙 조각(center tile segment) 요청이 수신될 때마다 제어부(30)는 해당 중앙 조각의 주변 조각들을 Lv1 캐시(61)로 캐싱한다. 해당 과정은 [수학식 1]과 같다.
Figure 112018109633465-pat00001
Mm×n은 전체 영상에 대한 조각들의 인덱스(index)를 의미하고, GoT(Grouping of Tiles)는 인접 조각들의 집합을 의미하며, k, l은 인접 조각들의 i, j 배열의 인덱스를 의미한다.
한편 M4×4로 분할된 영상에서 {a2,2} 인접 성분의 집합을 산출한다면 [수학식 2]와 같이 {a1,1, a1,2, a1,3, a2,1, a2,3, a3,1, a3,2, a3,3}를 인접한 조각으로 정의하고, Lv1 캐시(61)로 해당 조각들을 캐싱한다.
Figure 112018109633465-pat00002
저장부(50)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 5는 본 발명의 실시예에 따른 전자장치를 설명하기 위한 블록도이다.
도 1 및 도 5를 참조하면, 전자장치(200)는 단말 통신부(210), 센서부(220), 단말 제어부(230), 디스플레이부(240), 입출력부(250) 및 단말 저장부(260)를 포함한다.
단말 통신부(210)는 스트리밍 서버(100)와 통신을 수행한다. 단말 통신부(210)는 유무선 통신을 통해 스트리밍 서버(100)와 통신을 수행할 수 있다. 단말 통신부(210)는 스트리밍 서버(100)로 MPD 파일에 대한 요청신호, ROI 정보 및 세그먼트 파일에 대한 요청신호를 전송한다. 단말 통신부(210)는 스트리밍 서버(100)로부터 요청신호에 대응되는 MPD 파일 및 세그먼트 파일을 수신한다.
센서부(220)는 사용자의 눈동자를 트래킹하여 트래킹된 정보를 수집한다. 센서부(220)는 눈동자가 지시하는 방향에 대한 방향 정보를 시점 정보로서 단말 제어부(230)로 전달한다. 센서부(220)는 전자장치(200)가 HMD인 경우, HMD의 내부에 설치되고, 사용자가 HMD를 착용하면 활성화되어 사용자의 눈동자의 위치 변화를 감지할 수 있으며, 전자장치(200)가 HMD가 아닌 경우, 별도의 센서 모듈로 구현되고, 사용자가 사용자입력을 입력하면 활성화되어 사용자의 눈동자의 위치 변화를 감지할 수 있다.
단말 제어부(230)는 스트리밍 서버(100)로 MPD 파일을 요청하는 요청신호이 전송되도록 제어하고, 요청신호에 대응되는 MPD 파일이 수신되면 디스플레이부(240)를 통해 출력되도록 제어한다. 이때 센서부(220)는 출력되는 영상을 확인하는 사용자의 시점 정보를 수집할 수 있다. 단말 제어부(230)는 센서부(220)로부터 수집된 시점 정보를 이용하여 ROI 정보를 생성하고, 생성된 ROI 정보를 스트리밍 서버(100)로 전송하도록 제어한다.
단말 제어부(230)는 스트리밍 서버(100)로부터 서로 다른 해상도를 가지는 분할 영상의 조각들에 대한 세크먼트 파일을 수신하면 분할 영상의 조각들을 MRS(Multi-Resolution Shading) 렌더링을 수행하여 VR 콘텐츠를 생성하고, 생성된 VR 콘텐츠를 디스플레이부(240)를 통해 출력되도록 제어한다. 이때 VR 콘텐츠는 ROI에 해당하는 영역에 상대적으로 고해상도를 배치하고, ROI에 해당하지 않는 영역에 상대적으로 저해상도를 배치하여 전체 적인 데이터 부하량을 저감시키는 동시에 저지연 라이브 스트리밍 서비스가 가능하도록 지원한다. 추가적으로 단말 제어부(230)는 오디오 정보를 더 수신된 경우, 수신된 오디오 정보를 분할 영상의 조각들과 함께 렌더링할 수 있다.
디스플레이부(240)는 전자장치(200) 운용과 관련된 화면을 출력한다. 예를 들어 디스플레이부(240)는 스트리밍 서버(100) 접속과 관련된 화면, 스트리밍 서버(100)가 제공하는 MPD 파일과 관련된 화면, 스트리밍 서버(100)가 제공한 세그먼트 파일에 의해 생성된 VR 콘텐츠를 출력할 수 있다. 이때 전자장치(200)가 HMD인 경우, 디스플레이부(240)는 HMD에 포함되어 VR 영상을 출력할 수 있는 분리된 디스플레이 영역들을 포함할 수 있다. 여기서 분리된 디스플레이 영역들에는 좌안 영상 및 우안 영상이 각각 출력될 수 있다. 디스플레이부(240)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
입출력부(250)는 전자장치(200)의 조작과 관련된 사용자 입력을 입력할 수 있는 적어도 하나의 버튼, 터치 패드, 터치스크린, 음성 입력용 마이크 중 적어도 하나의 입력 장치를 포함할 수 있다. 입출력부(250)는 전자장치(200)의 운용과 관련된 오디오 신호를 출력할 수 있는 오디오 장치, 빛을 출력할 수 있는 램프 또는 진동 소자 등을 포함할 수 있다. 예컨대 입출력부(250)는 스트리밍 서버(100)로부터 수신된 오디오 신호를 분할 영상의 조각들과 싱크되어 출력할 수 있다.
단말 저장부(260)는 전자장치(200)의 운용과 관련된 프로그램 및 명령어들이 저장된다. 즉 단말 저장부(260)는 전자장치(200)를 운용과 관련된 응용 프로그램이 저장될 수 있다. 단말 저장부(260)는 스트리밍 서버(100)로부터 수신된 MPD 파일 및 세그먼트 파일이 저장되고, ROI기반으로 생성된 VR 콘텐츠가 저장될 수 있다. 단말 저장부(260)는 플래시 메모리 타입, 하드디스크 타입, 미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 6은 본 발명의 실시예에 따른 ROI 검출을 설명하기 위한 도면이고, 도 7은 본 발명의 실시예에 따른 분할 영상의 구성을 설명하기 위한 도면이며, 도 8은 본 발명의 실시예에 따른 360 VR 영상 모델링을 설명하기 위한 도면이고, 도 9는 본 발명의 실시예에 따른 분할 영상의 렌더링을 설명하기 위한 도면이다.
도 6 내지 도 9를 참조하면, 전자장치(200)는 ROI 기반의 VR 콘텐츠를 생성하고, 생성된 VR 콘텐츠를 출력한다.
이를 위해 전자장치(200)는 전체 텍스쳐(Texture) 내 ROI를 정의한다. 전자장치(200)는 위치 추적(Position Tracking)을 이용하여 고화질 조각을 사용할 시야각 영역을 정의한다(도 6). 전자장치(200)는 위치 추적값을 x, y, z 벡터값으로 수신할 수 있으며, 수신된 벡터값은 [수학식 3]과 같이 정규화(normalization)된다.
Figure 112018109633465-pat00003
여기서, res는 x, y, z 간의 벡터 길이를 의미한다.
전자장치(200)는 정규화된 위치 추적 좌표를 기반으로 시야각 영역 좌표를 산출한다. 좌표 x1, x2는 [수학식 4]와 같이 산출하고, 좌표 y1, y2는 [수학식 5]와 같이 산출한다.
Figure 112018109633465-pat00004
Figure 112018109633465-pat00005
여기서, h.fov는 높이에 대한 시야각을 의미하고, w.fov는 너비에 대한 시야각을 의미한다.
전자장치(200)는 위치 추적 기반으로 시야각 영역 내에서 시적 추적 좌표(x, y, z)를 사용하여 시야각 영역 내 ROI 영역을 정의한다. 전자장치(200)는 시점 추적 좌표(x, y, z=1)를 시야각 영역 내 위치 좌표를 [수학식 6]을 이용하여 산출한다.
Figure 112018109633465-pat00006
전자장치(200)는 정의된 ROI 영역을 이용하여 렌더링된 텍스쳐(71, 72)의 뷰포트 영역을 고해상도(1.0), 중해상도(0.7) 및 저해상도(0.2)로 구분하여 표시할 수 있다. 즉 전자장치(200)는 ROI에 위치하는 좌표의 조각을 고해상도(1.0), 주변의 조각을 중해상도(0.7), 그 밖의 조각을 저해상도(0.5)로 구성하여 멀티 해상도 텍스쳐(Multi Resolution Texture)를 생성할 수 있으며, 각 조각에 대한 해상도를 수치화(73)할 수 있다.
상세하게는 전자장치(200)는 기본적으로 MPEG-DASH 표준을 지원하고, 눈시점 추적 좌표를 이용하여 ROI를 검출한다. 예를 들어 7680×3840 해상도를 가지고 6×6으로 분할된 영상의 x, y 좌표값이 나타내는 조각을 [수학식 7]과 같이 산출할 수 있다.
Figure 112018109633465-pat00007
여기서 x 좌표가 4100이고, y 좌표가 2000인 경우, 좌표값이 포함된 조각은
Figure 112018109633465-pat00008
로 (3+1, 3+1)이며 소숫점 제외 정수로 표현하여 (4, 4)의 성분으로 나타낼 수 있다.
전자장치(200)는 ROI에 해당하는 영역을 고해상도(81)로 구성하고, ROI에 해당하지 않는 영역을 중해상도 또는 저해상도(82)로 구성할 수 있다. 이때 전자장치(200)는 ROI에 의해 서로 다른 해상도가 부여된 조각에 대한 세그먼트 파일을 스트리밍 서버(100)에 요청하여 수신한다. 한편 전자장치(200)는 기 저장된 MPD 파일이 없는 경우, ROI 검출 이전에 MPD 파일을 스트리밍 서버(100)로부터 먼저 수신한다.
전자장치(200)는 세그먼트 파일을 모두 수신하고 비트스트림 스티칭(83)을 수행하고, 디코딩을 수행한다. 전자장치(200)는 디코딩을 수행한 후, 렌더링을 위해 디코딩된 영상 이미지를 3D 텍스쳐에 매핑(84)하고, 프로젝션 뷰 포인트(Projection View Point)(85)를 선택한다.
전자장치(200)는 선택된 프로젝션 뷰 포인트 영상 이미지의 싱글 프로젝션 텍스쳐(Single Projection Texture)(91)를 마지막으로 멀티 해상도 렌더링(Muli-Resolution Rendering)을 사용하여 멀티 뷰 포트 프로젝션 텍스쳐(Muli View Port Projection Texture)를 생성하여 디스플레이 한다. 여기서 멀티 해상도 렌더링은 그래픽스 파이프라인(92) 및 3개의 멀티뷰 포트 출력(93) 과정을 포함할 수 있다.
도 10은 본 발명의 실시예에 따른 스트리밍 서버의 VR 콘텐츠 스트리밍 방법을 설명하기 위한 순서도이다.
도 1 및 도 10을 참조하면, VR 콘텐츠 스트리밍 방법은 사용자의 ROI 정보를 이용하여 사전에 전송하기 위한 고품질, 저품질 조각을 캐싱하고, 캐싱된 조각을 전송 요청에 따라 전송한다.
S110단계에서, 스트리밍 서버(100)는 MPD 파일 요청신호에 대한 수신 여부를 판단한다. 스트리밍 서버(100)는 전자장치(200)로부터 MPD 파일 요청신호를 수신하면 S120단계를 수행하고, MPD 파일 요청신호를 수신하지 않으면 시스템을 종료한다.
S120단계에서, 스트리밍 서버(100)는 MPD 파일을 전자장치(200)로 전송한다. 스트리밍 서버(100)는 요청신호에 대응하는 MPD 파일을 해당 전자장치(200)로 전송한다.
S130단계에서, 스트리밍 서버(100)는 ROI 정보에 대한 수신 여부를 판단한다. 스트리밍 서버(100)는 전자장치(200)로부터 ROI 정보를 수신하면 S140단계를 수행하고, ROI 정보를 수신하지 않으면 S130단계를 재수행한다.
S140단계에서, 스트리밍 서버(100)는 세그먼트파일 생성 및 캐싱을 한다. 스트리밍 서버(100)는 ROI 정보를 기초로 분할 영상의 각 조각에 제1 해상도 및 제1 해상도보다 낮은 해상도인 제2 해상도 내지 제n 해상도를 부여한 세그먼트 파일을 생성한다. 스트리밍 서버(100)는 복수의 조각들 중 ROI 영역에 대응되는 조각에 제1 해상도를 부여하고, 나머지 조각에 제2 해상도 내지 제n 해상도를 부여한다. 스트리밍 서버(100)는 생성된 세그먼트 파일을 캐싱한다.
S150단계에서, 스트리밍 서버(100)는 세그먼트파일 요청신호에 대한 수신 여부를 판단한다. 스트리밍 서버(100)는 전자장치(200)로부터 세그먼트파일 요청신호를 수신하면 S160단계를 수행하고, 세그먼트 요청신호를 수신하지 않으면 S150단계를 재수행한다.
S160단계에서, 스트리밍 서버(100)는 캐싱된 세그먼트 파일을 전자장치(200)로 전송한다. 스트리밍 서버(100)는 요청신호에 대응하는 세그먼트파일을 해당 전자장치(200)로 전송한다.
S170단계에서, 스트리밍 서버(100)는 시스템에 대한 종료 여부를 판단한다. 스트리밍 서버(100)는 시스템이 종료되지 않는 경우, S130단계로 분기하고, 시스템이 종료되는 경우 시스템을 종료한다.
상술된 바와 같이, 스트리밍 서버(100)는 전자장치(200)로부터 세그먼트파일이 요청되지 않아도 다음 ROI 정보를 예측하여 사전에 전송할 세그먼트파일을 생성함으로써, 시스템의 부하를 줄이고 응답 지연시간을 최소화하여 사용자에게 실시간 스트리밍을 제공할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
10: 통신부
30: 제어부
35: Dash 연결부
41: Dash 라이브 연결모듈
43: Dash 라이브 연결스레드
50: 저장부
55: 세그먼트 캐시
100: 스트리밍 서버
200: 전자장치
210: 단말 통신부
220: 센서부
230: 단말 제어부
240: 디스플레이
250: 입출력부
260: 단말 저장부
300: VR 콘텐츠 스트리밍 시스템

Claims (10)

  1. 전자장치로부터 분할 영상의 조각들에 대한 MPD(Media Presentation Description) 파일에 대한 요청신호, ROI(Region of Interesting) 정보 및 세그먼트 파일에 대한 요청신호를 수신하고, 상기 전자장치로 상기 요청신호에 대응되는 MPD 파일 및 세그먼트 파일을 전송하는 통신부;
    예측 적응 조각에 대한 제1 세그먼트 캐시, 최근 대싱된 조각에 대한 제2 세그먼트 캐시, 최저 사용 빈도조각에 대한 제3 세그먼트 캐시를 포함하는 저장부; 및
    상기 MPD 파일에 대한 요청신호가 수신되면 상기 전자장치로 상기 요청신호에 대응되는 MPD 파일이 전송되도록 제어하고,
    상기 ROI 정보가 수신되면 상기 ROI 정보를 기초로 상기 분할 영상의 각 조각에 제1 해상도 및 상기 제1 해상도보다 낮은 해상도인 제2 해상도 내지 제n 해상도(n은 2이상 자연수)를 부여한 세그먼트 파일을 생성하여 캐싱(caching)하며,
    상기 세그먼트 파일에 대한 요청신호가 수신되면 상기 전자장치로 상기 캐싱된 세그먼트 파일이 전송되도록 제어하는 제어부;를 포함하고,
    상기 제어부는
    상기 세그먼트 파일 요청에 대응하여 상기 제1 세그먼트 캐시, 상기 제2 세그먼트 캐시 및 상기 제3 세그먼트 캐시 순서로 캐시를 탐색하도록 설정되는 ROI 기반의 VR 콘텐츠 스트리밍 서버.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 ROI 정보를 기초로 다음 ROI 정보를 예측하여 상기 제1 해상도 내지 상기 제n 해상도가 부여된 세그먼트 파일을 생성하는 것을 특징으로 하는 ROI 기반의 VR 콘텐츠 스트리밍 서버.
  3. 제 2항에 있어서,
    상기 제어부는,
    상기 복수의 조각들 중 상기 ROI 정보에 대응되는 베이스 조각을 기준으로 상기 베이스 조각에 포함된 객체가 이동되는 방향을 예측하여 상기 다음 ROI 정보를 예측하는 것을 특징으로 하는 ROI 기반의 VR 콘텐츠 스트리밍 서버.
  4. 제 1항에 있어서,
    상기 제어부는,
    상기 복수의 조각들 중 ROI 영역에 대응되는 조각에 상기 제1 해상도를 부여하고, 나머지 조각에 상기 제2 해상도 내지 제n 해상도를 부여하는 것을 특징으로 하는 ROI 기반의 VR 콘텐츠 스트리밍 서버.
  5. 제 1항에 있어서,
    상기 제어부는,
    상기 캐싱된 세그먼트 파일이 실시간으로 전송되도록 제어하는 것을 특징으로 하는 ROI 기반의 VR 콘텐츠 스트리밍 서버.
  6. 스트리밍 서버가 전자장치로부터 분할 영상의 조각들에 대한 MPD 파일에 대한 요청신호를 수신하면 상기 전자장치로 상기 요청신호에 대응되는 MPD 파일을 전송하는 단계;
    상기 스트리밍 서버가 상기 전자장치로부터 ROI 정보를 수신하면 상기 ROI 정보를 기초로 상기 분할 영상의 각 조각에 제1 해상도 및 상기 제1 해상도보다 낮은 해상도인 제2 해상도 내지 제n 해상도를 부여한 세그먼트 파일을 생성하여 캐싱하는 단계; 및
    상기 스트리밍 서버가 상기 전자장치로부터 상기 세그먼트 파일에 대한 요청신호를 수신하면 상기 전자장치로 상기 캐싱된 세그먼트 파일을 전송하는 단계;를 포함하고,
    상기 전송하는 단계는,
    예측 적응 조각에 대한 제1 세그먼트 캐시, 최근 대싱된 조각에 대한 제2 세그먼트 캐시, 최저 사용 빈도조각에 대한 제3 세그먼트 캐시를 저장하는 저장부에서 상기 제1 세그먼트 캐시, 상기 제2 세그먼트 캐시 및 상기 제3 세그먼트 캐시 순서로 캐시를 탐색하는 단계;
    를 포함하는 ROI 기반의 VR 콘텐츠 스트리밍 방법.
  7. 제 6항에 있어서,
    상기 캐싱하는 단계는,
    상기 ROI 정보를 기초로 다음 ROI 정보를 예측하여 상기 제1 해상도 내지 상기 제n 해상도가 부여된 세그멘트 파일을 생성하는 것을 특징으로 하는 ROI 기반의 VR 콘텐츠 스트리밍 방법.
  8. 제 7항에 있어서,
    상기 캐싱하는 단계는,
    상기 복수의 조각들 중 상기 ROI 정보에 대응되는 베이스 조각을 기준으로 상기 베이스 조각에 포함된 객체가 이동되는 방향을 예측하여 상기 다음 ROI 정보를 예측하는 것을 특징으로 하는 ROI 기반의 VR 콘텐츠 스트리밍 방법.
  9. 제 6항에 있어서,
    상기 캐싱하는 단계는,
    상기 복수의 조각들 중 ROI 영역에 대응되는 조각에 상기 제1 해상도를 부여하고, 나머지 조각들에 상기 제2 해상도 내지 제n 해상도를 부여하는 것을 특징으로 하는 ROI 기반의 VR 콘텐츠 스트리밍 방법.
  10. 제 6항에 있어서,
    상기 분할영상을 전송하는 단계는,
    상기 캐싱된 세그먼트 파일을 실시간으로 전송하는 것을 특징으로 하는 ROI 기반의 VR 콘텐츠 스트리밍 방법.
KR1020180134700A 2018-11-05 2018-11-05 Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법 KR102027172B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180134700A KR102027172B1 (ko) 2018-11-05 2018-11-05 Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법
PCT/KR2018/014572 WO2020096118A1 (ko) 2018-11-05 2018-11-23 Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법
US16/713,797 US11025880B2 (en) 2018-11-05 2019-12-13 ROI-based VR content streaming server and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180134700A KR102027172B1 (ko) 2018-11-05 2018-11-05 Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법

Publications (1)

Publication Number Publication Date
KR102027172B1 true KR102027172B1 (ko) 2019-10-01

Family

ID=68207815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180134700A KR102027172B1 (ko) 2018-11-05 2018-11-05 Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법

Country Status (2)

Country Link
KR (1) KR102027172B1 (ko)
WO (1) WO2020096118A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102361178B1 (ko) * 2020-12-02 2022-02-15 한국전자기술연구원 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004147281A (ja) * 2002-08-29 2004-05-20 Nippon Hoso Kyokai <Nhk> 特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラム
KR20160106563A (ko) * 2014-01-06 2016-09-12 인텔 아이피 코포레이션 Dash를 위한 클라이언트/서버 시그널링 명령
KR101764317B1 (ko) 2016-11-03 2017-08-02 주식회사 헤카스 스트리밍 서버, 스트리밍 시스템 및 스트리밍 방법
KR20180058455A (ko) * 2016-11-24 2018-06-01 삼성전자주식회사 영상 복잡도 정보를 이용한 화면 영역별 차등 대역폭 할당 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120094273A (ko) * 2011-02-16 2012-08-24 한국전자통신연구원 Ｓｖｃ 서버를 이용한 스트리밍 서비스 및 단말 재생 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004147281A (ja) * 2002-08-29 2004-05-20 Nippon Hoso Kyokai <Nhk> 特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラム
KR20160106563A (ko) * 2014-01-06 2016-09-12 인텔 아이피 코포레이션 Dash를 위한 클라이언트/서버 시그널링 명령
KR101764317B1 (ko) 2016-11-03 2017-08-02 주식회사 헤카스 스트리밍 서버, 스트리밍 시스템 및 스트리밍 방법
KR20180058455A (ko) * 2016-11-24 2018-06-01 삼성전자주식회사 영상 복잡도 정보를 이용한 화면 영역별 차등 대역폭 할당 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102361178B1 (ko) * 2020-12-02 2022-02-15 한국전자기술연구원 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법
WO2022119022A1 (ko) * 2020-12-02 2022-06-09 한국전자기술연구원 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법

Also Published As

Publication number Publication date
WO2020096118A1 (ko) 2020-05-14

Similar Documents

Publication Publication Date Title
CN109891850B (zh) 用于减少360度视区自适应流媒体延迟的方法和装置
US11321928B2 (en) Methods and apparatus for atlas management of augmented reality content
CN109600674B (zh) 非线性媒体的基于客户端的自适应流式传输
WO2019202207A1 (en) Processing video patches for three-dimensional content
US9619916B2 (en) Method for transmitting digital scene description data and transmitter and receiver scene processing device
US11451838B2 (en) Method for adaptive streaming of media
US10499066B2 (en) Method and apparatus for improving efficiency of content delivery based on consumption data relative to spatial data
JP7129517B2 (ja) ３６０ビデオストリーミングのための予測ビットレート選択
US11481026B2 (en) Immersive device and method for streaming of immersive media
JP2018522430A (ja) ユーザヘッドセットへの球状ビデオ帯域幅を減少させる方法および装置
KR20190063590A (ko) 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치
KR102027172B1 (ko) Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법
US20230026014A1 (en) Video processing device and manifest file for video streaming
CN112511888B (zh) 用于多视图视频流的通用图块编码
KR102118334B1 (ko) 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치
US11025880B2 (en) ROI-based VR content streaming server and method
KR102023905B1 (ko) 분할 영상 다중 채널 재생을 하는 전자장치 및 방법
KR102251576B1 (ko) 관심 영역 기반의 vr 영상 수신 장치 및 방법
WO2022149189A1 (ja) 配信制御装置、配信制御システム、配信制御方法、及びプログラム
US20240029376A1 (en) Spatial foveated streaming -media distribution for extended reality devices
WO2018178510A2 (en) Video streaming
CN115315951A (zh) 用于远程终端的沉浸式远程会议和远程呈现的比特流结构
CN116235499A (zh) 使用具有位置数据的清单来有效递送多相机交互式内容

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant