KR20200118282A - 관심 영역 기반의 vr 영상 수신 장치 및 방법 - Google Patents

관심 영역 기반의 vr 영상 수신 장치 및 방법 Download PDF

Info

Publication number
KR20200118282A
KR20200118282A KR1020190039379A KR20190039379A KR20200118282A KR 20200118282 A KR20200118282 A KR 20200118282A KR 1020190039379 A KR1020190039379 A KR 1020190039379A KR 20190039379 A KR20190039379 A KR 20190039379A KR 20200118282 A KR20200118282 A KR 20200118282A
Authority
KR
South Korea
Prior art keywords
image
region
tiles
interest
resolution
Prior art date
Application number
KR1020190039379A
Other languages
English (en)
Other versions
KR102251576B1 (ko
Inventor
장준환
박우출
김용화
양진욱
윤상필
김현욱
조은경
최민수
이준석
양재영
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190039379A priority Critical patent/KR102251576B1/ko
Priority to PCT/KR2019/005774 priority patent/WO2020204253A1/ko
Publication of KR20200118282A publication Critical patent/KR20200118282A/ko
Application granted granted Critical
Publication of KR102251576B1 publication Critical patent/KR102251576B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 관심 영역 기반의 VR 영상 수신 장치 및 방법이 개시된다. 본 발명의 VR 영상 수신 장치는 스트리밍 서버 및 VR 플레이어와 통신을 수행하는 인터페이스부 및 스트리밍 서버가 제공하는 MPD(Media Presentation Description)와 관련한 영상의 관심 영역(Region Of Interest, ROI)을 검출하고, 관심 영역 정보를 상기 스트리밍 서버에 전송되도록 제어하여 상기 스트리밍 서버로부터 상기 관심 영역 정보에 대응하는 제1 해상도의 분할 영상 타일들 및 제1 해상도보다 낮은 해상도인 제2 해상도의 전체 영상이 수신되도록 제어하며, 제2 해상도의 전체 영상과 상기 제1 해상도의 분할 영상 타일들을 합성하여 상기 VR 플레이어에 전송되도록 제어하는 제어부를 포함하되, 제어부는, VR 플레이어로부터 수신된 VR 영상의 공간에 대한 2차원 좌표의 최좌상단 좌표를 이용하여 전체 VR 영상의 공간상에서 관심 영역의 각 꼭지점 좌표를 산출하고, 산출된 꼭지점 좌표를 이용하여 관심 영역 정보를 검출하는 것을 특징으로 한다.

Description

관심 영역 기반의 VR 영상 수신 장치 및 방법{VR video receiving device and method based on ROI}
본 발명은 콘텐츠 스트리밍 기술에 관한 것으로, 더욱 상세하게는 관심 영역(Region of Interest, ROI) 기반으로 연산 부하를 최소화하며 고품질 VR 콘텐츠를 수신하는 관심 영역 기반의 VR 영상 수신 장치 및 방법에 관한 것이다.
빠르게 변화하는 IT 기술의 발전에 힘입어 우리의 생활 양식과 데이터 소비 방식이 변화함에 따라 데이터 소비의 중심이 콘텐츠와 콘텐츠를 제공하는 플랫폼을 중심으로 하는 단계에 접어들게 되었다. 특히 스마트폰의 보급이 기본이 되면서 개개인의 콘텐츠를 소비할 수 있는 창구를 만드는 것을 넘어 이제는 고화질, 실감형 콘텐츠를 요구하는 수요가 점차 늘어나고 있는 추세이다.
근래에는 고품질 영상을 공간 단위로 분할하여 HEVC(High Efficiency Video Coding) 인코딩한 후 다시 시간 단위로 분할하여 사용자의 관심 영역만 고품질 영상을 재생하고, 나머지 영역은 저품질 영상으로 재생하는 MPEG DASH-SRD 기술도 등장하였으나, 이는 여전히 2D 영상에 대한 문제만을 해결하고 있는 문제점이 있었다.
한편 VR 콘텐츠의 경우, 고품질 영상으로 여겨지기 위해서는 최소 8K 이상의 고화질의 영상을 필요로 한다. 즉 VR 콘텐츠는 하나의 영상을 하나의 평면에 투사하는 것이 아니라 구(sphere) 전체를 나타내기 때문에 같은 4K 영상이더라도 VR 공간 내에서 보면 일반 2D 영상보다 화질이 확연하게 떨어진다. 이러한 문제를 해결하기 위해 VR 공간 내에 재생되는 영상의 해상도 크기를 크게 할 수밖에 없으며, 이는 영상을 실제로 재생하는 클라이언드 단에 과도한 부하를 발생되었다.
최근 5G 네트워크망과 클라우드 렌더링을 접목하여 고 연산이 이루어지는 렌더링 작업을 클라우드에서 처리하고 클라이언트에는 일반 영상과 같은 저용량의 영상 데이터를 재생 장치로 전달하려는 시도도 있었으나, 렌더링이라는 많은 연산량을 필요로 하는 작업이 클라우드에서 이어지기 때문에 결국 절대적인 연산량은 줄이지 못하고 클라우드 서비스 이용 비용만 증가하는 결과를 초래하였다.
한국공개특허공보 제10-2018-0112708호(2018.10.12.)
본 발명이 이루고자 하는 기술적 과제는 관심 영역 기반으로 연산 부하를 최소화하여 VR 콘텐츠를 수신하는 관심 영역 기반의 VR 영상 수신 장치 및 방법을 제공하는데 목적이 있다.
상기 목적을 달성하기 위해, 본 발명에 따른 관심 영역 기반의 VR 영상 수신 장치는 스트리밍 서버 및 VR 플레이어와 통신을 수행하는 인터페이스부 및 상기 스트리밍 서버가 제공하는 MPD(Media Presentation Description)와 관련한 영상의 관심 영역(Region Of Interest, ROI)을 검출하고, 상기 관심 영역 정보를 상기 스트리밍 서버에 전송되도록 제어하여 상기 스트리밍 서버로부터 상기 관심 영역 정보에 대응하는 제1 해상도의 분할 영상 타일들 및 상기 제1 해상도보다 낮은 해상도인 제2 해상도의 전체 영상이 수신되도록 제어하며, 상기 제2 해상도의 전체 영상과 상기 제1 해상도의 분할 영상 타일들을 합성하여 상기 VR 플레이어에 전송되도록 제어하는 제어부;를 포함하되, 상기 제어부는, 상기 VR 플레이어로부터 수신된 VR 영상의 공간에 대한 2차원 좌표의 최좌상단 좌표를 이용하여 전체 VR 영상의 공간상에서 관심 영역의 각 꼭지점 좌표를 산출하고, 상기 산출된 꼭지점 좌표를 이용하여 상기 관심 영역 정보를 검출하는 것을 특징으로 한다.
또한 상기 수신된 MPD 파일을 해상도별, 시간대별로 구분하여 저장하는 저장부를 더 포함하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 MPD 파일에서 파싱된 정보를 기초로 상기 MPD 파일 중 상대적으로 해상도가 높은 영상 타일을 모두 검색하고, 상기 검색된 타일이 상기 꼭지점 좌표이 연결된 가상의 직사각형 형태의 관심 영역에 포함되는지 판단하여 후보 타일들을 선별하는 것을 특징으로 한다.
또한 상기 제어부는, 각 후보 타일들이 관심 영역 내에 포함되는 넓이를 각각 산출하고, 산출된 넓이를 기초로 내림차순정렬을 하여 관심 영역 중 가장 중심이 되는 중심 타일들을 산출하며, 상기 산출된 중심 타일들을 선별 타일로 지정하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 중심 타일들을 기준으로 +n 타일 그룹(n은 자연수)과 -n 타일 그룹의 영역 넓이를 비교하여 더 넓은 그룹의 타일들을 선별 타일로 지정하는 것을 특징으로 한다.
본 발명에 따른 관심 영역 기반의 VR 영상 수신 방법은 VR 영상 수신 장치가 스트리밍 서버가 제공하는 MPD와 관련한 영상의 관심 영역을 검출하는 단계, 상기 VR 영상 수신 장치가 상기 관심 영역 정보를 상기 스트리밍 서버에 전송시켜 상기 스트리밍 서버로부터 상기 관심 영역 정보에 대응하는 제1 해상도의 분할 영상 타일들 및 상기 제1 해상도보다 낮은 해상도인 제2 해상도의 전체 영상을 수신하는 단계 및 상기 제2 해상도의 전체 영상과 상기 제1 해상도의 분할 영상 타일들을 합성하여 상기 VR 플레이어로 전송하는 단계를 포함하되, 상기 관심 영역을 검출하는 단계는, 상기 VR 플레이어로부터 수신된 VR 영상의 공간에 대한 2차원 좌표의 최좌상단 좌표를 이용하여 전체 VR 영상의 공간상에서 관심 영역의 각 꼭지점 좌표를 산출하고, 상기 산출된 꼭지점 좌표를 이용하여 상기 관심 영역 정보를 검출하는 것을 특징으로 한다.
또한 상기 관심 영역을 검출하는 단계는, 상기 MPD 파일에서 파싱된 정보를 기초로 상기 MPD 파일 중 상대적으로 해상도가 높은 영상 타일을 모두 검색하고, 상기 검색된 타일이 상기 꼭지점 좌표이 연결된 가상의 직사각형 형태의 관심 영역에 포함되는지 판단하여 후보 타일들을 선별하는 것을 특징으로 한다.
또한 상기 관심 영역을 검출하는 단계는, 각 후보 타일들이 관심 영역 내에 포함되는 넓이를 각각 산출하고, 산출된 넓이를 기초로 내림차순정렬을 하여 관심 영역 중 가장 중심이 되는 중심 타일들을 산출하며, 상기 산출된 중심 타일들을 선별 타일로 지정하는 것을 특징으로 한다.
또한 상기 관심 영역을 검출하는 단계는, 상기 중심 타일들을 기준으로 +n 타일 그룹(n은 자연수)과 -n 타일 그룹의 영역 넓이를 비교하여 더 넓은 그룹의 타일들을 선별 타일로 지정하는 것을 특징으로 한다.
본 발명의 관심 영역 기반의 VR 영상 수신 장치 및 방법은 관심 영역 및 관심 영역 이외의 영역으로 해상도를 차등 부여하여 연산 부하를 최소화함으로써, 실시간으로 고품질의 VR 콘텐츠를 수신할 수 있다.
즉 독립적인 VR 플레이어를 사용하는 경우 또는 클라우드 렌더링을 하는 경우 모두 연산량 및 전송 데이터의 크기를 줄여 비용을 감소하고, 동일한 비용인 경우에도 더 좋은 화질의 영상을 사용자에게 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 스트리밍 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 VR 영상 수신 장치를 설명하기 위한 블록도이다.
도 3은 도 2의 미디어 캐시를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 관심 영역과 고품질 영상 영역 간의 관계를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 타일 선별 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 VR 영상 수신 방법을 설명하기 위한 순서도이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 스트리밍 시스템을 설명하기 위한 구성도이다.
도 1을 참조하면, 스트리밍 시스템(400)은 VR 영상 수신 장치(100), 스트리밍 서버(200) 및 VR 플레이어(300)를 포함한다. 스트리밍 시스템(400)은 스트리밍 서버(200)에 분할 영상을 제공하는 트랜스코더(미도시)를 더 포함할 수도 있다.
트랜스코더는 지정된 정책 및 룰에 따라 영상(또는 Media 파일)을 동일한 해상도의 복수의 공간들로 분할하거나 또는 서로 다른 해상도의 복수의 공간들로 분할하거나 또는 지정된 시간 단위로 분할할 수 있다. 분할된 미디어 파일들(예: HEVC 타일드 인코딩된 파일들)은 스트리밍 서버(200)에 제공될 수 있다. 또는, 스트리밍 서버(13)는 트랜스코더를 포함할 수도 있다.
트랜스코더는 특정 미디어 파일 예컨대, 360 VR(Virtual Reality) 영상 또는 라이브 중계 영상 등을 타일드 인코딩(Tiled Encoding(HEVC)) 또는 Encoding(HEVC) 하여 스트리밍 서버(13)에 전송할 수 있다. 트랜스코더는 타일드 인코딩된 미디어 파일들에 대응하는 Tiled 정보(MetaInfo)를 작성하고, 작성된 Tiled 정보(MetaInfo)를 미디어 파일 전송 시 함께 스트리밍 서버(200)에 전송할 수 있다. 트랜스코더는 고품질 영상에 대해 실시간으로 HEVC Tiled Encoding을 수행하거나 VOD 컨텐츠에 대해 지정된 시간에 HEVC Tiled Encoding을 수행할 수 있다. 이 동작에서 트랜스코더는 하나의 영상을 일정 크기(또는 공간) 단위로 분할하고, 분할된 미디어 파일에 대하여 순차적으로 HEVC Tiled Encoding을 수행하여 스트리밍 서버(200)에 전송할 수 있다. 트랜스코더가 스트리밍 서버(200)에 전송하는 영상은 예컨대, HQ(8K 급 이상의 HEVC Tiled Encoding된 고품질 영상), MQ(2K 또는 4K 급 이상의 HEVC Tiled Encoding된 중품질 영상), FullMQ(2K 또는 4K급의 HEVC Encoding된 중품질 영상) 중 적어도 하나를 포함할 수 있다. MetaInfo(또는 Tiled 정보)는 상술한 HQ, MQ 파일에 대한 Meta 정보(Tile, Bitrate, FPS, bandwidth 등)를 포함할 수 있다.
스트리밍 서버(200)는 분할 영상 조각들에 대한 MPD(Media Presentation Description) 파일을 생성하여 VR 영상 수신 장치(100)로 전달하고, VR 영상 수신 장치(100)에 ROI(Region Of Interest) 정보를 요청하여 수신한다. 이를 기반으로 스트리밍 서버(200)는 서로 다른 해상도의 분할 영상 조각들을 VR 영상 수신 장치(100)로 전송할 수 있다. MPD 파일은 VR 영상 수신 장치(100)가 이용 가능한 컨텐츠, 제공하는 alternative bit rates, URL 주소 값 등의 정보를 포함하는 Manifest. 파일에 대응될 수 있다.
예를 들어 URL 주소 값은 각 변수들의 조합된 템플릿 형태로 구성되어 있으며 그 구조는 하기와 같으며, 해당 설명은 [표 1]과 같다.
[제1 URL 주소값]
$BASE_URL$/$INDEX_NUM$/$DST_ID$_$PERIOD_ID$_dash_track$TRACK_NUM$_init.mp4
[제2 URL 주소값]
$BASE_URL$/$INDEX_NUM$/$DST_ID$_$PERIOD_ID$_dash_track$TRACK_NUM$_$SEGMENT_NUM$.m4s
변수명 설명 예시
$BASE_URL$ 호스트 명 혹은 IP 주소로 치환 www.abc.com,
192.168.0.1
$INDEX_NUM$ 하나의 영상 set이 위치한 index 값 [0-n]
$DST_ID$ 대상 미디어에 대한 ID 값 [0-n]
$PERIOD_ID$ MPD 내 영상 정보 단위인 period를 나타내는 값. 이 값으로 해당 영상이 HQ인지 LQ인지 혹은 다른 미디어인지 구별 [0-n]
$TRACK_NUM$ 미디어의 트랙 번호. 공간 단위로 나뉜 미디어의 경우 타일의 번호를 의미하며, 나뉘지 않은 미디어인 경우 0으로 고정됨 [0-n]
$SEGMENT_NUM$ 하나의 index 내에서 더 작은 시간 단위로 나눈 단위. segment의 총합이 하나의 index를 이룸 [1-n]
스트리밍 서버(3)는 서로 다른 해상도의 분할 영상 조각들을 저장 관리할 수 있다. 또는, 스트리밍 서버(130)는 서로 다른 해상도의 분할 영상 조각들을 트랜스코더로부터 실시간 수신할 수도 있다. 스트리밍 서버(200)는 VR 영상 수신 장치(100) 요청에 대응하여 저장된 서로 다른 해상도의 분할 영상 조각들을 VR 영상 수신 장치(100)로 전송할 수 있다.
VR 영상 수신 장치(100)는 MPD 파일을 파싱(parsing)하면서, 프로그램 타이밍, media-content availability, media type, 화질, 최소 및 최대 bandwidths, 사용할 수 있는 encoded-alternatives, DRM 등의 정보를 획득할 수 있다. VR 영상 수신 장치(100)는 네트워크 상태 또는 단말의 상태에 맞는 encoding을 선택한 후 HTTP GET Request를 통해서 스트리밍을 수행할 수 있다. 예를 들어, VR 영상 수신 장치(100)는 사용자 입력에 따라 스트리밍 서버(200)와 통신 채널을 형성할 수 있다. VR 영상 수신 장치(100)는 설정된 스케줄링 정보 또는 사용자 입력에 대응하여 스트리밍 서버(200)로부터 서로 다른 해상도의 분할 영상 조각들을 수신할 수 있다. VR 영상 수신 장치(100)는 수신된 서로 다른 해상도의 분할 영상 조각들을 조합하여 하나의 영상을 생성한다. 이 동작에서, VR 영상 수신 장치(100)는 영상에 대한 ROI(Region of interest) 정보를 획득하고, 획득된 ROI 정보를 스트리밍 서버(200)에 전달할 수 있다. VR 영상 수신 장치(100)는 스트리밍 서버(13)로부터 상대적으로 고해상도의 ROI 영역에 대응하는 분할 영상 조각들을 수신하고, 수신된 분할 영상 조각들을 합성하여 VR 플레이어(300)로 전송할 수 있다.
VR 플레이어(300)는 VR 영상을 출력할 수 있는 장치로써, VR 영상 수신 장치(100)로부터 전송된 영상을 출력한다. VR 플레이어(300)는 스마트폰, 태블릿 PC, 핸드헬드 PC, 데스크톱, 랩톱, HMD(Head mounted display) 장치 등을 포함할 수 있다.
상술한 바와 같이, 본 발명의 스트리밍 시스템(400)은 사용자가 관심을 가지고 있는 또는 현재 영상에서 집중하고 있거나 집중할 영역들의 해상도를 주변 영역보다 고해상도 영상으로 출력하고, 주변 영역은 상대적으로 저해상도 영상을 출력할 수 있다. 이에 따라, 사용자가 관심 있어 하는 부분은 고해상도를 시청하면서도 데이터 전송의 부담을 저감시켜 데이터 전송 및 출력 상태에서의 지연을 최소화할 수 있다.
도 2는 본 발명의 실시예에 따른 VR 영상 수신 장치를 설명하기 위한 블록도이고, 도 3은 도 2의 미디어 캐시를 설명하기 위한 도면이다.
도 1 내지 도 3을 참조하면, VR 영상 수신 장치(100)는 인터페이스부(10) 및 제어부(30)를 포함하고, 저장부(50)를 더 포함할 수 있다.
인터페이스부(10)는 스트리밍 서버(200) 및 VR 플레이어(300)와 통신을 수행한다. 인터페이스부(10)는 스트리밍 서버(200)와의 통신을 수행하는 HTTP 인터페이스 및 VR 플레이어(300)와의 통신을 수행하는 플레이어 인터페이스를 포함할 수 있다.
제어부(30)는 스트리밍 서버(200)로부터 수신된 영상을 관심 영역 및 관심 영역 이외의 영역으로 해상도를 차등 부여하여 연산 부하를 최소화한다. 제어부(30)는 영상 수신부(31) 및 영상 요청 처리부(33)를 포함한다.
영상 수신부(31)는 기 저장된 스트리밍 서버(200)로부터 VR 영상을 수신하기 위해 해당 영상을 제공하는 스트리밍 서버의 호스트 이름 혹은 IP 주소와 서비스 포트 번호와 같은 설정 파일을 이용하여 해당 스트리밍 서버(200)에 MPD 파일을 요청하고, 요청된 MPD 파일을 수신한다. 영상 수신부(31)는 수신된 MPD 파일을 저장부(50)에 저장하고, 파싱한다. 영상 수신부(31)는 MPD 파일을 지정된 규약에 따라 분해하는 파싱을 통해 스트리밍 서버(200)에서 제공하는 영상에 대한 정보들을 획득할 수 있다. 이때 획득된 정보는 각각의 영상을 수신할 수 있는 URL 정보 및 각 미디어 데이터가 가지고 있는 시간, 공간 등에 대한 정보를 포함한다. 여기서 URL 정보는 각 변수들이 조합된 템플릿 형태로 구성된다.
즉 영상 수신부(31)는 템플릿 기반으로 각 영상의 재생 시간에 따라 유효한 URL을 생성하여 스트리밍 서버(200)로 영상을 요청하고, 요청된 영상을 수신하게 된다. 이러한 과정은 영상 재생 시간 순서에 따라 순차적으로 이루어지며 재생이 임의로 중지될 때까지 지속적으로 반복될 수 있다.
영상 요청 처리부(33)는 VR 플레이어(300)로부터 요청받은 영상을 ROI에 따라 기본 저품질 영상 및 특정 영역에 해당하는 고품질 영상이 합성된 VR 영상로 변환한다. 여기서 영상 요청 처리부(33)는 VR 플레이어(300)로부터 수신된 VR 영상을 재생하기 전 또는 재생 중에 현재 주시 중인 공간에 대한 2차원 좌표의 최좌상단 좌표를 이용하여 ROI를 검출하고, 검출된 ROI 정보를 스트리밍 서버(200)에 전송되도록 제어한다.
상세하게는 영상 요청 처리부(33)는 최좌상단 좌표를 기초로 전체 VR 공간 상에서 현재 사용자가 주로 바라보는 ROI에 대한 범위를 산출하고, 산출된 범위 내에 위치한 고품질 영상 부분에 대한 정보를 산출한다. 영상 요청 처리부(33)는 파싱된 정보를 기반으로 현재 획득된 좌표와 VR 플레이어(300)에서 표현할 수 있는 해상도 정보(ROI 영역의 가로 및 세로의 크기)를 통해 전체 영상 내에서 직사각형 형태의 ROI 영역의 위치 및 각 꼭지점의 좌표를 산출하고, 산출된 직사각형 형태의 ROI 영역의 위치 및 각 꼭지점의 좌표를 이용하여 최종적으로 고해상도로 출력될 타일에 대한 ROI를 검출한다. 영상 요청 처리부(33)는 검출된 ROI 정보를 스트리밍 서버(200)로 전송되도록 제어하여 스트리밍 서버(200)로부터 관심 영역 정보에 대응하는 제1 해상도의 분할 영상 타일들 및 제1 해상도보다 낮은 해상도인 제2 해상도의 전체 영상이 수신되도록 제어할 수 있다. 여기서 제1 해상도는 고품질의 고해상도를 의미하고, 제2 해상도는 저품질의 저해상도를 의미한다.
영상 요청 처리부(33)는 제2 해상도의 전체 영상과 제1 해상도의 분할 영상 타일들을 합성하여 복합 VR 영상을 생성하고, 생성된 복합 VR 영상을 VR 플레이어(300)에 전송되도록 제어한다.
저장부(50)는 VR 영상 수신 장치(100)가 구동하기 위한 알고리즘을 포함하는 프로그램 또는 어플리케이션이 저장된다. 저장부(50)는 스트리밍 서버(200)로부터 수신된 영상이 저장된다. 이때 저장부(50)는 미디어 캐시(51)를 포함할 수 있으며, 미디어 캐시(51)는 수신된 영상이 모두 저장될 수 있다. 이때 미디어 캐시(51)는 주기적으로 이미 VR 플레이어(300)로 전달한 영상을 삭제할 수 있다. 미디어 캐시(51)는 고품질, 저품질 영상 등이 각 시간대별로 저장되도록 구성된다. 이를 위해 미디어 캐시(51)는 제1 대쉬블럭(61), 제2 대쉬블럭(63) 내지 제n 대쉬블럭(69)을 포함하고, 각 대쉬블럭은 제1 타일셋(71), 제2 타일셋(73), 제3 타일셋(73) 내지 제n 타일셋(79)을 포함하며, 각 타일셋은 고화질 영상과 저화질 영상을 복수의 트랙 형태로 포함할 수 있다. 저장부(50)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 관심 영역과 고품질 영상 영역 간의 관계를 설명하기 위한 도면이고, 도 5는 본 발명의 실시예에 따른 타일 선별 과정을 설명하기 위한 도면이다. 도 5(a) 내지 도 5(d)는 타일을 선별하는 과정을 순차적으로 나타낸 도면이다.
도 2, 제4 및 도 5를 참조하면, 영상 요청 처리부(33)는 ROI에 따라 기본 저품질 영상 및 특정 영역에 해당하는 고품질 영상이 합성된 VR 영상로 변환한다.
영상 요청 처리부(33)는 ROI의 각 꼭지점 좌표가 산출된 후, MPD 파일에서 파싱된 정보를 기초로 MPD 파일 중 상대적으로 해상도가 높은 영상 타일을 모두 검색한다. 영상 요청 처리부(33)는 검색된 타일이 꼭지점 좌표로 연결된 가상의 직사각형 형태의 ROI에 포함되는지 판단하여 후보 타일들을 선별한다. 이때 영상 요청 처리부(33)는 후보 타일을 판단하는 기준을 각 타일이 가지는 가로 방향의 모서리와 세로 방향의 모서리에 대한 좌표점이 ROI의 각 가로방향 및 세로방향의 최소값 이상 및 최대값 이하를 만족하는 경우로 설정할 수 있다.
영상 요청 처리부(33)는 후보 타일들이 획득된 후, 가장 적은 데이터양으로 가장 큰 고품질 영상을 제공하기 위해 고품질 타일 영역 선별 과정을 수행한다. 이때 선별에서 사용되는 매개 변수는 VR 플레이어(300)에서 표현될 고품질 영역 타일의 개수 및 전체 VR 영상 중 분할 가능한 고품질 영상의 개수일 수 있다. 영상 요청 처리부(33)는 각 후보 타일들이 ROI 내에 포함되는 넓이를 각각 산출하고, 산출된 넓이를 기초로 내림차순정렬을 하여 ROI 중 가장 중심이 되는 중심 타일들을 산출한다. 영상 요청 처리부(33)는 산출된 중심 타일들을 선별 타일로 지정한다.
한편 VR 플레이어(300)에서 사용할 고품질 타일 배치 구성에서 열의 개수를 n(n은 자연수)인 경우, 중심 타일의 개수(m)는 최소 n-1개가 보장된다. 따라서 열의 개수와 중심 타일의 개수가 일치하지 않는 경우, 영상 요청 처리부(33)는 중심 타일들을 각각 a,b,c라고 할 때, a-1과 c+1의 타일의 ROI 내 크기를 비교하여 선별 타일을 지정한다. 또한 열의 개수와 중심 타일의 개수가 일치하는 경우, 영상 요청 처리부(33)는 옵션에 따라 좌우 중 적어도 하나를 선택하여 선별 타일을 지정한다.
영상 요청 처리부(33)는 중심 타일들을 기준으로 선별 타일이 지정되면 중심 타일들을 기준으로 +n 타일 그룹과 -n 타일 그룹의 영역 넓이를 비교하여 더 넓은 그룹의 타일들을 선별 타일로 지정한다. 영상 요청 처리부(33)는 선별 타일들을 다시 각각의 타일 번호를 기준으로 오름차순 정렬한 ROI 정보를 스트리밍 서버(200)로 전송되도록 제어한다.
도 6은 본 발명의 실시예에 따른 VR 영상 수신 방법을 설명하기 위한 순서도이다.
도 1 및 도 6을 참조하면, VR 영상 수신 방법은 관심 영역 및 관심 영역 이외의 영역으로 해상도를 차등 부여하여 연산 부하를 최소화함으로써, 실시간으로 고품질의 VR 콘텐츠를 수신할 수 있다. 즉 VR 영상 수신 방법은 독립적인 VR 플레이어(300)를 사용하는 경우 또는 클라우드 렌더링을 하는 경우 모두 연산량 및 전송 데이터의 크기를 줄여 비용을 감소하고, 동일한 비용인 경우에도 더 좋은 화질의 영상을 사용자에게 제공할 수 있다.
S110단계에서, VR 영상 수신 장치(100)는 MPD 파일을 스트리밍 서버(200)로 요청한다. VR 영상 수신 장치(100)는 스트리밍 서버(200)와의 통신 채널을 형성하고, 사용자 입력에 따라 또는 사전 스케줄링된 정보에 따라 MPD 파일을 스트리밍 서버(200)에 요청할 수 있다.
S120단계에서, VR 영상 수신 장치(100)는 MPD 파일의 수신여부를 확인한다. MPD 파일이 수신되지 않은 경우, VR 영상 수신 장치(100)는 종료 여부를 확인하고, 종료 요청이 없는 경우 MPD 파일 수신을 대기할 수 있다. MPD 파일을 수신한 경우, VR 영상 수신 장치(100)는 S130단계를 수행한다.
S130단계에서, VR 영상 수신 장치(100)는 MPD 파일을 파싱한다. VR 영상 수신 장치(100)는 MPD 파일을 지정된 규약에 따라 분해하여 스트리밍 서버(200)로부터 제공된 영상에 대한 정보를 획득할 수 있다.
S140단계에서, VR 영상 수신 장치(100)는 파싱된 데이터를 갱신한다. VR 영상 수신 장치(100)는 파싱된 데이터를 미디어 캐시에 저장하여 데이터 갱신을 수행할 수 있다.
S150단계에서, VR 영상 수신 장치(100)는 ROI를 검출한다. VR 영상 수신 장치(100)는 VR 플레이어(300)로부터 수신된 VR 영상을 재생하기 전 또는 재생 중에 현재 주시 중인 공간에 대한 2차원 좌표의 최좌상단 좌표를 이용하여 ROI를 검출한다. 또한 VR 영상 수신 장치(100)는 영상에서 주 객체와 배경 객체를 구분하고, 주 객체를 ROI로 검출할 수 있다.
S160단계에서, VR 영상 수신 장치(100)는 타일 셋(예: ROI에 대응되는 영역의 제1 해상도의 분할 영상 조각들)을 스트리밍 서버(200)로 요청한다. 이를 통해 VR 영상 수신 장치(100)는 스트리밍 서버(200)로부터 관심 영역 정보에 대응하는 제1 해상도의 분할 영상 타일들 및 제1 해상도보다 낮은 해상도인 제2 해상도의 전체 영상을 수신할 수 있다.
S170단계에서, VR 영상 수신 장치(100)는 타일 셋의 수신여부를 확인한다. 요청된 타일 셋이 수신되지 않은 경우, VR 영상 수신 장치(100)는 종료 여부를 확인하고, 종료 요청이 없는 경우 타일 셋의 수신을 대기할 수 있다. 요청된 타일 셋이 수신된 경우, VR 영상 수신 장치(100)는 S180 단계를 수행한다.
S180단계에서, VR 영상 수신 장치(100)는 타일 셋을 스티칭 및 디먹싱을 한 후, 해당 영상을 VR 플레이어(300)로 출력한다. VR 영상 수신 장치(100)는 제1 해상도의 분할 영상 조각들의 스티칭 작업을 수행하고, 제2 해상도의 전체 영상과 오디오 정보의 디먹싱을 수행한다. VR 영상 수신 장치(100)는 디먹싱된 영상을 VR 플레이어(300)에서 출력되도록 전송한다.
S190단계에서, VR 영상 수신 장치(100)는 서비스의 종료를 요청하는 이벤트가 발생하는지 확인한다. VR 영상 수신 장치(100)는 시청 종료를 요청하는 사용자 입력이 발생하는지 또는 해당 컨텐츠의 마지막 영상 조각들을 수신하였는지 등을 종료 이벤트로서 수신할 수 있다. 종료 이벤트 발생이 없는 경우, VR 영상 수신 장치(100)는 이전 동작 수행에 따라 S120단계, S170단계 이전 등으로 분기할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
10: 인터페이스부
30: 제어부
31: 영상 수신부
33: 영상 요청 처리부
50: 저장부
51: 미디어 캐시
100: VR 영상 수신 장치
200: 스트리밍 서버
300: VR 플레이어

Claims (9)

  1. 스트리밍 서버 및 VR 플레이어와 통신을 수행하는 인터페이스부; 및
    상기 스트리밍 서버가 제공하는 MPD(Media Presentation Description)와 관련한 영상의 관심 영역(Region Of Interest, ROI)을 검출하고,
    상기 관심 영역 정보를 상기 스트리밍 서버에 전송되도록 제어하여 상기 스트리밍 서버로부터 상기 관심 영역 정보에 대응하는 제1 해상도의 분할 영상 타일들 및 상기 제1 해상도보다 낮은 해상도인 제2 해상도의 전체 영상이 수신되도록 제어하며,
    상기 제2 해상도의 전체 영상과 상기 제1 해상도의 분할 영상 타일들을 합성하여 상기 VR 플레이어에 전송되도록 제어하는 제어부;를 포함하되,
    상기 제어부는,
    상기 VR 플레이어로부터 수신된 VR 영상의 공간에 대한 2차원 좌표의 최좌상단 좌표를 이용하여 전체 VR 영상의 공간상에서 관심 영역의 각 꼭지점 좌표를 산출하고, 상기 산출된 꼭지점 좌표를 이용하여 상기 관심 영역 정보를 검출하는 것을 특징으로 하는 관심 영역 기반의 VR 영상 수신 장치.
  2. 제 1항에 있어서,
    상기 수신된 MPD 파일을 해상도별, 시간대별로 구분하여 저장하는 저장부;
    를 더 포함하는 것을 특징으로 하는 관심 영역 기반의 VR 영상 수신 장치.
  3. 제 1항에 있어서,
    상기 제어부는,
    상기 MPD 파일에서 파싱된 정보를 기초로 상기 MPD 파일 중 상대적으로 해상도가 높은 영상 타일을 모두 검색하고, 상기 검색된 타일이 상기 꼭지점 좌표이 연결된 가상의 직사각형 형태의 관심 영역에 포함되는지 판단하여 후보 타일들을 선별하는 것을 특징으로 하는 관심 영역 기반의 VR 영상 수신 장치.
  4. 제 3항에 있어서,
    상기 제어부는,
    각 후보 타일들이 관심 영역 내에 포함되는 넓이를 각각 산출하고, 산출된 넓이를 기초로 내림차순정렬을 하여 관심 영역 중 가장 중심이 되는 중심 타일들을 산출하며, 상기 산출된 중심 타일들을 선별 타일로 지정하는 것을 특징으로 하는 관심 영역 기반의 VR 영상 수신 장치.
  5. 제 4항에 있어서,
    상기 제어부는,
    상기 중심 타일들을 기준으로 +n 타일 그룹(n은 자연수)과 -n 타일 그룹의 영역 넓이를 비교하여 더 넓은 그룹의 타일들을 선별 타일로 지정하는 것을 특징으로 하는 관심 영역 기반의 VR 영상 수신 장치.
  6. VR 영상 수신 장치가 스트리밍 서버가 제공하는 MPD와 관련한 영상의 관심 영역을 검출하는 단계;
    상기 VR 영상 수신 장치가 상기 관심 영역 정보를 상기 스트리밍 서버에 전송시켜 상기 스트리밍 서버로부터 상기 관심 영역 정보에 대응하는 제1 해상도의 분할 영상 타일들 및 상기 제1 해상도보다 낮은 해상도인 제2 해상도의 전체 영상을 수신하는 단계; 및
    상기 제2 해상도의 전체 영상과 상기 제1 해상도의 분할 영상 타일들을 합성하여 상기 VR 플레이어로 전송하는 단계;를 포함하되,
    상기 관심 영역을 검출하는 단계는,
    상기 VR 플레이어로부터 수신된 VR 영상의 공간에 대한 2차원 좌표의 최좌상단 좌표를 이용하여 전체 VR 영상의 공간상에서 관심 영역의 각 꼭지점 좌표를 산출하고, 상기 산출된 꼭지점 좌표를 이용하여 상기 관심 영역 정보를 검출하는 것을 특징으로 하는 관심 영역 기반의 VR 영상 수신 방법.
  7. 제 6항에 있어서,
    상기 관심 영역을 검출하는 단계는,
    상기 MPD 파일에서 파싱된 정보를 기초로 상기 MPD 파일 중 상대적으로 해상도가 높은 영상 타일을 모두 검색하고, 상기 검색된 타일이 상기 꼭지점 좌표이 연결된 가상의 직사각형 형태의 관심 영역에 포함되는지 판단하여 후보 타일들을 선별하는 것을 특징으로 하는 관심 영역 기반의 VR 영상 수신 방법.
  8. 제 7항에 있어서,
    상기 관심 영역을 검출하는 단계는,
    각 후보 타일들이 관심 영역 내에 포함되는 넓이를 각각 산출하고, 산출된 넓이를 기초로 내림차순정렬을 하여 관심 영역 중 가장 중심이 되는 중심 타일들을 산출하며, 상기 산출된 중심 타일들을 선별 타일로 지정하는 것을 특징으로 하는 관심 영역 기반의 VR 영상 수신 방법.
  9. 제 8항에 있어서,
    상기 관심 영역을 검출하는 단계는,
    상기 중심 타일들을 기준으로 +n 타일 그룹(n은 자연수)과 -n 타일 그룹의 영역 넓이를 비교하여 더 넓은 그룹의 타일들을 선별 타일로 지정하는 것을 특징으로 하는 관심 영역 기반의 VR 영상 수신 방법.
KR1020190039379A 2019-04-04 2019-04-04 관심 영역 기반의 vr 영상 수신 장치 및 방법 KR102251576B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190039379A KR102251576B1 (ko) 2019-04-04 2019-04-04 관심 영역 기반의 vr 영상 수신 장치 및 방법
PCT/KR2019/005774 WO2020204253A1 (ko) 2019-04-04 2019-05-14 관심 영역 기반의 vr 영상 수신 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190039379A KR102251576B1 (ko) 2019-04-04 2019-04-04 관심 영역 기반의 vr 영상 수신 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200118282A true KR20200118282A (ko) 2020-10-15
KR102251576B1 KR102251576B1 (ko) 2021-05-14

Family

ID=72666786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190039379A KR102251576B1 (ko) 2019-04-04 2019-04-04 관심 영역 기반의 vr 영상 수신 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102251576B1 (ko)
WO (1) WO2020204253A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116761019A (zh) * 2023-08-24 2023-09-15 瀚博半导体(上海)有限公司 视频处理方法、系统、计算机设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345749B2 (en) * 2009-08-31 2013-01-01 IAD Gesellschaft für Informatik, Automatisierung und Datenverarbeitung mbH Method and system for transcoding regions of interests in video surveillance
KR20170048137A (ko) * 2016-07-05 2017-05-08 안규태 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
KR20180112708A (ko) 2017-04-03 2018-10-12 한국전자통신연구원 고화질 360도 vr 영상 처리 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
KR102545195B1 (ko) * 2016-09-12 2023-06-19 삼성전자주식회사 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
WO2018193330A1 (en) * 2017-04-20 2018-10-25 Nokia Technologies Oy Method and apparatus for delivery of streamed panoramic images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345749B2 (en) * 2009-08-31 2013-01-01 IAD Gesellschaft für Informatik, Automatisierung und Datenverarbeitung mbH Method and system for transcoding regions of interests in video surveillance
KR20170048137A (ko) * 2016-07-05 2017-05-08 안규태 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
KR20180112708A (ko) 2017-04-03 2018-10-12 한국전자통신연구원 고화질 360도 vr 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR102251576B1 (ko) 2021-05-14
WO2020204253A1 (ko) 2020-10-08

Similar Documents

Publication Publication Date Title
US11032588B2 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
CN109417624B (zh) 用于提供和显示内容的装置和方法
EP3557845B1 (en) Method and device for transmitting panoramic videos, terminal, server and system
US11653065B2 (en) Content based stream splitting of video data
WO2019202207A1 (en) Processing video patches for three-dimensional content
CN109891850A (zh) 用于减少360度视区自适应流媒体延迟的方法和装置
US10623816B2 (en) Method and apparatus for extracting video from high resolution video
US20160277772A1 (en) Reduced bit rate immersive video
CN108780584B (zh) 用于流传输和渲染的球形视频的转换和预处理
KR20180004029A (ko) 고해상도 영상 스트리밍을 위한 영상 비트스트림 생성방법 및 장치
WO2019128668A1 (zh) 视频码流处理方法、装置、网络设备和可读存储介质
Chen et al. Live360: Viewport-aware transmission optimization in live 360-degree video streaming
Yaqoob et al. Dynamic viewport selection-based prioritized bitrate adaptation for tile-based 360° video streaming
JP2017123503A (ja) 映像配信装置、映像配信方法及びコンピュータプログラム
KR102251576B1 (ko) 관심 영역 기반의 vr 영상 수신 장치 및 방법
EP3528500B1 (en) Method and apparatus for allocating differential bandwidth for each screen region by using image complexity information
JP2014176017A (ja) 映像再生装置、映像配信装置、映像再生方法及び映像配信方法
WO2018004936A1 (en) Apparatus and method for providing and displaying content
US11025880B2 (en) ROI-based VR content streaming server and method
KR102027172B1 (ko) Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법
JP2014176016A (ja) 映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラム
JP7296219B2 (ja) 受信装置、送信装置、及びプログラム
US20240107110A1 (en) Changing video tracks in immersive videos
Liu et al. MuV2: Scaling up Multi-user Mobile Volumetric Video Streaming via Content Hybridization and Sharing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right