KR101978922B1 - 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법 - Google Patents

관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법 Download PDF

Info

Publication number
KR101978922B1
KR101978922B1 KR1020170163771A KR20170163771A KR101978922B1 KR 101978922 B1 KR101978922 B1 KR 101978922B1 KR 1020170163771 A KR1020170163771 A KR 1020170163771A KR 20170163771 A KR20170163771 A KR 20170163771A KR 101978922 B1 KR101978922 B1 KR 101978922B1
Authority
KR
South Korea
Prior art keywords
quality
streaming
region
fov
image
Prior art date
Application number
KR1020170163771A
Other languages
English (en)
Inventor
손채봉
김창형
김현수
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020170163771A priority Critical patent/KR101978922B1/ko
Application granted granted Critical
Publication of KR101978922B1 publication Critical patent/KR101978922B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법이 개시된다. 상기 방법은 360도 비디오 콘텐츠의 네트워크 스트리밍 서비스에 있어서, HTTP 서버 또는 스트리밍 서버에서 트랜스코더를 사용하여 전체 영상에서 관심 영역과 배경 프레임 영역을 영역별로 분할하는 단계; HTTP 서버 또는 스트리밍 서버에서 트랜스코더를 사용하여 화면 분할 스트리밍 방식 중, 분할된 상기 관심 영역의 FoV 영역의 영상들만 고화질 영상으로 인코딩하고, 상기 배경 프레임만 포함된 원본 영상을 중·저화질 영상으로 인코딩하여 상기 스트리밍 서버로부터 상기 고화질 영상과 중·저화질 영상과 재생 목록을 미디어 플레이어로 동시에 각각 전송하는 단계; 및 미디어 플레이어에서 비관심 영역의 중·저화질 영상과 관심 영역의 FoV 영역의 고화질 영상을 스트리밍 받아 각각 수신받아 버퍼링되면서 영상을 디코딩하고 타임 스탬프에 맞춰 중·저화질 영상 위에 고화질 영상을 오버레이하여 디스플레이 하는 단계를 포함한다. 관심영역(FoV 영역)과 비관심 영역으로 나누어 비관심영역은 저화질 영상으로 전송하여 네트워크 트래픽을 줄이면서 관심영역은 고화질 영상을 스트리밍을 제공한다. 본 방법은 고화질의 관심영역과 저화질의 비관심 영역을 동시에 스트리밍 함으로써 FoV의 변화에 따른 화질 저하 문제를 줄이면서 미디어 플레이어에서 원할한 시청을 가능하게 한다.

Description

관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법{FoV on the background frame streaming method of high quality 360 degree video data by separately transmitting the region of interest and the background frame}
본 발명은 360도 비디오 콘텐츠의 네트워크 스트리밍에 관한 것으로, 보다 상세하게는 360도 비디오 콘텐츠의 네트워크 스트리밍 서비스에서 네트워크 트래픽을 줄이기 위해 스트리밍 서버로부터 전송되는 영상을 영역별로 분할하여 화면 분할 스트리밍 방식 중 분할된 관심 영역의 FoV(Field of View) 영역의 영상들만 고화질로 인코딩하고, 상기 배경 프레임만 포함된 원본 영상을 중·저화질로 인코딩하여 스트리밍 서버로부터 미디어 플레이어로 전송하며, 상기 미디어 플레이어에서 중·저화질 영상과 FoV 영역의 고화질 영상 스트림을 스트리밍 받아 수신받아 영상을 디코딩하고 중·저화질 영상 위에 고화질 영상을 오버레이(Overlay)하여 디스플레이 하는, 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법에 관한 것이다.
360도 비디오는 인터넷에서 손쉽게 접할 수 있고, 360도 비디오를 재생할 수 있는 시스템은 현재 일반 모니터, 모바일 기기, 그리고 Head Mounted Display(HMD)등이 있다. 최근 360도 영상 콘텐츠들이 몰입감과 현장감을 높이기 위해서 4K(UHD), 8K(SUHD) 이상의 고해상도로 제작되고 있다. 이러한 고화질 콘텐츠를 스트리밍 서비스로 제공할 경우 방대한 양의 네트워크 트래픽이 발생한다. 이미 유튜브 내에 360도 영상 콘텐츠가 다수 존재하고 있으며, HMD 디바이스의 확산과 함께 VR 콘텐츠가 차지하는 네트워크 트래픽은 급속히 증가할 것이다[1][2].
미국 연방통신위원회(FCC)에 따르면, 이러한 상황에 대비해 미래는 25Mbps의 광대역 네트워크가 요구될 것으로 예측하고 있다. 그러나, 인간의 시각 및 청각 정보는 1초당 약 5.2GB를 처리할 수 있으며, 이러한 데이터 규모는 FCC가 예상하는 데이터 용량의 200배에 해당한다. 또한, VR 게임이나 영상을 볼 때 Motion Blur 현상을 최소화하기 위해 초당 60 ~ 120 프레임 이상이 처리되어야 한다. 현재 급속한 가상현실 시장은 급속한 확산에 의해 향후 네트워크 트래픽 문제는 더욱 심각할 것으로 예상된다[3].
영상을 시간 단위로 나누어 스트리밍하는 방법은 HLS(Http Live Streaming), MPEG-DASH(MPEG-Dynamic Adaptive streaming over HTTP) 등이 있으며, 제안된 방법은 HLS 기반으로 구현하였다. HLS는 네트워크 대역폭에 따라 하나의 영상을 시간 단위로 나누어 화질 및 해상도를 다르게 스트리밍하는 방식이다.
2. 이론
2.1 HTTP Adaptive Streaming(MPEG-Dynamic Adaptive streaming over HTTP)
전통적인 스트리밍 프로토콜의 대표적인 예는 RTSP(Real-Time Streaming Protocol)가 있다. RTSP는 서버에 클라이언트가 접속을 하면서 세션을 생성한다. 이 세션은 클라이언트의 재생 상태를 유지하는데 사용하고, 클라이언트의 명령에 따라서 재생 상태를 변경한다. 세션을 관리하고 흐름을 제어하기 때문에 개발 복잡도가 증가하고 서버의 부하가 발생할 수 있다. 반면에, 전체 파일을 모두 받기 전에 재생하는 progressive download 방식이 있다. 이 방식은 시청하는 부분을 훨씬 초과해서 다운받아 네트워크 자원을 낭비하는 문제가 발생할 수 있다. RTSP와 Progressive Download의 단점을 보완한 스트리밍 방식으로 HTTP Adaptive Streaming이 제안되었다. HTTP Adaptive streaming은 영상 콘텐츠를 시간 단위로 분할하고, 콘텐츠를 전송하는 기술로써, 단말과 네트워크에 따라 재구성된다. MPEG의 MPEG-DASH, Microsoft의 SSS(Silverlight Smooth streaming), Adobe의 HDS(HTTP Dynamic streaming), Apple의 HLS들이 대표적이다[4].
도 1은 HTTP 적응적 스트링 구성(HTTP Adaptive streaming Configuration)을 보인 도면이다.
HTTP Adaptive streaming 방식은 도 1과 같이 나타낸다. 클라이언트(Client)는 HTTP 서버로부터 실시간으로 네트워크 상황을 고려해 영상 파일의 품질을 선택하여 다운로드 받는다.
2.2 MPEG-DASH
MPEG-DASH는 MPEG 에서 표준화한 Adaptive streaming 표준이다. MPEG-DASH의 서비스방법은 비디오 콘텐츠를 해상도, 비트레이트 등을 달리하여 인코딩하고, 인코딩 된 비디오 데이터를 주소를 가진 작은 세그먼트 단위로 분할해 서버에 저장하고, 클라이언트가 HTTP를 이용하여 이 세그먼트 된 콘텐츠 파일들을 네트워크 상황에 따라 순서대로 스트리밍 받아서 재생할 수 있도록 하는 기술이다[5][6].
현재 MPEG-DASH를 사용한 YouTube 스트리밍 서비스는 네트워크 대역폭에 따라 또는 시청자의 설정에 따라서 콘텐츠의 해상도를 변경하여 트래픽을 조절하는 방법을 사용한다. 360 콘텐츠에서 MPEG-DASH 기반의 스트리밍 서비스는 해상도를 변경할 때 사용자가 바라보는 방향(FoV)도 함께 화질이 변하게 된다. 이 경우 낮은 해상도로 변경될 때 FoV 영역의 화질이 저하되는 문제점이 있다.
2.3 HLS(Http Live Streaming)
도 2는 Apple에서 제안한 HTTP Adaptive Streaming 방식인 HLS(Http Live Streaming)의 서비스 구성을 나타낸 도면이다. 먼저, 하나의 영상을 네트워크 화질별로 재인코딩 한다. 그리고, 각각의 영상을 시간별로 분할하여, 재생정보를 클라이언트에게 전송한다. 클라이언트는 재생정보를 이용해 현재 네트워크 상황에 맞게 영상을 다운로드 받아 재생한다[7].
[1] J. Cabrera, M. Orduna, et al., "Evaluation of 360VR cinemat1ic stereoscopic DASH service,"In Consumer Electronics (ICCE), IEEE International Conference, pp. 360-361, 2017. [2] Jinwook Jeong, Kyungkoo Jun, "Resolution 360 degree Video Generation System using Multiple Cameras,"Journal of Korea Multimedia Society, Vol.19, No.8, pp.1329-1336, 2016. [3] KISDI, "Virtual reality (VR) ecosystem and implications"vol. 28, pp. 1-28, 2016. [4] Seufert, Michael, et al., "A survey on quality of experience of HTTP adaptive streaming." IEEE Communications Surveys & Tutorials, Vol. 17, No. 1, pp. 469-492, 2016. [5] ISO/IEC, Information TechnologyDynamic Adaptive Streaming Over HTTP (DASH)Part 1: Media Presentation Description and Segment Formats, ISO/IEC Standard 23009-1, 2014. [6] S. Garci"Quality-Optimization Algorithm Based on Stochastic Dynamic Programming for MPEG DASH Video Streaming"IEEE International Conference, pp. 574-575, 2014. [7] R. Pantos, W. May, "HTTP live streaming"No. RFC 8216, 2017.
종래 기술의 문제점을 해결하기 위한 본 발명의 목적은 360도 비디오 콘텐츠의 네트워크 스트리밍 서비스에서 네트워크 트래픽을 줄이기 위해 스트리밍 서버로부터 전송되는 영상을 영역별로 분할하여 화면 분할 스트리밍 방식 중 분할된 관심 영역의 FoV(Field of View) 영역의 영상들만 고화질로 인코딩하고, 상기 배경 프레임만 포함된 원본 영상을 중·저화질로 인코딩하여 스트리밍 서버로부터 미디어 플레이어로 전송하며, 상기 미디어 플레이어에서 중·저화질 영상과 FoV 영역의 고화질 영상 스트림을 스트리밍 받아 수신받아 영상을 디코딩하고 중·저화질 영상 위에 고화질 영상을 오버레이(Overlay)하여 디스플레이 하는, 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법을 제공한다.
본 발명의 목적을 달성하기 위해, 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법은, 360도 비디오 콘텐츠의 네트워크 스트리밍 서비스에 있어서, HTTP 서버 또는 스트리밍 서버에서 트랜스코더를 사용하여 전체 영상에서 관심 영역과 배경 프레임 영역을 영역별로 분할하는 단계; 상기 HTTP 서버 또는 스트리밍 서버에서 상기 트랜스코더를 사용하여 화면 분할 스트리밍 방식 중, 분할된 상기 관심 영역의 FoV(Field of View) 영역의 영상들만 고화질 영상으로 인코딩하고, 상기 배경 프레임만 포함된 원본 영상을 중·저화질 영상으로 인코딩하며, 관심영역(FoV 영역)과 비관심 영역으로 나누어 상기 비관심영역은 중·저화질 영상으로 전송하여 네트워크 트래픽을 줄이며 상기 관심영역은 고화질의 영상을 스트리밍으로 제공하고, 상기 고화질 영상과 중·저화질 영상과 재생 목록을 상기 스트리밍 서버로부터 미디어 플레이어로 각각 전송하는 단계; 및 상기 미디어 플레이어에서 중·저화질 영상과 FoV 영역의 고화질 영상을 스트리밍 받아 각각 수신받아 버퍼링되면서 영상을 디코딩하고 타임 스탬프에 맞춰 상기 중·저화질 영상 위에 상기 고화질 영상을 오버레이하여 디스플레이 하는 단계를 포함하며,
상기 고화질 영상은 GoP 단위로 시분할 되며, 상기 HTTP 서버 또는 스트리밍 서버의 트랜스코더에 의해 하나의 영상을 화질이 다른 2개의 시분할 된 영상으로 전송하며, 트랜스코딩 단계에서 GoP의 크기를 고정시킴으로써 화질전환 지연을 일정하게 만든 것을 특징으로 한다.
상기 미디어 플레이어는 상기 중·저화질 영상에 상기 고화질 영상을 오버레이하여 동시에 재생하기 때문에 두 영상의 Frame 동기화가 필요하다. 이를 위해 버퍼링 단위인 GoP를 전처리 시에 일정한 크기로 고정하여 각 화질별 영상의 GoP를 같도록 설정한다.
상기 미디어 플레이어는, 원본 해상도의 배경 프레임의 저화질 영상(Low Quality)과 FoV의 고화질 영상(Segmented High Quality video)을 동시에 각각 프레임 버퍼링되면서 스트리밍 받고, 상기 중·저화질 영상위에 상기 고화질 영상을 오버레이(overlay)하여 재생하며,
FoV 전환 이벤트가 발생할 경우, 맨 처음 상기 HTTP 서버 또는 스트리밍 서버로부터 수신받은 상기 재생 목록을 이용하여 FoV를 전환하여 상기 중·저화질 영상위에 상기 고화질 영상을 오버레이하여 재생한다.
본 발명의 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법은 360도 비디오 콘텐츠의 네트워크 스트리밍 서비스에 있어서 네트워크 트래픽 문제를 해결하기 위해 전송되는 영상을 영역별로 분할하여 화면 분할 스트리밍 방식 중 FoV(Field of View)영역만 고화질로 스트리밍하는 방법을 통해 트래픽을 줄이는 방식을 제안하였다. 먼저, 스트리밍 서버에서 원본 영상을 중·저화질로 인코딩하고, 분할 영역별 영상들을 고화질로 인코딩한다. 사용자의 미디어 플레이어는 중·저화질 영상과 FoV영역의 고화질 영상을 스트리밍 받아 버퍼링하면서 중·저화질 영상 위에 고화질 영상을 오버레이(Overlay)하여 디스플레이 한다. 화면 분할 스트리밍 방식 중, FoV 영역만 분할하여 스트리밍하는 방법은 FoV 전환이 이루어질 때 전환된 FoV 영역에 대한 버퍼링이 필요하기 때문에 재생 중 끊김이 발생할 수 있다. 하지만, 제안된 방법은 360도 영상 전체 영역을 저화질로 스트리밍함과 동시에 분할된 FoV 영역에 대해서만 고화질 영상을 오버레이함으로써 FoV 전환에 따른 재생 중 끊김 문제를 방지할 수 있다. 제안된 방법은 중·저화질 영상에 고화질 영상을 오버레이하여 동시에 재생하기 때문에 두 영상의 Frame 동기화가 필요하다. 이를 위해 버퍼링 단위인 GoP를 전처리 시에 일정한 크기로 고정하여 각 화질별 영상의 GoP를 같도록 설정하였다.
본 발명은 FoV를 기반으로 한 고화질의 360도 영상을 스트리밍 서비스할 수 있는 FBF 스트리밍 방법을 제안하였다. 제안된 방법을 사용하면 전체영상을 고화질로 전송하였을 때 보다 최소 30% 정도에서 최대 50%까지 네트워크 트래픽을 줄이면서 FoV 영역은 고화질 영상전송이 가능한 것을 확인했다. 또한 FoV 영역이 아닌 영역도 중화질(Mid Quality) 이상으로 전송하여 화면 전환 시에 큰 화질저하 없이 원활한 재생을 할 수 있었다.
HLS(Http Live Streaming)를 기반으로 하는 일반 플레이어에서도 중화질의 360도 영상을 스트리밍 받을 수 있으며, 본 발명에서 제안된 플레이어를 사용하면 FoV 영역에서 고화질의 영상을 추가로 전송하여 4K이상의 360도 영상을 고화질로 스트리밍할 수 있을 것이다.
도 1은 HTTP 적응적 스트링 구성(HTTP Adaptive streaming Configuration)을 보인 도면이다.
도 2는 Apple에서 제안한 HTTP Adaptive Streaming 방식인 HLS(Http Live Streaming)의 서비스 구성을 나타낸 도면이다.
도 3은 HTTP Adaptive Streaming에 적용된 백그라운드 프레임 스트리밍 구성 상의 FoV(FoV on the background frame streaming configuration)를 보인 도면이다.
도 4는 FoV 전환에 따른 재생 예시(FoV Change Example)를 보인 도면이다.
도 5는 본 발명에서 제안된 방법과 원래 방법의 bitrate 차이를 보인 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.
본 발명의 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법은 360도 비디오 콘텐츠의 네트워크 스트리밍 서비스에 있어서 네트워크 트래픽 문제를 해결하기 위해 전송되는 영상을 영역별로 분할하여 화면 분할 스트리밍 방식 중 FoV(Field of View) 영역만 고화질로 스트리밍하는 방법을 통해 트래픽을 줄이는 방식을 제안한다. 먼저 비관심 영역의 배경 프레임만 포함된 원본 영상을 중·저화질로 인코딩하고, 분할 영역별 관심 영역의 FoV 영역의 영상들을 고화질로 인코딩한다. 사용자의 크라이언트(미디어 플레이어)는 중·저화질 영상과 FoV 영역의 고화질 영상을 스트리밍 받아 중·저화질 영상 위에 고화질 영상을 오버레이(Overlay)하여 디스플레이 한다.
화면 분할 스트리밍 방식 중, FoV 영역만 분할하여 스트리밍하는 방법은 FoV 전환이 이루어질 때 전환된 FoV 영역에 대한 버퍼링이 필요하기 때문에 재생 중 끊김이 발생할 수 있다. 하지만, 제안된 방법은 360도 영상 전체 영역을 저화질로 스트리밍함과 동시에 분할된 FoV 영역에 대해서만 고화질 영상을 오버레이함으로써 FoV 전환에 따른 재생 중 끊김 문제를 방지할 수 있으며, 네트워크 트래픽을 줄일 수 있다.
제안된 방법은 중·저화질 영상에 고화질 영상을 오버레이하여 동시에 재생하기 때문에 두 영상의 Frame 동기화가 필요하다. 이를 위해 버퍼링 단위인 GoP를 전처리 시에 일정한 크기로 고정하여 각 화질별 영상의 GoP를 같도록 설정하였다.
본 발명의 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법은, 360도 비디오 콘텐츠의 네트워크 스트리밍 서비스에 있어서,
HTTP 서버 또는 스트리밍 서버에서 트랜스코더를 사용하여 전체 영상에서 관심 영역과 배경 프레임 영역을 영역별로 분할하는 단계; 상기 HTTP 서버 또는 스트리밍 서버에서 상기 트랜스코더를 사용하여 화면 분할 스트리밍 방식 중, 분할된 상기 관심 영역의 FoV(Field of View) 영역의 영상들만 고화질 영상으로 인코딩하고, 상기 배경 프레임만 포함된 원본 영상을 중·저화질 영상으로 인코딩하며, 관심영역(FoV 영역)과 비관심 영역으로 나누어 상기 비관심영역은 중·저화질 영상으로 전송하여 네트워크 트래픽을 줄이며 상기 관심영역은 고화질 영상을 스트리밍으로 제공하고, 상기 고화질 영상과 중·저화질 영상과 재생 목록을 상기 스트리밍 서버로부터 미디어 플레이어로 동시에 각각 전송하는 단계; 및 상기 미디어 플레이어에서 중·저화질 영상과 FoV 영역의 고화질 영상을 스트리밍 받아 각각 수신받아 버퍼링되면서 영상을 디코딩하고 타임 스탬프에 맞춰 상기 중·저화질 영상 위에 상기 고화질 영상을 오버레이하여 디스플레이 하는 단계를 포함한다.
상기 고화질 영상은 GoP 단위로 시분할 되며, 상기 HTTP 서버 또는 스트리밍 서버의 트랜스코더에 의해 하나의 영상을 화질이 다른 2개의 시분할 된 영상으로 전송하며, 트랜스코딩 단계에서 GoP의 크기를 고정시킴으로써 화질전환 지연을 일정하게 만든다.
상기 미디어 플레이어는 상기 중·저화질 영상에 상기 고화질 영상을 오버레이하여 동시에 재생하기 때문에 두 영상의 Frame 동기화가 필요하다. 이를 위해 버퍼링 단위인 GoP를 전처리 시에 일정한 크기로 고정하여 각 화질별 영상의 GoP를 같도록 설정한다.
상기 미디어 플레이어는, 원본 해상도의 배경 프레임의 저화질 영상(Low Quality)과 FoV의 고화질 영상(Segmented High Quality video)을 동시에 각각 프레임 버퍼링되면서 스트리밍 받고, 상기 중·저화질 영상위에 상기 고화질 영상을 오버레이(overlay)하여 재생하며,
FoV 전환 이벤트가 발생할 경우, 맨 처음 상기 HTTP 서버 또는 스트리밍 서버로부터 수신받은 상기 재생 목록을 이용하여 FoV를 전환하여 상기 중·저화질 영상위에 상기 고화질 영상을 오버레이하여 재생한다.
예를들면, CIF급, QCIF급, SD급, HD급, UHD급 영상에 대하여 동일한 해상도에서, 서버의 트랜스코더에서 고화질 영상은 인코딩시에 high bitrate 화질 영상이며, 중화질 영상은 mid bitrate 영상이며, 저화질 영상은 low bitrate 영상이다
3. FBF 스트리밍(FoV on the Background Frame streaming)
3.1 개요
본 발명에서 제안하는 FoV on the background frame streaming 방식은 HTTP Adaptive Streaming에서 아이디어를 얻어 구현되었다. 일반적인 HLS(Http Live Streaming) 방법과는 다르게, HTTP 서버의 트랜스코더에 의해 영상을 배경 프레임과 관심 영역(FoV 영역)의 영역별로 분할하고, 영역별 영상을 화질별이 아닌 관심 영역의 FoV 영역만 고화질로 인코딩하고, 배경 프레임은 중저화질로 인코딩한다.
도 3은 HTTP Adaptive Streaming에 적용된 백그라운드 프레임 스트리밍 구성 상의 FoV(FoV on the background frame streaming configuration)를 보인 도면이다.
도 3에 제안하는 스트리밍 방식의 흐름도를 나타냈다. 서버에서 원본 영상을 트랜스코더를 사용하여 원본 영상과 같은 해상도이지만 배경 프레임에 대하여 화질을 낮춘 영상과, 분할 영역별 관심 영역(FoV 영역)에 대하여 고화질 영상을 인코딩하여 만든다. 화질을 낮춘 영상은 플레이가 끝날 때까지 재생하고, 분할 영역별 고화질 영상은 다시 시분할하여 FoV 영역에 따라 실시간으로 전송영역을 전환한다.
3.2 고정 GoP
고화질 영상은 GoP 단위로 시분할 되는데, GoP의 크기는 화질전환 지연과 연관이 있다. 화질전환 지연은 클라이언트(미디어 플레이어)가 영상을 스트리밍 받아 버퍼링되면서 재생할 때 발생하는 지연시간으로, 버퍼링 크기만큼 발생한다.
본 발명에서 제안된 방법은 HTTP 서버의 트랜스코더에서 하나의 영상을 화질이 다른 2개의 시분할 된 영상으로 전송하여 실험하였다. 이 경우, 2개의 GoP 시간만큼의 화질전환 지연이 예상된다. 하지만, 보통의 영상은 GoP의 크기가 일정하지 않다. 그 결과 일반적인 영상을 사용하면 불규칙적인 전환지연이 발생하게 된다. 상기 서버의 트랜스코더는 트랜스코딩 단계에서 GoP의 크기를 고정시킴으로써 화질전환 지연을 일정하게 만든다.
3.3 영상 재생 방식
도 4는 FoV 전환에 따른 재생 예시(FoV Change Example)를 보인 도면이다.
미디어 플레이어는 원본 해상도의 배경 프레임의 저화질 영상(Low Quality)과 FoV의 고화질 영상(Segmented High Quality video)을 동시에 각각 프레임 버퍼링되면서 스트리밍 받고, 저화질 영상위에 고화질 영상을 오버레이(overlay)하여 재생한다. FoV 전환 이벤트가 발생할 경우, 맨 처음 HTTP 서버 또는 스트리밍 서버로부터 받은 재생 목록을 이용하여 FoV를 전환한다.
4. 실험 결과
4.1 실험 환경
HTTP 서버는 우분투 환경에 아파치 서버를 사용하였고, 클라이언트는 하이엔드 PC에 윈도우 환경에서 ffmpeg 라이브러리를 사용하여 디코딩했다.
4.2 목표 비트레이트
서버의 트랜스코더는 트랜스코딩 과정에서 영상을 CBR(Constant Bit Rate) 방식으로 수정하여 비트레이트 목표치를 설정 할 수 있게 만들었다. 목표 비트레이트(Target bitrate)는 표 1과 같다.
Figure 112017120023235-pat00001
4.3 결과
표 2를 보면, 관심 용역 인 FoV 영상(고화질 영상)과 배경 영상(저화질 영상)이 목표 비트레이트와 같이 일정하게 나오는 것을 볼 수 있다. 반면에, 원본 영상은 CBR 방식이 아니기 때문에 비트레이트의 변동 폭이 크다. 때문에 시간별로 감소율이 다르게 계산되는데, 가장 감소율이 낮은 시간대에서도 31% 정도의 감소율이 있는 것을 볼 수 있고, 평균적으로 40~45% 정도의 비트레이트의 감소 효과가 있다는 것을 알 수 있다.
Figure 112017120023235-pat00002
도 5는 본 발명에서 제안된 방법과 원래 방법의 bitrate 차이를 보인 도면이다.
360° 영상 컨텐츠를 이용한 VR 연구가 활발하게 연구되고 있으며, VR 컨텐츠는 현실감을 높이기 위해 비디오의 해상도를 4K (UHD), 8K (SUHD) 이상의 고해상도로 만들어야 한다. 하지만, HEVC(High Efficiency Video Coding)과 같은 고효율 압축 기술이 사용되더라도 비트 레이트가 높아서, 높은 네트워크 트래픽을 발생 시킨다. 본 발명에서는 HTTP 서버 또는 스트리밍 서버에서 트랜스코더를 사용하여 관심영역(FoV)과 비관심 영역으로 나누어 비관심영역은 저화질로 각각 전송하여 네트워크 트래픽을 줄이면서 관심영역은 고화질의 영상을 스트리밍을 제공한다. 관심영역과 비관심영역으로 나누어진 본 방법은 고화질의 관심영역과 저화질의 비관심 영역을 동시에 스트리밍 함으로써 FoV의 변화에 따른 화질 저하 문제를 줄이면서 미디어 플레이어에서 원할한 시청을 가능하게 하였다.
5. 결 론
본 발명은 FoV를 기반으로 한 고화질의 360도 영상을 스트리밍 서비스할 수 있는 FBF 스트리밍 방법을 제안하였다. 제안된 방법을 사용하면 전체영상을 고화질로 전송하였을 때 보다 최소 30% 정도에서 최대 50%까지 네트워크 트래픽을 줄이면서 관심 영역 인 FoV 영역은 고화질 영상전송이 가능한 것을 확인했다. 또한, 관심 영역 인 FoV 영역이 아닌 영역도 중화질(Mid Quality) 이상으로 전송하여 화면 전환 시에 큰 화질저하 없이 원활한 재생을 할 수 있었다.
HLS(Http Live Streaming)를 기반으로 하는 일반 플레이어에서도 중화질의 360도 영상을 스트리밍 받을 수 있으며, 본 발명에서 제안된 플레이어를 사용하면 FoV 영역에서 고화질의 영상을 추가로 전송하여 4K이상의 360도 영상을 고화질로 스트리밍할 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함될 수 있다.　프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.　이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있음을 이해할 수 있을 것이다.

Claims (4)

  1. 360도 비디오 콘텐츠의 네트워크 스트리밍 서비스에 있어서,
    HTTP 서버 또는 스트리밍 서버에서 트랜스코더를 사용하여 전체 영상에서 관심 영역과 배경 프레임 영역을 영역별로 분할하는 단계;
    상기 HTTP 서버 또는 스트리밍 서버에서 상기 트랜스코더를 사용하여 화면 분할 스트리밍 방식 중, 분할된 상기 관심 영역의 FoV(Field of View) 영역의 영상들만 고화질 영상으로 인코딩하고, 상기 배경 프레임만 포함된 원본 영상을 중·저화질 영상으로 인코딩하며, 관심영역(FoV 영역)과 비관심 영역으로 나누어 상기 비관심영역은 중·저화질 영상으로 전송하여 네트워크 트래픽을 줄이며 상기 관심영역은 고화질의 영상을 스트리밍으로 제공하고, 상기 스트리밍 서버로부터 상기 고화질 영상과 중·저화질 영상과 재생 목록을 미디어 플레이어로 동시에 각각 전송하는 단계; 및
    상기 미디어 플레이어에서 중·저화질 영상과 FoV 영역의 고화질 영상을 스트리밍 받아 각각 수신받아 버퍼링되면서 영상을 디코딩하고 타임 스탬프에 맞춰 상기 중·저화질 영상 위에 상기 고화질 영상을 오버레이하여 디스플레이 하는 단계를 포함하며,
    상기 고화질 영상은 GoP 단위로 시분할 되며,
    상기 HTTP 서버 또는 스트리밍 서버의 트랜스코더에 의해 하나의 영상을 화질이 다른 2개의 시분할 된 영상으로 전송하며, 트랜스코딩 단계에서 GoP의 크기를 고정시킴으로써 화질전환 지연을 일정하게 만든 것을 특징으로 하는 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 미디어 플레이어는 상기 중·저화질 영상에 상기 고화질 영상을 오버레이하여 동시에 재생하기 때문에 두 영상의 Frame 동기화가 필요하며, 이를 위해 버퍼링 단위인 GoP를 전처리 시에 일정한 크기로 고정하여 각 화질별 영상의 GoP를 같도록 설정하는, 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법.
  4. 제1항에 있어서,
    상기 미디어 플레이어는
    원본 해상도의 배경 프레임의 저화질 영상(Low Quality)과 FoV의 고화질 영상(Segmented High Quality video)을 동시에 각각 프레임 버퍼링되면서 스트리밍 받고, 상기 중·저화질 영상위에 상기 고화질 영상을 오버레이(overlay)하여 재생하며, FoV 전환 이벤트가 발생할 경우, 맨 처음 상기 HTTP 서버 또는 스트리밍 서버로부터 수신받은 상기 재생 목록을 이용하여 FoV를 전환하여 상기 중·저화질 영상위에 상기 고화질 영상을 오버레이하여 재생하는, 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법.
KR1020170163771A 2017-11-30 2017-11-30 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법 KR101978922B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170163771A KR101978922B1 (ko) 2017-11-30 2017-11-30 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170163771A KR101978922B1 (ko) 2017-11-30 2017-11-30 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법

Publications (1)

Publication Number Publication Date
KR101978922B1 true KR101978922B1 (ko) 2019-05-15

Family

ID=66579255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170163771A KR101978922B1 (ko) 2017-11-30 2017-11-30 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법

Country Status (1)

Country Link
KR (1) KR101978922B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210045877A (ko) * 2019-10-17 2021-04-27 에스케이텔레콤 주식회사 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
WO2021169392A1 (zh) * 2020-02-24 2021-09-02 腾讯科技（深圳）有限公司 视频数据处理方法、装置、设备以及可读存储介质
CN113810739A (zh) * 2020-06-17 2021-12-17 国基电子（上海）有限公司 影像传输方法、终端及计算机可读存储介质
KR20220063879A (ko) * 2020-11-11 2022-05-18 가온미디어 주식회사 색상요소분할 전처리 기반의 플렌옵틱 영상 디코딩 방법
KR102584718B1 (ko) * 2023-02-15 2023-10-05 주식회사 엔티에스솔루션 스마트글라스를 활용한 실시간 영상/음성 기반 선박 및 해외설비 원격유지보수 시스템

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
[1] J. Cabrera, M. Orduna, et al., "Evaluation of 360VR cinemat1ic stereoscopic DASH service,"In Consumer Electronics (ICCE), IEEE International Conference, pp. 360-361, 2017.
[2] Jinwook Jeong, Kyungkoo Jun, "Resolution 360 degree Video Generation System using Multiple Cameras,"Journal of Korea Multimedia Society, Vol.19, No.8, pp.1329-1336, 2016.
[3] KISDI, "Virtual reality (VR) ecosystem and implications"vol. 28, pp. 1-28, 2016.
[4] Seufert, Michael, et al., "A survey on quality of experience of HTTP adaptive streaming." IEEE Communications Surveys & Tutorials, Vol. 17, No. 1, pp. 469-492, 2016.
[5] ISO/IEC, Information TechnologyDynamic Adaptive Streaming Over HTTP (DASH)Part 1: Media Presentation Description and Segment Formats, ISO/IEC Standard 23009-1, 2014.
[6] S. Garci"Quality-Optimization Algorithm Based on Stochastic Dynamic Programming for MPEG DASH Video Streaming"IEEE International Conference, pp. 574-575, 2014.
[7] R. Pantos, W. May, "HTTP live streaming"No. RFC 8216, 2017.
Cabrera, Julian, et al. "Evaluation of 360VR cinemat1ic stereoscopic DASH service." Consumer Electronics (ICCE), 2017 IEEE International Conference on. IEEE(8-10 Jan. 2017). 1부.* *
Duanmu, Fanyi, et al. "View direction and bandwidth adaptive 360 degree video streaming using a two-tier system." Circuits and Systems (ISCAS), 2017 IEEE International Symposium on. IEEE(28-31 May 2017). 1부.* *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210118025A (ko) * 2019-10-17 2021-09-29 에스케이텔레콤 주식회사 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 프로그램
KR102315899B1 (ko) * 2019-10-17 2021-10-21 에스케이텔레콤 주식회사 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR102372323B1 (ko) * 2019-10-17 2022-03-08 에스케이텔레콤 주식회사 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 프로그램
KR20210045877A (ko) * 2019-10-17 2021-04-27 에스케이텔레콤 주식회사 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
WO2021169392A1 (zh) * 2020-02-24 2021-09-02 腾讯科技（深圳）有限公司 视频数据处理方法、装置、设备以及可读存储介质
US11871017B2 (en) 2020-02-24 2024-01-09 Tencent Technology (Shenzhen) Company Limited Video data processing
US11812036B2 (en) 2020-06-17 2023-11-07 Ambit Microsystems (Shanghai) Ltd. Method for image transmitting, transmitting device and receiving device
CN113810739A (zh) * 2020-06-17 2021-12-17 国基电子（上海）有限公司 影像传输方法、终端及计算机可读存储介质
CN113810739B (zh) * 2020-06-17 2024-02-09 富联国基(上海)电子有限公司 影像传输方法、终端及计算机可读存储介质
KR20220063879A (ko) * 2020-11-11 2022-05-18 가온미디어 주식회사 색상요소분할 전처리 기반의 플렌옵틱 영상 디코딩 방법
KR102414377B1 (ko) * 2020-11-11 2022-06-29 가온미디어 주식회사 색상요소분할 전처리 기반의 플렌옵틱 영상 디코딩 방법
WO2022102814A1 (ko) * 2020-11-11 2022-05-19 가온미디어 주식회사 색상요소분할 전처리 기반의 플렌옵틱 영상 디코딩 방법
KR102584718B1 (ko) * 2023-02-15 2023-10-05 주식회사 엔티에스솔루션 스마트글라스를 활용한 실시간 영상/음성 기반 선박 및 해외설비 원격유지보수 시스템

Similar Documents

Publication Publication Date Title
KR101978922B1 (ko) 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법
Ozcinar et al. Viewport-aware adaptive 360 video streaming using tiles for virtual reality
US20210326378A1 (en) Information processing apparatus and information processing method
US10623816B2 (en) Method and apparatus for extracting video from high resolution video
US20150195625A1 (en) Information processing apparatus, information processing system, recording medium, and method for transmission and reception of moving image data
WO2011007701A1 (ja) 送信装置、受信装置、送信方法、受信方法及び伝送システム
US20180077385A1 (en) Data, multimedia & video transmission updating system
US20180122388A1 (en) Intelligent Data Delivery
CN112425178B (zh) 两遍组块并行转码处理
US20190373213A1 (en) Information processing device and method
US9060184B2 (en) Systems and methods for adaptive streaming with augmented video stream transitions using a media server
EP3371978B1 (en) Contiguous streaming of media stream
Kim et al. HLS-based 360 VR using spatial segmented adaptive streaming
Kim et al. Distributed video transcoding system for 8K 360° VR tiled streaming service
US10298651B2 (en) Encoding device, decoding device, computer program product, and streaming system
US11356683B2 (en) Creating different video stream representations
Gabin et al. 5G multimedia standardization
Fautier VR video ecosystem for live distribution
Hegde et al. QoE aware video adaptation for video streaming in 5G networks
WO2018142947A1 (ja) 情報処理装置および方法
Fautier Next-generation video compression techniques
US20210168472A1 (en) Audio visual time base correction in adaptive bit rate applications
Quax et al. A practical and scalable method for streaming omni-directional video to web users
JP2016192658A (ja) 通信システム、通信装置、通信方法および通信制御方法
Kinoshita et al. Low Latency Live Streaming System with Congestion Control

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant