KR102030630B1 - 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템 - Google Patents

하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템 Download PDF

Info

Publication number
KR102030630B1
KR102030630B1 KR1020180050121A KR20180050121A KR102030630B1 KR 102030630 B1 KR102030630 B1 KR 102030630B1 KR 1020180050121 A KR1020180050121 A KR 1020180050121A KR 20180050121 A KR20180050121 A KR 20180050121A KR 102030630 B1 KR102030630 B1 KR 102030630B1
Authority
KR
South Korea
Prior art keywords
layer stream
stereoscopic
stream
base layer
eye image
Prior art date
Application number
KR1020180050121A
Other languages
English (en)
Inventor
김동호
유동호
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020180050121A priority Critical patent/KR102030630B1/ko
Priority to US16/199,435 priority patent/US10965968B2/en
Application granted granted Critical
Publication of KR102030630B1 publication Critical patent/KR102030630B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템에 관한 것이다. 본 발명의 구체적인 예에 따르면, 360도 카메라를 통해 촬영된 고해상도의 좌안 영상 및 우안 영상으로부터 도출된 기본 계층 스트림, 향상 계층 스트림, 및 스테레오스코픽 스트림을 ATSC 3.0 프로토콜 기반으로 표준화 및 다중화를 위해 MPD 시그널링을 수행함에 따라 HD, UHD급 해상도의 360도 VR 방성 서비스와 스테레오스코픽 3차원 360도 VR 등 실감 미디어를 제공할 수 있고, 하나의 인코더를 이용하여 기본 계층 스트림, 향상 계층 스트림, 및 스테레오스코픽 스트림을 도출함에 따라 시스템의 복잡도를 줄일 수 있고, 압축 효율을 향상시킬 수 있다.

Description

하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템 {SYSTEM FOR PROVIDING STEREOSCOPIC 3D 360 VIRTUAL PEALITY SEVICE BASED ON HYBRID NETWORK}
본 발명은 하이브리드 망 기반의 스테레오스코픽 3D 360도 가상 현실 서비스 제공 시스템에 관한 것으로서, 더욱 상세하게는 ATSC 3.0 프로토콜 기반으로 360도 3D 가상 현실 방송 서비스를 제공할 수 있도록 한 기술에 관한 것이다.
최근 IP기반의 요구사항이 증가하면서 세계 최초로 IP기반의 방송시스템인 ATSC 3.0의 표준화가 완료되었다. ATSC 3.0의 궁극적인 목적 중 하나는 기존의 고정된 TV와 사용자 개개인의 모바일 기기들과 호환성을 중시하였으며 하나의 전송 방식으로 두 분류의 사용자에게 모두 서비스를 가능하게 하는 것이다.
ATSC 3.0이 사용하는 전송방식은 크게 두 분류로 나뉘는데 MMPT(MPEG Media Transport Protocol)와 ROUTE(Real-Time Object delivery over Unidirectional Transport)이다. 지난해 ROUTE방식을 사용하여 ATSC 3.0 방송 시스템 실험방송을 성공하였다.
최근에는 가상현실 기기들이 보급화 되면서 360도 VR(Virtual Reality)영상과 같은 실감 미디어에 대한 요구사항도 증가하고 있다. 현재 이러한 콘텐츠들은 동영상 공유사이트 중심으로 사용자들에게 서비스가 제공되고 있으며 교육, 네비게이션, 게임 등과 같은 분야에서도 다양하게 사용되고 있다. 이러한 360도 VR영상들은 향후 방송산업에도 크게 영향을 미칠 것으로 많은 학자들이 예상하고 있고, 기존의 방송 패러다임(Paradigm)을 완전히 바꿀 것으로 기대하고 있다.
하지만 최근 완료된 ATSC 3.0 방송 프로토콜을 기반으로 360도 3D VR 영상 전송을 고려하고 있지 않고 있다.
본 발명은 하나의 인코더의 MPD 시그널 구조를 이용하여 복잡도를 줄일 수 있고, 압축 효율을 극대화할 수 있는 하이브리드 망 기반의 스테레오스코픽 3D 360도 가상 현실 서비스 제공 시스템 및 방법을 제공하고자 한다.
또한 본 발명은 시청자에게 실감나는 HD 360도 VR 서비스, UHD 360도 VR 서비스, 및 스테레오스코픽 UHD 3D 360도 VR 서비스를 제공할 수 있는 하이브리드 망 기반의 스테레오스코픽 3D 360도 가상 현실 서비스 제공 시스템 및 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이에 본 발명은 360 카메라를 이용하여 고해상도의 좌안 영상 및 우안 영상 각각을 획득하는 영상 획득부;
상기 획득된 좌안 영상 및 우안 영상 각각에 대한 소정 크기로 타일링을 수행하는 전 처리부;
상기 타일링된 우안 영상에 대해 소정의 해상도로 다운 샘플링을 수행하는 다운 샘플링부;
상기 다운샘플링된 우안 영상 및 상기 타일링된 좌안 영상 각각에 대해 인코딩을 수행하여 기본 계층 스트림 및 향상 계층 스트림을 출력하고, 상기 기본 계층 스트림을 고 해상도로 업 샘플링을 수행하며, 업 샘플링된 기본 계층 스트림, 기본 계층 스트림, 및 향상 계층 스트림 각각을 출력하는 인코더; 및
상기 업 샘플링된 기본 계층 스트림, 상기 기본 계층 스트림, 및 상기 향상 계층 스트림 중 적어도 하나를 방송망 표준 규격에 따라 표준화 및 다중화하여 전송하는 방송 서버를 포함하는 것을 일 특징으로 한다.
바람직하게 상기 인코더는, 상기 타일링된 우안 영상에 대해 다운 샘플링된 우안 영상 데이터에 대한 인코딩을 수행하여 기본 계층 스트림을 출력하는 기본 계층 스트림 부호 처리부; 상기 타일링된 좌안 영상 데이터에 대해 상기 기본 계층 스트림을 기반으로 향상 계층 스트림을 출력하는 향상 계층 스트림 부호 처리부; 상기 기본 계층 스트림에 대해 소정 해상도로 업 샘플링을 수행하는 업 샘플링부; 상기 업 샘플링된 기본 계층 스트림과 향상 계층 스트림을 인코딩하여 스테레오스코픽 스트림을 출력하는 스테레오스코픽 스트림 부호 처리부; 및 상기 기본 계층 스트림 및 향상 계층 스트림에 대한 MPD(Media Presentation Description) 정보를 생성하여 상기 방송 서버로 전달하는 전송 처리부를 포함하는 포함할 수 있다.
바람직하게 상기 MPD는 SRD(Spatial Relationship Description)로 구비되고 촬영된 좌안 영상과 우안 영상 타일 간의 시점 및 위치를 설명하는 타일링 정보; 좌안 영상과 우안 영상에 대해 부여된 스테레오스코픽 쌍 아이디를 설명하는 스테레오스코픽 쌍 정보; 및 상기 향상 계층 스트림 각각에 대해 의존하는 기본 계층 스트림 아이디를 설명하는 의존도 정보를 포함할 수 있다.
바람직하게 상기 SRD는 독립적으로 인코딩 및 디코딩을 수행하는 컴퍼넌트일 수 있다.
본 발명은, 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템에 있어서, 타일링된 우안 영상에 대해 다운 스트림된 우안 영상 데이터에 대한 인코딩을 수행하여 기본 계층 스트림을 출력하는 기본 계층 스트림 부호 처리부; 타일링된 좌안 영상 데이터에 대해 향상 계층 스트림을 출력하는 향상 계층 스트림 부호 처리부; 상기 기본 계층 스트림에 대해 소정 해상도로 업 샘플링을 수행하는 업 샘플링부; 상기 업 샘플링된 기본 계층 스트림과 상기 향상 계층 스트림을 토대로 스테레오스코픽 스트림을 출력하는 스테레오스코픽 스트림 부호 처리부; 및 상기 스테레오스코픽 스트림을 디코딩하기 위해 상기 기본 계층 스트림 및 향상 계층 스트림에 대한 정보를 기술하는 타일링 정보, 스테레오스코픽 쌍 정보, 및 기본 계층과 향상 계층 간의 의존도 정보를 포함하는 MPD(Media Presentation Description) 정보를 생성하여 상기 방송 서버로 전달하는 전송 처리부를 포함하는 것을 다른 특징으로 한다.
전술한 바와 같은 구성의 본 발명에 의하면 360도 카메라를 통해 촬영된 고해상도의 좌안 영상 및 우안 영상으로부터 도출된 기본 계층 스트림, 향상 계층 스트림, 및 스테레오스코픽 스트림을 ATSC 3.0 프로토콜 기반으로 표준화 및 다중화를 위해 MPD 시그널링을 수행함에 따라 HD, UHD급 해상도의 360도 VR 방송 서비스와 스테레오스코픽 3차원 360도 VR 등 실감 미디어를 제공할 수 있다.
본 발명에 따르면, 하나의 인코더를 이용하여 기본 계층 스트림, 향상 계층 스트림, 및 스테레오스코픽 스트림을 도출함에 따라 시스템의 복잡도를 줄일 수 있고, 압축 효율을 향상시킬 수 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 본 발명의 실시예에 따른 시스템의 구성도이다.
도 2는 본 발명의 실시 예에 따른 시스템의 타일링 화면 예시도이다.
도 3은 본 발명의 실시예에 따른 시스템의 인코더 구성도이다.
도 4는 본 발명의 실시예에 따른 시스템의 MPD 시그널링 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명의 실시 예에서 방송망에 적용되는 전송 스트림은 ROTUE(Real-time Object Delivery over Unidirectional Transport) 또는 MMTP(MPEG Media Transport Protocol)가 될 수 있다. ROUTE 및 MMTP는 현재 ATSC 3.0에서 표준화 진행 중인 방송망 전송 스트림 다중화 규격을 나타낸다. 또한, 인터넷 망으로 전송되는 전송 스트림은 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 규격을 따른다.
본 발명은 360도 카메라를 통해 촬영된 고해상도의 좌안 영상 및 우안 영상을 서비스 요구 모드에 따라 타일링하고, 타일링된 좌안 영상 및 우안 영상 중 선택된 하나의 영상에 대해 다운 샘플링을 수행하며, 다운 샘플링된 영상과 다운 샘플링된 영상을 제외한 나머지 하나의 원영상을 부호화하여 기본 계층 스트림, 향상 계층 스트림, 및 스테레오스코픽 스트림을 도출하고, 스테레오스코픽 3D 360도 VR 방송 서비스를 제공하기 위해 도출된 기본 계층 스트림, 향상 계층 스트림, 및 스테레오스코픽 스트림에 대한 MPD 시그널링을 수행하며, 도출된 기본 계층 스트림, 향상 계층 스트림, 스테레오스코픽 스트림, 및 MPD 정보를 ATSC 3.0 프로토콜 기반의 표준화 및 다중화하여 방송망(ROUTE) 및/또는 인터넷 망(DASH)을 통해 전송하도록 구성된다. 여기서, 하이브리드 망은 방송망 및/또는 인터넷 망으로 비디오 스트림을 전송하는 네트워크이다.
도 1은 본 발명의 실시 예에 따른 하이브리드 망 기반의 스테레오스코픽 3차원 360도 VR 방송 서비스 제공 시스템의 구성도이고, 본 발명의 실시 예에 따른 시스템(S)은 영상 획득부(100), 전처리부(200), 다운 샘플링부(300), 인코더(400), 및 방송 서버(500)를 포함한다.
영상 획득부(100)는 소정 해상도(예를 들어, 8K 해상도)를 지원하는 두 개의 카메라를 통하여 촬영된 각각의 좌안 영상 및 우안 영상을 각각 출력한다. 각각의 카메라에서 찍힌 영상이 그대로 UHD(Ultra High Definition) 영상 또는 HD 영상으로 사용되거나, 일부 영역의 영상이 360도 VR에서 스테레오스코픽 UHD 영상으로 적용된다.
이에 전 처리부(200)는 획득된 좌안 영상 및 우안 영상 각각을 서비스 요구 사항에 따라 타일링을 수행하고 타일링된 좌안 영상 및 우안 영상 중 하나의 선택된 우안 영상 데이터를 다운 샘플링부(300)로 전달한다.
도 2는 도 1에 도시된 전 처리부(200)에 의거 타일링된 상태를 보인 예시도로서, 도 2를 참조하면 좌안 영상 및 우안 영상에 대해 동일한 크기와 동일한 수로 타일링된다.
다운 샘플링부(300)는 선택된 우안 영상에 대해 기 정해진 해상도(예를 들어, UHD 보다 낮은 해상도 QHD(Quad High Definition) 해상도)로 다운 샘플링을 수행하여 이에 획득된 해상도 보다 낮은 해상도의 우안 영상을 출력한다. 상기 다운 샘플링된 우안 영상과 다운 샘플링되지 아니한 고해상도의 좌안 영상은 인코더(400)로 전달된다.
인코더(400)는 다운 샘플링된 우안 영상과 고해상도의 좌안 영상을 인코딩하여 스트림 형태로 출력한다. 여기서, 상기 인코더(400)는 SHVC(Scalable High efficiency Video Codec)으로 구비된다.
이에 본 발명은 UHD 360도 VR 방송 서비스와, HD 360도 VR 방송 서비스와, 스테레오스코픽 UHD 360도 VR 방송 서비스 제공하기 위해 하나의 인코더 및 디코더가 이용되므로 시스템(S)의 복잡도를 감소할 수 있고 압축율을 향상시킬 수 있다.
도 3은 도 1에 도시된 인코더(400)의 세부적인 구성도로서, 도 3을 참조하면, 인코더(400)는 기본 계층(base layer) 부호 처리부(410), 향상 계층(enhance layer) 부호 처리부(420), 업 샘플링부(430), 스테레오스코픽 부호 처리부(440), 및 전송 처리부(450)를 포함한다.
이러한 구조를 이루어지는 인코더(400)는 다운 샘플링된 우안 영상과 고해상도의 좌안 영상에 대해 인코딩을 수행하여 기본 계층 스트림 및 향상 계층 스트림을 출력하고, 출력된 기본 계층 스트림 및 향상 계층 스트림으로 기반으로 스트레오스코픽 스트림을 출력한다. 본 발명의 실시 예에 따른 기본 계층 스트림과 향상 계층 스트림을 형성하고, 기본 계층 스트림과 향상 계층 스트림을 전달받아 고화질의 스테레오스코픽 스트림으로 처리하는 일련의 과정은 본 출원인에 의거 기 출원된 바 있다.
여기서 기본 계층 스트림은 우안 영상의 전송 스트림으로 구성되며, 향상 계층 스트림은 사용자 선택 또는 주시 화면(View of Interest, VoI)에 대해 고해상도(예를 들어 8K 해상도) 화질을 제공하기 위한 좌안 영상의 전송 스트림으로 구성되고, 스테레오스코픽 스트림은 좌안 영상 및 우안 영상에 기 정해진 표준 규격을 적용하여 3D 영상의 전송 스트림으로 구성된다.
즉, 기본 계층 부호 처리부(410)는 타일링된 360도 우안 영상을 QHD(Quad High Definition)로 다운 샘플링을 수행한 후 SHVC 기반으로 디코딩하여 기본 계층 스트림을 형성한다. 그리고 향상 계층 부호 처리부(420)는 VoI별로 기본 계층 정보를 참조하여 타일링된 360도 좌안 영상을 향상 스트림으로 부호화하여 향상 계층 스트림을 형성한다. 이때 사용자가 선택한 VoI 기반의 향상 스트림은 VoI별로 최소 8K 해상도를 가진다. 이에 따라, 다운 샘플링된 우안 영상이 포함된 기본 계층 스트림과 원 영상의 좌안 영상이 포함된 VoI별 향상 계층 스트림이 출력된다.
한편, 업 샘플링부(430)는 상기 기본 계층 스트림을 전달받아 고해상도(예를 들어 8K 해상도)로 업 샘플링을 수행하여 업 샘플링된 기본 계층 스트림을 출력한다.
그리고 스테레오스코픽 부호 처리부(440)는 업 샘플링된 기본 계층 스트림과 향상 계층 스트림으로 3D 영상의 스테레오스코픽스 스트림을 출력한다.
그리고 전송 처리부(450)는 디코딩 시 기본 계층 스트림 및 향상 계층 스트림에 대한 정보를 기술하는 MPD(Media Presentation Description) 시그널링을 수행하여 MPD 정보를 생성한다.
도 4는 도 2에 도시된 전송 처리부(450)의 MPD 시그널링 예시도로서, 도 3을 참조하면, MPD 정보는 타일링 정보, 스테레오스코픽 쌍 정보, 및 기본 계층과 향상 계층 간의 의존도 정보를 포함한다.
즉, 타일링 정보는 촬영된 좌안 영상과 우안 영상의 타일 간의 시점 및 위치를 나타내는 SRD(Spatial Relationship Description)를 포함하고, 각 타일의 SRD는 독립적으로 부호화 및 복호화가 가능한 컴퍼넌트이고, 적응셋트(AdaptationSet)로 표현된다. 예를 들어, SRD는 각각의 적응셋트 내에 SupplementalProperty를 사용하여 schemedUri와 value로 지정된다. 이에 디코딩 과정에서 해당 적응셋트 내의 컴포넌트의 schemedUri와 value에 의해, 타일인 지, 타일인 경우 해당 타일의 위치 및 시점이 식별된다.
예를 들어, SRD를 위한 schemedUri는 "urn:m.peg:dash:srd:2014"이고, value가 "source_id, object_x, object_width, object_hight, total_width, total_high, spatial_set_id"로 표현되고, 이에 해당 타일 아이디, 좌측 상단의 수평 및 수직 위치, 해당 타일의 넓이 및 높이, 원 영상의 넓이 및 높이, 그리고 그룹화된 타일의 아이디의 확인이 가능하다. 즉, 8K 원영상을 고려하여 16개의 타일로 타일링된 경우 한 개 당 타일의 해상도는 1920X1080이 된다. 따라서 19번째 줄과 같이 좌측 영상의 첫번째 타일의 SupplementalProperty 의 value는 (2, 0, 0, 1920, 1080, 7680, 4320)이 된다. 두번째 타일의 SupplementalProperty 의 value는 (2, 1920, 0, 1920, 1080, 7680, 4320)이 된다.
한편, 스테레오스코픽 UHD 360도 VR 방송 서비스를 위해, MPD 정보는 좌안 및 우안 영상에 대한 스테레오스코픽 쌍 아이디가 포함된다. 즉, 좌안 영상(타일) 및 우안 영상(타일) 간의 스테레오스코픽 쌍 아이디은 MPD 정보의 적응셋트 데이터는 EssentialProperty로 표현된다. 이때 EssentialProperty value는 스테레오스코픽 쌍을 이루는 우안 영상 내의 적용셋트 아이디와 동일하여야 한다.
한편, MPD 정보는 하이브리드 망 기반으로 전송하기 위해 기본계층과 향상계층 사이의 의존도 정보가 더 포함된다. 예를 들어 향상 계층 스트림의 디코딩 시 향상 계층 스트림이 기본 계층 스트림 중 어떤 기본 계층 스트림에 의존하는 지를 나타내는 의존도 아이디는 적응셋트의 Representation 로 나타낸다.
즉, 디코딩될 때 의존도 아이디는 해당 Representation가 어떤 Representation에 의존되어야 하는 지에 대해 결정하기 위한 신호이므로 향상 계층의 의존도 아이디는 해당 기본 계층 스트림의 Representation value와 일치되어야 한다.
이러한 기본 계층 스트림, 향상 계층 스트림, 스테레오스코픽 스트림, 및 MPD 정보를 수신한 방송 서버(500)는 ATSC 3.0 방송 플랫폼(ROUTE) 및 인터넷 플랫폼(DASH)에 따라 기본 계층 스트림, 향상 계층 스트림, 스테레오스코픽 스트림, 및 MPD 정보를 표준화 및 다중화하여 전송하고, 이에 UHD 360도 VR 방송 서비스, HD 360도 VR 방송 서비스, 및 스테레오스코픽 UHD 360도 VR 방송 서비스 등의 실감 미디어가 시청자에게 제공된다.
예를 들어 본 발명의 실시 예에서 방송망에 적용되는 기본 계층 스트림, 향상 계층 스트림, 및 스테레오스코픽 스트림은 ROTUE에 의해 다중화될 수 있다. 이러한 방송망 전송 스트림 다중화 규격은 ATSC 3.0에서 표준화된 ROUTE에 따르고, 인터넷 망으로 전송되는 전송 스트림은 DASH(Dynamic Adaptive Streaming over HTTP) 규격을 따른다.
이를 위해 방송 서버(500)는 기본 계층 스트림 및 향상 계층 스트림을 ROUTE/DASH로 다중화하여 전송 스트림을 생성하며 상기 전송 스트림은 UHD 360도 VR 방송 서비스 및 HD 360도 VR 방송 서비스, 및 스테레오스코픽 360도 VR 방송 서비스를 제공하기 위한 각각의 채널 또는 PLP로 전송된다. 이에 시청자는 이동 단말로 저화질의 HD 360도 VR 방송 서비스를 제공받을 수 있고 고정된 단말로 고화질의 UHD 360도 VR 방송 서비스를 제공받을 수 있으며, 3D 단말로 스테레오스코픽 UHD 360도 VR 방송 서비스를 제공받을 수 있다.
즉, 방송망을 통하여 스테레오스코픽 스트림 및 MPD 정보가 추가 전송됨에 따라, 시청자는 UHD 방송 서비스뿐만 아니라 다양한 스마트 모바일 기기에서 실감 미디어 및 3D 영상 서비스를 제공받을 수 있게 된다.
이에 본 발명은 360도 카메라를 통해 촬영된 고해상도의 좌안 영상 및 우안 영상으로부터 도출된 기본 계층 스트림, 향상 계층 스트림, 및 스테레오스코픽 스트림을 ATSC 3.0 프로토콜 기반으로 표준화 및 다중화를 위해 MPD 시그널링을 수행함에 따라 HD, UHD급 해상도의 360도 VR 방성 서비스와 스테레오스코픽 3차원 360도 VR 등 실감 미디어를 제공할 수 있다.
또한, 본 발명은 하나의 인코더를 이용하여 기본 계층 스트림, 향상 계층 스트림, 및 스테레오스코픽 스트림을 도출함에 따라 시스템의 복잡도를 줄일 수 있고, 압축 효율을 향상시킬 수 있다.
이상에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

  1. 360 카메라를 이용하여 고해상도의 좌안 영상 및 우안 영상 각각을 획득하는 영상 획득부;
    상기 획득된 좌안 영상 및 우안 영상 각각에 대한 소정 크기로 타일링을 수행하는 전 처리부;
    상기 타일링된 우안 영상에 대해 소정의 해상도로 다운 샘플링을 수행하는 다운 샘플링부;
    상기 다운샘플링된 우안 영상 및 상기 타일링된 좌안 영상 각각에 대해 인코딩을 수행하여 기본 계층 스트림 및 향상 계층 스트림을 출력하고, 상기 기본 계층 스트림을 고 해상도로 업 샘플링을 수행하며, 업 샘플링된 기본 계층 스트림, 기본 계층 스트림, 및 향상 계층 스트림 각각을 출력하는 인코더; 및
    상기 업 샘플링된 기본 계층 스트림, 상기 기본 계층 스트림, 및 상기 향상 계층 스트림 중 적어도 하나를 방송망 표준 규격에 따라 표준화 및 다중화하여 전송하는 방송 서버를 포함하되,
    상기 인코더는 상기 업 샘플링된 기본 계층 스트림과 상기 향상 계층 스트림으로 스테레오스코픽스 스트림을 출력하고,
    상기 방송 서버는 상기 인코더의 스트레오스코픽스 스트림에 의거 하이브리드 망 기반의 스테레오스코픽스 3차원 360도 가상 현실 서비스를 제공함에 따라, 상기 하나의 인코더를 이용하여 UHD 360도 VR 방송 서비스와, HD 360도 VR 방송 서비스와, 스테레오스코픽 UHD 360도 VR 방송 서비스 제공하는 것을 특징으로 하는 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템.
  2. 제1항에 있어서, 상기 인코더는,
    상기 타일링된 우안 영상에 대해 다운 샘플링된 우안 영상 데이터에 대한 인코딩을 수행하여 기본 계층 스트림을 출력하는 기본 계층 스트림 부호 처리부;
    상기 타일링된 좌안 영상 데이터에 대해 상기 기본 계층 스트림을 기반으로 향상 계층 스트림을 출력하는 향상 계층 스트림 부호 처리부;
    상기 기본 계층 스트림에 대해 소정 해상도로 업 샘플링을 수행하는 업 샘플링부;
    상기 업 샘플링된 기본 계층 스트림과 향상 계층 스트림을 인코딩하여 스테레오스코픽 스트림을 출력하는 스테레오스코픽 스트림 부호 처리부; 및
    상기 기본 계층 스트림 및 향상 계층 스트림에 대한 MPD(Media Presentation Description) 정보를 생성하여 상기 방송 서버로 전달하는 전송 처리부를 포함하는 것을 특징으로 하는 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템.
  3. 제2항에 있어서, 상기 MPD는
    SRD(Spatial Relationship Description)로 구비되고 촬영된 좌안 영상과 우안 영상 타일 간의 시점 및 위치를 설명하는 타일링 정보;
    좌안 영상과 우안 영상에 대해 부여된 스테레오스코픽 쌍 아이디를 설명하는 스테레오스코픽 쌍 정보; 및
    상기 향상 계층 스트림 각각에 대해 의존하는 기본 계층 스트림 아이디를 설명하는 의존도 정보를 포함하는 것을 특징으로 하는 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템
  4. 제3항에 있어서, 상기 SRD는
    독립적으로 인코딩 및 디코딩을 수행하는 컴퍼넌트인 것을 특징으로 하는 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템.
  5. 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템에 있어서,
    타일링된 우안 영상에 대해 다운 스트림된 우안 영상 데이터에 대한 인코딩을 수행하여 기본 계층 스트림을 출력하는 기본 계층 스트림 부호 처리부;
    타일링된 좌안 영상 데이터에 대해 향상 계층 스트림을 출력하는 향상 계층 스트림 부호 처리부;
    상기 기본 계층 스트림에 대해 소정 해상도로 업 샘플링을 수행하는 업 샘플링부;
    상기 업 샘플링된 기본 계층 스트림과 상기 향상 계층 스트림을 토대로 스테레오스코픽 스트림을 출력하는 스테레오스코픽 스트림 부호 처리부; 및
    상기 스테레오스코픽 스트림을 디코딩하기 위해 상기 기본 계층 스트림 및 향상 계층 스트림에 대한 정보를 기술하는 타일링 정보, 스테레오스코픽 쌍 정보, 및 기본 계층과 향상 계층 간의 의존도 정보를 포함하는 MPD(Media Presentation Description) 정보를 생성하여 방송 서버로 전달하는 전송 처리부를 포함하는 것을 특징으로 하는 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템의 인코더.
KR1020180050121A 2018-04-30 2018-04-30 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템 KR102030630B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180050121A KR102030630B1 (ko) 2018-04-30 2018-04-30 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템
US16/199,435 US10965968B2 (en) 2018-04-30 2018-11-26 System for providing stereoscopic 3D 360 virtual reality service based on hybrid network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180050121A KR102030630B1 (ko) 2018-04-30 2018-04-30 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템

Publications (1)

Publication Number Publication Date
KR102030630B1 true KR102030630B1 (ko) 2019-11-08

Family

ID=68293060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180050121A KR102030630B1 (ko) 2018-04-30 2018-04-30 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템

Country Status (2)

Country Link
US (1) US10965968B2 (ko)
KR (1) KR102030630B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160098974A (ko) * 2015-02-11 2016-08-19 한국전자통신연구원 3dtv 방송 송수신 장치
KR101713492B1 (ko) * 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
KR20170130883A (ko) * 2016-05-19 2017-11-29 한국전자통신연구원 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012044487A1 (en) * 2010-10-01 2012-04-05 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
CN103814572B (zh) * 2011-09-16 2017-02-22 杜比实验室特许公司 帧兼容的全分辨率立体3d压缩和解压缩
JP5735181B2 (ja) * 2011-09-29 2015-06-17 ドルビー ラボラトリーズ ライセンシング コーポレイション デュアルレイヤフレームコンパチブルフル解像度立体３ｄビデオ配信
WO2014072571A1 (en) * 2012-10-01 2014-05-15 Nokia Corporation Method and apparatus for scalable video coding
KR101915156B1 (ko) * 2013-04-05 2018-11-06 브이아이디 스케일, 인크. 다수의 레이어 비디오 코딩을 위한 레이어간 참조 화상 강화
US9648333B2 (en) * 2013-10-11 2017-05-09 Vid Scale, Inc. High level syntax for HEVC extensions
US10609356B1 (en) * 2017-01-23 2020-03-31 Amazon Technologies, Inc. Using a temporal enhancement layer to encode and decode stereoscopic video content
CN110832866A (zh) * 2017-06-30 2020-02-21 夏普株式会社 用于在虚拟现实应用程序中发送信号通知与组成图片相关联的信息的系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160098974A (ko) * 2015-02-11 2016-08-19 한국전자통신연구원 3dtv 방송 송수신 장치
KR20170130883A (ko) * 2016-05-19 2017-11-29 한국전자통신연구원 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
KR101713492B1 (ko) * 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치

Also Published As

Publication number Publication date
US10965968B2 (en) 2021-03-30
US20190335215A1 (en) 2019-10-31

Similar Documents

Publication Publication Date Title
TWI712313B (zh) 感興趣區之發信號之系統及方法
JP6721631B2 (ja) ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
US9741091B2 (en) All-around moving image distribution system, all-around moving image distribution method, image processing apparatus, communication terminal apparatus, and control methods and control programs of image processing apparatus and communication terminal apparatus
EP3782368A1 (en) Processing video patches for three-dimensional content
CN110149542B (zh) 传输控制方法
KR20190014501A (ko) 이미지에서 가장 관심있는 영역의 진보된 시그널링
US10313728B2 (en) Information processing apparatus and information processing method
KR20170005366A (ko) 고 해상도 영상에서의 영상 추출 장치 및 방법
CN110915221B (zh) 发送装置、发送方法、接收装置、以及接收方法
KR101861929B1 (ko) 관심 영역을 고려한 가상 현실 서비스 제공
WO2019139099A1 (ja) 送信装置、送信方法、受信装置および受信方法
CN111869223A (zh) 沉浸式媒体的视场角度量
WO2017138470A1 (ja) 送信装置、送信方法、受信装置および受信方法
CN110999308A (zh) 发送装置、发送方法、接收装置和接收方法
KR20200020913A (ko) 미디어 정보를 처리하는 방법 및 장치
Laghari et al. The state of art and review on video streaming
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
KR102030630B1 (ko) 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템
JP2023518337A (ja) ボリュメトリック視覚的メディアプロセス方法および装置
KR102158007B1 (ko) 하이브리드망 기반의 영상 전송 시스템 및 방법
US20190313151A1 (en) Streaming-technology based video data processing method and apparatus
KR101979432B1 (ko) 360도 vr 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 장치 및 방법
WO2022269125A2 (en) An apparatus, a method and a computer program for video coding and decoding
US20180262790A1 (en) Systems and methods for adaptive streaming using jpeg 2000

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant