KR20200078818A - 하이브리드망 기반의 영상 전송 시스템 및 방법 - Google Patents

하이브리드망 기반의 영상 전송 시스템 및 방법 Download PDF

Info

Publication number
KR20200078818A
KR20200078818A KR1020180168045A KR20180168045A KR20200078818A KR 20200078818 A KR20200078818 A KR 20200078818A KR 1020180168045 A KR1020180168045 A KR 1020180168045A KR 20180168045 A KR20180168045 A KR 20180168045A KR 20200078818 A KR20200078818 A KR 20200078818A
Authority
KR
South Korea
Prior art keywords
layer stream
resolution
base layer
eye image
unit
Prior art date
Application number
KR1020180168045A
Other languages
English (en)
Other versions
KR102158007B1 (ko
Inventor
김동호
서봉석
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020180168045A priority Critical patent/KR102158007B1/ko
Priority to PCT/KR2018/016726 priority patent/WO2020138536A1/ko
Publication of KR20200078818A publication Critical patent/KR20200078818A/ko
Application granted granted Critical
Publication of KR102158007B1 publication Critical patent/KR102158007B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 하이브리드망 기반의 스테레오 영상 전송 시스템 및 방법에 관한 것이다. 본 발명의 구체적인 예에 따르면, 360도 카메라를 통해 촬영된 고해상도의 좌안 영상 및 우안 영상으로부터 도출된 기본 계층 스트림, 향상 계층 스트림, 및 업 샘플링된 기본 계층 스트림에 대한 MPD 구조로 시그널링을 수행함에 따라 모노 HD급 해상도의 360 VR, 모노 UHD급 해상도의 360도 VR, 및 스테레오 UHD급 해상도의 360도 VR 등 실감 미디어를 제공할 수 있고, 하나의 인코더를 이용하여 기본 계층 스트림, 향상 계층 스트림, 및 업 샘플링된 기본 계층 스트림을 도출함에 따라 시스템의 복잡도를 줄일 수 있고, 압축 효율을 향상시킬 수 있다.

Description

하이브리드망 기반의 영상 전송 시스템 및 방법{SYSTEM AND METHOD FOR TRANSMISSING IMAGES BASED ON HYBRID NETWORK}
본 발명은 하이브리드망 기반의 영상 전송 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 하나의 인코더/디코더를 사용하여 ATSC 3.0 기반 ROUTE /DASH 의 프로토콜 기반의 모노 HD급 해상도의 360 VR(Virtual Reality), 모노 UHD급 해상도의 360도 VR, 및 스테레오 UHD급 해상도의 360도 VR 영상 서비스를 제공할 수 있는 기술에 관한 것이다.
최근 IP기반의 요구사항이 증가하면서 세계 최초로 IP기반의 방송시스템인 ATSC 3.0의 표준화가 완료되었다. ATSC 3.0의 궁극적인 목적 중 하나는 기존의 고정된 TV와 사용자의 모바일 기기들과 호환성을 중시하였으며 하나의 전송 방식으로 두 분류의 사용자에게 모두 서비스를 가능하게 하는 것이다.
ATSC 3.0이 사용하는 전송방식은 크게 두 분류로 나뉘는데 MMPT(MPEG Media Transport Protocol)와 ROUTE(Real-Time Object delivery over Unidirectional Transport)이다. 지난해 ROUTE방식을 사용하여 ATSC 3.0 방송 시스템 실험방송을 성공하였다.
최근에는 가상현실 기기들이 보급화 되면서 360도 VR(Virtual Reality)영상과 같은 실감 미디어에 대한 요구사항도 증가하고 있다. 현재 이러한 콘텐츠들은 동영상 공유사이트 중심으로 사용자들에게 서비스가 제공되고 있으며 교육, 네비게이션, 게임 등과 같은 분야에서도 다양하게 사용되고 있다. 이러한 360도 VR영상들은 향후 방송산업에도 크게 영향을 미칠 것으로 많은 학자들이 예상하고 있고, 기존의 방송 패러다임(Paradigm)을 완전히 바꿀 것으로 기대하고 있다.
하지만 최근 완료된 ATSC 3.0 방송 프로토콜을 기반으로 고해상도 스테레오스코픽 360도 VR 영상 전송을 고려하고 있지 않고 있다.
본 발명은 하나의 인코더 및 디코더의 MPD 구조를 이용하여 복잡도를 줄일 수 있고, 압축 효율을 극대화할 수 있는 하이브리드망 기반의 영상 전송 시스템 및 방법을 제공하고자 한다.
또한 본 발명은 시청자에게 실감나는 360도 카메라를 통해 촬영된 고해상도의 좌안 영상 및 우안 영상으로부터 도출된 기본 계층 스트림, 향상 계층 스트림, 및 업 샘플링된 기본 계층 스트림에 대한 MPD 구조로 시그널링을 수행함에 따라 모노 HD급 해상도의 360 VR, 모노 UHD급 해상도의 360도 VR, 및 스테레오 UHD급 해상도의 360도 VR 등 실감 미디어 서비스를 제공할 수 있는 하이브리드망 기반의 영상 전송 시스템 및 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시 예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이에 본 발명의 실시 태양에 의한 하이브리드망 기반의 영상 전송 시스템은
360 카메라를 이용하여 고해상도의 좌안 영상 및 우안 영상 각각을 획득하는 영상 획득부; 상기 획득된 좌안 영상 및 우안 영상 각각에 대한 소정 크기로 타일링을 수행하는 전 처리부; 상기 타일링된 좌안 영상과 우안 영상 각각에 대해 기 정해진 다수의 단위 해상도로 각각 다운 샘플링을 수행하는 다수의 다운 샘플링부; 상기 각 단위 해상도의 다운 샘플링된 좌안 영상 및 우안 영상 각각에 대해 인코딩을 수행하여 기본 계층 스트림 및 향상 계층 스트림을 출력하는 인코더; 및 상기 기본 계층 스트림을 고 해상도로 업 샘플링을 수행하여 상기 기본 계층 스트림 및 상기 향상 계층 스트림과 상기 업 샘플링된 기본 계층 스트림을 출력하는 업 샘플링부; 및 상기 기본 계층 스트림 및 상기 향상 계층 스트림과 상기 업 샘플링된 기본 계층 스트림 중 적어도 하나를 방송망 또는 인터넷 표준 규격에 따라 표준화 및 다중화한 다음 전송하는 브로드 캐스팅부를 포함하는 것을 일 특징으로 한다.
바람직하게 상기 다수의 다운 샘플링부는, 기 정해진 원본 해상도 중 임의의 해상도를 기준 해상도로 설정한 다음 타일링된 우안 영상에 대해 상기 설정된 기준 해상도 미만의 단위 해상도로 다운 샘플링을 순차 수행하고, 상기 기준 해상도 초과의 단위 해상도로 타일링된 좌안 영상에 대해 다운 샘플링을 순차 수행하도록 구비될 수 있다.
상기 인코더는 각 단위 해상도의 다운 샘플링된 우안 영상에 대해 인코딩을 수행하여 각 단위 해상도의 기본 계층 스트림을 출력하고, 각 단위 해상도의 다운 샘플링된 좌안 영상에 대해 상기 기본 계층 스트림을 기반으로 각 단위 해상도의 향상 계층 스트림을 출력하도록 구비될 수 있다.
바람직하게 상기 브로드 캐스팅부는 상기 기본 계층 스트림 및 향상 계층 스트림에 대한 MPD(Media Presentation Description) 정보를 생성한 다음 상기 MPD 정보와 기본 계층 스트림 및 향상 계층 스트림, 및 업 샘플링된 기본 계층스트림 중 적어도 하나를 전파하도록 구비될 수 있다.
바람직하게 상기 MPD는 SRD(Spatial Relationship Description)로 구비되고 촬영된 좌안 영상과 우안 영상 타일 간의 시점 및 위치를 설명하는 타일링 정보; 및 각 단위 해상도의 기본 계층 스트림을 기반으로 생성된 각 단위 해상도 별 다수의 향상 계층 스트림 각각에 대해 의존하는 각 단위 해상도의 기본 계층 스트림 아이디를 설명하는 의존도 정보를 포함할 수 있다.
본 발명의 다른 실시 양태에 의거 하이브리드망 기반의 영상 전송 방법은 360 카메라를 이용하여 고해상도의 좌안 영상 및 우안 영상 각각을 획득하는 영상 획득단계; 상기 획득된 좌안 영상 및 우안 영상 각각에 대해 소정 크기로 타일링을 수행하는 전 처리단계; 상기 타일링된 좌안 영상과 우안 영상에 대해 기 정해진 다수의 단위 해상도로 각각 다운 샘플링을 수행하는 다수의 다운 샘플링단계; 상기 다운 샘플링된 좌안 영상 및 우안 영상 각각에 대해 인코딩을 수행하여 기본 계층 스트림 및 향상 계층 스트림을 출력하는 인코더; 및 상기 기본 계층 스트림을 고 해상도로 업 샘플링을 수행하여 상기 기본 계층 스트림 및 상기 향상 계층 스트림과 상기 업 샘플링된 기본 계층 스트림을 출력하는 업 샘플링단계; 및 상기 기본 계층 스트림 및 상기 향상 계층 스트림과 상기 업 샘플링된 기본 계층 스트림중 적어도 하나를 방송망 또는 인터넷망 표준 규격에 따라 표준화 및 다중화한 다음 전송하는 브로드 캐스팅 단계를 포함하는 것을 다른 특징으로 한다.
바람직하게 상기 다수의 다운 샘플링단계는 기 정해진 원본 해상도 중 임의의 해상도를 기준 해상도로 설정하는 단계; 상기 타일링된 우안 영상에 대해 상기 설정된 기준 해상도 미만의 단위 해상도로 다운 샘플링을 순차 수행하는 단계; 및 상기 기준 해상도 초과의 단위 해상도로 타일링된 좌안 영상에 대해 다운 샘플링을 순차 수행하는 단계를 포함할 수 있다.
본 발명에 의하면 360도 카메라를 통해 촬영된 고해상도의 좌안 영상 및 우안 영상으로부터 도출된 기본 계층 스트림, 향상 계층 스트림, 및 업 샘플링된 기본 계층 스트림에 대한 MPD 구조로 시그널링을 수행함에 따라 모노 HD급 해상도의 360 VR, 모노 UHD급 해상도의 360도 VR, 및 스테레오 UHD급 해상도의 360도 VR 등 실감 미디어를 제공할 수 있다.
본 발명에 따르면, 하나의 인코더를 이용하여 기본 계층 스트림, 향상 계층 스트림, 및 업 샘플링된 기본 계층 스트림을 도출함에 따라 시스템의 복잡도를 줄일 수 있고, 압축 효율을 향상시킬 수 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 본 실시예의 하이브리드 망의 영상 전송 시스템의 구성도이다.
도 2는 본 실시 예의 시스템의 다운 샘플링부의 세부 구성도이다.
도 3 및 도 4는 본 실시 예의 시스템의 MPD 구조 예시도들이다.
도 5는 본 다른 실시 예의 영상 전송과정을 보인 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명의 실시 예에서 방송망에 적용되는 전송 스트림은 ROTUE(Real-time Object Delivery over Unidirectional Transport) 또는 MMTP(MPEG Media Transport Protocol)가 될 수 있다. ROUTE 및 MMTP는 현재 ATSC 3.0에서 표준화 진행 중인 방송망 전송 스트림 다중화 규격을 나타낸다. 또한, 인터넷 망으로 전송되는 전송 스트림은 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 규격을 따른다.
본 발명은 360도 카메라를 통해 촬영된 고해상도의 좌안 영상 및 우안 영상을 서비스 요구 모드에 따라 타일링하고, 기 정해진 기준 해상도 미만의 단위 해상도 마다 타일링된 우안 영상에 대해 다운 샘플링을 수행하여 기본 계층 스트림으로 인코딩하며, 기 정해진 기준 해상도 이상의 단위 해상도마다 상기 타일링된 좌안 영상에 대해 다운 샘플링을 수행한 다음 상기 기본 계층 스트림을 토대로 인코딩하여 향상 계층 스트림을 출력한 다음 기본 계층 스트림에 대해 업 샘플링을 수행하여 기본 계층 스트림, 향상 계층 스트림, 및 업 샘플링된 기본 계층 스트림에 의거 HD 360 VR, 모노 UHD급 해상도의 360도 VR, 및 스테레오스코픽 UHD급 해상도의 360도 VR 등 실감 미디어를 사용자에게 제공한다.
여기서, 하이브리드 망은 방송망 및/또는 인터넷 망으로 비디오 스트림을 전송하는 네트워크이다.
도 1은 본 발명의 실시 예에 따른 하이브리드망 기반의 영상 전송 시스템의 구성도이고, 도 2는 도 1에 도시된 다운 샘플링부(300)의 세부 구성도로서, 도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 시스템(S)은 영상 획득부(100), 전처리부(200), 다운 샘플링부(300), 인코더(400), 업 샘플링부(500), 및 브로드 캐스팅부(600)를 포함한다.
영상 획득부(100)는 소정 해상도(예를 들어, 8K 해상도)를 지원하는 두 개의 카메라를 통하여 촬영된 각각의 좌안 영상 및 우안 영상을 각각 출력한다. 각각의 카메라에서 찍힌 영상이 그대로 UHD(Ultra High Definition) 영상 또는 HD 영상으로 사용되거나, 일부 영역의 영상이 360도 VR에서 스테레오스코픽 UHD 영상으로 적용될 수 있다.
이에 전 처리부(200)는 획득된 좌안 영상 및 우안 영상 각각을 서비스 요구 사항에 따라 타일링을 수행하고 타일링된 좌안 영상 및 우안 영상은 다운 샘플링부(300)로 전달한다. 여기서, 좌안 영상 및 우안 영상에 대해 타일은 동일한 크기와 동일한 수이다.
다운 샘플링부(300)는 다수의 다운 심플링 모듈(311 내지 318)로 구비되고 기 정해진 원본 해상도(8K 해상도) 중 임의의 해상도(바람직하게 중간 4K 해상도로 설정됨)를 기준 해상도로 설정한 다음 타일링된 우안 영상에 대해 상기 설정된 기준 해상도 미만의 단위 해상도(1K 내지 3K) 각각으로 다운 샘플링을 순차 수행하고, 다음 기준 해상도 이상의 단위 해상도(4K 내지 8K)로 타일링된 좌안 영상에 대해 다운 샘플링을 순차 수행한다.
여기서, 단위 해상도는 임의로 정해진 1K 단위의 해상도로서, 우안 영상의 경우 1K, 2K, 3K 로 각각 다운 샘플링이 수행되고, 좌안 영상의 경우 4K, 5K, 6K. 7K, 8K로 각각 다운 샘플링이 수행된다. 여기서 단위 해상도는 1K 단위로 한정하여 설명하고 있으나, 시스템의 사양에 따라 변경 가능하고 이는 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 각 샘플링된 좌안 및 우안 영상은 인코더(400)로 전달된다.
인코더(400)는 각 단위 해상도의 다운 샘플링된 좌안 영상을 인코딩하여 스트림 형태로 출력한다. 여기서, 상기 인코더(400)는 SHVC(Scalable High efficiency Video Codec)으로 구비된다.
즉, 인코더(400)는 각 단위 해상도의 다운 샘플링된 좌안 영상을 인코딩하여 각 단위 해상도의 기본 계층 스트림을 출력하고 각 단위 해상도의 다운 샘플링된 우안 영상을 각 단위 해상도의 기반 계층 스트림을 토대로 각 단위 해상도의 향상 계층 스트림을 출력한다. 이에 하나 단위 해상도의 기본 계층 스트림에 다수의 단위 해상도의 향상 계층 스트림이 출력된다.
그리고 기본 계층 스트림은 우안 영상의 전송 스트림이고, 향상 계층 스트림은 사용자 선택 또는 주시 화면(View of Interest, VoI)에 대해 고해상도(예를 들어 8K 해상도) 화질을 제공하기 위한 좌안 영상의 전송 스트림이다.
인코더(400)의 기본 계층 스트림은 업 샘플링부(500)로 전달된다.
업 샘플링부(500)는 인코더(400)의 기본 계층 스트림을 고 해상도로 업 샘플링을 수행한 다음 업 샘플링된 기본 계층 스트림을 브로드 캐스팅부(600)로 전달된다. 이에 브로드 캐스팅부(600)는 각 단위 해상도의 기본 계층 스트림과 각 기본 계층 스트림 기반의 각 단위 해상도의 향상 계층 스트림, 및 업 샘플링된 각 단위 해상도의 기본 계층 스트림을 제공받는다.
브로드 캐스팅부(600)는 브로드 캐스팅된 스트림을 디코딩할 때 타일링 정보 및 기본 계층 스트림 및 향상 계층 스트림과 업 샘플링된 기본 계층 스트림에 대한 정보를 기술하는 MPD(Media Presentation Description) 시그널링을 수행하여 MPD 정보를 생성한다.
도 3 및 도 4은 MPD 정보의 구조를 보인 예시도로서, 도 3를 참조하면, MPD 정보는 타일링 정보 및 기본 계층과 향상 계층 스트림 간의 의존도 정보를 포함한다.
즉, 타일링 정보는 촬영된 좌안 영상과 우안 영상의 타일 간의 시점 및 위치를 나타내는 SRD(Spatial Relationship Description)를 포함하고, 각 타일의 SRD는 독립적으로 부호화 및 복호화가 가능한 컴포넌트이고, 적응 세트(Adaptation Set)로 표현된다. 예를 들어, SRD는 각각의 적응 세트 내에 Supplemental Property를 사용하여 schemed Uri와 value로 지정된다. 이에 디코딩 과정에서 해당 적응 세트 내의 컴포넌트의 schemed Uri와 value에 의해, 타일인 지, 타일인 경우 해당 타일의 위치 및 시점이 식별된다. 예를 들어 적응 세트는 기본 계층의 Adaptation Set right tile 0, 3K 해상도를 위한 향상 계층의 Adaptation Set left tile 0-1, 2K 해상도를 위한 향상 계층의 Adaptation Set right tile 0-2 등으로 구비되고, 이러한 기본 계층의 Adaptation Set right tile 0의 Supplemental Property는 5Mbps(3K)의 representation 1, 2Mbps(2K)의 representation 2, 1Mbps(1K)의 representation 3, 0.5Mbps(SD)의 representation 4를 포함한다.
예를 들어, SRD를 위한 schemed Uri는 "urn:m.peg:dash:srd:2014"이고, value가 "source_id, object_x, object_width, object_hight, total_width, total_high, spatial_set_id"로 표현되고, 이에 해당 타일 아이디, 좌측 상단의 수평 및 수직 위치, 해당 타일의 넓이 및 높이, 원 영상의 넓이 및 높이, 그리고 그룹화된 타일의 아이디의 확인이 가능하다.
즉, 8K의 원본 해상도를 고려하여 16개의 타일로 타일링된 경우 한 개 당 타일의 해상도는 1920X1080이 된다. 따라서 19번째 줄과 같이 좌측 영상의 첫번째 타일의 Supplemental Property 의 value는 (2, 0, 0, 1920, 1080, 7680, 4320)이 된다. 두번째 타일의 Supplemental Property 의 value는 (2, 1920, 0, 1920, 1080, 7680, 4320)이 된다.
한편, MPD 정보는 도 4를 참조하면, 하이브리드 망 기반으로 전송하기 위해 기본계층과 향상계층 사이의 의존도 정보(Dependancy)가 더 포함된다. 예를 들어 향상 계층 스트림의 디코딩 시 향상 계층 스트림은 각 단위 해상도의 기본 계층 스트림 중 어떤 기본 계층 스트림에 의존하는 지를 나타내는 의존도 아이디는 적응 세트의 Representation 으로 나타낸다.
즉, 도 3 및 도 4에 도시된 바와 같이, 각 단위 해상도의 기본 계층 스트림에 다수개의 향상 계층 스트림을 포함하고 있으므로, 이러한 기본 계층과 향상 계층 간의 관계는 Representation에 명시되어야 하고, 의존도 아이디는 해당 Representation가 어떤 Representation에 의존되어야 하는 지에 대해 결정하기 위한 신호이므로, 향상 계층의 의존도 아이디는 해당 단위 해상도의 기본 계층 스트림의 Representation value와 일치되어야 한다.
이러한 기본 계층 스트림, 향상 계층 스트림, 업 샘플링된 기본 계층 스트림 및 MPD 정보를 수신한 브로드 캐스팅부(600)는 ATSC 3.0 방송 플랫폼(ROUTE) 및 인터넷 플랫폼(DASH)에 따라 기본 계층 스트림, 향상 계층 스트림, 업 샘플링된 기본 계층 스트림 및 MPD 정보를 표준화 및 다중화하여 전송하고, 이에 모노 UHD급 해상도의 360도 VR 방송 서비스, HD급 해상도의 360도 VR 방송 서비스, 및 스테레오스코픽 UHD급 해상도의 360도 VR 방송 서비스 등의 실감 미디어가 시청자에게 제공된다.
예를 들어 본 발명의 실시 예에서 방송망에 적용되는 기본 계층 스트림, 향상 계층 스트림, 및 업 샘플링된 기본 계층 스트림은 ROTUE에 의해 다중화될 수 있다. 이러한 방송망 전송 스트림 다중화 규격은 ATSC 3.0에서 표준화된 ROUTE에 따르고, 인터넷 망으로 전송되는 전송 스트림은 DASH(Dynamic Adaptive Streaming over HTTP) 규격을 따른다.
이를 위해 브로드 캐스팅부(600)는 상기 기본 계층 스트림 및 향상 계층 스트림 및 업 샘플링된 기본 계층 스트림을 ROUTE/DASH로 다중화하여 전송 스트림을 생성하며 상기 전송 스트림은 모노 UHD 360도 VR 방송 서비스 및 HD 360도 VR 방송 서비스, 및 스테레오스코픽 360도 VR 방송 서비스를 제공하기 위한 각각의 채널 또는 PLP로 전송된다. 이에 전송 스트림은 기본 계층 스트림 바다 4K 에서 8K 각각의 단위 해상도의 향상 계층 스트림으로 제작되어 전송된다. 이에 기본 계층 스트림은 모바일이나 저 해상도의 디스플레이를 통해 모노 HD 급 해상도 360 영상으로 재생되고, 기본 계층 스트림 및 향상 계층 스트림은 고 해상도의 디스플레이를 통해 모노 UHD 급 해상도 360 영상으로 재생되며, 기본 계층 스트림과 업 샘플링된 기본 계층 스트림 및 향상 계층 스트림은 대역 상황이 좋고 3D 디스플레이를 통해 스테레오 UHD 급 해상도 360 영상으로 재생된다.
즉, 방송망을 통하여 기본 계층 스트림, 향상 계층 스트림, 및 업 샘플링된 기본 계층 스트림과 MPD 정보가 추가 전송됨에 따라, 시청자는 모노 UHD 급 또는 HD 급 해상도의 360 VR 방송 서비스 및 스테레오 UHD급 해상도 360 VR 방송 서비스를 제공받을 수 있게 된다.
따라서, 본 실시 예에 의거 360도 카메라를 통해 촬영된 고해상도의 좌안 영상 및 우안 영상으로부터 도출된 기본 계층 스트림, 향상 계층 스트림, 및 업 샘플링된 기본 계층 스트림에 대한 MPD 구조로 시그널링을 수행함에 따라 모노 HD급 해상도의 360 VR, 모노 UHD급 해상도의 360도 VR, 및 스테레오 UHD급 해상도의 360도 VR 등 실감 미디어를 제공할 수 있다.
또한, 하나의 인코더를 이용하여 기본 계층 스트림, 향상 계층 스트림, 및 업 샘플링된 기본 계층 스트림을 도출함에 따라 시스템의 복잡도를 줄일 수 있고, 압축 효율을 향상시킬 수 있다.
도 5는 본 발명의 다른 실시 예에 따른 하이브리드망 기반의 영상 전송과정을 보인 전체 흐름도로서, 도 5를 참조하면, 본 발명의 다른 실시 예에 따른 하이브리드망 기반의 영상 전송방법은, 영상 획득단계(10), 전 처리단계(20), 다운 샘플링단계(30), 인코딩 단계(40), 업 샘플링단계(50), 및 브로드 캐스팅단계(60)를 포함할 수 있다.
여기서 영상 획득단계(10)는 360 카메라를 이용하여 고해상도의 좌안 영상 및 우안 영상 각각을 획득하고 획득된 좌안 및 우안 영상 각각은 전 처리부(200)로 전달된다.
그리고 획득된 좌안 및 우안 영상 각각은 기 정해진 소정 크기로 타일링을 수행하고 타일링된 좌안 영상과 우안 영상은 다운 샘플링부(300)로 전달된다.
즉, 다운 샘플링단계(30)는 타일링된 좌안 및 우안 영상 각각을 기 정해진 원본 해상도 8K 해상도 중 중간 해상도(4K)의 임의의 해상도를 기준 해상도로 설정한 다음 상기 타일링된 우안 영상에 대해 상기 설정된 기준 해상도 미만의 각 단위 해상도(1K, 2K, 3K)로 다운 샘플링을 순차 수행한다.
그리고, 다운 샘플링단계(30)는 상기 기준 해상도 초과의 각 단위 해상도(4K, 5K, 6K, 7K, 8K)로 타일링된 좌안 영상에 대해 다운 샘플링을 순차 수행하고, 각 단위 해상도로 다운 샘플링된 우안 영상 및 좌안 영상은 인코더(400)로 전달된다.
각 단위 해상도로 다운 샘플링된 우안 영상 및 좌안 영상 각각은 인코딩 단계(40)에 의해 인코딩을 수행하여 기본 계층 스트림 및 향상 계층 스트림을 출력한다. 즉, 각 단위 해상도로 다운 샘플링된 우안 영상에 대해 각 단위 해상도의 기본 계층 스트림이 출력되고, 각 단위 해상도의 기본 계층 스트림 각각에 대해 각 단위 해상도의 향상 계층 스트림이 출력된다.
그리고 상기 기본 계층 스트림은 업 샘플링단계(50)로 전달되며, 업 샘플링단계(50)는 기본 계층 스트림을 고 해상도로 업 샘플링을 수행하여 상기 기본 계층 스트림 및 상기 향상 계층 스트림과 상기 업 샘플링된 기본 계층 스트림을 출력한다.
이러한 기본 계층 스트림 및 상기 향상 계층 스트림과 상기 업 샘플링된 기본 계층 스트림중 적어도 하나는 브로드 캐스팅단계(60)로 전달되며, 브로드 캐스팅단계(60)는 기본 계층 스트림 및 상기 향상 계층 스트림과 상기 업 샘플링된 기본 계층 스트림중 적어도 하나를 방송망 또는 인터넷망의 표준 규격에 따라 표준화 및 다중화한 다음 전송한다.
이에 본 실시 예에 의거 360도 카메라를 통해 촬영된 고해상도의 좌안 영상 및 우안 영상으로부터 도출된 기본 계층 스트림, 향상 계층 스트림, 및 업 샘플링된 기본 계층 스트림에 대한 MPD 구조로 시그널링을 수행함에 따라 모노 HD급 해상도의 360 VR, 모노 UHD급 해상도의 360도 VR, 및 스테레오 UHD급 해상도의 360도 VR 등 실감 미디어를 제공할 수 있다.
또한, 하나의 인코더를 이용하여 기본 계층 스트림, 향상 계층 스트림, 및 업 샘플링된 기본 계층 스트림을 도출함에 따라 시스템의 복잡도를 줄일 수 있고, 압축 효율을 향상시킬 수 있다.
이상에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

  1. 360 카메라를 이용하여 고해상도의 좌안 영상 및 우안 영상 각각을 획득하는 영상 획득부;
    상기 획득된 좌안 영상 및 우안 영상 각각에 대한 소정 크기로 타일링을 수행하는 전 처리부; 상기 타일링된 좌안 영상과 우안 영상에 대해 다운 샘플링을 수행하는 다수의 다운 샘플링부;
    상기 다운 샘플링된 좌안 영상 및 우안 영상 각각에 대해 인코딩을 수행하여 기본 계층 스트림 및 향상 계층 스트림을 출력하는 인코더;
    상기 기본 계층 스트림을 고 해상도로 업 샘플링을 수행하여 상기 기본 계층 스트림 및 상기 향상 계층 스트림과 상기 업 샘플링된 기본 계층 스트림을 출력하는 업 샘플링부; 및
    상기 기본 계층 스트림 및 상기 향상 계층 스트림과 상기 업 샘플링된 기본 계층 스트림중 적어도 하나를 방송망 표준 규격에 따라 표준화 및 다중화한 다음 전송하는 브로드 캐스팅부를 포함하는 것을 특징으로 하는 하이브리드망 기반의 영상 전송 시스템.
  2. 제1항에 있어서, 상기 다수의 다운 샘플링부는,
    기 정해진 원본 해상도 중 임의의 해상도를 기준 해상도로 설정한 다음 타일링된 우안 영상에 대해 상기 설정된 기준 해상도 미만의 단위 해상도로 다운 샘플링을 순차 수행하고, 상기 기준 해상도 초과의 단위 해상도로 타일링된 좌안 영상에 대해 다운 샘플링을 순차 수행하고,
    상기 인코더는
    각 단위 해상도의 다운 샘플링된 우안 영상에 대해 인코딩을 수행하여 각 단위 해상도의 기본 계층 스트림을 출력하고, 각 단위 해상도의 다운 샘플링된 좌안 영상에 대해 상기 기본 계층 스트림을 기반으로 각 단위 해상도의 향상 계층 스트림을 출력하도록 구비되는 것을 특징으로 하는 하이브리드망 기반의 영상 전송 시스템.
  3. 제2항에 있어서, 상기 브로드 캐스팅부는
    상기 기본 계층 스트림 및 향상 계층 스트림에 대한 MPD(Media Presentation Description) 정보를 생성한 다음 상기 MPD 정보와 기본 계층 스트림 및 향상 계층 스트림, 및 업 샘플링된 기본 계층스트림 중 적어도 하나를 전파하도록 구비되고,
    상기 MPD 정보는
    SRD(Spatial Relationship Description)로 구비되고 촬영된 좌안 영상과 우안 영상 타일 간의 시점 및 위치를 설명하는 타일링 정보; 및 각 단위 해상도의 기본 계층 스트림을 기반으로 생성된 다수의 향상 계층 스트림 각각에 대해 의존하는 각 단위 해상도의 기본 계층 스트림 아이디를 설명하는 의존도 정보를 포함하는 것을 특징으로 하는 하이브리드망 기반의 영상 전송 시스템.
  4. 360 카메라를 이용하여 고해상도의 좌안 영상 및 우안 영상 각각을 획득하는 영상 획득단계;
    상기 획득된 좌안 영상 및 우안 영상 각각에 대한 소정 크기로 타일링을 수행하는 전 처리단계;
    상기 타일링된 좌안 영상과 우안 영상에 대해 다운 샘플링을 수행하는 다수의 다운 샘플링단계;
    상기 다운 샘플링된 좌안 영상 및 우안 영상 각각에 대해 인코딩을 수행하여 기본 계층 스트림 및 향상 계층 스트림을 출력하는 인코딩 단계;
    상기 기본 계층 스트림을 고 해상도로 업 샘플링을 수행하여 상기 기본 계층 스트림 및 상기 향상 계층 스트림과 상기 업 샘플링된 기본 계층 스트림을 출력하는 업 샘플링단계; 및
    상기 기본 계층 스트림 및 상기 향상 계층 스트림과 상기 업 샘플링된 기본 계층 스트림중 적어도 하나를 방송망 표준 규격에 따라 표준화 및 다중화한 다음 전송하는 브로드 캐스팅 단계를 포함하는 것을 특징으로 하는 하이브리드망 기반의 영상 전송 방법.
  5. 제4항에 있어서, 상기 다수의 다운 샘플링단계는
    기 정해진 원본 해상도 중 임의의 해상도를 기준 해상도로 설정하는 단계; 상기 타일링된 우안 영상에 대해 상기 설정된 기준 해상도 미만의 단위 해상도로 다운 샘플링을 순차 수행하는 단계; 및 상기 기준 해상도 초과의 단위 해상도로 타일링된 좌안 영상에 대해 다운 샘플링을 순차 수행하는 단계를 포함하고,
    상기 인코딩 단계는,
    각 단위 해상도의 다운 샘플링된 우안 영상에 대해 인코딩을 수행하여 각 단위 해상도의 기본 계층 스트림을 출력하는 단계; 및 각 단위 해상도의 다운 샘플링된 좌안 영상에 대해 상기 기본 계층 스트림을 기반으로 각 단위 해상도의 향상 계층 스트림을 출력하도록 구비되는 것을 특징으로 하는 하이브리드망 기반의 영상 전송방법.

KR1020180168045A 2018-12-24 2018-12-24 하이브리드망 기반의 영상 전송 시스템 및 방법 KR102158007B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180168045A KR102158007B1 (ko) 2018-12-24 2018-12-24 하이브리드망 기반의 영상 전송 시스템 및 방법
PCT/KR2018/016726 WO2020138536A1 (ko) 2018-12-24 2018-12-27 하이브리드망 기반의 영상 전송 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180168045A KR102158007B1 (ko) 2018-12-24 2018-12-24 하이브리드망 기반의 영상 전송 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200078818A true KR20200078818A (ko) 2020-07-02
KR102158007B1 KR102158007B1 (ko) 2020-09-22

Family

ID=71126521

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180168045A KR102158007B1 (ko) 2018-12-24 2018-12-24 하이브리드망 기반의 영상 전송 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102158007B1 (ko)
WO (1) WO2020138536A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8923403B2 (en) * 2011-09-29 2014-12-30 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3D video delivery
KR20170138994A (ko) * 2015-04-22 2017-12-18 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
KR20180107149A (ko) * 2016-02-17 2018-10-01 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010123855A1 (en) * 2009-04-20 2010-10-28 Dolby Laboratories Licensing Corporation Filter selection for video pre-processing in video applications
US8736680B1 (en) * 2010-05-18 2014-05-27 Enforcement Video, Llc Method and system for split-screen video display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8923403B2 (en) * 2011-09-29 2014-12-30 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3D video delivery
KR20170138994A (ko) * 2015-04-22 2017-12-18 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
KR20180107149A (ko) * 2016-02-17 2018-10-01 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Also Published As

Publication number Publication date
WO2020138536A1 (ko) 2020-07-02
KR102158007B1 (ko) 2020-09-22

Similar Documents

Publication Publication Date Title
TWI712313B (zh) 感興趣區之發信號之系統及方法
JP6721631B2 (ja) ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト
JP6038381B1 (ja) 送信装置、送信方法、受信装置および受信方法
US20200351449A1 (en) Method and device for transmitting/receiving metadata of image in wireless communication system
JP2022518367A (ja) 映像の符号化および復号のための装置、方法、およびコンピュータプログラム
TW201817231A (zh) 產生及處理用於部份解碼及最感興趣之區域的檔案的系統及方法
CN110149542B (zh) 传输控制方法
CN104584562A (zh) 发送设备、发送方法、接收设备和接收方法
Hannuksela et al. An overview of the OMAF standard for 360 video
KR102361314B1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
KR20170005366A (ko) 고 해상도 영상에서의 영상 추출 장치 및 방법
KR20150072231A (ko) 멀티 앵글 뷰 서비스 제공 장치 및 방법
CN110915221B (zh) 发送装置、发送方法、接收装置、以及接收方法
KR20120133006A (ko) Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템
KR20190103102A (ko) Vr 디바이스 및 vr 디바이스 제어 방법
KR101861929B1 (ko) 관심 영역을 고려한 가상 현실 서비스 제공
KR20180109889A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CN111557096A (zh) 发送装置、发送方法、接收装置和接收方法
US11457053B2 (en) Method and system for transmitting video
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
Kim et al. Distributed video transcoding system for 8K 360° VR tiled streaming service
KR102158007B1 (ko) 하이브리드망 기반의 영상 전송 시스템 및 방법
KR102030630B1 (ko) 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템
Fautier VR video ecosystem for live distribution
Kammachi‐Sreedhar et al. Omnidirectional video delivery with decoder instance reduction

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant