KR102035148B1 - 360 vr 영상 분할 전송 시스템 및 방법 - Google Patents

360 vr 영상 분할 전송 시스템 및 방법 Download PDF

Info

Publication number
KR102035148B1
KR102035148B1 KR1020180134705A KR20180134705A KR102035148B1 KR 102035148 B1 KR102035148 B1 KR 102035148B1 KR 1020180134705 A KR1020180134705 A KR 1020180134705A KR 20180134705 A KR20180134705 A KR 20180134705A KR 102035148 B1 KR102035148 B1 KR 102035148B1
Authority
KR
South Korea
Prior art keywords
channel
content
frame
transmission
transmitting
Prior art date
Application number
KR1020180134705A
Other languages
English (en)
Inventor
위정욱
박우출
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180134705A priority Critical patent/KR102035148B1/ko
Priority to PCT/KR2018/014571 priority patent/WO2020096117A1/ko
Application granted granted Critical
Publication of KR102035148B1 publication Critical patent/KR102035148B1/ko
Priority to US16/713,417 priority patent/US11057605B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 360 VR 영상 분할 전송 시스템 및 방법이 개시된다. 본 발명의 360 VR 영상 분할 전송 시스템은 MPEG 트랜스포트 스트림(transport stream, TS) 기반으로 360 VR 영상을 다중으로 채널을 분할하여 전송하기 위한 프레임을 설계하고, 설계된 프레임과 헤더를 결합한 신호를 채널별로 전송하는 송신장치 및 송신장치로부터 전송된 신호를 채널별로 수신하고, 수신된 신호에 포함된 콘텐츠를 동기화 결합하여 출력하는 수신장치를 포함한다.

Description

360 VR 영상 분할 전송 시스템 및 방법{360 VR image division transmission system and method}
본 발명은 영상 전송 기술에 관한 것으로, 더욱 상세하게는 대용량 360 VR 영상을 실시간으로 전송하는 360 VR 영상 분할 전송 시스템 및 방법에 관한 것이다.
최근 통신 기술이 발전하면서, 원격지에서 단말기를 통해 데이터를 주고받는 일이 많아지고 있다. 예컨대 원격지에서 360 VR 영상, UCC(User Created Contents) 등과 같은 콘텐츠를 제작하여 실시간으로 상대방 단말기로 전송하고 있다.
한편 이와 같은 동영상 콘텐츠는 데이터 용량이 매우 크기 때문에 데이터 전송 속도가 높지 않으면 상대방이 동영상 콘텐츠를 이용하는데 다소 불편함을 느끼게 된다. 특히 송신 단말기로부터 실시간 제작된 동영상 콘텐츠가 상대방 단말기로 전송되는 경우, 상대방이 실시간 제작된 동영상 콘텐츠를 쾌적하게 보기 위해서는 높은 데이터 전송 속도가 필수적이다.
하지만 한정된 대역폭을 갖는 방송망에서 높은 데이터 전송 속도를 내기 위해서는 다수개의 채널을 결합하여 전송속도를 높이기 위한 기술에 대한 많은 연구가 필요하다.
한국공개특허공보 제10-2008-0057447호(2008.06.25.)
본 발명이 이루고자 하는 기술적 과제는 최대 200Mbsp 이상의 전송속도로 대용량 360 VR 영상을 방송망을 통해 전송하는 360 VR 영상 분할 전송 시스템 및 방법을 제공하는데 목적이 있다.
상기 목적을 달성하기 위해 본 발명에 따른 360 VR 영상 분할 전송 시스템은 MPEG 트랜스포트 스트림(transport stream, TS) 기반으로 360 VR 영상을 다중으로 채널을 분할하여 전송하기 위한 프레임을 설계하고, 상기 설계된 프레임과 헤더를 결합한 신호를 채널별로 전송하는 송신장치 및 상기 송신장치로부터 전송된 신호를 채널별로 수신하고, 상기 수신된 신호에 포함된 콘텐츠를 동기화 결합하여 출력하는 수신장치를 포함한다.
또한 상기 송신장치는, 상기 프레임의 콘텐츠 비트레이트(Bitrate) 및　송신 비트레이트를 매칭(matching)시키는 것을 특징으로 한다.
또한 상기 송신장치는, 상기 채널을 최대 8채널로 결합하여 최대 200Mbs 이상의 전송속도를 가지는 것을 특징으로 한다.
또한 상기 수신장치는, 상기 채널별로 수신된 신호의 헤더를 이용하여 상기 콘텐츠의 시작 부분을 검출하고, 상기 검출된 시작 부분을 기초로 드랍 앤 스킵(drop and skip)을 이용하여 상기 채널별 신호를 결합하는 것을 특징으로 한다.
또한 상기 프레임은, 상기 360 VR 영상의 콘텐츠 정보를 포함하는 메타 데이터(meta data), 상기 메타 데이터과 연결되고, 저화질 콘텐츠 및 고화질 콘텐츠를 비트레이트에 따라 나누어진 후, 기 설정된 전송 길이를 가지는 슈퍼 프레임(super-frame) 및 상기 슈퍼 프레임과 연결되고, 상기 매칭을 위해 삽입되는 널 패킷(null packet)를 포함하는 것을 특징으로 한다.
또한 상기 헤더는, 4바이트(bytes)의 용량을 가지고 MPEG-TS header, 4바이트의 용량을 가지고, 다중 채널 전송을 구분하기 위한 정보가 포함되는 Packet_ID, 2바이트의 용량을 가지고, 상기 채널별 패킷 수를 나타내는 정보가 포함되는 No_of_Packet, 4바이트의 용량을 가지고, 상기 콘텐츠의 동기화 결합과 관련된 정보가 포함되는 Sync_index 및 2바이트의 용량을 가지고, 상기 채널별 콘텐츠의 길이를 나타내는 정보가 포함되는 Content_length를 포함하는 것을 특징으로 한다.
본 발명에 따른 송신장치 및 수신장치를 포함하는 360 VR 영상 분할 전송 시스템을 이용한 360 VR 영상 분할 전송 방법은 상기 송신장치가 MPEG 트랜스포트 스트림 기반으로 360 VR 영상을 다중으로 채널을 분할하여 전송하기 위한 프레임을 설계하고, 상기 설계된 프레임과 헤더를 결합한 신호를 상기 수신장치로 채널별 전송하는 단계 및 상기 수신장치가 상기 송신장치로부터 전송된 신호를 채널별로 수신하고, 상기 수신된 신호에 포함된 콘텐츠를 동기화 결합하여 출력하는 단계를 포함한다.
또한 상기 송신하는 단계는, 상기 프레임의 콘텐츠 비트레이트 및　송신 비트레이트를 매칭하는 것을 특징으로 한다.
또한 상기 송신하는 단계는, 상기 채널을 최대 8채널로 결합하여 최대 200Mbs 이상의 전송속도를 가지도록 하는 것을 특징으로 한다.
또한 상기 수신하는 단계는, 상기 채널별로 수신된 신호의 헤더를 이용하여 상기 콘텐츠의 시작 부분을 검출하고, 상기 검출된 시작 부분을 기초로 드랍 앤 스킵을 이용하여 상기 채널별 신호를 결합하는 것을 특징으로 한다.
본 발명의 360 VR 영상 분할 전송 시스템 및 방법은 대용량 360 VR 영상을 다중 채널로 분할하여 전송하기 위한 프레임 구조를 설계하고, 설계된 프레임 구조를 이용하여 최대 200Mbsp 이상의 전송속도로 대용량 360 VR 영상을 전송함으로써, 실시간 VR 스트리밍을 할 수 있다.
도 1은 본 발명의 실시예에 따른 360 VR 영상 분할 전송 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 프레임 구조를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 패킷 헤더 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 송신장치를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 송신장치의 소프트웨어 실행 결과를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 수신장치를 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 360 VR 영상 분할 전송 시스템의 멤버 변수를 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 360 VR 영상 분할 전송 시스템의 멤버 함수를 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 360 VR 영상 분할 전송 시스템의 API 함수를 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 360 VR 영상 분할 전송 방법을 설명하기 위한 순서도이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 360 VR 영상 분할 전송 시스템을 설명하기 위한 구성도이고, 도 2는 본 발명의 실시예에 따른 프레임 구조를 설명하기 위한 도면이며, 도 3은 본 발명의 실시예에 따른 패킷 헤더 구조를 설명하기 위한 도면이다.
도 1 내지 도 3을 참조하면, 360 VR 영상 분할 전송 시스템(100)은 최대 200Mbsp 이상의 전송속도로 대용량 360 VR 영상을 전송한다. 이를 통해 360 VR 영상 분할 전송 시스템(100)은 실시간으로 대용량 360 VR 영상을 스트리밍(streaming)할 수 있다. 360 VR 영상 분할 전송 시스템(100)은 송신장치(10) 및 수신장치(30)를 포함한다. 360 VR 영상 분할 전송 시스템(100)은 송신장치(10) 및 수신장치(30)를 연결하는 통신망(50)을 더 포함한다. 통신망(50)은 기존 케이블 방송망일 수 있으나, 이에 한정하지 않고 다양한 종류의 통신망이 적용될 수 있다.
송신장치(10)는 360 VR 영상을 수신장치(30)로 분할 전송하는 장치로써, 스트리밍 서버에 해당되며, 스마트폰, 데스크톱, 랩톱, 태블릿 PC, 핸드헬드 PC, 서버 컴퓨터, 클러스터 컴퓨터 등이 포함될 수 있다.
송신장치(10)는 MPEG 트랜스포트 스트림(transport stream, TS) 기반으로 360 VR 영상을 다중으로 채널을 분할하여 전송하기 위한 프레임을 설계한다. 송신장치(10)는 프레임의 콘텐츠 비트레이트(Bitrate) 및　송신 비트레이트를 매칭(matching)되도록 프레임을 설계할 수 있다. 이를 통해 송신장치(10)는 전송 성능을 높일 수 있다. 여기서 비트레이트는 1초에 해당하는 동영상에 얼마의 비트(bit)수를 포함하는지를 의미하고, 비트레이트가 높을수록 동영상에 더 많은 정보를 가지게 되어 화질이 좋아진다.
프레임은 복수의 콘텐츠를 포함하고, 복수의 콘텐츠는 메타 데이터(meta data), 슈퍼 프레임(super-frame) 및 널 패킷(null packet)이다.
메타 데이터는 프레임의 맨 앞부분에 위치하고, 360 VR 영상의 콘텐츠 정보를 포함한다. 메타 데이터는 콘텐츠 정보의 속성을 나타내는 정보이다. 슈퍼 프레임은 저화질 콘텐츠 및 고화질 콘텐츠로 나누어진다.
슈퍼 프레임은 저화질 콘텐츠(low resolution contents) 및 고화질 콘텐츠(high resolution contents)를 포함한다. 이때 슈퍼 프레임은 비트레이트(bitrate)에 의해 저화질 콘텐츠와 고화질 콘텐츠로 나누어진다. 슈퍼 프레임은 나누어진 후, 기 설정된 전송 길이를 가지게 된다. 이때 각각의 저화질 콘텐츠 및 고화질 콘텐츠는 #0번째 내지 #N번째(N은 자연수)로 분할되고, 각 번호가 동일한 저화질 콘텐츠 및 고화질 콘텐츠끼리 연결되어 하나의 슈퍼 프레임을 이룰 수 있다. 여기서 전송 길이는 전송되는 길이로써 콘텐츠의 품질에 따라 길이가 설정될 수 있다.
널 패킷은 슈퍼 프레임과 연결되고, 수신장치(30)에서 비트레이트의 매칭을 위해 삽입된다. 널 패킷은 360 VR 영상의 콘텐츠 비트레이트 및 송신 비트레이트를 매칭을 위해 삽입된다. 널 패킷은 각 슈퍼 프레임마다 삽입될 수 있다.
송신장치(10)는 설계된 프레임을 다중 채널로 분리한다. 예를 들어 송신장치(10)는 #0번째 프레임 내지 #N번째 프레임마다 3개의 채널(Ch0, Ch1, Ch2)로 분리할 수 있으며, 각 채널을 동일한 크기로 분리될 수 있다. 여기서 #0번째 프레임은 메타 데이터, #0번째 저화질 콘텐츠, #0번째 고화질 콘텐츠 및 널 패킷으로 구성될 수 있고, #0번째 저화질 콘텐츠 및 #0번째 고화질 콘텐츠을 합쳐 #0번째 슈퍼 프레임이라고 할 수 있다. #1번째 프레임은 메타 데이터, #1번째 저화질 콘텐츠, #1번째 고화질 콘텐츠 및 널 패킷으로 구성될 수 있고, #N번째 프레임은 메타 데이터, #N번째 저화질 콘텐츠, #N번째 고화질 콘텐츠 및 널 패킷으로 구성될 수 있다.
송신장치(10)는 각 프레임과 헤더를 결합한 신호를 채널별로 수신장치(30)로 전송한다. 송신장치(10)는 채널별로 분리된 프레임마다 헤더를 결합할 수 있다. 이때 헤더는 프레임의 헤더부분과 연결된다.
헤더는 MPEG-TS header, Packet_ID, No_of_Packet 및 Sync_index, Content_length를 포함한다.
MPEG-TS header는 4바이트(bytes)의 용량을 가진다. MPEG-TS header는 헤더의 0번째부터 31번째까지 할당될 수 있다.
Packet_ID는 4바이트의 용량을 가진다. Packet_ID는 헤더의 0번째부터 31번째까지 할당될 수 있고, 다중 채널 전송을 구분하기 위한 정보가 포함된다.
No_of_Packet은 2바이트의 용량을 가진다. No_of_Packet은 헤더의 0번째부터 15번째까지 할당될 수 있다. No_of_Packet은 채널별 패킷 수를 나타내는 정보가 포함된다.
Sync_index는 4바이트의 용량을 가진다. 이때 Sync_index는 Sync_index_ms 및 Sync_index_ls로 구분할 수 있으며, Sync_index_ms는 16번째부터 31번째까지 할당될 수 있고, Sync_index_ls는 0번째부터 15번째까지 할당될 수 있다. Sync_index는 수신장치(30)에서 수행되는 콘텐츠의 동기화 결합과 관련된 정보가 포함된다.
Content_length는 2바이트의 용량을 가진다. Content_length는 채널별 콘텐츠의 길이를 나타내는 정보가 포함된다. 예를 들어 0채널에 해당하는 콘텐츠는 헤더의 16번째부터 31번째까지 할당되고, 1채널에 해당하는 콘텐츠는 헤더의 0번째부터 15번째까지 할당되며, 2채널에 해당하는 콘텐츠는 헤더의 16번째부터 31번째까지 할당될 수 있다.
수신장치(30)는 분할 전송된 360 VR 영상을 수신하고, 분할된 360 VR 영상을 결합하여 출력하는 장치로써, 전자 장치 또는 단말에 해당되며, 스마트폰, 데스크톱, 랩톱, 태블릿 PC, 핸드헬드 PC 등이 포함될 수 있다.
수신장치(30)는 송신장치(10)로부터 전송된 신호를 채널별로 수신한다. 수신장치(30)는 송신장치(10)과 달리 동기화를 위한 구조를 포함한다. 즉 수신장치(30)는 수신된 신호에 포함된 콘텐츠를 동기화 결합하여 출력한다. 여기서 출력된 신호는 각 콘텐츠가 분리되어 어플리케이션으로 전달된다.
도 4는 본 발명의 실시예에 따른 송신장치를 설명하기 위한 도면이고, 도 5는 본 발명의 실시예에 따른 송신장치의 소프트웨어 실행 결과를 설명하기 위한 도면이며, 도 6은 본 발명의 실시예에 따른 수신장치를 설명하기 위한 도면이고, 도 7은 본 발명의 실시예에 따른 360 VR 영상 분할 전송 시스템의 멤버 변수를 설명하기 위한 도면이며, 도 8은 본 발명의 실시예에 따른 360 VR 영상 분할 전송 시스템의 멤버 함수를 설명하기 위한 도면이고, 도 9는 본 발명의 실시예에 따른 360 VR 영상 분할 전송 시스템의 API 함수를 설명하기 위한 도면이다.
도 1 내지 도 9를 참조하면, 360 VR 영상 분할 전송 시스템(100)은 송신장치(10) 및 수신장치(30)를 소프트웨어로 구현할 수 있다. 즉 송신장치(10) 및 수신장치(30)는 도 7 내지 도 9에 도시된 바와 같이 소스코드(source code)로 나타낼 수 있다. 한편 도 7 내지 도 9에서 구현된 소프트웨어는 C++ Class(CQamTxRx)이나, 이에 한정하지 않고 송신장치(10) 및 수신장치(30)를 구현할 수 있는 모든 소프트웨어가 소프트웨어에 포함될 수 있다.
송신장치(10)는 360 VR 영상을 최대 8채널로 분산 전송한다. 이를 위해 송신장치(10)는 각 채널마다 변조기(modulator)가 구비되어 신호를 변조하고, 각 변조기로부터 출력되는 신호를 멀티플렉서(multiplexer)를 통해 먹싱된 후 수신장치(30)로 전송된다. 이때 송신장치(10)는 통신망(50)을 통해 먹싱된 신호를 전송할 수 있다. 이때 송신장치(10)는 채널을 최대 8채널로 결합함에 따라 최대 200Mbs 이상의 전송속도를 가질 수 있다.
수신장치(30)는 3채널로 분산 전송된 신호를 결합하여 출력한다. 이를 위해 수신장치(30)는 디멀티플렉서(demultiplexer)를 통해 디먹싱하여 채널별로 신호를 병렬 수신한다. 수신장치(30)는 병렬 수신된 신호에 포함된 콘텐츠를 동기화 과정을 수행한 후, 결합한다. 이때 수신장치(30)는 채널별로 수신된 신호의 헤더를 이용하여 콘텐츠의 시작 부분을 검출하고, 검출된 시작 부분을 각 채널 버퍼에 저장한다. 또한 수신장치(30)는 검출된 시작 부분을 기초로 드랍 앤 스킵(drop and skip)을 이용하여 채널별 신호를 결합한다. 즉 수신장치(30)는 헤더의 sync_indexff 이용하여 채널별로 수신된 신호를 드랍 앤 스킵으로 결합하여 출력시킬 수 있다. 수신장치(30)는 출력되는 신호에서 각 콘텐츠를 분리하여 어플리케이션에 전달한다. 여기서 분리되는 각 콘텐츠는 메타 데이터, 저화질 콘텐츠 및 고화질 콘텐츠일 수 있다.
도 10은 본 발명의 실시예에 따른 360 VR 영상 분할 전송 방법을 설명하기 위한 순서도이다.
도 1 및 도 10을 참조하면, 360 VR 영상 분할 전송 방법은 대용량 360 VR 영상을 다중 채널로 분할하여 전송하기 위한 프레임 구조를 설계하고, 설계된 프레임 구조를 이용하여 최대 200Mbsp 이상의 전송속도로 대용량 360 VR 영상을 전송한다. 이를 통해 360 VR 영상 분할 전송 방법은 실시간 VR 스트리밍을 할 수 있다.
S10단계에서, 송신장치(10)는 MPEG 트랜스포트 스트림 기반으로 360 VR 영상을 다중으로 채널을 분할하여 전송하기 위한 프레임을 설계하고, 설계된 프레임과 헤더를 결합한 신호를 수신장치(30)로 채널별 전송한다. 이때 송신장치(10)는 프레임의 콘텐츠 비트레이트 및　송신 비트레이트를 매칭되도록 프레임을 설계할 수 있다. 송신장치(10)는 다중으로 채널을 분할한 후, 360 VR 영상을 전송함으로써, 최대 200Mbs 이상의 전송속도를 가질 수 있다.
S30단계에서, 수신장치(30)는 송신장치(10)로부터 전송된 신호를 채널별로 수신하고, 수신된 신호에 포함된 콘텐츠를 동기화 결합하여 출력한다. 이때 수신장치(30)는 채널별로 수신된 신호의 헤더를 이용하여 콘텐츠의 시작 부분을 검출하고, 검출된 시작 부분을 기초로 드랍 앤 스킵을 이용하여 채널별 신호를 결합할 수 있다. 또한 수신장치(30)는 출력되는 신호에서 각 콘텐츠를 분리하여 어플리케이션으로 전달한다.
한편 상술된 설명 및 도면에서 프레임을 최대 8개의 채널로 분할하고, 분할된 채널을 전송하는 과정을 개시하고 있으나, 이에 한정하지 않고 적용되는 환경 및 상황에 따라 다양한 개수의 채널로 분할하고, 분할된 채널을 전송할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
10: 송신장치
30: 수신장치
50: 통신망
100: 360 VR 영상 분할 전송 시스템

Claims (10)

  1. MPEG 트랜스포트 스트림(transport stream, TS) 기반으로 360 VR 영상을 다중으로 채널을 분할하여 전송하기 위한 프레임을 설계하고, 상기 설계된 프레임과 헤더를 결합한 신호를 채널별로 전송하는 송신장치; 및
    상기 송신장치로부터 전송된 신호를 채널별로 수신하고, 상기 수신된 신호에 포함된 콘텐츠를 동기화 결합하여 출력하는 수신장치;
    를 포함하고,
    상기 프레임은,
    상기 360 VR 영상의 콘텐츠 정보를 포함하는 메타 데이터(meta data);
    상기 메타 데이터과 연결되고, 저화질 콘텐츠 및 고화질 콘텐츠를 비트레이트에 따라 나누어진 후, 기 설정된 전송 길이를 가지는 슈퍼 프레임(super-frame); 및
    상기 슈퍼 프레임과 연결되고, 상기 매칭을 위해 삽입되는 널 패킷(null packet);
    를 포함하는 것을 특징으로 하는 360 VR 영상 분할 전송 시스템.
  2. 제 1항에 있어서,
    상기 송신장치는,
    상기 프레임의 콘텐츠 비트레이트(Bitrate) 및　송신 비트레이트를 매칭(matching)시키는 것을 특징으로 하는 360 VR 영상 분할 전송 시스템.
  3. 제 1항에 있어서,
    상기 송신장치는,
    상기 채널을 최대 8채널로 결합하여 최대 200Mbs 이상의 전송속도를 가지는 것을 특징으로 하는 360 VR 영상 분할 전송 시스템.
  4. 제 1항에 있어서,
    상기 수신장치는,
    상기 채널별로 수신된 신호의 헤더를 이용하여 상기 콘텐츠의 시작 부분을 검출하고, 상기 검출된 시작 부분을 기초로 드랍 앤 스킵(drop and skip)을 이용하여 상기 채널별 신호를 결합하는 것을 특징으로 하는 360 VR 영상 분할 전송 시스템.
  5. 삭제
  6. 제 1항에 있어서,
    상기 헤더는,
    4바이트(bytes)의 용량을 가지고 MPEG-TS header;
    4바이트의 용량을 가지고, 다중 채널 전송을 구분하기 위한 정보가 포함되는 Packet_ID;
    2바이트의 용량을 가지고, 상기 채널별 패킷 수를 나타내는 정보가 포함되는 No_of_Packet;
    4바이트의 용량을 가지고, 상기 콘텐츠의 동기화 결합과 관련된 정보가 포함되는 Sync_index; 및
    2바이트의 용량을 가지고, 상기 채널별 콘텐츠의 길이를 나타내는 정보가 포함되는 Content_length;
    를 포함하는 것을 특징으로 하는 360 VR 영상 분할 전송 시스템.
  7. 송신장치 및 수신장치를 포함하는 360 VR 영상 분할 전송 시스템을 이용한 360 VR 영상 분할 전송 방법에 있어서,
    상기 송신장치가 MPEG 트랜스포트 스트림 기반으로 360 VR 영상을 다중으로 채널을 분할하여 전송하기 위한 프레임을 설계하고, 상기 설계된 프레임과 헤더를 결합한 신호를 상기 수신장치로 채널별 전송하는 단계; 및
    상기 수신장치가 상기 송신장치로부터 전송된 신호를 채널별로 수신하고, 상기 수신된 신호에 포함된 콘텐츠를 동기화 결합하여 출력하는 단계;
    를 포함하고,
    상기 프레임은,
    상기 360 VR 영상의 콘텐츠 정보를 포함하는 메타 데이터(meta data);
    상기 메타 데이터과 연결되고, 저화질 콘텐츠 및 고화질 콘텐츠를 비트레이트에 따라 나누어진 후, 기 설정된 전송 길이를 가지는 슈퍼 프레임(super-frame); 및
    상기 슈퍼 프레임과 연결되고, 상기 매칭을 위해 삽입되는 널 패킷(null packet);
    를 포함하는 360 VR 영상 분할 전송 방법.
  8. 제 7항에 있어서,
    상기 송신하는 단계는,
    상기 프레임의 콘텐츠 비트레이트 및　송신 비트레이트를 매칭하는 것을 특징으로 하는 360 VR 영상 분할 전송 방법.
  9. 제 7항에 있어서,
    상기 송신하는 단계는,
    상기 채널을 최대 8채널을 결합하여 최대 200Mbs 이상의 전송속도를 가지도록 하는 것을 특징으로 하는 360 VR 영상 분할 전송 방법.
  10. 제 7항에 있어서,
    상기 수신하는 단계는,
    상기 채널별로 수신된 신호의 헤더를 이용하여 상기 콘텐츠의 시작 부분을 검출하고, 상기 검출된 시작 부분을 기초로 드랍 앤 스킵을 이용하여 상기 채널별 신호를 결합하는 것을 특징으로 하는 360 VR 영상 분할 전송 방법.
KR1020180134705A 2018-11-05 2018-11-05 360 vr 영상 분할 전송 시스템 및 방법 KR102035148B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180134705A KR102035148B1 (ko) 2018-11-05 2018-11-05 360 vr 영상 분할 전송 시스템 및 방법
PCT/KR2018/014571 WO2020096117A1 (ko) 2018-11-05 2018-11-23 360 vr 영상 분할 전송 시스템 및 방법
US16/713,417 US11057605B2 (en) 2018-11-05 2019-12-13 360-degree VR video segmentation transmission system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180134705A KR102035148B1 (ko) 2018-11-05 2018-11-05 360 vr 영상 분할 전송 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102035148B1 true KR102035148B1 (ko) 2019-10-22

Family

ID=68420020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180134705A KR102035148B1 (ko) 2018-11-05 2018-11-05 360 vr 영상 분할 전송 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102035148B1 (ko)
WO (1) WO2020096117A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050066950A (ko) * 2003-12-27 2005-06-30 한국전자통신연구원 타이밍정보 지터 방지를 위한 멀티미디어데이터전송스트림의 계층적 전송 장치 및 그 방법과, 계층적으로전송된 멀티미디어데이터 전송스트림의 복원 장치 및 그방법
KR20080057447A (ko) 2006-12-20 2008-06-25 엘지전자 주식회사 대체 영상 전송 방법과 그를 위한 통신 단말기
KR20110069670A (ko) * 2009-12-17 2011-06-23 한국전자통신연구원 채널 결합을 이용하여 비디오 방송 콘텐츠를 전송하는 헤드엔드 장치 및 비디오 방송 콘텐츠를 수신하는 방송 수신 장치 및 그 방법
JP2015029308A (ja) * 2014-09-10 2015-02-12 日本放送協会 送信装置
KR20170003904A (ko) * 2015-06-04 2017-01-10 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101347956B1 (ko) * 2013-07-29 2014-01-10 주식회사 리버스톤미디어 초고화질 영상의 병렬처리에 의한 스트림 변환 및 복원 시스템 그리고 이를 이용한 초고화질 영상의 스트림 변환 및 복원 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050066950A (ko) * 2003-12-27 2005-06-30 한국전자통신연구원 타이밍정보 지터 방지를 위한 멀티미디어데이터전송스트림의 계층적 전송 장치 및 그 방법과, 계층적으로전송된 멀티미디어데이터 전송스트림의 복원 장치 및 그방법
KR20080057447A (ko) 2006-12-20 2008-06-25 엘지전자 주식회사 대체 영상 전송 방법과 그를 위한 통신 단말기
KR20110069670A (ko) * 2009-12-17 2011-06-23 한국전자통신연구원 채널 결합을 이용하여 비디오 방송 콘텐츠를 전송하는 헤드엔드 장치 및 비디오 방송 콘텐츠를 수신하는 방송 수신 장치 및 그 방법
JP2015029308A (ja) * 2014-09-10 2015-02-12 日本放送協会 送信装置
KR20170003904A (ko) * 2015-06-04 2017-01-10 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Also Published As

Publication number Publication date
WO2020096117A1 (ko) 2020-05-14

Similar Documents

Publication Publication Date Title
CN102171750B (zh) 用于输送对齐的多通道音频的方法和设备
KR100706619B1 (ko) Ｔｃ 계층에서의 다중화를 이용한 통신 및 방송 데이터송/수신 장치
US10334293B2 (en) Multiplexing apparatus, receiving apparatus, multiplexing method, and delay adjustment method
KR20050075654A (ko) 트랜스포트 스트림방식 엠펙-2 시스템의 부가 데이터 삽입및 추출 장치와 그 방법
CN105429983A (zh) 采集媒体数据的方法、媒体终端及音乐教学系统
US20240089534A1 (en) Transmission apparatus, transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items
CN104168438A (zh) 基于sdi实现逐点对应的视频传输方法
KR20100061221A (ko) 네트워크 시간표시정보를 삽입하거나 추출하기 위한 장치 및 방법
CN109040818B (zh) 直播时的音视频同步方法、存储介质、电子设备及系统
CN108028708A (zh) 数据处理装置和数据处理方法
KR102035148B1 (ko) 360 vr 영상 분할 전송 시스템 및 방법
KR20080053194A (ko) 디지털 멀티미디어 방송 시스템에서의 3차원 비디오 서비스제공 방법
US11057605B2 (en) 360-degree VR video segmentation transmission system and method
CN103177725A (zh) 用于输送对齐的多通道音频的方法和设备
JP4391412B2 (ja) ディジタルストリームの動的多重化方法
US10475463B2 (en) Transmission device, transmission method, reception device, and reception method for audio streams
CN103474076A (zh) 用于输送对齐的多通道音频的方法和设备
KR101425821B1 (ko) 오디오 신호에 기초한 음파 통신으로 디지털 미디어 방송정보의 전달 시스템 및 방법, 그리고 이에 적용되는 장치
KR101671311B1 (ko) 클라우드 스트리밍 서비스 시스템, 이를 위한 장치 및 클라우드 스트리밍 서비스 방법
KR20050021804A (ko) 디지털 오디오 방송 전송 시스템에서 멀티미디어 서비스를제공하기 위한 미디어 스트림 변환장치 및 그 방법
KR100732323B1 (ko) 지상파 디엠비 방송 시스템에서의 부가데이터 송출을 위한대역제어방법 및 장치
JP2009033401A (ja) 送信機、受信機、付加情報の埋め込み方法、付加情報の復元方法およびプログラム
JP2023082691A (ja) 送信装置、受信装置およびプログラム
KR100461540B1 (ko) 동기화 비스트림 데이터를 처리하기 위한 버퍼링 장치 및그 방법
JP2022084017A (ja) 復号装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant