KR20170034368A - Adaptive media streaming transmission method and apparatus for multi network - Google Patents

Adaptive media streaming transmission method and apparatus for multi network Download PDF

Info

Publication number
KR20170034368A
KR20170034368A KR1020170034073A KR20170034073A KR20170034368A KR 20170034368 A KR20170034368 A KR 20170034368A KR 1020170034073 A KR1020170034073 A KR 1020170034073A KR 20170034073 A KR20170034073 A KR 20170034073A KR 20170034368 A KR20170034368 A KR 20170034368A
Authority
KR
South Korea
Prior art keywords
media
network
layer
media data
segments
Prior art date
Application number
KR1020170034073A
Other languages
Korean (ko)
Other versions
KR101808639B1 (en
Inventor
김태정
김재호
김창기
유정주
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170034073A priority Critical patent/KR101808639B1/en
Publication of KR20170034368A publication Critical patent/KR20170034368A/en
Application granted granted Critical
Publication of KR101808639B1 publication Critical patent/KR101808639B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/4092—
    • H04L65/604—
    • H04L65/608—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14—Multichannel or multilink protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Disclosed are an adaptive media streaming transmission method for a multi-network and a device thereof. According to an embodiment of the present invention, the media streaming transmission method comprises: a step of encoding predetermined content in a multi-layer to generate media data; a step of dividing the generated media data by each layer; and a step of streaming-transmitting the media data divided by each layer to a media receiving device through the multi-network.

Description

다중 네트워크 환경 적응형 미디어 스트리밍 전송방법 및 그 장치{Adaptive media streaming transmission method and apparatus for multi network}[0001] The present invention relates to an adaptive media streaming transmission method and apparatus,

본 발명은 방송통신 기술에 관한 것으로, 보다 상세하게는 네트워크 환경에 적응적으로 최적화된 미디어 스트리밍 전송기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a broadcast communication technology, and more particularly, to a media streaming transmission technique that is adaptively optimized for a network environment.

최근 스마트폰, 태블릿 PC, 스마트 TV 등과 같이 유무선으로 인터넷 연결이 가능한 다양한 단말들이 사용자에게 제공되고 있다. 이러한 단말들을 통해 멀티미디어 서비스를 제공할 수 있는데, 인터넷을 이용하여 언제 어디서든 사용자가 원하는 멀티미디어를 선택해서 소비하는 멀티미디어 서비스 형태로 진화하고 있다.2. Description of the Related Art [0002] Recently, various terminals such as smart phones, tablet PCs, and smart TVs capable of connecting to the Internet by wired and wireless are being provided to users. Multimedia services can be provided through these terminals, and they are evolving into a multimedia service type in which a user selects and consumes desired multimedia anytime and anywhere using the Internet.

그러나, 서비스 품질(QoS)이 보장되지 않는 인터넷을 통해서는 끊김 없는 고화질의 미디어 스트리밍 서비스를 제공하기 어렵다. 이러한 문제를 해결하기 위해 하이퍼텍스트 전송 프로토콜(hypertext transfer protocol: 이하 HTTP라 칭함) 기반 적응형 스트리밍 서비스가 제안되었다. HTTP 기반 적응형 스트리밍 서비스는 미디어 전송장치가 하나의 콘텐트를 대상으로 다양한 채널 환경과 단말 사양에 따라 서로 다른 품질(Quality)을 갖는 미디어 시퀀스를 생성하고, 미디어 수신장치는 자신의 단말 환경과 전송 채널에 따라 미디어 데이터를 지정된 채널을 통해 수신함에 따라, 최적화된 미디어 스트리밍 서비스를 제공하는 기술이다.However, it is difficult to provide seamless high-quality media streaming service through the Internet where QoS is not ensured. To solve this problem, a hypertext transfer protocol (HTTP) based adaptive streaming service has been proposed. In the HTTP based adaptive streaming service, a media transmission apparatus generates a media sequence having a different quality according to various channel environments and terminal specifications for a single content, and the media receiving apparatus generates a media sequence, And provides the optimized media streaming service according to the reception of the media data through the designated channel.

HTTP 기반 적응형 스트리밍 기술의 대표 회사로는 Microsoft, Apple, Adobe 등이 있다. Microsoft는 2008년 베이징 올림픽 인터넷 라이브 중계에 smooth 스트리밍 기술을 사용하였으며, Apple은 iPhone, iPad에 HTTP 라이브 스트리밍 기술을 적용하였다. 이러한 기술들은 독자적인 비표준 HTTP 기반 적응형 스트리밍 서비스에 해당한다. 독자적인 규제에 대해 제약에서 벗어나기 위해서, MPEG에서는 동적 적응형 HTTP 스트리밍(Dynamic Adaptive Streaming over HTTP: 이하 DASH라 칭함) 기술을 표준화하였다.Microsoft, Apple, and Adobe are examples of HTTP-based adaptive streaming technologies. Microsoft used smooth streaming technology to broadcast live broadcasts of the 2008 Beijing Olympics, and Apple applied HTTP live streaming technology to iPhone and iPad. These technologies correspond to proprietary non-standard HTTP-based adaptive streaming services. In order to get rid of the constraints of independent regulation, MPEG standardized dynamic adaptive streaming over HTTP (DASH) technology.

인터넷 기반의 미디어 스트리밍 서비스를 제공함에 있어서 DASH를 이용하면 채널 대역폭에 상관없이 최소의 화질을 갖는 미디어 데이터를 끊김 없이 사용자에게 제공할 수 있다. 예를 들어, IP 네트워크의 대역폭이 작은 경우 최소의 화질을 갖는 비디오 스트림을 전송하고, 반대로 대역폭이 큰 경우 최대의 화질을 갖는 비디오 스트림을 전송한다. 이에 따라, IP 네트워크의 전송 대역 환경에 따라 적합한 비트율로 인코딩된 비디오 데이터를 전송하므로 사용자는 끊김 없는 영상을 시청할 수 있다.When DASH is used in providing an Internet-based media streaming service, it is possible to seamlessly provide media data having a minimum image quality regardless of the channel bandwidth. For example, when the bandwidth of the IP network is small, the video stream having the minimum image quality is transmitted. On the contrary, when the bandwidth is large, the video stream having the highest image quality is transmitted. Accordingly, since the video data encoded at a suitable bit rate is transmitted according to the transmission band environment of the IP network, the user can view the seamless video.

한편, DASH는 단일 IP 네트워크에서 채널 상황에 따라 유동적인 품질의 서비스를 제공하기 때문에 사용자는 항상 동일한 품질의 미디어 데이터를 수신할 수 없다. 즉, DASH는 IP 네트워크의 대역폭 상황에 따라 고화질의 영상뿐만 아니라 저화질의 영상을 사용자에게 전송하기 때문에 항상 고화질의 영상만을 전송할 수는 없다. 예를 들어 사용자의 IP 네트워크 채널의 대역폭이 협소할 경우 고화질의 영상을 스트리밍 전송할 수 없다.On the other hand, DASH provides flexible quality service according to channel conditions in a single IP network, so users can not always receive media data of the same quality. That is, DASH can not always transmit only high-quality images because it transmits low-quality images to users in addition to high-quality images according to the bandwidth conditions of the IP network. For example, when the bandwidth of the user's IP network channel is narrow, high-quality video can not be streamed.

일 실시 예에 따라, 사용자에게 항상 고품질의 미디어 스트리밍 서비스를 제공하기 위해, 다중 네트워크 환경에 적응적인 미디어 스트리밍 전송방법 및 그 장치를 제안한다.According to one embodiment, a method and apparatus for media streaming transmission adaptive to multiple network environments are proposed to provide high quality media streaming service to users at all times.

일 실시 예에 따른 미디어 전송장치의 미디어 스트리밍 전송방법은, 소정의 콘텐트를 다수의 계층으로 인코딩하여 미디어 데이터를 생성하는 단계와, 생성된 미디어 데이터를 각 계층 별로 분리하는 단계와, 각 계층 별로 분리된 미디어 데이터를 다수의 네트워크를 통해 미디어 수신장치에 스트리밍 전송하는 단계를 포함한다.According to an embodiment of the present invention, there is provided a media streaming transmission method for a media transmission apparatus, the method comprising: generating media data by encoding a predetermined content into a plurality of layers; separating the generated media data for each layer; And streaming the media data to the media receiving apparatus via the plurality of networks.

다른 실시 예에 따른 미디어 전송장치는, 소정의 콘텐트를 다수의 계층으로 인코딩하여 미디어 데이터를 생성하는 인코딩부와, 가용 네트워크 수에 따라 인코딩부의 인코딩을 위한 계층을 할당하는 계층 제어부와, 인코딩부에서 생성된 미디어 데이터를 각 계층 별로 분리하는 계층 분리부와, 계층 분리부에서 계층 별로 분리된 미디어 데이터를 다수의 네트워크를 통해 미디어 수신장치에 스트리밍 전송하는 미디어 전송부를 포함한다.According to another aspect of the present invention, there is provided a media transmission apparatus including: an encoding unit encoding media content by encoding a predetermined content into a plurality of layers; a layer control unit allocating a layer for encoding the encoding unit according to the number of available networks; A hierarchical separator for separating the generated media data for each layer, and a media transmitter for streaming the media data separated by layers in the hierarchical separator to a media receiver through a plurality of networks.

또 다른 실시 예에 따른 미디어 수신장치의 미디어 스트리밍 수신방법은, 소정의 콘텐트를 다수의 계층으로 인코딩하여 생성된 미디어 데이터를 다수의 네트워크를 통해 미디어 전송장치로부터 수신하는 단계와, 수신된 미디어 데이터를 디코딩하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of receiving media streaming in a media receiving apparatus, comprising: receiving media data generated by encoding a predetermined content into a plurality of layers from a media transmission apparatus via a plurality of networks; Decoded.

또 다른 실시 예에 따른 미디어 수신장치는, 소정의 콘텐트를 다수의 계층으로 인코딩하여 생성된 미디어 데이터를 다수의 네트워크를 통해 미디어 전송장치로부터 수신하는 미디어 수신부와, 미디어 수신부에서 수신된 미디어 데이터를 디코딩하는 디코딩부를 포함한다.According to another aspect of the present invention, there is provided a media receiving apparatus including a media receiving unit for receiving media data generated by encoding predetermined content into a plurality of layers from a media transmission apparatus via a plurality of networks, And a decoding unit.

일 실시 예에 따르면, 기존의 네트워크 환경에 적응적인 스트리밍 기술에 있어서 단일 네트워크 채널의 대역폭 한계로 인해 저품질의 미디어 서비스를 제공하게 되는 한계를 극복하여, 다수의 네트워크 환경에 적응적으로 최적화된 미디어 스트리밍 전송을 통해 고품질의 미디어 스트리밍 서비스를 항상 제공할 수 있다.According to an exemplary embodiment of the present invention, a streaming technology adaptable to an existing network environment can overcome the limitation of providing a low-quality media service due to a bandwidth limitation of a single network channel, Transmission can always provide high-quality media streaming services.

구체적으로, 기존의 고급 비디오 코딩(Advanced Video Coding: AVC) 기반의 환경 적응형 스트리밍 기술은 미디어 스트리밍 서비스 제공 시에 단일 IP 네트워크만을 이용해야 한다. 그러나, 본 발명에 따르면 스케일러블 비디오 코딩(Scalable Video Coding: SVC)을 이용하여 콘텐트를 다수의 계층으로 인코딩하고 계층을 분리함에 따라 다수의 IP 네트워크를 통해 고품질의 미디어 데이터를 스트리밍 전송할 수 있다.Specifically, existing adaptive streaming technology based on Advanced Video Coding (AVC) should use only a single IP network in providing a media streaming service. However, according to the present invention, high-quality media data can be streamed and transmitted through a plurality of IP networks as the content is encoded into a plurality of layers using scalable video coding (SVC) and the layers are separated.

도 1은 본 발명의 일 실시 예에 따른 다중 네트워크 환경 적응형 미디어 스트리밍 전송 시스템의 구성도,
도 2는 본 발명의 일 실시 예에 따른 미디어 스트리밍 전송 시스템의 세부 구성도,
도 3은 본 발명의 일 실시 예에 따른 미디어 전송장치의 구성도,
도 4는 본 발명의 일 실시 예에 따른 미디어 수신장치의 구성도,
도 5는 본 발명의 일 실시 예에 따른 미디어 전송장치의 미디어 스트리밍 전송방법을 도시한 흐름도,
도 6은 본 발명의 일 실시 예에 따른 미디어 수신장치의 미디어 스트리밍 수신방법을 도시한 흐름도이다.1 is a configuration diagram of a multi-network environment adaptive media streaming transmission system according to an embodiment of the present invention;
2 is a detailed configuration diagram of a media streaming transmission system according to an embodiment of the present invention;
3 is a configuration diagram of a media transmission apparatus according to an embodiment of the present invention.
4 is a configuration diagram of a media receiving apparatus according to an embodiment of the present invention;
FIG. 5 is a flowchart illustrating a media streaming transmission method of a media transmission apparatus according to an embodiment of the present invention;
6 is a flowchart illustrating a media streaming receiving method of a media receiving apparatus according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention of the user, the operator, or the like. Therefore, the definition should be based on the contents throughout this specification.

도 1은 본 발명의 일 실시 예에 따른 다중 네트워크 환경 적응형 미디어 스트리밍 전송 시스템(1)의 구성도이다.1 is a configuration diagram of a multi-network environment adaptive media streaming transmission system 1 according to an embodiment of the present invention.

도 1을 참조하면, 미디어 스트리밍 전송 시스템(1)은 미디어 전송장치(10)와, 다수의 IP 네트워크들로 구성된 네트워크(12)와, 미디어 수신장치(14)를 포함한다.Referring to FIG. 1, a media streaming transmission system 1 includes a media transmission apparatus 10, a network 12 composed of a plurality of IP networks, and a media receiving apparatus 14.

미디어 전송장치(10)는 미디어 데이터, 예를 들어 비디오 데이터를 스트리밍으로 미디어 수신장치(14)에 전송하는데, 다수의 IP 네트워크들로 구성된 네트워크(12)를 통해 스트리밍 전송한다. 미디어 수신장치(14)는 네트워크(12)에 접속하여 미디어 전송장치(10)로부터 미디어 데이터를 스트리밍 전송받는다.The media transmission apparatus 10 transmits media data, for example, video data to the media receiving apparatus 14 by streaming, and transmits the stream data through the network 12 composed of a plurality of IP networks. The media receiving apparatus 14 is connected to the network 12 and receives streaming media data from the media transmitting apparatus 10. [

네트워크(12)는 다수의 IP 네트워크로 구성되는데, 도 1에 도시된 바와 같이 메인 IP 네트워크와 서브 IP 네트워크를 포함한다. 서브 IP 네트워크는 다수 개일 수 있다. IP 네트워크는 예를 들어, 3G, 4G 등의 유선 네트워크, wifi 등의 무선 네트워크, 인터넷, IPTV 네트워크 등일 수 있다.The network 12 is composed of a plurality of IP networks, and includes a main IP network and a sub IP network as shown in FIG. A plurality of sub IP networks may be used. The IP network may be, for example, a wired network such as 3G or 4G, a wireless network such as wifi, the Internet, an IPTV network, or the like.

미디어 전송장치(10)는 다수의 IP 네트워크 환경에 적응적으로 최적화된 미디어 스트리밍 서비스를 미디어 수신장치(14)에 제공한다. 이에 따라, 미디어 수신장치(14)는 다수의 IP 네트워크의 상태, 예를 들어 각 IP 네트워크의 전송 대역폭에 상관없이 고품질의 스트리밍 서비스를 항상 제공받을 수 있다. 이를 위해 미디어 전송장치(10)는 스케일러블 비디오 코딩(Scalable Video Coding: 이하 SVC라 칭함) 기술을 이용하여 다수의 계층으로 콘텐트를 인코딩한 후 이를 다수의 IP 네트워크의 채널을 통해 미디어 수신장치(14)에 스트리밍 전송한다.The media transmission apparatus 10 provides the media reception apparatus 14 with a media streaming service adaptively optimized for a plurality of IP network environments. Accordingly, the media receiving apparatus 14 can always receive a high-quality streaming service regardless of the state of a plurality of IP networks, for example, the transmission bandwidth of each IP network. To this end, the media transmission apparatus 10 encodes the content into a plurality of layers using Scalable Video Coding (SVC) technology and transmits the encoded content to a media receiving apparatus 14 ).

H.264의 확장형 인코딩 기술인 SVC는 MPEG-2, MPEG-4 등에서 시도한 계층 인코딩 기반의 스케일러빌리티가 갖는 문제점인 낮은 압축효율, 복합 스케일러빌리티 지원 불가, 높은 구현 복잡도의 문제를 한꺼번에 해결하기 위하여 개발된 새로운 확장형 인코딩 기법이다. SVC는 다수의 비디오 계층(layer)을 하나의 비트스트림(bitstream)으로 인코딩한다. SVC의 계층은 하나의 기본계층(base layer)과 기본계층 위에 연속적으로 쌓을 수 있는 향상계층(enhancement layer)으로 구성된다. 각 향상계층은 하위계층 정보를 기반으로 각각에게 주어진 최대의 비트율(bit-rate), 화면율(frame rate), 해상도(resolution)까지 표현할 수 있다. SVC는 향상계층을 연속적으로 많이 쌓을수록 다양한 비트율, 화면율, 해상도의 지원이 가능하다. 따라서, 이종(heterogeneous)의 네트워크 환경에서 발생하는 대역폭의 다양성 문제, 수신 단말기 성능과 해상도의 다양성 문제, 콘텐츠 소비자의 다양한 선호도 문제 등을 복합적으로 해결할 수 있는 UMA(Universal Multimedia Access) 환경의 멀티미디어 콘텐츠 서비스에 적합한 인코딩 기술이다.The SVC, an extended encoding technology of H.264, was developed in order to solve the problem of low compression efficiency, inability to support complex scalability, and high implementation complexity, which is a problem of scalability based on layer encoding, which was attempted in MPEG-2 and MPEG-4 It is a new extended encoding technique. An SVC encodes multiple video layers into a single bitstream. The SVC layer consists of a base layer and an enhancement layer that can be stacked on top of the base layer continuously. Each enhancement layer can represent a maximum bit-rate, a frame rate, and a resolution given to each layer based on the lower layer information. SVC can support various bit rates, aspect ratios, and resolutions as the number of enhancement layers is increased. Therefore, multimedia contents service of UMA (Universal Multimedia Access) environment which can solve a diversity problem of bandwidth occurring in a heterogeneous network environment, a diversity problem of receiving terminal performance and resolution, and various preference problems of content consumers . ≪ / RTI >

본 발명에 따르면, 미디어 전송장치(10)는 SVC를 이용하여 계층 수만큼 소정의 콘텐트를 인코딩하여 인코딩한 개수의 계층으로 이루어진 하나의 비트스트림을 구성하는 미디어 데이터를 생성한다. 예를 들어, 비디오 계층이 1개의 기본계층과 2개의 향상계층으로 구성된다면, 미디어 전송장치(10)는 총 3개의 계층으로 이루어진 하나의 SVC 비트스트림을 구성하는 미디어 데이터를 생성한다.According to the present invention, the media transmission apparatus 10 generates media data constituting one bit stream composed of a number of layers by encoding a predetermined content by the number of layers using the SVC. For example, if the video layer is composed of one base layer and two enhancement layers, the media transmission apparatus 10 generates media data constituting one SVC bit stream of three layers in total.

도 2는 본 발명의 일 실시 예에 따른 미디어 스트리밍 전송 시스템(1)의 세부 구성도이다.2 is a detailed configuration diagram of a media streaming transmission system 1 according to an embodiment of the present invention.

도 2를 참조하면, 미디어 스트리밍 전송 시스템(1)은 SVC에 기반하여 다중 네트워크 환경 적응형 스트리밍 전송구조를 갖는다. 구체적으로, 미디어 전송장치(10)는 인코딩부(320)를 통해 콘텐트를 다수의 계층을 기반으로 인코딩하여 미디어 데이터를 생성한다. 인코딩된 미디어 데이터는 하나의 SVC 비트스트림으로 구성되는데, 도 2에 도시된 바와 같이 가용할 수 있는 비디오 계층이 1개의 기본계층과 2개의 향상계층으로 구성된다면, 인코딩부(320)는 총 3개의 계층으로 이루어진 하나의 SVC 비트스트림을 구성하는 미디어 데이터를 생성한다.Referring to FIG. 2, the media streaming transmission system 1 has a multi-network environment adaptive streaming transmission structure based on SVC. In detail, the media transmission apparatus 10 encodes the content on the basis of a plurality of layers through the encoding unit 320 to generate media data. If the available video layer is composed of one base layer and two enhancement layers as shown in FIG. 2, the encoding unit 320 may generate a total of three And generates media data constituting one SVC bit stream.

계층 분리부(330)는 인코딩부(320)에서 인코딩된 미디어 데이터를 각 계층별로 분리하고 이를 전송 포맷으로 변환한다. 예를 들어, 계층 분리부(330)는 도 2에 도시된 바와 같이 미디어 데이터를 1개의 기본계층과 2개의 향상계층으로 분리한다. 이어서, 미디어 전송장치(10)는 전송 포맷으로 변환된 미디어 데이터를 각각의 지정 폴더(370)에 저장한 후, 이를 다수의 IP 네트워크로 구성된 네트워크(12)를 통해 미디어 수신장치(14)에 스트리밍 전송한다.The layer separator 330 separates media data encoded by the encoding unit 320 for each layer and converts the media data into a transport format. For example, the layer separator 330 separates media data into one base layer and two enhancement layers as shown in FIG. Subsequently, the media transmission apparatus 10 stores the media data converted into the transmission format in each designated folder 370, and then streams the media data to the media receiving apparatus 14 through the network 12 composed of a plurality of IP networks send.

한편, 미디어 수신장치(14)는 네트워크(12)를 통해 미디어 전송장치(10)로부터 전송된 미디어 데이터를 미디어 수신부(430)를 통해 수신한다. 그리고, 수신된 미디어 데이터를 디코딩부(450)를 통해 디코딩한다.Meanwhile, the media receiving apparatus 14 receives media data transmitted from the media transmission apparatus 10 via the network 12 via the media receiving unit 430. The decoding unit 450 decodes the received media data.

이하, 후술되는 도 3과 도 4를 참조로 하여 미디어 전송장치(10)와 미디어 수신장치(14)의 세부 구성에 대해 후술하고, 도 5와 도 6을 참조로 하여 각 장치(10,12)의 프로세스에 대해 후술한다.The detailed configuration of the media transmission apparatus 10 and the media reception apparatus 14 will be described below with reference to FIGS. 3 and 4, which will be described later. Referring to FIGS. 5 and 6, Will be described later.

도 3은 본 발명의 일 실시 예에 따른 미디어 전송장치(10)의 구성도이다.3 is a configuration diagram of a media transmission apparatus 10 according to an embodiment of the present invention.

도 1과 도 3을 참조하면, 미디어 전송장치(10)는 계층 제어부(310), 인코딩부(320), 계층 분리부(330), 세그먼트 생성부(340), 메타데이터 생성부(350) 및 미디어 전송부(360)를 포함한다.1 and 3, the media transmission apparatus 10 includes a layer control unit 310, an encoding unit 320, a layer separation unit 330, a segment generation unit 340, a metadata generation unit 350, And a media transmission unit 360.

계층 제어부(310)는 가용 네트워크 수에 따라 인코딩부(320)의 인코딩을 위한 계층을 할당한다. 즉, 계층 제어부(310)는 공급자가 가용할 수 있는 IP 네트워크 수에 따라서 SVC 인코딩 계층을 인코딩부(320)에 할당한다. 즉 공급자가 이종의 IP 네트워크 채널 3개를 가용할 수 있다면, 인코딩부(320)는 콘텐트를 기본계층과 2개의 향상계층으로 인코딩할 수 있다.The layer control unit 310 allocates a layer for encoding the encoding unit 320 according to the number of available networks. That is, the layer control unit 310 allocates the SVC encoding layer to the encoding unit 320 according to the number of IP networks available to the provider. That is, if the provider can use three different types of IP network channels, the encoding unit 320 can encode the content into a base layer and two enhancement layers.

인코딩부(320)는 소정의 콘텐트를 다수의 계층으로 인코딩하여 미디어 데이터를 생성한다. 이때, 인코딩부(320)는 계층 제어부(310)가 할당하는 계층 수에 따라 콘텐트를 인코딩한다. 인코딩된 바이너리 데이터는 하나의 비트스트림으로 구성된다. 인코딩부(320)는 비디오 코딩 계층(Video coding layer: VCL)에 위치할 수 있다.The encoding unit 320 encodes a predetermined content into a plurality of layers to generate media data. At this time, the encoding unit 320 encodes the content according to the number of layers allocated by the layer control unit 310. The encoded binary data is composed of one bit stream. The encoding unit 320 may be located in a video coding layer (VCL).

계층 분리부(330)는 인코딩부(320)에서 생성된 미디어 데이터를 각 계층 별로 분리한다. 즉, 인코딩부(320)에 의해 인코딩된 비트스트림은 계층 분리부(330)에 의해 계층별로 분리된다. 분리된 계층별 미디어 데이터는 전송 포맷 형태로 변환된다. 계층 분리부(330)는 네트워크 추상 계층(Network Abstraction Layer: NAL)에 위치할 수 있다.The layer separator 330 separates the media data generated by the encoding unit 320 for each layer. That is, the bit stream encoded by the encoding unit 320 is separated into layers by the layer separator 330. The separated layered media data is converted into a transmission format. The layer separator 330 may be located in a network abstraction layer (NAL).

세그먼트 생성부(340)는 계층 분리부(330)를 통해 각 계층 별로 분리된 후 전송 포맷으로 변환된 미디어 데이터를 다수의 세그먼트(segment) 데이터로 분할한다. 이때, 세그먼트 생성부(340)는 계층 별 미디어 데이터를 시간 단위(예: 초 단위)로 분할할 수 있다. 분할된 세그먼트들은 지정된 서버에 저장될 수 있다.The segment generating unit 340 divides the media data converted into the transport format after being divided for each layer through the layer separator 330 into a plurality of segment data. At this time, the segment generation unit 340 may divide media data for each layer into units of time (e.g., seconds). The segmented segments can be stored in the designated server.

메타데이터 생성부(350)는 세그먼트 생성부(340)를 통해 세그먼트들로 분할된 미디어 데이터를 대상으로 각 계층 별로 메타데이터 파일을 생성하고 생성된 메타데이터 파일을 다수의 네트워크를 통해 미디어 수신장치(14)에 전송한다. 메타데이터 생성부(350)에서 생성되는 메타데이터 파일은 계층 수에 따라 결정될 수 있다. 예를 들어 인코딩부(320)에서 인코딩된 계층의 수가 3개인 경우, 메타데이터 생성부(350)에서 생성되는 메타데이터 파일도 3개가 된다. 즉, 계층 수가 3개이면 공급자가 최대한 가용할 수 있는 이종 IP 네트워크 채널이 3개임을 의미한다.The metadata generation unit 350 generates a metadata file for each layer based on the media data divided into segments through the segment generation unit 340 and transmits the generated metadata file to a media receiving apparatus 14). The metadata file generated by the metadata generation unit 350 may be determined according to the number of layers. For example, when the number of layers encoded in the encoding unit 320 is three, the number of metadata files generated by the metadata generation unit 350 is three. That is, if the number of layers is three, it means that there are three heterogeneous IP network channels that the provider can maximally use.

메타데이터 파일에는 세그먼트 정보와 코덱 정보 등이 정의되고, URL이라는 접속 IP 주소가 표시된다. 세그먼트 정보와 코덱 정보는 세그먼트 생성부(340)로부터 획득하고, URL 정보는 계층 제어부(310)로부터 획득할 수 있다. URL 정보의 예를 들면, 계층 수가 3개인 경우 메타데이터 생성부(350)는 메인 IP 네트워크의 URL이 표시된 메타데이터 파일 하나와 다른 서브 IP 네트워크의 URL이 표시된 두 개의 메타데이터 파일을 생성한다. 메타데이터 생성부(350)에서 생성된 모든 메타데이터는 미디어 수신장치(14)가 다수의 네트워크에 접속시에 미디어 수신장치(14)에 모두 전송된다. 미디어 수신장치(14)는 메인 IP 네트워크를 기반으로 생성된 메타데이터는 필수적으로 분석하고, 상황에 따라서 다른 서브 IP 네트워크를 기반으로 생성된 메타데이터를 분석할 수 있다.Segment information and codec information are defined in the metadata file, and a connection IP address called a URL is displayed. The segment information and the codec information may be acquired from the segment generating unit 340, and the URL information may be acquired from the layer control unit 310. [ For example, in the case where the number of layers is three, the metadata generation unit 350 generates two metadata files in which the URL of the main IP network is displayed and the URL of another sub-IP network is displayed. All the metadata generated by the metadata generating unit 350 are all transmitted to the media receiving apparatus 14 when the media receiving apparatus 14 is connected to a plurality of networks. The media receiving apparatus 14 may analyze the metadata generated based on the main IP network and analyze the generated metadata based on other sub IP networks according to the situation.

미디어 전송부(360)는 계층 분리부(330)를 통해 계층 별로 분리된 후 세그먼트 생성부(340)를 통해 분할된 세그먼트들을 다수의 네트워크를 통해 미디어 수신장치(14)에 스트리밍 전송한다. 세그먼트들은 기본계층 세그먼트와 향상계층 세그먼트를 포함한다.The media transmission unit 360 separates the layers by layer through the layer separation unit 330 and then transmits the segments segmented by the segment generation unit 340 to the media reception apparatus 14 through a plurality of networks. The segments include a base layer segment and an enhancement layer segment.

일 실시 예에 따라 미디어 전송부(360)는 세그먼트들을 메인 아이피 네트워크를 통해 우선적으로 전송하고, 필요시에 나머지 세그먼트들을 적어도 하나의 서브 아이피 네트워크를 통해 전송한다. 예를 들어, 미디어 전송부(360)는 기본계층 세그먼트를 메인 아이피 네트워크를 통해 우선적으로 전송한다. 이때, 메인 아이피 네트워크의 네트워크 상태가 불안정한 경우, 가령 메인 아이피 네트워크의 채널 대역폭이 모든 계층의 세그먼트들을 수용할 수 없는 경우, 우선적으로 기본계층 세그먼트를 포함하여 메인 아이피 네트워크가 수용할 수 있는 계층까지의 세그먼트들을 메인 아이피 네트워크를 통해 전송하고, 향상계층 세그먼트들을 포함하는 나머지 세그먼트들을 서브 아이피 네트워크를 통해 전송할 수 있다.According to one embodiment, the media transmission unit 360 preferentially transmits the segments through the main IP network and transmits the remaining segments through at least one sub-IP network when necessary. For example, the media transmission unit 360 preferentially transmits the base layer segment through the main IP network. In this case, when the network state of the main IP network is unstable, for example, when the channel bandwidth of the main IP network can not accommodate segments of all layers, The segments may be transmitted over the main IP network, and the remaining segments including the enhancement layer segments may be transmitted over the sub-IP network.

도 4는 본 발명의 일 실시 예에 따른 미디어 수신장치(14)의 구성도이다.4 is a configuration diagram of a media receiving apparatus 14 according to an embodiment of the present invention.

도 1과 도 4를 참조하면, 미디어 수신장치(14)는 채널 분석부(410), 스트리밍 제어부(420), 미디어 수신부(430), 동기화부(440) 및 디코딩부(450)를 포함한다.1 and 4, the media receiver 14 includes a channel analyzer 410, a streaming controller 420, a media receiver 430, a synchronizer 440, and a decoder 450.

클라이언트인 미디어 수신장치(14)는 다수의 IP 네트워크를 포함하는 네트워크(12)에 접속하여 미디어 전송장치(10)로부터 미디어 데이터를 스트리밍 전송받는다. 다수의 IP 네트워크는 예를 들어, 인터넷, IPTV 네트워크, wifi 등의 무선 네트워크, 3G, 4G 등의 유선 네트워크 등을 포함한다. 미디어 수신장치(14)는 SVC에 기반하여 다수의 IP 네트워크 환경에 동적으로 적응하여 네트워크 환경 또는 클라이언트 환경에 최적화된 미디어 데이터를 스트리밍 전송받는다. 이하, 전술한 특징을 갖는 미디어 수신장치(14)의 세부 구성에 대해 상세히 후술한다.The client receiving media receiving apparatus 14 connects to the network 12 including a plurality of IP networks and receives streaming media data from the media transmitting apparatus 10. [ Many IP networks include, for example, the Internet, IPTV networks, wireless networks such as wifi, and wired networks such as 3G and 4G. The media receiving apparatus 14 adapts dynamically to a plurality of IP network environments based on the SVC and receives streaming media data optimized for a network environment or a client environment. Hereinafter, the detailed configuration of the media receiving apparatus 14 having the above-described characteristics will be described in detail below.

채널 분석부(410)는 다수의 IP 네트워크 별로 네트워크 상태를 분석하여 가용 네트워크에 대한 네트워크 상태 정보를 스트리밍 제어부(420)에 제공한다. 이때, 채널 분석부(410)는 가용 가능한 IP 네트워크를 확인하고 실시간으로 IP 네트워크의 대역폭 등의 네트워크 상태를 모니터링하며 네트워크 상태 정보를 스트리밍 제어부(420)에 제공할 수 있다.The channel analyzing unit 410 analyzes the network status for each of a plurality of IP networks and provides network status information on the available network to the streaming control unit 420. At this time, the channel analyzing unit 410 can check the available IP network, monitor the network status such as the bandwidth of the IP network in real time, and provide the network status information to the streaming control unit 420.

미디어 전송장치(10)가 콘텐트를 다수의 계층으로 인코딩한 후 계층 별로 메타데이터 파일을 생성하면, 스트리밍 제어부(420)는 미디어 전송장치(10)로부터 계층 별 메타데이터 파일을 수신한다.When the media transmission apparatus 10 encodes the content into a plurality of layers and generates a metadata file for each layer, the streaming control unit 420 receives the metadata file for each layer from the media transmission apparatus 10.

이어서, 스트리밍 제어부(420)는 미디어 전송장치(10)로부터 수신한 계층 별 메타데이터 파일과 채널 분석부(410)로부터 수신한 네트워크 상태정보를 이용하여 미디어 수신장치(14)가 접속할 적어도 하나의 네트워크를 결정한다. 일 실시 예에 따라 스트리밍 제어부(420)는 메타데이터 파일의 개수를 확인하고 미디어 수신장치(14)가 접속 가능한 IP 네트워크의 수를 결정한다. 구체적으로, 스트리밍 제어부(420)는 메타데이터 파일로부터 미디어 전송장치(10)에서 인코딩된 세그먼트의 HTTP-URL 정보를 확인한다. 그리고, 채널 분석부(410)로부터 제공받은 IP 네트워크 상태정보에 따라 다수의 IP 네트워크를 이용하여 스트리밍 서비스를 제공받을 것인지 단일 IP 네트워크를 이용하여 스트리밍 서비스를 제공받을 것인지 여부를 결정한다.The streaming control unit 420 may use at least one meta data file received from the media transmission apparatus 10 and at least one network to which the media receiving apparatus 14 is to be connected using the network status information received from the channel analyzing unit 410. [ . According to an embodiment, the streaming control unit 420 checks the number of metadata files and determines the number of IP networks to which the media receiving apparatus 14 can connect. Specifically, the streaming control unit 420 checks the HTTP-URL information of the segment encoded in the media transmission apparatus 10 from the metadata file. In accordance with the IP network status information provided from the channel analyzing unit 410, it is determined whether to receive a streaming service using a plurality of IP networks or a streaming service using a single IP network.

미디어 수신부(430)는 미디어 전송장치(10)로부터 인코딩된 다수의 세그먼트를 수신한다. 세그먼트는 기본계층 세그먼트와 향상계층 세그먼트를 포함한다. 미디어 수신부(430)는 접속 가능한 HTTP를 모두 열어 놓고 스트리밍 제어부(420)가 명령하는 데로 할당된 HTTP 주소를 통해 미디어 전송장치(10)로부터 세그먼트들을 수신한다. 일 실시 예에 따라, 메인 IP 네트워크의 채널 대역폭이 모든 계층을 수용할 수 없을 경우, 미디어 수신부(430)는 메인 IP 네트워크가 수용할 수 있는 계층까지의 세그먼트들을 수신하고, 수신되지 않은 나머지 계층의 세그먼트들은 다른 서브 IP 네트워크를 통해서 수신한다.The media receiving unit 430 receives a plurality of segments encoded from the media transmission apparatus 10. The segment includes a base layer segment and an enhancement layer segment. The media receiving unit 430 opens all connectable HTTPs and receives segments from the media transmission apparatus 10 through the HTTP address allocated to the streaming control unit 420. [ According to one embodiment, when the channel bandwidth of the main IP network can not accommodate all layers, the media receiver 430 receives segments up to a layer that the main IP network can accommodate, Segments are received over other sub-IP networks.

동기화부(440)는 미디어 수신부(430)를 통해 미디어 전송장치(10)로부터 수신된 미디어 데이터의 세그먼트들을 상호 동기화시킨다. 이때, 동기화부(440)는 스트리밍 제어부(420)에서 분석된 비디오 세그먼트 그룹과 채널 분석부(410)로부터 제공받은 네트워크 상태 정보를 이용하여 몇 개의 계층을 동기화할 것인지를 결정하고 해당되는 계층의 세그먼트들을 동기화할 수 있다. 일 실시 예에 따라, 동기화부(440)는 IP 네트워크 상태와 현재 사용하고 있는 IP 네트워크 개수를 확인하여 수신된 세그먼트의 계층을 확인한다. 이때, IP 네트워크의 개수와 전송된 계층의 개수가 동일한 경우, 타임스탬프(Timestamp) 값을 이용하여 동기화를 수행할 수 있다.The synchronization unit 440 synchronizes the segments of the media data received from the media transmission apparatus 10 via the media receiving unit 430 with each other. At this time, the synchronization unit 440 determines how many layers are to be synchronized using the video segment group analyzed by the streaming control unit 420 and the network status information provided from the channel analysis unit 410, Can be synchronized. According to one embodiment, the synchronization unit 440 confirms the IP network state and the number of currently used IP network and confirms the hierarchy of the received segment. In this case, if the number of IP networks is equal to the number of transmitted layers, synchronization can be performed using a timestamp value.

디코딩부(450)는 동기화부(440)로부터 동기화된 세그먼트들을 수신하여, 이를 전송 포맷에서 비디오 포맷으로 변환한다. 그리고, 비디오 포맷으로 변환된 세그먼트들을 디코딩한다.The decoding unit 450 receives the synchronized segments from the synchronization unit 440 and converts the segments into a video format from a transmission format. And decodes the segments converted into the video format.

도 5는 본 발명의 일 실시 예에 따른 미디어 전송장치(10)의 미디어 스트리밍 전송방법을 도시한 흐름도이다.5 is a flowchart illustrating a media streaming transmission method of the media transmission apparatus 10 according to an embodiment of the present invention.

도 2와 도 5를 참조하면, 미디어 전송장치(10)는 소정의 콘텐트를 다수의 계층으로 인코딩하여 미디어 데이터를 생성(5000)하고, 생성된 미디어 데이터를 각 계층 별로 분리한다(5010). 일 실시 예에 따라, 미디어 데이터 생성 단계(5000)에서 미디어 전송장치(10)는 계층 수만큼 소정의 콘텐트를 인코딩하여 인코딩한 개수의 계층으로 이루어진 하나의 비트스트림을 구성하는 미디어 데이터를 생성한다. 그리고, 계층 별 분리 단계(5010)에서, 하나의 비트스트림을 구성하는 미디어 데이터를 기본계층과 향상계층으로 분리한다.2 and 5, the media transmission apparatus 10 encodes a predetermined content into a plurality of layers to generate media data (5000), and separates the generated media data for each layer (5010). According to one embodiment, in the media data generation step 5000, the media transmission apparatus 10 generates media data constituting one bit stream composed of a number of layers by encoding predetermined content by the number of layers. In the layer-by-layer separation step 5010, the media data constituting one bit stream is divided into a base layer and an enhancement layer.

이어서, 미디어 전송장치(10)는 각 계층 별로 분리된 미디어 데이터를 다수의 네트워크를 통해 미디어 수신장치(14)에 스트리밍 전송한다(5020).Next, the media transmission apparatus 10 streams the separated media data for each layer to the media receiving apparatus 14 through a plurality of networks (5020).

일 실시 예에 따라, 스트리밍 전송 단계(5020)에서 미디어 전송장치(10)는 각 계층 별로 분리된 미디어 데이터를 각각 전송 포맷으로 변환하고, 전송 포맷으로 변환된 미디어 데이터를 세그먼트들로 분할하며, 세그먼트들로 분할된 미디어 데이터를 다수의 네트워크를 통해 미디어 수신장치(14)에 전송한다. 이때, 미디어 전송장치(10)는 세그먼트들을 각각 지정된 폴더에 저장하고, 지정된 각 폴더에 저장된 세그먼트들을 메인 아이피 네트워크를 통해 우선적으로 전송하고 필요시에 적어도 하나의 서브 아이피 네트워크를 통해 전송할 수 있다.According to one embodiment, in the streaming transmission step 5020, the media transmission apparatus 10 converts media data separated for each layer into a transmission format, divides media data converted into a transmission format into segments, To the media receiving apparatus 14 via a plurality of networks. At this time, the media transmission apparatus 10 may store the segments in the designated folder, and may transmit the segments stored in the designated folder through the main IP network, and may transmit the segments through at least one sub-IP network when necessary.

일 실시 예에 따라, 스트리밍 전송 단계(5020)에서 미디어 전송장치(10)는 각 계층 별로 분리된 미디어 데이터를 대상으로 각 계층 별로 메타데이터 파일을 생성하고, 각 계층 별로 생성된 메타데이터 파일을 다수의 네트워크를 통해 전송한다. 이때, 메타데이터 파일은 분할 정보, 코덱 정보 및 접속 아이피 주소정보 중 적어도 하나를 포함한다.According to one embodiment, in the streaming transmission step 5020, the media transmission apparatus 10 generates a metadata file for each layer about media data separated for each layer, and stores a plurality of metadata files generated for each layer Lt; / RTI > network. At this time, the metadata file includes at least one of partition information, codec information, and connection IP address information.

도 6은 본 발명의 일 실시 예에 따른 미디어 수신장치(14)의 미디어 스트리밍 수신방법을 도시한 흐름도이다.FIG. 6 is a flowchart illustrating a media streaming receiving method of the media receiving apparatus 14 according to an embodiment of the present invention.

도 2와 도 6을 참조하면, 미디어 수신장치(14)는 소정의 콘텐트를 다수의 계층으로 인코딩하여 생성된 미디어 데이터를 다수의 IP 네트워크로 구성된 네트워크(12)를 통해 미디어 전송장치(10)로부터 수신한다(6000). 그리고 수신된 미디어 데이터를 디코딩한다(6010).2 and 6, the media receiving apparatus 14 encodes a predetermined content into a plurality of layers and transmits the generated media data to the media transmission apparatus 10 through a network 12 composed of a plurality of IP networks (6000). And decodes the received media data (6010).

일 실시 예에 따라, 미디어 수신장치(14)는 미디어 데이터 인코딩 이후 계층 별로 생성된 메타데이터 파일을 미디어 전송장치(10)로부터 수신한다. 그리고 수신된 계층 별 메타데이터 파일을 이용하여 미디어 수신장치(14)가 접속할 네트워크를 결정한다. 이 경우, 미디어 수신장치(14)는 미디어 데이터 수신 단계(6000)에서, 결정된 네트워크에 접속하여 미디어 전송장치(10)로부터 미디어 데이터를 수신한다.According to one embodiment, the media receiving apparatus 14 receives a metadata file generated for each layer after the media data encoding from the media transmission apparatus 10. Then, the media receiving apparatus 14 determines a network to which the media receiving apparatus 14 will connect using the received meta data file. In this case, in the media data receiving step 6000, the media receiving apparatus 14 connects to the determined network and receives media data from the media transmitting apparatus 10. [

미디어 전송장치(10)로부터 수신된 미디어 데이터는 다수의 계층으로 인코딩된 후 분할된 세그먼트들로 구성된다. 일 실시 예에 따라, 미디어 데이터 수신 단계(6000)에서 미디어 수신장치(14)는 우선적으로 메인 아이피 네트워크가 수용할 수 있는 계층까지의 세그먼트를 메인 아이피 네트워크를 통해 수신한다. 그리고, 메인 아이피 네트워크를 통해 모든 세그먼트가 수신되지 않은 경우 수신되지 않은 나머지 계층의 세그먼트를 적어도 하나의 서브 아이피 네트워크를 통해 수신한다.The media data received from the media transmission apparatus 10 is encoded into a plurality of layers and then composed of segmented segments. According to an exemplary embodiment, in the media data receiving step 6000, the media receiving apparatus 14 receives a segment up to a layer that can be received by the main IP network first through the main IP network. If all the segments are not received through the main IP network, a segment of the remaining unreceived layer is received through at least one sub-IP network.

일 실시 예에 따라, 디코딩 단계(6010)에서 미디어 수신장치(14)는 다수의 네트워크를 통해 미디어 전송장치(10)로부터 수신된 미디어 데이터의 세그먼트들을 동기화하고, 동기화된 세그먼트들을 디코딩한다. 이때, 계층 정보와 네트워크 상태 정보를 이용하여 동기화할 세그먼트들의 개수를 결정하고 동기화 개수가 결정된 세그먼트들을 동기화할 수 있다.According to one embodiment, in a decoding step 6010, the media receiving device 14 synchronizes the segments of media data received from the media transmission device 10 over a plurality of networks and decodes the synchronized segments. At this time, the number of segments to be synchronized can be determined using the layer information and the network status information, and the segments in which the number of synchronizations are determined can be synchronized.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The embodiments of the present invention have been described above. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

1 : 미디어 스트리밍 전송 시스템 10 : 미디어 전송장치
12 : 네트워크 14 : 미디어 수신장치
310 : 계층 제어부 320 : 인코딩부
330 : 계층 분리부 340 : 세그먼트 생성부
350 : 메타데이터 생성부 360 : 미디어 전송부
410 : 채널 분석부 420 : 스트리밍 제어부
430 : 미디어 수신부 440 : 동기화부
450 : 디코딩부1: media streaming transmission system 10: media transmission device
12: Network 14: Media receiving device
310: Layer control unit 320:
330: Layer separator 340: Segment generator
350: metadata generation unit 360: media transmission unit
410: channel analysis unit 420: streaming control unit
430: media receiving unit 440:
450: decoding section

Claims (15)

미디어 전송장치의 미디어 스트리밍 전송방법에 있어서,
소정의 콘텐트를 다수의 계층으로 인코딩하여 미디어 데이터를 생성하는 단계;
생성된 미디어 데이터를 각 계층 별로 분리하는 단계; 및
각 계층 별로 분리된 미디어 데이터를 다수의 네트워크를 통해 미디어 수신장치에 스트리밍 전송하는 단계를 포함하고,
상기 스트리밍 전송하는 단계는,
각 계층 별로 분리된 미디어 데이터를 각각 전송 포맷으로 변환하는 단계;
전송 포맷으로 변환된 미디어 데이터를 세그먼트들로 분할하는 단계; 및
세그먼트들로 분할된 미디어 데이터를 상기 다수의 네트워크를 통해 전송하는 단계를 포함하고,
상기 세그먼트들로 분할된 미디어 데이터를 상기 다수의 네트워크를 통해 전송하는 단계는,
세그먼트들을 각각 지정된 폴더에 저장하는 단계; 및
상기 지정된 각 폴더에 저장된 세그먼트들을 메인 아이피 네트워크를 통해 우선적으로 전송하고, 나머지 세그먼트들을 적어도 하나의 서브 아이피 네트워크를 통해 전송하는 단계를 포함하는 것을 특징으로 하는 미디어 스트리밍 전송방법.A media streaming transmission method of a media transmission apparatus,
The method comprising the steps of: generating media data by encoding a predetermined content into a plurality of layers;
Separating the generated media data for each layer; And
And streaming the separated media data for each layer to a media receiving apparatus through a plurality of networks,
Wherein the streaming transmission comprises:
Converting separated media data into a transport format for each layer;
Dividing media data converted into a transport format into segments; And
The method comprising: transmitting media data segmented into segments via the plurality of networks,
Wherein the step of transmitting media data segmented by the segments through the plurality of networks comprises:
Storing the segments in a respective designated folder; And
Transmitting the segments stored in the designated folder through the main IP network and transmitting the remaining segments through at least one sub-IP network. 제 1 항에 있어서, 상기 미디어 데이터를 생성하는 단계는
계층 수만큼 소정의 콘텐트를 인코딩하여 인코딩한 개수의 계층으로 이루어진 하나의 비트스트림을 구성하는 미디어 데이터를 생성하고,
상기 각 계층 별로 분리하는 단계는
하나의 비트스트림을 구성하는 미디어 데이터를 기본계층과 향상계층으로 분리하는 것을 특징으로 하는 미디어 스트리밍 전송방법.The method of claim 1, wherein generating media data comprises:
Generating media data constituting one bit stream composed of a number of layers encoded by encoding predetermined content by the number of layers,
The step of separating each layer
And separating the media data constituting one bit stream into a base layer and an enhancement layer. 제 1 항에 있어서, 상기 스트리밍 전송하는 단계는,
각 계층 별로 분리된 미디어 데이터를 대상으로 각 계층 별로 메타데이터 파일을 생성하는 단계; 및
상기 각 계층 별로 생성된 메타데이터 파일을 상기 다수의 네트워크를 통해 전송하는 단계;
를 포함하는 것을 특징으로 하는 미디어 스트리밍 전송방법.2. The method of claim 1,
Generating a metadata file for each layer based on media data separated for each layer; And
Transmitting a metadata file generated for each layer through the plurality of networks;
The method comprising the steps of: 제 3 항에 있어서,
상기 메타데이터 파일은 분할 정보, 코덱 정보 및 접속 아이피 주소정보 중 적어도 하나를 포함하는 것을 특징으로 하는 미디어 스트리밍 전송방법.The method of claim 3,
Wherein the metadata file includes at least one of partition information, codec information, and connection IP address information. 소정의 콘텐트를 다수의 계층으로 인코딩하여 미디어 데이터를 생성하는 인코딩부;
가용 네트워크 수에 따라 상기 인코딩부의 인코딩을 위한 계층을 할당하는 계층 제어부;
상기 인코딩부에서 생성된 미디어 데이터를 각 계층 별로 분리하는 계층 분리부;
상기 계층 분리부에서 각 계층 별로 분리된 미디어 데이터를 세그먼트들로 분할하는 세그먼트 생성부;
상기 세그먼트 생성부에서 분할된 미디어 데이터의 세그먼트들을 각각 저장하는 저장부; 및
상기 저장부에 저장된 세그먼트들을 메인 아이피 네트워크를 통해 우선적으로 전송하고 나머지 세그먼트들을 적어도 하나의 서브 아이피 네트워크를 통해 전송하는 미디어 전송부;
를 포함하는 것을 특징으로 하는 미디어 전송장치.An encoding unit encoding the predetermined content into a plurality of layers to generate media data;
A layer controller for allocating a layer for encoding the encoding unit according to the number of available networks;
A layer separator for separating the media data generated by the encoding unit into layers;
A segment generating unit for dividing media data separated by each layer in the hierarchical separating unit into segments;
A storage unit for storing segments of the media data segmented by the segment generation unit, respectively; And
A media transmission unit for preferentially transmitting segments stored in the storage unit through a main IP network and transmitting the remaining segments through at least one sub-IP network;
Wherein the media transmission apparatus comprises: 제 5 항에 있어서,
상기 세그먼트 생성부에서 세그먼트들로 분할된 미디어 데이터를 대상으로 각 계층 별로 메타데이터 파일을 생성하고 생성된 메타데이터 파일을 상기 다수의 네트워크를 통해 전송하는 메타데이터 생성부;
를 더 포함하는 것을 특징으로 하는 미디어 전송장치.6. The method of claim 5,
A metadata generation unit for generating a metadata file for each layer of the media data segmented by segments in the segment generation unit and transmitting the generated metadata file through the plurality of networks;
Further comprising: means for receiving the media information from the media server. 미디어 수신장치의 미디어 스트리밍 수신방법에 있어서,
소정의 콘텐트를 다수의 계층으로 인코딩하여 생성된 미디어 데이터를 다수의 네트워크를 통해 미디어 전송장치로부터 수신하는 단계; 및
상기 수신된 미디어 데이터를 디코딩하는 단계를 포함하고,
상기 미디어 전송장치로부터 수신된 미디어 데이터는 다수의 계층으로 인코딩된 후 분할된 세그먼트들로 구성되고,
상기 다수의 네트워크를 통해 미디어 전송장치로부터 수신하는 단계는,
우선적으로 메인 아이피 네트워크가 수용할 수 있는 계층까지의 세그먼트를 상기 메인 아이피 네트워크를 통해 수신하고, 상기 메인 아이피 네트워크를 통해 모든 세그먼트가 수신되지 않은 경우 수신되지 않은 나머지 계층의 세그먼트를 적어도 하나의 서브 아이피 네트워크를 통해 수신하는 것을 특징으로 하는 미디어 스트리밍 수신방법.A media streaming receiving method of a media receiving apparatus,
The method comprising the steps of: receiving media data generated by encoding predetermined content into a plurality of layers from a media transmission apparatus through a plurality of networks; And
And decoding the received media data,
Wherein the media data received from the media transmission apparatus is encoded into a plurality of layers and then divided into segments,
Wherein the receiving from the media transmission apparatus via the plurality of networks comprises:
A segment up to a layer that can be accommodated by the main IP network is first received through the main IP network, and if all segments are not received through the main IP network, a segment of the remaining layer not received is divided into at least one sub- And receiving the data through the network. 제 7 항에 있어서,
미디어 데이터 인코딩 이후 계층 별로 생성된 메타데이터 파일을 상기 미디어 전송장치로부터 수신하는 단계; 및
상기 수신된 계층 별 메타데이터 파일을 이용하여 상기 미디어 수신장치가 접속할 적어도 하나의 네트워크를 결정하는 단계; 를 더 포함하며,
상기 미디어 데이터를 다수의 네트워크를 통해 미디어 전송장치로부터 수신하는 단계는,
상기 결정된 적어도 하나의 네트워크에 접속하여 상기 미디어 전송장치로부터 미디어 데이터를 수신하는 것을 특징으로 하는 미디어 스트리밍 수신방법.8. The method of claim 7,
Receiving, from the media transmission apparatus, a metadata file generated for each layer after the media data encoding; And
Determining at least one network to which the media receiving apparatus will connect using the received layer-by-layer metadata file; Further comprising:
Wherein the step of receiving the media data from the media transmission apparatus via the plurality of networks comprises:
And receiving media data from the media transmission apparatus by connecting to the determined at least one network. 제 8 항에 있어서, 상기 미디어 수신장치가 접속할 적어도 하나의 네트워크를 결정하는 단계는,
상기 미디어 전송장치로부터 수신된 메타데이터 파일의 개수를 확인하여 상기 미디어 수신장치가 접속 가능한 네트워크의 개수를 결정하는 단계; 및
메타데이터 파일에 포함된 접속 아이피 주소정보를 통해 확인된 네트워크 별로 네트워크 상태 정보를 이용하여 접속 가능한 네트워크 중에서 접속할 적어도 하나의 네트워크를 결정하는 단계;
를 포함하는 것을 특징으로 하는 미디어 스트리밍 수신방법.9. The method of claim 8, wherein determining at least one network to which the media receiving device will connect comprises:
Confirming the number of metadata files received from the media transmission apparatus and determining the number of networks to which the media receiving apparatus can connect; And
Determining at least one network to be connected among the connectable networks using the network status information for each network identified through the connection IP address information included in the meta data file;
And receiving the media streaming data. 제 7 항에 있어서, 상기 수신된 미디어 데이터를 디코딩하는 단계는
상기 다수의 네트워크를 통해 상기 미디어 전송장치로부터 수신된 미디어 데이터의 세그먼트들을 동기화하는 단계; 및
상기 동기화된 세그먼트들을 디코딩하는 단계;
를 포함하는 것을 특징으로 하는 미디어 스트리밍 수신방법.8. The method of claim 7, wherein decoding the received media data comprises:
Synchronizing segments of media data received from the media transmission device over the plurality of networks; And
Decoding the synchronized segments;
And receiving the media streaming data. 제 10 항에 있어서, 상기 수신된 미디어 데이터의 세그먼트들을 동기화하는 단계는,
계층 정보와 네트워크 상태 정보를 이용하여 동기화할 세그먼트들의 개수를 결정하고 동기화 개수가 결정된 세그먼트들을 동기화하는 것을 특징으로 하는 미디어 스트리밍 수신방법.11. The method of claim 10, wherein synchronizing segments of the received media data comprises:
Determining a number of segments to be synchronized using the layer information and the network status information, and synchronizing the segments in which the number of synchronization is determined. 소정의 콘텐트를 다수의 계층으로 인코딩하여 생성된 미디어 데이터를 다수의 네트워크를 통해 미디어 전송장치로부터 수신하는 미디어 수신부; 및
상기 미디어 수신부에서 수신된 미디어 데이터를 디코딩하는 디코딩부를 포함하고,
상기 미디어 전송장치로부터 수신된 미디어 데이터는 다수의 계층으로 인코딩된 후 분할된 세그먼트들로 구성되고,
상기 미디어 수신부는,
우선적으로 메인 아이피 네트워크가 수용할 수 있는 계층까지의 세그먼트를 상기 메인 아이피 네트워크를 통해 수신하고, 상기 메인 아이피 네트워크를 통해 모든 세그먼트가 수신되지 않은 경우 수신되지 않은 나머지 계층의 세그먼트를 적어도 하나의 서브 아이피 네트워크를 통해 수신하는 것을 특징으로 하는 미디어 수신장치.A media receiving unit that encodes a predetermined content into a plurality of layers and receives the generated media data from the media transmission apparatus through a plurality of networks; And
And a decoding unit decoding the media data received by the media receiving unit,
Wherein the media data received from the media transmission apparatus is encoded into a plurality of layers and then divided into segments,
Wherein the media receiver comprises:
A segment up to a layer that can be accommodated by the main IP network is first received through the main IP network, and if all segments are not received through the main IP network, a segment of the remaining layer not received is divided into at least one sub- And receives via the network. 제 12 항에 있어서,
미디어 데이터 인코딩 이후 계층 별로 생성된 메타데이터 파일을 상기 미디어 전송장치로부터 수신하고, 계층 별 메타데이터 파일과 네트워크 상태정보를 이용하여 상기 미디어 수신장치가 접속할 적어도 하나의 네트워크를 결정하는 스트리밍 제어부; 를 더 포함하며,
상기 미디어 수신부는,
상기 스트리밍 제어부에서 결정된 적어도 하나의 네트워크를 통해 상기 미디어 전송장치로부터 미디어 파일을 수신하는 것을 특징으로 하는 미디어 스트리밍 수신장치.13. The method of claim 12,
A streaming control unit that receives a metadata file generated for each layer after the media data encoding from the media transmission apparatus and determines at least one network to which the media receiving apparatus will connect using the meta data file and the network status information; Further comprising:
Wherein the media receiver comprises:
And receives the media file from the media transmission apparatus via at least one network determined by the streaming control unit. 제 13 항에 있어서,
다수의 네트워크 별 상태를 분석하여 가용 네트워크에 대한 네트워크 상태 정보를 상기 스트리밍 제어부에 제공하는 채널 분석부;
를 더 포함하는 것을 특징으로 하는 미디어 수신장치.14. The method of claim 13,
A channel analyzer for analyzing a plurality of network statuses and providing network status information on an available network to the streaming controller;
Further comprising: a receiving unit for receiving the media data; 제 12 항에 있어서,
상기 다수의 네트워크를 통해 상기 미디어 전송장치로부터 수신된 미디어 데이터의 세그먼트들을 동기화하는 동기화부;
를 더 포함하는 것을 특징으로 하는 미디어 스트리밍 수신장치.13. The method of claim 12,
A synchronization unit for synchronizing segments of media data received from the media transmission apparatus via the plurality of networks;
Further comprising: means for receiving the media streaming information from the media streaming receiving apparatus.
KR1020170034073A 2017-03-17 2017-03-17 Adaptive media streaming transmission method and apparatus for multi network KR101808639B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170034073A KR101808639B1 (en) 2017-03-17 2017-03-17 Adaptive media streaming transmission method and apparatus for multi network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170034073A KR101808639B1 (en) 2017-03-17 2017-03-17 Adaptive media streaming transmission method and apparatus for multi network

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120050964A Division KR20130127211A (en) 2012-05-14 2012-05-14 Adaptive media streaming transmission method and apparatus for multi network environment

Publications (2)

Publication Number Publication Date
KR20170034368A true KR20170034368A (en) 2017-03-28
KR101808639B1 KR101808639B1 (en) 2018-01-18

Family

ID=58495623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170034073A KR101808639B1 (en) 2017-03-17 2017-03-17 Adaptive media streaming transmission method and apparatus for multi network

Country Status (1)

Country Link
KR (1) KR101808639B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content

Also Published As

Publication number Publication date
KR101808639B1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
KR101808639B1 (en) Adaptive media streaming transmission method and apparatus for multi network
US9544641B2 (en) Hybrid transmission method through MMT packet format extension
RU2328086C2 (en) Data flow commutation based on gradual recovery during decoding
US9781188B2 (en) Method for transreceiving media content and device for transreceiving using same
JP5338394B2 (en) VIDEO DISTRIBUTION SYSTEM, VIDEO DISTRIBUTION METHOD, VIDEO DISTRIBUTION DEVICE, AND VIDEO DISTRIBUTION PROGRAM
US20130304933A1 (en) Multi-network environment adaptive media streaming transmission method and apparatus
US20100161823A1 (en) A streaming service system and method for universal video access based on scalable video coding
KR20100037659A (en) Method and apparatus for hierarchical transmission/reception in digital broadcast
KR20130108198A (en) Method of hybrid delievery for mmt packaged svc video contents and method of recieving
US8259735B2 (en) Constant bit rate video stream
EP2445212A1 (en) Method and device for selecting operation point of scalable video coding and providing information
EP2627082A2 (en) Method for transmitting a scalable http stream for natural reproduction upon the occurrence of expression-switching during http streaming
KR101764317B1 (en) Streaming server, streaming system and streaming method
US20140002598A1 (en) Transport system and client system for hybrid 3d content service
US20200021867A1 (en) Broadcast signal transmitting and receiving method and device
KR101697385B1 (en) Channel adaptive hierarchy broadcasting apparatus and method
US10045162B2 (en) Device and method for transmitting and receiving media service in hybrid network
KR20150083407A (en) Method and apparatus for transceiving data packet for multimedia data in variable size
KR101656193B1 (en) MMT-based Broadcasting System and Method for UHD Video Streaming over Heterogeneous Networks
KR20140002471A (en) Transport system and client system for hybrid 3d contents service
KR20170130883A (en) Method and apparatus for virtual reality broadcasting service based on hybrid network
JP2010272943A (en) Network decoder apparatus
KR20230049204A (en) Adaptive media streaming transmission method and apparatus for multi network
KR20230121950A (en) Adaptive media streaming transmission method and apparatus for multi network
US11729442B2 (en) Multiplexed place shifting device

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant