KR102372421B1 - Multimedia data live streaming system and method in response to network condition - Google Patents

Multimedia data live streaming system and method in response to network condition Download PDF

Info

Publication number
KR102372421B1
KR102372421B1 KR1020200150192A KR20200150192A KR102372421B1 KR 102372421 B1 KR102372421 B1 KR 102372421B1 KR 1020200150192 A KR1020200150192 A KR 1020200150192A KR 20200150192 A KR20200150192 A KR 20200150192A KR 102372421 B1 KR102372421 B1 KR 102372421B1
Authority
KR
South Korea
Prior art keywords
index file
segment group
segments
state
quality
Prior art date
Application number
KR1020200150192A
Other languages
Korean (ko)
Inventor
이영주
민정규
김영석
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020200150192A priority Critical patent/KR102372421B1/en
Priority to PCT/KR2020/016694 priority patent/WO2022102842A1/en
Application granted granted Critical
Publication of KR102372421B1 publication Critical patent/KR102372421B1/en

Links

Images

Classifications

    • H04L65/602—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/20—Arrangements for detecting or preventing errors in the information received using signal quality detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416—Real-time traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/29—Flow control; Congestion control using a combination of thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L65/4069—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Abstract

The present invention relates to a multimedia data real time streaming system including a server for providing a real time multimedia streaming service, and a user terminal connected to the server through a network. The server includes: a storage means, in regard to the same multimedia data, storing a first segment group of a high quality transmitted when a network condition is good and a first lower index file indicating segments of the first segment group, a second segment group of a low quality transmitted when the network condition is bad and a second lower index file indicating segments of the second segment group, and information about the first and second lower index files; and a transmission control means selecting a corresponding lower index file in accordance with the network condition to transmit the file to the user terminal, and transmit a segment group corresponding to the selected lower index file to the user terminal, wherein the storage means stores a third lower index file corresponding to a medium condition between the good and bad conditions of the network, and the third lower index file includes information indicating selected segments of the first segment group and selected segments of the second segment group. Therefore, the present invention is capable of increasing the quality of multimedia by using as many networks as possible.

Description

네트워크 상태에 따른 멀티미디어 데이터 실시간 스트리밍을 위한 시스템 및 그방법{MULTIMEDIA DATA LIVE STREAMING SYSTEM AND METHOD IN RESPONSE TO NETWORK CONDITION}A system and method for real-time streaming of multimedia data according to network conditions

본 발명은 네트워크 상태에 따른 멀티미디어 실시간 스트리밍 기술에 관한 것으로, 더욱 자세하게는 네트워크 품질(대역폭) 상태에 따라 서로 다른 품질의 멀티미디어 데이터를 전송하는 실시간 스트리밍 시스템에서 네트워크 품질 상태에 따라 고품질의 세그먼트와 저품질의 세그먼트를 혼합하여 전송할 수 있도록 함으로써, 동일 대역폭에서 보다 향상된 품질의 멀티미디어 데이터를 스트리밍할 수 있는 멀티미디어 데이터 실시간 스트리밍을 위한 시스템 및 그 방법에 관한 것이다.The present invention relates to a multimedia real-time streaming technology according to a network state, and more particularly, a high-quality segment and a low-quality Disclosed are a system and method for real-time streaming of multimedia data capable of streaming multimedia data of improved quality in the same bandwidth by mixing and transmitting segments.

일반적으로 인터넷은 패킷(packet) 단위로 데이터를 송수신하게 되는데, 이때 통신할 두 단말기 사이에 전송 대역폭이 항상 보장되는 것이 아니라, 일단 경로가 선정되면 각 패킷 단위로 동적으로 대역폭을 점유해 가면서 데이터 송수신이 이루어진다. In general, the Internet transmits and receives data in packets. At this time, the transmission bandwidth is not always guaranteed between two terminals to communicate. Once a path is selected, it dynamically occupies the bandwidth in units of each packet to transmit and receive data. this is done

멀티미디어 데이터를 실시간으로 스트리밍 하는 서비스의 경우 현재 네트워크의 전송 대역폭(bandwidth)에 맞추어 멀티미디어 데이터의 비트레이트(bitrate)와 FPS(frames per second)를 조절하여 전송함으로써, 서비스 품질(QoS: Quality of Service)을 만족하는 서비스를 제공할 수 있다.In the case of a service that streams multimedia data in real time, by adjusting the bitrate and FPS (frames per second) of the multimedia data according to the current network transmission bandwidth and transmitting it, Quality of Service (QoS) We can provide a service that satisfies

종래에는 네트워크의 상태의 변화에 상관없이 서비스 품질(QoS)을 만족하는 스트리밍 서비스를 제공하기 위해, 스트리밍 서버가 동일 멀티미디어 데이터에 대해서 여러 가지 품질을 가지는 세그먼트(segment) 복사본을 생성 및 저장한 후 네트워크 대역폭 상태에 따라 서비스하는 방법이 채택되어 적용되고 있다.In the related art, in order to provide a streaming service that satisfies the quality of service (QoS) regardless of a change in the state of the network, the streaming server creates and stores copies of segments having various qualities for the same multimedia data and stores the network. A service method is adopted and applied according to the bandwidth condition.

다시 말해, 네트워크 대역폭 상태가 나쁘면 낮은 품질의 세그먼트를 전송하고, 네트워크 대역폭 상태가 좋으면 높은 품질의 세그먼트를 전송하여, 멀티미디어 데이터의 재생은 끊김 현상 없이 수행되되 재생 화질만이 네트워크 대역폭 상태에 따라 가변되도록 하는 것이다.In other words, a low-quality segment is transmitted when the network bandwidth condition is poor, and a high-quality segment is transmitted when the network bandwidth condition is good so that multimedia data reproduction is performed without interruption, but only the reproduction quality varies according to the network bandwidth condition. will do

도1은 종래의 멀티미디어 스트리밍 시스템의 구성도를 도시한 것으로, 멀티미디어 스트리밍 시스템은 스트리밍 서버(100)와 멀티미디어 데이터를 재생하는 사용자 단말(200)로 구성되고, 스트리밍 서버(100)는 데이터 통신부(110), 메시지 분석부(121), 전송량 제어부(122), 및 데이터 저장부(130)를 구비하고, 사용자 단말(200)은 데이터 통신부(210), 버퍼부(220), 메시지 생성부(230), 및 재생부(240)를 구비한다.1 shows a configuration diagram of a conventional multimedia streaming system, the multimedia streaming system is composed of a streaming server 100 and a user terminal 200 that reproduces multimedia data, and the streaming server 100 is a data communication unit 110 ), a message analysis unit 121 , a transmission amount control unit 122 , and a data storage unit 130 , and the user terminal 200 includes a data communication unit 210 , a buffer unit 220 , and a message generation unit 230 . , and a playback unit 240 .

메시지 분석부(121)는 사용자 단말(200)로부터 전송되는 전송 상태 통지 메시지를 분석하여 네트워크 대역폭 상태를 파악한다.The message analysis unit 121 analyzes the transmission status notification message transmitted from the user terminal 200 to determine the network bandwidth status.

데이터 저장부(130)는 동일한 멀티미디어 데이터에 대해 품질이 서로 복수의 세그먼트 집합 및 상기 세그먼트들에 대한 정보를 담고 있는 인덱스 파일을 저장한다.The data storage unit 130 stores a plurality of sets of segments having the same quality for the same multimedia data and an index file containing information on the segments.

다시 말해, 도2를 참조하면, 도2는 종래의 멀티미디어 스트리밍 구조도로, 사용자가 전송을 받으면서 동시에 영상을 재생하기 위해서 서버에서 멀티미디어 데이터를 변환할 때는 여러 개의 짧은 멀티미디어 세그먼트 파일들(segment files)을 가지고 있는 세그먼트 집합과 이에 대한 정보를 담고 있는 인덱스 파일(index file)로 변환하여 데이터 저장부(130)에 저장한다.In other words, referring to FIG. 2, FIG. 2 is a conventional multimedia streaming structure diagram. When a user converts multimedia data in a server to simultaneously play an image while receiving transmission, several short multimedia segment files are used. It is converted into an index file containing the segment set and its information and stored in the data storage unit 130 .

종래의 멀티미디어 스트리밍 서버는 영상을 변환하는 과정에서 하나의 멀티미디어에 대해서 품질이 서로 다른 여러 개의 세그먼트 집합을 만들고, 사용자의 네트워크 상태(대역폭(bandwidth))에 따라서 서로 다른 품질의 세그먼트 집합을 전송한다. The conventional multimedia streaming server makes several segment sets of different quality for one multimedia in the process of converting an image, and transmits segment sets of different qualities according to the user's network state (bandwidth).

종래의 멀티미디어 스트리밍 서버는 여러 개의 세그먼트 집합을 가지는 경우, 각각의 세그먼트 집합을 관리하는 하위 인덱스 파일(slave index file)과 하위 인덱스 파일들을 관리하는 상위 인덱스 파일(master index file)을 생성하여 저장한다.When the conventional multimedia streaming server has a plurality of segment sets, it creates and stores a lower index file (slave index file) managing each segment set and a master index file (master index file) managing lower index files.

전송량 제어부(122)는 사용자의 네트워크 상태(대역폭(BW))를 확인하여 상위 인덱스(Master index) 파일에 적혀있는 조건에 따라 적절한 하위 인덱스 파일을 사용자 단말로 먼저 전송하고, 해당 하위 인덱스 파일에 적혀있는 세그먼트 파일들을 순서대로 전송한다. 도2를 참조하면, 사용자의 네트워크 상태(BW)가 중간 품질인 MM인 경우 상위 인덱스 파일에 기록된 조건에 따라 중간 품질에 대응되는 하위 인덱스 파일을 전송하고, 상기 전송한 하위 인덱스 파일에 대응되는 세그먼트 파일들을 순서대로 전송한다.The transmission amount control unit 122 checks the user's network state (bandwidth (BW)) and first transmits an appropriate lower index file to the user terminal according to the conditions written in the upper index (Master index) file, and is written in the lower index file Segment files are transmitted in order. Referring to FIG. 2 , when the user's network state (BW) is MM of medium quality, a lower index file corresponding to the intermediate quality is transmitted according to the condition recorded in the upper index file, and the lower index file corresponding to the transmitted lower index file is transmitted. Segment files are transmitted sequentially.

사용자 단말(200)의 데이터 통신부(210)는 네트워크를 통해 스트리밍 서버(100)와의 접속을 수행하고, 스트리밍 서버(100)로부터 전송되는 멀티미디어 데이터를 수신한다.The data communication unit 210 of the user terminal 200 performs a connection with the streaming server 100 through a network, and receives multimedia data transmitted from the streaming server 100 .

버퍼부(220)는 스트리밍 서버(100)로부터 전송되는 멀티미디어 데이터를 수신하여 버퍼링한다.The buffer 220 receives and buffers multimedia data transmitted from the streaming server 100 .

메시지 생성부(230)는 사용자 단말의 네트워크 상태를 나타내는 메시지를 생성하여 스트리밍 서버(100)로 전송한다.The message generator 230 generates a message indicating the network state of the user terminal and transmits it to the streaming server 100 .

재생부(240)는 버퍼부(220)내에 버퍼된 세그먼트 파일들을 순서대로 재생한다. 사용자 단말은 앞의 파일을 재생하는 동안 뒤의 파일을 전송받는 방식으로 멀티미디어 데이터를 실시간 스트리밍하여 재생한다.The playback unit 240 sequentially plays the segment files buffered in the buffer unit 220 . The user terminal plays the multimedia data by streaming the multimedia data in real time in such a way that the latter file is transmitted while the previous file is played.

이와 같은 종래의 멀티미디어 스트리밍 시스템은 네트워크 상태에 따라 서로 다른 품질의 영상을 재생할 수는 있지만, 웹 서버의 용량의 한계 때문에 많은 옵션을 제공하기에는 한계가 존재한다.Although such a conventional multimedia streaming system can reproduce images of different quality depending on network conditions, there is a limit to providing many options due to the limitation of the capacity of the web server.

따라서 종래의 시스템은 네트워크 상태가 하위품질의 집합을 선택할 조건은 충분히 충족하지만 상위 품질의 집합을 선택할 조건에는 근소하게 부족하여 충족하지 못할 경우, 주어진 대역폭을 효율적으로 사용하지 못하고 네트워크 상태에 비해서 낮은 품질의 영상을 전송받게 되는 문제점이 있다.Therefore, in the conventional system, if the network state sufficiently satisfies the condition for selecting a set of lower quality but slightly insufficient to meet the condition for selecting the set of higher quality, the given bandwidth cannot be used efficiently and the quality of the set is lower than that of the network. There is a problem in that the image of

(특허문헌 1) KR10-0832537 B1 (Patent Document 1) KR10-0832537 B1

(특허문헌 2) KR10-1758167 B1 (Patent Document 2) KR10-1758167 B1

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 발명된 것으로, 네트워크 품질 상태에 따라 고품질의 세그먼트와 저품질의 세그먼트를 혼합하여 전송할 수 있도록 함으로써, 동일 대역폭에서 보다 향상된 품질의 멀티미디어 데이터를 스트리밍할 수 있는 멀티미디어 데이터 실시간 스트리밍을 위한 시스템 및 그 방법을 제공하는데 그 목적이 있다.The present invention was devised to solve the problems of the prior art as described above, and it is possible to stream multimedia data of improved quality in the same bandwidth by mixing and transmitting a high-quality segment and a low-quality segment according to the network quality condition. An object of the present invention is to provide a system and method for real-time streaming of multimedia data.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the objects mentioned above, and other objects and advantages of the present invention not mentioned can be understood by the following description, and will be more clearly understood by the examples of the present invention. It will also be readily apparent that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the appended claims.

상기 목적을 달성하기 위한 본 발명은, 멀티미디어를 실시간으로 스트리밍 서비스를 제공하기 위한 서버와 네트워크를 통해 상기 서버에 연결되는 사용자 단말을 포함하는 멀티미디어 데이터 실시간 스트리밍 시스템에 있어서, 상기 서버는, 사용자 네트워크 상태(대역폭 상태)를 판단하는 네트워크 상태 판단수단; 동일한 멀티미디어 데이터에 대해 네트워크 상태가 좋은 상태일 때 전송되는 높은 품질의 제1 세그먼트 그룹과 상기 제1 세그먼트 그룹의 세그먼트들을 지시하는 제1 하위 인덱스 파일과, 네트워크 상태가 나쁜 상태일 때 전송되는 낮은 품질의 제2 세그먼트 그룹과 상기 제2 세그먼트 그룹의 세그먼트들을 지시하는 제2 하위 인덱스 파일 및 상기 제1 및 제2 하위 인덱스 파일에 대한 정보를 저장하는 상위 인덱스 파일을 저장하는 저장수단; 및 상기 네트워크 상태에 따라 대응되는 하위 인덱스 파일을 선택하여 상기 사용자 단말로 전송하고, 상기 선택된 하위 인덱스 파일에 대응되는 세그먼트 그룹을 상기 사용자 단말로 전송하는 전송 제어수단을 포함하되, 상기 저장수단은, 네트워크 상태가 좋은 상태와 나쁜 상태의 중간 상태에 해당되는 제3 하위 인덱스 파일을 저장하고, 상기 제3 하위 인덱스 파일은 상기 제1 세그먼트 그룹 중 선택된 세그먼트들과 상기 제2 세그먼트 그룹 중 선택된 세그먼트들을 지시하는 정보를 포함하는 멀티미디어 스트리밍 시스템을 제공한다.The present invention for achieving the above object is a multimedia data real-time streaming system comprising a server for providing a multimedia streaming service in real time and a user terminal connected to the server through a network, wherein the server is configured to provide a user network state network state determination means for determining (bandwidth state); For the same multimedia data, the high-quality first segment group transmitted when the network condition is good, the first sub-index file indicating the segments of the first segment group, and the low-quality transmitted when the network condition is bad storage means for storing a second segment group of , a second lower index file indicating segments of the second segment group, and an upper index file storing information on the first and second lower index files; and transmission control means for selecting a corresponding lower index file according to the network state and transmitting it to the user terminal, and transmitting a segment group corresponding to the selected lower index file to the user terminal, wherein the storage means, A third sub-index file corresponding to an intermediate state between a good state and a bad network state is stored, and the third sub-index file indicates selected segments of the first segment group and selected segments of the second segment group. It provides a multimedia streaming system including the information.

바람직하게 상기 서버는, 고품질의 상기 제1 세그먼트 그룹의 세그먼트들과 저품질의 상기 제2 세그먼트 그룹의 세그먼트들 사이의 품질 척도를 측정하여 임계값 이하인 경우 상기 제1 세그먼트 그룹의 세그먼트들을 임의 개수 선택하고 나머지를 상기 제2 세그먼트 그룹의 세그먼트들을 선택하여 상기 제3 하위 인덱스 파일을 생성하고, 상기 생성된 제3 하위 인덱스 파일을 반영하여 상기 상위 인덱스 파일을 수정한다.Preferably, the server selects a random number of segments of the first segment group when the quality scale between the segments of the first segment group of high quality and the segments of the second segment group of low quality is equal to or less than a threshold value, The remaining segments of the second segment group are selected to generate the third lower index file, and the upper index file is modified by reflecting the generated third lower index file.

바람직하게는 상기 서버는, 품질 척도로 구조적 유사성 지수(SSIM)를 측정하고, 상기 구조적 유사성 지수에 따라 세그먼트들을 선택하여 상기 제3 하위 인덱스 파일을 생성한다.Preferably, the server measures a structural similarity index (SSIM) as a quality measure, and generates the third sub-index file by selecting segments according to the structural similarity index.

또한 상기 목적을 달성하기 위한 본 발명운, 동일한 멀티미디어 데이터에 대해 네트워크 상태가 좋은 상태일 때 전송되는 높은 품질의 제1 세그먼트 그룹과 상기 제1 세그먼트 그룹의 세그먼트들을 지시하는 제1 하위 인덱스 파일과, 네트워크 상태가 나쁜 상태일 때 전송되는 낮은 품질의 제2 세그먼트 그룹과 상기 제2 세그먼트 그룹의 세그먼트들을 지시하는 제2 하위 인덱스 파일 및 상기 제1 및 제2 하위 인덱스 파일에 대한 정보를 저장하는 상위 인덱스 파일을 저장하는 멀티미디어를 실시간으로 스트리밍 시스템에 적용되는 실시간 스트리밍을 위한 방법에 있어서, 네트워크 상태가 좋은 상태인 제1 상태와 네트워크 상태가 나쁜 상태인 제2 상태 사이의 제3 상태를 나타내는 제1 임계값을 설정하는 제1 단계; 상기 제1 세그먼트 그룹의 세그먼트들과 상기 제2 세그먼트 그룹의 세그먼트들 사이의 품질 척도를 측정하는 제2 단계; 상기 측정한 품질 척도가 제2 임계값보다 작으면 상기 제1 세그먼트 그룹의 세그먼트에서 임의 개수를 선택하고 나머지는 상기 제2 세그먼트 그룹의 세그먼트에서 임의 개수를 선택하여 제3 하위 인덱스 파일을 생성하는 제3 단계; 상기 측정한 품질 척도가 상기 제2 임계값보다 크면 상기 제2 세그먼트 그룹에서 나머지 세그먼트들을 선택한 후 상기 제3 하위 인덱스 파일을 생성하는 제4 단계; 및 상기 생성된 제3 하위 인덱스 파일을 반영하여 상기 상위 인덱스 파일을 수정하는 제5 단계를 포함하는 멀티미디어 실시간 스트리밍을 위한 방법을 제공한다.In addition, the present invention for achieving the above object, the high-quality first segment group transmitted when the network condition is good for the same multimedia data and a first lower index file indicating segments of the first segment group; An upper index storing information on a second low-quality second segment group transmitted when the network condition is bad, a second lower index file indicating segments of the second segment group, and the first and second lower index files In the method for real-time streaming applied to a real-time streaming system for multimedia storing files, a first threshold indicating a third state between a first state in which a network state is good and a second state in which a network state is bad a first step of setting a value; a second step of measuring a quality measure between the segments of the first segment group and the segments of the second segment group; If the measured quality measure is smaller than the second threshold value, a third sub-index file is generated by selecting a random number from the segments of the first segment group and selecting a random number from the segments of the second segment group for the remainder. Step 3; a fourth step of generating the third sub-index file after selecting the remaining segments from the second segment group when the measured quality measure is greater than the second threshold value; and a fifth step of modifying the upper index file by reflecting the generated third lower index file.

상기와 같은 본 발명은, 기존의 멀티미디어 세그먼트 파일을 그대로 사용하면서 네트워크 상태에 따라 고품질 세그먼트와 저품질 세그먼트를 포함하는 하위 인덱스 파일만을 새롭게 생성하는 방식으로 인덱스 파일에 품질에 대한 옵션을 추가하였다. 이에 따라 본 발명은 현재 사용 가능한 네트워크를 가능한 많이 사용함으로써 시청하는 멀티미디어의 품질을 더 높일 수 있는 효과가 있다.According to the present invention as described above, while using the existing multimedia segment file as it is, a quality option is added to the index file by newly generating only a sub-index file including a high-quality segment and a low-quality segment according to a network condition. Accordingly, the present invention has the effect of further increasing the quality of multimedia viewed by using as many currently available networks as possible.

도 1은 종래의 기술에 따른 멀티미디어 스트리밍 시스템의 구성도이다.
도 2는 종래의 멀티미디어 스트리밍 구조를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 멀티미디어 스트리밍 구조를 설명하기 위한 도면이다.
도 4는 본 발명에 따른 추가될 하위 인덱스 파일을 생성하는 과정에 대한 알고리즘을 나타낸 도면이다.
도 5는 본 발명에 따른 추가될 하위 인덱스 파일을 생성하는 과정에 대한 흐름도이다.
도 6a 및 6b는 본 발명에 따른 멀티미디어 품질 향상을 설명하기 위한 그래프이다.1 is a block diagram of a multimedia streaming system according to the prior art.
2 is a diagram for explaining a conventional multimedia streaming structure.
3 is a diagram for explaining a multimedia streaming structure according to the present invention.
4 is a diagram illustrating an algorithm for a process of generating a sub-index file to be added according to the present invention.
5 is a flowchart of a process of creating a sub-index file to be added according to the present invention.
6A and 6B are graphs for explaining multimedia quality improvement according to the present invention.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다.The above-described objects, features, and advantages will become more clear through the detailed description that will be described later in detail with reference to the accompanying drawings, and accordingly, those of ordinary skill in the art to which the present invention pertains can understand the technical spirit of the present invention. It will be easy to implement. In addition, in the description of the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명은 HLS(HTTP Live Streaming) 형태의 멀티미디어 서버와 네트워크를 통해 연결된 사용자 단말로 구성되는 멀티미디어 실시간 스트리밍 시스템에 적용된다. 하지만, 본 발명은 HLS 형태의 스트리밍 서비스 뿐만 아니라 다양한 멀티미디어 스트리밍 시스템에 적용될 수 있다. 예를 들어, 본 발명은 MPEG-DASH와 같이 먼저 네트워크 상태를 확인하고 그 다음 어떤 세그먼트들을 고르는지 알려주는 형태의, 일종의 트리와 같은 구조를 지니는 멀티미디어 스트리밍 시스템에서 활용될 수 있다.The present invention is applied to a multimedia real-time streaming system composed of a HLS (HTTP Live Streaming) type multimedia server and a user terminal connected through a network. However, the present invention can be applied to various multimedia streaming systems as well as HLS-type streaming services. For example, the present invention can be utilized in a multimedia streaming system having a tree-like structure, such as MPEG-DASH, which first checks the network status and then informs which segments to select.

멀티미디어 서버는 복수의 사용자 단말기들과 네트워크를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 멀티미디어 서버는 복수의 사용자 단말기들에 설치되어 구동되는 컴퓨터 프로그램으로서의 어플리케이션을 통해, 해당 어플리케이션이 목적하는 서비스(일례로, 동영상 서비스 등)를 복수의 사용자 단말기들로 제공할 수 있다.The multimedia server may be implemented as a computer device or a plurality of computer devices that communicates with a plurality of user terminals through a network to provide commands, codes, files, contents, services, and the like. For example, the multimedia server may provide a service (eg, a video service, etc.) targeted by the corresponding application to a plurality of user terminals through an application as a computer program installed and driven in a plurality of user terminals.

통신 방식은 제한되지 않으며, 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선인터넷, 방송망, 위성망 등)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.The communication method is not limited, and not only a communication method using a communication network (eg, a mobile communication network, a wired Internet, a wireless Internet, a broadcasting network, a satellite network, etc.) that the network may include, but also short-range wireless communication between devices may be included. For example, the network includes a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), a broadband network (BBN), the Internet, and the like. may include any one or more of the networks of In addition, the network 170 may include any one or more of a network topology including a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree or a hierarchical network, etc. not limited

사용자 단말은 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크를 통해 다른 전자 기기들 및/또는 서버와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.The user terminal may refer to one of various physical computer devices capable of communicating with other electronic devices and/or a server through a network using a wireless or wired communication method.

본 발명은 멀티미디어 스트리밍 시스템에서 최고 혹은 최저의 상태가 아닌 특정 중간 네트워크 상태에 대해서 전송한 세그먼트들을 선택할 수 있는 새로운 옵션을 추가함으로써 네트워크 상태에 대응하여 최적의 품질을 가지는 멀티미디어 데이터를 사용자가 이용할 수 있도록 하는 개선된 멀티미디어 실시간 스트리밍 방법을 제안한다.The present invention adds a new option to select segments transmitted for a specific intermediate network state, not the highest or lowest state in the multimedia streaming system, so that the user can use multimedia data with optimal quality in response to the network state. We propose an improved multimedia real-time streaming method.

본 발명은 멀티미디어 데이터 품질에 대해 새로운 옵션 추가에 따른 용량 증가에 대해 세그먼트 집합이 대부분의 용량을 차지하고 하위 인덱스 파일이 주는 영향은 미비하다는 점에 기반하고 있다.The present invention is based on the fact that the segment set occupies most of the capacity with respect to the increase in capacity due to the addition of a new option for multimedia data quality, and the influence of the lower index file is negligible.

본 발명은 기존의 방식대로 멀티미디어 데이터를 변환할 때 생성되는 여러 세그먼트 집합을 구성하는 세그먼트 파일(segment file)들을 그대로 사용하여 추가적인 세그먼트 파일 추가 없이 새로운 세그먼트 집합을 만드는 것에 기반하고 있다.The present invention is based on creating a new segment set without adding additional segment files by using the segment files constituting several segment sets generated when converting multimedia data in the conventional manner.

본 발명은 세그먼트 파일을 추가하지 않고 하위 인덱스 파일만 추가함으로써 새로운 옵션을 생성하기에 서버에 추가적인 용량을 요구하지 않으면서 추가적인 옵션을 생성할 수 있다.Since the present invention creates a new option by adding only a lower index file without adding a segment file, it is possible to create an additional option without requiring additional capacity in the server.

이와 같은 본 발명의 특징을 도3을 참조하여 설명한다. 도3은 본 발명에 따른 개선된 멀티미디어 실시간 스트리밍 방법을 설명하기 위한 도면이다.The characteristics of the present invention as described above will be described with reference to FIG. 3 . 3 is a diagram for explaining an improved multimedia real-time streaming method according to the present invention.

도3은 도2와 비교하여 네트워크 상태에 따른 선택 옵션이 추가되었고, 따라서 특정 범위의 네트워크 상태에서는 다른 하위 인덱스 파일이 선택되도록 하고 있다. 다시 말해, 네트워크 상태가 좋은 HH 상태와 네트워크 상태가 중간인 MM 상태 사이에 네트워크 상태가 중간 보다는 좋은 PP1 상태가 추가되고, 네트워크 상태가 PP1 상태일 때, 전송한 세그먼트 집합들을 나타내는 하위 인덱스 파일 index(Sp1)이 추가된다. 하위 인덱스 파일 index(Sp1)은 네트워크 상태가 중간인 경우 전송되는 세그먼트 집합 중 일부와 네트워크 상태가 좋은 상태인 경우 전송되는 세그먼트 집합 중 일부가 포함될 수 있다.In FIG. 3, a selection option according to a network state is added compared to FIG. 2, and thus, a different sub-index file is selected in a network state of a specific range. In other words, a PP 1 state with a better network state than a medium is added between the HH state with a good network state and the MM state with a medium network state. When the network state is PP 1 , a sub-index file indicating transmitted segment sets index(S p1 ) is added. The lower index file index(S p1 ) may include a part of a transmitted segment set when the network status is medium and a part of a transmitted segment set when the network status is good.

마찬가지로, 네트워크 상태가 중간인 MM 상태와 네트워크 상태가 나쁜 상태인 LL 상태 사이에 네트워크 상태가 중간보다는 낮은 PP2 상태가 추가되고, 네트워크 상태가 PP2 상태일 때, 전송한 세그먼트 집합들을 나타내는 하위 인덱스 파일 index(Sp2)이 추가된다. 하위 인덱스 파일 index(Sp2)은 네트워크 상태가 중간인 경우 전송되는 세그먼트 집합 중 일부와 네트워크 상태가 나쁜 상태인 경우 전송되는 세그먼트 집합 중 일부가 포함될 수 있다.Similarly, a PP 2 state with a lower network state than medium is added between the MM state with a medium network state and the LL state with a bad network state. When the network state is PP 2 , a sub-index indicating transmitted segment sets The file index(S p2 ) is added. The sub-index file index(S p2 ) may include a part of a transmitted segment set when the network status is medium and a part of a transmitted segment set when the network status is bad.

이와 같이 새로운 하위 인덱스 파일이 생성되면 이를 반영하여 상위 인덱스 파일(Master index)이 수정된다.As such, when a new lower index file is created, the upper index file (Master index) is modified to reflect it.

멀티미디어 스트리밍 서버는 사용자 단말의 네트워크 상태를 입력받아 네트워크 상태(BW)에 따른 하위 인덱스 파일을 선택하여 전송하고, 상기 전송된 하위 인덱스 파일에 대응되는 세그먼트 파일들을 사용자 단말로 전송한다. 이에 따라 사용자 단말은 종래 기술보다 더 높은 품질의 멀티미디어 데이터를 재생할 수 있다.The multimedia streaming server receives the network state of the user terminal, selects a lower index file according to the network state (BW), and transmits it, and transmits segment files corresponding to the transmitted lower index file to the user terminal. Accordingly, the user terminal can reproduce multimedia data of higher quality than in the prior art.

도 4는 본 발명에 따른 저품질(SL)과 고품질(SH)의 멀티미디어에 대한 세그먼트 파일 집합들과 하위 인덱스파일들로부터 새롭게 추가할 하위 인덱스 파일을 제작하는 과정에 대한 알고리즘을 나타낸 도면이다.4 is a diagram illustrating an algorithm for a process of producing a sub-index file to be newly added from segment file sets and sub-index files for low-quality (S L ) and high-quality (S H ) multimedia according to the present invention.

새롭게 추가할 옵션이 저품질과 고품질 중 어느 쪽에 더 가까운지를 설정할 임계값(q)을 먼저 설정한다. 0이면 저품질, 1이면 고품질에 해당하고 그 사이의 값으로 임계값(q)을 설정한다.First, a threshold value (q) to set whether the new option to be added is closer to either low quality or high quality is set. 0 corresponds to low quality, 1 corresponds to high quality, and the threshold value q is set to a value in between.

저품질과 고품질의 각 세그먼트 파일들 사이의 구조적 유사성 지수(structural similarity index, SSIM)를 측정하여 고품질의 세그먼트에서 그 값이 가장 작은 것들부터 q*N개를 선택하고, 나머지는 저품질의 세그먼트에서 선택한다.Measure the structural similarity index (SSIM) between each segment file of low-quality and high-quality, and select q*N from the highest-quality segments from the smallest, and select the rest from the low-quality segments. .

그리고 선택한 고품질 및 저품질 세그먼트들을 포함하는 하위 인덱스 파일을 생성하고, 그 후 새로운 옵션이 추가되도록 상위 인덱스 파일을 수정한다.Then, a lower index file including the selected high-quality and low-quality segments is created, and then the upper index file is modified to add new options.

사용할 고품질의 세그먼트를 선택하는 과정에서, 만약 구조적 유사성 지수(SSIM)가 0.99가 넘는다면 고품질 세그먼트들을 선택하는 과정을 중단하고 나머지 세그먼트를 전부 저품질 세그먼트에서 선택한다. 구조적 유사성 지수(SSIM)가 0.99가 넘는다면 두 멀티미디어 데이터의 품질에 있어서 차이가 없다는 뜻이므로 굳이 네트워크를 더 사용하면서 고품질의 세그먼트를 이용할 필요 없기 때문이다.In the process of selecting a high-quality segment to be used, if the structural similarity index (SSIM) exceeds 0.99, the process of selecting high-quality segments is stopped and all remaining segments are selected from the low-quality segments. If the Structural Similarity Index (SSIM) is greater than 0.99, it means that there is no difference in the quality of the two multimedia data, so it is not necessary to use a high-quality segment while using the network more.

본 발명에서는 멀티미디어 세그먼트의 품질 척도로 구조적 유사성 지수(SSIM)를 사용하는 것을 예로 들어 설명하였지만, 품질 척도를 나타내는 피크 신호대잡음비(peak signal-to-noise ratio, PSNR), 평균 평점(mean opinion score, MOS)과 같은 다른 정보를 사용할 수 있다.Although the present invention has been described as an example of using the structural similarity index (SSIM) as a quality measure of a multimedia segment, peak signal-to-noise ratio (PSNR), mean opinion score, MOS) may be used.

도 5는 본 발명에 따른 네트워크 상태에 따른 전송할 세그먼트 집합을 지시하는 하위 인덱스 파일을 생성하는 과정을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a process of generating a lower index file indicating a set of segments to be transmitted according to a network state according to the present invention.

사용자의 네트워크 대역폭 상태에 따라 저품질과 고품질 중 어느 쪽에 더 가까운지를 설정하기 위한 임계값(q)을 설정하는데, 상기 임계값(q)은 저품질 0과 고품질 1 사이의 값으로 설정된다(S61).A threshold value q for setting which is closer to low quality or high quality is set according to the user's network bandwidth status, and the threshold value q is set to a value between low quality 0 and high quality 1 (S61).

저품질과 고품질의 각 세그먼트 파일들 사이의 품질을 측정한다(S62). 본 발명의 실시예에서는 품질 척도로 구조석 유사성 지수(SSIM)을 사용한다.The quality between each segment file of low quality and high quality is measured (S62). In an embodiment of the present invention, the structural stone similarity index (SSIM) is used as a quality measure.

구조적 유사성 지수(SSIM) 측정 결과 0.99보다 작으면(S63), 고품질 세그먼트에서 SSIM 값이 가장 작은 세그먼트부터 선택한다(S64).If the structural similarity index (SSIM) measurement result is less than 0.99 (S63), a segment having the smallest SSIM value is selected from the high-quality segment (S64).

고품질 세그먼트에서 선택된 세그먼트의 개수가 임계값(q)*N(여기서 N은 세그먼트 수를 나타냄) 선택될 때까지 SSIM을 측정한 결과를 바탕으로 고품질 세그먼트를 선택하는 과정을 반복한다(S65).The process of selecting a high-quality segment based on the SSIM measurement result is repeated until the number of segments selected from the high-quality segment is selected as a threshold (q)*N (where N represents the number of segments) (S65).

구조적 유사성 지수(SSIM) 측정 결과, 0.99보다 크면 저품질 세그먼트에서 나머지를 세그먼트를 선택한다(S66). 또한 고품질 세그먼트를 q*N개 선택하면 나머지는 저품질 세그먼트에서 선택한다(S66).As a result of the structural similarity index (SSIM) measurement, if it is greater than 0.99, the remaining segments are selected from the low-quality segments (S66). In addition, if q*N high-quality segments are selected, the rest are selected from low-quality segments (S66).

그리고 선택된 고품질 세그먼트 및 저품질 세그먼트들을 포함하는 하위 인덱스 파일을 생성한다(S67).Then, a sub-index file including the selected high-quality segments and low-quality segments is generated (S67).

이와 같이 사용자 네트워크 상태에 따라 전송한 세그먼트를 나타내는 하위 인덱스 파일을 생성한 다음에는 새로 추가된 하위 인덱스 파일을 반영하여 상위 인덱스 파일을 수정한다(S68).In this way, after the lower index file indicating the transmitted segment is created according to the user network state, the upper index file is modified by reflecting the newly added lower index file (S68).

이와 같이 사용자 네트워크 상태에 따라 복수의 하위 인덱스 파일들이 생성된 후, 사용자의 멀티미디어 전송 요청에 따라 사용자의 네트워크 상태를 확인하고, 네트워크 상태에 대응되는 하위 인덱스 파일을 사용자 단말로 전송한다. 그리고 하위 인덱스 파일에서 지시하는 세그먼트 파일들을 사용자 단말로 전송한다.After the plurality of sub-index files are generated according to the user's network status as described above, the user's network status is checked according to the user's multimedia transmission request, and the sub-index file corresponding to the network status is transmitted to the user terminal. And the segment files indicated by the lower index file are transmitted to the user terminal.

도6a 및 도6b는 본 발명에 따른 멀티미디어 스트리밍 방법을 이용해서 스트리밍을 하였을 경우 현재 사용 가능한 대역폭에서의 멀티미디어 품질과 사용 가능한 대역폭 대비 실제 사용량(네트워크 활용도)에 대한 그래프를 나타낸 도면이다.6A and 6B are diagrams showing graphs of multimedia quality in currently available bandwidth and actual usage (network utilization) compared to available bandwidth when streaming is performed using the multimedia streaming method according to the present invention.

네트워크 상태에 따라 추가되는 옵션이 유한 개인 만큼 품질 그래프는 계단형식으로 나타나게 된다. 네트워크 상태에 따라 전송할 세그먼트들의 하위 인덱스 파일의 옵션이 추가됨으로써 성능 향상이 발생되기 때문에 추가된 옵션에 해당하지 않는 부분의 경우는 기존의 그래프와 겹치게 된다. 추가된 영역에서는 멀티미디어의 품질을 나타내는 지표인 SSIM의 경우 최대 0.012증가, 네트워크 활용도는 최대 42.29%P(102.67%) 증가한다. 즉, 본 발명에 따른면 현재 사용 가능한 네트워크를 가능한 많이 사용함으로써 시청하는 멀티미디어 데이터의 품질을 더 향상시길 수 있다.As the number of options added according to the network status is finite, the quality graph appears in a cascading form. According to the network condition, performance is improved by adding the option of the sub index file of the segments to be transmitted, so the part that does not correspond to the added option overlaps the existing graph. In the added area, SSIM, an indicator of multimedia quality, increases up to 0.012, and network utilization increases by up to 42.29%P (102.67%). That is, according to the present invention, the quality of multimedia data to be viewed can be further improved by using as many currently available networks as possible.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.

컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer-readable media include hardware devices specially configured to store and carry out program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as at least one software module to perform the operations of the present invention, and vice versa.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어서 명백할 것이다.The present invention described above is not limited by the above-described embodiments and the accompanying drawings, and it is common in the technical field to which the present invention pertains that various substitutions, modifications, and changes are possible without departing from the technical spirit of the present invention. It will be clear to those who have the knowledge of

Claims (5)

멀티미디어를 실시간으로 스트리밍 서비스를 제공하기 위한 서버와 네트워크를 통해 상기 서버에 연결되는 사용자 단말을 포함하는 멀티미디어 데이터 실시간 스트리밍 시스템에 있어서,
상기 서버는,
사용자 네트워크 상태(대역폭(BW) 상태)를 판단하는 네트워크 상태 판단수단;
동일한 멀티미디어 데이터에 대해 네트워크 상태가 대역폭(BW)이 소정의 HH인 상태일 때 전송되는 소정의 임계값(q) 초과인 고품질의 제1 세그먼트 그룹과 상기 제1 세그먼트 그룹의 세그먼트들을 지시하는 제1 하위 인덱스 파일과, 네트워크 상태가 대역폭(BW)이 소정의 LL인 상태일 때 전송되는 소정의 임계값(q) 미만인 저품질의 제2 세그먼트 그룹과 상기 제2 세그먼트 그룹의 세그먼트들을 지시하는 제2 하위 인덱스 파일 및 상기 제1 및 제2 하위 인덱스 파일에 대한 정보를 저장하는 상위 인덱스 파일을 저장하는 저장수단; 및
상기 네트워크 상태에 따라 대응되는 하위 인덱스 파일을 선택하여 상기 사용자 단말로 전송하고, 상기 선택된 하위 인덱스 파일에 대응되는 세그먼트 그룹을 상기 사용자 단말로 전송하는 전송 제어수단을 포함하되,
상기 저장수단은 네트워크 상태가 대역폭(BW)이 소정의 HH인 상태와 대역폭(BW)이 소정의 LL인 상태의 중간 상태에 해당되는 제3 하위 인덱스 파일을 저장하고, 상기 제3 하위 인덱스 파일은 상기 제1 세그먼트 그룹 중 선택된 세그먼트들과 상기 제2 세그먼트 그룹 중 선택된 세그먼트들을 지시하는 정보를 포함하고,
상기 서버는,
소정의 임계값(q) 초과인 고품질의 상기 제1 세그먼트 그룹의 세그먼트들과 소정의 임계값(q) 미만인 저품질의 상기 제2 세그먼트 그룹의 세그먼트들 사이의 품질 척도를 측정하여 임계값 이하인 경우 상기 제1 세그먼트 그룹의 세그먼트들을 임의 개수 선택하고 나머지를 상기 제2 세그먼트 그룹의 세그먼트들을 선택하여 상기 제3 하위 인덱스 파일을 생성하고, 상기 생성된 제3 하위 인덱스 파일을 반영하여 상기 상위 인덱스 파일을 수정하고,
상기 서버는 품질 척도로 구조적 유사성 지수(SSIM)를 측정하고, 상기 구조적 유사성 지수에 따라 세그먼트들을 선택하여 상기 제3 하위 인덱스 파일을 생성하는 멀티미디어 스트리밍 시스템.A multimedia data real-time streaming system comprising a server for providing a multimedia streaming service in real time and a user terminal connected to the server through a network,
The server is
network state determination means for determining a user network state (bandwidth (BW) state);
For the same multimedia data, a high-quality first segment group exceeding a predetermined threshold value q and a first indicating segments of the first segment group are transmitted when the network state is the bandwidth BW is a predetermined HH state. A second sub-index file and a second sub-group indicating segments of a low-quality second segment group and the second segment group that are less than a predetermined threshold q transmitted when the network state is a state in which the bandwidth BW is a predetermined LL storage means for storing an index file and an upper index file storing information on the first and second lower index files; and
Transmission control means for selecting a corresponding lower index file according to the network state and transmitting it to the user terminal, and transmitting a segment group corresponding to the selected lower index file to the user terminal,
The storage means stores a third lower index file corresponding to an intermediate state between a state in which the network state is a state in which the bandwidth (BW) is a predetermined HH and a state in which the bandwidth (BW) is a predetermined LL, and the third lower index file includes: and information indicating selected segments of the first segment group and selected segments of the second segment group;
The server is
A quality measure between the segments of the first segment group of high quality that is above a predetermined threshold q and the segments of the second segment group of low quality that is less than the predetermined threshold q is measured, and when the quality is less than the threshold, the An arbitrary number of segments of the first segment group are selected, the remaining segments of the second segment group are selected to generate the third lower index file, and the upper index file is modified by reflecting the generated third lower index file and,
The server measures a structural similarity index (SSIM) as a quality measure, and selects segments according to the structural similarity index to generate the third sub-index file. 삭제delete 삭제delete 동일한 멀티미디어 데이터에 대해 네트워크 상태가 대역폭(BW)이 소정의 HH인 상태일 때 전송되는 소정의 임계값(q) 초과인 고품질의 제1 세그먼트 그룹과 상기 제1 세그먼트 그룹의 세그먼트들을 지시하는 제1 하위 인덱스 파일과, 네트워크 상태가 대역폭(BW)이 소정의 LL인 상태일 때 전송되는 소정의 임계값(q) 미만인 저품질의 제2 세그먼트 그룹과 상기 제2 세그먼트 그룹의 세그먼트들을 지시하는 제2 하위 인덱스 파일 및 상기 제1 및 제2 하위 인덱스 파일에 대한 정보를 저장하는 상위 인덱스 파일을 저장하는 멀티미디어를 실시간으로 스트리밍 시스템에 적용되는 실시간 스트리밍을 위한 방법에 있어서,
네트워크 상태가 대역폭(BW)이 소정의 HH인 상태인 제1 상태와 네트워크 상태가 대역폭(BW)이 소정의 LL인 상태인 제2 상태 사이의 제3 상태를 나타내는 제1 임계값을 설정하는 제1 단계;
상기 제1 세그먼트 그룹의 세그먼트들과 상기 제2 세그먼트 그룹의 세그먼트들 사이의 품질 척도를 측정하는 제2 단계;
상기 측정한 품질 척도가 제2 임계값보다 작으면 상기 제1 세그먼트 그룹의 세그먼트에서 임의 개수를 선택하고 나머지는 상기 제2 세그먼트 그룹의 세그먼트에서 임의 개수를 선택하여 제3 하위 인덱스 파일을 생성하는 제3 단계;
상기 측정한 품질 척도가 상기 제2 임계값보다 크면 상기 제2 세그먼트 그룹에서 나머지 세그먼트들을 선택한 후 상기 제3 하위 인덱스 파일을 생성하는 제4 단계; 및
상기 생성된 제3 하위 인덱스 파일을 반영하여 상기 상위 인덱스 파일을 수정하는 제5 단계를 포함하고,
상기 품질 척도는 상기 제1 세그먼트 그룹의 세그먼트들과 상기 제2 세그먼트 그룹의 세그먼트들 사이의 구조적 유사성 지수(SSIM)인 것을 특징으로 하는 멀티미디어 실시간 스트리밍을 위한 방법.For the same multimedia data, a high-quality first segment group exceeding a predetermined threshold value q and a first indicating segments of the first segment group are transmitted when the network state is the bandwidth BW is a predetermined HH state. A second sub-index file and a second sub-group indicating segments of a low-quality second segment group and the second segment group that are less than a predetermined threshold q transmitted when the network state is a state in which the bandwidth BW is a predetermined LL In the method for real-time streaming applied to a multimedia streaming system in real time for storing an index file and an upper index file storing information about the first and second lower index files,
a first threshold value indicating a third state between a first state in which the network state is a state in which the bandwidth BW is a predetermined HH and a second state in which the network state is a state in which the bandwidth BW is a predetermined LL state Level 1;
a second step of measuring a quality measure between the segments of the first segment group and the segments of the second segment group;
If the measured quality measure is smaller than the second threshold value, a third sub-index file is generated by selecting a random number from the segments of the first segment group and selecting a random number from the segments of the second segment group for the remainder. Step 3;
a fourth step of generating the third sub-index file after selecting the remaining segments from the second segment group when the measured quality measure is greater than the second threshold value; and
A fifth step of modifying the upper index file by reflecting the generated third lower index file,
wherein the quality measure is a Structural Similarity Index (SSIM) between segments of the first segment group and segments of the second segment group. 삭제delete
KR1020200150192A 2020-11-11 2020-11-11 Multimedia data live streaming system and method in response to network condition KR102372421B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200150192A KR102372421B1 (en) 2020-11-11 2020-11-11 Multimedia data live streaming system and method in response to network condition
PCT/KR2020/016694 WO2022102842A1 (en) 2020-11-11 2020-11-24 System and method for real-time streaming of multimedia data according to network conditions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200150192A KR102372421B1 (en) 2020-11-11 2020-11-11 Multimedia data live streaming system and method in response to network condition

Publications (1)

Publication Number Publication Date
KR102372421B1 true KR102372421B1 (en) 2022-03-07

Family

ID=80817337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200150192A KR102372421B1 (en) 2020-11-11 2020-11-11 Multimedia data live streaming system and method in response to network condition

Country Status (2)

Country Link
KR (1) KR102372421B1 (en)
WO (1) WO2022102842A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101758167B1 (en) * 2013-01-15 2017-07-14 후아웨이 테크놀러지 컴퍼니 리미티드 Using quality information for adaptive streaming of media content
KR20180058455A (en) * 2016-11-24 2018-06-01 삼성전자주식회사 Method and apparatus for allocating differential bandwidth of split screen areas using image complexity information

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI116498B (en) * 2002-09-23 2005-11-30 Nokia Corp Bandwidth adjustment
KR100832537B1 (en) * 2006-12-01 2008-05-27 한국전자통신연구원 Multimedia data streaming server and method for changing a traffic in response to network bandwidth condition
EP2189008A4 (en) * 2007-09-13 2013-10-23 Ant Advanced Network Technologies Oy Method and system for wireless real-time collection of multichannel digital audio

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101758167B1 (en) * 2013-01-15 2017-07-14 후아웨이 테크놀러지 컴퍼니 리미티드 Using quality information for adaptive streaming of media content
KR20180058455A (en) * 2016-11-24 2018-06-01 삼성전자주식회사 Method and apparatus for allocating differential bandwidth of split screen areas using image complexity information

Also Published As

Publication number Publication date
WO2022102842A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
CN100382499C (en) Apparatus and method for stream-oriented multimedia data transmission
KR100832537B1 (en) Multimedia data streaming server and method for changing a traffic in response to network bandwidth condition
KR101490122B1 (en) Method for distributing content data packages originated by users of a super peer-to-peer network
KR101702562B1 (en) Storage file format for multimedia streaming file, storage method and client apparatus using the same
US20210306405A1 (en) Apparatus and method for constant quality optimization for adaptive streaming
CN110636339B (en) Scheduling method and device based on code rate and electronic equipment
JP5673538B2 (en) Distribution system
WO2020067592A1 (en) Method and apparatus for transmitting adaptive video in real time by using content-aware neural network
JP5339007B1 (en) Content distribution system
KR20120035881A (en) Method of scalable http streaming in representation switching of http streaming
JP2011019068A (en) Quality control device, quality control system, quality control method, and program
CN102148747A (en) Media stream transmission method and device
KR101922552B1 (en) Method amd apparatus for controlling traffic using adaptive streaming in multimedia content content transmission system
KR102372421B1 (en) Multimedia data live streaming system and method in response to network condition
CN101848224B (en) Network coding method for streaming media of peer-to-peer network
US20110113099A1 (en) Method for transmitting buffer map and network thereof
WO2013005478A1 (en) Content distribution system, content placement determination device, content placement determination method and program
JP6891497B2 (en) Information processing equipment, information processing systems and programs
US9654533B2 (en) Method of adaptively delivering media based on reception status information from media client and apparatus using the same
JP6277318B1 (en) Terminal device, video distribution system, and video distribution method
JP6793526B2 (en) Video distribution system, distribution server, and program
KR20090113505A (en) Scalable video provide system and scalable video provide method
Issa et al. Analysis of adaptive video streaming for users with demand heterogeneity
JP6247782B1 (en) Terminal device, video distribution system, and video distribution method
Bouras et al. Evaluation of single rate multicast congestion control schemes for MPEG-4 video transmission

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant