KR20190118714A - Method for managing qos and receiving apparatus for executing the same - Google Patents

Method for managing qos and receiving apparatus for executing the same Download PDF

Info

Publication number
KR20190118714A
KR20190118714A KR1020180041906A KR20180041906A KR20190118714A KR 20190118714 A KR20190118714 A KR 20190118714A KR 1020180041906 A KR1020180041906 A KR 1020180041906A KR 20180041906 A KR20180041906 A KR 20180041906A KR 20190118714 A KR20190118714 A KR 20190118714A
Authority
KR
South Korea
Prior art keywords
packet
resolution
network
video
video packet
Prior art date
Application number
KR1020180041906A
Other languages
Korean (ko)
Other versions
KR102415156B1 (en
Inventor
윤희태
이홍현
안호성
정지원
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020180041906A priority Critical patent/KR102415156B1/en
Publication of KR20190118714A publication Critical patent/KR20190118714A/en
Application granted granted Critical
Publication of KR102415156B1 publication Critical patent/KR102415156B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0002—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/622—Queue service order
    • H04L47/6225—Fixed service order, e.g. Round Robin
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer

Abstract

Provided are a QOS management method and a receiving device for performing the same. According to an embodiment, the receiving device for preventing the deterioration of the quality of a voice packet received with a video packet in the process of increasing the resolution of the video packet received from a transmitting device through a network comprises: a preprocessor unit which requests the transmitting device to increase the size of a jitter buffer of the receiving device side based on round trip time (RTT) in the network, and to increase the transmission amount of the voice packet by including a first additional packet due to the application of forward error correction (FEC) to the voice packet; and a video processor unit which requests the transmitting device to incrementally increase the transmission amount of the video packet by including a second additional packet due to the application of the FEC to the video packet after the transmission amount of the voice packet is increased, and determines whether the resolution of the video packet is increased by measuring the state of the network after the transmission amount of the image packet is increased.

Description

QOS 관리 방법 및 이를 수행하기 위한 수신 장치{METHOD FOR MANAGING QOS AND RECEIVING APPARATUS FOR EXECUTING THE SAME}QOS management method and receiving device for performing the same {METHOD FOR MANAGING QOS AND RECEIVING APPARATUS FOR EXECUTING THE SAME}

예시적인 실시예들은 영상 품질을 개선하는 과정에서 QoS(Quality of Service)를 관리하는 기술과 관련된다.Exemplary embodiments relate to a technique for managing a quality of service (QoS) in the process of improving image quality.

최근, 음성 및 영상 처리 기술이 발전함에 따라 가상의 컨퍼런스를 통해 다수의 사용자간 음성/영상 통화, 문서공유, 화면공유, 판서공유 등의 기능을 제공하는 컨퍼런스 서비스 기술이 보편화되고 있다. 이러한 컨퍼런스 서비스 기술에서는 멀티미디어 패킷(multi-media packet)을 실시간으로 서비스함으로써 위와 같은 다양한 기능을 제공하게 된다. 이때, 멀티미디어 패킷에 포함되는 음성 패킷이나 영상 패킷은 수신 측에서 실시간으로 재생이 되어야 하며 네트워크 상에서 패킷 일부가 손실되거나 지연되는 경우 QoS가 떨어지게 된다.Recently, with the development of voice and video processing technology, conference service technology that provides functions such as voice / video call, document sharing, screen sharing, and writing sharing among a plurality of users through virtual conferences has become popular. In such a conference service technology, various functions as described above are provided by serving a multimedia packet in real time. At this time, the voice packet or the video packet included in the multimedia packet should be reproduced in real time at the receiving side, and the QoS is degraded when a part of the packet is lost or delayed on the network.

특히, 수신 측에서 더 높은 수준의 품질(예를 들어, 높은 해상도나 화질)을 요구함에 따라 송신 측에서 영상 패킷의 해상도를 증가시키는 경우 네트워크 상에서의 패킷 전송량이 급격히 증가하면서 음성 패킷의 품질 열화(劣化)가 발생할 수 있다. In particular, when the receiver increases the resolution of a video packet as the receiver demands a higher level of quality (for example, higher resolution or image quality), the quality of the voice packet deteriorates due to a rapid increase in the amount of packet transmission on the network. May occur.

또한, 일반적인 VoIP 기술에서는 RTP(Real-time Transport Protocol)를 통해 영상 패킷과 음성 패킷을 서로 다른 포트를 통해 송수신하고 QoS 또한 따로 관리하게 되는데, 이와 같이 구성하는 경우 영상 패킷과 음성 패킷을 동시에 제어하기 어려워 영상 패킷의 과도한 송수신으로 인해 음성 패킷의 품질이 영향을 받는 등의 문제가 발생할 수 있다.Also, in general VoIP technology, video and voice packets are transmitted and received through different ports through Real-time Transport Protocol (RTP), and QoS is separately managed. In this configuration, video and voice packets can be controlled simultaneously. Due to the difficulty, excessive quality transmission and reception of video packets may affect the quality of the voice packets.

한국공개특허공보 제10-2014-0128579호(2014.11.06)Korean Patent Publication No. 10-2014-0128579 (2014.11.06)

예시적인 실시예들은 영상 패킷의 해상도를 증가시키는 과정에서 상기 영상 패킷과 함께 수신되는 음성 패킷의 품질 열화를 방지하는 수단을 제공하기 위한 것이다. Exemplary embodiments provide a means for preventing quality degradation of a voice packet received with the video packet in the process of increasing the resolution of the video packet.

예시적인 실시예에 따르면, 네트워크를 통해 송신 장치로부터 수신되는 영상 패킷의 해상도를 증가시키는 과정에서 상기 영상 패킷과 함께 수신되는 음성 패킷의 품질 열화(劣化)를 방지하기 위한 수신 장치로서, 상기 네트워크에서의 RTT(Round Trip Time)를 기반으로 상기 수신 장치 측 지터 버퍼의 크기를 증가시키고, 상기 음성 패킷에 FEC(Forward Error Correction)의 적용으로 인한 제1 추가 패킷을 포함시켜 상기 음성 패킷의 전송량을 증가시킬 것을 상기 송신 장치 측에 요청하는 전처리부; 및 상기 음성 패킷의 전송량이 증가한 후 상기 영상 패킷에 FEC의 적용으로 인한 제2 추가 패킷을 포함시켜 상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 상기 송신 장치 측에 요청하고, 상기 영상 패킷의 전송량이 증가한 후 상기 네트워크의 상태를 측정하여 상기 영상 패킷의 해상도 증가 여부를 결정하는 영상 처리부를 포함하는, 수신 장치가 제공된다. According to an exemplary embodiment, a receiving device for preventing the deterioration of the quality of the voice packet received with the video packet in the process of increasing the resolution of the video packet received from the transmitting device through the network, in the network Increase the size of the receiver-side jitter buffer based on a round trip time (RTT) of the receiver and increase the transmission amount of the voice packet by including a first additional packet due to the application of forward error correction (FEC) to the voice packet A preprocessor requesting the transmitting device to make a request; And after the transmission amount of the voice packet is increased, requesting the transmitting device to gradually increase the transmission amount of the video packet by including the second additional packet due to the application of FEC to the video packet, and the transmission amount of the video packet is increased. After the increase is provided, a receiving apparatus including an image processing unit for determining whether to increase the resolution of the image packet by measuring the state of the network.

상기 전처리부는, 상기 지터 버퍼의 크기가 상기 RTT의 크기보다 커지도록 상기 지터 버퍼의 크기를 증가시킬 수 있다. The preprocessor may increase the size of the jitter buffer so that the size of the jitter buffer becomes larger than the size of the RTT.

상기 전처리부는, 상기 음성 패킷의 전송량이 증가함에 따라 상기 네트워크 상에서 패킷의 손실(loss) 또는 지연(delay)이 설정된 수준 이상으로 발생하는 경우 상기 음성 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하고, 상기 지터 버퍼의 크기를 원래대로 복원시킬 수 있다. The preprocessing unit is configured to cancel the application of FEC to the voice packet when a loss or delay of the packet occurs on the network as the amount of transmission of the voice packet increases. Can be requested and the size of the jitter buffer can be restored.

상기 영상 처리부는, 상기 영상 패킷의 해상도를 제1 해상도에서 제2 해상도로 증가시켰을 때 필요한 목표 네트워크 대역폭을 계산하고, 상기 네트워크의 사용 대역폭이 상기 목표 네트워크 대역폭에 도달할 때까지 상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 상기 송신 장치 측에 요청할 수 있다. The image processor calculates a target network bandwidth required when the resolution of the video packet is increased from the first resolution to the second resolution, and the transmission amount of the video packet until the use bandwidth of the network reaches the target network bandwidth. May be requested to the transmitting device side to increase gradually.

상기 영상 처리부는, 상기 네트워크 상에서 패킷의 손실 또는 지연이 설정된 수준 이상으로 발생하는 경우 상기 영상 패킷의 해상도를 상기 제1 해상도로 유지할 것으로 결정할 수 있다. The image processing unit may determine to maintain the resolution of the image packet at the first resolution when the loss or delay of the packet occurs in the network or more.

상기 네트워크 상에서 패킷의 손실 또는 지연이 설정된 수준 이상으로 발생하는 경우, 상기 영상 처리부는, 상기 영상 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하고, 상기 전처리부는, 상기 음성 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하고, 상기 지터 버퍼의 크기를 원래대로 복원시킬 수 있다. When a loss or delay of a packet occurs on the network at a level higher than or equal to a predetermined level, the video processor requests the transmitting apparatus to release application of FEC to the video packet, and the preprocessor requests FEC to the voice packet. It is possible to request the transmitter side to release application of the, and restore the size of the jitter buffer to its original state.

상기 영상 처리부는, 상기 네트워크 상에서 패킷의 손실 또는 지연이 발생하지 않거나 설정된 수준 미만으로 발생하는 경우 상기 영상 패킷의 해상도를 상기 제2 해상도로 증가시킬 것으로 결정할 수 있다. The image processor may determine to increase the resolution of the image packet to the second resolution when no loss or delay of the packet occurs on the network or occurs below the set level.

상기 네트워크 상에서 패킷의 손실 또는 지연이 발생하지 않거나 설정된 수준 미만으로 발생하는 경우, 상기 영상 처리부는, 상기 영상 패킷에 FEC의 적용을 해제하고 상기 영상 패킷의 해상도를 상기 제2 해상도로 증가시킬 것을 상기 송신 장치 측에 요청하고, 상기 전처리부는, 상기 음성 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하고, 상기 영상 패킷의 해상도가 상기 제2 해상도로 증가된 후 상기 지터 버퍼의 크기를 원래대로 복원시킬 수 있다. When the loss or delay of the packet does not occur or occurs below the set level on the network, the image processor is configured to cancel the application of FEC to the image packet and increase the resolution of the image packet to the second resolution. Requesting the transmitting apparatus, the preprocessor requests the transmitting apparatus to release the application of the FEC to the voice packet, and increases the size of the jitter buffer after the resolution of the video packet is increased to the second resolution. You can restore it.

상기 영상 패킷 및 상기 음성 패킷은, 상기 네트워크 상에서 하나의 세션(session)을 통해 송수신될 수 있다.The video packet and the voice packet may be transmitted and received through a session on the network.

다른 예시적인 실시예에 따르면, 네트워크를 통해 송신 장치로부터 수신되는 영상 패킷의 해상도를 증가시키는 과정에서 상기 영상 패킷과 함께 수신되는 음성 패킷의 품질 열화를 방지하기 위해 수신 장치에서 수행되는 QOS(Quality of Service) 관리 방법으로서, 상기 네트워크에서의 RTT(Round Trip Time)를 기반으로 상기 수신 장치 측 지터 버퍼의 크기를 증가시키는 단계; 상기 음성 패킷에 FEC(Forward Error Correction)의 적용으로 인한 제1 추가 패킷을 포함시켜 상기 음성 패킷의 전송량을 증가시킬 것을 상기 송신 장치 측에 요청하는 단계; 상기 음성 패킷의 전송량이 증가한 후 상기 영상 패킷에 FEC의 적용으로 인한 제2 추가 패킷을 포함시켜 상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 상기 송신 장치 측에 요청하는 단계; 및 상기 영상 패킷의 전송량이 증가한 후 상기 네트워크의 상태를 측정하여 상기 영상 패킷의 해상도 증가 여부를 결정하는 단계를 포함하는, QOS 관리 방법이 제공된다. According to another exemplary embodiment, a quality of QOS performed at a receiving device to prevent deterioration of a quality of a voice packet received together with the video packet in the process of increasing the resolution of the video packet received from the transmitting device through a network. A method for managing a service, the method comprising: increasing the size of the receiving device-side jitter buffer based on a round trip time (RTT) in the network; Requesting the transmitting device to increase a transmission amount of the voice packet by including a first additional packet due to the application of forward error correction (FEC) to the voice packet; Requesting the transmitting device to incrementally increase the transmission amount of the video packet by including the second additional packet due to the application of FEC to the video packet after the transmission amount of the voice packet is increased; And determining whether to increase the resolution of the video packet by measuring the state of the network after the transmission amount of the video packet is increased.

상기 수신 장치 측 지터 버퍼의 크기를 증가시키는 단계는, 상기 지터 버퍼의 크기가 상기 RTT의 크기보다 커지도록 상기 지터 버퍼의 크기를 증가시킬 수 있다. Increasing the size of the receiver jitter buffer may increase the size of the jitter buffer so that the size of the jitter buffer is larger than the size of the RTT.

상기 QOS 관리 방법은, 상기 음성 패킷의 전송량이 증가함에 따라 상기 네트워크 상에서 패킷의 손실(loss) 또는 지연(delay)이 설정된 수준 이상으로 발생하는 경우 상기 음성 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하는 단계; 및 상기 지터 버퍼의 크기를 원래대로 복원시키는 단계를 더 포함할 수 있다.The QOS management method may be configured to cancel the application of FEC to the voice packet when a loss or delay of the packet occurs on the network as the amount of transmission of the voice packet increases. Requesting the device side; And restoring the size of the jitter buffer to its original size.

상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 상기 송신 장치 측에 요청하는 단계는, 상기 영상 패킷의 해상도를 제1 해상도에서 제2 해상도로 증가시켰을 때 필요한 목표 네트워크 대역폭을 계산하고, 상기 네트워크의 사용 대역폭이 상기 목표 네트워크 대역폭에 도달할 때까지 상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 상기 송신 장치 측에 요청할 수 있다.The requesting of the transmitting apparatus to increase the transmission amount of the video packet gradually includes calculating a target network bandwidth required when the resolution of the video packet is increased from the first resolution to the second resolution, and using the network. The transmitting apparatus may request that the transmission amount of the video packet be gradually increased until a bandwidth reaches the target network bandwidth.

상기 영상 패킷의 해상도 증가 여부를 결정하는 단계는, 상기 네트워크 상에서 패킷의 손실 또는 지연이 설정된 수준 이상으로 발생하는 경우 상기 영상 패킷의 해상도를 상기 제1 해상도로 유지할 것으로 결정할 수 있다. The determining of whether the resolution of the video packet is increased may include determining that the resolution of the video packet is maintained at the first resolution when the loss or delay of the packet occurs in the network.

상기 QOS 관리 방법은, 상기 네트워크 상에서 패킷의 손실 또는 지연이 설정된 수준 이상으로 발생하는 경우, 상기 영상 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하는 단계; 상기 음성 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하는 단계; 및 상기 지터 버퍼의 크기를 원래대로 복원시키는 단계를 더 포함할 수 있다. The QOS management method may further include: requesting, by the transmitting apparatus, to release application of FEC to the video packet when a loss or delay of a packet occurs on the network more than a predetermined level; Requesting the transmitting device to release application of FEC to the voice packet; And restoring the size of the jitter buffer to its original size.

상기 영상 패킷의 해상도 증가 여부를 결정하는 단계는, 상기 네트워크 상에서 패킷의 손실 또는 지연이 발생하지 않거나 설정된 수준 미만으로 발생하는 경우 상기 영상 패킷의 해상도를 상기 제2 해상도로 증가시킬 것으로 결정할 수 있다. The determining whether the resolution of the video packet is increased may determine that the resolution of the video packet is increased to the second resolution when no loss or delay of the packet occurs or occurs below the set level.

상기 QOS 관리 방법은, 상기 네트워크 상에서 패킷의 손실 또는 지연이 발생하지 않거나 설정된 수준 미만으로 발생하는 경우, 상기 영상 패킷에 FEC의 적용을 해제하고 상기 영상 패킷의 해상도를 상기 제2 해상도로 증가시킬 것을 상기 송신 장치 측에 요청하는 단계; 및 상기 음성 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하고, 상기 영상 패킷의 해상도가 상기 제2 해상도로 증가된 후 상기 지터 버퍼의 크기를 원래대로 복원시키는 단계를 더 포함할 수 있다. The QOS management method, if no loss or delay of the packet occurs on the network or occurs below the set level, the application of the FEC to the video packet is released and the resolution of the video packet to increase to the second resolution Requesting the transmitting device side; And requesting the transmitting device to release application of FEC to the voice packet, and restoring the size of the jitter buffer after the resolution of the video packet is increased to the second resolution. have.

상기 영상 패킷 및 상기 음성 패킷은, 상기 네트워크 상에서 하나의 세션(session)을 통해 송수신될 수 있다.The video packet and the voice packet may be transmitted and received through a session on the network.

예시적인 실시예에 따르면, 영상 패킷과 음성 패킷이 네트워크 상에서 하나의 세션을 통해 동시에 송수신됨으로써 개별 채널의 품질이 아닌 전체 네트워크 채널의 품질을 측정할 수 있으며, 이에 따라 영상 패킷의 해상도 조절이 음성 패킷의 품질에 영향을 미치는지의 여부를 보다 정확하게 판단할 수 있다. 즉, 예시적인 실시예들에서는 영상 패킷 및 음성 패킷별로 사용 가능한 네트워크의 대역폭을 각각 측정하는 것이 아니라 송수신되는 영상 패킷 및 음성 패킷을 모두 종합하여 사용 가능한 네트워크 대역폭을 측정하게 된다.According to an exemplary embodiment, the video packet and the voice packet are simultaneously transmitted and received through a single session on the network, thereby measuring the quality of the entire network channel, not the quality of the individual channels. It can be more accurately judged whether or not the quality of the product is affected. That is, in the exemplary embodiments, instead of measuring the bandwidth of the available network for each of the video packet and the audio packet, the available network bandwidth is measured by combining all of the transmitted and received video and voice packets.

또한, 예시적인 실시예에 따르면, 영상 패킷의 해상도를 증가시키기 전 i) 음성 패킷의 유실에 대응하기 위한 전처리 작업을 수행하고, ii) 증가된 해상도의 영상 패킷을 해당 네트워크를 통해 송수신 가능한지 미리 판단한 후 영상 패킷의 해상도를 증가시킴으로써, 상기 해상도를 증가시키는 과정에서 음성 패킷의 품질 열화가 발생하는 현상을 방지할 수 있다. 즉, 예시적인 실시예들에서는 멀티미디어 패킷이 안정적으로 송수신되고 있어 영상 패킷의 품질을 증가시켜도 음성 패킷의 품질 열화가 발생되지 않는다고 판단되는 경우에만 영상 패킷의 품질을 증가시키게 된다.Further, according to an exemplary embodiment, before increasing the resolution of the video packet, i) performing preprocessing to cope with loss of the voice packet, and ii) determining in advance whether the video packet having the increased resolution can be transmitted and received through the corresponding network. By increasing the resolution of the subsequent video packet, it is possible to prevent a phenomenon in which quality degradation of the voice packet occurs in the process of increasing the resolution. That is, in the exemplary embodiments, the multimedia packet is reliably transmitted and received, so that the quality of the video packet is increased only when it is determined that the degradation of the voice packet does not occur even if the quality of the video packet is increased.

도 1은 예시적인 실시예에 따른 통신 시스템의 상세 구성을 나타낸 블록도
도 2는 일반적인 영상 패킷의 품질에 따른 네트워크의 사용 대역폭 변화를 나타낸 그래프
도 3은 예시적인 실시예에 따른 QOS 관리 방법을 설명하기 위한 흐름도
도 4는 예시적인 실시예에 따른 영상 패킷의 품질에 따른 네트워크의 사용 대역폭 변화를 나타낸 그래프
도 5는 예시적인 실시예에 따른 송신 장치와 수신 장치의 적용 예시
도 6은 다른 예시적인 실시예에 따른 송신 장치와 수신 장치의 적용 예시
도 7은 예시적인 실시예에 따른 수신 장치의 상세 블록도
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a block diagram showing a detailed configuration of a communication system according to an exemplary embodiment
2 is a graph illustrating a change in bandwidth used by a network according to quality of a general video packet.
3 is a flowchart for explaining a QOS management method according to an exemplary embodiment.
4 is a graph illustrating a change in bandwidth used by a network according to quality of an image packet according to an exemplary embodiment.
5 is an application example of a transmitter and a receiver according to an exemplary embodiment
Fig. 6 is an application example of a transmitting device and a receiving device according to another exemplary embodiment.
7 is a detailed block diagram of a receiving apparatus according to an exemplary embodiment.
8 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to assist in a comprehensive understanding of the methods, devices, and / or systems described herein. However, this is only an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or an operator. Therefore, the definition should be made based on the contents throughout the specification. The terminology used in the description is for the purpose of describing embodiments of the invention only and should not be limiting. Unless expressly used otherwise, the singular forms “a,” “an,” and “the” include plural forms of meaning. In this description, expressions such as "comprises" or "equipment" are intended to indicate certain features, numbers, steps, actions, elements, portions or combinations thereof, and one or more than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, actions, elements, portions or combinations thereof.

도 1은 예시적인 실시예에 따른 통신 시스템(100)의 상세 구성을 나타낸 블록도이다. 예시적인 실시예에 따른 통신 시스템(100)은 송신 장치(102)에서 입력 또는 생성된 멀티미디어 패킷을 네트워크(104)를 통해 수신 장치(106)로 송신하고, 수신 장치(106)에서 상기 멀티미디어 패킷을 실시간으로 출력하는 시스템일 수 있다. 본 실시예들에 있어서, 멀티미디어 패킷은 음성 패킷(audio packet) 및 영상 패킷(video packet)을 포함한다. 또한, 상기 음성 패킷 및 영상 패킷은 네트워크(104)를 통해 동시에 송수신될 수 있다.1 is a block diagram illustrating a detailed configuration of a communication system 100 according to an exemplary embodiment. The communication system 100 according to an exemplary embodiment transmits a multimedia packet input or generated at the transmitting device 102 to the receiving device 106 through the network 104, and transmits the multimedia packet at the receiving device 106. It may be a system that outputs in real time. In the present embodiments, the multimedia packet includes an audio packet and a video packet. In addition, the voice packet and the video packet may be simultaneously transmitted and received through the network 104.

송신 장치(102)는 사용자로부터 멀티미디어 패킷을 입력 받아 네트워크(104)를 통해 수신 장치(106)로 송신하거나, 기 생성된 멀티미디어 패킷을 송신 장치(102)로 송신하기 위한 장치로서, 예를 들어 노트북, 태블릿, 스마트폰, PDA 등과 같은 모바일 디바이스, VoIP(Voice over Internet Protocol) 장치, 스트리밍 서버 등일 수 있다. 또한, 송신 장치(102)는 상기 모바일 디바이스, VoIP 장치, 스트리밍 서버 등과 수신 장치(106) 사이에서 멀티미디어 패킷을 중계하는 릴레이 서버일 수도 있다. 즉, 멀티미디어 패킷을 직, 간접적으로 수신 장치(106)로 전달하는 모든 종류의 통신 디바이스가 본 실시예들에 따른 송신 장치(102)에 해당할 수 있다.The transmitting device 102 receives a multimedia packet from a user and transmits the multimedia packet to the receiving device 106 through the network 104, or transmits a pre-generated multimedia packet to the transmitting device 102, for example, a notebook computer. , Mobile devices such as tablets, smartphones, PDAs, and the like, Voice over Internet Protocol (VoIP) devices, streaming servers, and the like. In addition, the transmitting device 102 may be a relay server that relays a multimedia packet between the mobile device, the VoIP device, the streaming server, and the receiving device 106. That is, all kinds of communication devices for directly and indirectly delivering multimedia packets to the receiving device 106 may correspond to the transmitting device 102 according to the present embodiments.

네트워크(104)는 멀티미디어 패킷이 전달되는 통신망으로서, 예를 들어, 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크 등의 유선 또는 무선 네트워크일 수 있다.The network 104 is a communication network through which multimedia packets are delivered, for example, a wired or wireless network such as the Internet, one or more local area networks, wire area networks, cellular networks, mobile networks, or the like. Can be.

수신 장치(106)는 네트워크(104)를 통해 송신 장치(102)로부터 멀티미디어 패킷을 수신하고, 수신된 멀티미디어 패킷을 출력(또는 재생)하는 장치이다. 수신 장치(106)는 예를 들어, 노트북, 태블릿, 스마트폰, PDA 등과 같은 모바일 디바이스, VoIP 장치, 스트리밍 장치 등일 수 있다. 다만, 수신 장치(106)의 종류가 이에 한정되는 것은 아니며, 멀티미디어 패킷을 수신하고 이를 출력할 수 있는 모든 종류의 통신 디바이스가 본 실시예들에 따른 수신 장치(106)에 해당할 수 있다.The receiving device 106 is a device that receives a multimedia packet from the transmitting device 102 and outputs (or reproduces) the received multimedia packet via the network 104. The receiving device 106 may be, for example, a mobile device such as a notebook computer, a tablet, a smartphone, a PDA, a VoIP device, a streaming device, or the like. However, the type of the receiving device 106 is not limited thereto, and all kinds of communication devices capable of receiving and outputting multimedia packets may correspond to the receiving device 106 according to the present embodiments.

본 실시예들에 있어서, 송신 장치(102)와 수신 장치(106)는 하나의 통신 포트(예를 들어, UDP 포트)를 통해 세션(session)을 형성하고, 상기 세션을 통해 멀티미디어 패킷을 송수신할 수 있다. 이를 위해, 송신 장치(102)는 세션 생성 요청 메시지를 수신 장치(106)로 전송하고, 수신 장치(106)는 이에 대한 응답으로서 세션 생성 응답 메시지를 송신 장치(102)로 송신함으로써, 송신 장치(102)와 수신 장치(106) 간 세션이 형성될 수 있다. 또한, 이와 반대로, 수신 장치(106)가 세션 요청 메시지를 송신 장치(102)로 송신하고 송신 장치(102)가 세션 생성 응답 메시지를 수신 장치(102)로 송신할 수도 있다. 이때, 세션 생성 요청 메시지는 송신 장치(102)의 공인 IP/PORT, 및 세션 구별을 위한 제1 고유코드를 포함할 수 있다. 또한, 세션 생성 응답 메시지는 세션 구별을 위한 제2 고유코드를 포함할 수 있다. 상기 제1 고유코드 및 제2 고유코드는 예를 들어, 사용자 아이디와 세션 아이디의 조합으로 이루어질 수 있다. 송신 장치(102)와 수신 장치(106)는 세션 생성 요청 메시지와 세션 생성 응답 메시지를 송신하면서 제1 고유코드와 제2 고유코드를 서로 교환하게 되며, 세션 생성 후 멀티미디어 패킷 송신시 제1 고유코드와 제2 고유코드의 조합으로 형성된 세션 코드를 각 패킷에 삽입해 송신할 수 있다. 이때, 멀티미디어 패킷 내 영상 패킷과 음성 패킷은 동일한 세션 내에서 논리적으로 구별되는 서로 다른 채널을 통해 송수신된다. 즉, 본 실시예들에 있어서, 영상 패킷 및 음성 패킷은 네트워크(104) 상에서 하나의 세션을 통해 송수신될 수 있으며, OoS의 측정 및 관리 또한 세션 단위로 이루어지게 된다.In the present embodiments, the transmitting device 102 and the receiving device 106 form a session through one communication port (for example, a UDP port), and transmit and receive a multimedia packet through the session. Can be. To this end, the transmitting apparatus 102 transmits the session creation request message to the receiving apparatus 106, and the receiving apparatus 106 transmits the session generating response message to the transmitting apparatus 102 as a response thereto, thereby transmitting the transmitting apparatus ( A session may be established between 102 and the receiving device 106. In addition, on the contrary, the receiving device 106 may transmit the session request message to the transmitting device 102 and the transmitting device 102 may transmit the session creation response message to the receiving device 102. In this case, the session creation request message may include a public IP / PORT of the transmitting device 102 and a first unique code for distinguishing a session. In addition, the session creation response message may include a second unique code for distinguishing a session. The first unique code and the second unique code may be, for example, a combination of a user ID and a session ID. The transmitting device 102 and the receiving device 106 exchange a first unique code and a second unique code while transmitting a session creation request message and a session creation response message. And a session code formed by a combination of and a second unique code can be inserted into each packet and transmitted. At this time, the video packet and the audio packet in the multimedia packet are transmitted and received through different channels logically distinguished within the same session. That is, in the present embodiments, the video packet and the voice packet may be transmitted and received through one session on the network 104, and the measurement and management of the OoS is also performed on a session basis.

이와 같은 네트워크 환경에서, 수신 장치(106)는 사용자의 요청, 네트워크(104)의 상태 등으로 인해 현재 수신되는 멀티미디어 패킷의 품질보다 더 높은 수준의 품질을 송신 장치(102) 측으로 요구할 수 있다. 그러나, 송신 장치(102) 측에서 수신 장치(106)의 요청에 따라 멀티미디어 패킷의 품질 향상을 위해 영상 패킷의 해상도를 증가시키는 경우 네트워크(104) 상에서의 패킷 전송량이 급격히 증가하면서 음성 패킷의 품질 열화(劣化)가 발생할 수 있다. 여기서, 품질 열화는 예를 들어, 패킷 손실, 패킷 지연, 또는 상기 패킷 지연으로 인한 설정된 수준 이상의 지터(jitter) 발생 등이 될 수 있다.In such a network environment, the receiving device 106 may request a higher level of quality to the transmitting device 102 than the quality of the multimedia packet currently received due to a user's request, the status of the network 104, or the like. However, in the case where the transmitting device 102 increases the resolution of the video packet to improve the quality of the multimedia packet at the request of the receiving device 106, the quality of the voice packet deteriorates while the packet transmission amount on the network 104 increases rapidly. (劣 化) may occur. In this case, the quality deterioration may be, for example, packet loss, packet delay, or jitter generation above a set level due to the packet delay.

본 실시예들에 있어서, 수신 장치(106)는 네트워크(104)를 통해 송신 장치(102)로부터 수신되는 영상 패킷의 해상도를 증가시키는 과정에서 상기 영상 패킷과 함께 수신되는 음성 패킷의 품질 열화를 방지하기 위해 영상 패킷의 해상도를 증가시키기 전 i) 음성 패킷의 유실에 대응하기 위한 전처리 작업을 수행하고, ii) 증가된 해상도의 영상 패킷을 해당 네트워크(104)를 통해 송수신 가능한지 판단할 수 있다. 만약, i), ii) 과정 수행 후 네트워크(104)의 상태가 정상인 것으로 판단되는 경우, 수신 장치(106)는 영상 패킷의 해상도를 제1 해상도에서 제2 해상도로 증가시킬 것을 송신 장치(102) 측에 요청할 수 있다. 여기서, 제1 해상도는 현재 송수신되는 영상 패킷의 해상도(예를 들어, 360p)이며, 제2 해상도는 제1 해상도보다 높은 크기를 갖는 해상도(예를 들어, 720p)이다. 영상 패킷의 해상도를 증가시키는 과정에서 음성 패킷의 품질 열화를 방지하기 위한 구체적인 QoS 관리 방법은 이하에서 살펴볼 도 3 및 도 4를 참조하여 후술하기로 한다.In the present embodiments, the receiving device 106 prevents the deterioration of the quality of the voice packet received with the video packet in the process of increasing the resolution of the video packet received from the transmitting device 102 via the network 104. In order to increase the resolution of the video packet, i) perform preprocessing to cope with the loss of the voice packet, and ii) determine whether the video packet having the increased resolution can be transmitted and received through the corresponding network 104. If, after performing steps i) and ii), it is determined that the network 104 is in a normal state, the receiving device 106 increases the resolution of the image packet from the first resolution to the second resolution. You can ask the side. Here, the first resolution is the resolution (eg, 360p) of the image packet currently being transmitted and received, and the second resolution is a resolution (eg, 720p) having a size higher than the first resolution. A detailed QoS management method for preventing quality deterioration of a voice packet in the process of increasing the resolution of the video packet will be described later with reference to FIGS. 3 and 4.

도 2는 일반적인 영상 패킷의 품질에 따른 네트워크의 사용 대역폭 변화를 나타낸 그래프이다. 2 is a graph illustrating a change in bandwidth used by a network according to quality of a general video packet.

일반적으로, 네트워크의 품질은 지속적으로 변화하고 네트워크의 처리 용량을 측정하기 위해서는 패킷의 손실 또는 지연이 발생되는 수준까지 패킷을 송신한 후 패킷 손실이나 지연을 측정하여야 한다. 그러나, 영상 패킷과 음성 패킷을 동시에 송수신하는 멀티미디어 서비스에서는 패킷 손실이나 지연이 발생하는 시점에 음성 패킷의 손실이나 지연으로 인해 음질 열화가 발생할 수 있다.In general, in order to measure the quality of the network continuously and to measure the processing capacity of the network, the packet loss or delay should be measured after transmitting the packet to the level where packet loss or delay occurs. However, in a multimedia service that simultaneously transmits and receives a video packet and a voice packet, sound quality deterioration may occur due to a loss or delay of a voice packet at a time when a packet loss or delay occurs.

또한, 영상의 품질 관리 방법으로는 영상 패킷의 압축률, fps(frame per second), 해상도를 조절하는 방법 등이 있다. 통상적으로, 영상 패킷의 압축률을 조절하는 방법을 통해 특정 해상도 내에서 영상의 품질을 어느 정도 조절할 수 있지만 보다 좋은 품질을 위해서는 영상 패킷의 해상도를 조절하여야만 한다. 그러나, 영상 패킷의 해상도를 증가시키는 경우 네트워크를 통해 송수신되는 패킷의 전송량을 점진적으로(continous) 조절하는 것은 불가능하다. 이러한 영상 패킷의 품질에 따른 네트워크의 사용 대역폭 변화는 도 2와 같다.In addition, a method for controlling image quality includes adjusting a compression rate, a frame per second (fps), and a resolution of an image packet. In general, the quality of an image may be adjusted to a certain degree through a method of adjusting the compression rate of an image packet, but for better quality, the resolution of the image packet must be adjusted. However, when increasing the resolution of the video packet, it is impossible to continuously adjust the transmission amount of the packet transmitted and received through the network. The use bandwidth change of the network according to the quality of the video packet is shown in FIG. 2.

도 2를 참조하면, 가로축은 영상 패킷의 품질(압축률, 해상도)를 나타내며 세로축은 해당 영상 패킷의 품질에 따른 네트워크의 사용 대역폭을 나타낸다.Referring to FIG. 2, the horizontal axis represents the quality (compression rate, resolution) of the video packet, and the vertical axis represents the bandwidth used of the network according to the quality of the video packet.

또한, 도 2의 A 부분은 영상 패킷의 압축률을 조절할 때 네트워크의 사용 대역폭의 변화를 나타내며, 도 2의 B 부분은 영상 패킷의 해상도를 조절할 때 네트워크의 사용 대역폭의 변화를 나타낸다.In addition, part A of FIG. 2 represents a change in bandwidth used when adjusting the compression rate of the video packet, and part B of FIG. 2 represents a change in bandwidth used in adjusting the resolution of the video packet.

도 2에 도시된 바와 같이, A 부분에서는 네트워크의 사용 대역폭이 점진적으로 증가함을 확인할 수 있다. 그러나, B 부분에서는 네트워크의 사용 대역폭이 급격히 증가, 즉 퀀텀 점프(quantum jump)하는 것을 확인할 수 있다. 즉, 보다 좋은 품질을 위해서는 영상 패킷의 해상도를 조절하여야 하나 영상 패킷의 해상도를 조절할 경우 영상 패킷의 압축률을 조절할 때보다 음질 열화가 발생할 가능성이 높아지게 된다.As shown in FIG. 2, it can be seen that in the portion A, the bandwidth used gradually increases. However, in the portion B, it can be seen that the bandwidth used of the network is rapidly increased, that is, a quantum jump. That is, for better quality, the resolution of the video packet should be adjusted, but if the resolution of the video packet is adjusted, the possibility of sound quality deterioration is higher than that of the compression rate of the video packet.

도 3은 예시적인 실시예에 따른 QOS 관리 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다. 한편, S102 단계 이전에서는 영상 패킷 및 음성 패킷을 포함하는 멀티미디어 패킷이 네트워크(104) 상에서 정상적으로 송수신되고 있는 것으로 가정한다.Fig. 3 is a flowchart illustrating a QOS management method according to an exemplary embodiment. In the illustrated flow chart, the method is divided into a plurality of steps, but at least some of the steps may be performed in a reverse order, in combination with other steps, omitted, divided into substeps, or not shown. One or more steps may be added and performed. Meanwhile, before step S102, it is assumed that multimedia packets including video packets and audio packets are normally transmitted and received on the network 104.

S102 단계에서, 수신 장치(106)는 네트워크(104)에서의 RTT(Round Trip Time)를 기반으로 수신 장치(106) 측 지터 버퍼(Jitter Buffer)의 크기를 증가시킨다. 지터 버퍼는 패킷 송신시 송신 단과 수신 단 사이에 패킷 지연으로 인해 발생하는 패킷 도착의 지연 차이인 지터(jitter)를 보상하기 위한 것으로, 수신된 음성 패킷들은 설정된 크기만큼 지터 버퍼에 저장된 후 순차적으로 재생된다. In operation S102, the receiving device 106 increases the size of the jitter buffer on the receiving device 106 based on a round trip time (RTT) in the network 104. The jitter buffer compensates for jitter, which is a delay difference between packet arrivals caused by packet delay between a transmitting end and a receiving end during packet transmission. Received voice packets are stored in the jitter buffer by a set size, and then sequentially reproduced. do.

본 실시예들에 있어서, 연속적인 패킷 손실의 발생시 음 단절 현상이 생길 수 있으므로, 수신 장치(106)는 음성 패킷의 손실 발생시 송신 장치(102) 측으로 부정 응답 메시지(NACK)를 송신하여 송신 장치(102)로부터 손실이 발생된 음성 패킷을 다시 받을 수 있다. 이 경우, 재전송을 요청한 음성 패킷이 수신 장치(106) 측에 도달하기 전에 지터 버퍼 내의 음성 패킷이 모두 재생되고 더 이상 음성 패킷이 채워지지 않는 현상이 발생할 수 있다. 따라서, 본 실시예들에서는 지터 버퍼의 크기가 RTT의 크기보다 커지도록 지터 버퍼의 크기를 증가시킴으로써 음성 패킷의 유실 및 재전송으로 인한 음 단절 현상을 방지하도록 하였다.In the present embodiments, since a disconnection may occur when continuous packet loss occurs, the receiving device 106 transmits a negative acknowledgment message (NACK) to the transmitting device 102 when the loss of the voice packet occurs. 102 may receive the lost voice packet again. In this case, a phenomenon may occur in which all of the voice packets in the jitter buffer are regenerated and no more voice packets are filled before the voice packet requesting retransmission reaches the receiving apparatus 106 side. Therefore, in the present embodiments, the size of the jitter buffer is increased so that the size of the jitter buffer becomes larger than the size of the RTT, thereby preventing sound interruption due to loss and retransmission of the voice packet.

구체적으로, 수신 장치(106)는 네트워크(104)를 통해 송수신되는 패킷들의 RTT를 실시간으로 계산하고, 지터 버퍼의 크기가 RTT의 크기보다 커지도록 상기 지터 버퍼의 크기를 증가시킬 수 있다. 예를 들어, 설정된 시간 동안 계산된 RTT의 평균이 50ms인 경우, 수신 장치(106)는 지터 버퍼의 크기가 50ms보다 커지도록 상기 지터 버퍼의 크기를 증가시킬 수 있다. 이 경우, 음성 패킷이 유실되어 재전송되더라도 지터 버퍼 내 음성 패킷이 항상 존재하게 되므로 음성이 끊김 없이 재생될 수 있다.Specifically, the receiving device 106 may calculate the RTT of the packets transmitted and received through the network 104 in real time, and increase the size of the jitter buffer so that the size of the jitter buffer becomes larger than the size of the RTT. For example, when the average of the RTTs calculated for the set time is 50 ms, the receiving device 106 may increase the size of the jitter buffer so that the size of the jitter buffer is larger than 50 ms. In this case, even when the voice packet is lost and retransmitted, the voice packet in the jitter buffer always exists, so that the voice can be reproduced without interruption.

S104 단계에서, 수신 장치(106)는 음성 패킷에 FEC의 적용으로 인한 제1 추가 패킷을 포함시켜 상기 음성 패킷의 전송량을 증가시킬 것을 송신 장치(102) 측에 요청한다. FEC(Forward Error Correction : 순방향 오류정정)는 송신측이 송신 대상이 되는 패킷에 추가 패킷(redundant packet)을 부가하여 송신하고, 수신측이 오류 발견시 상기 추가 패킷으로 오류를 검출하여 원 패킷을 복원하는 기술을 의미한다. 송신 장치(102)는 수신 장치(106)의 요청에 따라 음성 패킷에 FEC를 적용함으로써 제1 추가 패킷을 포함시키고, 제1 추가 패킷이 포함된 멀티미디어 패킷을 수신 장치(106)로 송신할 수 있다. 이때, 제1 추가 패킷은 예를 들어, 음성 패킷의 복원을 위해 사용되는 각종 코드, 또는 음성 패킷의 사본(copy) 등을 포함할 수 있다. 송신 장치(102)가 제1 추가 패킷이 포함된 멀티미디어 패킷을 수신 장치(106)로 송신하는 경우, 네트워크(104) 상에서의 패킷 전송량이 증가하게 된다.In step S104, the receiving device 106 requests the transmitting device 102 to increase the amount of transmission of the voice packet by including the first additional packet due to the application of FEC to the voice packet. Forward Error Correction (FEC) transmits an additional packet to a packet to be transmitted by the sender, and restores the original packet by detecting an error with the additional packet when the receiver detects an error. Means technology. The transmitting device 102 may include the first additional packet by applying the FEC to the voice packet according to the request of the receiving device 106, and transmit the multimedia packet including the first additional packet to the receiving device 106. . In this case, the first additional packet may include, for example, various codes used for restoring the voice packet, a copy of the voice packet, or the like. When the transmitting device 102 transmits the multimedia packet including the first additional packet to the receiving device 106, the amount of packet transmission on the network 104 increases.

S106 단계에서, 수신 장치(106)는 S104 단계에서의 FEC 적용으로 인해 패킷 전송량이 증가함에 따라 멀티미디어 패킷의 품질 열화 현상이 발생하는지의 여부를 판단한다. 예를 들어, 수신 장치(106)는 네트워크(104) 상에서 패킷의 손실 또는 지연이 설정된 수준 이상으로 발생하는 경우 멀티미디어 패킷의 품질 열화 현상이 발생한 것으로 판단할 수 있다. 수신 장치(106)는 수신된 패킷들의 인덱스 번호 또는 도착 시간을 확인하여 상기 패킷의 손실 또는 지연 발생 여부를 확인할 수 있다.In step S106, the receiving device 106 determines whether or not a quality deterioration phenomenon of the multimedia packet occurs as the packet transmission amount increases due to the FEC application in step S104. For example, the reception device 106 may determine that the quality degradation of the multimedia packet occurs when the loss or delay of the packet occurs above the set level on the network 104. The receiving device 106 may check whether the packet is lost or delayed by checking the index number or arrival time of the received packets.

S108 단계에서, 수신 장치(106)는 S106 단계에서의 판단 결과 품질 열화 현상이 발생한 경우 상기 음성 패킷에 FEC의 적용을 해제할 것을 송신 장치(102) 측에 요청한다. 이 경우, 영상 패킷의 해상도를 증가시킬 수 없으므로, 송신 장치(102)는 상기 음성 패킷에 적용된 FEC를 해제하게 된다.In step S108, the reception device 106 requests the transmission device 102 to release the application of the FEC to the voice packet when a quality degradation phenomenon occurs in the determination in step S106. In this case, since the resolution of the video packet cannot be increased, the transmitter 102 releases the FEC applied to the voice packet.

S110 단계에서, 수신 장치(106)는 S106 단계에서의 판단 결과 품질 열화 현상이 발생한 경우 S102 단계에서 증가시킨 지터 버퍼의 크기를 원래대로 복원시킨다. 이 경우, S108 단계에서 상기 음성 패킷에 적용된 FEC가 해제되어 패킷 손실이 발생될 가능성이 없으므로, 수신 장치(106)는 S102 단계에서 증가시킨 지터 버퍼의 크기를 원래대로 복원시킬 수 있다.In step S110, the reception device 106 restores the size of the jitter buffer, which is increased in step S102, to the original state when a quality degradation phenomenon occurs in the determination in step S106. In this case, since the FEC applied to the voice packet is released in step S108 and there is no possibility of packet loss, the receiving device 106 may restore the size of the jitter buffer increased in step S102.

S112 단계에서, 수신 장치(106)는 S106 단계에서의 판단 결과 품질 열화 현상이 발생하지 않은 것으로 판단되는 경우 상기 영상 패킷에 FEC의 적용으로 인한 제2 추가 패킷을 포함시켜 상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 송신 장치(102) 측에 요청한다. 구체적으로, 수신 장치(106)는 상기 영상 패킷의 해상도를 제1 해상도에서 제2 해상도로 증가시켰을 때 필요한 목표 네트워크 대역폭을 계산하고, 네트워크(104)의 사용 대역폭이 상기 목표 네트워크 대역폭에 도달할 때까지 상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 송신 장치(102) 측에 요청할 수 있다. In step S112, when it is determined in step S106 that the quality deterioration does not occur, the reception device 106 gradually includes the second additional packet due to the application of FEC to the video packet and gradually increases the transmission amount of the video packet. Request to the transmitting device 102 side to increase. Specifically, the receiving device 106 calculates a target network bandwidth required when the resolution of the video packet is increased from the first resolution to the second resolution, and when the use bandwidth of the network 104 reaches the target network bandwidth. The transmission device 102 may request that the transmission amount of the video packet be gradually increased.

이에 따라, 송신 장치(102)는 영상 패킷에 FEC를 적용함으로써 제2 추가 패킷을 포함시키고, 제2 추가 패킷이 포함된 멀티미디어 패킷을 수신 장치(106)로 송신할 수 있다. 이때, 제2 추가 패킷은 예를 들어, 영상 패킷의 복원을 위해 사용되는 각종 코드, 또는 저해상도를 갖는 영상 패킷의 사본, 동일 해상도를 갖는 영상 패킷의 사본 등을 포함할 수 있다. 송신 장치(102)는 제2 추가 패킷(예를 들어, 저해상도를 갖는 영상 패킷의 사본 #1)이 포함된 멀티미디어 패킷을 수신 장치(106)로 송신하고, 수신 장치(106)의 요청에 따라 또 다른 제2 추가 패킷(예를 들어, 저해상도를 갖는 영상 패킷의 사본 #1, 저해상도를 갖는 영상 패킷의 사본 #2)이 포함된 멀티미디어 패킷을 수신 장치(106)로 송신할 수 있다. 즉, 송신 장치(102)는 수신 장치(106)의 요청에 따라 제2 추가 패킷이 포함된 멀티미디어 패킷을 지속적으로 송신함으로써 네트워크(104) 상에서의 패킷 전송량을 점진적으로 증가시킬 수 있다. 한편, 상술한 제1 추가 패킷 및 제2 추가 패킷에 포함되는 정보들은 일 예시에 불과하며, 원 패킷을 복원하는 데 사용되는 다양한 정보들(또는 패킷들)이 제1 추가 패킷 및 제2 추가 패킷에 포함될 수 있다.Accordingly, the transmitting device 102 may include the second additional packet by applying the FEC to the video packet, and transmit the multimedia packet including the second additional packet to the receiving device 106. In this case, the second additional packet may include, for example, various codes used for reconstruction of the image packet, a copy of an image packet having a low resolution, a copy of an image packet having the same resolution, and the like. The transmitting device 102 transmits the multimedia packet including the second additional packet (e.g., copy # 1 of the video packet having a low resolution) to the receiving device 106, and at the request of the receiving device 106, The multimedia packet including another second additional packet (eg, copy # 1 of the video packet having a low resolution and copy # 2 of the video packet having a low resolution) may be transmitted to the receiving device 106. That is, the transmitting device 102 may gradually increase the packet transmission amount on the network 104 by continuously transmitting the multimedia packet including the second additional packet at the request of the receiving device 106. Meanwhile, the information included in the above-described first additional packet and the second additional packet are merely examples, and various pieces of information (or packets) used to recover the original packet may be included in the first additional packet and the second additional packet. Can be included.

S114 단계에서, 수신 장치(106)는 S112 단계에서의 FEC 적용으로 인해 패킷 전송량이 증가함에 따라 멀티미디어 패킷의 품질 열화 현상이 발생하는지의 여부를 판단한다. 예를 들어, 수신 장치(106)는 네트워크(104) 상에서 패킷의 손실 또는 지연이 설정된 수준 이상으로 발생하는 경우 멀티미디어 패킷의 품질 열화 현상이 발생한 것으로 판단할 수 있다. In step S114, the reception device 106 determines whether or not a quality degradation of the multimedia packet occurs as the packet transmission amount increases due to the FEC application in step S112. For example, the reception device 106 may determine that the quality degradation of the multimedia packet occurs when the loss or delay of the packet occurs above the set level on the network 104.

S116 단계에서, 수신 장치(106)는 S114 단계에서의 판단 결과 품질 열화 현상이 발생한 경우 상기 영상 패킷에 FEC의 적용을 해제할 것을 송신 장치(102) 측에 요청한다. 즉, 영상 패킷의 해상도를 제1 해상도에서 제2 해상도로 증가시키는 경우 네트워크(104) 상에서 패킷의 손실 또는 지연이 발생될 것으로 예측되므로, 수신 장치(106)는 상기 영상 패킷의 해상도를 상기 제1 해상도로 유지할 것으로 결정할 수 있다. 송신 장치(102)는 수신 장치(106)의 요청에 따라 상기 영상 패킷에 적용된 FEC를 해제하게 된다. 또한, 이 경우 영상 패킷의 해상도를 증가시킬 수 없으므로, S108 단계 및 S110 단계가 순차적으로 수행된다.In step S116, the reception device 106 requests the transmission device 102 to release the application of the FEC to the video packet when a quality degradation phenomenon occurs in the determination in step S114. That is, when the resolution of the video packet is increased from the first resolution to the second resolution, it is predicted that loss or delay of the packet will occur on the network 104. You can decide to keep it at the resolution. The transmitting device 102 releases the FEC applied to the video packet at the request of the receiving device 106. In this case, since the resolution of the video packet cannot be increased, steps S108 and S110 are performed sequentially.

S118 단계에서, 수신 장치(106)는 S114 단계에서의 판단 결과 품질 열화 현상이 발생하지 않은 경우 현재 네트워크(104)의 사용 대역폭이 목표 네트워크 대역폭에 도달하였는지의 여부를 판단한다. 만약, 현재 네트워크(104)의 사용 대역폭이 상기 목표 네트워크 대역폭에 도달하지 않은 경우, S112 단계가 수행된다.In operation S118, when the quality deterioration phenomenon does not occur as a result of the determination in operation S114, the receiving device 106 determines whether the bandwidth used by the current network 104 reaches the target network bandwidth. If the used bandwidth of the current network 104 does not reach the target network bandwidth, step S112 is performed.

S120 단계에서, 만약 현재 네트워크(104)의 사용 대역폭이 상기 목표 네트워크 대역폭에 도달하였음에도 네트워크(104) 상에서 패킷의 손실 또는 지연이 발생하지 않거나 설정된 수준 미만으로 발생하는 경우, 수신 장치(106)는 상기 영상 패킷에 FEC의 적용을 해제할 것을 송신 장치(102) 측에 요청할 수 있다. 즉, 영상 패킷의 해상도를 제1 해상도에서 제2 해상도로 증가시키는 경우 네트워크(104) 상에서 패킷의 손실 또는 지연이 발생되지 않을 것으로 예측되므로, 수신 장치(106)는 상기 영상 패킷의 해상도를 상기 제2 해상도로 증가시킬 것으로 결정할 수 있다. 송신 장치(102)는 수신 장치(106)의 요청에 따라 상기 영상 패킷에 적용된 FEC를 해제하게 된다.In operation S120, if a loss or delay of a packet does not occur or occurs below a set level on the network 104 even though the current network 104 has reached the target network bandwidth, the receiving device 106 may generate the packet. The transmitter 102 may request that the video packet be released from the FEC. That is, when the resolution of the image packet is increased from the first resolution to the second resolution, it is predicted that no loss or delay of the packet will occur on the network 104. Therefore, the reception apparatus 106 may determine the resolution of the image packet. Decide to increase to 2 resolution. The transmitting device 102 releases the FEC applied to the video packet at the request of the receiving device 106.

S122 단계에서, 수신 장치(106)는 상기 음성 패킷에 FEC의 적용을 해제할 것을 송신 장치(102) 측에 요청한다. 이 경우, 영상 패킷의 해상도를 증가시키더라도 네트워크(104) 상에서 패킷의 손실 또는 지연이 발생되지 않을 것으로 예측되므로, 송신 장치(102)는 상기 음성 패킷에 적용된 FEC를 해제하게 된다.In step S122, the receiving device 106 requests the transmitting device 102 to release the application of the FEC to the voice packet. In this case, even if the resolution of the video packet is increased, the packet loss or delay is not expected to occur on the network 104. Therefore, the transmitter 102 releases the FEC applied to the voice packet.

S124 단계에서, 수신 장치(106)는 상기 영상 패킷의 해상도를 상기 제2 해상도로 증가시킬 것을 송신 장치(102) 측에 요청한다. 이에 따라, 송신 장치(102)는 상기 영상 패킷의 해상도를 제1 해상도에서 제2 해상도로 증가시킨다.In step S124, the receiving device 106 requests the transmitting device 102 to increase the resolution of the video packet to the second resolution. Accordingly, the transmitter 102 increases the resolution of the video packet from the first resolution to the second resolution.

S126 단계에서, 수신 장치(106)는 S102 단계에서 증가시킨 지터 버퍼의 크기를 원래대로 복원시킨다. 즉, 영상 패킷의 해상도를 증가시키더라도 네트워크(104) 상에서 패킷의 손실 또는 지연이 발생되지 않을 것으로 예측(즉, 음성 패킷의 품질 열화가 발생되지 않으며 멀티미디어 패킷이 안정적으로 송수신될 것으로 예측)되므로, 송신 장치(102)는 S102 단계에서 증가시킨 지터 버퍼의 크기를 원래대로 복원시킬 수 있다.In step S126, the receiving device 106 restores the size of the jitter buffer increased in step S102. That is, even if the resolution of the video packet is increased, it is predicted that no loss or delay of the packet will occur on the network 104 (that is, the quality deterioration of the voice packet will not occur and the multimedia packet will be reliably transmitted and received). The transmitter 102 may restore the size of the jitter buffer increased in step S102.

도 4는 예시적인 실시예에 따른 영상 패킷의 품질에 따른 네트워크의 사용 대역폭 변화를 나타낸 그래프이다.4 is a graph illustrating a change in bandwidth used by a network according to quality of an image packet according to an exemplary embodiment.

도 4를 참조하면, 가로축은 영상 패킷의 품질(해상도)를 나타내며 세로축은 해당 영상 패킷의 품질에 따른 네트워크의 사용 대역폭을 나타낸다.Referring to FIG. 4, the horizontal axis represents the quality (resolution) of the video packet, and the vertical axis represents the bandwidth used of the network according to the quality of the video packet.

상술한 바와 같이, 수신 장치(106)는 네트워크(104)를 통해 송신 장치(102)로부터 수신되는 영상 패킷의 해상도를 증가시키는 과정에서 상기 영상 패킷과 함께 수신되는 음성 패킷의 품질 열화를 방지하기 위해 영상 패킷의 해상도를 증가시키기 전 i) 음성 패킷의 유실에 대응하기 위한 전처리 작업을 수행하고, ii) 증가된 해상도의 영상 패킷을 해당 네트워크(104)를 통해 송수신 가능한지 판단할 수 있다.As described above, the receiving device 106 prevents the deterioration of the quality of the voice packet received with the video packet in the process of increasing the resolution of the video packet received from the transmitting device 102 via the network 104. Before increasing the resolution of the video packet, i) perform preprocessing to cope with the loss of the voice packet, and ii) determine whether the video packet having the increased resolution can be transmitted and received through the corresponding network 104.

상기 i) 전처리 작업은 ① 네트워크에서의 RTT를 기반으로 수신 장치(106) 측 지터 버퍼의 크기를 증가시키는 작업, 및 ② 음성 패킷에 FEC의 적용으로 인한 제1 추가 패킷을 포함시켜 음성 패킷의 전송량을 증가시키는 작업을 포함할 수 있다. 도 4를 참조하면, 음성 패킷에 FEC를 적용함으로써 음성 패킷의 전송량이 증가하고, 이에 따라 네트워크(104)의 사용 대역폭이 증가한 것을 확인할 수 있다.I) The preprocessing operation includes: 1) increasing the size of the jitter buffer on the receiving device 106 based on the RTT in the network; and 2) including the first additional packet due to the application of FEC to the voice packet, thereby transmitting the amount of voice packets. It may include increasing the work. Referring to FIG. 4, it can be seen that by applying the FEC to the voice packet, the amount of transmission of the voice packet increases, and accordingly, the use bandwidth of the network 104 increases.

또한, 상기 ii) 증가된 해상도의 영상 패킷을 해당 네트워크(104)를 통해 송수신 가능한지 판단하는 작업은 영상 패킷에 FEC의 적용으로 인한 제2 추가 패킷을 포함시켜 상기 영상 패킷의 전송량을 점진적으로 증가시키는 작업을 의미한다. 도 4를 참조하면, 영상 패킷에 FEC가 적용되어 영상 패킷의 전송량이 점진적으로 증가하고, 이에 따라 네트워크(104)의 사용 대역폭이 점진적으로 증가한 것을 확인할 수 있다.In addition, the operation of determining whether the video packet having the increased resolution can be transmitted and received through the corresponding network 104 includes gradually adding the second additional packet due to the application of FEC to the video packet to gradually increase the transmission amount of the video packet. Means work. Referring to FIG. 4, it can be seen that the FEC is applied to the video packet so that the transmission amount of the video packet gradually increases, and accordingly, the usage bandwidth of the network 104 gradually increases.

영상 패킷의 전송량이 점진적으로 증가함에 따라 현재 네트워크(104)의 사용 대역폭이 목표 네트워크 대역폭에 도달하는 경우, 수신 장치(106)는 네트워크(104) 상에서 패킷의 손실 또는 지연이 발생하는지의 여부를 판단한다. 만약, 네트워크(104) 상에서 패킷의 손실 또는 지연이 발생하지 않거나 설정된 수준 미만으로 발생하는 경우, 수신 장치(106)는 상기 영상 패킷의 해상도를 제1 해상도에서 제2 해상도로 증가시킬 것으로 결정하고 FEC 해제 및 해상도 상향을 송신 장치(102) 측에 요청할 수 있다. 이에 따라, 영상 패킷 및 음성 패킷에 적용된 FEC가 각각 해제되며, 영상 패킷의 해상도가 상향 조절될 수 있다. 이 경우, FEC가 해제되면서 영상 패킷의 해상도가 상향 조절되었으므로, 네트워크(104)의 사용 대역폭은 그대로 유지된다.When the bandwidth of the current network 104 reaches the target network bandwidth as the transmission amount of the video packet gradually increases, the receiving device 106 determines whether a packet loss or delay occurs on the network 104. do. If the loss or delay of the packet does not occur or occurs below the set level on the network 104, the receiving device 106 determines to increase the resolution of the video packet from the first resolution to the second resolution and FEC The transmitting device 102 may request the release and the resolution to be increased. Accordingly, the FECs applied to the video packet and the voice packet are released, respectively, and the resolution of the video packet can be adjusted upward. In this case, since the resolution of the video packet is adjusted upward while the FEC is released, the bandwidth used by the network 104 is maintained.

이후, 수신 장치(106)는 지터 버퍼의 크기를 원래대로 복원시킨다. The receiving device 106 then restores the size of the jitter buffer.

도 5는 예시적인 실시예에 따른 송신 장치(102)와 수신 장치(106)의 적용 예시이다. 여기서, 송신 장치(102)는 스트리밍 서버이며, 수신 장치(106)는 사용자 단말인 것으로 가정한다.5 is an application example of the transmitting apparatus 102 and the receiving apparatus 106 according to an exemplary embodiment. Here, it is assumed that the transmitting device 102 is a streaming server and the receiving device 106 is a user terminal.

도 5를 참조하면, 사용자 단말(106)은 상술한 QoS 관리 방법에 따른 영상 패킷의 해상도 상향을 위해 패킷 A에 FEC를 적용할 것을 스트리밍 서버(102)로 요청할 수 있다. 스트리밍 서버(102)는 사용자 단말(106)의 요청에 따라 패킷 A에 추가 패킷 A'를 포함시킨 후 이를 사용자 단말(106)로 송신할 수 있다.Referring to FIG. 5, the user terminal 106 may request the streaming server 102 to apply the FEC to the packet A to increase the resolution of the video packet according to the above-described QoS management method. The streaming server 102 may include the additional packet A 'in the packet A according to a request of the user terminal 106 and then transmit it to the user terminal 106.

도 6은 다른 예시적인 실시예에 따른 송신 장치(102)와 수신 장치(106)의 적용 예시이다. 여기서, 송신 장치(102)는 스트리밍 서버(108)와 연결되는 릴레이 서버이며, 수신 장치(106)는 상기 릴레이 서버와 연결되는 사용자 단말인 것으로 가정한다. 이때, 사용자 단말(106)은 복수 개 존재하는 것으로 가정한다. Fig. 6 is an application example of the transmitting device 102 and the receiving device 106 according to another exemplary embodiment. Here, it is assumed that the transmitting device 102 is a relay server connected with the streaming server 108 and the receiving device 106 is a user terminal connected with the relay server. In this case, it is assumed that a plurality of user terminals 106 exist.

도 6을 참조하면, 스트리밍 서버(108)는 사전에 패킷 A, 및 패킷 A의 추가 패킷 A'를 릴레이 서버(102)로 제공할 수 있다. 이후, 사용자 단말 1(106-1)은 상술한 QoS 관리 방법에 따른 영상 패킷의 해상도 상향을 위해 패킷 A에 FEC를 적용할 것을 릴레이 서버(102)로 요청할 수 있다. 릴레이 서버(102)는 사용자 단말 1(106-1)의 요청에 따라 패킷 A에 추가 패킷 A'를 포함시킨 후 이를 사용자 단말 1(106-1)로 송신할 수 있다. 반면, 사용자 단말 2(106-2)는 사용자로부터 영상 패킷의 해상도 상향 요구가 없어 패킷 A를 릴레이 서버(102)로 요청할 수 있으며, 릴레이 서버(102)로부터 패킷 A를 수신할 수 있다.Referring to FIG. 6, the streaming server 108 may provide the packet A and the additional packet A 'of the packet A to the relay server 102 in advance. Thereafter, the user terminal 1 106-1 may request the relay server 102 to apply the FEC to the packet A to increase the resolution of the video packet according to the above-described QoS management method. The relay server 102 may include the additional packet A 'in the packet A according to the request of the user terminal 1 106-1, and then transmit the additional packet A ′ to the user terminal 1 106-1. On the other hand, the user terminal 2 106-2 may request the packet A to the relay server 102 because there is no request to increase the resolution of the image packet from the user, and may receive the packet A from the relay server 102.

이와 같이, 본 실시예들에 따른 송신 장치(102)는 멀티미디어 데이터를 사용자 단말로 직접 송신하는 스트리밍 서버뿐 아니라, 스트리밍 서버와 사용자 단말 사이에서 사용자 단말의 요청에 따라 기 생성된 멀티미디어 데이터를 사용자 단말로 전달하는 릴레이 서버를 모두 포함하는 넓은 의미로 사용된다. 또한, 본 실시예들에 있어서, 패킷의 “송신” 및 “수신”은 패킷을 직접 송신 및 수신하는 경우뿐 아니라 중간의 매개체를 통해 패킷을 송신 및 수신하는 경우까지 모두 포함하는 것으로 해석한다.As described above, the transmitting apparatus 102 according to the present exemplary embodiment not only has a streaming server for directly transmitting multimedia data to the user terminal, but also user equipment for multimedia data previously generated at the request of the user terminal between the streaming server and the user terminal. It is used in a broad sense to include all relay servers to be forwarded to. In addition, in the present embodiments, "transmit" and "receive" of a packet are interpreted to include not only the case of directly transmitting and receiving the packet but also the case of transmitting and receiving the packet through an intermediate medium.

도 7은 예시적인 실시예에 따른 수신 장치(106)의 상세 블록도이다. 도 7에 도시된 바와 같이, 예시적인 실시예에 따른 수신 장치(106)는 전처리부(202) 및 영상 처리부(204)를 포함한다.7 is a detailed block diagram of a receiving device 106 according to an exemplary embodiment. As shown in FIG. 7, the receiving device 106 according to the exemplary embodiment includes a preprocessor 202 and an image processor 204.

전처리부(202)는 네트워크(104)에서의 RTT를 기반으로 수신 장치(106) 측 지터 버퍼의 크기를 증가시킨다. 구체적으로, 전처리부(202)는 지터 버퍼의 크기가 상기 RTT의 크기보다 커지도록 상기 지터 버퍼의 크기를 증가시킬 수 있다.The preprocessor 202 increases the size of the jitter buffer on the receiving device 106 based on the RTT in the network 104. In detail, the preprocessor 202 may increase the size of the jitter buffer so that the size of the jitter buffer becomes larger than the size of the RTT.

또한, 전처리부(202)는 음성 패킷에 FEC의 적용으로 인한 제1 추가 패킷을 포함시켜 상기 음성 패킷의 전송량을 증가시킬 것을 송신 장치(102) 측에 요청한다. 만약, 상기 음성 패킷의 전송량이 증가함에 따라 네트워크(104) 상에서 패킷의 손실또는 지연이 설정된 수준 이상으로 발생하는 경우, 전처리부(202)는 상기 음성 패킷에 FEC의 적용을 해제할 것을 송신 장치(102) 측에 요청하고, 상기 지터 버퍼의 크기를 원래대로 복원시킬 수 있다.In addition, the preprocessor 202 requests the transmitting device 102 to increase the amount of transmission of the voice packet by including the first additional packet due to the application of FEC to the voice packet. If the loss or delay of the packet occurs on the network 104 as the transmission amount of the voice packet increases, the preprocessor 202 releases the application of the FEC to the voice packet. 102) and the size of the jitter buffer can be restored.

영상 처리부(204)는 상기 음성 패킷의 전송량이 증가한 후 상기 영상 패킷에 FEC의 적용으로 인한 제2 추가 패킷을 포함시켜 상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 송신 장치(102) 측에 요청한다. 구체적으로, 영상 처리부(204)는 영상 패킷의 해상도를 제1 해상도에서 제2 해상도로 증가시켰을 때 필요한 목표 네트워크 대역폭을 계산하고, 네트워크(104)의 사용 대역폭이 상기 목표 네트워크 대역폭에 도달할 때까지 상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 송신 장치(102) 측에 요청한다.The image processing unit 204 requests the transmitting device 102 to gradually increase the transmission amount of the video packet by including the second additional packet due to the application of FEC to the video packet after the transmission amount of the voice packet is increased. . In detail, the image processing unit 204 calculates a target network bandwidth required when the resolution of the image packet is increased from the first resolution to the second resolution, and until the bandwidth used reaches the target network bandwidth. The transmitting device 102 requests to gradually increase the amount of transmission of the video packet.

또한, 영상 처리부(204)는 상기 영상 패킷의 전송량이 증가한 후 네트워크(104)의 상태를 측정하여 상기 영상 패킷의 해상도 증가 여부를 결정한다. In addition, the image processor 204 determines whether the resolution of the image packet is increased by measuring the state of the network 104 after the transmission amount of the image packet is increased.

만약, 상기 영상 패킷의 전송량이 증가함에 따라 네트워크(104) 상에서 패킷의 손실 또는 지연이 설정된 수준 이상으로 발생하는 경우, 영상 처리부(204)는 영상 패킷의 해상도를 상기 제1 해상도로 유지할 것으로 결정할 수 있다. 이 경우, 영상 처리부(204)는 상기 영상 패킷에 FEC의 적용을 해제할 것을 송신 장치(102) 측에 요청할 수 있다. 또한, 이 경우 전처리부(202)는 음성 패킷에 FEC의 적용을 해제할 것을 송신 장치(102) 측에 요청하고, 상기 지터 버퍼의 크기를 원래대로 복원시킬 수 있다.If the packet loss or delay occurs on the network 104 as the transmission amount of the image packet increases, the image processor 204 may determine to maintain the resolution of the image packet at the first resolution. have. In this case, the image processing unit 204 may request the transmitting device 102 to release the application of the FEC to the image packet. In this case, the preprocessing unit 202 may request the transmitting device 102 to release the application of the FEC to the voice packet and restore the size of the jitter buffer to its original size.

만약, 상기 영상 패킷의 전송량이 증가함에 따라 네트워크(104) 상에서 패킷의 손실 또는 지연이 발생하지 않거나 설정된 수준 미만으로 발생하는 경우, 영상 처리부(204)는 상기 영상 패킷의 해상도를 상기 제2 해상도로 증가시킬 것으로 결정할 수 있다. 이 경우, 영상 처리부(204)는 상기 영상 패킷에 FEC의 적용을 해제하고 상기 영상 패킷의 해상도를 제2 해상도로 증가시킬 것을 송신 장치(102) 측에 요청할 수 있다. 또한, 이 경우 전처리부(202)는 상기 음성 패킷에 FEC의 적용을 해제할 것을 송신 장치(102) 측에 요청하고, 상기 영상 패킷의 해상도가 제2 해상도로 증가된 후 상기 지터 버퍼의 크기를 원래대로 복원시킬 수 있다.If the loss or delay of the packet does not occur or occurs below the set level on the network 104 as the transmission amount of the video packet increases, the image processor 204 sets the resolution of the video packet to the second resolution. You can decide to increase it. In this case, the image processor 204 may request the transmitting device 102 to release the FEC from the image packet and increase the resolution of the image packet to the second resolution. In this case, the preprocessing unit 202 requests the transmitting device 102 to release the application of the FEC to the voice packet, and increases the size of the jitter buffer after the resolution of the video packet is increased to the second resolution. You can restore it.

도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.8 is a block diagram illustrating and describing a computing environment 10 that includes a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 송신 장치(102), 수신 장치(106) 또는 이들에 포함되는 하나 이상의 컴포넌트일 수 있다.The illustrated computing environment 10 includes a computing device 12. In one embodiment, computing device 12 may be transmitting device 102, receiving device 106, or one or more components included therein.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.Computing device 12 includes at least one processor 14, computer readable storage medium 16, and communication bus 18. The processor 14 may cause the computing device 12 to operate according to the example embodiments mentioned above. For example, processor 14 may execute one or more programs stored in computer readable storage medium 16. The one or more programs may include one or more computer executable instructions that, when executed by the processor 14, cause the computing device 12 to perform operations in accordance with an exemplary embodiment. Can be.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer readable storage medium 16 is configured to store computer executable instructions or program code, program data and / or other suitable forms of information. The program 20 stored in the computer readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, computer readable storage medium 16 includes memory (volatile memory, such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash Memory devices, or any other form of storage medium that is accessible by computing device 12 and capable of storing desired information, or a suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.The communication bus 18 interconnects various other components of the computing device 12, including the processor 14 and the computer readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22)는 상술한 스크롤 화면(102), 입력 인터페이스(104), 입력 화면(105) 등을 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(102)와 연결될 수도 있다.Computing device 12 may also include one or more input / output interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more input / output devices 24. The input / output interface 22 may include the above-described scroll screen 102, the input interface 104, the input screen 105, and the like. The input / output interface 22 and the network communication interface 26 are connected to the communication bus 18. The input / output device 24 may be connected to other components of the computing device 12 via the input / output interface 22. Exemplary input / output devices 24 may include pointing devices (such as a mouse or trackpad), keyboards, touch input devices (such as touchpads or touchscreens), voice or sound input devices, various types of sensor devices, and / or imaging devices. Input devices, and / or output devices such as display devices, printers, speakers, and / or network cards. The example input / output device 24 may be included inside the computing device 12 as one component of the computing device 12, and may be connected to the computing device 102 as a separate device from the computing device 12. It may be.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다. Although the present invention has been described in detail with reference to exemplary embodiments above, those skilled in the art to which the present invention pertains can make various modifications without departing from the scope of the present invention with respect to the above-described embodiments. Will understand. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the claims below and equivalents thereof.

10 : 컴퓨팅 환경
12 : 컴퓨팅 장치
14 : 프로세서
16 : 컴퓨터 판독 가능 저장 매체
18 : 통신 버스
20 : 프로그램
22 : 입출력 인터페이스
24 : 입출력 장치
26 : 네트워크 통신 인터페이스
100 : 통신 시스템
102 : 송신 장치
104 : 네트워크
106 : 수신 장치
202 : 전처리부
204 : 영상 처리부10: computing environment
12: computing device
14: processor
16: computer readable storage media
18: communication bus
20: program
22: I / O interface
24: input / output device
26: network communication interface
100: communication system
102: transmitting device
104: network
106: receiving device
202: preprocessing unit
204: image processing unit

Claims (18)

네트워크를 통해 송신 장치로부터 수신되는 영상 패킷의 해상도를 증가시키는 과정에서 상기 영상 패킷과 함께 수신되는 음성 패킷의 품질 열화(劣化)를 방지하기 위한 수신 장치로서,
상기 네트워크에서의 RTT(Round Trip Time)를 기반으로 상기 수신 장치 측 지터 버퍼의 크기를 증가시키고, 상기 음성 패킷에 FEC(Forward Error Correction)의 적용으로 인한 제1 추가 패킷을 포함시켜 상기 음성 패킷의 전송량을 증가시킬 것을 상기 송신 장치 측에 요청하는 전처리부; 및
상기 음성 패킷의 전송량이 증가한 후 상기 영상 패킷에 FEC의 적용으로 인한 제2 추가 패킷을 포함시켜 상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 상기 송신 장치 측에 요청하고, 상기 영상 패킷의 전송량이 증가한 후 상기 네트워크의 상태를 측정하여 상기 영상 패킷의 해상도 증가 여부를 결정하는 영상 처리부를 포함하는, 수신 장치.
A receiving device for preventing the deterioration of the quality of the audio packet received with the video packet in the process of increasing the resolution of the video packet received from the transmitting device through the network,
The size of the receiver jitter buffer is increased based on a round trip time (RTT) in the network, and the first packet includes the first additional packet due to the application of forward error correction (FEC) to the voice packet. A preprocessor requesting the transmitting device to increase the amount of transmission; And
After the transmission amount of the voice packet is increased, the transmission device requests the transmission device to gradually increase the transmission amount of the video packet by including the second additional packet due to the application of FEC to the video packet, and the transmission amount of the video packet is increased. And a video processor for measuring a state of the network and determining whether to increase the resolution of the video packet.
청구항 1에 있어서,
상기 전처리부는, 상기 지터 버퍼의 크기가 상기 RTT의 크기보다 커지도록 상기 지터 버퍼의 크기를 증가시키는, 수신 장치.
The method according to claim 1,
And the preprocessor increases the size of the jitter buffer so that the size of the jitter buffer becomes larger than the size of the RTT.
청구항 1에 있어서,
상기 전처리부는, 상기 음성 패킷의 전송량이 증가함에 따라 상기 네트워크 상에서 패킷의 손실(loss) 또는 지연(delay)이 설정된 수준 이상으로 발생하는 경우 상기 음성 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하고, 상기 지터 버퍼의 크기를 원래대로 복원시키는, 수신 장치.
The method according to claim 1,
The preprocessing unit is configured to cancel the application of FEC to the voice packet when a loss or delay of the packet occurs on the network as the amount of transmission of the voice packet increases. Requesting and restoring the size of the jitter buffer.
청구항 1에 있어서,
상기 영상 처리부는, 상기 영상 패킷의 해상도를 제1 해상도에서 제2 해상도로 증가시켰을 때 필요한 목표 네트워크 대역폭을 계산하고, 상기 네트워크의 사용 대역폭이 상기 목표 네트워크 대역폭에 도달할 때까지 상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 상기 송신 장치 측에 요청하는, 수신 장치.
The method according to claim 1,
The image processor calculates a target network bandwidth required when the resolution of the video packet is increased from the first resolution to the second resolution, and the transmission amount of the video packet until the use bandwidth of the network reaches the target network bandwidth. Requesting the transmitting device to incrementally increase the receiving device.
청구항 4에 있어서,
상기 영상 처리부는, 상기 네트워크 상에서 패킷의 손실 또는 지연이 설정된 수준 이상으로 발생하는 경우 상기 영상 패킷의 해상도를 상기 제1 해상도로 유지할 것으로 결정하는, 수신 장치.
The method according to claim 4,
And the image processor determines that the resolution of the image packet is to be maintained at the first resolution when a loss or delay of the packet occurs on the network.
청구항 5에 있어서,
상기 네트워크 상에서 패킷의 손실 또는 지연이 설정된 수준 이상으로 발생하는 경우,
상기 영상 처리부는, 상기 영상 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하고,
상기 전처리부는, 상기 음성 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하고, 상기 지터 버퍼의 크기를 원래대로 복원시키는, 수신 장치.
The method according to claim 5,
If the loss or delay of the packet occurs above the set level on the network,
The image processor requests the transmitting device to release application of FEC to the image packet,
And the preprocessor requests the transmitting device to release application of FEC to the voice packet, and restores the size of the jitter buffer to its original state.
청구항 4에 있어서,
상기 영상 처리부는, 상기 네트워크 상에서 패킷의 손실 또는 지연이 발생하지 않거나 설정된 수준 미만으로 발생하는 경우 상기 영상 패킷의 해상도를 상기 제2 해상도로 증가시킬 것으로 결정하는, 수신 장치.
The method according to claim 4,
And the image processing unit determines to increase the resolution of the image packet to the second resolution when no loss or delay of the packet occurs on the network or occurs below the set level.
청구항 7에 있어서,
상기 네트워크 상에서 패킷의 손실 또는 지연이 발생하지 않거나 설정된 수준 미만으로 발생하는 경우,
상기 영상 처리부는, 상기 영상 패킷에 FEC의 적용을 해제하고 상기 영상 패킷의 해상도를 상기 제2 해상도로 증가시킬 것을 상기 송신 장치 측에 요청하고,
상기 전처리부는, 상기 음성 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하고, 상기 영상 패킷의 해상도가 상기 제2 해상도로 증가된 후 상기 지터 버퍼의 크기를 원래대로 복원시키는, 수신 장치.
The method according to claim 7,
If no packet loss or delay occurs on the network or occurs below a set level,
The image processing unit requests the transmitting apparatus to release application of FEC to the video packet and increase the resolution of the video packet to the second resolution.
The preprocessing unit requests the transmitting apparatus to release the application of the FEC to the voice packet, and restores the size of the jitter buffer to its original size after the resolution of the video packet is increased to the second resolution. .
청구항 1에 있어서,
상기 영상 패킷 및 상기 음성 패킷은, 상기 네트워크 상에서 하나의 세션(session)을 통해 송수신되는, 수신 장치.
The method according to claim 1,
And the video packet and the voice packet are transmitted and received through one session on the network.
네트워크를 통해 송신 장치로부터 수신되는 영상 패킷의 해상도를 증가시키는 과정에서 상기 영상 패킷과 함께 수신되는 음성 패킷의 품질 열화를 방지하기 위해 수신 장치에서 수행되는 QOS(Quality of Service) 관리 방법으로서,
상기 네트워크에서의 RTT(Round Trip Time)를 기반으로 상기 수신 장치 측 지터 버퍼의 크기를 증가시키는 단계;
상기 음성 패킷에 FEC(Forward Error Correction)의 적용으로 인한 제1 추가 패킷을 포함시켜 상기 음성 패킷의 전송량을 증가시킬 것을 상기 송신 장치 측에 요청하는 단계;
상기 음성 패킷의 전송량이 증가한 후 상기 영상 패킷에 FEC의 적용으로 인한 제2 추가 패킷을 포함시켜 상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 상기 송신 장치 측에 요청하는 단계; 및
상기 영상 패킷의 전송량이 증가한 후 상기 네트워크의 상태를 측정하여 상기 영상 패킷의 해상도 증가 여부를 결정하는 단계를 포함하는, QOS 관리 방법.
A quality of service (QOS) management method performed by a receiving apparatus to prevent deterioration of a quality of a voice packet received with the video packet in a process of increasing the resolution of an image packet received from a transmitting apparatus through a network.
Increasing the size of the receiving device-side jitter buffer based on a round trip time (RTT) in the network;
Requesting the transmitting device to increase a transmission amount of the voice packet by including a first additional packet due to the application of forward error correction (FEC) to the voice packet;
Requesting the transmitting device to incrementally increase the transmission amount of the video packet by including the second additional packet due to the application of FEC to the video packet after the transmission amount of the voice packet is increased; And
And determining whether the resolution of the video packet is increased by measuring a state of the network after the transmission amount of the video packet is increased.
청구항 10에 있어서,
상기 수신 장치 측 지터 버퍼의 크기를 증가시키는 단계는, 상기 지터 버퍼의 크기가 상기 RTT의 크기보다 커지도록 상기 지터 버퍼의 크기를 증가시키는, QOS 관리 방법.
The method according to claim 10,
And increasing the size of the receiving device-side jitter buffer increases the size of the jitter buffer such that the size of the jitter buffer becomes larger than the size of the RTT.
청구항 10에 있어서,
상기 음성 패킷의 전송량이 증가함에 따라 상기 네트워크 상에서 패킷의 손실(loss) 또는 지연(delay)이 설정된 수준 이상으로 발생하는 경우 상기 음성 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하는 단계; 및
상기 지터 버퍼의 크기를 원래대로 복원시키는 단계를 더 포함하는, QOS 관리 방법.
The method according to claim 10,
Requesting the transmitting device to release the application of FEC to the voice packet when the loss or delay of the packet occurs on the network as the transmission amount of the voice packet increases. ; And
Restoring the size of the jitter buffer to its original size.
청구항 10에 있어서,
상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 상기 송신 장치 측에 요청하는 단계는, 상기 영상 패킷의 해상도를 제1 해상도에서 제2 해상도로 증가시켰을 때 필요한 목표 네트워크 대역폭을 계산하고, 상기 네트워크의 사용 대역폭이 상기 목표 네트워크 대역폭에 도달할 때까지 상기 영상 패킷의 전송량을 점진적으로 증가시킬 것을 상기 송신 장치 측에 요청하는, QOS 관리 방법.
The method according to claim 10,
The requesting of the transmitting apparatus to increase the transmission amount of the video packet gradually includes calculating a target network bandwidth required when the resolution of the video packet is increased from the first resolution to the second resolution, and using the network. Requesting the transmitting device to incrementally increase the amount of transmission of the video packet until a bandwidth reaches the target network bandwidth.
청구항 13에 있어서,
상기 영상 패킷의 해상도 증가 여부를 결정하는 단계는, 상기 네트워크 상에서 패킷의 손실 또는 지연이 설정된 수준 이상으로 발생하는 경우 상기 영상 패킷의 해상도를 상기 제1 해상도로 유지할 것으로 결정하는, QOS 관리 방법.
The method according to claim 13,
The determining of whether to increase the resolution of the video packet may include determining that the resolution of the video packet is maintained at the first resolution when a loss or delay of the packet occurs on the network.
청구항 14에 있어서,
상기 네트워크 상에서 패킷의 손실 또는 지연이 설정된 수준 이상으로 발생하는 경우,
상기 영상 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하는 단계;
상기 음성 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하는 단계; 및
상기 지터 버퍼의 크기를 원래대로 복원시키는 단계를 더 포함하는, QOS 관리 방법.
The method according to claim 14,
If the loss or delay of the packet occurs above the set level on the network,
Requesting the transmitting device to release application of FEC to the video packet;
Requesting the transmitting device to release application of FEC to the voice packet; And
Restoring the size of the jitter buffer to its original size.
청구항 13에 있어서,
상기 영상 패킷의 해상도 증가 여부를 결정하는 단계는, 상기 네트워크 상에서 패킷의 손실 또는 지연이 발생하지 않거나 설정된 수준 미만으로 발생하는 경우 상기 영상 패킷의 해상도를 상기 제2 해상도로 증가시킬 것으로 결정하는, QOS 관리 방법.
The method according to claim 13,
The determining whether the resolution of the video packet is increased may include determining that the resolution of the video packet is increased to the second resolution when no loss or delay of the packet occurs on the network or occurs below a set level. How to manage.
청구항 16에 있어서,
상기 네트워크 상에서 패킷의 손실 또는 지연이 발생하지 않거나 설정된 수준 미만으로 발생하는 경우,
상기 영상 패킷에 FEC의 적용을 해제하고 상기 영상 패킷의 해상도를 상기 제2 해상도로 증가시킬 것을 상기 송신 장치 측에 요청하는 단계; 및
상기 음성 패킷에 FEC의 적용을 해제할 것을 상기 송신 장치 측에 요청하고, 상기 영상 패킷의 해상도가 상기 제2 해상도로 증가된 후 상기 지터 버퍼의 크기를 원래대로 복원시키는 단계를 더 포함하는, QOS 관리 방법.
The method according to claim 16,
If no packet loss or delay occurs on the network or occurs below a set level,
Requesting the transmitting device to release FEC from the video packet and increase the resolution of the video packet to the second resolution; And
Requesting the transmitting device to release application of FEC to the voice packet, and restoring the size of the jitter buffer after the resolution of the video packet is increased to the second resolution. How to manage.
청구항 10에 있어서,
상기 영상 패킷 및 상기 음성 패킷은, 상기 네트워크 상에서 하나의 세션(session)을 통해 송수신되는, QOS 관리 방법.The method according to claim 10,
And the video packet and the voice packet are transmitted and received through one session on the network.
KR1020180041906A 2018-04-11 2018-04-11 Method for managing qos and receiving apparatus for executing the same KR102415156B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180041906A KR102415156B1 (en) 2018-04-11 2018-04-11 Method for managing qos and receiving apparatus for executing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180041906A KR102415156B1 (en) 2018-04-11 2018-04-11 Method for managing qos and receiving apparatus for executing the same

Publications (2)

Publication Number Publication Date
KR20190118714A true KR20190118714A (en) 2019-10-21
KR102415156B1 KR102415156B1 (en) 2022-06-29

Family

ID=68460493

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180041906A KR102415156B1 (en) 2018-04-11 2018-04-11 Method for managing qos and receiving apparatus for executing the same

Country Status (1)

Country Link
KR (1) KR102415156B1 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060128595A (en) * 2005-06-10 2006-12-14 삼성전자주식회사 Method for controlling transmission rate by using error correction packet and communication apparatus using the same
JP2007194823A (en) * 2006-01-18 2007-08-02 Nec System Technologies Ltd Video and audio controller, video and audio adjustment system, video and audio adjusting method, and program
KR20080080872A (en) * 2007-03-02 2008-09-05 삼성전자주식회사 Server and client for determining error restoration type according to transmission image data, thereby method
KR20090053520A (en) * 2007-11-23 2009-05-27 한국과학기술정보연구원 A apparatus of packet loss concealment with realtime voice communication on internet and method thereof
KR20110004972A (en) * 2009-07-09 2011-01-17 (주)엔스퍼트 System and method for changing resolution and size according to network environment
JP2011082934A (en) * 2009-10-09 2011-04-21 Cloud Scope Technologies Inc Stream data transmission device and method, and program
KR20120098655A (en) * 2009-10-27 2012-09-05 마이크로소프트 코포레이션 Quality of service (qos) based systems, networks, and advisors
KR20140128579A (en) 2013-04-29 2014-11-06 에스케이플래닛 주식회사 Method for transmitting image data of terminal and apparatus thereof
EP3136742A1 (en) * 2015-08-28 2017-03-01 Imagination Technologies Limited Bandwidth management

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060128595A (en) * 2005-06-10 2006-12-14 삼성전자주식회사 Method for controlling transmission rate by using error correction packet and communication apparatus using the same
JP2007194823A (en) * 2006-01-18 2007-08-02 Nec System Technologies Ltd Video and audio controller, video and audio adjustment system, video and audio adjusting method, and program
KR20080080872A (en) * 2007-03-02 2008-09-05 삼성전자주식회사 Server and client for determining error restoration type according to transmission image data, thereby method
KR20090053520A (en) * 2007-11-23 2009-05-27 한국과학기술정보연구원 A apparatus of packet loss concealment with realtime voice communication on internet and method thereof
KR20110004972A (en) * 2009-07-09 2011-01-17 (주)엔스퍼트 System and method for changing resolution and size according to network environment
JP2011082934A (en) * 2009-10-09 2011-04-21 Cloud Scope Technologies Inc Stream data transmission device and method, and program
KR20120098655A (en) * 2009-10-27 2012-09-05 마이크로소프트 코포레이션 Quality of service (qos) based systems, networks, and advisors
KR20140128579A (en) 2013-04-29 2014-11-06 에스케이플래닛 주식회사 Method for transmitting image data of terminal and apparatus thereof
EP3136742A1 (en) * 2015-08-28 2017-03-01 Imagination Technologies Limited Bandwidth management

Also Published As

Publication number Publication date
KR102415156B1 (en) 2022-06-29

Similar Documents

Publication Publication Date Title
CN107743698B (en) Method and apparatus for multi-path media delivery
KR101862175B1 (en) Congestion control bitrate algorithm
JP6178523B2 (en) Transport accelerator implementing request manager and connection manager functionality
RU2634908C2 (en) Method and device for mediadata delivery management
US10284616B2 (en) Adjusting a media stream in a video communication system based on participant count
JP6023368B1 (en) Interactive real-time media transfer protocol
EP3993436B1 (en) Data processing method and apparatus, computer-readable storage medium, and electronic device
US9246973B2 (en) Identifying and transitioning to an improved VoIP session
US20150341248A1 (en) Method for detecting network transmission status and related device
US20080117834A1 (en) Call server, call terminal, call system, transfer processing method, and program storage medium storing program thereof
US9538132B2 (en) Methods, devices, and systems for controlling audio and video transmission
US9350484B2 (en) Transport accelerator implementing selective utilization of redundant encoded content data functionality
US8127196B2 (en) Server and client for determining error restoration according to image data transmission, and method of determining error restoration according to image data transmission
AU2017207978A1 (en) Real-time transport protocol congestion control techniques in video telephony
CN109450606B (en) Data transmission control method and device
US11190430B2 (en) Determining the bandwidth of a communication link
US9736720B2 (en) Modifying feedback information to control a source device
CN112771875B (en) Improving video bit rate while maintaining video quality
KR102415156B1 (en) Method for managing qos and receiving apparatus for executing the same
USRE49277E1 (en) Latency-dependent cloud input channel management
KR20210051271A (en) Apparatus and method for transmitting data for transmission guarantee
WO2024080976A1 (en) Real-time meeting data recovery after proactive participant interruption
US20210289519A1 (en) Systems, methods, and media for scheduling traffic of a communication session between an application on a wifi network and another device
KR20140093174A (en) Method for delivering adaptive media based on received status information from media client and apparatus using thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant