KR101636198B1 - Method for controlling traffic of video streaming in wireless communication, and receiver implementing the same - Google Patents
Method for controlling traffic of video streaming in wireless communication, and receiver implementing the same Download PDFInfo
- Publication number
- KR101636198B1 KR101636198B1 KR1020150032436A KR20150032436A KR101636198B1 KR 101636198 B1 KR101636198 B1 KR 101636198B1 KR 1020150032436 A KR1020150032436 A KR 1020150032436A KR 20150032436 A KR20150032436 A KR 20150032436A KR 101636198 B1 KR101636198 B1 KR 101636198B1
- Authority
- KR
- South Korea
- Prior art keywords
- buffer
- playback
- packet
- rti
- reproduction
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2404—Monitoring of server processing errors or hardware failure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
Abstract
Description
본 발명은 무선통신 환경에서 비디오 스트리밍의 버퍼 언더플로우와 오버플로우 문제를 개선하기 위한 기술에 관한 것이다.
The present invention relates to a technique for improving the buffer underflow and overflow problem of video streaming in a wireless communication environment.
무선통신 환경에서 실시간 비디오 스트리밍 제공에 있어 만족스러운 품질의 서비스가 이루어져야 하며, 종단 간 품질에 있어 중요한 고려사항 중 하나가 재생 품질 보장이다. A satisfactory quality of service should be provided in real time video streaming in a wireless communication environment, and one of the important considerations in end-to-end quality is playback quality guarantee.
수신측 재생 버퍼에 채워져 있는 패킷의 양은 네트워크 상황에 따라 시간적으로 가변하며 네트워크 혼잡에 의한 재생의 멈춤 또는 스킵과 같은 불연속적인 프레임의 재생뿐만 아니라 특정 패킷의 손실로 인한 화질 저하 등과 같은 재생 품질 손상들이 발생한다. The amount of packets filled in the reception side playback buffer varies with time in accordance with the network situation, and the quality degradation such as image quality degradation due to loss of a specific packet as well as discontinuous frame playback such as stopping or skipping of playback due to network congestion Occurs.
이러한 문제를 해결하기 위해 무선통신 환경에서 재생 품질 보장하기 위한 기법에는 여러 가지가 있는데, 사용자 체감 품질을 만족시키기 위하여 최소 재생 버퍼 레벨을 보존하여 가변적인 네트워크 환경에서도 재생의 끊김 현상, 재생 중 비디오 품질의 급격한 변화등을 효율적으로 방지하는 비트율 적응 알고리즘도 그 중의 하나이고, 무선 네트워크에서 교차 계층에 기반한 네트워크 적응형 비디오 스트리밍 기법에 대해 제안된 바 있다. In order to solve this problem, there are various techniques for guaranteeing playback quality in a wireless communication environment. In order to satisfy a user's perception quality, a minimum playback buffer level is maintained. In a variable network environment, And adaptive video streaming technique based on cross layer in wireless network has been proposed.
비디오 전송자는 MAC과 물리계층의 상태를 측정하여 시간적으로 변하는 무선랜의 채널 상태를 예측한다. 예측된 채널 상태 정보는 네트워크 적응형 비디오 전송을 제어하기 위해 사용된다. 또한 단지 네트워크 지터에 대해 보상하기 위하여 재생 지연 또는 버퍼 사이즈를 동적으로 조절하는 지터 버퍼 컨트롤 메커니즘이 있으며, 이 경우에 오디오 애플리케이션에 대해서는 효과적이나, 실시간 비디오 스트리밍의 품질을 향상시키기에는 충분하지 않다. The video transmitter measures the state of the MAC and the physical layer and predicts the channel state of the wireless LAN which varies with time. The predicted channel state information is used to control the network adaptive video transmission. There is also a jitter buffer control mechanism that simply dynamically adjusts playback delay or buffer size to compensate for network jitter, which is effective for audio applications, but not enough to improve the quality of real-time video streaming.
컨텐츠 인지형 AMP(Adaptive Media Playout) 기법의 경우 비디오 장면의 내용에 기초하여 재생 속도를 변경하는 방식이다. 예를 들어, 비디오 장면 중 움직임이 적은 장면일 경우에 재생 속도를 감소시켜 언더플로우의 발생을 줄이는 효과를 가지게 된다. 하지만 이러한 메커니즘의 경우 매우 높은 복잡성을 가지며 움직임이 많은 스포츠나 액션 영화 같은 경우에는 가능하지 않다. In the case of the content-aware AMP (Adaptive Media Playout) technique, the playback speed is changed based on the content of the video scene. For example, in the case of a scene with a small amount of motion in a video scene, the playback speed is reduced to reduce the occurrence of underflow. However, such a mechanism is not possible with very high complexity and motion-intensive sports or action movies.
AMP(Adaptive Media Playout) 기법은 버퍼에 있는 패킷 또는 버퍼의 변동 횟수에 따라 동적으로 재생 속도를 조절하게 된다. 버퍼에 임계값을 설정하고 언더플로우(underflow) 임계값이나 오버플로우(overflow) 임계값에 현재 측정한 버퍼량이 도달했을 경우, 재생 속도를 원래의 정상 재생 속도에서 감소시키거나 또는 증가시켜서 버퍼의 고갈 및 포화 상태를 방지한다. 즉, 버퍼의 포화상태에 가까워져 오버플로우의 위험이 생기면 재생 속도를 증가시켜서 단위 시간동안 더 많은 데이터를 출력하고, 버퍼의 고갈상태에 가까워져 언더플로우의 위험이 생기면 재생 속도를 감소시켜서 버퍼의 안정 상태를 유지한다. Adaptive Media Playout (AMP) dynamically adjusts the playback speed according to the number of fluctuations in the number of packets or buffers in the buffer. When a threshold is set in the buffer and the current measured buffer amount reaches the underflow threshold or the overflow threshold, the playback speed is decreased or increased at the original normal playback speed to deplete the buffer And saturation. That is, if the buffer becomes saturated and a risk of overflow occurs, the playback speed is increased to output more data for a unit time, and when the buffer is near to a depleted state and there is a risk of underflow, Lt; / RTI >
또한 수신측 재생 버퍼로 불규칙하게 들어오는 패킷을 제어하기 위한 토큰 버킷(Token Bucket)기법이 있다. 토큰 버킷 기법은 단위 시간 동안 생성되는 토큰의 수와 버킷의 용량을 파라미터로 설정함으로써, 토큰에 따라 버퍼로 유입되는 트래픽을 제어할 수 있다. 이러한 토큰 버킷 기법은 흐름 제어와 데이터 트래픽의 트래픽 성형을 위한 통신시스템에 널리 적용되고 있다. 토큰 버킷의 파라미터인 초당 토큰 재생률과 버킷의 최대 용량들을 조절하여 패킷 손실률을 감소시키기 위한 연구가 있으며, 멀티미디어 서비스에서 서비스 품질을 보장하기 위해 토큰 버킷을 이용한 대역폭 할당 방식을 사용되고 있다. Also, there is a token bucket technique for controlling irregular incoming packets in the receiving side playback buffer. The token bucket technique can control the traffic flowing into the buffer according to the token by setting the number of tokens generated during the unit time and the capacity of the bucket as parameters. This token bucket technique is widely applied to communication systems for flow control and traffic shaping of data traffic. There are studies to reduce the packet loss rate by adjusting the token refresh rate per second, which is a parameter of the token bucket, and the maximum capacity of the bucket, and a bandwidth allocation method using a token bucket is used to guarantee the quality of service in the multimedia service.
무선통신 환경에서 수신측의 재생 버퍼에 있는 비디오 스트리밍의 패킷 정보량은 네트워크 상황에 따라 가변한다. 패킷 정보량이 특정 버퍼량보다 작아지면 버퍼 언더플로우(buffer underflow) 문제가 발생하고 반대로 패킷 정보량이 특정 버퍼량보다 많아지면 버퍼 오버플로우(buffer overflow) 문제가 발생한다. 목적지 수신 버퍼에서 비디오 스트리밍을 재생할 때 이러한 버퍼 언더플로우와 오버플로우 문제는 멈춤 현상이나 스킵 현상을 유발하여 재생의 불연속성을 발생시키는 문제점이 있다.
The packet information amount of video streaming in the playback buffer on the receiving side in the wireless communication environment varies depending on the network situation. If the amount of packet information is smaller than the specific buffer amount, a buffer underflow problem occurs. On the other hand, if the packet information amount exceeds the specific buffer amount, a buffer overflow problem occurs. When playing video streaming in the destination receive buffer, such buffer underflow and overflow problems cause a stop or skipping phenomenon, which causes a discontinuity in playback.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 무선통신 환경에서 비디오 스트리밍의 버퍼 언더플로우와 오버플로우 문제를 해결하기 위하여, 군집 트래픽을 제어하기 위한 토큰 버킷(Token Bucket) 기법과 수신측 재생 속도를 가변적으로 변화시키는 AMP(Adaptive Media Playout) 기법을 결합하여 비디오 스트리밍의 트래픽을 제어하는 기술을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been conceived to solve the problems as described above, and it is an object of the present invention to provide a token bucket technique for controlling a cluster traffic in order to solve a buffer underflow and an overflow problem of video streaming in a wireless communication environment, And an AMP (Adaptive Media Playout) technique for variably changing a playback speed to control traffic of video streaming.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
이와 같은 목적을 달성하기 위한 본 발명의 무선 통신 환경에서 비디오 스트리밍의 트래픽 제어 방법에서, 송신측으로부터 비디오 데이터 트래픽이 송신되면, 임시 버퍼에 임시로 저장하는 단계, 상기 임시 버퍼에 저장된 비디오 데이터의 패킷에 대해 토큰 버킷(Token bucket) 기법을 적용하여 하나의 패킷에 대해 하나의 토큰을 소비하는 방식으로, 미리 정해진 토큰의 개수 내에서만 패킷을 재생 버퍼로 허용하는 단계 및 상기 재생 버퍼의 오버플로우(overflow) 또는 언더플로우(underflow)를 방지하기 위하여 AMP(Adaptive Media Playout) 기법을 적용하여 동적으로 재생 속도를 조절하는 단계를 포함한다. In accordance with another aspect of the present invention, there is provided a method of controlling traffic in video streaming in a wireless communication environment, the method comprising: temporarily storing video data traffic in a temporary buffer, Comprising the steps of: accepting a packet as a playback buffer only within a predetermined number of tokens in such a manner that a token bucket technique is applied to the playback buffer to consume one token for one packet; ) Or an adaptive media playout (AMP) technique to prevent underflow, thereby regulating the playback speed dynamically.
토큰이 저장되어 있는 버킷의 용량을 c, 초당 생성되는 토큰의 수를 r이라고 할 때, 임의의 시간 간격 Δt 동안에 상기 재생 버퍼로 들어올 수 있는 비디오 패킷의 최대 수 (Nmax)를, 
전송하기에 충분한 패킷이 상기 임시 버퍼에 저장되어 있다고 가정하고, 전송되는 패킷의 최대 크기(Ptxmax)에 따라, 토큰 생성에 따른 유입 가능한 최대 패킷량(Ptokenmax)을, 
버킷 용량에 따른 유입 가능한 최대 패킷량(Pbucketmax)을, 
상기 재생 버퍼가 비어있다고 가정하고, 단위시간 Δt동안에 상기 재생 버퍼로 유입되는 패킷의 양은, 상기 재생 버퍼의 최대 용량(Bmax)에 재생량(Lplayout)을 합한 값보다 적거나 같아야 버퍼의 포화상태를 방지할 수 있으며, 이를 
상기 재생 버퍼가 고갈되거나 포화되는 것을 방지하기 위해 언더플로우 임계값(Underflow Threshold)과 오버플로우 임계값(Overflow Threshold)을 정하고, 상기 재생 버퍼의 패킷량을 측정하여 해당 임계값에 도달했을 때, 상기 AMP 기법에서는 프레임 재생의 속도를 적응적으로 변화시킬 수 있다. Determining an underflow threshold value and an overflow threshold value in order to prevent the playback buffer from becoming exhausted or saturated, measuring a packet amount of the playback buffer, and when the threshold value is reached, In the AMP technique, the frame playback speed can be changed adaptively.
Cplayout는 재생 속도 변경율을 의미한다고 할 때, 상기 AMP 기법에서 언더플로우일 경우에 변경하는 재생 속도(Vunderflow)는, 
본 발명에서 무선 통신 환경에서 비디오 스트리밍의 트래픽을 수신하는 수신기 장치에서, 송신측으로부터 비디오 데이터 트래픽이 송신되면, 임시로 저장하기 위한 임시 버퍼, 상기 임시 버퍼에 저장된 비디오 데이터의 패킷에 대해 토큰 버킷(Token bucket) 기법을 적용하여 하나의 패킷에 대해 하나의 토큰을 소비하는 방식으로, 미리 정해진 토큰의 개수 내에서만 패킷을 허용하기 위한 토큰 버킷부, 상기 토큰 버킷부에서 허용된 패킷을 저장하기 위한 재생 버퍼 및 상기 재생 버퍼의 오버플로우(overflow) 또는 언더플로우(underflow)를 방지하기 위하여 AMP(Adaptive Media Playout) 기법을 적용하여 동적으로 재생 속도를 조절하는 AMP 부를 포함한다. In the present invention, in a receiver device for receiving video streaming traffic in a wireless communication environment, when a video data traffic is transmitted from a transmitting side, a temporal buffer for temporary storage, a token bucket for a packet of video data stored in the temporary buffer A token bucket unit for allowing a packet within a predetermined number of tokens in such a manner that one token is consumed for one packet by applying a token bucket technique, And an AMP unit for dynamically controlling the playback speed by applying an Adaptive Media Playout (AMP) technique to prevent an overflow or an underflow of the playback buffer.
토큰이 저장되어 있는 버킷의 용량을 c, 초당 생성되는 토큰의 수를 r이라고 할 때, 임의의 시간 간격 Δt 동안에 상기 재생 버퍼로 들어올 수 있는 비디오 패킷의 최대 수 (Nmax)를, 
전송하기에 충분한 패킷이 상기 임시 버퍼에 저장되어 있다고 가정하고, 전송되는 패킷의 최대 크기(Ptxmax)에 따라, 토큰 생성에 따른 유입 가능한 최대 패킷량(Ptokenmax)을, 
상기 재생 버퍼가 비어있다고 가정하고, 단위시간 Δt동안에 상기 재생 버퍼로 유입되는 패킷의 양은, 상기 재생 버퍼의 최대 용량(Bmax)에 재생량(Lplayout)을 합한 값보다 적거나 같아야 버퍼의 포화상태를 방지할 수 있으며, 이를 
상기 재생 버퍼가 고갈되거나 포화되는 것을 방지하기 위해 언더플로우 임계값(Underflow Threshold)과 오버플로우 임계값(Overflow Threshold)을 정하고, 상기 재생 버퍼의 패킷량을 측정하여 해당 임계값에 도달했을 때, 상기 AMP 부에서는 프레임 재생의 속도를 적응적으로 변화시킬 수 있다. Determining an underflow threshold value and an overflow threshold value in order to prevent the playback buffer from becoming exhausted or saturated, measuring a packet amount of the playback buffer, and when the threshold value is reached, In the AMP unit, the frame playback speed can be changed adaptively.
Cplayout는 재생 속도 변경율을 의미한다고 할 때, 상기 AMP 부에서 언더플로우일 경우에 변경하는 재생 속도(Vunderflow)는, 
The playback speed (Vunderflow) to be changed when underflow in the AMP unit,
본 발명에 의하면, 무선통신 환경에서 비디오 스트리밍의 트래픽을 제어하기 위하여 토큰 버킷 기법과 AMP 기법을 결합하여 적용함으로써, 버퍼에서의 언더플로우와 오버플로우 문제를 해소하고, 비디오 스트리밍 성능을 향상시킬 수 있는 효과가 있다.
According to the present invention, by combining the token bucket technique and the AMP technique to control the traffic of video streaming in a wireless communication environment, it is possible to solve the underflow and overflow problems in the buffer and improve the video streaming performance It is effective.
도 1은 본 발명의 일 실시예에 따른 토큰 버킷 기법과 AMP 기법을 결합한 수신기의 구조를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 시뮬레이션 절차를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 시뮬레이션에 사용된 YUV 파일을 나타낸 표이다.
도 4는 본 발명의 일 실시예에 따른 시뮬레이션 파라미터를 나타낸 표이다.
도 5는 본 발명의 일 실시예에 따른 시뮬레이션에서의 토큰 버킷 파라미터에 따른 성능을 나타낸 표이다.
도 6은 본 발명의 일 실시예에 따른 비디오 스트리밍 시뮬레이션에서 네 가지의 시나리오를 나타낸 표이다.
도 7은 수신측 버퍼에 유입되는 비디오 스트리밍 패킷 크기의 패턴에 대해 도시한 그래프이다.
도 8은 각각의 시뮬레이션 대상 비디오 데이터에 대해 케이스 1과 케이스 2에서 언더플로우와 오버플로우의 발생 횟수를 비교한 그래프이다.
도 9는 각각의 시뮬레이션 대상 비디오 데이터에 대해 케이스 3과 케이스 4에서 언더플로우와 오버플로우의 발생 횟수를 비교한 그래프이다.
도 10은 시뮬레이션 대상이 된 각 비디오에 대해 케이스 별로 언더플로우 및 오버플로우의 지속 시간을 나타낸 표이다.
도 11은 케이스 3과 케이스 4에서 원래의 정상 재생 속도로 재생된 프레임의 비율 결과를 도시한 그래프이다.
도 12는 각 시뮬레이션 결과에서 패킷 손실율을 도시한 그래프이다.
도 13 내지 도 15는 각 영상에 대해 모든 케이스에서 수신된 비디오 스트리밍 패킷에 대해 PSNR을 측정한 그래프이다. 1 is a block diagram of a receiver combining a token bucket technique and an AMP technique according to an embodiment of the present invention.
2 is a view showing a simulation procedure according to an embodiment of the present invention.
3 is a table showing a YUV file used in a simulation according to an embodiment of the present invention.
4 is a table showing simulation parameters according to an embodiment of the present invention.
5 is a table showing performance according to the token bucket parameters in the simulation according to an embodiment of the present invention.
6 is a table showing four scenarios in a video streaming simulation according to an embodiment of the present invention.
7 is a graph showing a pattern of a video streaming packet size that flows into a receiving buffer.
FIG. 8 is a graph comparing the number of occurrences of underflow and overflow in
9 is a graph comparing the number of occurrences of underflow and overflow in
10 is a table showing the duration of underflow and overflow for each video for each simulation subject.
11 is a graph showing ratio results of frames reproduced at the original normal reproduction speed in
12 is a graph showing a packet loss rate in each simulation result.
Figures 13-15 are graphs of PSNR measurements for video streaming packets received in all cases for each image.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted in an ideal or overly formal sense unless expressly defined in the present application Do not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
본 발명에서는 AMP(Adaptive Media Playout) 기법과 토큰 버킷(Token Bucket) 기법을 결합하는 방식을 제안한다. 무선통신 환경에서 트래픽의 혼잡으로 인해 불규칙하게 들어오는 경우 그 정도가 심해지면 AMP만을 사용할 경우, 재생 속도 변경에 있어서 매우 많은 변화를 줘야 하거나, 재생속도 변경만으로는 버퍼(buffer)의 언더플로우(underflow)나 오버플로우(overflow) 현상을 해소하기 어려운 부분이 있을 수 있다. 따라서 재생 버퍼로 불규칙하게 들어오는 비디오 데이터를 토큰 버킷을 이용하여 어느 정도 규칙적으로 성형해주게 되면 AMP 제어 시 우수한 성능을 나타낼 수 있다. In the present invention, a method combining an AMP (Adaptive Media Playout) technique and a Token Bucket technique is proposed. In case of irregular incoming traffic due to traffic congestion in the wireless communication environment, if the AMP is used only very much, it is necessary to make a lot of change in the reproduction speed change or the change of the reproduction speed may cause an underflow of the buffer There may be areas where it is difficult to overflow. Therefore, if the video data irregularly entering the playback buffer is regularly formed using the token bucket, it can exhibit excellent performance in AMP control.
도 1은 본 발명의 일 실시예에 따른 토큰 버킷 기법과 AMP 기법을 결합한 수신기의 구조를 나타내는 도면이다. 1 is a block diagram of a receiver combining a token bucket technique and an AMP technique according to an embodiment of the present invention.
도 1을 참조하면, 토큰 버킷(120) 기법의 경우 네트워크의 영향으로 인해 수신측으로 불규칙하게 들어오는 트래픽에 대해서 보정해 주는 역할을 한다. 예를 들어, 군집 패킷이 수신측으로 유입된다고 가정했을 때, 먼저 임시버퍼(Temporary buffer)(110)에 저장되고, 그 후에 토큰 버킷(120) 기법을 통해 한 패킷에 대해 하나의 토큰을 소비함으로써 제한된 토큰의 개수 내에서의 패킷만을 허용하게 된다. 이와 같은 상황에서는 군집 패킷들로 인한 수신측 재생 버퍼(130)의 포화상태를 방지할 수 있을 것이다. 여기에 추가적으로 재생버퍼(Playout buffer)(130)의 오버플로우(Overflow)나 언더플로우(Underflow)를 방지하기 위해 AMP(Adaptive Media Playout) 기법(140)을 적용하여 재생 버퍼(130)에 있는 패킷량에 따라 재생 속도를 변경하게 된다.Referring to FIG. 1, in the case of the
보다 상세히 설명하면, 수신측으로 들어오는 비디오 데이터 트래픽 패턴(Data traffic pattern)은 네트워크의 혼잡 및 지연 지터에 의해 불규칙하게 들어오는 형태라고 가정한다. 이러한 불규칙한 데이터의 유입은 먼저 임시 버퍼(110)에 저장된다. 그 후 토큰 버킷(120) 기법을 적용하여 재생 버퍼(130)로 들어가는 비디오 패킷의 양을 제어하게 된다. More specifically, it is assumed that a video data traffic pattern arriving at the receiving side is irregularly input due to congestion and delay jitter of the network. The inflow of such irregular data is stored in the
토큰 버킷(120)은 비디오 패킷이 전송될 때마다 하나의 토큰을 제거하게 된다. 그러므로 토큰 버킷(120)의 토큰 카운터가 0이 되면 수신측 재생 버퍼(130)에서는 비디오 패킷을 받을 수 없다. 또한 초당 생성되어 버킷에 추가되는 토큰은 버킷의 최대 용량을 넘을 수 없다. 토큰이 저장되어 있는 버킷의 용량을 c, 초당 생성되는 토큰의 수를 r이라고 할 때, 임의의 시간 간격 Δt 동안에 재생 버퍼(130)로 들어올 수 있는 비디오 패킷의 최대 수 (Nmax)와 토큰 버킷의 최대 평균 속도 (AVmax)는 다음 수학식 1과 수학식 2와 같이 표현된다.The
수학식 1과 수학식 2를 통하여 토큰 버킷(120)을 사용함으로써, 네트워크의 평균 패킷 속도를 제한할 수 있음을 알 수 있다. It can be seen that by using
전송하기에 충분한 패킷이 임시 버퍼(110)에 저장되어 있다고 가정할 경우에 전송되는 패킷의 최대 크기(Ptxmax)에 따라, 토큰 생성에 따른 유입 가능한 최대 패킷량(Ptokenmax)와 버킷 용량에 따른 유입 가능한 최대 패킷량(Pbucketmax)은 다음 수학식 3과 수학식 4와 표현될 수 있다. (Ptxmax) that can be flowed in accordance with the token generation and the bucket capacity in accordance with the maximum size (Ptxmax) of the packet to be transmitted when it is assumed that a packet sufficient for transmission is stored in the
또한 재생량(Lplayout)은 단위 시간당 재생 버퍼(130)에서 재생되어 나가는 패킷의 양(ΔP)으로 계산되며, 다음 수학식 5와 같다. The reproduction amount Lplayout is calculated as the amount of packets? P reproduced in the
재생 버퍼(130)가 비어있다고 가정할 경우, 다음 수학식 6과 같이 단위시간 Δt동안에 수신측 재생 버퍼로 유입되는 패킷의 양은, 재생 버퍼의 최대 용량(Bmax)에 재생량(Lplayout)을 합한 값보다 적거나 같아야 버퍼의 포화상태를 방지할 수 있다. Assuming that the
또한 다음 수학식 7과 같이 단위 시간 동안 토큰 생성에 따른 유입 가능한 패킷이 재생량보다 적을 경우, 재생 버퍼(130) 안에 존재하는 패킷량이 감소함으로써 언더플로우 발생의 가능성이 있으며, 반대로 다음 수학식 8과 같이 큰 생성에 따른 유입 가능한 패킷이 재생량보다 클 경우, 오버플로우 발생의 가능성이 있다.If the number of packets that can be received due to token generation during a unit time is less than the reproduction amount, as shown in Equation (7), there is a possibility of occurrence of an underflow due to a decrease in the amount of packets existing in the
재생 버퍼(130)에서 오버플로우가 발생할 경우 토큰에 의해 유입되는 패킷 또한 폐기될 수 있다. 따라서 적절한 r값을 찾고 그에 따른 버킷의 용량 파라미터를 설정하게 된다. Packets introduced by the token may also be discarded if an overflow occurs in the
이 토큰 버킷 기법을 사용하여 수신측 재생 버퍼(130)로 들어가는 비디오 패킷의 양을 제어하기 위해 두 개의 파라미터(r,c)는 전송되는 패킷의 최대 크기(Prxmax)와 재생 버퍼(130)의 최대 용량(Bmax), 그리고 재생량(Lplayout) 등을 고려하여 설정해야 한다. To control the amount of video packets entering the receiving
토큰 버킷을 거쳐 재생 버퍼(130)로 들어온 패킷들에 대해서는 2차적으로 언더플로우 및 오버플로우를 방지하기 위해 AMP 기법(140)을 적용한다. The
재생 버퍼(130)가 고갈되거나 포화되는 것을 방지하기 위해 언더플로우 임계값(Underflow Threshold)과 오버플로우 임계값(Overflow Threshold)을 정하고, 재생 버퍼(130)의 패킷량을 측정하여 해당 임계값에 도달했을 때, AMP 기법(140)에서는 프레임 재생의 속도를 적응적으로 변화시키게 된다(Playout rate control). An underflow threshold value and an overflow threshold value are set to prevent the
AMP 기법(140)에서 언더플로우일 경우에 변경하는 재생 속도(Vunderflow)는 다음 수학식 9와 같이 표현되며, 오버플로우일 경우에 변경하는 재생 속도(Voverflow)는 다음 수학식 10과 같이 표현된다.The playback speed Vunderflow to be changed when the underflow is underflow in the
여기에서, Cplayout는 재생 속도 변경율을 의미한다. 예를 들어, 원래의 재생 속도를 30 fps로 설정하고, AMP 기법 적용 시 재생 속도 변경율을 ±20%로 설정한 경우, 실시간으로 재생 버퍼의 패킷량을 측정하여 언더플로우 임계값 이하로 내려간 경우에는 언더플로우 발생의 위험이 있으므로 재생 속도를 30fps - (30fps × 20/100) = 24 fps로 감소시켜 재생하여, 재생 버퍼(130)안에 머무는 패킷량을 증가시켜 언더플로우의 위험을 피한다. 따라서, 재생 버퍼(130) 내의 비디오 패킷의 부족으로 인한 재생의 멈춤 현상을 방지할 수 있다. Here, Cplayout represents the playback speed change rate. For example, if the original playback speed is set to 30 fps and the playback rate change rate is set to ± 20% when the AMP technique is applied, if the packet size of the playback buffer is measured in real time and falls below the underflow threshold value The reproduction speed is reduced to 30 fps - (30 fps x 20/100) = 24 fps and reproduced, thereby increasing the amount of packets staying in the
반대로 버퍼의 패킷량이 오버플로우 임계값 이상인 경우, 오버플로우 발생의 위험이 있으므로 재생 속도를 30fps + (30fps × 20/100) = 36fps로 증가시켜 재생하여 재생 버퍼(130)에 머무는 비디오 패킷을 더 많이 꺼냄으로써 버퍼의 패킷량을 감소시켜 포화 상태에 따른 오버플로우 위험을 피한다. 이와 같은 조치에 따라 패킷의 손실을 막을 수 있으며 정상적인 복호화로 화질의 열화 및 재생의 스킵(skip) 현상을 방지할 수 있다.
Conversely, if the amount of packets in the buffer is equal to or greater than the overflow threshold value, there is a risk of occurrence of an overflow, so that the playback speed is increased to 30 fps + (30 fps x 20/100) = 36 fps to reproduce the video packets staying in the
본 발명의 시뮬레이션을 수행하기 위하여, 송신측에서 전송되어 수신측 재생 버퍼(130)에 들어오는 비디오 패킷이 네트워크의 혼잡 및 예상치 못한 지터에 의해 불규칙적인 패턴으로 유입된다고 가정한다. 이러한 환경에서 토큰 버킷 기법과 AMP 기법을 적용하고, 언더플로우와 오버플로우의 발생 빈도, 정상 재생 속도로 재생된 프레임의 비율, 패킷 손실률 및 수신측 영상의 PSNR(Peak Signal to Noise Ratio)에 대해 NS-2와 JSVM을 사용하여 성능분석을 진행하기로 한다. In order to carry out the simulation of the present invention, it is assumed that a video packet transmitted from a transmission side and entering a reception
여기에서 PSNR이란 동영상의 화질 정보를 수치적으로 표현한 값으로 두 영상에 대해 평균 수치를 확인함으로써 대략적인 화질의 차이를 알 수 있는 수치이다. PSNR을 계산하는 식은 수학식 11과 같다.Here, PSNR is a numerical value representing the image quality information of a moving image, and it is a numerical value that shows the approximate image quality difference by checking an average value of two images. The equation for calculating the PSNR is shown in Equation (11).
여기서 MAXI는 해당 영상의 최대 신호값이다. MSE(Mean squared error)는 오차 제곱의 평균이다. 원영상과 수신된 영상에 대해 PSNR을 구할 경우, 두 영상에 대한 오차가 크면 클수록 PSNR값은 낮아진다. 일반적으로 PSNR값이 30dB이 넘으면 두 영상의 차이를 눈으로 구분하기 어렵다. Where MAX I is the maximum signal value of the corresponding image. Mean squared error (MSE) is the mean of the squared error. When the PSNR is obtained for the original image and the received image, the larger the error for the two images, the lower the PSNR value. Generally, if the PSNR value exceeds 30dB, it is difficult to distinguish the difference between the two images.
도 2는 본 발명의 일 실시예에 따른 시뮬레이션 절차를 보여주는 도면이다. 2 is a view showing a simulation procedure according to an embodiment of the present invention.
도 2의 시뮬레이션은 NS-2에서의 트레이스(trace) 기반의 시뮬레이션으로 진행한다. 여기서 비디오 트레이스(trace)는 실제 비디오 스트림으로부터 중요한 특징들을 추출하여 텍스트 파일의 형식으로 저장한 후, 그 데이터를 바탕으로 NS-2를 통해 전송하여 시뮬레이션 한다. 이 비디오 트레이스 파일은 패킷의 전송시간 및 도착시간, 프레임의 길이 및 프레임의 부호화 유형 등 실제 비디오 스트림으로부터 추출되어 저장된 형태이다. The simulation in FIG. 2 proceeds to a trace-based simulation in NS-2. Here, a video trace extracts important features from an actual video stream, stores it in the form of a text file, and transmits the data through NS-2 based on the data to simulate. The video trace file is a form extracted from an actual video stream such as a transmission time and arrival time of a packet, a length of a frame, and a coding type of a frame.
이러한 일련의 과정들은 MyEvalSVC를 참조하여 진행하였다. 이 시뮬레이션 방법은 SVEF(Scalable Video-Streaming Evaluation Framework)에 기반을 두어 NS-2 시뮬레이션 환경으로 프레임워크를 확장한 것이며, 제안하는 네트워크 구조 또는 프로토콜을 SVC, H.264에서 평가할 수 있는 방법이다. This series of processes was carried out with reference to MyEvalSVC. This simulation method is based on the Scalable Video-Streaming Evaluation Framework (SVEF) and is an extension of the framework to the NS-2 simulation environment. It is a method to evaluate the proposed network structure or protocol in SVC and H.264.
시뮬레이션의 대상이 될 원시 YUV 비디오를 JSVM을 이용하여 파라미터를 조정하여 인코딩을 하게 된다. 인코딩 후 JSVM에서 제공하는 BitStreamExtractor와 SVEF에서 제공하는 F-N Stamp를 사용하여 비디오 트레이스(Video trace) 파일을 생성하게 된다. NS-2에서는 myEvalSVC 에이전트(Agent)를 사용하여 이 전송 비디오 트레이스(Video trace) 파일을 기반으로 하여 자동으로 해당되는 패킷들을 생성해주게 된다. The raw YUV video to be simulated is encoded using JSVM. After encoding, a video trace file is generated using BitStreamExtractor provided by JSVM and F-N Stamp provided by SVEF. In NS-2, the myEvalSVC agent (agent) is used to automatically generate corresponding packets based on this transported video trace file.
수신단 측에서는 myEvalSVC_Sink 에이전트(Agent)를 구축해야 하며, 이 에이전트(Agent)는 전송된 패킷들을 바탕으로 수신 정보를 트레이스(trace) 파일로 다시 저장하게 된다(Received Video trace file). 이 수신단에서 기록된 트레이스(trace) 파일에는 수신 시간, 패킷 사이즈, 프레임 넘버, 프레임 유형 등이 기록되어 있다. 이 기록된 수신 트레이스(trace) 파일을 바탕으로 재생의 불연속성 및 패킷 손실율 등을 계산할 수 있으며, 이 데이터를 바탕으로 SVEF에서 제공하는 NALU 필터(filter)를 거치고 JSVM에서 다시 디코딩을 하게 되면 PSNR 스테틱(Static) 툴(tool)을 이용한 PSNR측정 및 플레이어를 이용한 화질을 볼 수 있다. On the receiver side, myEvalSVC_Sink agent must be constructed. The agent stores the received information as a trace file based on the transmitted packets (Received Video Trace File). The trace file recorded at this receiving end records the reception time, packet size, frame number, frame type, and the like. The discontinuity of playback and the packet loss rate can be calculated on the basis of the recorded received trace file. Based on this data, the NALU filter provided by the SVEF is decoded and the decoded data is decoded by the JSVM. PSNR measurement using a static tool and image quality using the player can be viewed.
NALU 필터(filter)에서는 프레임 종속성으로 인하여 디코딩할 수 없는 프레임과 너무 늦게 도착한 프레임들을 폐기하는 역할을 하게 되며, 이 필터링된 데이터를 디코딩하는 것을 실질적으로 네트워크를 거쳐 최종적으로 수신된 비디오 파일이라고 할 수 있다. In the NALU filter, frames that can not be decoded due to frame dependency and frames that arrive too late are discarded, and decoding of the filtered data can be regarded as a finally received video file through the network have.
NS-2에서는 전송자 하나와 수신자 하나를 만들어 시뮬레이션하게 된다. 송신측에서는 위에서 설명한 myEvalSVC를 이용하여 비디오 트레이스(Video trace) 파일을 바탕으로 한 패킷을 생성하고, 네트워크의 혼잡과 불규칙한 지터의 영향을 가정하여 비디오 데이터 패킷을 불규칙하게 전송한다. 수신단에는 토큰 버킷 기법을 수행하는 시스템과 2개의 버퍼를 구현하고, 재생 버퍼에는 AMP 기법을 적용 시키게 된다.In NS-2, one sender and one receiver are created and simulated. On the transmitting side, a packet based on a video trace file is generated using myEvalSVC described above, and the video data packet is irregularly transmitted assuming the congestion of the network and irregular jitter. The receiving end implements a system that performs the token bucket technique and two buffers, and applies the AMP technique to the playback buffer.
시뮬레이션에서 언더플로우 시 수신 트레이스 기록 방법은 다음과 같다. In the simulation, the method of recording the received trace when underflow is as follows.
수신측 재생 버퍼에서 재생이 이루어졌을 경우, 각 패킷들에 대한 재생시간을 수신측 트레이스(trace) 파일에 추가적으로 기록되도록 한다. 시뮬레이션 진행 중 만약 언더플로우 현상이 일어난다고 하면, 버퍼에 재생하기에 충분한 양의 데이터가 없기 때문에 재생의 멈춤 현상이 일어나게 된다. 따라서 수신측 에이전트(Agent)에서 기록되는 트레이스(trace) 파일에는, 언더플로우 발생 시점에 해당하는 패킷에 대해서 해당 프레임의 원 재생시간이 아닌 다음번 재생시간에 대해서 기록될 것이고, 이것을 바탕으로 언더플로우에 의한 재생의 불연속성을 측정한다.When reproduction is performed in the reception side reproduction buffer, the reproduction time for each packet is additionally recorded in the reception side trace file. During the simulation, if an underflow occurs, playback will stop because there is not enough data to play in the buffer. Therefore, a trace file recorded in the receiving agent (Agent) will be recorded for the next playback time, not the original playback time of the frame, for the packet corresponding to the occurrence time of the underflow. Based on this, The discontinuity of the reproduction is measured.
시뮬레이션에서 오버플로우 시 수신 트레이스(trace) 기록 방법은 다음과 같다. In the simulation, the method of recording the received trace in overflow is as follows.
오버플로우 현상이 해소되지 않고 버퍼가 포화상태일 때, 그 이후로 들어온 패킷에 대해서는 손실 처리를 하게 된다. 따라서 해당 패킷에 대해서는 수신 트레이스(trace) 파일 기록 시 해당 패킷을 기록하지 않으며, NALU 필터(filter)를 거쳤을 때 폐기를 시킬 수 있도록 한다. 즉, 오버플로우 현상을 겪은 패킷은 정상적으로 디코딩이 되지 않으며 그에 종속 특성을 가진 다른 프레임 또한 정상적인 디코딩이 이루어지지 않는다.When the overflow phenomenon is not solved and the buffer is saturated, packets after that are lost. Therefore, the corresponding packet is not recorded when a trace file is recorded, and can be discarded when a NALU filter is passed. That is, a packet that has undergone an overflow phenomenon is not normally decoded, and other frames having dependency characteristics are not normally decoded.
시뮬레이션에서 NALU 필터(filter)의 활용법은 다음과 같다. The use of the NALU filter in the simulation is as follows.
myEvalSVC를 이용한 시뮬레이션 기법에서 NALU 필터(filter)는 NS-2에서 수신된 트레이스 파일을 입력 파일로 하여 필터링을 하게 된다. 필터(filter)에서는 재생 버퍼의 크기와 처리되는 프레임의 값(fps)을 두 개의 파라미터로 받게 된다. 즉, 재생 버퍼를 가정하며 너무 늦게 도착한 프레임이나 네트워크 전송 시 손실로 인해 프레임 종속성으로 디코딩할 수 없는 프레임을 폐기시킨다. 그러나 본 시뮬레이션에서 이러한 기능 부분은 NS-2에 직접적으로 수신측 재생버퍼를 구현하여 시뮬레이션하고 있으므로, 여기서 NALU 필터(filter)의 파라미터는 NS-2에 구현된 수신측 재생 버퍼의 크기, 재생 속도와 같은 값을 주게 되며, 활용법은 JSVM 디코더를 거치기 전 수신 트레이스 파일의 형식을 바꾸는 역할과, 수신측 재생 버퍼 포화 상태 이후에 들어온 패킷에 대해 폐기를 시키는 용도로만 사용하게 된다.
In the simulation method using myEvalSVC, the NALU filter filters the trace file received from the NS-2 as an input file. In the filter, the size of the playback buffer and the value of the processed frame (fps) are received as two parameters. That is, assume a playback buffer and discard frames that arrive too late or that can not be decoded into frame dependencies due to loss in network transmission. However, in this simulation, since the function part directly simulates the receiving side playback buffer implemented in the NS-2, the parameter of the NALU filter is the size of the receiving side playback buffer implemented in NS-2, And the usage will be used only to change the format of the received trace file before going through the JSVM decoder and to discard the packet that comes after the receiving side playback buffer saturation.
도 3은 본 발명의 일 실시예에 따른 시뮬레이션에 사용된 YUV 파일을 나타낸 표이다. 본 발명에서의 시뮬레이션은 NS-2와 JSVM을 사용하여 진행하고, 시뮬레이션 대상이 된 비디오 파일은 YUV 형식으로 JSVM 인코더를 사용하며, 도 3과 같이 구성되어 있다.3 is a table showing a YUV file used in a simulation according to an embodiment of the present invention. The simulation in the present invention is performed using NS-2 and JSVM, and the video file subjected to the simulation uses a JSVM encoder in the YUV format, and is configured as shown in FIG.
foreman 영상 중 하나는 352X288 크기의 foreman_cif 영상이 있으며 704X288의 크기를 가지는 보다 하이 레졸루션(high resolution) 영상인 foreman_2cif 영상이 있다. 또한 foreman과는 영상 내 오브젝트(object) 들의 움직임이 다른 soccer_cif영상을 가지고 시뮬레이션을 진행한다. One of the foreman images is a foreman_cif image having a size of 352x288 and a foreman_2cif image, which is a high resolution image having a size of 704x288. Also, the simulation is performed with the soccer_cif image in which the motion of the objects in the image is different from the foreman.
시뮬레이션에서 직접적으로 추가적인 노드를 생성하여 혼잡의 영향을 주지 않고, 단지 네트워크의 혼잡이나 지터의 영향을 가정하여 송신자에서 트래픽 발생을 불규칙적으로 스케줄링하도록 설정하였다. 시뮬레이션 파라미터는 도 4와 같다.In the simulation, an additional node is directly created, and congestion is not influenced. Therefore, it is assumed that the occurrence of traffic is randomly scheduled at the transmitter assuming network congestion or jitter. The simulation parameters are shown in Fig.
도 4는 본 발명의 일 실시예에 따른 시뮬레이션 파라미터를 나타낸 표이다. 4 is a table showing simulation parameters according to an embodiment of the present invention.
한 패킷의 최대 사이즈는 1500 바이트(byte)이며, 전송된 패킷들을 수신측 재생버퍼에 저장하였다가 30fps로 재생하게 된다. 토큰 버킷의 파라미터 중 초당 생성되는 토큰의 수와 버킷이 저장할 수 있는 토큰의 최대 개수(버킷의 용량)는 재생 버퍼의 크기(30000 바이트)를 고려하여 수학식 6을 사용하여 설정하였다. 수학식 6에 대입하여 계산하면 r과 c를 더한 토큰의 개수를 정할 수 있다. The maximum size of one packet is 1500 bytes, and the transmitted packets are stored in the receiving-side playback buffer and reproduced at 30 fps. The number of tokens generated per second among the parameters of the token bucket and the maximum number of tokens (bucket capacity) that the bucket can store are set using Equation (6) in consideration of the size of the playback buffer (30000 bytes). By substituting in
토큰 버킷 기법 사용시 초당 토큰에 의해 재생 버퍼로 유입되는 트래픽의 크기가 초당 재생되는 비디오 데이터의 크기보다 작으면 언더플로우의 위험이 커지며, 반대로 초당 재생되는 양보다 많이 들어오게 되면 언더플로우의 위험성이 커진다. 따라서 토큰버킷에 의해 초당 제어되는 유입 트래픽 크기는 초당 재생되는 양과 비슷한 것이 이상적이다. 또한, 송신자에서 생성되어 전송되는 비디오 데이터패킷의 양은 각각 다른 크기를 가지고 있으며, 불규칙적이기 때문에 테스트 시뮬레이션을 통하여 초당 생성되는 토큰의 개수 r을 정하였으며, 이는 도 5와 같다. When the token bucket technique is used, the risk of underflow increases when the amount of traffic flowing into the playback buffer by the token per second is smaller than that of the video data per second. On the contrary, if the amount of traffic is larger than the amount of playback per second, the risk of underflow increases . Therefore, the size of the incoming traffic controlled per second by the token bucket is ideally similar to the amount played back per second. In addition, since the amount of video data packets generated and transmitted by the sender are different and irregular, the number r of tokens generated per second is determined through a test simulation, as shown in FIG.
도 5는 본 발명의 일 실시예에 따른 시뮬레이션에서의 토큰 버킷 파라미터에 따른 성능을 나타낸 표이다. 5 is a table showing performance according to the token bucket parameters in the simulation according to an embodiment of the present invention.
시뮬레이션에서 AMP 기법 적용 시 적응적으로 변경하는 재생속도 변경율 파라미터는 총 세 가지로 ±10%, ±20%, ±30%로 변경해 가며 진행하였다. 수신 트레이스 파일에서는 각 패킷별로 송신 시간, 수신 시간, 재생 시간 및 해당 프레임의 정보를 수신 트레이스(trace) 파일에 기록하게 되고, 이 수신 트레이스 파일을 바탕으로 성능 분석을 실시한다.In the simulation, the regeneration rate change parameter that adaptively changed when applying AMP technique was changed to ± 10%, ± 20%, ± 30% in total. In the reception trace file, the transmission time, the reception time, the reproduction time, and the information of the frame are recorded in a reception trace file for each packet, and performance analysis is performed based on the reception trace file.
도 6은 본 발명의 일 실시예에 따른 비디오 스트리밍 시뮬레이션에서 네 가지의 시나리오를 나타낸 표이다. 6 is a table showing four scenarios in a video streaming simulation according to an embodiment of the present invention.
도 6에서 보는 바와 같이, 본 발명에서는 성능분석 시 토큰 버킷 기법과 AMP 기법의 결합을 통한 비디오 스트리밍의 성능 분석을, 총 4가지의 시나리오를 통하여 진행하였다. 케이스1의 경우 아무 기법도 사용하지 않은 경우이며 케이스2의 경우 토큰 버킷 기법만 적용한 경우이고, 케이스3은 토큰 버킷 기법은 사용하지 않고 AMP 기법만 적용한 경우이고, 케이스4의 경우 본 발명에서 제안하는 토큰 버킷 기법과 AMP 기법을 모두 적용한 경우이다.As shown in FIG. 6, in the present invention, the performance analysis of the video streaming through the combination of the token bucket technique and the AMP technique was performed through four scenarios. In
도 7은 수신측 버퍼에 유입되는 비디오 스트리밍 패킷 크기의 패턴에 대해 도시한 그래프이다. 도 7은 비디오 중 foreman_cif의 비디오 데이터를 송신했을 때, 수신측으로 유입되는 비디오 스트리밍 패킷 크기의 패턴에 대해 나타낸 그래프이다. 특히, 버퍼의 오버플로우가 일어나는 구간 중 1초 동안(1.5 ~ 2.5 초)의 구간에 대해 토큰 버킷을 사용하지 않았을 경우(케이스1, 케이스3)와 토큰버킷을 사용하여 유입되는 트래픽에 대해 성형을 거친 경우(케이스2, 케이스4)에 대해 나타내었다.7 is a graph showing a pattern of a video streaming packet size that flows into a receiving buffer. FIG. 7 is a graph showing a pattern of the size of a video streaming packet flowing into a receiving side when video data of foreman_cif is transmitted among videos. In particular, if a token bucket is not used for 1 second (1.5 to 2.5 seconds) of the buffer overflow interval (
도 7에서 토큰 버킷을 사용하지 않은 경우에는 비교적 패킷들이 불규칙하게 유입되며, 군집 트래픽 또한 그대로 버퍼로 유입되는 것을 볼 수 있다. In FIG. 7, when the token bucket is not used, relatively packets are irregularly introduced, and the cluster traffic flows into the buffer as it is.
토큰 버킷을 사용했을 경우에는 패킷들이 일정한 간격을 두고 토큰에 따라 규칙적으로 버퍼에 들어온다. 다른 비디오인 foreman_2cif와 soccer_cif의 경우도 도 7과 마찬가지로 토큰 버킷기법을 사용하였을 때 패킷들이 비교적 일정한 간격을 두고 수신측 재생 버퍼로 성형되어 들어오는 결과를 나타낸다. 시뮬레이션을 통한 성능분석은 도 6에서 소개된 네 가지의 케이스 들에 대하여 수행하였다. 각각의 케이스에서 언더플로우와 오버플로우 발생 횟수, 패킷 손실 비율, 정상 재생 속도에 의한 프레임율 그리고 전송 완료 시 결과 영상에 대한 PSNR값을 비교해 보면 다음과 같다. If a token bucket is used, packets are regularly placed in the buffer according to the token at regular intervals. In the case of the other videos such as foreman_2cif and soccer_cif, as shown in FIG. 7, when the token bucket technique is used, packets are formed into the reception side playback buffer at a relatively constant interval. Performance analysis through simulation was performed on the four cases shown in FIG. In each case, we compare the number of underflow and overflow occurrences, the packet loss ratio, the frame rate by the normal playback speed, and the PSNR value of the result image when the transmission is completed.
도 8은 각각의 시뮬레이션 대상 비디오 데이터에 대해 케이스 1과 케이스 2에서 언더플로우와 오버플로우의 발생 횟수를 비교한 그래프이다. FIG. 8 is a graph comparing the number of occurrences of underflow and overflow in
도 8은 각각의 시뮬레이션 대상 비디오 데이터에 대해 케이스 1과 케이스 2에서 언더플로우와 오버플로우의 발생 횟수를 비교한 그래프이다. FIG. 8 is a graph comparing the number of occurrences of underflow and overflow in
도 8으로부터 foreman_cif 영상의 경우 토큰 버킷을 사용하지 않았을 경우에는 언더플로우가 5회, 오버플로우가 159회 일어났으며, 토큰 버킷을 사용한 경우에는 언더플로우가 5회, 오버플로우가 0회로 많은 성능 차이를 보인다. 다른 영상들인 foreman_2cif와 soccer_cif의 경우도 마찬가지로 케이스1보다 케이스2에서 더 좋은 성능을 나타낸다는 것을 확인할 수 있다. 결국 AMP 기법을 사용하지 않고도 단지 토큰 버킷만을 사용함으로써 불규칙적으로 들어오는 패킷들에 대해 보정하고 불연속 횟수를 많이 낮출 수 있는 것을 알 수 있다. 특히 토큰 버킷 기법을 사용했을 경우에는 오버플로우 현상 해소에 대해 큰 효과를 나타낸다는 것을 볼 수 있다. 8, when the token bucket is not used, the underflow occurs 5 times and the overflow occurs 159 times. In the case of using the token bucket, the
도 9는 각각의 시뮬레이션 대상 비디오 데이터에 대해 케이스 3과 케이스 4에서 언더플로우와 오버플로우의 발생 횟수를 비교한 그래프이다. 도 9는 케이스 3과 케이스 4에서 언더플로우와 오버플로우의 발생 횟수를 비교한 도면이다. 도 9에서 아래쪽 10%, 20%, 30%는 AMP 동작시 재생 속도를 원래 재생 속도보다 얼마만큼 더 빠르거나 느리게 재생했는지에 대한 재생 속도 변경율을 의미한다. 9 is a graph comparing the number of occurrences of underflow and overflow in
도 9를 참조하면, 케이스 3은 토큰 버킷 기법을 적용시키지 않고 AMP 기법만 적용한 경우이다. 케이스3의 경우에 대체적으로 재생 속도 변경율을 10%정도만 조절했을 경우엔 높은 언더플로우 횟수와 오버플로우 발생 횟수를 나타내고 있고, 재생 속도 변경율을 20%와 30%으로 각각 더 높은 변경률을 적용하였을 때에 10%로 설정했을 경우보다 좀 더 좋은 성능을 내는 것을 확인할 수 있다. 하지만 케이스3의 경우 토큰기법의 결합 없이 AMP기법만 사용한 경우로서 soccer_cif 영상 같은 경우는 30% 변경률을 적용하였음에도 불구하고 7회의 언더플로우와 69회의 오버플로우로 안 좋은 환경을 보인다. Referring to FIG. 9,
반면에 케이스 4 경우는 토큰 버킷 기법과 AMP 기법을 둘 다 적용한 경우로서, 토큰 버킷을 사용한 경우에는 오버플로우를 해소할 수 있었기 때문에 모든 경우에서 오버플로우는 나타나지 않았으며, 재생 속도 변경율을 20%까지 조절했을 경우 soccer_cif의 영상은 언더플로우와 오버플로우 모두 해소되며, 30%까지 조절했을 경우에는 foreman_cif의 영상 또한 재생의 불연속성을 야기시키는 현상들을 모두 해소할 수 있는 것을 확인할 수 있다. 즉, 미디어 재생에 연속성이 보장된다는 것을 확인할 수 있다. foreman_2cif 영상 또한 케이스4에서 제일 좋은 성능을 보이고 있다.On the other hand, in
도 10은 시뮬레이션 대상이 된 각 비디오에 대해 케이스 별로 언더플로우 및 오버플로우의 지속 시간을 나타낸 표이다. 도 10은 시뮬레이션 대상이 된 각 비디오에 대해 케이스1부터 케이스4까지 언더플로우와 오버플로우 성능을 분석했을 때, 각 현상들이 얼마나 지속되었는지에 대해 시간에 따라 나타낸 표이다. 10 is a table showing the duration of underflow and overflow for each video for each simulation subject. FIG. 10 is a time-based table showing how long each phenomenon lasted from analysis of underflow and overflow performance from
도 8 및 도 9에서 본 바와 같이, 토큰 버킷 기법으로 인해 오버플로우를 해결한 경우, 오버플로우에 대한 지속시간은 0msec로 표기되며, 오버플로우 지속시간과 그에 따른 횟수는 비례하는 모습을 보인다. 또한 언더플로우의 지속시간으로 보아 수신된 각 비디오들이 재생이 되었을 경우 얼마 정도의 영상의 멈춤이 일어나는지를 다른 영상들과 비교하여 비율적으로 알 수 있다.As shown in FIGS. 8 and 9, when the overflow is solved by the token bucket technique, the duration for the overflow is expressed as 0 msec, and the overflow duration and the number of the overflow duration are proportional to each other. Also, it is possible to know proportionally how much image stoppage occurs when each received video is played back based on the duration of underflow, compared with other images.
도 11은 케이스 3과 케이스 4에서 원래의 정상 재생 속도로 재생된 프레임의 비율 결과를 도시한 그래프이다. 11 is a graph showing ratio results of frames reproduced at the original normal reproduction speed in
도 11은 케이스 3과 케이스 4에서 원래의 정상 재생 속도로 재생된 프레임의 비율 결과를 보여주고 있으며, 계산식은 수학식 12와 같다.11 shows the ratio results of frames reproduced at the original normal reproduction speed in
여기에서 Fnormal는 원래의 정상 재생 속도에 의한 재생 프레임 비율을 의미하고, Nnormal은 원래의 정상 재생 속도에 의한 재생 프레임의 수를 의미하고, Ntotal은 원래의 정상 재생 속도와 변경된 재생 속도에 의한 전체 재생 프레임의 수를 나타낸다. Here, Fnormal denotes a reproduction frame rate based on the original normal reproduction speed, Nnormal denotes the number of reproduction frames due to the original normal reproduction speed, Ntotal denotes the number of reproduction frames based on the original normal reproduction speed, The number of frames.
도 11을 참조하면, foreman_cif와 foreman_2cif에서 Case 4의 경우가 Case 3보다 원래의 정상속도로 재생되는 프레임의 비율이 각각의 재생 속도 변경율에서 더 높은 것을 알 수 있다. soccer_cif의 경우 10%와 20%일 때 Case4의 정상 재생 속도에 의한 재생 프레임 비율이 Case3보다 적으나 언더플로우 해소에서 높은 성능을 나타내며, 30% 일 때는 정상 속도 재생 비율이 더 높아지는 것을 볼 수 있다. 결과적으로, 토큰 버킷 기법과 AMP 기법 적용을 둘 다 사용하는 경우가 토큰 버킷 기법 없이 AMP 기법만 사용하는 경우보다 버퍼 내의 데이터 량이 더 안정적이며 정상적인 속도로 재생된 프레임의 비율이 대체적으로 높음을 알 수 있다.Referring to FIG. 11, it can be seen that the ratio of frames reproduced at the original normal rate is higher at the reproduction rate changing rate than that of the
도 12는 각 시뮬레이션 결과에서 패킷 손실율을 도시한 그래프이다. 도 12에서는 각 시뮬레이션 결과에서 패킷 손실이 얼마나 일어났는지에 대해 나타낸 그래프이다. 12 is a graph showing a packet loss rate in each simulation result. FIG. 12 is a graph showing how much packet loss occurs in each simulation result.
도 12에서 Case2와 Case4의 경우 모든 비디오에 대해서 토큰 버킷을 사용하여 오버플로우로 인한 패킷의 손실을 방지했기 때문에 실질적인 패킷의 손실은 Case1과 Case3에서 나타났다. 패킷의 손실은 버퍼가 포화상태에 이르러 오버플로우 현상이 일어났을 경우에 발생할 수 있으며 프레임의 복호화에 심각한 영향을 주게 된다. In Fig. 12, since packet loss due to overflow is prevented by using a token bucket for all video in
도 12에서 아무 기법도 사용하지 않은 Case1의 경우가 제일 높은 패킷 손실율을 보이고 있으며, AMP기법을 사용한 Case3의 경우는 재생 속도 변경률을 높게 조절할수록 한번에 재생되는 데이터의 양을 크게 조절할 수 있으므로, 더 낮은 손실율을 보이는 것을 알 수 있다. 패킷손실의 결과는 영상의 프레임이 손상될 수 있다는 것을 의미하기 때문에 AMP 기법뿐만 아니라 토큰 버킷 기법을 함께 사용함으로써 패킷 손실 문제는 해결되어야 한다.In case of
도 13 내지 도 15는 각 영상에 대해 모든 케이스에서 수신된 비디오 스트리밍 패킷에 대해 PSNR을 측정한 그래프이다. Figures 13-15 are graphs of PSNR measurements for video streaming packets received in all cases for each image.
도 13은 forman_cif 영상에 대한 PSNR을 도시한 그래프이고, 도 14는 foreman_2cif 영상에 대한 PSNR을 도시한 그래프이고, 도 15는 soccer_cif 영상에 대한 PSNR을 도시한 그래프이다.FIG. 13 is a graph showing the PSNR for the forman_cif image, FIG. 14 is a graph showing the PSNR for the foreman_2cif image, and FIG. 15 is a graph showing the PSNR for the soccer_cif image.
도 13은 3개의 영상에 대해 모든 케이스에서 수신된 비디오 스트리밍 패킷에 대해 PSNR을 측정한 그래프이다. Figure 13 is a graph of PSNR measurements for video streaming packets received in all cases for three images.
케이스 2와 케이스 4에서는 토큰 버킷 기법을 적용하여 오버플로우가 발생하지 않아 패킷의 손실이 없고 모든 프레임에 대해 정상적인 복호화가 이루어진 경우이며, 케이스 1과 케이스 3에서는 버퍼의 포화 현상으로 인하여 몇몇 프레임들의 손상이 일어난 경우이다. 물론 케이스 2의 경우는 언더플로우가 발생하기 때문에 영상 재생에 있어 멈춤 현상이 일어날 수 있다. 두 기법 모두 적용한 경우에는 300프레임 모두 정상적으로 재생되었지만, 그렇지 못한 경우에는 프레임의 손실 및 종속적인 특징으로 인해 다른 상위 프레임까지 복호화가 제대로 이루어지지 않아, 특정 개수의 프레임만이 재생되는 영상의 손실 현상을 보이며, 화질의 열화가 일어난다는 것을 알 수 있다. In
이상에서 본 발명의 무선 통신 환경에서 비디오 스트리밍의 버퍼 언더플로우와 오버플로우 문제를 해결하기 위한 여러 기법 중 하나인 AMP 기법을 적용하고, 추가로 토큰 버킷 기법을 적용하여 비디오 스트리밍에 대한 성능 분석을 하였다. 본 발명에서는 불규칙적으로 들어오는 트래픽들에 대해 제어하고, 오버플로우를 방지하기 위하여 토큰 버킷 기법을 사용하였다. 또한 재생 버퍼에는 AMP 기법을 적용시켰으며, 버퍼의 패킷량에 따른 비디오 패킷의 포화나 고갈을 방지하기 위해 재생 버퍼량을 기준으로 두 개의 임계치를 적용하고 AMP 동작시 재생 속도 변경율을 여러 가지로 바꾸어 연속성에 대한 성능분석을 수행하였다. 결과적으로 AMP 기법과 토큰 버킷 기법을 함께 사용했을 경우에는 다른 경우들 보다 우수한 성능을 나타내었으며 30%의 재생 속도 변경율을 적용하였을 때에는 재생의 멈춤이나 스킵을 대부분 방지할 수 있다는 것을 알 수 있다.
As described above, AMP technique, which is one of various techniques for solving the buffer underflow and overflow problem of video streaming in the wireless communication environment of the present invention, is applied, and further performance analysis of video streaming is performed by applying the token bucket technique . In the present invention, a token bucket technique is used to control irregular incoming traffic and prevent overflow. In order to prevent saturation or exhaustion of video packets according to the amount of packets in the buffer, two thresholds are applied based on the amount of playback buffer, and the rate of change in playback speed The performance analysis for continuity was performed. As a result, when the AMP technique and the token bucket technique are used together, the performance is better than the other cases, and it can be seen that most of the stoppage and skip of the reproduction can be prevented when the reproduction rate change rate of 30% is applied.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit of the invention and the scope of the appended claims.
110 임시 버퍼 120 토큰 버킷 기법
130 재생 버퍼 140 AMP 기법110
130
Claims (12)
송신측으로부터 비디오 데이터 트래픽이 송신되면, 임시 버퍼에 임시로 저장하는 단계;
상기 임시 버퍼에 저장된 비디오 데이터의 패킷에 대해 토큰 버킷(Token bucket) 기법을 적용하여 하나의 패킷에 대해 하나의 토큰을 소비하는 방식으로, 미리 정해진 토큰의 개수 내에서만 패킷을 재생 버퍼로 허용하는 단계; 및
상기 재생 버퍼의 오버플로우(overflow) 또는 언더플로우(underflow)를 방지하기 위하여 AMP(Adaptive Media Playout) 기법을 적용하여 동적으로 재생 속도를 조절하는 단계를 포함하되,
토큰이 저장되어 있는 버킷의 용량을 c, 초당 생성되는 토큰의 수를 r이라고 할 때, 임의의 시간 간격 Δt 동안에 상기 재생 버퍼로 들어올 수 있는 비디오 패킷의 최대 수 (Nmax)를,
상기 토큰 버킷의 최대 평균 속도 (AVmax)를,
In a traffic control method of video streaming in a wireless communication environment,
Temporarily storing the video data traffic in the temporary buffer when the video data traffic is transmitted from the transmitting side;
Allowing a packet as a playback buffer only within a predetermined number of tokens in such a manner that a token bucket technique is applied to a packet of video data stored in the temporary buffer to consume one token for one packet ; And
And adjusting the reproduction speed dynamically by applying an Adaptive Media Playout (AMP) technique to prevent an overflow or an underflow of the reproduction buffer,
A maximum number Nmax of video packets that can enter the playback buffer during an arbitrary time interval? T, where c is the capacity of the bucket in which the token is stored, and r is the number of tokens generated per second,
The maximum average speed AVmax of the token bucket,
전송하기에 충분한 패킷이 상기 임시 버퍼에 저장되어 있다고 가정하고,
전송되는 패킷의 최대 크기(Ptxmax)에 따라, 토큰 생성에 따른 유입 가능한 최대 패킷량(Ptokenmax)을,
버킷 용량에 따른 유입 가능한 최대 패킷량(Pbucketmax)을,
재생량(Lplayout)은 단위 시간당 상기 재생 버퍼에서 재생되어 나가는 패킷의 양(ΔP)으로 계산되며,
The method according to claim 1,
Assuming that enough packets to transmit are stored in the temporary buffer,
The maximum packet amount Ptokenmax that can flow in due to token generation is calculated according to the maximum size Ptxmax of the packet to be transmitted,
(Pbucketmax), which can flow in according to the bucket capacity,
The reproduction amount Lplayout is calculated as the amount of packets? P reproduced in the reproduction buffer per unit time,
상기 재생 버퍼가 비어있다고 가정하고,
단위시간 Δt동안에 상기 재생 버퍼로 유입되는 패킷의 양은, 상기 재생 버퍼의 최대 용량(Bmax)에 재생량(Lplayout)을 합한 값보다 적거나 같아야 버퍼의 포화상태를 방지할 수 있으며, 이를
The method of claim 3,
Assuming that the playback buffer is empty,
The amount of packets flowing into the reproduction buffer during the unit time? T is equal to or smaller than the sum of the maximum capacity Bmax of the reproduction buffer and the reproduction amount Lplayout, so that the saturated state of the buffer can be prevented.
상기 재생 버퍼가 고갈되거나 포화되는 것을 방지하기 위해 언더플로우 임계값(Underflow Threshold)과 오버플로우 임계값(Overflow Threshold)을 정하고, 상기 재생 버퍼의 패킷량을 측정하여 해당 임계값에 도달했을 때, 상기 AMP 기법에서는 프레임 재생의 속도를 적응적으로 변화시키는 것을 특징으로 하는 비디오 스트리밍의 트래픽 제어 방법.
The method of claim 4,
Determining an underflow threshold value and an overflow threshold value in order to prevent the playback buffer from being exhausted or saturated, measuring a packet amount of the playback buffer, and when the threshold value is reached, Wherein the AMP technique adaptively changes the rate of frame playback.
Cplayout는 재생 속도 변경율을 의미한다고 할 때,
상기 AMP 기법에서 언더플로우일 경우에 변경하는 재생 속도(Vunderflow)는,
오버플로우일 경우에 변경하는 재생 속도(Voverflow)는,
The method of claim 5,
If Cplayout means the playback rate change rate,
In the AMP technique, the playback speed (Vunderflow)
The playback speed (Voverflow) to be changed in the case of an overflow is,
송신측으로부터 비디오 데이터 트래픽이 송신되면, 임시로 저장하기 위한 임시 버퍼;
상기 임시 버퍼에 저장된 비디오 데이터의 패킷에 대해 토큰 버킷(Token bucket) 기법을 적용하여 하나의 패킷에 대해 하나의 토큰을 소비하는 방식으로, 미리 정해진 토큰의 개수 내에서만 패킷을 허용하기 위한 토큰 버킷부;
상기 토큰 버킷부에서 허용된 패킷을 저장하기 위한 재생 버퍼; 및
상기 재생 버퍼의 오버플로우(overflow) 또는 언더플로우(underflow)를 방지하기 위하여 AMP(Adaptive Media Playout) 기법을 적용하여 동적으로 재생 속도를 조절하는 AMP 부를 포함하되,
토큰이 저장되어 있는 버킷의 용량을 c, 초당 생성되는 토큰의 수를 r이라고 할 때, 임의의 시간 간격 Δt 동안에 상기 재생 버퍼로 들어올 수 있는 비디오 패킷의 최대 수 (Nmax)를,
상기 토큰 버킷의 최대 평균 속도 (AVmax)를,
In a receiver apparatus for receiving traffic of video streaming in a wireless communication environment,
A temporary buffer for temporarily storing video data traffic transmitted from the transmitting side;
A token bucket unit for allowing a packet within a predetermined number of tokens in such a manner that a token bucket technique is applied to a packet of video data stored in the temporary buffer to consume one token for one packet, ;
A playback buffer for storing packets allowed in the token bucket; And
And an AMP unit for dynamically adjusting a playback speed by applying an Adaptive Media Playout (AMP) scheme to prevent an overflow or an underflow of the playback buffer,
A maximum number Nmax of video packets that can enter the playback buffer during an arbitrary time interval? T, where c is the capacity of the bucket in which the token is stored, and r is the number of tokens generated per second,
The maximum average speed AVmax of the token bucket,
전송하기에 충분한 패킷이 상기 임시 버퍼에 저장되어 있다고 가정하고,
전송되는 패킷의 최대 크기(Ptxmax)에 따라, 토큰 생성에 따른 유입 가능한 최대 패킷량(Ptokenmax)을,
버킷 용량에 따른 유입 가능한 최대 패킷량(Pbucketmax)을,
재생량(Lplayout)은 단위 시간당 상기 재생 버퍼에서 재생되어 나가는 패킷의 양(ΔP)으로 계산되며,
The method of claim 7,
Assuming that enough packets to transmit are stored in the temporary buffer,
The maximum packet amount Ptokenmax that can flow in due to token generation is calculated according to the maximum size Ptxmax of the packet to be transmitted,
(Pbucketmax), which can flow in according to the bucket capacity,
The reproduction amount Lplayout is calculated as the amount of packets? P reproduced in the reproduction buffer per unit time,
상기 재생 버퍼가 비어있다고 가정하고,
단위시간 Δt동안에 상기 재생 버퍼로 유입되는 패킷의 양은, 상기 재생 버퍼의 최대 용량(Bmax)에 재생량(Lplayout)을 합한 값보다 적거나 같아야 버퍼의 포화상태를 방지할 수 있으며, 이를
The method of claim 9,
Assuming that the playback buffer is empty,
The amount of packets flowing into the reproduction buffer during the unit time? T is equal to or smaller than the sum of the maximum capacity Bmax of the reproduction buffer and the reproduction amount Lplayout, so that the saturation state of the buffer can be prevented.
상기 재생 버퍼가 고갈되거나 포화되는 것을 방지하기 위해 언더플로우 임계값(Underflow Threshold)과 오버플로우 임계값(Overflow Threshold)을 정하고, 상기 재생 버퍼의 패킷량을 측정하여 해당 임계값에 도달했을 때, 상기 AMP 부에서는 프레임 재생의 속도를 적응적으로 변화시키는 것을 특징으로 하는 수신기 장치.
The method of claim 10,
Determining an underflow threshold value and an overflow threshold value in order to prevent the playback buffer from becoming exhausted or saturated, measuring a packet amount of the playback buffer, and when the threshold value is reached, And the AMP unit adaptively changes the frame reproduction speed.
Cplayout는 재생 속도 변경율을 의미한다고 할 때,
상기 AMP 부에서 언더플로우일 경우에 변경하는 재생 속도(Vunderflow)는,
오버플로우일 경우에 변경하는 재생 속도(Voverflow)는,
The method of claim 11,
If Cplayout means the playback rate change rate,
The playback speed (Vunderflow) to be changed in the case of an underflow in the AMP unit is,
The playback speed (Voverflow) to be changed in the case of an overflow is,
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150032436A KR101636198B1 (en) | 2015-03-09 | 2015-03-09 | Method for controlling traffic of video streaming in wireless communication, and receiver implementing the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150032436A KR101636198B1 (en) | 2015-03-09 | 2015-03-09 | Method for controlling traffic of video streaming in wireless communication, and receiver implementing the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101636198B1 true KR101636198B1 (en) | 2016-07-05 |
Family
ID=56502073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150032436A KR101636198B1 (en) | 2015-03-09 | 2015-03-09 | Method for controlling traffic of video streaming in wireless communication, and receiver implementing the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101636198B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019153930A1 (en) * | 2018-02-11 | 2019-08-15 | 华为技术有限公司 | Method and device for realizing video service, and communication system and computer-readable storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030055701A (en) * | 2001-12-27 | 2003-07-04 | 한국전자통신연구원 | The traffic characterization scheme for realtime video transmission |
| JP2004529528A (en) * | 2000-10-26 | 2004-09-24 | ウェーブ７ オプティクス インコーポレイテッド | Method and system for processing downstream packets of an optical network |
| KR20070053256A (en) * | 2004-09-24 | 2007-05-23 | 지멘스 악티엔게젤샤프트 | Method for network load shaping in a mobile radio network |
| KR20110086642A (en) | 2008-02-01 | 2011-07-28 | 인터디지탈 패튼 홀딩스, 인크 | Method and apparatus for initializing, preserving and reconfiguring token buckets |
-
2015
- 2015-03-09 KR KR1020150032436A patent/KR101636198B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004529528A (en) * | 2000-10-26 | 2004-09-24 | ウェーブ７ オプティクス インコーポレイテッド | Method and system for processing downstream packets of an optical network |
| KR20030055701A (en) * | 2001-12-27 | 2003-07-04 | 한국전자통신연구원 | The traffic characterization scheme for realtime video transmission |
| KR20070053256A (en) * | 2004-09-24 | 2007-05-23 | 지멘스 악티엔게젤샤프트 | Method for network load shaping in a mobile radio network |
| KR20110086642A (en) | 2008-02-01 | 2011-07-28 | 인터디지탈 패튼 홀딩스, 인크 | Method and apparatus for initializing, preserving and reconfiguring token buckets |
Non-Patent Citations (1)
| Title |
|---|
| Kyeong Soo Kim, "The Effect of ISP Traffic Shaping on User-Perceived Performance in Broadband Shared Access Networks", Preprint submitted to Computer Networks, June 4, 2014.* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019153930A1 (en) * | 2018-02-11 | 2019-08-15 | 华为技术有限公司 | Method and device for realizing video service, and communication system and computer-readable storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10764579B2 (en) | Systems and methods for encoding alternative streams of video for use in adaptive bitrate streaming | |
| KR100787314B1 (en) | Method and apparatus for adaptive media playout for intra-media synchronization | |
| KR101465927B1 (en) | Video data quality assessment method and device | |
| CN106487779B (en) | Method and apparatus for transmitting video packet stream | |
| CA2457051A1 (en) | Data communications method and system using buffer size to calculate transmission rate for congestion control | |
| KR101727450B1 (en) | Reducing delay in video telephony | |
| US20140056162A1 (en) | Device and method for adaptive rate multimedia communications on a wireless network | |
| ITTO20090486A1 (en) | DYNAMIC CONTROLLER OF INDEPENDENT TRANSMISSION SPEED FROM THE GROUP OF IMAGES | |
| JP2007184913A (en) | Wireless video transmission system | |
| JP2008301309A (en) | Encoding rate control method, transmission apparatus to control encoding rate, program storage medium, and integrated circuit | |
| JP2015530822A (en) | Apparatus and method for adaptive rate multimedia communication over a wireless network | |
| KR100592547B1 (en) | Packet scheduling method for streaming multimedia | |
| KR101180540B1 (en) | Apparatus and method for transmitting/receiving streaming service | |
| CN101212690A (en) | Method for testing lip synchronization for multimedia audio/video stream | |
| CN110225385B (en) | Audio and video synchronization adjustment method and device | |
| KR101636198B1 (en) | Method for controlling traffic of video streaming in wireless communication, and receiver implementing the same | |
| US20100027428A1 (en) | Scheduling method of providing multimedia service | |
| KR101038645B1 (en) | apparatus and method for prevention of underflow and overflow in streaming system | |
| Jasevičiūtė et al. | Dynamic adaptation of the jitter buffer for video streaming applications | |
| KR101637840B1 (en) | System and method for providing video streaming service using token bucket scheme | |
| Dhamodaran et al. | Adaptive bitstream prioritization for dual TCP/UDP streaming of HD video | |
| JP2010136159A (en) | Data receiver | |
| KR20080001147A (en) | Encoder system and encoding method for a low delay video transport scheme using a virtual encoder buffer | |
| Dhamodaran et al. | Adaptive Queue Management Scheme for Flexible Dual TCP/UDP Streaming Protocol | |
| Mahkonen et al. | A Comparison of Request and Measurement Based End to End Video Target Rate Adaptation Methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190321 Year of fee payment: 4 |
|
| R401 | Registration of restoration |