KR20060081965A

KR20060081965A - Reference frame control method of video codec

Info

Publication number: KR20060081965A
Application number: KR1020050002654A
Authority: KR
Inventors: 황경태
Original assignee: 엘지전자 주식회사
Priority date: 2005-01-11
Filing date: 2005-01-11
Publication date: 2006-07-14
Also published as: KR100669621B1

Abstract

본 발명은 네트워크 기반의 동영상 스트리밍 서비스 시스템에서, 디코더에서 수신한 패킷의 손실 발생시에 참조 영상을 VOP(Video Object Plate) 내의 I프레임으로 변경함으로써, 비정상 패킷 수신 이후의 정상 수신된 패킷에 대한 디코딩은 계속하여 이루어 질 수 있도록 한 참조 영상 변경 기법에 관한 것이다.According to the present invention, in a network-based video streaming service system, when a loss of a packet received by a decoder occurs, the reference video is changed to an I frame in a video object plate (VOP), so that decoding of a normal received packet after abnormal packet reception is performed. It relates to a reference picture change technique that can be performed continuously.

본 발명에서는 패킷 손실 여부를 판단하고, 패킷 손실이 발생하면 참조 영상을 이전 프레임으로 하지 않고 하나의 GOP내의 I프레임으로 변경하고, 변경된 참조 영상(I프레임)을 참조하여 해당 프레임의 디코딩이 이루어지도록 하며, 이 때, 압축된 데이터의 크기를 보고 그 크기가 소정의 제한된 크기 이상으로 증가하면 비트율 제어(Rate Control Algorithm)를 통해 네트워크 대역폭에 적합하게 양자화 파라미터(Quantization Parameter)를 세팅하여 인코딩되도록 함으로써, 네트워크 환경에 관계없이 클라이언트 단에서의 블로킹 없는 연속 재생이 가능하게 하였다.In the present invention, it is determined whether a packet is lost, and if a packet loss occurs, the reference picture is changed to an I frame in one GOP instead of the previous frame, and the frame is decoded by referring to the changed reference picture (I frame). In this case, when the size of the compressed data is increased and the size increases beyond the predetermined limited size, the quantization parameter is set to be encoded according to the network bandwidth through a rate control algorithm, thereby encoding the encoded data. It enables continuous playback without blocking at the client end regardless of network environment.

MPEG4, 동영상 디코더, 참조 프레임MPEG4, video decoder, reference frame

Description

REFERENCE FRAME CONTROL METHOD OF VIDEO CODEC}

도1은 본 발명에 따른 비디오 코덱의 블록 구성도1 is a block diagram of a video codec according to the present invention.

도2는 수신된 패킷 및 압축 영상의 크기의 예를 나타낸 도면2 is a diagram illustrating an example of sizes of a received packet and a compressed image.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10: 디멀티플렉서 30: 쉐이프(shape) 디코더10: demultiplexer 30: shape decoder

40: 움직임(motion) 디코더 50: 움직임 보상부40: motion decoder 50: motion compensation unit

60: 텍스쳐(texture) 디코더 70: VOP 재구성부60: texture decoder 70: VOP reconstruction section

80: VOP 메모리부80: VOP memory section

본 발명은 동영상 디코더의 참조 영상 변경 제어방법에 관한 것으로서, 특히 스트리밍 방식의 서버, 클라이언트 간에 대응되는 비디오 코덱의 참조 프레임(reference frame) 예측 방식을 변경하여 패킷 손실에 따른 디코딩 오류에 대응하고, 패킷 크기의 조절을 통해서 블로킹 없는 연속된 동영상의 재생을 이룰 수 있도록 한 동영상 코덱에 관한 것이다.The present invention relates to a method of controlling a reference video change of a video decoder, and in particular, changes a reference frame prediction method of a video codec corresponding between a streaming server and a client to correspond to a decoding error due to packet loss, The present invention relates to a video codec capable of reproducing a continuous video without blocking by adjusting the size.

멀티미디어 자원을 서비스하고 이를 시간, 장소에 구애받지 않고 사용할 수 있는 다양한 시스템이 개발되어 왔다. 그 중에서 네크워크를 기반으로 하여 동영상을 스트리밍 서비스하는 시스템이 있다. 이 시스템은 서버에서 네트워크를 기반으로 동영상 패킷을 전송하고, 사용자 단말에서 상기 동영상 패킷을 수신하여 디코딩하고 이를 디스플레이하여 주는 시스템이다. 여기서 동영상은 전송 효율의 확보와 제한된 네트워크 대역폭의 활용이라는 측면에서 압축 부호화하고 패킷화하여 전송한다. 따라서, 유료 서비스의 경우는 대부분 패킷 단위로 과금이 이루어지고 있으며, 사용자 단말에서 에러(error) 없는 패킷 수신 및 디코딩을 얼마나 확보하는가에 따르 해당 서비스 시스템의 품질과 신뢰성이 좌우된다.Various systems have been developed that can service multimedia resources and use them regardless of time and place. Among them, there is a system for streaming video based on the network. The system transmits a video packet based on a network at a server, and receives, decodes and displays the video packet at a user terminal. The video is compressed, encoded and transmitted in terms of securing transmission efficiency and utilizing limited network bandwidth. Therefore, in the case of paying services, charging is mostly performed on a packet basis, and quality and reliability of the corresponding service system depend on how much error-free packet reception and decoding is secured in the user terminal.

동영상을 압축 부호화하여 전송하고 이를 디코딩하는 비디오 코덱 시스템은 H.26x, MPEG 등의 표준을 따르는 경우가 대부분이다. 동영상의 압축 부호화(인코딩)는 통상, 동영상 데이터를 이산 코사인 변환(DCT) 등의 기법을 기반으로 하여 변환하고, 변환된 정보를 양자화하며, 양자화된 데이터를 무손실 부호화를 기반으로 부호화하고, 이를 패킷화하여 전송하는 과정을 거친다. 동영상의 복호화(디코딩)는 상기 인코딩의 역순에 해당하는 과정을 통해서 원래의 동영상을 복원하여 디스플레이하고 있다.Most video codec systems that compress and encode video and transmit the video are compliant with standards such as H.26x and MPEG. Compression coding (encoding) of a video typically converts the video data based on a technique such as a discrete cosine transform (DCT), quantizes the transformed information, encodes the quantized data based on lossless coding, and converts the packet into a packet. It goes through the process of transmission. Decoding (decoding) of a video is performed by restoring and displaying the original video through a process corresponding to the reverse order of the encoding.

H.263이나 MPEG4 등과 같은 표준안에서의 동영상의 압축 부호화는 시간적 중복성과 공간적 중복성에 기반하고 있다. 인코딩/디코딩되는 동영상 프레임은 I프레임, B프레임, P 프레임 중의 한 프레임으로 구성되어 있지만, 이 중에서 B프레임의 경우는 로컬 데이터의 압축에는 사용할 수 있으나 실시간 데이터(Teal Time Data) 에는 대응되지 않는 특징으로 인하여 H.263 베이스라인 프로파일(H.263 Baseline Profile)이나, MPEG4 심플 프로파일(MPEG4 Simple Profile)에서는 채택되지 않고 있다.Compression coding of moving pictures in standards such as H.263 and MPEG4 is based on temporal redundancy and spatial redundancy. The video frame that is encoded / decoded is composed of one frame among I frame, B frame, and P frame, but B frame can be used for local data compression but does not correspond to real time data. Therefore, it is not adopted in H.263 Baseline Profile or MPEG4 Simple Profile.

기존의 H.263 혹은 MPEG4 심플 프로파일에서의 P프레임의 압축 방식의 경우에는, 움직임 보상된 이전 영상의 데이터를 참조 영상으로 하여, 움직임 추정, DCT(이산 코사인 변환), 양자화, VLC(가변길이 부호화)를 수행하고 있다.In the conventional H.263 or MPEG4 simple profile P frame compression method, motion estimation, DCT (discrete cosine transform), quantization, and VLC (variable length coding) are performed by using data of a motion compensated previous image as a reference image. ).

그런데, 이러한 압축 부호화 표준에 따르는 동영상 스트리밍 서비스가 네트워크를 기반으로 이루어지는 시스템에서는 네트워크 환경에 의하여 필연적으로 에러(error)를 포함하는 환경에 놓이게 될 수 밖에 없다. 따라서, 네트워크를 기반으로 하는 서버와 클라이언트 간의 동영상 스트리밍 서비스가 이루어질 때 패킷의 손실이 발생하는 경우는 어떤 의미에서 회피하기 어려운 필연적인 문제라고 할 수 있다.However, in a system in which a video streaming service based on the compression coding standard is based on a network, a network environment inevitably places an error in an environment. Therefore, when packet loss occurs when a video streaming service is performed between a server and a client based on a network, it may be considered an inevitable problem in some sense.

이와 같은 동영상 스트리밍 서비스 시스템에서 동영상 패킷을 전송할 때 그 전송 중간에 한 프레임의 데이터(패킷)가 손실되었을 경우에는, 손실된 패킷을 제외하고 그 이후에 정상적으로 수신된 데이터의 경우에도 참조 영상이 없기 때문에 다음의 I프레임이 들어올 때 까지 수신되는 모든 패킷은 무용지물이 된다. When a video packet is transmitted by such a video streaming service system, if one frame of data (packet) is lost in the middle of the transmission, there is no reference image even for data that is normally received after that except for the lost packet. All received packets are useless until the next I frame.

따라서, 패킷 자체는 정상 수신되었으나, 참조 영상이 없음으로 인하여 클라이언트는 블로킹 상태에 빠지게 되고, 사용자 단말의 입장에서 본다면 과금 문제에 민감하게 될 수 밖에 없다.Therefore, although the packet itself is normally received, the client is in a blocking state because there is no reference image, and it is inevitably sensitive to the charging problem from the viewpoint of the user terminal.

따라서, 패킷 손실의 가능성이 있는 동영상 스트리밍 서비스 시스템에서 패 킷 손실없이 데이터를 전송하는 것도 중요하지만, 패킷 손실이 발생하였을 때 이를 어떻게 해결하고 또 패킷 손실에 따른 문제점을 최소화할 수 있는가의 문제 또한 중요한 사항이 된다.Therefore, it is important to transmit data without packet loss in a video streaming service system that has a possibility of packet loss.However, when a packet loss occurs, how to solve it and also minimize the problem caused by packet loss is also important. It becomes matter.

본 발명은 동영상 참조 프레임 예측 방식의 변경을 통하여 기존의 스트리밍 방식의 서버/클라이언트 구조에서 정상 수신된 패킷이 이전에 비정상적으로 수신된 패킷으로 인하여 정상적으로 디코딩되지 못하는 문제점을 해결할 수 있도록 한 동영상 디코더의 참조 영상 변경 제어방법을 제공하는데 그 목적이 있다.The present invention provides a reference to a video decoder that can solve a problem in which a packet normally received in a conventional streaming server / client structure cannot be normally decoded due to a previously received packet by changing a video reference frame prediction method. The purpose is to provide a video change control method.

또한 본 발명은 기존 동영상 코덱의 참조 프레임 예측 방식 변경을 통하여, 패킷 손실이 있을 수 있는 스트리밍 방식의 서버, 클라이언트 간에 정상 수신된 데이터가 재생되지 않는 현상을 최소화 함으로써 클라이언트 단에서의 블로킹 등의 현상을 없애고, 수신된 패킷을 최대한 재생할 수 있도록 하며, 낮은 대역폭의 네트워크 환경 및 저 성능의 컴퓨터에서도 화상의 끊김이 없이 부드러운 화상을 재생할 수 있도록 한 동영상 디코더의 참조 영상 변경 제어방법을 제공하는데 그 목적이 있다.In addition, the present invention is to minimize the phenomenon that the normal received data is not reproduced between the server and the client of the streaming method that may be packet loss, by changing the reference frame prediction method of the existing video codec, such as blocking at the client end Its purpose is to provide a reference video change control method of a video decoder that enables to reproduce the received packets as much as possible, and to reproduce smooth images without interruption of video even in a low bandwidth network environment and a low performance computer. .

본 발명은 동영상 스트리밍 서비스 시스템에서 패킷 손실이 발생하였을 때 동영상 참조 프레임을 변경시켜 줌으로써 패킷 손실 이후의 영상 재생이 불가능하게 되는 현상을 해결함과 동시에, 본 발명에 따른 동영상 참조 프레임 예측 방식의 변경으로 인하여, 압축된 영상 크기가 증가하게 되는 현상을 방지해 주는 방법을 제안한다.The present invention solves the phenomenon that image playback after packet loss is impossible by changing a video reference frame when a packet loss occurs in a video streaming service system, and also changes the video reference frame prediction method according to the present invention. Therefore, a method of preventing the phenomenon that the compressed image size is increased is proposed.

본 발명의 동영상 디코더의 참조 영상 변경 제어방법은, 네트워크를 기반으로 서버와 클라이언트 간에 동영상 스트리밍 서비스를 수행하는 시스템에 있어서, 수신된 패킷의 손실 여부를 판단하는 단계; 상기 패킷 손실이 발생하면 참조 영상을 이전 프레임으로 하지 않고 하나의 VOP내의 I프레임으로 변경하는 단계; 상기 변경된 참조 영상(I프레임)을 참조하여 이후 프레임의 디코딩을 수행하는 단계; 를 포함하여 구성된 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of controlling a reference image change of a video decoder, the method comprising: determining whether a received packet is lost by performing a video streaming service between a server and a client based on a network; Changing the reference picture to an I frame in one VOP instead of a previous frame when the packet loss occurs; Decoding a subsequent frame with reference to the changed reference picture (I frame); Characterized in that configured to include.

또한 상기 본 발명의 동영상 디코더의 참조 영상 변경 제어방법에서, 상기 변경된 참조 프레임 기반의 디코딩 시, 압축된 데이터의 크기를 보고 그 크기를 소정의 제한된 크기 이상으로 증가하지 않도록 제한하는 것을 특징으로 한다.In addition, in the reference image change control method of the video decoder of the present invention, when decoding based on the changed reference frame, the size of the compressed data is limited so as not to increase the size beyond a predetermined limited size.

또한 상기 본 발명의 동영상 디코더의 참조 영상 변경 제어방법에서, 상기 변경된 참조 프레임 기반의 디코딩 시, 압축된 데이터의 크기를 보고 비트율 제어(Rate Control Algorithm)를 통해 네트워크 대역폭에 적합하게 양자화 파라미터(Quantization Parameter)를 세팅하여 상기 데이터 크기가 소정의 제한된 크기 이상으로 증가하지 않도록 인코딩하는 것을 특징으로 한다.In addition, in the reference image change control method of the video decoder of the present invention, when decoding based on the changed reference frame, the size of the compressed data is viewed and the quantization parameter (Quantization Parameter) is adapted to the network bandwidth through a rate control algorithm. ) To encode the data size so that the data size does not increase beyond a predetermined limited size.

상기한 바와 같이 본 발명에서는 패킷 손실 시에 참조 영상(참조 프레임)을 변경하고, 변경된 참조 영상을 기반으로 디코딩을 할 때 그 데이터 크기가 소정의 제한된 크기 이상으로 증가하지 않도록 하는 방법이다.As described above, the present invention is a method of changing a reference picture (reference frame) at the time of packet loss and preventing the data size from increasing beyond a predetermined limited size when decoding based on the changed reference picture.

즉, 패킷 손실 가능성이 있는 스트리밍 서버의 경우 참조 영상을 변경함으로써, 비정상 수신된 패킷 및 수신되지 않은 패킷을 제외하고, 정상 수신된 패킷의 경우는 정상적으로 재생할 수 있게 하는 것이다. 이 때 변경되는 참조 영상은 재구성된 VOP(Recostructed Video Object Plate) 내의 I프레임으로 한다.That is, in the case of a streaming server having a packet loss possibility, the normalized packet can be reproduced normally in the case of a normally received packet except for an abnormally received packet and an unreceived packet by changing the reference image. In this case, the changed reference picture is an I frame in the reconstructed VOP (Recostructed Video Object Plate).

이와 같이 정상 수신된 I프레임을 참조 영상으로 하여 P프레임의 데이터를 재구성한다면, 정상 수신된 패킷의 경우에는 클라이언트 단에서 정상적인 재생이 가능하게 된다. 그렇지만, 이전 프레임을 참조 영상으로 하지 않고, 인트라 프레임(Intra Frame)을 참조 영상으로 함으로 인해서, 인트라 프레임과 많이 떨어져 있는 프레임일수록 그 압축된 데이터의 크기는 점점 더 증가하게 되어, 심지어는 I프레임의 압축 크기만큼이나 커지게 된다. 이렇게 압축된 데이터의 크기가 증가하게 되면 정지영상 코덱을 사용하지 않고 동영상 코덱을 사용하는 장점이 퇴색하게 된다.If the data of the P frame is reconstructed using the normally received I frame as the reference picture as described above, normal playback can be performed at the client end in the case of the normally received packet. However, by not using the previous frame as the reference picture but using the intra frame as the reference picture, the size of the compressed data increases more and more even if the frame is far from the intra frame, even the I frame. It will be as large as the compression size. When the size of the compressed data is increased, the advantage of using the video codec without using the still image codec is faded.

따라서, 본 발명의 경우 P프레임에서의 압축 데이터의 크기가 이전 방식의 동영상 코덱보다 크지 않은 P프레임 데이터 크기를 가지게 하는 것이 상당히 중요하게 된다.Therefore, in the case of the present invention, it is very important that the size of the compressed data in the P frame has a P frame data size that is not larger than that of the previous video codec.

이를 위하여, 비트율 제어 등의 방법을 사용하여 네트워크 대역폭에 따라서 적응적으로 압축 데이터의 크기를 조절함으로써, 동영상 코덱의 장점을 충분히 살리면서도, 네트워크 환경에 관계없이 클라이언트 단에서의 블로킹 없는 연속된 영상의 재생이 가능하게 한다. 이는 네트워크 환경이 좋지 못한 스트리밍 방식의 서버/클라이언트 방식에서 특히 좋은 성능을 발휘하는 장점이 된다.To this end, by adjusting the size of the compressed data adaptively according to the network bandwidth by using a method such as bit rate control, while maintaining the advantages of the video codec, the continuous video without blocking at the client end regardless of the network environment Enable playback. This is an advantage in that especially good performance in the streaming server / client method that the network environment is poor.

도1은 MPEG4 기반 동영상 코덱의 디코딩 방식을 계통적으로 보여주고 있다.1 systematically illustrates a decoding method of an MPEG4-based video codec.

도1에 나타낸 바와 같이 본 발명에 따른 동영상 코덱은, 수신된 패킷 데이터 분리를 위한 디멀티플렉서(10)와, 상기 분리된 쉐이프 비트 스트림(Coded Bit Stream, Shape) 처리를 위한 스위칭부(20) 및 쉐이프 디코더(Shape Decoding)(30)와, 상기 분리된 움직임 비트 스트림(Coded Bit Stream, Motion) 처리를 위한 움직임 디코더(Mption Decoding)(40)와, 상기 디코딩된 쉐이프 및 움직임 정보, 그리고 재구성된 프레임 정보(VOP)를 토대로 움직임 보상을 수행하는 움직임 보상부(Motion Compensation)(50)와, 상기 분리된 텍스쳐 비트 스트림(Coded Bit Stream, Textur) 처리를 위한 텍스쳐 디코더(Texture Decoding)(60)와, 상기 디코딩된 텍스쳐 및 움직임 보상부의 출력을 토대로 VOP 재구성을 수행하는 VOP 재구성부(70)와, 상기 재구성된 VOP 데이터가 저장되는 VOP 메모리부(80)를 포함하여 구성되고 있다.As shown in FIG. 1, the video codec according to the present invention includes a demultiplexer 10 for separating received packet data, a switching unit 20, and a shape for processing the separated coded bit stream. A decoder (Shape Decoding) 30, a motion decoder (Mption Decoding) 40 for processing the separated coded bit stream (Coded Bit Stream, Motion), the decoded shape and motion information, and reconstructed frame information A motion compensation unit 50 for performing motion compensation based on the VOP, a texture decoder 60 for processing the separated coded bit stream, and textur processing; The VOP reconstruction unit 70 performs a VOP reconstruction based on the output of the decoded texture and the motion compensation unit, and a VOP memory unit 80 storing the reconstructed VOP data.

한편, 상기 텍스쳐 디코더(60)는 입력된 텍스쳐 비트 스트림의 디코딩을 위하여, 가변길이 디코더(Variable Length Decoding)(61), 역스캔부(Inverse Scan)(62), 역 DC&AC 예측부(Inverse DC&AC Prediction)(63), 역양자화부(Inverse Quantization)(64), 역DCT 변환부(IDCT)(65)를 포함하여 구성된다.Meanwhile, the texture decoder 60 may include a variable length decoder 61, an inverse scan 62, and an inverse DC & AC prediction unit for decoding the input texture bit stream. ) 63, an inverse quantization unit 64, and an inverse DCT transform unit (IDCT) 65.

도1을 참조하여 디코딩 동작을 살펴본다.A decoding operation will be described with reference to FIG. 1.

디멀티플렉서(10)는 입력된 패킷을 각각 쉐이프(shape), 움직임(motion), 텍스쳐(texture) 비트 스트림으로 분리해 준다. 쉐이프 비트 스트림은 비디오 오브젝트 계층의 쉐이프 정보(video_object_layer_shape)에 의해서 스위칭부(20)를 거쳐 쉐이프 디코더(30)에 입력되고, 쉐이프 디코더(30)에서 VOP 메모리부(80)를 참조하여 디코딩된 쉐이프 데이터가 출력되어 움직임 보상부(50) 및 텍스쳐 디코더(60)에 공급된다.The demultiplexer 10 separates the input packet into shapes, motions, and texture bit streams, respectively. The shape bit stream is input to the shape decoder 30 through the switching unit 20 by the shape information (video_object_layer_shape) of the video object layer, and the shape data decoded with reference to the VOP memory unit 80 by the shape decoder 30. Is output and supplied to the motion compensator 50 and the texture decoder 60.

움직임 비트 스트림은 움직임 디코더(40)에 의해서 디코딩되고, 디코딩된 결과는 움직임 보상부(50)에 공급된다. 움직임 보상부(50)는 디코딩된 움직임 정보와 상기 디코딩된 쉐이프 정보, 그리고 VOP 메모리부(80)의 재구성된 VOP 정보를 토대로 하여 움직임 보상을 수행하고, 그 결과를 VOP 재구성부(70)에 공급해 준다.The motion bit stream is decoded by the motion decoder 40 and the decoded result is supplied to the motion compensator 50. The motion compensator 50 performs motion compensation based on the decoded motion information, the decoded shape information, and the reconstructed VOP information of the VOP memory unit 80, and supplies the result to the VOP reconstruction unit 70. give.

텍스쳐 비트 스트림은 텍스쳐 디코더(60)에 의해서 디코딩되고, 디코딩된 결과는 VOP 재구성부(70)에 공급된다. 즉, 가변길이 디코더(61)에 의해서 디코딩이 이루어진 후 역스캔부(62), 역DC&AC예측부(63), 역양자화부(64), 역DCT부(65)를 차례로 거치면서 인코딩 과정의 역순에 해당하는 디코딩 과정이 수행되는 것이다.The texture bit stream is decoded by the texture decoder 60, and the decoded result is supplied to the VOP reconstruction unit 70. That is, after decoding is performed by the variable length decoder 61, the reverse scanning unit 62, the reverse DC & AC predictor 63, the inverse quantization unit 64, and the inverse DCT unit 65 are sequentially reversed. The decoding process corresponding to this is performed.

VOP 재구성부(70)는 상기 디코딩된 텍스쳐 정보와 움직임 보상정보를 토대로 하여 VOP를 재구성하여 출력해줌과 함께, VOP 메모리부(80)에 해당 영상 정보를 저장해 준다.The VOP reconstruction unit 70 reconstructs and outputs the VOP based on the decoded texture information and the motion compensation information, and stores the corresponding image information in the VOP memory unit 80.

이와 같은 디코딩 과정에 있어서, 정상적으로 수신된 패킷의 경우는 참조 VOP(Reference Video Object Plate: MPEG2에서의 GOP(Group Of Picture)에 대응하는 개념)를 참조로 하여 영상을 재구성하게 된다.In such a decoding process, a normally received packet is reconstructed with reference to a reference VOP (concept corresponding to a group of picture (GOP) in MPEG2).

패킷이 정상적으로 수신될 때는 문제가 되지 않지만, 패킷 손실이 발생하였을 경우에는 이후에 수신된 패킷은 그 수신 상태가 정상임에도 불구하고, 이전에 수신된 패킷으로부터 만들어진 비 정상의 참조 영상을 바탕으로 영상을 재구성(Reconstruction)하게 되므로 이 것 또한 비정상의 영상이 된다. 즉, 도2에 표현된 바와 같이 패킷 손실이 발생한 시점 이후의 패킷은 참조할 정상 영상이 없음으로 인하여 비정상적인 영상으로 변질되고, 이후에 다음의 I프레임이 수신되기 까지는 계속해서 비정상적인 재생을 할 수 밖에 없고, 그렇지 않다면 블로킹에 빠지게 된다.This is not a problem when a packet is normally received. However, when a packet loss occurs, the received packet is based on an abnormal reference image made from a previously received packet, even if the received packet is normal. This is also an abnormal image because it is reconstruction. That is, as shown in FIG. 2, the packet after the point of packet loss occurs is changed to an abnormal image because there is no normal image to refer to, and afterwards, abnormal reproduction continues until the next I frame is received. If not, it will block.

그러나, 참조 영상을 이전 프레임으로 하지 않고, 하나의 VOP 내의 I프레임으로 하게 되면, 중간 중간에 비정상적으로 수신된 P프레임이 있다고 하더라도, 이후에 정상적으로 수신된 P프레임의 데이터는 정상적으로 디코딩 과정을 수행할 수 있게 된다.However, if the reference picture is used as an I frame in one VOP instead of the previous frame, even if there is an abnormally received P frame in the middle, the data of the normally received P frame can be decoded normally. It becomes possible.

그런데 이와 같이 재구성된 VOP 내의 I프레임을 참조 영상으로 삼게 되면, 이전 프레임으로 움직임 예측을 수행하지 않고, 멀리 떨어진 I프레임으로 움직임 예측을 수행하므로 압축된 데이터의 크기가 증가할 수가 있다.However, when the I frame in the reconstructed VOP is used as a reference image, the size of the compressed data may be increased because the motion prediction is performed on a far away I frame without performing motion prediction on the previous frame.

이러한 현상을 방지하기 위하여 본 발명에서는 비트율 조절 알고리즘을 도입하여, 네트워크 대역폭에 적합하도록 양자화 파라미터(Quantization Parameter)를 세팅하여 인코딩을 수행한다. 이렇게 하면 패킷 손실 시 참조 영상의 변경에 따른 데이터 크기 증가의 문제를 해결할 수 있게 된다.In order to prevent such a phenomenon, the present invention introduces a bit rate adjustment algorithm, and sets the quantization parameter to fit the network bandwidth to perform encoding. In this way, it is possible to solve the problem of data size increase due to the change of the reference picture in case of packet loss.

이는 네트워크를 기반으로 하는 멀티미디어 어플리케이션에 전반적으로 응용될 수 있으며, 특히 패킷 손실의 가능성이 높은 스트리밍 서비스 등에 적절히 이용될 수 있다.This can be applied to a network-based multimedia application as a whole, and in particular, it can be suitably used for a streaming service with a high probability of packet loss.

도3은 지금까지 설명한 본 발명의 동영상 디코더의 참조 영상 변경 제어방법을 플로우차트로 표현한 도면이다.3 is a flowchart illustrating a reference image change control method of the video decoder according to the present invention described above.

제1 단계(S10)는 패킷 데이터를 수신하는 단계이다. 제2 단계(S20)는 상기 수신된 패킷이 정상 수신인지, 혹은 손실인지를 판별하는 단계이다. 제2 단계(S20) 의 판별 결과 정상 수신의 경우는 문제가 없으므로 제3 단계(S30)로 이행하여 정상 수신된 패킷 기반의 동영상 디코딩을 구행한다.The first step S10 is a step of receiving packet data. The second step S20 is a step of determining whether the received packet is normal reception or loss. As a result of the determination of the second step (S20), since there is no problem in the case of normal reception, the process proceeds to the third step (S30) and performs packet-based video decoding based on the normally received packet.

그렇지만, 비정성 수신된 패킷의 경우에는 제4 단계(S40)로 이행하여 참조 영상을 교체해 준다. 즉, 참조 영상을 재구성된 VOP 내의 I프레임으로 선택하여 변경해 주는 것이다. 다음의 제5 단계(S50)는 상기 변경된 참조 영상(재구성된 VOP 내의 I프레임)을 참조하여 디코딩을 수행하는 과정이다. 이와 같이 디코딩을 수행하였을 때 그 데이터 크기가 과도하게 증가하는지의 여부를 검색하기 위하여 제6 단계(S60)에서는 데이터 크기를 판별하고, 제7 단계(S70)에서는 그 압축된 데이터 크기가 미리 설정해 놓은 소정값 보다 커지는가를 판별한다.However, in case of the non-qualified received packet, the process proceeds to the fourth step S40 to replace the reference picture. That is, the reference picture is selected and changed into I frames in the reconstructed VOP. The fifth step S50 is a process of decoding with reference to the changed reference picture (I frame in the reconstructed VOP). In this way, in order to search whether the data size is excessively increased when decoding is performed, the data size is determined in step S60, and in step S70, the compressed data size is set in advance. It is determined whether it is larger than a predetermined value.

상기 제7 단계(S70)의 판별 결과 데이터 크기가 제한된 크기 이상으로 증가하게 되면 제8 단계(S80)로 이행하여, 비트율 제어를 기반으로 양자화 파라미터를 네트워크 대역폭에 적합하게 적응적으로 변경하여 인코딩을 수행한다.As a result of the determination of the seventh step (S70), if the data size increases beyond the limited size, the flow advances to the eighth step (S80), and the encoding is changed by adaptively changing the quantization parameter to suit the network bandwidth based on the bit rate control. Perform.

이렇게 하면 이전 프레임을 참조 영상으로 하지 않고 I프레임을 참조 영상으로 함으로 인해서 그 압축된 데이터 크기가 증가하게 되는 것을 방지할 수 있고, 이에 따라 MJPEG 등의 정지 영상 코덱을 사용하지 않고 동영상 코덱을 사용하는 장점을 충분하게 살려 줄 수 있게 되는 것이다.This prevents the compressed data size from being increased by not using the previous frame as the reference picture but by using the I frame as the reference picture. Therefore, the video codec can be used without using a still picture codec such as MJPEG. It will be able to give full advantage.

본 발명은 스트리밍 서비스 등의 네트워크 기반의 멀티미디어 어플리케이션에서, 비정상적으로 수신된 패킷으로 인하여, 이후에 정상적으로 수신된 패킷마저도 정상적으로 디코딩을 수행하지 못하는 문제점을 참조 영상을 교체함으로써 해결 하였다. 따라서, 패킷 수신 여부를 바탕으로 과금 처리를 하는 멀티미디어 스트리밍 서비스에 적절하게 이용될 수 있을 뿐만 아니라, 네트워크 환경이 좋지 못한 일부 환경에서도 동영상을 처리하고자 하는 부분에 이용될 수 있다.The present invention solves the problem that, even in a network-based multimedia application such as a streaming service, a packet that is normally received after the abnormally received packet does not normally decode normally, by replacing the reference image. Therefore, not only can it be appropriately used for multimedia streaming services that perform charging processing based on whether packets are received, but can also be used for parts that want to process video even in some environments where the network environment is not good.

Claims

A system for performing a video streaming service between a server and a client based on a network, the system comprising: determining whether a received packet is lost; Changing the reference picture to an I frame in one VOP instead of a previous frame when the packet loss occurs; Decoding a subsequent frame with reference to the changed reference picture (I frame); The reference image change control method of a video decoder comprising a.

2. The method of claim 1, wherein, when decoding the modified reference frame based on the changed reference frame, the size of the compressed data is limited so as not to increase the size beyond a predetermined limited size. 3.

The data size of claim 1, wherein, when decoding based on the changed reference frame, the data size is determined by looking at the size of the compressed data and setting a quantization parameter suitable for a network bandwidth through a rate control algorithm. The control method of the reference image change of the video decoder, characterized in that the encoding so as not to increase beyond the limited size of.