KR100397133B1 - Method and System for compressing/transmiting of a picture data - Google Patents
Method and System for compressing/transmiting of a picture data Download PDFInfo
- Publication number
- KR100397133B1 KR100397133B1 KR10-2000-0052714A KR20000052714A KR100397133B1 KR 100397133 B1 KR100397133 B1 KR 100397133B1 KR 20000052714 A KR20000052714 A KR 20000052714A KR 100397133 B1 KR100397133 B1 KR 100397133B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame data
- data
- frame
- image
- original image
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
Abstract
본 발명은 복수의 클라이언트들이 가변적인 전송 속도를 갖는 통신 네트워크를 통하여 접속한 경우, 네트워크 자체 또는 각 클라이언트들 자신의 처리 속도 때문에 발생 가능한 전송 지연 시간 문제를 효율적으로 해결하기 위한 것으로, 하나의 I 프레임을 포함하는 동일 그룹의 영상 프레임 내에서 예측 프레임인 P 프레임을 항상 I 프레임을 기준으로 압축하는 압축 방법과, 각 클라이언트의 처리 속도에 맞게 즉, 클라이언트들의 영상 프레임 전송 요구 시간에 맞추어 영상을 전송하는 영상 데이터 압축 전송 시스템 및 그 방법인 것이다.The present invention is to efficiently solve the transmission delay problem that may occur due to the processing speed of the network itself or each client when a plurality of clients are connected through a communication network having a variable transmission rate, one I frame A compression method for always compressing a P frame, which is a prediction frame, based on an I frame within an image frame of the same group, and transmitting the image according to a processing speed of each client, that is, according to a video frame transmission request time of the clients. The video data compression transmission system and method thereof.
Description
본 발명은 영상 데이터 전송 시스템 및 그 방법에 관한 것으로서, 특히 효율적인 압축 방법으로 영상 데이터를 압축하여 전송 속도가 가변적이거나 상이한 네트워크로 접속한 복수의 클라이언트에게 전송하기 위한 네트워크를 통한 영상 데이터 전송 시스템 및 그 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video data transmission system and a method thereof, and more particularly, to a video data transmission system through a network for compressing video data using an efficient compression method and transmitting the same to a plurality of clients connected to different or different networks. It is about a method.
일반적으로 동영상 부호화 장치에 의한 압축 부호화 방식은 ITU-T, H.261, H.263 영상 전화 표준이나, ISO/IEC MPEG(Moving Picture Experts Group)과 같은 TV급 혹은 HDTV급 동영상 압축 부호화 표준에서 공히 사용되고 있는 방식이다.In general, the compression encoding method using the video encoding apparatus is the same as that of the ITU-T, H.261, H.263 video telephone standard, or the TV or HDTV video compression coding standard such as ISO / IEC Moving Picture Experts Group (MPEG). This is the method used.
이와 같은 압축 방식 중 MPEG-1(즉, ISO/IEC 11171-2)과, MPEG-2(즉, ISO/IEC 13818-2)방식은 상기 TV나 HDTV에 적용되는 대표적인 방식이다.Among these compression methods, MPEG-1 (ie, ISO / IEC 11171-2) and MPEG-2 (ie, ISO / IEC 13818-2) are typical methods applied to the TV or HDTV.
MPEG 방식에서는 기존의 H.261 등과 같은 영상 전화 표준과 마찬가지로 이전에 부호화된 영상으로부터 움직임을 추정하여 그 차이를 이산 여현 변환 방식(Discrete Cosine Transform:DCT)을 이용하여 부호화함으로써, 영상을 압축하는 인터프레임(Interframe) 압축 방법과 이전 영상과는 관계없이 현재 영상 그 자체를 이산 여현 변환 방식 등을 이용하여 압축 부호화하는 인트라(Intra) 프레임 압축 방법을 주요한 압축 방법으로 하고 있다.In the MPEG method, as in the conventional video telephony standard such as H.261, the intercom which compresses the video by estimating the motion from the previously encoded video and encoding the difference by using the discrete cosine transform (DCT) The main compression method is an intra frame compression method which compresses and encodes the current image itself using a discrete cosine transform method or the like regardless of an interframe compression method and a previous image.
이와 같은 MPEG 영상 부호화기는 움직임 보상 과정과 직교 변화 과정, 양자화 과정, 엔트로피 부호화 과정을 수행하여 영상을 부호화하게 된다.The MPEG image encoder encodes an image by performing a motion compensation process, an orthogonal change process, a quantization process, and an entropy encoding process.
움직임 보상 과정은 화면 내에서 사물이 움직인 경우 이동 전과 이동 후의 위치에 예측 오류가 발생하게 되는데, 이 물체의 이동을 검출하여 즉, 움직임 벡터를 검출하여 이 움직임 벡터에 의해서 앞 화면 대상물의 위치를 수정하고 이것을 사용해서 프레임간 예측을 행하는 과정이다.In the motion compensation process, when an object moves in the screen, a prediction error occurs at the position before and after the movement. The movement of the object is detected, that is, the motion vector is detected and the position of the front screen object is detected by the motion vector. This is the process of correcting and using this to perform interframe prediction.
그리고, 직교 변화 과정은, 움직임 보상 처리된 영상을 입력받아 처리하게 되는데, 입력 영상을 8*8 화소의 블록으로 분할하여 각 화소 블록마다 이산 코사인 변환을 실행한다. 이 이산 코사인 변환 과정을 통해 화상을 낮은 주파수 성분으로부터 높은 주파수 성분까지 분해시키게 되며, 분해된 고주파 성분은 버리고 저주파 성분만을 취하여 정보 손실 없이 정보 압축을 가능하게 한다.The orthogonal change process receives and processes a motion compensated image, and divides the input image into blocks of 8 * 8 pixels to perform discrete cosine transform for each pixel block. The discrete cosine transform process decomposes an image from a low frequency component to a high frequency component, discards the decomposed high frequency component and takes only low frequency components to enable information compression without loss of information.
그리고, 양자화 과정은 직교 변환 과정이 수행된 블록의 각 계수를 양자화 계수로 나누어 나머지를 반올림하여 취하는 과정이다. 이때, 양자화 스텝이 충분히 작으면, 재생 영상은 거의 원 영상과 같은 정도로 복원된다. 이 양자화 과정을 통해 더욱 정보 압축을 효율적으로 할 수 있게 된다.The quantization process is a process of dividing each coefficient of the block on which the orthogonal transformation process is performed by quantization coefficient and rounding the remainder. At this time, if the quantization step is sufficiently small, the reproduced video is almost restored to the same degree as the original video. This quantization process allows for more efficient information compression.
한편, 엔트로피 과정은 양자화가 수행된 DCT 계수에 대해 발생 확률이 높은 값에 길이가 짧은 부호를 할당하고, 발생 확률이 낮은 값에 길이가 긴 부호를 할당하여 전송 정보를 줄이는 과정이다.Meanwhile, the entropy process is a process of reducing transmission information by allocating a short code to a value having a high probability of occurrence and assigning a long code to a value having a low probability of occurrence.
이와 같은 기능을 수행하는 일반적인 MPEG 영상 부호화기에 대하여 간단하게 살펴보도록 하자.Let's look briefly at a general MPEG video encoder that performs this function.
도 1은 일반적인 MPEG 영상 부호화기의 블록 구성을 나타낸 도면이다.1 is a block diagram of a typical MPEG video encoder.
도 1에 도시된 바와 같은, MPEG 영상 부호화기의 움직임 추정 및 보상부(1)는 입력 영상과 이전 영상을 이용하여 움직임 추정 및 보상을 수행한다. 여기서, 움직임 추정 및 보상부(1)는 제1, 2 프레임 메모리(2, 3), 프레임 및 필드 움직임 보상부(4, 5) 및 프레임 및 필드 움직임 추정부(6, 7)를 각각 포함한다.As shown in FIG. 1, the motion estimation and compensation unit 1 of the MPEG image encoder performs motion estimation and compensation using an input image and a previous image. Here, the motion estimation and compensator 1 includes first and second frame memories 2 and 3, frame and field motion compensators 4 and 5, and frame and field motion estimators 6 and 7, respectively. .
움직임 추정 및 보상부(1)의 제1, 2 프레임 메모리(2, 3)는 이전 영상을 각각 저장하고, 프레임 움직임 추정부(6)는 제1 프레임 메모리(2)에 저장된 이전 영상과 현재 입력되는 입력 영상을 비교하여 프레임간 움직임을 추정한다.The first and second frame memories 2 and 3 of the motion estimation and compensator 1 store previous images, respectively, and the frame motion estimator 6 inputs the previous image and the current input stored in the first frame memory 2, respectively. The interframe motion is estimated by comparing the input images.
필드 움직임 추정부(7)는 제2 프레임 메모리(3)에 저장된 이전 영상과 현재 입력되는 영상을 비교하여 필드간 움직임을 추정하는 것이다.The field motion estimator 7 estimates the inter-field motion by comparing the previous image stored in the second frame memory 3 with the currently input image.
그리고, 프레임 움직임 보상부(4)는 프레임 움직임 추정부(6)에서 추정된 움직임 벡터로 제1 프레임 메모리(2)에 저장된 이전 영상의 움직임을 보상하고, 필드 움직임 보상부(5)는 필드 움직임 추정부(7)에서 추정된 움직임 벡터로 제2 프레임 메모리(3)에 저장된 이전 영상의 움직임을 보상한다.The frame motion compensator 4 compensates for the motion of the previous image stored in the first frame memory 2 using the motion vector estimated by the frame motion estimator 6, and the field motion compensator 5 performs the field motion. The motion vector estimated by the estimator 7 compensates for the motion of the previous image stored in the second frame memory 3.
스위치(8)는 프레임 움직임 보상부(4)와 필드 움직임 보상부(5)에서 각각 출력되는 움직임 보상 예측 신호 중 오차가 적은 신호를 선택하여 감산기(10)로 출력하는 것이다.The switch 8 selects a signal having a small error among the motion compensation prediction signals output from the frame motion compensator 4 and the field motion compensator 5, and outputs the signal to the subtractor 10.
감산기(10)는 프레임 움직임 보상부(4)와 필드 움직임 보상부(5)에서 각각출력된 신호 중 스위치(8)의 스위칭에 의해 선택된 움직임 보상 예측 신호와 현재 입력되는 입력 영상과의 차이 값을 출력하는 것이다.The subtractor 10 may calculate a difference value between the motion compensation prediction signal selected by the switching of the switch 8 among the signals output from the frame motion compensator 4 and the field motion compensator 5, respectively, and the currently input image. To print.
DCT부(11)는 감산기(10)에서 출력되는 신호를 DCT 변환시켜 양자화부(12)로 출력하고, 양자화부(12)는 DCT 부(11)에서 출력되는 신호를 양자화시킨다.The DCT unit 11 DCT-converts the signal output from the subtractor 10 to output the quantizer 12, and the quantizer 12 quantizes the signal output from the DCT unit 11.
역 양자화부(14)는 양자화부(12)에서 출력되는 오차 신호를 역 양자화시키고, 역 DCT부(15)는 역 양자화된 신호를 역 DCT시킨다.The inverse quantization unit 14 inversely quantizes the error signal output from the quantization unit 12, and the inverse DCT unit 15 inverses DCT the inverse quantized signal.
그리고, 가산기(16)는 역 DCT부(15)의 출력 신호와 움직임 보상 예측된 신호즉, 스위치(8)에서 스위칭되어 출력되는 움직임 보상 예측 신호를 가산하여 제1, 2 프레임 메모리(2, 3)에 각각 저장한다.The adder 16 adds the output signal of the inverse DCT unit 15 and the motion compensation predicted signal, that is, the motion compensation predicted signal switched and output from the switch 8 to the first and second frame memories 2 and 3. Each).
가변장 부호화기(17)는 양자화부(12)에서 양자화된 신호를 가변장 부호화시켜 비트열로 출력한다. 비트율 제어부(13)는 가변장 부호화부(17)에서 출력되는 비트열의 길이에 따라 양자화부(12)의 동작을 제어하는 것이다.The variable length encoder 17 variably encodes the signal quantized by the quantization unit 12 and outputs the bit string. The bit rate control unit 13 controls the operation of the quantization unit 12 in accordance with the length of the bit string output from the variable length encoder 17.
일반적으로 MPEG에서는 부호화 효율을 극대화하기 위해 각 프레임을 I-픽쳐(Intra Picture), P-픽쳐(Predictive-Picture), B-픽쳐(Bidirectionally Predivtive-Picture)의 3가지의 방법으로 부호화시킨다.In general, in MPEG, each frame is encoded by three methods, i-picture (Intra Picture), P-picture (Predictive-Picture), and B-picture (Bidirectionally Predivtive-Picture).
I-픽쳐는 임의의 접근을 가능하게 하기 위하여 현재 화면 내의 정보만을 이용하여 부호화된 영상이다.An I-picture is an image encoded using only information in the current screen to enable arbitrary access.
P-픽쳐는 이전에 이미 부호화된 I-픽쳐 또는 P-픽쳐를 이용하여 움직임 보상을 하고, 이에 의한 예측 오차를 부호화시킨 영상이다.A P-picture is an image obtained by encoding a prediction error by performing motion compensation using an I-picture or a P-picture previously encoded.
그리고, B-픽쳐는 시간적으로 이전과 이후에 위치하는 이미 부호화된 I-픽쳐또는 P-픽쳐를 이용하여 움직임 보상을 하고, 그 예측 오차를 부호화시킨 영상이다. 따라서, P-픽쳐에서는 순방향의 예측만 허용되고, B-픽쳐에서는 이전 영상으로부터 순방향 예측, 이후 영상으로부터의 역방향 예측 그리고 이들의 평균에 의한 양방향 예측이 허용된다. 이렇게 MPEG 영상 부호화기에서 움직임 보상 동작은 각 영상의 종류에 따라 다르게 동작된다.The B-picture is an image obtained by compensating for motion using an already encoded I-picture or a P-picture positioned before and after in time, and encoding the prediction error. Therefore, only the forward prediction is allowed in the P-picture, and the forward prediction from the previous picture, the backward prediction from the next picture, and the bidirectional prediction by the average thereof are allowed in the B-picture. As described above, the motion compensation operation in the MPEG image encoder is differently performed according to the type of each image.
또한, 영상 부호화 방법에는 2가지가 있는데, 한가지는 2필드로 구성되는 프레임 단위로 부호화하는 프레임 화면 부호화 방법과, 각 필드를 별개의 화면으로 부호화하는 필드 화면 부호화 방법이 있다.In addition, there are two video encoding methods, one of which is a frame screen encoding method for encoding in units of frames consisting of two fields, and a field screen encoding method for encoding each field into a separate screen.
이와 같은 부호화 방법 즉, 영상 압축 방법은 네트워크를 이용한 영상 데이터 전송 시스템에도 적용되는데, 이러한 네트워크를 이용한 영상 데이터 전송 시스템에 적용되는 종래 기술에 따른 영상 압축 방법을 살펴보자. 이때, 감시 카메라와 같은 영상 입력부로부터 입력되는 영상을 압축하는 경우 대부분은 I 픽쳐 및 이전 픽쳐에 대해 움직임이 예측된 P 픽쳐만을 압축하는 경우가 대부분이다.Such an encoding method, that is, an image compression method, is also applied to an image data transmission system using a network, and a video compression method according to the prior art applied to an image data transmission system using such a network will be described. In this case, in the case of compressing an image input from an image input unit such as a surveillance camera, in most cases, only the P picture whose motion is predicted with respect to the I picture and the previous picture is mostly compressed.
서버에 연결된 복수의 클라이언트의 네트워크 속도가 각각 다를 경우, 서버에서는 각 클라이언트 마다 독립적인 압축기를 사용해야 하기 때문에 서버는 압축기를 복수개 구비해야 하는 문제점이 있을 수가 있다. 즉, 고속 네트워크 망에 연결된 클라이언트에는 I, P(1), P(2), ......., P(n-1), P(n)을 모두 제공하고, 중속 네트워크 망에 연결된 클라이언트에는 I, P(2), P(4), .....,P(n)만을 전송하며, 저속 네트워크 망에 연결된 클라이언트에는 I 프레임만을 전송하는 각 클라이언트마다 독립된 압축기를 사용해야 하는 것이다. 그러나 이때, 프레임 데이터의압축을 이전 프레임 데이터를 기준으로 움직임 예측을 통해 수행하기 때문에 바로 이전 프레임 데이터가 수신되지 않을 경우에는 현재 수신된 해당 프레임을 복호화할 수 없어 정확한 화면의 재생이 불가능한 문제점이 있다. 즉, 서로 독립된 압축기를 사용하지 않을 경우에는 네트워크의 지연 속도 발생에 따라 클라이언트 측에서 복원되어 디스플레이되는 화면의 끊어짐이 발생되게 되는 문제점이 있다.If the network speeds of a plurality of clients connected to the server are different from each other, the server may have a plurality of compressors because the server needs to use an independent compressor for each client. That is, I, P (1), P (2), ......., P (n-1), P (n) are all provided to the client connected to the high-speed network, and connected to the medium-speed network Only I, P (2), P (4), ....., P (n) are transmitted to the clients, and an independent compressor must be used for each client transmitting only I frames to the clients connected to the slow network. However, at this time, since the compression of the frame data is performed through the motion prediction based on the previous frame data, when the immediately previous frame data is not received, the corresponding frame currently received cannot be decoded, so accurate reproduction of the picture cannot be performed. . That is, when independent compressors are not used, there is a problem in that the screen is restored and displayed on the client side according to the delay rate of the network.
즉, 종래의 네트워크를 이용한 영상 데이터 전송 시스템에서의 영상 압축 방법으로는, 각 프레임 내부에서 압축을 나타내는 I 프레임 압축 방법과 프레임과 프레임간 영상의 연관성을 이용하여 압축하는 P 프레임 간의 압축 방법으로 크게 나뉘어 질 수 있다.That is, as a video compression method in a conventional video data transmission system using a network, an I frame compression method that represents compression inside each frame and a P frame compression method that compresses by using the correlation between a frame and an image between frames is largely used. Can be divided.
일반적인 화상 회의, 원격 영상 처리 시스템에서는 I프레임을 포함한 동일 그룹의 영상 프레임들은 순서대로 즉, I, P(1), P(2),.....,P(n)순으로 압축하여 전송한다. 이때, P프레임은 항상 동일 그룹 내의 I프레임이나 바로 이전 P프레임을 기준으로 하여 움직임을 예측하여 압축하기 때문에 역과정으로 압축 과정을 복원할 때에는 I프레임 또는 P프레임이 모두 전송되어야만 현재의 P(i)프레임으로부터 원래 영상의 복원이 가능하게 되는 것이다.In general video conferencing and remote video processing systems, video frames of the same group including I frames are compressed and transmitted in the order of I, P (1), P (2), ....., P (n). do. At this time, since the P frame always predicts and compresses the motion based on the I frame or the previous P frame in the same group, when restoring the compression process in the reverse process, all I frames or P frames must be transmitted before the current P (i The original image can be restored from the frame.
도 2는 종래 기술에 따른 영상 프레임 압축을 위한 부호화 방법을 보여주는 예시도이다.2 is an exemplary view illustrating an encoding method for compressing an image frame according to the prior art.
도 1에 도시된 바와 같이, 종래 기술에 따른 동영상 압축 방법은, I ⇒ P(1) ⇒ P(2)⇒.........⇒P(n) 순으로 영상 프레임을 압축하며, P(i) 프레임은 I 프레임이나 이전의 P(i-1) 프레임을 기준으로 움직임 예측을 통해 압축을 하기 때문에데이터 복원 과정에서는 동일 그룹내의 I프레임 또는 이전의 P(i-1) 프레임이 존재해야만 프레임 P(i)에 해당하는 원래의 영상의 복원이 가능한 것이다. 즉, P(1) 프레임은 부호화된 I프레임에 대하여 움직임 예측을 수행하여 압축을 수행하고, P(2) 프레임은 부호화된 P(1) 프레임에 대하여 움직임 예측을 통해 압축을 수행하며, P(n) 프레임은 이미 부호화된 P(n-1) 프레임에 대하여 움직임 예측을 통해 압축을 수행하게 되는 것이다.As shown in FIG. 1, the video compression method according to the prior art compresses an image frame in the order of I ⇒ P (1) ⇒ P (2) ⇒ ......... ⇒ P (n). Since P (i) frames are compressed by motion prediction based on I frames or previous P (i-1) frames, I frames or previous P (i-1) frames within the same group It is only possible to restore the original image corresponding to the frame P (i). That is, the P (1) frame performs compression by performing motion prediction on the encoded I frame, and the P (2) frame performs compression through motion prediction on the encoded P (1) frame, and P ( n) A frame is to perform compression through motion prediction on an already encoded P (n-1) frame.
이와 같이 영상 프레임간의 의존적인 방법으로 압축하는 데에 주로 사용되는 H.261, MPEG1, MPEG2 등의 표준 동영상 압축 방법은 각 프레임들이 독립적인 방법으로 복원될 수 없는 문제점이 발생하게 되는 것이다.As described above, the standard video compression method such as H.261, MPEG1, MPEG2, etc., which is mainly used to compress the video frames in a dependent manner, causes a problem that the frames cannot be restored by an independent method.
또한, 각 프레임들이 독립적인 JPEG과 같은 정지 영상 압축 방법으로 동영상을 압축하고 전송하는 것은 가능하지만 이 방법은 감시 카메라와 같은 움직임이 적은 시스템의 압축 방법으로는 낮은 압축률 때문에 비효율적인 것이다.In addition, it is possible to compress and transmit a video using a still image compression method such as JPEG, in which each frame is independent, but this method is inefficient due to the low compression rate in a low motion system such as a surveillance camera.
즉, 종래의 압축 방법들 중에서 M-JPEG 압축 방법은 프레임들간의 독립성은 뛰어나지만 압축률 면에서는 떨어지고, H.261에서의 영상 압축 방법은 압축률 면에서는 비교적 우수하지만 프레임간의 독립성 면에서는 문제가 발생한다. 따라서, 화질이 저하되지 않는 수준에서도 영상 압축률 향상이 가능하지만 네트워크 망의 지연 시간이 상이하고, 네트워크 망에 접속된 다수의 컴퓨터들의 각기 다른 처리 속도를 고려할 경우에는 각 클라이언트의 상황에 맞게 영상 데이터를 송,수신 가능한 방법이 요구된다. 즉, 영상 프레임을 가능한 한 독립적으로 압축하면서도 압축률을 최대한 높여 처리할 수 있는 영상 압축 방법이 요구되는 것이다.That is, among the conventional compression methods, the M-JPEG compression method is excellent in independence between frames, but it is inferior in compression rate, and the image compression method in H.261 is relatively excellent in compression rate, but there is a problem in terms of independence between frames. . Therefore, it is possible to improve the video compression rate even if the image quality is not deteriorated. However, when the delay time of the network is different and considering the different processing speeds of a plurality of computers connected to the network, the video data can be adjusted according to the situation of each client. Sending and receiving methods are required. In other words, there is a need for an image compression method capable of processing an image frame by compressing the image frame as independently as possible while increasing the compression ratio as much as possible.
따라서, 본 발명은 상기한 종래 기술에 따른 제반 문제점을 해결하기 위하여 안출한 것으로, 본 발명의 목적은, 영상 프레임들을 각각 독립적으로 압축하면서도 압축률을 최대한 높여 처리할 수 있는 영상 압축 방법을 제공함에 있다.Accordingly, the present invention has been made to solve the above-mentioned problems according to the prior art, an object of the present invention is to provide an image compression method that can be processed to maximize the compression rate while compressing each image frame independently. .
또한, 본 발명의 다른 목적은, 상기한 영상 압축 방법을 이용하여 압축된 영상 데이터를 가변적인 전송속도를 갖는 네트워크에 접속된 복수의 클라이언트에게 효율적으로 전송하기 위한 네트워크를 통한 영상 데이터 전송 시스템 및 그 방법을 제공함에 있다.Another object of the present invention is to provide an image data transmission system through a network for efficiently transmitting image data compressed using the image compression method to a plurality of clients connected to a network having a variable transmission rate, and the same. In providing a method.
도 1은 일반적인 MPEG 영상 부호화기의 블록 구성을 나타낸 도면.1 is a block diagram of a typical MPEG video encoder.
도 2는 종래 기술에 따른 영상 프레임 압축을 위한 부호화 방법을 보여주는 예시도.2 is an exemplary view showing an encoding method for compressing an image frame according to the prior art.
도 3은 본 발명의 바람직한 실시 예에 따른 영상 데이터 압축 전송 시스템에 대한 블록 구성을 나타낸 도면.3 is a block diagram of a video data compression transmission system according to a preferred embodiment of the present invention.
도 4는 도 3에 도시된 압축부에 대한 상세 블록 구성을 나타낸 도면.4 is a block diagram illustrating a detailed block configuration of the compression unit illustrated in FIG. 3.
도 5는 도 3에 도시된 압축부에서 수행되는 본 발명의 바람직한 실시 예에 따른 영상 프레임 압축 부호화 방법을 보여주는 예시도.FIG. 5 is an exemplary view illustrating an image frame compression encoding method according to an embodiment of the present invention performed by the compression unit shown in FIG. 3. FIG.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
131 : 감산부 132 : DCT부131: subtraction unit 132: DCT unit
132-1 : 역 DCT부 133 : 양자화부132-1: inverse DCT unit 133: quantization unit
133-1 : 역 양자화부 134 : 가변장 부호화부133-1: Inverse Quantizer 134: Variable Length Coding Unit
135 : 비트율 제어부 136 : 스위칭부135: bit rate control unit 136: switching unit
137 : 프레임 메모리 138 : 움직임 추정부137: frame memory 138: motion estimation unit
139 : 제어부139: control unit
상기한 목적을 달성하기 위한 본 발명에 따른 네트워크를 통한 영상 데이터 전송 시스템 및 그 방법의 특징은, 복수의 클라이언트가 시간에 따라 고속, 중속, 저속 등의 가변적인 전송 속도를 갖는 네트워크 망을 통하여 서버에 접속한 경우 네트워크 자체의 상이한 속도 또는 각 클라이언트들의 데이터 처리 속도 차이 때문에 발생하는 데이터 처리 시간 문제를 효율적으로 처리하는데 그 특징이 있다.Features of the video data transmission system and method through a network according to the present invention for achieving the above object is a server through a network network in which a plurality of clients have a variable transmission speed, such as high speed, medium speed, low speed with time It is characterized by efficiently handling data processing time problems caused by different speeds of the network itself or differences in data processing speeds of respective clients.
또한, 본 발명은, 하나의 I 프레임을 포함하는 동일 그룹의 영상 프레임 내에서 움직임 벡터를 포함하는 모든 예측 프레임 즉, P(n) 프레임은 항상 I 프레임을 기준으로 움직임 예측을 하여 압축을 수행하는데 다른 특징이 있다.In addition, the present invention is that all prediction frames including motion vectors, that is, P (n) frames, are always compressed based on I frames in the same group of image frames including one I frame. There are other features.
또한, 영상 서비스 서버에서 각 클라이언트들의 처리 속도에 맞게 즉, 클라이언트들의 영상 전송 요구 시간에 맞추어 영상을 출력함에 그 특징이 있다.In addition, the video service server is characterized by outputting the video according to the processing speed of each client, that is, the video transmission request time of the clients.
상기한 특징이 부가된 본 발명의 제1 측면에 따르면, 복수의 클라이언트에게 네트워크를 통해 영상 데이터를 전송하기 위한 방법에 있어서, 외부로부터 입력되는 디지털 원 영상 데이터를 부호화하고, 상기 부호화된 원 영상 프레임 데이터를 기준으로 동일 그룹 내의 모든 예측 프레임 데이터를 순차적으로 부호화하는 단계; 및 상기 클라이언트로부터 영상 전송 신호의 요구가 있는 경우, 상기 부호화된 원 영상 프레임 데이터 및 가장 최근에 부호화된 예측 프레임 데이터를 해당 클라이언트에게 네트워크를 통해 전송하는 단계를 포함한 것이다.According to a first aspect of the present invention to which the above feature is added, in a method for transmitting image data to a plurality of clients via a network, the digital original image data input from the outside is encoded, and the encoded original image frame Sequentially encoding all prediction frame data in the same group based on the data; And when there is a request for an image transmission signal from the client, transmitting the encoded original image frame data and the most recently encoded prediction frame data to the corresponding client through a network.
또한, 본 발명은 복수의 클라이언트에게 네트워크를 통해 영상 데이터를 전송하기 위한 방법에 있어서, 외부로부터 입력되는 디지털 원 영상 데이터를 부호화하고, 상기 부호화된 원 영상 프레임 데이터를 기준으로 동일 그룹 내의 모든 예측 프레임 데이터를 순차적으로 부호화하는 단계; 상기 원 영상 프레임 데이터 및 예측 프레임 데이터가 부호화되는 순서대로 교번으로 선택 출력하여 복수의 프레임 메모리에 저장하는 단계; 상기 프레임 메모리에 저장된 원 영상 프레임 데이터를 리드하여 각 클라이언트에 상응하는 각각의 클라이언트 프레임 메모리에 저장하는 단계와; 상기 클라이언트로부터 네트워크를 통해 영상 데이터 전송 요구가 있는 경우, 영상 프레임 데이터 전송 기능을 수행하는 테스크를 발생하는 단계; a)상기 발생된 테스크를 이용하여 데이터 전송을 요구한 해당 클라이언트 프레임 메모리에 저장된 원 영상 프레임 데이터를 네트워크를 통해 해당 클라이언트로 전송하고, b) 상기 복수의 프레임 메모리 중 가장 최근에 부호화되어 저장된 예측 프레임 데이터를 해당 클라이언트 프레임 메모리에 저장한 후, 상기 발생된 테스크를 이용하여 상기 해당 클라이언트 프레임 메모리에 저장된 예측 프레임 데이터를 네트워크를 통해 해당 클라이언트로 순차적으로 전송하는 단계를 포함한 것이다.In addition, the present invention is a method for transmitting image data to a plurality of clients via a network, the digital raw image data input from the outside, and all prediction frames in the same group on the basis of the encoded original image frame data Sequentially encoding the data; Alternately selecting and outputting the original image frame data and the predictive frame data in a plurality of frame memories in order of encoding; Reading raw image frame data stored in the frame memory and storing the original image frame data in a respective client frame memory corresponding to each client; Generating a task to perform a video frame data transmission function when there is a video data transmission request from the client through a network; a) transmitting the original image frame data stored in the corresponding client frame memory requesting data transmission to the corresponding client through the network by using the generated task, and b) the most recently encoded and stored prediction frame among the plurality of frame memories. Storing the data in the client frame memory and sequentially transmitting the predicted frame data stored in the client frame memory to the corresponding client through the network by using the generated task.
그리고, 본 발명의 제2 측면에 따르면, 서로 다른 전송 속도를 가지는 네트워크에 접속된 복수의 클라이언트에게 영상 데이터를 전송하는 시스템의 영상 데이터 압축 방법에 있어서, 입력되는 디지털 영상 신호의 원 영상 데이터를 부호화하여 원 영상 프레임 데이터를 생성한 후, 프레임 메모리에 저장하는 단계; 상기 프레임 메모리에 저장된 원 영상 프레임 데이터의 움직임을 예측하여 움직임 벡터값을 산출하는 단계; 및 상기 산출된 움직임 벡터값에 따라 상기 부호화된 원 영상 프레임 데이터의 움직임을 보상하여 동일 그룹내의 모든 예측 프레임 데이터를 순차적으로 부호화하는 단계를 포함하는 영상 데이터 압축 방법을 제공하는 것이다.According to a second aspect of the present invention, in a video data compression method of a system for transmitting video data to a plurality of clients connected to networks having different transmission rates, encoding original video data of an input digital video signal Generating original image frame data and storing the original image frame data in a frame memory; Calculating a motion vector value by predicting a motion of original image frame data stored in the frame memory; And compensating for the motion of the encoded original image frame data according to the calculated motion vector value, and sequentially encoding all prediction frame data in the same group.
본 발명의 제3 측면에 따르면, 복수의 클라이언트에게 네트워크를 통해 영상 데이터를 전송하는 시스템에 있어서, 외부로부터 입력되는 디지털 원 영상 데이터를 부호화하고, 상기 부호화된 원 영상 프레임 데이터를 기준으로 동일 그룹 내의 모든 예측 프레임 데이터를 순차적으로 부호화하는 압축 수단; 및 상기 클라이언트로부터 영상 전송 신호의 요구가 있는 경우, 상기 부호화된 원 영상 프레임 데이터 및 가장 최근에 부호화된 예측 프레임 데이터를 해당 클라이언트에게 네트워크를 통해 전송하는 영상 데이터 전송 수단을 포함한 것이다.According to a third aspect of the present invention, in a system for transmitting image data to a plurality of clients via a network, the digital original image data input from the outside is encoded, and within the same group based on the encoded original image frame data. Compression means for sequentially encoding all prediction frame data; And image data transmission means for transmitting the encoded original image frame data and the most recently encoded prediction frame data to a corresponding client through a network when a request for an image transmission signal is made from the client.
또한, 본 발명에서 상기 압축 수단은, 외부로부터 입력되는 아날로그 영상 신호를 디지털 영상 신호로 디코딩하는 디코딩 부를 포함하고, 상기 압축 수단에서상기 원 영상 프레임 데이터 및 예측 프레임 데이터가 부호화되는 순서대로 교번으로 선택 출력하는 선택 출력 수단; 및 상기 선택 출력 수단으로부터 선택적으로 출력되는 부호화된 프레임 데이터를 저장하는 복수의 프레임 데이터 저장 수단을 더 포함한 것이다.In addition, in the present invention, the compression means includes a decoding unit for decoding an analog video signal input from the outside into a digital video signal, and the compression means alternately selects the original video frame data and the predictive frame data in order of encoding. Selective output means for outputting; And a plurality of frame data storage means for storing encoded frame data selectively output from the selection output means.
또한, 본 발명에서 상기 영상 데이터 전송 수단은, 제공되는 제어 신호에 따라 상기 압축 수단의 저장 수단에 저장된 원 영상 프레임 데이터 및 예측 프레임 데이터를 리드하는 프레임 데이터 리드부; 상기 클라이언트 수와 상응하게 구성되어 상기 프레임 데이터 리드부로부터 리드된 원 영상 데이터 및 예측 프레임 데이터를 각각 저장하는 복수의 프레임 메모리; 상기 클라이언트로부터 네트워크를 통해 영상 데이터 전송 요구가 있는 경우, 영상 프레임 데이터 전송 기능을 수행하는 테스크를 발생하는 테스크 발생부; 및 상기 발생된 테스크를 이용하여 데이터 전송을 요구한 해당 클라이언트에 상응 프레임 메모리에 저장된 원 영상 프레임 데이터를 네트워크를 통해 전송한 후, 가장 최근에 부호화되어 해당 프레임 메모리에 저장된 예측 프레임 데이터를 네트워크를 통해 해당 클라이언트로 전송하는 전송부를 포함한 것이다.Also, in the present invention, the video data transmitting means includes: a frame data reading unit for reading original image frame data and predictive frame data stored in the storing means of the compressing means according to the provided control signal; A plurality of frame memories configured to correspond to the number of clients and to store original image data and predictive frame data respectively read from the frame data lead unit; A task generator for generating a task for performing an image frame data transmission function when there is a request for transmitting image data through a network from the client; And transmitting the original image frame data stored in the corresponding frame memory to the corresponding client requesting the data transmission using the generated task through the network, and then, the predicted frame data most recently encoded and stored in the corresponding frame memory through the network. It includes the sender to send to the client.
또한, 본 발명에서 네트워크는, 서로 다른 전송 속도를 가지는 유,무선 네트워크로서, PSTN, ISDN, 유,무선 인터넷 중 적어도 하나를 포함하는 것이다.In the present invention, the network is a wired or wireless network having different transmission speeds, and includes at least one of PSTN, ISDN, wired and wireless Internet.
본 발명의 제4 측면에 따르면, 서로 다른 전송 속도를 가지는 네트워크에 접속된 복수의 클라이언트에게 영상 데이터를 전송하는 시스템에 있어서, 부호화된 프레임 데이터를 저장하는 복수의 프레임 저장부와; 입력되는 디지털 영상 신호의원 영상 데이터를 부호화하여 원 영상 프레임 데이터를 생성한 후, 상기 프레임 메모리에 저장하는 원 영상 프레임 데이터 생성부; 상기 프레임 메모리에 저장된 원 영상 프레임 데이터의 움직임을 예측하여 움직임 벡터값을 산출하는 움직임 벡터 산출부; 및 상기 산출된 움직임 벡터값에 따라 상기 부호화된 원 영상 프레임 데이터의 움직임을 보상하여 동일 그룹내의 모든 예측 프레임 데이터를 순차적으로 부호화하는 예측 프레임 압축 처리부를 포함하는 영상 데이터 압축 장치를 제공하는 것이다.According to a fourth aspect of the present invention, there is provided a system for transmitting image data to a plurality of clients connected to a network having different transmission rates, the system comprising: a plurality of frame storage units for storing encoded frame data; An original image frame data generation unit encoding original image data of an input digital image signal to generate original image frame data, and storing the original image frame data in the frame memory; A motion vector calculator for predicting the motion of the original image frame data stored in the frame memory and calculating a motion vector value; And a prediction frame compression processing unit which sequentially encodes all prediction frame data in the same group by compensating for the motion of the encoded original image frame data according to the calculated motion vector value.
또한, 본 발명의 제5 측면에 따르면, 서로 다른 전송 속도를 가지는 네트워크에 접속된 복수의 클라이언트에게 영상 데이터를 전송하는 시스템의 영상 데이터 압축 장치에 있어서, 입력되는 디지털 영상 신호에 대한 영상 타입을 결정하는 타입 결정 수단; 상기 결정된 영상 신호의 타입이 원 영상 프레임 데이터인 경우, 입력되는 원 영상 데이터를 저장하는 저장 수단; 입력되는 영상 타입이 상기 저장된 원 영상 프레임 데이터와 동일 그룹내의 예측 프레임 데이터인 경우, 상기 저장된 원 영상 프레임 데이터와 비교하여 예측 영상 프레임 데이터에 대한 움직임 벡터값을 산출하는 산출 수단; 및 상기 산출된 움직임 벡터값에 따라 상기 저장된 원 영상 프레임 데이터와 동일 그룹내의 모든 예측 영상 프레임 데이터를 순차적으로 부호화하는 부호화 수단을 포함한 것이다. 이때, 상기 영상 타입 결정 수단은, 상기 입력 영상 타입이 원 영상 프레임 테이터인 경우, 입력되는 원 영상 프레임 데이터를 상기 저장 수단으로 저장되도록 스위칭되는 스위칭 수단을 포함할 수 있다.In addition, according to a fifth aspect of the present invention, in the image data compression apparatus of a system for transmitting image data to a plurality of clients connected to a network having different transmission rates, the image type for the input digital image signal is determined. Type determining means; Storage means for storing the input original image data when the determined type of the video signal is original image frame data; Calculating means for calculating a motion vector value for predicted image frame data when the input image type is predicted frame data in the same group as the stored original image frame data; And encoding means for sequentially encoding the stored original image frame data and all predicted image frame data in the same group according to the calculated motion vector value. In this case, the image type determining means may include switching means for switching to store the input original image frame data to the storage means when the input image type is an original image frame data.
이하, 본 발명의 바람직한 실시 예에 따른 영상 데이터 전송 시스템 및 그 방법에 대하여 첨부한 도면을 참조하여 상세하게 살펴보도록 하자.Hereinafter, an image data transmission system and a method thereof according to an exemplary embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 3은 본 발명의 바람직한 실시 예에 따른 영상 데이터 전송 시스템에 대한 블록 구성을 나타낸 도면이다.3 is a block diagram illustrating an image data transmission system according to an exemplary embodiment of the present invention.
도 3에 도시된 바와 같은 본 발명에 따른 네트워크를 통한 영상 데이터 전송 시스템은, 영상 데이터 처리부(100), 영상 서비스부(200), 제어부(400) 및 클라이언트부(300)로 구성된다.The image data transmission system via a network according to the present invention as shown in FIG. 3 includes an image data processor 100, an image service unit 200, a controller 400, and a client unit 300.
영상 데이터 처리부(100)는 입력되는 아날로그 영상 신호를 디지털 영상 신호로 변환하고, 변환된 영상 신호를 순차적으로 압축 처리하여 영상 서비스부(200)의 요구에 따라 출력하게 된다. 여기서, 영상 데이터 처리부(100)는 영상 입력부(110), 디코딩부(120), 압축부(130), 선택 출력부(140) 및 제1,2 프레임 메모리(150, 160)로 구성된다.The image data processing unit 100 converts an input analog image signal into a digital image signal, sequentially compresses the converted image signal, and outputs the same according to a request of the image service unit 200. The image data processor 100 includes an image input unit 110, a decoder 120, a compressor 130, a selection output unit 140, and first and second frame memories 150 and 160.
영상 입력부(110)는 외부의 영상 신호를 촬영하여 디코딩부(120)로 입력하고, 디코딩부(120)는 영상 입력부(110)로부터 입력되는 외부 영상 신호를 순차적으로 디지털 영상 신호로 변환한 후, 변환된 디지털 영상 신호를 순차적으로 압축부(130)로 출력한다. 여기서, 영상 입력부(110)는 카메라가 될 수 있다.The image input unit 110 captures an external image signal and inputs it to the decoding unit 120. The decoding unit 120 sequentially converts an external image signal input from the image input unit 110 into a digital image signal. The converted digital image signal is sequentially output to the compression unit 130. Here, the image input unit 110 may be a camera.
압축부(130)는 디코딩부(120)로부터 최초 입력되는 원 영상을 부호화하여 I프레임 영상을 생성하고, 이후에 입력되는 디지털 영상 신호에 대하여는 상기 부호화된 원 영상 즉, I 프레임에 대하여 움직임 예측 및 보상하며, 움직임 예측 및 보상에 따른 움직임 벡터 값에 따라 부호화하여 복수의 P(n) 프레임을 생성하게 되는것이다. 즉, 압축부(130)에서의 압축 방법을 간단하게 살펴보면, 한 그룹(예를 들면, 30프레임)의 영상 내에서 I, P(1), P(2), P(3), ......, P(29) 순서대로 압축을 수행할 경우, 모든 P 프레임 즉, P(1) - P(29) 프레임은 항상 부호화된 I 프레임을 기준으로 움직임 벡터를 계산하여 압축을 수행하게 되는 것이다. 이와 같은 동작을 수행하는 압축부(130)에 대한 상세 구성을 첨부한 도 4를 참조하여 살펴보자.The compression unit 130 encodes the original image first input from the decoding unit 120 to generate an I frame image, and then, for the digital image signal input thereafter, motion prediction and encoding are performed on the encoded original image, that is, the I frame. Compensation is performed, and a plurality of P (n) frames are generated by encoding the motion vector according to the motion prediction and the compensation. In other words, the compression method of the compression unit 130 will be described briefly. In one image (for example, 30 frames), I, P (1), P (2), P (3), ... ..., when compression is performed in the order of P (29), all P frames, that is, P (1)-P (29) frames, are always compressed by calculating a motion vector based on the encoded I frame. will be. With reference to Figure 4 attached to a detailed configuration of the compression unit 130 performing such an operation.
도 4에 도시된 바와 같은 압축부(130)는 감산기(131), DCT부(132), 양자화부(133), 가변장 부호화부(134), 비트율 제어부(135), 스위칭부(136), 역 양자화부(136), 역 DCT부(132-1), 프레임 메모리(137), 움직임 추정부(138) 및 제어부(139)로 구성된다. 이때, 도 1에 도시된 종래의 구성과 중복되는 동일한 구성 요소에 대한 구체적인 설명을 생략하기로 한다.As shown in FIG. 4, the compression unit 130 includes a subtractor 131, a DCT unit 132, a quantization unit 133, a variable length encoder 134, a bit rate controller 135, a switching unit 136, An inverse quantization unit 136, an inverse DCT unit 132-1, a frame memory 137, a motion estimation unit 138, and a control unit 139 are configured. At this time, a detailed description of the same components that overlap with the conventional configuration shown in Figure 1 will be omitted.
제어부(139)는 입력되는 외부 입력 영상 신호에 대한 프레임 타입을 결정하고, 입력되는 입력 영상의 프레임 타입이 I 프레임일 경우 스위칭부(136)로 스위칭 제어 신호를 제공하는 것이다. 또한, 제어부(139)는 현재 입력되는 프레임 데이터가 I 프레임 타입의 데이터인 경우 프레임 메모리(137)에 저장되어 있는 이전의 I 프레임 데이터를 제거한 후, 새로이 입력되는 I 프레임 데이터가 스위칭부(136)를 통해 프레임 메모리(137)에 저장되도록 하는 것이다.The controller 139 determines a frame type for the input external input image signal and provides a switching control signal to the switching unit 136 when the frame type of the input input image is an I frame. In addition, when the frame data currently input is the data of the I frame type, the controller 139 removes the previous I frame data stored in the frame memory 137, and then the newly input I frame data is switched. It is to be stored in the frame memory 137 through.
프레임 메모리(137)는 I 프레임 영상 데이터만을 저장하고, 움직임 추정부(138)는 프레임 메모리(137)에 저장된 I 프레임 데이터와 현재 입력되는 입력 영상을 비교하여 프레임간 움직임을 추정한 후, 움직임 벡터값을 가변장 부호화부(134)로 제공하는 것이다.The frame memory 137 stores only I frame image data, and the motion estimation unit 138 compares I frame data stored in the frame memory 137 with an input image currently input to estimate frame-to-frame movement, and then a motion vector. The value is provided to the variable length encoder 134.
스위치(136)는 제어부(139)의 스위칭 제어 신호에 따라 양자화부(133)를 통해 양자화된 I 프레임 데이터만을 역 양자화부(133-1) 및 역 DCT부(132-1)를 통해 프레임 메모리(137)에 저장되도록 하는 것이다.The switch 136 controls only the I frame data quantized through the quantization unit 133 according to the switching control signal of the controller 139 through the inverse quantization unit 133-1 and the inverse DCT unit 132-1. 137).
감산기(131)는 프레임 메모리(137)에 저장된 I 프레임 데이터와 현재 입력되는 입력 영상 즉, P 프레임 데이타와의 차이 값을 DCT부(132)로 출력하는 것이다.The subtractor 131 outputs a difference value between the I frame data stored in the frame memory 137 and the currently input input image, that is, the P frame data, to the DCT unit 132.
한편, 영상 데이터 처리부(100)의 선택 출력부(140)는 제어부(400)에서 제공되는 제어 신호에 따라 압축부(130)에서 압축된 프레임 영상 데이타를 순차적으로 출력하여 제1,2 프레임 메모리(150, 160)에 교번으로 저장시킨다. 즉, 압축부(130)에서 최초로 부호화된 I 프레임 데이타는 제1 프레임 메모리(150)에 저장시키고, 이후 부호화된 P(1) 프레임 데이터는 제2 프레임 메모리(160)에 저장시키는 것이다. 이때, 부호화된 I 프레임 데이터는 제1 프레임 메모리(150)에 저장되었다가 영상 서비스부(200)의 요구에 따라 출력되게 된다. 따라서, 부호화된 P(2) 프레임 데이터는 제1 프레임 메모리에 저장되게 되고, 부호화된 P(3) 프레임 데이터는 제2 프레임 메모리(160)에 저장되게 되는 것이다. 여기서, P(3) 프레임 데이터가 저장되기 전에 이미 부호화되어 저장된 P(1)프레임 데이터는 영상 서비스부(200)의 요구에 따라 출력되거나 출력 요구가 없는 경우에는 상기 부호화된 P(3) 프레임 데이터의 저장에 따라 삭제되는 것이다. 즉, P(1) 프레임 데이터에 P(3) 프레임 데이터가 오버레이됨에 따라 P(1) 프레임 데이터는 삭제되는 되는 것이다.On the other hand, the selection output unit 140 of the image data processing unit 100 sequentially outputs the frame image data compressed by the compression unit 130 according to a control signal provided from the control unit 400 to generate the first and second frame memories ( 150, 160) alternately stored. That is, the I frame data first encoded by the compression unit 130 is stored in the first frame memory 150, and the encoded P (1) frame data is stored in the second frame memory 160. At this time, the encoded I frame data is stored in the first frame memory 150 and output according to a request of the image service unit 200. Therefore, the encoded P (2) frame data is stored in the first frame memory, and the encoded P (3) frame data is stored in the second frame memory 160. Here, the P (1) frame data, which is already encoded and stored before the P (3) frame data is stored, is output according to the request of the image service unit 200 or, if there is no output request, the encoded P (3) frame data. Will be deleted upon storage. That is, as the P (3) frame data is overlaid on the P (1) frame data, the P (1) frame data is deleted.
한편, 도 3에 도시된 영상 서비스부(200)는 클라이언트부(300)에서 영상 전송 신호의 요구가 있는 경우 영상 전송 기능을 수행하는 테스크(Task)를 발생시킨 후에 영상 데이터 처리부(100)의 각 프레임 메모리(150,160)에 저장된 최근에 부호화된 영상 프레임 데이터를 리드하여 영상 전송을 요구한 해당 클라이언트에게 네트워크를 통해 전송하게 되는 것이다. 여기서, 네트워크는 유,무선 네트워크 예를 들면, ISDN, PSTN 등의 네트워크일 수 있다.On the other hand, the image service unit 200 shown in FIG. 3 generates a task for performing an image transmission function when the client unit 300 requests a video transmission signal, and then each of the image data processing unit 100 is generated. The recently encoded image frame data stored in the frame memories 150 and 160 are read and transmitted to the corresponding client requesting the image transmission through the network. Here, the network may be a wired or wireless network, for example, a network such as ISDN and PSTN.
한편, 클라이언트부(300)는 클라이언트 사용자 측의 컴퓨터로써, 영상 서비스부(200)로부터 전송된 부호화된 영상 데이터를 복호화하여 디스플레이수단에 재생시킨다. 즉, 부호화된 영상 데이터를 복호화하여 사용자측 컴퓨터의 디스플레이화면(모니터)에 디스플레이하는 것이다.On the other hand, the client unit 300 is a computer of the client user side, decodes the encoded image data transmitted from the image service unit 200 to reproduce the display means. That is, the encoded image data is decoded and displayed on the display screen (monitor) of the user side computer.
그리고, 제어부(400)는 영상 데이터 처리부(100)와 영상 서비스부(200)내의 각 프레임 메모리의 선택 및 데이터 처리 시간 제어 등의 제어 신호를 종합적으로 발생한다.The controller 400 comprehensively generates control signals such as selecting each frame memory and controlling data processing time in the image data processing unit 100 and the image service unit 200.
이와 같은 구성을 갖는 본 발명의 바람직한 실시 예에 따른 네트워크를 통한 영상 데이터 전송 장치의 동작에 대하여 설명해 보기로 하자.An operation of the apparatus for transmitting image data through a network according to an exemplary embodiment of the present invention having such a configuration will be described.
먼저, 도 3에 도시된 바와 같이, 영상 데이터 처리부(100)내의 영상 입력부(110) 즉, 카메라로부터 입력되는 외부의 영상 신호는 디코딩부(120)로 출력된다.First, as shown in FIG. 3, an external image signal input from the image input unit 110, that is, the camera, in the image data processing unit 100 is output to the decoding unit 120.
디코딩부(120)는 영상 입력부(110)로부터 입력되는 외부 영상 신호를 순차적으로 디지털 영상 신호로 변환한 후, 변환된 디지털 영상 신호를 순차적으로 압축부(130)로 출력한다.The decoding unit 120 sequentially converts an external image signal input from the image input unit 110 into a digital image signal, and then sequentially outputs the converted digital image signal to the compression unit 130.
압축부(130)는 디코딩부(120)로부터 최초 입력되는 원 영상을 부호화하여 I프레임 영상을 생성하고, 이후에 입력되는 디지털 영상 신호에 대하여는 상기 부호화된 원 영상 즉, I 프레임에 대하여 움직임 예측 및 보상하며, 움직임 예측 및 보상에 따른 움직임 벡터 값에 따라 부호화하여 복수의 P(n) 프레임을 생성하게 되는 것이다. 여기서, 압축부(130)의 동작에 대하여 도 4를 참조하여 더욱 상세하게 설명해 보기로 하자.The compression unit 130 encodes the original image first input from the decoding unit 120 to generate an I frame image, and then, for the digital image signal input thereafter, motion prediction and encoding are performed on the encoded original image, that is, the I frame. Compensation and encoding are performed according to motion vector values according to motion prediction and compensation to generate a plurality of P (n) frames. Here, the operation of the compression unit 130 will be described in more detail with reference to FIG. 4.
먼저, 외부로부터 영상 신호가 입력되면, 제어부(139)는 입력되는 영상 신호에 대한 프레임 타입을 검출한다. 즉, 입력되는 영상 타입이 I프레임 데이터인지 아니면 P프레임 데이터인지를 판단하게 되는 것이다.First, when an image signal is input from the outside, the controller 139 detects a frame type of the input image signal. That is, it is determined whether the input image type is I frame data or P frame data.
판단결과, 입력 영상이 I프레임 데이터인 경우, 제어부(139)는 스위칭부(136)에 스위칭 제어 신호를 제공하여 스위치를 온 시킨다.As a result of determination, when the input image is I frame data, the controller 139 turns on the switch by providing a switching control signal to the switching unit 136.
한편, 입력되는 I 프레임 데이터(원 영상 데이터)는 DCT부(132)로 입력되어 DCT변환되고 DCT 변환된 I 프레임 데이터는 양자화부(133)를 통해 가변장 부호화부(134) 및 스위칭부(136)로 출력된다.Meanwhile, the input I frame data (the original image data) is inputted to the DCT unit 132, DCT-converted, and the DC-converted I frame data is converted into the variable length encoder 134 and the switching unit 136 through the quantizer 133. Will be printed).
가변장 부호화부(134)는 양자화부(133)에서 양자화된 I 프레임 데이타를 가변장 부호화시켜 비트열로 출력하고, 비트율 제어부(135)는 가변장 부호화부(134)에서 출력되는 비트열의 길이에 따라 양자화부(133)의 동작을 제어하는 것이다.The variable length encoder 134 variably encodes the I frame data quantized by the quantizer 133 and outputs the result as a bit string, and the bit rate controller 135 adjusts the length of the bit string output from the variable length encoder 134. Accordingly, the operation of the quantization unit 133 is controlled.
한편, 스위칭부(136)로 입력된 I프레임 데이터는 역 양자화부(133-1) 및 역 DCT부(132-1)를 통해 프레임 메모리(137)에 저장되는 것이다.Meanwhile, the I frame data input to the switching unit 136 is stored in the frame memory 137 through the inverse quantization unit 133-1 and the inverse DCT unit 132-1.
이와 같이 I 프레임 데이터가 프레임 메모리(137)에 저장된 상태에서, 외부로부터 상기 프레임 메모리(137)에 저장된 I프레임 데이터의 동일 그룹내의 P프레임 데이터가 입력되는 경우, 제어부(139)는 스위칭부(136)로 스위칭 제어 신호를 제공하여 스위치를 오프시키게 된다.When the P frame data in the same group of I frame data stored in the frame memory 137 is input from the outside while the I frame data is stored in the frame memory 137, the control unit 139 switches the switching unit 136. The switch is turned off by providing a switching control signal.
그리고, 감산기(131)는 입력되는 P 프레임 데이터와 프레임 메모리(137)에 저장된 I프레임 데이터와의 차이 신호를 계산하여 DCT부(132), 양자화부(133) 및 가변장 부호화부(134)를 통해 압축되어 비??트율로 출력되는 것이다.The subtractor 131 calculates a difference signal between the input P frame data and the I frame data stored in the frame memory 137 to convert the DCT unit 132, the quantizer 133, and the variable length encoder 134. Is compressed and output at the bit rate.
이때, 움직임 추정부(138)는 현재 입력되는 P 프레임 영상을 항상 동일 그룹내의 프레임 메모리(137)에 저장된 I프레임 영상데이터와 비교하여 움직임을 추정한 후, 움직임 벡터값을 가변장 부호화부(134)로 제공하게 된다. 따라서, 가변장 부호화부(134)는 움직임 추정부(138)에서 제공되는 움직임 벡터값에 따라 프레임 메모리(137)에 저장된 I프레임 영상과 동일 그룹내의 P 프레임 영상을 부호화하게 되는 것이다.In this case, the motion estimator 138 estimates the motion by comparing the currently input P frame image with the I frame image data stored in the frame memory 137 in the same group, and then converts the motion vector value into the variable length encoder 134. ) Will be provided. Accordingly, the variable length encoder 134 encodes the P frame image in the same group as the I frame image stored in the frame memory 137 according to the motion vector value provided from the motion estimation unit 138.
이와 같이 하나의 그룹에 대한 영상의 압축이 완료된 후, 새로운 영상 즉, 다른 그룹의 I 프레임 영상이 입력되는 경우, 제어부(139)는 프레임 메모리(137) 에 저장된 이전 그룹의 I프레임 영상을 제거한 후, 스위칭부(136)를 제어하여 새로운 그룹내의 I프레임 영상을 프레임 메모리(137)에 저장시키는 것이다.After the compression of the image for one group is completed as described above, when a new image, that is, an I frame image of another group is input, the controller 139 removes the I frame image of the previous group stored in the frame memory 137. The controller 136 controls the switching unit 136 to store the I frame image in the new group in the frame memory 137.
즉, 압축부(130)에서의 압축 방법을 도 5를 참조하여 살펴보기로 하자.That is, a compression method of the compression unit 130 will be described with reference to FIG. 5.
도 5는 도 3 또는 도 4에 도시된 압축부(130)에서 수행되는 본 발명의 바람직한 실시 예에 따른 영상 프레임 압축 부호화 방법을 보여주는 예시도이다.FIG. 5 is an exemplary diagram illustrating an image frame compression encoding method according to an exemplary embodiment of the present invention performed by the compression unit 130 illustrated in FIG. 3 or 4.
디코딩부(120)로부터 변환되어 입력되는 최초의 디지털 영상 신호에 대한 공간적 리던던시를 제거한 압축된 영상 데이터 즉, I 프레임 데이터를 생성하게 된다. 이렇게 생성된 I 프레임 데이터는 선택 출력부(140)를 통해 제1 프레임 메모리(150)에 저장된다.The decoder 120 generates compressed image data, that is, I frame data, from which spatial redundancy of the first digital image signal converted and input from the decoding unit 120 is removed. The generated I frame data is stored in the first frame memory 150 through the selection output unit 140.
그리고, 압축부(130)는 상기 이미 부호화된 I 프레임 데이터로부터 예측되는 미래의 예측 인코딩 영상 즉, P 프레임 데이터를 생성하여 선택 출력부(140)를 통해 제2 프레임 메모리(160)에 저장한다. 이때, 제1 프레임 메모리(150)에 저장된 I프레임 데이터는 프레임 데이터 전송 제어부(210)의 제어에 따라 영상 서비스부(200)내의 각 프레임 메모리(220-1, 220-1, 220-3, ....220-n)에 각각 저장된다.The compressor 130 generates a future predicted encoded image, that is, P frame data, which is predicted from the previously encoded I frame data, and stores the P frame data in the second frame memory 160 through the selection output unit 140. In this case, the I frame data stored in the first frame memory 150 may be stored in each of the frame memories 220-1, 220-1, 220-3, in the image service unit 200 under the control of the frame data transfer controller 210. ... 220-n) respectively.
이어, 압축부(130)는 이미 부호화된 I 프레임 데이터로부터 예측되는 또 다른 P 프레임 데이터를 생성하여 선택 출력부(140)를 통해 제1 및 제 2 프레임 메모리(150, 160)에 교번 저장된다. 즉, 압축부(140)에서는 최초에 I 프레임에 대하여 부호화한 후, 제1 프레임 메모리(150)에 저장되었다가 영상 서비스부(200)내의 복수의 프레임 메모리에 저장되게 되고, 이후의 모든 영상 신호(P프레임 데이타)에 대하여는 이미 부호화된 I 프레임 데이터를 기준으로 하여 움직임 예측 및 보상을 통한 움직임 벡터를 산출하여 한 그룹내의 모든 P 프레임 즉, P(1), P(2), P(3), .....P(29)(한 그룹이 30 프레임으로 구성되는 경우)를 순차적으로 부호화하여 선택출력부(140)을 통해 제1,2 프레임 메모리(150, 160)에 저장하게 되는 것이다. 이때, 제1,2 프레임 메모리(150, 160)에 이미 P 프레임 데이터가 부호화되어 저장되어 있는 상태에서, 또 다른 P 프레임이 부호화된 경우에는 이미 저장된 P 프레임데이터를 삭제한 후, 새로이 부호화된 P 프레임 데이터를 저장하는 것이다.Subsequently, the compression unit 130 generates another P frame data predicted from the previously encoded I frame data, and is alternately stored in the first and second frame memories 150 and 160 through the selection output unit 140. That is, the compression unit 140 first encodes the I frame and then stores the first frame memory 150 in the first frame memory 150 and then in the plurality of frame memories in the video service unit 200. For (P frame data), a motion vector through motion prediction and compensation is calculated on the basis of the already encoded I frame data, so that all P frames in one group, that is, P (1), P (2), and P (3) , ..... P (29) (when one group is composed of 30 frames) is sequentially encoded and stored in the first and second frame memories 150 and 160 through the selection output unit 140. . At this time, if P frame data is already encoded and stored in the first and second frame memories 150 and 160, and if another P frame is encoded, the P frame data that is already stored is deleted and then newly encoded P To store the frame data.
결국, 압축부(130)는 도 4에 도시된 바와 같이, 디코딩부(120)로부터 입력되는 한 그룹(예를 들면, 30프레임)의 영상 내에서 I, P(1), P(2), P(3), ......, P(29) 순서대로 압축을 수행할 경우, 모든 예측 프레임 즉, P(1) - P(29) 프레임은 항상 부호화된 I 프레임을 기준으로 움직임 벡터를 계산하여 부호화를 수행하게 되는 것이다. 다시 말해, 카메라로부터 촬영된 1/30초의 영상은 디코딩부(120)를 통해 디지털 영상 신호로 변환된 후, 압축부(130)내 프레임 메모리(137)에 저장한 후, 저장된 영상 데이터로부터 데이터 압축을 실행한다. 즉, I 프레임은 하나의 화면 전체를 압축하는 것이며, 따라서 영상내의 공간적 상관 관계를 이용한 DCT 변환을 적용한다.As a result, as illustrated in FIG. 4, the compression unit 130 may include I, P (1), P (2), and the like in an image of one group (for example, 30 frames) input from the decoding unit 120. When compression is performed in the order of P (3), ..., P (29), all prediction frames, that is, P (1)-P (29) frames, are always motion vectors based on the encoded I frame. The encoding is performed by calculating. In other words, the 1/30 second image captured by the camera is converted into a digital image signal through the decoding unit 120, and then stored in the frame memory 137 in the compression unit 130, and then data is compressed from the stored image data. Run That is, an I frame compresses an entire screen, and thus, a DCT transform using spatial correlation in an image is applied.
하나의 화면에는 직류 성분을 포함한 낮은 주파수에서 교류 성분의 높은 주파수 성분을 갖는 화소 블록이 존재하는데, DCT 변환을 실행하게 되면 고주파 성분이 제거되고, 저주파 성분에 편중된다.On one screen, there is a pixel block having a high frequency component of an AC component at a low frequency including a DC component. When DCT conversion is performed, a high frequency component is removed and the low frequency component is biased.
따라서, 이와 같은 DCT방식을 이용하여 공간 영역의 리던던시를 제거함으로써, 영상 압축을 수행하는 것이다. 상기 이미 압축되어 저장부에 저장된 I프레임 데이터를 리드하고, 리드된 I프레임 데이터로부터 예측을 수행하여 이후의 모든 P프레임 데이터를 생성하게 되는 것이다. 즉, 전화면 영상인 I프레임 데이터를 토대로 하여 움직임이 예측되는 부분의 이동량을 (X,Y)의 좌표로 표시하여 움직임 벡터를 생성하고, 움직임이 예측되는 부분의 영상만을 가져오는 움직임 보상 과정을 통해 P프레임 데이터를 생성하게 되는 것이다. 여기서, 상기 I 프레임 데이터가 공간적 리던던시를 제거함으로써 압축을 수행한 데이터라면, P프레임 데이터는 상기 I프레임 데이터에 대한 시간적 상관 관계에 따른 압축 즉, 시간적 리던던시를 제거한 데이터인 것이다. 그리고, 압축부(130)는 다음의 P 프레임 데이터에 대한 예측을 위하여 부호화된 I 프레임 데이터를 디코딩하고, 디코딩된 I 프레임 데이터를 압축부(130)내의 움직임 예측 처리부(미도시)로 제공하는 것이다.Accordingly, image compression is performed by removing redundancy of the spatial domain using the DCT scheme. The I frame data, which is already compressed and stored in the storage unit, is read, and prediction is performed from the read I frame data to generate all subsequent P frame data. That is, based on the I-frame data, which is the full-screen image, the movement amount of the portion where the motion is predicted is displayed in the coordinates of (X, Y) to generate a motion vector, and a motion compensation process of bringing only the image of the portion where the motion is predicted. Through this, P frame data is generated. In this case, if the I frame data is data that has been compressed by removing spatial redundancy, the P frame data is compression based on temporal correlation with respect to the I frame data, that is, data that has been removed from temporal redundancy. The compressor 130 decodes the encoded I frame data to predict the next P frame data, and provides the decoded I frame data to a motion prediction processor (not shown) in the compressor 130. .
선택 출력부(140)는 제어부(400)에서 제공되는 제어신호에 따라 압축부(130)에서 압축된 I 및 P 프레임 영상 데이타를 순차적으로 출력하여 제1,2 프레임 메모리(150, 160)에 교번으로 저장시킨다. 즉, 압축부(130)에서 최초로 부호화된 I 프레임 데이타는 제1 프레임 메모리(150)에 저장시키고, 이후 부호화된 P(1) 프레임 데이터는 제2 프레임 메모리(160)에 저장시키는 것이다. 이때, 부호화된 I 프레임 데이터는 제1 프레임 메모리(150)에 저장되었다가 영상 서비스부(200)의 요구에 따라 출력되게 된다. 따라서, 부호화된 P(2) 프레임 데이터는 제1 프레임 메모리에 저장되게 되고, 부호화된 P(3) 프레임 데이터는 제2 프레임 메모리(160)에 저장되게 되는 것이다. 여기서, P(3) 프레임 데이터가 저장되기 전에 이미 부호화되어 저장된 P(1)프레임 데이터는 영상 서비스부(200)의 요구에 따라 출력되거나 출력 요구가 없는 경우에는 상기 부호화된 P(3) 프레임 데이터의 저장에 따라 삭제되는 것이다. 즉, P(1) 프레임 데이터에 P(3) 프레임 데이터를 오버레이됨에 따라 P(1) 프레임 데이터는 삭제되는 되는 것이다.The selection output unit 140 sequentially outputs the I and P frame image data compressed by the compression unit 130 according to a control signal provided from the control unit 400, and alternately outputs the first and second frame memories 150 and 160. Save it as That is, the I frame data first encoded by the compression unit 130 is stored in the first frame memory 150, and the encoded P (1) frame data is stored in the second frame memory 160. At this time, the encoded I frame data is stored in the first frame memory 150 and output according to a request of the image service unit 200. Therefore, the encoded P (2) frame data is stored in the first frame memory, and the encoded P (3) frame data is stored in the second frame memory 160. Here, the P (1) frame data, which is already encoded and stored before the P (3) frame data is stored, is output according to the request of the image service unit 200 or, if there is no output request, the encoded P (3) frame data. Will be deleted upon storage. That is, as the P (3) frame data is overlaid on the P (1) frame data, the P (1) frame data is deleted.
상기와 같이 입력되는 영상에 대하여 압축 과정을 수행하는 도중에 클라이언트부(300)에서 영상 전송 신호의 요구가 있는 경우 영상 서비스부(200)는 영상 전송 기능을 수행하는 테스크(Task)를 발생시킨 후에 영상 데이터 처리부(100)의 각 프레임 메모리(150,160)에 저장된 최근에 부호화된 영상 프레임 데이터를 리드하여 영상 전송을 요구한 해당 클라이언트에게 네트워크를 통해 전송하게 되는 것이다. 여기서, 네트워크는 유,무선 네트워크 예를 들면, ISDN, PSTN 등의 네트워크일 수 있다.If there is a request for an image transmission signal from the client unit 300 while the compression process is performed on the input image as described above, the image service unit 200 generates a task for performing an image transmission function and then generates the image. The recently encoded image frame data stored in each of the frame memories 150 and 160 of the data processor 100 is read and transmitted to the corresponding client requesting the image transmission through the network. Here, the network may be a wired or wireless network, for example, a network such as ISDN and PSTN.
클라이언트부(300)중 영상 데이터의 전송을 요구한 해당 클라이언트는 영상 서비스부(200)로부터 전송된 부호화된 영상 데이터를 복호화하여 디스플레이수단에 재생시킨다. 즉, 부호화된 영상 데이터를 복호화하여 사용자측 컴퓨터의 디스플레이화면(모니터)에 디스플레이하는 것이다.The client requesting the transmission of the image data among the client units 300 decodes the encoded image data transmitted from the image service unit 200 and reproduces the encoded image data on the display means. That is, the encoded image data is decoded and displayed on the display screen (monitor) of the user side computer.
이하, 영상 서비스부(2O0)의 동작에 대하여 좀 더 상세하게 살펴보도록 하자.Hereinafter, the operation of the image service unit 200 will be described in more detail.
먼저, 복수의 클라이언트(310-1, 310-2, 310-3,....., 310-n)로 이루어진 클라이언트부(300)의 일 클라이언트가 네트워크에 접속하여 영상 데이터의 전송을 요구한 경우, 데이터 송수신부(230)는 해당 요구 신호를 수신하게 된다.First, one client of the client unit 300 composed of a plurality of clients 310-1, 310-2, 310-3,..., 310-n connects to a network and requests transmission of image data. In this case, the data transceiver 230 receives the corresponding request signal.
영상 데이터 전송 요구 신호를 수신한 경우, 데이터 송수신부(230)는 해당 클라이언트로 영상 전송 기능을 수행할 수 있는 테스크를 발생시키고, 발생된 테스크를 이용하여 해당 클라이언트에 상응하는 영상 서비스부(200 내 프레임 메모리에 저장된 I 프레임 영상 데이터를 네트워크를 통해 해당 클라이언트에 전송함과 동시에 프레임 데이터 전송 제어부(210)로 데이터 리드 제어 신호(Data Read Signal)를 제공하게 되는 것이다.When the image data transmission request signal is received, the data transceiver 230 generates a task capable of performing an image transmission function to the corresponding client, and uses the generated task to correspond to the corresponding client in the video service unit 200. The I frame image data stored in the frame memory is transmitted to the corresponding client through the network and the data read control signal 210 is provided to the frame data transmission control unit 210.
따라서, 프레임 데이터 전송 제어부(210)는 데이터 송,수신부(230)에서 제공되는 영상 프레임 데이터 요구 신호에 따라 제1, 2 프레임 메모리(150, 160)에 저장된 P 프레임 데이터를 리드하여 해당 클라이언트에 상응하는 영상 서비스부(200)내 프레임 메모리에 저장시킨다.Accordingly, the frame data transmission controller 210 reads P frame data stored in the first and second frame memories 150 and 160 according to the image frame data request signal provided from the data transmitter and receiver 230 to correspond to the corresponding client. It is stored in the frame memory in the video service unit 200.
영상 서비스부(200)내 프레임 메모리에 저장된 해당 P 프레임 데이터는 데이터 송수신부(230)로 출력한다. 따라서, 데이터 송수신부(230)는 해당 프레임 메모리로부터 출력되는 P 프레임 데이터를 네트워크를 통해 해당 클라이언트에 전송하게 되는 것이다.The corresponding P frame data stored in the frame memory in the image service unit 200 is output to the data transceiver 230. Therefore, the data transceiver 230 transmits the P frame data output from the frame memory to the corresponding client through the network.
즉, 본 발명에 따른 영상 데이터 전송 시스템은, 예를 들어 고속 네트워크 망에 연결된 클라이언트로부터 영상 데이터 전송 요구를 받는 경우에는 부호화되는 순서대로 모든 프레임 데이터 즉, I, P(1), P(2), ......., P(n-1), P(n)를 모두 제공하고, 중속 네트워크 망에 연결된 클라이언트인 경우에는 I, P(2), P(4), .....,P(n)만을 전송하며, 저속 네트워크 망에 연결된 클라이언트에는 I 프레임 만을 전송하는 것이다. 이때, 이와 같이 네트워크 전송 속도에 따라 서로 다른 P 프레임 데이터를 전송하게 되며, I 프레임 데이터는 공통으로 전송하게 된다.That is, in the video data transmission system according to the present invention, when receiving a video data transmission request from a client connected to a high-speed network, for example, all frame data, i, P (1), and P (2), are encoded in the order of encoding. , ......., P (n-1), P (n), and I, P (2), P (4), .... Transmit only., P (n) and send only I frames to clients connected to the slow network. At this time, different P frame data are transmitted according to the network transmission rate, and I frame data is transmitted in common.
따라서, 해당 프레임 데이터를 수신한 클라이언트에서는 부호화된 I 프레임 데이터를 기준으로 모든 P 프레임 데이터를 복호화하기 때문에 끊어짐 없는 화면을 재생할 수 있는 것이다.Therefore, since the client receiving the frame data decodes all P frame data on the basis of the encoded I frame data, a seamless picture can be reproduced.
결국, 본 발명에 따른 네트워크를 통한 영상 데이터 전송 장치 및 그 방법은, 클라이언트로부터 데이타 전송 요구가 있는 경우, 바로 그 순간에 해당하는 영상 압축 프레임 데이터를 전송하더라도 항상 복원이 가능하게 된다. 즉, 클라이언트측에서의 영상 출력을 클라이언트 데이터 처리 속도에 맞추어 전송하기 때문에 실제 영상을 복원하여 디스플레이하는 경우에 네트워크의 지연속도 문제로 발생가능한 급작스러운 화면의 끊어짐 등이 없이 부드럽고 자연스러운 화면의 재생이 이루어지는 것이다.As a result, the apparatus and method for transmitting image data through the network according to the present invention can always recover even if the client receives a data transmission request from the client, even if the image compression frame data corresponding to the moment is transmitted. In other words, since the video output from the client is transmitted at the client data processing speed, smooth and natural reproduction of the video is performed without sudden dropping of the screen, which may occur due to network latency, when the actual image is restored and displayed.
이와 같은 효과를 가져오기 위한 본 발명에 따른 영상 데이터 압축 방법은, 한 그룹(예를 들면, 30 프레임)의 영상 내에서 I, P(1), P(2), P(3), ....., (Pi)(여기서, I는 1, 2, 3, 4, .....29) 순서대로 압축할 때, P(i) 프레임은 항상 I 프레임을 기준으로 움직임 벡터를 계산한다.In the video data compression method according to the present invention for producing such an effect, I, P (1), P (2), P (3), ... in the image of a group (for example, 30 frames). When compressing in the order ..., (Pi) (where I is 1, 2, 3, 4, ..... 29), P (i) frames always compute a motion vector based on I frames .
예를 들어, 기존의 H.261, MPEG 표준안의 압축과정에서는 P(i+1) 프레임은 바로 전의 P(i) 프레임을 기준으로 움직임 벡터를 계산하기 때문에 클라이언트 측에서의 복호화는 P(i+1)의 재생은 P(i) 프레임이 미리 전송되어야 가능하다는 것이다.For example, in the conventional H.261, MPEG standard compression process, P (i + 1) frame calculates a motion vector based on the previous P (i) frame. The reproduction of P is possible only if the P (i) frame is transmitted in advance.
만약, P(i) 프레임이 네트워크 망의 전송 지연 시간에 의해 서버 측 즉, 도 3에 도시된 영상 서비스부(200)측에서 클라이언트부(300) 측으로 전송하지 못했다면, 클라이언트 측에서는 P(i+1) 프레임이 수신되더라도 재생을 할 수 없는 것이다.If the P (i) frame is not transmitted from the server side, that is, the video service unit 200 shown in FIG. 3 to the client unit 300 due to the transmission delay time of the network, P (i +) at the client side. 1) Playback is not possible even if a frame is received.
그러나 본 발명에서의 압축 방법은 서버 측에서 P(i) 프레임은 P(i) 프레임이 속한 영상 그룹내의 I 프레임을 기준으로 움직임 벡터를 계산하여 부호화한 후, 클라이언트측으로 전송하기 때문에 각 클라이언트 측에서는 I 프레임에 대한 같은영상 그룹내의 어떠한 P 프레임의 영상도 재생이 가능한 것이다. 단, 한 그룹내의 I 프레임은 항상 전송되는 것을 가정하여야만 하는 것이다.However, in the present invention, since the P (i) frame calculates and encodes a motion vector based on the I frame in the video group to which the P (i) frame belongs, transmits it to the client side. Any P-frame image in the same image group for a frame can be played back. However, it should be assumed that I frames in a group are always transmitted.
상기한 바와 같은 본 발명에 따른 네트워크를 통한 영상 데이터 전송 장치 및 그 방법에 있어서, I 프레임을 포함하는 동일 그룹의 영상 데이터를 압축하는 과정에서 P프레임은 이전의 P프레임에 의존하지 않고 항상 I 프레임을 기준으로 영상 데이터를 압축하기 때문에 고속, 중속, 저속의 다양한 속도 차이를 갖는 네트워크 망에 연결된 클라이언트들을 위한 영상 데이터 처리를 가능한 것이다.In the apparatus and method for transmitting image data through a network according to the present invention as described above, in the process of compressing image data of the same group including I frames, P frames do not depend on previous P frames and are always I frames. Since the image data is compressed based on the above, it is possible to process the image data for clients connected to the network having various speed differences of high speed, medium speed, and low speed.
따라서, 클라이언트 측에서는 화면 사이의 급격한 끊어짐 없이 보다 자연스러운 화질의 영상을 디스플레이할 수 있는 효과가 있는 것이다.Therefore, the client side can display an image of more natural image quality without sudden breaks between screens.
또한, 각 클라이언트들의 서로 다른 데이터 처리 속도 때문에 발생 가능한 즉, 서버가 n 개의 클라이언트에 대응하기 위해 n개의 압축기를 사용하는 문제점을 해결하기 위하여 서버 내에 공용으로 하나의 압축기를 사용함으로써, 회로의 크기 및 부품의 비용을 크게 절감할 수 있는 효과를 가지는 것이다.In addition, by using one compressor in common in the server to solve the problem that may occur due to the different data processing speed of each client, that is, the server uses n compressors to correspond to n clients, the size of the circuit and It will have the effect of greatly reducing the cost of the parts.
Claims (24)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0052714A KR100397133B1 (en) | 2000-06-26 | 2000-09-06 | Method and System for compressing/transmiting of a picture data |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20000035231 | 2000-06-26 | ||
| KR1020000035231 | 2000-06-26 | ||
| KR10-2000-0052714A KR100397133B1 (en) | 2000-06-26 | 2000-09-06 | Method and System for compressing/transmiting of a picture data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20000072484A KR20000072484A (en) | 2000-12-05 |
| KR100397133B1 true KR100397133B1 (en) | 2003-09-06 |
Family
ID=26638139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2000-0052714A KR100397133B1 (en) | 2000-06-26 | 2000-09-06 | Method and System for compressing/transmiting of a picture data |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100397133B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980073339A (en) * | 1997-03-13 | 1998-11-05 | 김영환 | Apparatus and method for detecting and transmitting only intra-picture video signals in MPEG-2 transport stream |
| KR19990052992A (en) * | 1997-12-23 | 1999-07-15 | 윤종용 | Video data recording and playback device |
| KR20000003298A (en) * | 1998-06-27 | 2000-01-15 | 김영환 | Encoding/decoding method of digital interlaced scanning interpicture |
| KR20000031283A (en) * | 1998-11-02 | 2000-06-05 | 구자홍 | Image coding device |
-
2000
- 2000-09-06 KR KR10-2000-0052714A patent/KR100397133B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980073339A (en) * | 1997-03-13 | 1998-11-05 | 김영환 | Apparatus and method for detecting and transmitting only intra-picture video signals in MPEG-2 transport stream |
| KR19990052992A (en) * | 1997-12-23 | 1999-07-15 | 윤종용 | Video data recording and playback device |
| KR20000003298A (en) * | 1998-06-27 | 2000-01-15 | 김영환 | Encoding/decoding method of digital interlaced scanning interpicture |
| KR20000031283A (en) * | 1998-11-02 | 2000-06-05 | 구자홍 | Image coding device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20000072484A (en) | 2000-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6850564B1 (en) | Apparatus and method for dynamically controlling the frame rate of video streams | |
| JP4755093B2 (en) | Image encoding method and image encoding apparatus | |
| KR20010031222A (en) | Transcoding | |
| JPH10257502A (en) | Hierarchical image encoding method, hierarchical image multiplexing method, hierarchical image decoding method and device therefor | |
| KR0152013B1 (en) | Moving estimation device considering variable length coding | |
| KR100364748B1 (en) | Apparatus for transcoding video | |
| US6040875A (en) | Method to compensate for a fade in a digital video input sequence | |
| JPH07222173A (en) | Picture processor | |
| KR100397133B1 (en) | Method and System for compressing/transmiting of a picture data | |
| US20020118757A1 (en) | Motion image decoding apparatus and method reducing error accumulation and hence image degradation | |
| US20090290636A1 (en) | Video encoding apparatuses and methods with decoupled data dependency | |
| JP3948597B2 (en) | Moving picture compression encoding transmission apparatus, reception apparatus, and transmission / reception apparatus | |
| KR20010075389A (en) | Device for encoding motion picture signals and encoding method | |
| KR0124162B1 (en) | Prediction coding method | |
| WO2004030367A1 (en) | Moving picture data stream conversion device and method | |
| JP3652889B2 (en) | Video encoding method, video encoding device, recording medium, and video communication system | |
| JP3188081B2 (en) | Image encoding method and image encoding device | |
| JPH07298270A (en) | Inter-motion compensation frame prediction coder | |
| JPH06153181A (en) | Prediction coding method, prediction decoding method, prediction coder and prediction decoder | |
| KR20040039809A (en) | Moving picture encoder and method for coding using the same | |
| JPH11196423A (en) | Device and method for picture processing and presentation medium | |
| JPH10327413A (en) | Image coding method and device, image decoder, image encoding decoding device, intra-coding control method and ratio image communication terminal equipment conducting intra-coding control processing | |
| JPH02222388A (en) | Moving picture encoding method | |
| JPH06105299A (en) | Dynamic image compressor | |
| JP2001258039A (en) | Variable image rate encoder, variable image rate decoder, variable image rate coding method, and variable image rate decoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120824 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20130826 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20150825 Year of fee payment: 13 |
|
| LAPS | Lapse due to unpaid annual fee |