KR0178206B1 - Adaptive image coding system - Google Patents

Adaptive image coding system Download PDF

Info

Publication number
KR0178206B1
KR0178206B1 KR1019950032852A KR19950032852A KR0178206B1 KR 0178206 B1 KR0178206 B1 KR 0178206B1 KR 1019950032852 A KR1019950032852 A KR 1019950032852A KR 19950032852 A KR19950032852 A KR 19950032852A KR 0178206 B1 KR0178206 B1 KR 0178206B1
Authority
KR
South Korea
Prior art keywords
dct
block
transform coefficient
coefficient value
dct transform
Prior art date
Application number
KR1019950032852A
Other languages
Korean (ko)
Other versions
KR970019567A (en
Inventor
윤성욱
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019950032852A priority Critical patent/KR0178206B1/en
Publication of KR970019567A publication Critical patent/KR970019567A/en
Application granted granted Critical
Publication of KR0178206B1 publication Critical patent/KR0178206B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 데시메이션과 인터포레이션을 이용함으로서 보다 적은 계산량과 간단한 하드웨어로 구현이 가능하며, 화면비가 서로 다른 수상기에 각각 대응가능한 적어도 다른 화면 사이즈를 갖는 복수의 압축 영상신호를 생성할 수 있도록 한 영상 부호화 시스템에 관한 것으로, 이를 위하여 본 발명은, 현재 프레임을 8 × 8 의 DCT 블럭으로 분할한 다음, 이 분할된 각 DCT 블럭들에 대한 시간영역의 영상신호를 코사인함수를 이용하여 8 × 8의 주파수영역의 DCT 변환계수값으로 변환하기 위한 DCT 블럭, 변환된 현재 프레임의 8 × 8의 각 DCT 변환계수값과 시간축상에서 이에 대응하는 이전 프레임의 대응 8 × 8의 각 DCT 변환계수값에 의거하여 구해지는 제1차분신호에 대해 제1코드 테이블을 이용한 벡터 양자화를 적용하여 압축 부호화한 다음 부호화된 특정 화면 사이즈의 영상신호를 전송기에 제공하는 제1부호화 경로, 및 변환된 현재 프레임의 8 × 8의 각 DCT 변환계수값에서 추출한 소정 크기의 저역부분의 각 DCT 변환계수값과 시간축상에서 이에 대응하는 이전 프레임의 소정 크기의 대응 저역부분의 각 DCT 변환계수값에 의거하여 구해지는 제2차분신호에 대해 제2코드 테이블을 이용한 벡터 양자화를 적용함으로서, 상기 제1부호화 경로에서 출력되는 상기 압축 부호화된 특정 화면 사이즈 보다 적어도 작은 화면 사이즈를 갖는 부호화된 영상신호를 전송기에 제공하는 제2부호화 경로를 포함한다.The present invention can be implemented with less computation and simple hardware by using decimation and interoperation, and it is possible to generate a plurality of compressed video signals having at least different screen sizes corresponding to different receivers with different aspect ratios. The present invention relates to a video encoding system. To this end, the present invention divides a current frame into 8 × 8 DCT blocks, and then uses a cosine function to time-domain video signals for each of the divided DCT blocks. A DCT block for converting a DCT conversion coefficient value in the frequency domain of the block into a DCT conversion coefficient value of 8 × 8 of the converted current frame and each DCT conversion coefficient value of the corresponding 8 × 8 corresponding frame of the previous frame on the time axis. The coded specificization is performed after the compression coding by applying vector quantization using the first code table to the first difference signal obtained by using A first encoding path for providing a video signal of a size to the transmitter, and each DCT transform coefficient value of a low-pass portion of a predetermined size extracted from each DCT transform coefficient value of 8 × 8 of the converted current frame and a corresponding previous frame on the time axis The compression-coded specific screen output from the first encoding path by applying vector quantization using a second code table to second differential signals obtained based on respective DCT transform coefficient values of corresponding low-pass portions of a predetermined size of? And a second encoding path for providing the transmitter with an encoded video signal having a screen size at least smaller than the size.

따라서, 본 발명의 영상 부호화 시스템은 불필요하게 과다한 계산량과 그 구성상의 복잡함이 없이도 채널의 요구에 부응가능한 적어도 다른 화면 사이즈(라인수 및 화소수)를 갖는 압축 부호화된 영상신호를 효과적으로 생성할 수 있는 것이다.Accordingly, the video encoding system of the present invention can effectively generate a compressed coded video signal having at least a different screen size (number of lines and number of pixels) that can meet the demands of the channel without unnecessarily excessive calculation amount and configuration complexity. will be.

Description

적응적인 영상 부호화 시스템Adaptive Video Coding System

제1도는 본 발명의 바람직한 실시예에 따른 적응적인 영상 부호화 시스템의 블럭구성도.1 is a block diagram of an adaptive video encoding system according to a preferred embodiment of the present invention.

제2도는 본 발명에 따른 적응적인 영상 부호화시에 8×8의 DCT 블럭을 4×4 블럭으로 데시메이션하고, 또한 이를 다시 8×8의 DCT 블럭으로 인터포레이션하는 예를 도시한 도면.2 is a diagram illustrating an example of decimating an 8x8 DCT block into 4x4 blocks and interpolating the same into an 8x8 DCT block in adaptive image encoding according to the present invention.

* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings

10, 28, 44 : 프레임 메모리 12 : DCT 블럭10, 28, 44: Frame memory 12: DCT block

14, 14, 18, 34 : 감산기 16 : 인터포레이션 블럭14, 14, 18, 34 Subtractor 16 Interpolation Block

22, 38 : 벡터 양자화 블럭 24, 40 : 역 벡터 양자화 블럭22, 38: vector quantization block 24, 40: inverse vector quantization block

26, 42 : 가산기 30, 46 : 움직임 예측 블럭26, 42: adder 30, 46: motion prediction block

32 : 데시메이션 블럭32: decimation block

본 발명은 영상신호를 압축 부호화하는 부호화 시스템에 관한 것으로, 보다 상세하게는 데시메이션과 인터포레이션을 이용하여 서로 다른 사이즈를 갖는 모니터에 각각 적용 가능한 영상신호를 생성할 수 있도록 한 적응적인 영상 부호화 시스템에 관한 것이다.The present invention relates to an encoding system for compressing and encoding an image signal. More particularly, the present invention relates to an adaptive image encoding method for generating an image signal applicable to monitors having different sizes using decimation and interoperation. It is about the system.

이 기술분야에 잘 알려진 바와 같이, 이산화된 영상신호의 전송은 아날로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 영상신호가 디지탈 형태로 표현될 때, 특히 고품질 텔레비젼(HDTV)의 경우 상당한 양의 데이터가 전송되어야 한다. 그러나, 종래의 전송 채널의 사용가능한 주파수 영역이 제한되어 있으므로, 많은 양의 디지탈 데이터를 전송하기 위해서는 전송하고자 하는 데이터를 압축하여 그 전송량을 줄일 필요가 있다. 또한, 압축되는 영상신호와 오디오신호는 그들 신호의 특성상 서로 다른 부호화 기법을 통해 각각 부호화되는데, 이와같은 부호화에 있어서 오디오신호에 비해 보다 많은 양의 디지탈 데이터가 발생하는 영상신호의 압축 기법은 특히 중요한 부분을 차지한다고 볼 수 있다.As is well known in the art, the transmission of discrete video signals can maintain better image quality than analog signals. When a video signal composed of a series of image frames is represented in a digital form, a considerable amount of data must be transmitted, particularly in the case of high-definition television (HDTV). However, since the usable frequency range of the conventional transmission channel is limited, in order to transmit a large amount of digital data, it is necessary to compress the data to be transmitted and reduce its transmission amount. In addition, the compressed video signal and the audio signal are encoded through different coding techniques due to the characteristics of the signals. In this encoding, a video signal compression technique in which a larger amount of digital data is generated than an audio signal is particularly important. It can be said to take part.

한편, 영상신호를 부호화하는데 주로 이용되는 다양한 압축기법으로서는, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.On the other hand, as the various compression methods mainly used for encoding the video signal, the hybrid coding method combining the stochastic coding method and the temporal and spatial compression method is known to be the most efficient.

상기한 효율적인 부호화 기법중의 하나인 대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화) 등을 이용한다. 여기에서, 움직임보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이러한 방법은, 예를 들어 Staffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO. 12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.Most of hybrid coding schemes, which are one of the efficient coding schemes described above, use motion compensated DPCM (differential pulse code modulation), two-dimensional discrete cosine transform (DCT), quantization of DCT coefficients, VLC (variable modulation coding), and the like. Here, the motion compensation DPCM determines a motion of the object between the current frame and the previous frame, and predicts the current frame according to the motion of the object to generate a differential signal representing the difference between the current frame and the prediction value. Such methods are described, for example, in Staffan Ericsson's Fixed and Adaptive Predictors for Hybrid Predictive / Transform Coding, IEEE Transactions on Communication, COM-33, NO. 12 (Dec. 1985), or A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1 (January, 1982) by Ninomiy and Ohtsuka.

보다 상세하게, 움직임보상 DPCM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로 부터 예측하는 것이다. 여기에서, 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임벡터로 나타낼 수 있다.More specifically, the motion compensation DPCM predicts the current frame from the previous frame according to the motion of the object estimated between the current frame and the previous frame. Here, the estimated motion may be represented by a two-dimensional motion vector representing the displacement between the previous frame and the current frame.

통상적으로, 물체의 화소 변위를 추정하는 데에는 여러 가지 접근방법이 있으며, 이들은 일반적으로 두개의 타입으로 분류되는데 그중 하나는 블럭단위의 움직임 추정방법이고 다른 하나는 화소단위의 움직임 추정방법이며, 블럭단위 움직임 추정에서는 현재 프레임의 블럭을 이전 프레임의 블럭들과 비교하여 최적 정합블럭을 결정한 다음, 이로 부터, 전송되는 현재 프레임에 대해 블럭 전체에 대한 프레임간 변위 벡터(프레임간에 블럭이 이동한 정도)가 추정된다.In general, there are various approaches to estimating the pixel displacement of an object, and they are generally classified into two types, one of which is a motion estimation method in block units and the other is a motion estimation method in pixel units. In motion estimation, the block of the current frame is compared with the blocks of the previous frame to determine an optimal matching block. From this, the interframe displacement vector (how much the block has moved between frames) for the entire transmitted frame is then determined. It is estimated.

따라서, 송신측에서는 영상신호를 전송할 때 상술한 바와같은 부호화 기법을 통해 블럭단위 또는 화소단위로 영상신호가 갖는 공간적, 시간적인 상관성을 고려해 압축 부호화하여 출력측의 버퍼에 차례로 저장하게 되며, 이와같이 저장된 압축 부호화된 영상데이타는 채널의 요구에 부응하여 소망하는 비트 레이트로 전송채널을 통해 수신측의 복호화 시스템에 전송될 것이다.Therefore, when transmitting the video signal, the transmitting side compresses and encodes the image signal in the buffer of the output side in order by taking into account the spatial and temporal correlation of the image signal in block units or pixel units through the above-described encoding technique. The received video data will be transmitted to the decoding system on the receiving side through the transmission channel at a desired bit rate in response to the channel request.

보다 상세하게, 송신측의 부호화 시스템에서는 이산 코사인 변환(DCT) 등의 변환부호화를 이용하여 영상신호의 공간적인 중복성을 제거하고, 또한 움직임 추정, 예측 등을 통한 차분부호화를 이용하여 영상신호의 시간적인 중복성을 제거함으로서, 영상신호를 효율적으로 압축하게 된다.More specifically, the encoding system on the transmitting side removes spatial redundancy of the video signal by using transform coding such as discrete cosine transform (DCT), and further uses temporal encoding of the video signal by using differential encoding through motion estimation and prediction. By eliminating redundant redundancy, the video signal can be efficiently compressed.

한편, 최근들어 그 개발이 완료되어 실용화 단계에 접어든 고품위 텔레비젼(HDTV) 방송을 실시하는 데 있어서, 수상기의 개발 및 방송개시의 초기라고 할 수 있는 현시점에서는 고품위 방송을 수신할 수 있는 HDTV 수상기의 보급이 아주 저조한 실정이며, 이러한 HDTV 수상기가 광범위하게 확산(즉, 보편화)되는 데에는, 생산현장에서의 본격적인 양산체제 구축 및 공급가격의 대중성 확보 등을 고려해 볼 때, 적어도 수년 정도의 기간이 소요될 것으로 추정된다.On the other hand, in developing high-definition television (HDTV) broadcasting, which has recently been developed and entered into the commercialization stage, the HDTV receiver capable of receiving high-definition broadcasting at the present time, which can be referred to as the early stage of the development of the receiver and the start of broadcasting. It is very poorly distributed, and it will take at least a few years for the HDTV receiver to be widely spread (ie universalized) considering the full-scale mass production at the production site and securing the popularity of supply prices. It is estimated.

따라서, 상기한 바와같이 HDTV 수상기의 보급확산 등에 필요한 기간, 즉 일반 TV 수상기(또는 컴퓨터 모니터)와 HDTV 수상기가 서로 공존하는 과도기에는 실질적인 고품위 텔레비젼 방송을 일반 TV 수상기(또는 컴퓨터 모니터)로도 수신할 수 있도록 하는 기술이 필연적으로 수반되어야 할 것이다.Therefore, as described above, during the period required for the diffusion and diffusion of HDTV receivers, that is, during a transition period where a general TV receiver (or a computer monitor) and an HDTV receiver coexist, a substantial high-definition television broadcast can also be received by a general TV receiver (or a computer monitor). Technology to ensure that this is inevitably involved.

통상적으로, 상기한 과도기에 방송국등에서 고품위 텔레비젼 방송을 송출하는 경우에 있어서, 일반 TV 수상기 또는 컴퓨터 등의 모니터를 구비한 사용자는 압축 부호화된 영상신호를 원래의 신호로 복원할 수 있는 복호화 시스템이 내장된 인버터(TV 내장 또는 외장형)를 구비함으로서, 고품위 텔레비젼 방송을 시청할 수 있을 것이나, 이 경우 일반 TV 수상기(또는 컴퓨터 모니터)의 경우 그 화면 사이즈가 3×4인 것에 비해 고품위 텔레비젼 방송의 경우 그 화면 사이즈가 16×9인 관계로, 일반 TV수상기(또는 컴퓨터 모니터)에 수신되는 고품위 텔레비젼 방송의 일부 화면이 짤려지는 형태로 디스플레이 되는 바람직하지 못한 결과가 야기될 것이다.In general, in the case of transmitting a high quality television broadcast from a broadcasting station or the like during the transition period, a user equipped with a monitor such as a general television receiver or a computer can have a decoding system capable of restoring a compressed coded video signal to an original signal. By providing a built-in inverter (built-in or external TV), it is possible to watch high-definition television broadcasts. In this case, the screen size of high-definition television broadcasting is higher than that of ordinary TV receivers (or computer monitors). With the size of 16 × 9, the undesirable result would be that some screens of high quality television broadcasts received on a normal TV receiver (or computer monitor) are displayed in a cut form.

한편, 상술한 바와같은 바람직하지 못한 화면 짤림현상을 제거하는 데 있어서는, 송신측(예를들면, 방송국) 부호화 시스템에서의 영상 부호화시에 샘플링 또는 데시메이션 등의 기법을 이용하여 영상을 소망하는 사이즈로 조정하거나 또는 수신측(수상기)의 복호화 시스템에서의 영상 복호화시에 상기한 부호화 시스템에서와 유사하게 샘플링 또는 데시메이션 등의 기법을 이용하여 영상을 소망하는 사이즈로 조정함으로서, 사용자가 일반 TV 수상기(또는 컴퓨터 모니터)를 통해 고품위 텔레비전 방송 시청하고자 할 때 짤림현상이 없는 완전한 영상의 재현(또는 디스플레이)이 가능하게 될 것이다.On the other hand, in eliminating the undesirable cut-off phenomenon as described above, the desired size of the image using a technique such as sampling or decimation at the time of encoding the image in the transmitting side (e.g., broadcasting station) encoding system. The user can adjust the image to a desired size by using a technique such as sampling or decimation, similarly to the above-described encoding system, when the image is decoded by the receiving system (receiver). When you want to watch high-definition television broadcasts (or computer monitors), you will be able to reproduce (or display) a complete picture without stuttering.

상술한 바와같이, 일반 TV 수상기(또는 컴퓨터 모니터)로 그 화면 사이즈가 다른 고품위 텔레비젼 방송을 화면의 짤림 없이 수신할 수 있도록 하는 종래기술로서는, 예를들면 일본전신전화 주식회사에서 1988년 7월 4일자로 자국에 출원하여 1990년 1월 19일에 공개특허번호 제 16887호로 공개된 화상 부호화 장치가 있다.As described above, a conventional TV receiver (or computer monitor) is a prior art that allows high-definition television broadcasts having different screen sizes without being cut off, for example, from July 4, 1988 to Nippon Telegraph and Telephone Co., Ltd. There is a picture coding apparatus filed in the country of the United States and published in Japanese Patent No. 16887 on January 19, 1990.

상술한 일본 공개특허는 두 개의 부호화 경로를 구비하는 데, 하나의 부호화 경로는 입력 영상신호에 대해 저역통과 필터를 통해 저역통과 필터링하여 고주파 성분을 제거한 다음 다시 샘플링회로를 통해 종횡 2 화소마다 1 화소씩 추출하여 축소 영상신호를 생성하며 움직임 보상회로에 의해 생성된 차분 축소 영상신호를 압축 부호화함으로서, HDTV 화면 사이즈의 영상신호를 일반 TV 화면에 적합한 화면 사이즈로 변환한 다음 압축 부호화하여 부호화된 일반 TV의 영상신호를 생성하는 경로이고, 또한 다른 하나의 부호화 경로는 원래의 입력 영상신호와 상기한 하나의 부호화 경로로부터 제공되는 내삽 확대처리를 통해 복원된 영상신호간의 차분신호를 이산 직교변환, 양자화 및 가변길이 부호화를 통해 압축 부호화하여 부호화된 HDTV 영상신호를 생성하는 경로이다.The above-described Japanese Patent Laid-Open Patent Publication includes two encoding paths, one encoding path being low-pass filtered through a low pass filter on an input video signal to remove high frequency components, and then, again, one pixel every two pixels horizontally and horizontally through a sampling circuit. By generating a reduced video signal by extracting each other and compressing and encoding the differential reduced video signal generated by the motion compensation circuit, the video signal of the HDTV screen size is converted into a screen size suitable for a general TV screen, and then compressed and encoded by the encoded TV. And a second encoding path for performing discrete orthogonal transformation, quantization, and the differential signal between the original input image signal and the image signal reconstructed through the interpolation magnification provided from the one encoding path. Compressed HDTV video signal generation using variable length coding It is the path.

따라서, 일본공개특허는 두개의 부호화 경로를 갖는 구성을 통해 압축 부호화된 일반 TV 영상과 HDTV 영상을 적응적으로 생성할 수 있도록 함으로서, HDTV 방송과 일반 TV 방송을 동시에 수용 가능한 결과를 얻게 된다.Accordingly, the Japanese Laid Open Patent allows adaptive generation of a compressed and encoded general TV image and an HDTV image through a configuration having two encoding paths, thereby obtaining a result capable of simultaneously accommodating HDTV broadcasting and general TV broadcasting.

그러나, 상술한 바와같은 일본공개특허는 영상의 고주파 성분 제거를 위해 각각의 전체 영상에 대해 저역통과 필터링을 적용하도록 함으로서, 그 계산량이 불필요하게 많을 뿐만 아니라 필터링시에 많은 프레임 메모리를 필요로 하게 되어 결과적으로 하드웨어가 복잡해진다는 문제점을 내포하고 있다.However, as described above, the Japanese Laid-open Patent discloses that low-pass filtering is applied to each entire image to remove high frequency components of the image, which not only requires a large amount of computation, but also requires a large amount of frame memory during filtering. As a result, the hardware is complicated.

따라서, 본 발명은 상기한 종래기술의 문제점을 해결하기 위한 것으로, 데시메이션과 인터포레이션을 이용함으로서 보다 적은 계산량과 간단한 하드웨어로 구현이 가능하며, 화면비가 서로 다른 수상기에 각각 대응가능한 적어도 다른 사이즈를 갖는 복수의 압축 영상신호를 생성할 수 있는 영상 부호화 시스템을 제공하는 데 그 목적이 있다.Accordingly, the present invention is to solve the above-mentioned problems of the prior art, it is possible to implement with a smaller amount of calculation and simple hardware by using decimation and interoperation, at least different sizes each corresponding to different receivers with different aspect ratios An object of the present invention is to provide a video encoding system capable of generating a plurality of compressed video signals.

상기 목적을 달성하기 위하여 본 발명은, 현재의 입력 프레임과, 이 현재 프레임 및 이전 프레임간의 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 차분신호에 대해 소정의 부블럭단위로 다수의 코드워드들을 갖는 코드 테이블을 이용한 벡터 양자화를 수행하는 영상 부호화 시스템에 있어서, 상기 현재 프레임을 8 × 8의 DCT 블럭으로 분할한 다음, 이 분할된 각 DCT 블럭들에 대한 시간영역의 영상신호를 코사인함수를 이용하여 8 × 8의 주파수영역의 DCT 변환계수값으로 변환하기 위한 DCT 블럭; 상기 변환된 현재 프레임의 8 × 8의 각 DCT 변환계수값과 시간축상에서 이에 대응하는 이전 프레임의 대응 8 × 8의 각 DCT 변환계수값에 의거하여 구해지는 제1차분신호에 대해 제1코드 테이블을 이용한 벡터 양자화를 적용하여 압축 부호화한 다음 부호화된 특정 화면 사이즈의 영상신호를 전송기에 제공하는 제1부호화 경로; 및 상기 변환된 현재 프레임의 8 × 8의 각 DCT 변환계수값에서 추출한 소정 크기의 저역부분의 각 DCT 변환계수값과 시간축상에서 이에 대응하는 이전 프레임의 소정 크기의 대응 저역부분의 각 DCT 변환계수값에 의거하여 구해지는 제2차분신호에 대해 제2코드 테이블을 이용한 벡터 양자화를 적용함으로서, 상기 제1부호화 경로에서 출력되는 상기 압축 부호화된 특정 화면 사이즈 보다 적어도 작은 화면 사이즈를 갖는 부호화된 영상신호를 전송기에 제공하는 제2부호화 경로를 포함하고, 상기 제1부호화경로는, 상기 DCT 블럭으로 부터 제공되는 상기 현재 프레임의 8 × 8의 각 DCT 변환계수값과, 시간축상에서 이에 대응하는 이전 프레임의 대응 8 × 8의 각 DCT 변환계수값을 이용하여 얻어지는 예측신호와의 감산을 통해 상기 제1차분신호를 생성하는 제1감산수단; 상기 제1감산수단으로 부터의 제1차분신호를 소정 크기의 부블럭으로 재분할한 다음, 분할된 각 부블럭들을 다수의 코드워드들을 갖는 상기 제1코드 테이블을 이용하여 벡터 양자화하는 제1벡터 양자화 블럭; 상기 벡터 양자화된 영상신호들을 상기 제1코드 테이블의 코드워드들과 동일한 코드워드들을 갖는 코드 테이블을 이용하여 역 벡터 양자화를 수행하여 상기 8 × 8의 각 DCT 변환계수값으로 복원한 다음, 이 복원된 각 DCT 변환계수값과 제1예측신호를 가산하여 상기 현재 프레임의 시간축상에 존재하는 상기 이전 프레임을 생성하는 제1이전 프레임 발생수단; 및 상기 현재 프레임과, 이 현재 프레임 및 상기 이전 프레임간의 움직임 추정, 보상을 통해 상기 제1예측신호를 발생하여 상기 제1감산수단 및 제1이전 프레임 발생수단에 제공하는 제1움직임 예측 블럭을 포함하며, 상기 제2부호화 경로는, 상기 DCT 블럭으로부터 제공되는 상기 8 × 8 의 각 DCT 변환계수값에서 소정 크기의 저역부분의 각 DCT 변환계수값을 각각 추출하는 데시메이션 블럭; 상기 데시메이션 블럭으로 부터 제공되는 상기 현재 프레임의 상기 각 블럭의 저역부분의 4×4의 각 DCT 변환계수값과, 시간축상에서 이에 대응하는 이전 프레임의 각 블럭의 저역부분의 대응 4×4의 각 DCT 변환계수값을 이용하여 얻어지는 제2예측신호와의 감산을 통해 제2차분신호를 생성하는 제2감산수단; 상기 제2감산수단으로 부터의 제2차분신호를 소정 크기의 부블럭으로 재분할한 다음, 분할된 각 부블럭들을 다수의 코드워드들을 갖는 상기 제2코드 테이블을 이용하여 벡터 양자화하는 제2벡터 양자화 블럭; 상기 벡터 양자화된 영상신호들을 상기 제2코드 테이블의 코드워드들과 동일한 코드워드들을 갖는 코드 테이블을 이용하여 역 벡터 양자화를 수행하여 상기 저역부분의 4×4의 각 DCT 변환계수값으로 복원한 다음, 이 복원된 저역부분의 각 DCT 변환계수값과 제2예측신호를 가산하여 상기 현재 프레임의 시간축상에 존재하는 상기 이전 프레임을 생성하는 제2이전 프레임 발생수단; 및 상기 현재 프레임과, 이 현재 프레임 및 상기 이전 프레임간의 움직임 추정, 보상을 통해 상기 제2예측신호를 발생하여 상기 제2감산수단 및 제2이전 프레임 발생수단에 제공하는 제2움직임 예측 블럭을 포함하는 것을 특징으로 하는 적응적인 영상 부호화 시스템을 제공한다.In order to achieve the above object, the present invention provides a code having a plurality of codewords in a predetermined subblock unit for a difference signal between a current input frame and a prediction frame obtained through motion estimation and compensation between the current frame and a previous frame. In an image encoding system for performing vector quantization using a table, the current frame is divided into 8 × 8 DCT blocks, and then a time domain image signal for each of the divided DCT blocks is determined using a cosine function. A DCT block for converting to a DCT transform coefficient value in a frequency domain of 占 8; A first code table for a first difference signal obtained based on each DCT transform coefficient value of 8x8 of the converted current frame and the corresponding DCT transform coefficient value of corresponding 8x8 of the previous frame corresponding to the previous frame on a time axis; A first encoding path which is subjected to compression encoding by using the vector quantization and provides an encoded image signal having a specific screen size to a transmitter; And each DCT transform coefficient value of a low pass portion of a predetermined size extracted from each DCT transform coefficient value of 8 × 8 of the converted current frame, and each DCT transform coefficient value of a corresponding low pass portion of a predetermined size of a previous frame corresponding to that on the time axis. By applying vector quantization using a second code table to a second differential signal obtained based on the coded video signal, a coded video signal having a screen size of at least smaller than the compressed coded specific screen size output from the first encoding path is obtained. A second encoding path provided to the transmitter, wherein the first encoding path corresponds to an 8 × 8 DCT transform coefficient value of the current frame provided from the DCT block and a corresponding previous frame on the time axis; A first sense of generating the first differential signal through subtraction with a prediction signal obtained by using each DCT transform coefficient value of 8x8; It means; A first vector quantization for re-dividing the first differential signal from the first subtracting means into subblocks of a predetermined size, and then vector quantizing the divided subblocks using the first code table having a plurality of codewords block; Inverse vector quantization is performed on the vector quantized video signals by using a code table having the same codewords as the codewords of the first code table, and then restored to each DCT transform coefficient value of 8x8. First previous frame generating means for generating the previous frame existing on the time axis of the current frame by adding the respective DCT conversion coefficient values and the first prediction signal; And a first motion prediction block generating the first prediction signal through motion estimation and compensation between the current frame and the current frame and the previous frame, and providing the first prediction signal to the first subtraction means and the first previous frame generation means. The second encoding path may include: a decimation block for extracting each DCT transform coefficient value of a low-pass portion of a predetermined size from the DCT transform coefficient values of 8 × 8 provided from the DCT block; Each DCT transform coefficient value of 4x4 of the lower portion of each block of the current frame provided from the decimation block, and the corresponding 4x4 angle of the lower portion of each block of the previous frame corresponding thereto on the time axis. Second subtracting means for generating a second differential signal by subtracting from a second predictive signal obtained by using a DCT conversion coefficient value; A second vector quantization for re-dividing the second difference signal from the second subtracting means into subblocks of a predetermined size, and then vector quantizing the divided subblocks using the second code table having a plurality of codewords block; Inverse vector quantization is performed on the vector quantized video signals by using a code table having the same codewords as the codewords of the second code table, and then restored to the 4 × 4 DCT transform coefficient values of the low-pass portion. Second previous frame generating means for generating the previous frame existing on the time axis of the current frame by adding each DCT transform coefficient value of the restored low-pass portion and a second prediction signal; And a second motion prediction block generating the second prediction signal through motion estimation and compensation between the current frame and the current frame and the previous frame, and providing the second prediction signal to the second subtracting means and the second previous frame generating means. An adaptive video encoding system is provided.

본 발명의 상기 및 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.The above and other objects and various advantages of the present invention will become more apparent from the preferred embodiments of the present invention described below with reference to the accompanying drawings by those skilled in the art.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

먼저, 본 발명에서 실현하고자 하는 적응적인 영상 부호화 시스템은 적어도 두개의 부호화 경로를 갖는데, 각각의 부호화 경로에서 출력되는 압축 부호화된 영상신호는 그 사이즈(라인수 및 화소수)가 다르다. 즉, 제1도에 참조부호 A로서 표시된 제1부호화 경로를 통해 압축 부호화되어 출력되는 영상 사이즈는, 예를들면 통상적인 일반 TV 수상기(또는 컴퓨터 모니터)의 화면에 적합한 768×1024 정도이고, 동도면에서 참조부호 B로서 표시된 제2부호화 경로를 통해 압축 부호화되어 출력되는 영상 사이즈(라인수 및 화소수)는, 예를들면 초소형 일반 TV 수상기(즉, 탁상용 일반 TV 수상기 또는 휴대용 일반 TV 수상기 등)(또는 컴퓨터 모니터)의 화면에 적합한 384×512 정도이다.First, the adaptive video encoding system to be realized in the present invention has at least two coding paths, and the compression-coded video signal output from each coding path has different sizes (number of lines and number of pixels). That is, the image size compressed and output through the first encoding path indicated by reference numeral A in FIG. 1 is, for example, about 768 × 1024 suitable for a screen of a typical TV receiver (or computer monitor). The image size (number of lines and the number of pixels) which is compressed and output through the second encoding path indicated by the reference sign B in the drawing may be, for example, a small general TV receiver (that is, a desktop general TV receiver or a portable general TV receiver, etc.). It is about 384 × 512 suitable for the screen of a computer monitor.

한편, 본 발명의 부호화 시스템은 통상의 부호화 시스템과 같이 시간축상에 연속하는 현재 프레임과 예측된 이전 프레임간의 차분신호(또는 에러신호)에 대해 MC-DCT를 적용하는 것이 아니라 현재 프레임에 바로 8 × 8의 DCT를 적용한 다음 DCT 변환계수들을 가지고 움직임 추정, 보상을 수행하여 DCT 변환계수들에 대한 차분신호를 생성한다.On the other hand, the coding system of the present invention does not apply MC-DCT to the difference signal (or error signal) between the current frame continuous and the predicted previous frame on the time axis as in the conventional coding system. After applying DCT of 8, motion estimation and compensation are performed using DCT transform coefficients to generate differential signals for DCT transform coefficients.

이를 위해, 본 발명의 제1부호화 경로(A)는, 일차적으로 현재 프레임의 8 × 8 DCT 변환계수 블럭과 제2부호화 경로(B)에서 움직임 추정, 보상을 위해 예측된 이전 프레임의 대응하는 블럭을 인터포레이션한 블럭, 즉 예측된 이전 프레임의 4×4의 블럭을 8 × 8의 블럭으로 인터포레이션한 예측블럭간의 감산을 통해 일차 차분신호를 구하고, 이차적으로 상기와 같이 얻어진 일차 차분신호와 이 일차 차분신호에 대응하는 움직임 추정, 보상을 위해 예측된 이전 프레임의 예측 차분신호간의 감산을 통해 이차 차분신호를 구하며, 이와같이 얻어진 이차 차분신호는 벡터 양자화를 통해 부호화된 다음 도시 생략된 전송기로 보내진다. 여기에서, 본 발명의 제2부호화 경로는 각 DCT 블럭들을 데시메이션하여 얻어온 저역부분의 4×4 DCT 블럭들에 대해 움직임 추정, 보상을 통한 부호화를 수행하는 것이다.To this end, the first encoding path A of the present invention is primarily a 8 × 8 DCT transform coefficient block of the current frame and a corresponding block of the previous frame predicted for motion estimation and compensation in the second encoding path B. The first differential signal is obtained by subtracting the interpolated blocks, i.e., the prediction blocks that interpolate the 4x4 blocks of the predicted previous frame into 8x8 blocks, and secondarily obtain the first differential signal obtained as described above. And the second difference signal is obtained by subtracting the predicted difference signal of the previous frame predicted for motion estimation and compensation corresponding to the first difference signal, and the obtained second difference signal is encoded by vector quantization and then transmitted to a transmitter not shown. Is sent. Here, the second encoding path of the present invention is to perform encoding through motion estimation and compensation on the low-frequency 4x4 DCT blocks obtained by decimating the DCT blocks.

따라서, 본 발명은 이와같이 두 번의 차분신호 생성과정을 적용함으로서, 결과적으로 비트 발생량을 더욱 줄일 수 있게 된다. 즉, 본 발명은 매우 큰 압축율을 얻을 수 있게 될 것이다.Therefore, by applying the two differential signal generation processes as described above, the present invention can further reduce the bit generation amount. That is, the present invention will be able to obtain a very large compression rate.

제1도를 참조하면, 제1부호화 경로(A)내의 DCT 블럭(12)은 입력측의 프레임 메모리(10)로 부터 제공되는 현재 프레임신호에 대해 8 × 8의 DCT 블럭으로 분할한 다음, 이 분할된 각각의 DCT 블럭들에 대한 시간영역의 영상신호(화소 데이터)를 코사인함수를 이용하여 8 × 8의 주파수영역의 DCT 변환계수로 변환한다. 그런다음, 이와같이 8 × 8 블럭단위로 변환된 DCT 변환계수들은 라인 L11을 통해 다음단의 감산기(14) 및 데시메이션 블럭(32)으로 제공된다.Referring to FIG. 1, the DCT block 12 in the first encoding path A is divided into 8 x 8 DCT blocks for the current frame signal provided from the frame memory 10 on the input side, and then divided. The video signal (pixel data) in the time domain for each of the DCT blocks is converted into a DCT conversion coefficient in the frequency domain of 8x8 using a cosine function. Then, the DCT transform coefficients transformed in 8 × 8 block units are provided to the next subtracter 14 and the decimation block 32 through the line L11.

한편, 감산기(14)에서는 라인 L11을 통해 DCT 블럭(12)으로 부터 제공되는 DCT 변환계수 블럭과 후에 상세하게 기술되는 제2부호화 경로(B)의 4×4의 예측신호를 8 × 8의 예측신호로 인터포레이션하는 인터포레이션 블럭(16)으로 부터 라인 L13을 통해 제공되는 대응하는 에측 변환계수 블럭을 감산하여 일차 차분신호를 라인 L15 상에 발생하여 다음단의 감산기(18)에 제공한다.On the other hand, the subtractor 14 predicts a 8x8 prediction signal of 4x4 prediction signal of the DCT transform coefficient block provided from the DCT block 12 through the line L11 and the second encoding path B described later in detail. A first differential signal is generated on the line L15 by subtracting the corresponding side transform coefficient block provided through the line L13 from the interpolation block 16 which interworks with the signal and provided to the next subtractor 18. .

따라서, 감산기(18)에서는 라인 L15를 통해 감산기(14)로 부터 제공되는 현재 프레임의 각 DCT 변환계수 블럭들에 대한 변환계수값의 일차 차분신호와 후에 상세하게 기술되는 움직임 예측 블럭(30)으로부터 라인 L17을 통해 제공되는 예측된 이전 프레임의 대응 DCT 변환계수 블럭의 변환계수값들을 각각 감산하여 각각의 차분신호를 생성한다.Accordingly, the subtractor 18 receives the first difference signal of the transform coefficient value for each DCT transform coefficient block of the current frame provided from the subtractor 14 through the line L15 and the motion prediction block 30 described later in detail. Each difference signal is generated by subtracting the transform coefficient values of the corresponding DCT transform coefficient block of the predicted previous frame provided through line L17.

다음에, 벡터 양자화(VQ)는 블럭(22)에서는 상기한 감산기(18)로부터 제공되는 각 DCT 변화계수 블럭들의 차분신호를 다시 분할하여 얻어진 각각의 부블럭(예를들면, 4×4 또는 2×2의 부블럭 등)들에 대해 다수개의 코드워드들을 갖는 코드 테이블(도시생략)을 이용하는 패턴 매칭을 통해 벡터 양자화를 수행한다. 즉, 벡터 양자화 블럭(22)은 재분할된 각 부블럭의 입력 패턴에 가장 유사한 값을 갖는 코드워드(기준 패턴)를 코드 테이블로부터 검색하여 기준 패턴을 결정, 다시말해 부블럭에 상응하는 해당 입력 패턴에 대해 그 오차값이 가장 적은 최적의 기준 패턴을 결정한 다음, 그 결정된 기준 패턴에 대한 인덱스(index) 값을 라인 L19 상에 발생하여 도시 생략된 전송기로 송신한다.Next, vector quantization (VQ) is performed at block 22 for each subblock (e.g., 4x4 or 2) obtained by subdividing the difference signal of each DCT coefficient of variation block provided from subtractor 18 described above. Vector quantization is performed through pattern matching using a code table (not shown) having a plurality of codewords for subblocks of × 2). That is, the vector quantization block 22 searches a codeword (reference pattern) having a value most similar to the input pattern of each subdivided subblock from the code table to determine a reference pattern, that is, the corresponding input pattern corresponding to the subblock. Then determine an optimal reference pattern with the smallest error value, then generate an index value for the determined reference pattern on line L19 and send it to the transmitter, not shown.

이때, 라인 L19 상에 발생되는 인덱스 값들은 역 벡터 양자화(IVQ) 블럭(24)에 입력되는 데, 역양자화 블럭(24)에서는, 영상신호의 시간축상의 중복성을 제거하기 위한 프레임간의 움직임 추정 및 보상을 위해, 상술한 벡터 양자화 블럭(22)에서 이용되는 그것과 동일한 코드워드들을 갖는 코드 테이블(도시생략)을 이용하여 인덱스 값들을 벡터 양자화되기 이전의 이차차분신호(DCT 변환계수값)로 역 벡터 양자화하며, 이와같이 역 벡터양자화된 8×8 의 이차 차분신호들은 다음단의 가산기(26)에 제공된다.At this time, the index values generated on the line L19 are input to an inverse vector quantization (IVQ) block 24. In the inverse quantization block 24, motion estimation and compensation between frames to remove redundancy on the time axis of the video signal are performed. In order to use the code table (not shown) having the same codewords as those used in the above-described vector quantization block 22, the inverse vector is converted into the second difference signal (DCT transform coefficient value) before the vector quantization. The quantized and thus inverse vector quantized 8x8 secondary differential signals are provided to the adder 26 of the next stage.

그런다음, 가산기(26)가 역 벡터 양자화 블럭(24)으로 부터 제공되는 복원된 현재 프레임신호(이차 차분신호)와 라인 L17을 통해 움직임 예측 블럭(30)으로 부터 제공되는 예측 프레임신호를 가산하여 프레임 메모리(28)에 제공함으로서, 프레임 메모리(28)에는 복원된 현재의 프레임신호, 즉 부호화를 위해 현재 입력되는 현재 프레임신호의 바로 이전 프레임으로서 저장된다. 따라서, 이와같은 과정을 통해 프레임 메모리(28)에 저장되는 이전 프레임신호가 현재 부호화되는 입력 영상 데이터 바로 이전의 영상 데이터로 연속적으로 갱신된다.The adder 26 then adds the reconstructed current frame signal (second order difference signal) provided from the inverse vector quantization block 24 and the predicted frame signal provided from the motion prediction block 30 via line L17. By providing the frame memory 28, the frame memory 28 is stored as a frame immediately before the restored current frame signal, that is, the current frame signal currently input for encoding. Therefore, through this process, the previous frame signal stored in the frame memory 28 is continuously updated with the image data immediately before the currently encoded input image data.

따라서, 움직임 예측 블럭(30)에서는 라인 L15 상의 현재 프레임신호의 각 DCT 블럭들에 대해 프레임 메모리(28)에 저장된 이전 프레임의 소정의 탐색범위, 예를들면 16×16 의 탐색범위로 그 움직임을 추정, 즉 현재 프레임의 각 DCT 블럭과 가장 유사한 이전 프레임의 DCT 블럭을 결정, 즉 블럭 매칭 알고리즘을 이용하여 다수의 움직임벡터를 생성하며, 이러한 움직임 벡터들을 이용하여 이전 프레임의 블럭들로 예측 차분신호(예측신호)를 생성하여 라인 L17상에 발생하며, 이와같이 발생된 예측 차분신호는 전술한 감산기(18)와 가산기(26)에 각각 제공된다. 또한, 제1도에서의 도시는 생략 하였으나 움직임 예측 블럭(30)에서 검출되는 움직임벡터는 수신측 복호화 시스템으로의 전성을 위해 소정의 부호화 과정을 거쳐 부호화된 다음 전송기(도시생략)로 보내진다.Accordingly, the motion prediction block 30 moves the motion to a predetermined search range of the previous frame stored in the frame memory 28, for example, 16 × 16, for each DCT block of the current frame signal on the line L15. Estimation, that is, determining the DCT block of the previous frame most similar to each DCT block of the current frame, that is, generating a plurality of motion vectors using a block matching algorithm, and using these motion vectors, predicting differential signals into blocks of the previous frame. (Prediction signal) is generated and generated on the line L17, and the predicted difference signal generated in this way is provided to the above-described subtractor 18 and adder 26, respectively. In addition, although not shown in FIG. 1, the motion vector detected by the motion prediction block 30 is encoded after a predetermined encoding process to be transmitted to the receiving side decoding system, and then sent to a transmitter (not shown).

그 결과, 감산기(18)에서는 라인 L15 를 통해 감산기(14)로 부터 제공되는 차분신호(변환계수 값들)와 라인 L17 을 통해 움직임 예측 블럭(30)으로 부터 제공되는 예측 차분신호와의 감산을 통해 이차 차분신호(변환계수 값의 차분신호)가 얻어지며, 이와같이 구해진 이차 차분신호는 벡터 양자화 블럭(22)을 통해 압축 부호화된 다음, 도시 생략된 전송기로의 전송을 위해 라인 L19 를 통해 출력(OUTPUT1)으로 제공된다. 이때, 본 발명에 따라 제1부호화 경로(A)에서 출력되는 압축 부호화된 영상신호(실질적인 인덱스 값들)는, 앞에서 이미 기술한 바와같이, 통상적인 일반 TV 수상기(또는 컴퓨터 모니터)의 화면에 적합한 768×1024 정도의 사이즈를 갖는 영상신호이다.As a result, the subtractor 18 subtracts the difference signal (transform coefficient values) provided from the subtractor 14 through the line L15 and the predicted difference signal provided from the motion prediction block 30 through the line L17. A second difference signal (a difference signal of transform coefficient values) is obtained, and the second difference signal thus obtained is compressed and encoded through the vector quantization block 22, and then output through line L19 for transmission to a transmitter not shown (OUTPUT1). Is provided. In this case, the compression-coded video signal (actual index values) output from the first encoding path A according to the present invention, as described above, is suitable for the screen of a conventional general TV receiver (or computer monitor). It is a video signal having a size of about 1024.

다른한편, 본 발명의 부호화 시스템에 있어서, 초소형의 일반 TV 수상기(또는 컴퓨터 모니터), 예를들면 탁상용 일반 TV 수상기(또는 컴퓨터 모니터) 또는 휴대용 일반 TV 수상기(또는 컴퓨터 모니터) 등의 화면에 적합한 384×512 정도의 화면 사이즈를 갖는 압축 부호화된 영상신호를 생성하는 제2부호화 경로(B)는 그 입력으로서 상술한 제1부호화 경로(A)에 구비된 DCT 블럭(12)에서 출력되는 8×8 블럭의 DCT 변환계수값들을 제공받는다.On the other hand, in the encoding system of the present invention, 384 suitable for a screen such as a small general TV receiver (or computer monitor), for example, a desktop general TV receiver (or computer monitor) or a portable general TV receiver (or computer monitor). The second encoding path B for generating a compressed coded video signal having a screen size of about 512 pixels is an 8 × 8 output from the DCT block 12 included in the first encoding path A described above as an input thereof. DCT transform coefficient values of the block are provided.

즉, 데시메이션 블럭(32)에서는 라인 L11 상의 각 8×8 DCT 변환계수값들(제2도의 (a))이 입력되면, 일예로서 제2도에 (b)에 도시된 바와같이, 각각의 8×8의 DCT 변환계수값들중 영상신호의 디스플레이에 있어서 인간의 시각특성에 민감한 중요정보인 저역부분의 DC 성분, 즉 4×4 의 변환계수값들만을 추출하여 라인 L22 상에 발생한다. 다시말해, 각 8×8 의 DCT 변환계수값들은 데시메이션 블럭(32)을 통해 저역부분만으로 된 4×4의 DCT 변환계수값들로 변환된다고 볼수 있다. 이러한 데시메이션 과정은, 실질적으로 본 발명에서 얻고자 하는 초소형의 일반 TV 수상기(또는 컴퓨터 모니터)에 적합한 화면 사이즈의 영상신호를 생성하는 역할을 수행한다고 볼 수 있다.That is, in the decimation block 32, when each of the 8x8 DCT conversion coefficient values ((a) of FIG. 2) on the line L11 is input, as shown in (b) of FIG. Among the 8x8 DCT transform coefficient values, only the DC component of the low-pass portion, that is, 4x4 transform coefficient values, which are important information sensitive to human visual characteristics, is extracted and displayed on the line L22. In other words, the DCT conversion coefficient values of each 8x8 may be converted into 4x4 DCT conversion coefficient values having only a low pass portion through the decimation block 32. This decimation process can be considered to play a role of generating a video signal having a screen size suitable for a small general TV receiver (or computer monitor) that is intended to be obtained in the present invention.

그런다음, 데시메이션 블럭(32)에서 추출되어 라인 L22 상에 발생된 4×4의 DCT 변환계수값들은 예측된 이전 프레임 신호와의 차분신호 발생을 위한 감산기(34)와 움직임 추정, 보상을 위한 움직임 예측 블럭(46)으로 각각 입력된다.Then, the 4 × 4 DCT transform coefficient values extracted from the decimation block 32 and generated on the line L22 are subtracted by the subtractor 34 for generating the difference signal with the predicted previous frame signal, and for motion estimation and compensation. Input to the motion prediction block 46, respectively.

제1도에 있어서 제2부호화 경로(B)는, 상기한 제1부호화 경로(A)의 출력 영상 보다 적어도 화면 사이즈가 작은 부호화된 영상신호를 생성할 수 있도록, 8×8의 DCT 변환계수값이 아닌 각 블럭의 저역부분의 4×4의 DCT 변환계수값에 대해서만 움직임 추정, 보상 및 벡터 양자화를 수행한다는 점이 다를 뿐, 그 구성면에서 볼 때, 가산기(34), 벡터 양자화 블럭(38), 역 벡터 양자화 블럭(40), 가산기(42), 프레임 메모리(44) 및 움직임 예측 블럭(46) 각각의 기능은, 동도면의 상단에 도시된 제1부호화 경로(A)에 포함되어 서로 대응 가능한 가산기(18), 벡터 양자화 블럭(20), 역 벡터 양자화 블럭(24), 가산기(26), 프레임 메모리(28) 및 움직임 예측 블럭(30) 각 기능과 실질적으로 동일한 기능을 수행하는 구성부재이다.In FIG. 1, the second encoding path B has an 8 × 8 DCT transform coefficient value so as to generate an encoded video signal having a screen size at least smaller than the output image of the first encoding path A. FIG. The only difference is that the motion estimation, compensation, and vector quantization are performed only on the 4 × 4 DCT transform coefficient values of the lower portion of each block, but in terms of the configuration, the adder 34, the vector quantization block 38, The functions of the inverse vector quantization block 40, the adder 42, the frame memory 44, and the motion prediction block 46 are included in the first encoding path A shown at the top of the figure, and correspond to each other. The adder 18, the vector quantization block 20, the inverse vector quantization block 24, the adder 26, the frame memory 28, and the motion prediction block 30 are components that perform substantially the same functions. .

따라서, 이들 구성부재들의 각 기능에 대해서는 전술한 제1부호화 경로(A)의 동작 설명에서 이미 상세하게 기술하였으므로, 여기에서의 상세한 설명은 생략한다.Therefore, since each function of these constituent members has already been described in detail in the operation description of the first encoding path A described above, the detailed description thereof will be omitted.

한편, 움직임 예측 블럭(46)으로 부터 라인 L24 상에 발생된 4×4 의 예측 신호가, 제2부호화 경로(B)는 제1부호화 경로(A)에서의 일차적인 차분신호 발생을 위해 인터포레이션 블럭(16)으로 제공된다는 것도 다른점이라 할 수 있을 것이다. 즉, 제2도(b)에 도시된 바와같은 라인 L22상의 4×4 의 예측신호는 인터포레이션 블럭(16)을 통해, 동도 (c)에 도시된 바와같이, 8×8의 예측신호로 보간되며, 이와같이 보간된 8×8 의 예측신호는 현재 프레임과의 차분신호 발생을 위해 라인 L13을 경유하여 감산기(14)로 제공된다.On the other hand, the 4x4 prediction signal generated on the line L24 from the motion prediction block 46 is interpolated so that the second encoding path B interpolates the first differential signal generation in the first encoding path A. It may be different from that provided by the migration block 16. That is, the 4x4 prediction signal on the line L22 as shown in FIG. 2 (b) is converted into an 8x8 prediction signal through the interpolation block 16, as shown in FIG. The interpolated 8x8 prediction signal is provided to the subtractor 14 via the line L13 to generate a difference signal with the current frame.

또한, 벡터 양자화블럭(38)에서의 벡터 양자화시에 감산기(34)로 부터 제공되는 차분신호가 4×4 의 크기를 갖는 DCT 변환계수들이기 때문에, 전술한 제1부호화 경로(A)에서와는 달리, 벡터 양자화 블럭(38)에서 벡터 양자화를 위해 다시 분할되는 부블럭(입력 패턴)의 크기는 2×2 가 바람직할 것이다.In addition, since the difference signals provided from the subtractor 34 at the time of vector quantization in the vector quantization block 38 are DCT transform coefficients having a magnitude of 4x4, unlike in the above-described first encoding path A, In the vector quantization block 38, the size of the subblock (input pattern) that is subdivided for vector quantization may be 2 × 2.

그러므로, 본 발명에 따른 제2부호화 경로(B)내의 벡터 양자화 블럭(38)으로 부터 라인 L26을 통해 도시 생략된 전송기로 출력되는 압축 부호화된 영상신호(OUTPUT2)는, 탁상용 또는 휴대용 일반 TV 수상기(또는 컴퓨터 모니터) 등, 초소형 TV 수상기에 적합한 384×512 정도의 화면 사이즈를 갖는 영상신호가 된다.Therefore, the compressed coded video signal OUTPUT2 outputted from the vector quantization block 38 in the second encoding path B according to the present invention to the transmitter not shown through line L26 is a desktop or portable general TV receiver ( Or a video monitor having a screen size of about 384 × 512, which is suitable for a compact TV receiver.

한편 상술한 바와같은 본 발명의 바람직한 실시예에서는 제2부호화 경로(B)에 벡터 양자화기(벡터 양자화 블럭(38)를 채용하여 입력 영상을 양자화하는 것으로 하여 설명하였으나, 본 발명이 반드시 이에 국한되는 것으로 이해되어서는 않될 것이다. 즉, 이 기술분야의 숙련자라면 본 발명의 제2부호화 경로(B)에서의 비트 발생량 등을 고려하여 스칼라 양자화기를 적용할 수도 있다는 것을 쉽게 알 수 있을 것이다. 이 경우, 스칼라 양자화된 DCT 변환계수들과 움직임 추정, 보상시에 발생되는 움직임 벡터들을 가변길이 부호화하기 위한 통상의 가변길이 부호화기를 부가하여 구성할 필요가 있을 것이다.On the other hand, in the preferred embodiment of the present invention as described above has been described as quantizing the input image by employing a vector quantizer (vector quantization block 38) in the second encoding path (B), the present invention is not limited thereto. That is, it will be easily understood by those skilled in the art that the scalar quantizer may be applied in consideration of the amount of bits generated in the second encoding path B of the present invention. It may be necessary to add a conventional variable length coder for variable length coding of scalar quantized DCT transform coefficients and motion vectors generated during motion estimation and compensation.

이상 설명한 바와같이 본 발명에 따른 영상 부호화 시스템은, 소정 블럭은 DCT 변환계수들에 대한 데시메이션 기법과 인터포레이션 기법을 MC-DCT 를 이용하는 하이브리드 부호화 시스템에 채용함으로서, 불필요하게 과다한 계산량과 그 구성상의 복잡함이 없이도 채널의 요구에 부응가능한 적어도 다른 화면 사이즈(라인수 및 화소수)를 갖는 압축 부호화된 영상신호를 효과적으로 생성할 수 있다.As described above, the video encoding system according to the present invention employs a decimation technique and an interpolation technique for DCT transform coefficients in a hybrid encoding system using MC-DCT, thereby unnecessarily excessive computation and its configuration. It is possible to effectively generate a compressed coded video signal having at least different screen sizes (number of lines and number of pixels) that can meet the needs of the channel without the complexity of the image.

Claims (6)

현재의 입력 프레임과, 이 현재 프레임 및 이전 프레임간의 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 차분신호에 대해 소정의 부블럭단위로 다수의 코드워드들을 갖는 코드 테이블을 이용한 벡터 양자화를 수행하는 영상 부호화 시스템에 있어서, 상기 현재 프레임을 8 × 8의 DCT 블럭으로 분할한 다음, 이 분할된 각 DCT 블럭들에 대한 시간영역의 영상신호를 코사인함수를 이용하여 8 × 8의 주파수영역의 DCT 변환계수값으로 변환하기 위한 DCT 블럭; 상기 변환된 현재 프레임의 8 × 8의 각 DCT 변환계수값과 시간축상에서 이에 대응하는 이전 프레임의 대응 8 × 8의 각 DCT 변환계수값에 의거하여 구해지는 제1차분신호에 대해 제1코드 테이블을 이용한 벡터 양자화를 적용하여 압축 부호화한 다음 부호화된 특정 화면 사이즈의 영상신호를 전송기에 제공하는 제1부호화 경로; 및 상기 변환된 현재 프레임의 8 × 8의 각 DCT 변환계수값에서 추출한 소정 크기의 저역부분의 각 DCT 변환계수값과 시간축상에서 이에 대응하는 이전 프레임의 소정 크기의 대응 저역부분의 각 DCT 변환계수값에 의거하여 구해지는 제2차분신호에 대해 제2코드 테이블을 이용한 벡터 양자화를 적용함으로서, 상기 제1부호화 경로에서 출력되는 상기 압축 부호화된 특정 화면 사이즈 보다 적어도 작은 화면 사이즈를 갖는 부호화된 영상신호를 전송기에 제공하는 제2부호화 경로를 포함하고, 상기 제1부호화경로는, 상기 DCT 블럭으로 부터 제공되는 상기 현재 프레임의 8 × 8의 각 DCT 변환계수값과, 시간축상에서 이에 대응하는 이전 프레임의 대응 8 × 8의 각 DCT 변환계수값을 이용하여 얻어지는 예측신호와의 감산을 통해 상기 제1차분신호를 생성하는 제1감산수단; 상기 제1감산수단으로 부터의 제1차분신호를 소정 크기의 부블럭으로 재분할한 다음, 분할된 각 부블럭들을 다수의 코드워드들을 갖는 상기 제1코드 테이블을 이용하여 벡터 양자화하는 제1벡터 양자화 블럭; 상기 벡터 양자화된 영상신호들을 상기 제1코드 테이블의 코드워드들과 동일한 코드워드들을 갖는 코드 테이블을 이용하여 역 벡터 양자화를 수행하여 상기 8 × 8의 각 DCT 변환계수값으로 복원한 다음, 이 복원된 각 DCT 변환계수값과 제1예측신호를 가산하여 상기 현재 프레임의 시간축상에 존재하는 상기 이전 프레임을 생성하는 제1이전 프레임 발생수단; 및 상기 현재 프레임과, 이 현재 프레임 및 상기 이전 프레임간의 움직임 추정, 보상을 통해 상기 제1예측신호를 발생하여 상기 제1감산수단 및 제1이전 프레임 발생수단에 제공하는 제1움직임 예측 블럭을 포함하며, 상기 제2부호화 경로는, 상기 DCT 블럭으로부터 제공되는 상기 8 × 8 의 각 DCT 변환계수값에서 소정 크기의 저역부분의 각 DCT 변환계수값을 각각 추출하는 데시메이션 블럭; 상기 데시메이션 블럭으로 부터 제공되는 상기 현재 프레임의 상기 각 블럭의 저역부분의 4×4의 각 DCT 변환계수값과, 시간축상에서 이에 대응하는 이전 프레임의 각 블럭의 저역부분의 대응 4×4의 각 DCT 변환계수값을 이용하여 얻어지는 제2예측신호와의 감산을 통해 제2차분신호를 생성하는 제2감산수단; 상기 제2감산수단으로 부터의 제2차분신호를 소정 크기의 부블럭으로 재분할한 다음, 분할된 각 부블럭들을 다수의 코드워드들을 갖는 상기 제2코드 테이블을 이용하여 벡터 양자화하는 제2벡터 양자화 블럭; 상기 벡터 양자화된 영상신호들을 상기 제2코드 테이블의 코드워드들과 동일한 코드워드들을 갖는 코드 테이블을 이용하여 역 벡터 양자화를 수행하여 상기 저역부분의 4×4의 각 DCT 변환계수값으로 복원한 다음, 이 복원된 저역부분의 각 DCT 변환계수값과 제2예측신호를 가산하여 상기 현재 프레임의 시간축상에 존재하는 상기 이전 프레임을 생성하는 제2이전 프레임 발생수단; 및 상기 현재 프레임과, 이 현재 프레임 및 상기 이전 프레임간의 움직임 추정, 보상을 통해 상기 제2예측신호를 발생하여 상기 제2감산수단 및 제2이전 프레임 발생수단에 제공하는 제2움직임 예측 블럭을 포함하는 것을 특징으로 하는 적응적인 영상 부호화 시스템.Image coding for performing vector quantization using a code table having a plurality of codewords in a predetermined subblock unit for a difference signal between a current input frame and a prediction frame obtained through motion estimation and compensation between the current frame and a previous frame. In the system, after dividing the current frame into 8 × 8 DCT blocks, the DCT transform coefficient value of the 8 × 8 frequency domain by using a cosine function for the time-domain video signal for each of the divided DCT blocks. A DCT block for converting the data into a transform; A first code table for a first difference signal obtained based on each DCT transform coefficient value of 8x8 of the converted current frame and the corresponding DCT transform coefficient value of corresponding 8x8 of the previous frame corresponding to the previous frame on a time axis; A first encoding path which is subjected to compression encoding by using the vector quantization and provides an encoded image signal having a specific screen size to a transmitter; And each DCT transform coefficient value of a low pass portion of a predetermined size extracted from each DCT transform coefficient value of 8 × 8 of the converted current frame, and each DCT transform coefficient value of a corresponding low pass portion of a predetermined size of a previous frame corresponding to that on the time axis. By applying vector quantization using a second code table to a second differential signal obtained based on the coded video signal, a coded video signal having a screen size of at least smaller than the compressed coded specific screen size output from the first encoding path is obtained. A second encoding path provided to the transmitter, wherein the first encoding path corresponds to an 8 × 8 DCT transform coefficient value of the current frame provided from the DCT block and a corresponding previous frame on the time axis; A first sense of generating the first differential signal through subtraction with a prediction signal obtained by using each DCT transform coefficient value of 8x8; It means; A first vector quantization for re-dividing the first differential signal from the first subtracting means into subblocks of a predetermined size, and then vector quantizing the divided subblocks using the first code table having a plurality of codewords block; Inverse vector quantization is performed on the vector quantized video signals by using a code table having the same codewords as the codewords of the first code table, and then restored to each DCT transform coefficient value of 8x8. First previous frame generating means for generating the previous frame existing on the time axis of the current frame by adding the respective DCT conversion coefficient values and the first prediction signal; And a first motion prediction block generating the first prediction signal through motion estimation and compensation between the current frame and the current frame and the previous frame, and providing the first prediction signal to the first subtraction means and the first previous frame generation means. The second encoding path may include: a decimation block for extracting each DCT transform coefficient value of a low-pass portion of a predetermined size from the DCT transform coefficient values of 8 × 8 provided from the DCT block; Each DCT transform coefficient value of 4x4 of the lower portion of each block of the current frame provided from the decimation block, and the corresponding 4x4 angle of the lower portion of each block of the previous frame corresponding thereto on the time axis. Second subtracting means for generating a second differential signal by subtracting from a second predictive signal obtained by using a DCT conversion coefficient value; A second vector quantization for re-dividing the second difference signal from the second subtracting means into subblocks of a predetermined size, and then vector quantizing the divided subblocks using the second code table having a plurality of codewords block; Inverse vector quantization is performed on the vector quantized video signals by using a code table having the same codewords as the codewords of the second code table, and then restored to the 4 × 4 DCT transform coefficient values of the low-pass portion. Second previous frame generating means for generating the previous frame existing on the time axis of the current frame by adding each DCT transform coefficient value of the restored low-pass portion and a second prediction signal; And a second motion prediction block generating the second prediction signal through motion estimation and compensation between the current frame and the current frame and the previous frame, and providing the second prediction signal to the second subtracting means and the second previous frame generating means. Adaptive video encoding system, characterized in that. 제1항에 있어서, 상기 제1부호화 경로는, 상기 제2움직임 예측 블럭으로 부터 제공되는 상기 4×4 의 제2예측신호를 보간하여 이전 프레임의 8×8의 각 DCT 변환계수값으로 복원하는 인터포레이션 블럭; 및 상기 DCT 블럭으로 부터 제공되는 상기 현재 프레임의 8×8의 각 DCT 변환계수값과 상기 보간된 이전 프레임의 8×8의 각 DCT 변환계수값과의 감산을 통해 다른 차분신호를 생성하는 제3감산수단을 더 포함하며, 상기 생성된 다른 차분신호를 상기 현재 프레임의 8×8 의 각 DCT 변환계수값으로서 상기 제1감산기에 제공하는 것을 특징으로 하는 적응적인 영상 부호화 시스템.The method of claim 1, wherein the first encoding path interpolates the 4x4 second prediction signal provided from the second motion prediction block and restores each DCT transform coefficient value of 8x8 of a previous frame. Interporation block; And a third difference signal generated by subtracting each DCT transform coefficient value of 8x8 of the current frame provided from the DCT block with each DCT transform coefficient value of 8x8 of the interpolated previous frame. And subtracting means, and providing the generated difference signal to the first subtractor as each DCT transform coefficient value of 8x8 of the current frame. 제1항 또는 제2항에 있어서, 상기 제1벡터 양자화 블럭은, 상기 8×8의 각 DCT 변환계수를 4개의 4×4 부블럭으로 재분할하는 것을 특징으로 하는 적응적인 영상 부호화 시스템.The adaptive video encoding system according to claim 1 or 2, wherein the first vector quantization block re-divides the 8x8 DCT transform coefficients into four 4x4 subblocks. 제1항 또는 제2항에 있어서, 상기 제1벡터 양자화 블럭은, 상기 8×8의 각 DCT 변환계수를 16개의 2×2 부블럭으로 재분할하는 것을 특징으로 하는 적응적인 영상 부호화 시스템.The adaptive video encoding system according to claim 1 or 2, wherein the first vector quantization block repartitions each of the 8x8 DCT transform coefficients into 16 2x2 subblocks. 제1항에 있어서, 상기 현재 프레임의 8×8의 각 DCT 변환계수값에서 추출한 상기 저역부분의 각 DCT 변환계수값의 크기는 4×4 인 것을 특징으로 적응적인 영상 부호화 시스템.The adaptive video encoding system of claim 1, wherein a size of each DCT transform coefficient value of the low-pass portion extracted from each DCT transform coefficient value of 8x8 of the current frame is 4x4. 제1항 또는 제5항에 있어서, 상기 제2벡터 양자화 블럭은, 상기 4×4의 각 DCT 변환계수를 4개의 2×2 부블럭으로 재분할하는 것을 특징으로 하는 적응적인 영상 부호화 시스템.6. The adaptive video encoding system according to claim 1 or 5, wherein the second vector quantization block repartitions the 4x4 DCT transform coefficients into four 2x2 subblocks.
KR1019950032852A 1995-09-29 1995-09-29 Adaptive image coding system KR0178206B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950032852A KR0178206B1 (en) 1995-09-29 1995-09-29 Adaptive image coding system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950032852A KR0178206B1 (en) 1995-09-29 1995-09-29 Adaptive image coding system

Publications (2)

Publication Number Publication Date
KR970019567A KR970019567A (en) 1997-04-30
KR0178206B1 true KR0178206B1 (en) 1999-05-01

Family

ID=19428499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950032852A KR0178206B1 (en) 1995-09-29 1995-09-29 Adaptive image coding system

Country Status (1)

Country Link
KR (1) KR0178206B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100720871B1 (en) * 2006-06-20 2007-05-23 삼성전자주식회사 Apparatus and method for low distortion display in portable communication terminal
KR100867995B1 (en) * 2006-01-07 2008-11-10 한국전자통신연구원 Method and apparatus for video data encoding and decoding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100867995B1 (en) * 2006-01-07 2008-11-10 한국전자통신연구원 Method and apparatus for video data encoding and decoding
KR100720871B1 (en) * 2006-06-20 2007-05-23 삼성전자주식회사 Apparatus and method for low distortion display in portable communication terminal

Also Published As

Publication number Publication date
KR970019567A (en) 1997-04-30

Similar Documents

Publication Publication Date Title
AU648969B2 (en) Adaptive motion compensation using a plurality of motion compensators
US6873655B2 (en) Codec system and method for spatially scalable video data
KR100703788B1 (en) Video encoding method, video decoding method, video encoder, and video decoder, which use smoothing prediction
US5434622A (en) Image signal encoding apparatus using adaptive frame/field format compression
KR0134343B1 (en) Coding device and method of quantization level
JPH0795583A (en) Adaptive compression of digital video data
KR19980017213A (en) Image Decoding System with Compensation Function for Degraded Image
US5467133A (en) Apparatus for compensating video motions in digital televisions
KR0178221B1 (en) Improved pattern vector encoding system using average value of pixels
KR0178206B1 (en) Adaptive image coding system
JP3271095B2 (en) High-efficiency encoder and decoder for digital image signal
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
JP3432886B2 (en) Hierarchical encoding / decoding apparatus and method, and transmission / reception system
RU2154917C2 (en) Improved final processing method and device for image signal decoding system
KR100207378B1 (en) Image encoding system using adaptive vector quantization
KR0181067B1 (en) Moving picture encoder of having compatibility
JP3087864B2 (en) HDTV signal subband encoding method
KR100207391B1 (en) Image coding system and moving information detecting method using adaptive vector quantization
KR0178205B1 (en) Image coding system uisng wavelet transform
US7013048B2 (en) Method and apparatus for coding a digitized original picture and method and apparatus for decoding a digitized coded picture
JP2802066B2 (en) Image signal inter-frame compression device
KR0169657B1 (en) Device for encoding moving picture signals
KR100229792B1 (en) Improved image coding system having functions for adaptively determining image coding mode
JPH0216887A (en) Picture encodor
EP0734179A2 (en) Method and apparatus for selectively encoding/decoding a video signal

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111101

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20121101

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee