KR20080007060A - Video encoding and decoding apparatus and methods using separation of amplitude and sign of a differential image signal - Google Patents

Video encoding and decoding apparatus and methods using separation of amplitude and sign of a differential image signal Download PDF

Info

Publication number
KR20080007060A
KR20080007060A KR1020060095876A KR20060095876A KR20080007060A KR 20080007060 A KR20080007060 A KR 20080007060A KR 1020060095876 A KR1020060095876 A KR 1020060095876A KR 20060095876 A KR20060095876 A KR 20060095876A KR 20080007060 A KR20080007060 A KR 20080007060A
Authority
KR
South Korea
Prior art keywords
code
difference signal
encoding
compensation
decoding
Prior art date
Application number
KR1020060095876A
Other languages
Korean (ko)
Other versions
KR100813001B1 (en
Inventor
최해철
정세윤
서정일
백승권
장인선
김재곤
문경애
장대영
홍진우
김진웅
심동규
이영렬
오승준
안창범
남정학
박호종
Original Assignee
광운대학교 산학협력단
한국전자통신연구원
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단, 한국전자통신연구원, 세종대학교산학협력단 filed Critical 광운대학교 산학협력단
Publication of KR20080007060A publication Critical patent/KR20080007060A/en
Application granted granted Critical
Publication of KR100813001B1 publication Critical patent/KR100813001B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Abstract

An apparatus and a method for encoding/decoding a video by using separation of amplitude and sign of a differential signal are provided to take an absolute value for a differential signal generated after motion prediction, thereby improving the correlation of pixels within a block where DCT(Discrete Cosine Transform) will be performed and accordingly increasing compression efficiency. A video prediction unit generates a prediction video with respect to an original video as an object for current encoding. A differential signal generating unit generates a differential signal between the original video and the prediction video. An amplitude/sign separating unit generates a sign bit(sign bit for compensation) for performing restoring of the differential signal and amplitude from the differential signal. An encoding unit performs transform encoding, quantization and entropy encoding with respect to the differential signal amplitude, and performs entropy encoding of the sign bit for compensation. A decoding unit performs inverse-transform of the differential signal amplitude, transform-encoded and quantized in the encoding unit, so as to perform restore into the original differential signal. By performing sign compensation by using the sign bit for compensation and performing motion compensation for the sign-compensated differential signal, the decoding unit restores the original video and stores the restored original video as a new reference video.

Description

차분신호의 크기와 부호의 분리를 이용한 동영상 부호화/복호화 장치 및 그 방법{Video Encoding and Decoding Apparatus and Methods using Separation of Amplitude and Sign of a differential image signal}Video Encoding / Decoding Apparatus and Method Using Separation of Code and Size of Differential Signal Separation of Amplitude and Sign of a differential image signal

도 1은 본 발명에 따른 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화 장치의 제1 실시예 구성도,1 is a configuration diagram of a first embodiment of a video encoding apparatus using separation of magnitude and code of a difference signal according to the present invention;

도 2는 본 발명에서 부호 전송을 위해 사용되는 부호의 스캐닝 순서에 대한 설명도,2 is an explanatory diagram of a scanning sequence of codes used for code transmission in the present invention;

도 3은 본 발명에 따른 도 1의 부호 전송부에서 부호들의 상관도를 이용한 부호 전송 방법에 대한 일실시예 설명도,3 is a diagram illustrating a code transmission method using a correlation between codes in a code transmission unit of FIG. 1 according to the present invention;

도 4는 본 발명에 따른 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화 장치의 제2 실시예 구성도,4 is a configuration diagram of a second embodiment of a video encoding apparatus using separation of magnitude and code of a difference signal according to the present invention;

도 5는 본 발명에 따른 도 1의 부호화 장치에 대한 동영상 복호화 장치의 제1 실시예 구성도,5 is a configuration diagram of a first embodiment of a video decoding apparatus for the encoding apparatus of FIG. 1 according to the present invention;

도 6은 본 발명에 따른 도 4의 부호화 장치에 대한 동영상 복호화 장치의 제2 실시예 구성도이다.6 is a configuration diagram of a second embodiment of a video decoding apparatus for the encoding apparatus of FIG. 4 according to the present invention.

* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing

10: 영상 예측부 11: 감산기(차분신호 생성기)10: image predicting unit 11: subtractor (difference signal generator)

12, 40: 크기/부호 분리부 13: 부호화부12, 40: size / sign separator 13: encoder

14: 복호화부 42: 모드 결정부14: decoder 42: mode determiner

44: 모드 선택부 50, 60: 복호화부44: mode selector 50, 60: decoder

51, 62: 부호보상부 52, 63: 영상 복원부51, 62: code compensator 52, 63: video restoring unit

61: 모드 선택부 61: mode selector

본 발명은 동영상 부호화/복호화 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 변환부호화의 성능 개선을 통하여 동영상 부호화의 효율을 향상시킬 수 있는, 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화/복호화 장치 및 그 방법에 관한 것이다.The present invention relates to a video encoding / decoding apparatus and a method thereof, and more particularly, to video encoding / decoding using separation of a magnitude and a code of a differential signal, which can improve the efficiency of video encoding by improving the performance of transform encoding. An apparatus and a method thereof are provided.

즉, 본 발명은, 차분신호(현재 부호화대상이 되는 원영상과 그 원영상에 대한 예측 영상 간의 차이)를 크기와 부호로 분리하여, 크기 신호에 대해서만 변환부호화 및 양자화를 수행하고 부호 정보는 수신측에서 복호화에 이용할 수 있도록 별도로 전송함으로써, 변환부호화의 성능 개선을 통하여 동영상 부호화의 효율을 향상시킬 수 있는, 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화/복호화 장치 및 그 방법에 관한 것이다.That is, the present invention separates the difference signal (the difference between the original video to be encoded currently and the predicted video for the original video) into a magnitude and a sign, performs transform encoding and quantization only on the magnitude signal, and receives the sign information. The present invention relates to a video encoding / decoding apparatus using a separation of a magnitude and a code of a differential signal, which can be transmitted separately for use in decoding, thereby improving the efficiency of video encoding by improving the performance of transform encoding.

동영상 압축을 위한 표준화 기구인 ISO/IEC의 MPEG과 ITU-T의 VCEG의 연구에 의해서 H.261, H.263, MPEG-1, MPEG-2, MPEG-4, 그리고 H.264와 같은 많은 표준안이 개발되어 있다. 이 표준안들은 조금씩 차이는 있으나, 대체로 움직임 추정과 보상, 변환 부호화, 그리고 엔트로피 인코딩을 포함하는 구조로 구성되어 있다. Many standards, such as H.261, H.263, MPEG-1, MPEG-2, MPEG-4, and H.264, have been studied by ISO / IEC MPEG and ITU-T's VCEG, the standardization bodies for video compression. Is developed. Although these standards differ slightly, they generally consist of structures that include motion estimation and compensation, transform coding, and entropy encoding.

특히, 변환 부호화와 관련해서는, 각 표준안들은 다양한 블록크기를 사용하지만 공통적으로 이산여현변환(DCT: Discrete Cosine Transform) 방식을 많이 채택하여 사용하고 있다. 비디오에서 영상을 표현하기 위한 화소 값이나 영상 압축을 위한 움직임 예측 후에 생성한 차분 영상에서의 화소 값은 모두 실수 값을 가진다. 그리고, 비디오 영상에서는 공간적이나 시간적으로 인접한 화소들은 서로 유사한 값을 가지는 특성이 있다. 입력 값이 실수이고 상관관계가 높은 영상의 소정 블록에 대해서 이산 여현 변환의 기저함수들은 좋은 성능을 가는 것으로 알려져 있다.In particular, in relation to transform coding, each standard proposes a variety of block sizes, but employs many Discrete Cosine Transform (DCT) schemes in common. Pixel values for representing an image in a video or pixel values in a differential image generated after motion prediction for image compression have a real value. In the video image, spatially and temporally adjacent pixels have similar characteristics. It is known that the basis functions of the discrete cosine transform have a good performance for a given block of an image having a real value and a high correlation.

따라서, 종래의 많은 동영상 압축 표준에서는 이산여현변환 방식을 사용하여 높은 신호 압축효과를 얻고 이를 통해서 압축률을 증가시킨다. Therefore, many conventional video compression standards use discrete cosine conversion to obtain a high signal compression effect, thereby increasing the compression rate.

하지만, 종래의 동영상 압축 표준에서는 움직임 예측을 수행한 후에 획득한 차분신호가 양수 값과 음수 값을 모두 가지기 때문에, 신호의 집중이 낮아 많은 수의 이산여현변환의 기저 함수들을 사용해야하고 또한 양자화 후에 부호화해야 할 변환 계수들의 개수도 상당량 존재하여 압축 효율이 떨어지는 문제점이 있었다. However, in the conventional video compression standard, since the differential signal obtained after performing the motion prediction has both positive and negative values, the signal concentration is low so that the basis functions of a large number of discrete cosine transforms should be used, and the coding after quantization is performed. Since the number of transform coefficients to be present is also significant, there is a problem in that the compression efficiency is lowered.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 변환부호화의 성능 개선을 통하여 동영상 부호화의 효율을 향상시킬 수 있는, 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화/복호화 장치 및 그 방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, and provides an apparatus and method for encoding / decoding a video using a difference signal size and code separation, which can improve video encoding efficiency through performance of transform encoding. Its purpose is to.

즉, 본 발명은, 움직임 예측 후에 생성된 차분신호에 절대값을 취함으로써, 변환부호화를 수행할 블록 내 화소들의 상관관계를 높여 압축 효율을 증가시키는, 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화 장치 및 그 방법을 제공하는데 그 목적이 있다.That is, according to the present invention, by taking an absolute value on the difference signal generated after the motion prediction, the video using the size of the difference signal and the separation of the code increases the correlation between the pixels in the block to be transformed and increases the compression efficiency. An object of the present invention is to provide an encoding device and a method thereof.

또한, 본 발명은, 영상 신호를 복호화하기 위해서 역 변환부호화 등을 수행한 결과에, 부호화 전에 차분신호에 절대값을 취함에 따라 손상되었던 차분신호의 부호를 보상해 줌으로써 원래의 영상을 복원하는, 차분신호의 크기와 부호의 분리를 이용한 동영상 복호화 장치 및 그 방법을 제공하는데 또 다른 목적이 있다.In addition, the present invention restores the original image by compensating the code of the difference signal that is damaged by taking an absolute value of the difference signal before encoding, as a result of performing inverse transform encoding or the like to decode the video signal. Another object of the present invention is to provide a video decoding apparatus and a method using separation of a magnitude and a code of a difference signal.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. It will also be appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기 목적을 달성하기 위한 본 발명은, 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화 장치에 있어서, 현재 부호화 대상이 되는 원영상에 대하여 예측 영상을 생성하기 위한 영상 예측 수단; 상기 원영상과 상기 예측 영상 간의 차분신호를 생성하기 위한 차분신호 생성 수단; 상기 차분신호로부터 크기와 상기 차분신호의 복원에 필요한 부호비트(보상용 부호비트)를 생성하기 위한 크기/부호 분리 수단; 상기 차분신호 크기에 대해서는 변환부호화, 양자화, 및 엔트로피 인코딩을 수행하고, 상기 보상용 부호비트는 엔트로피 인코딩하기 위한 부호화 수단; 및 상기 부호화 수단에서 변환부호화 및 양자화된 차분신호 크기를 역변환하여 원래의 차분신호로 복원한 후 상기 보상용 부호비트를 이용하여 부호 보상하고, 상기 부호보상된 차분신호에 움직임 보상함으로써 원 영상을 복원하여 새로운 기준영상으로 저장하기 위한 상기 복호화 수단을 포함한다. According to an aspect of the present invention, there is provided a video encoding apparatus using separation of a magnitude and a code of a difference signal, comprising: image prediction means for generating a predicted image with respect to an original image currently to be encoded; Difference signal generation means for generating a difference signal between the original image and the prediction image; Magnitude / code separation means for generating a magnitude and a code bit (compensation code bit) required for reconstruction of the difference signal from the difference signal; Encoding means for performing transcoding, quantization, and entropy encoding on the difference signal magnitude, and the compensation code bits for entropy encoding; And inversely converting the transform-coded and quantized differential signal magnitudes into the original differential signal, and performing code compensation using the compensation code bits, and performing motion compensation on the coded differential signal to restore the original image. The decoding means for storing as a new reference image.

한편, 본 발명은 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화 장치에 있어서, 현재 부호화 대상이 되는 원영상에 대하여 예측 영상을 생성하기 위한 영상 예측 수단; 상기 원영상과 상기 예측 영상 간의 차분신호를 생성하기 위한 차분신호 생성 수단; 압축효율을 기준으로 상기 차분신호에 대한 부호화 모드를 결정하여, 일반모드의 경우에는 상기 차분신호를 부호화 수단으로 전달하고, 분리모드의 경우에는 상기 차분신호로부터 크기와 상기 차분신호의 복원에 필요한 부호비트(보상용 부호비트)를 생성하여 상기 차분신호 크기는 상기 부호화 수단으로 전달하기 위한 크기/부호 분리 수단; 부호화 모드에 따라 상기 차분신호 또는 상기 차분신호 크기에 대해 변환부호화, 양자화, 및 엔트로피 인코딩을 수행하되, 상기 분리모드의 경우에는 상기 보상용 부호비트에 대해서도 엔트로피 인코딩을 하기 위한 상기 부호화 수단; 및 상기 부호화 수단에서 변환부호화 및 양자화된 신호를 역변 환하여 원래의 차분신호로 복원한 후 상기 복원된 차분신호에 움직임 보상함으로써 원영상을 복원하여 새로운 기준영상으로 저장하되, 상기 분리모드의 경우에는 상기 보상용 부호비트를 이용하여 상기 복원된 차분신호의 부호를 보상한 후 원 영상을 복원하기 위한 복호화 수단을 포함한다.On the other hand, the present invention provides a video encoding apparatus using separation of magnitude and code of a differential signal, comprising: image predicting means for generating a predicted image of an original image currently to be encoded; Difference signal generation means for generating a difference signal between the original image and the prediction image; A coding mode for the difference signal is determined on the basis of the compression efficiency, and in the normal mode, the difference signal is transmitted to an encoding means. In the separation mode, a code necessary for reconstructing the magnitude and the difference signal from the difference signal is determined. Size / code separation means for generating a bit (compensation code bit) and transmitting the difference signal magnitude to the encoding means; The encoding means for performing transform encoding, quantization, and entropy encoding on the difference signal or the difference signal magnitude in accordance with an encoding mode, and performing entropy encoding on the compensation code bits in the separation mode; And inversely converting the transform-coded and quantized signal by the encoding means to restore the original differential signal, and then compensate for the motion of the restored differential signal to reconstruct the original image and store it as a new reference image. And decoding means for reconstructing the original image after compensating the code of the reconstructed differential signal using the compensation code bit.

한편, 본 발명은, 차분신호의 크기와 부호의 분리를 이용한 동영상 복호화 장치에 있어서, 입력 비트열을 엔트로피 디코딩하고 역양자화 및 역 변환부호화하여 원래의 차분신호를 복원하기 위한 복호화 수단; 해당 보상용 부호비트를 이용하여 상기 복원된 차분신호의 부호를 보상하기 위한 부호 보상 수단; 및 상기 부호보상된 차분신호에 움직임 보상을 하여 원영상을 복원하기 위한 영상 복원 수단을 포함한다.On the other hand, the present invention provides a video decoding apparatus using separation of magnitude and code of a differential signal, comprising: decoding means for entropy decoding an input bit string, inverse quantization, and inverse transform encoding to restore an original difference signal; Code compensating means for compensating a code of the recovered differential signal using the corresponding compensating code bit; And image reconstruction means for reconstructing the original image by performing motion compensation on the coded difference signal.

한편, 본 발명은, 차분신호의 크기와 부호의 분리를 이용한 동영상 복호화 장치에 있어서, 입력 비트열을 엔트로피 디코딩하고 역양자화 및 역변환부호화하여 원래의 차분신호를 복원하기 위한 복호화 수단; 부호화 모드 정보에 따라 부호 보상 여부를 결정하여, 일반모드의 경우에는 상기 복원된 차분신호를 영상 복원 수단으로 전달하고, 분리모드의 경우에는 상기 복원된 차분신호를 부호 보상 수단으로 전달하기 위한 모드 선택 수단; 해당 보상용 부호비트를 이용하여 상기 모드 선택 수단에서 전달된 차분신호의 부호를 보상하기 위한 상기 부호 보상 수단; 및 상기 부호보상된 차분신호 또는 상기 모드 선택 수단에서 전달된 차분신호에움직임 보상을 하여 원영상을 복원하기 위한 상기 영상 복원 수단을 포함한다.On the other hand, the present invention provides a video decoding apparatus using separation of magnitude and code of a differential signal, comprising: decoding means for entropy decoding an input bit string, inverse quantization, and inverse transform encoding to restore an original difference signal; Mode selection for determining whether to compensate the code according to the encoding mode information, to deliver the reconstructed difference signal to the image recovery means in the normal mode, and to transmit the reconstructed difference signal to the code compensation means in the separated mode Way; The code compensating means for compensating the code of the difference signal transmitted from the mode selecting means by using the compensating code bit; And the image restoring means for restoring the original image by compensating for motion of the coded difference signal or the difference signal transmitted from the mode selection means.

한편, 본 발명은 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화 방 법에 있어서, 현재 부호화 대상이 되는 원영상에 대하여 예측 영상을 생성하는 영상 예측 단계; 상기 원영상과 상기 예측 영상 간의 차분신호를 생성하는 차분신호 생성 단계; 상기 차분신호로부터 크기와 상기 차분신호의 복원에 필요한 부호비트(보상용 부호비트)를 생성하는 크기/부호 분리 단계; 상기 차분신호의 크기에 대해서는 변환부호화, 양자화, 및 엔트로피 인코딩하고, 상기 보상용 부호비트에 대해서는 엔트로피 인코딩하는 부호화 단계; 및 상기 부호화 단계에서 변환부호화 및 양자화된 차분신호 크기를 역변환하여 원래의 차분신호를 복원한 후 상기 보상용 부호비트를 이용하여 부호보상하고, 상기 부호보상된 차분신호에 움직임 보상함으로써 원 영상을 복원하여 새로운 기준영상으로 저장하는 복호화 단계를 포함한다.Meanwhile, the present invention provides a video encoding method using separation of magnitude and code of a difference signal, comprising: an image prediction step of generating a prediction image for an original image currently being encoded; Generating a difference signal between the original image and the prediction image; A magnitude / code separation step of generating a magnitude and a code bit (compensation code bit) required to recover the difference signal from the difference signal; An encoding step of transform encoding, quantization, and entropy encoding on the magnitude of the difference signal, and entropy encoding on the compensation code bits; And reconstructing the original differential signal by inversely transforming the transform-coded and quantized differential signal magnitudes in the encoding step, and performing code compensation using the compensation code bits, and restoring the original image by motion compensation to the coded differential signal. And storing the data as a new reference image.

한편, 본 발명은, 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화 방법에 있어서, 부호화 대상이 되는 원영상에 대하여 예측영상을 생성하는 영상예측 단계; 상기 원영상과 상기 예측영상간의 차분신호를 생성하는 차분신호 생성 단계; 압축효율을 기준으로 상기 차분신호에 대한 부호화 모드를 결정하며, 상기 차분신호로부터 크기와 상기 차분신호의 복원에 필요한 부호비트(보상용 부호비트)를 생성하는 크기/부호 분리 단계; 상기 부호화 모드가 일반 모드이면, 상기 차분신호에 대해 변환부호화, 양자화, 및 엔트로피 인코딩을 하는 일반모드 부호화 단계; 상기 일반모드의 경우, 상기 일반모드 부호화 단계에서 변환부호화 및 양자화된 신호를 역변환하여 차분신호로 복원한 후 상기 복원된 차분신호에 움직임 보상함으로써 원 영상을 복원하여 새로운 기준영상으로 저장하는 일반모드 복호화 단계; 및 상기 부호화 모드가 분리 모드이면, 상기 차분신호 크기에 대해서는 변환부호화, 양자화, 및 엔트로피 인코딩을 하고, 상기 보상용 부호 비트에 대해서는 엔트로피 인코딩을 하는 분리모드 부호화 단계; 및 상기 분리 모드의 경우, 상기 분리모드 부호화 단계에서 변환부호화 및 양자화된 신호를 역변환하여 원래의 차분신호로 복원한 후 해당 보상용 부호비트를 이용하여 부호를 보상하고, 상기 부호보상된 차분신호에 움직임 보상을 하여 원 영상을 복원하여 기준영상으로 저장하는 분리모드 복호화 단계를 포함한다.On the other hand, the present invention, a video encoding method using the separation of the magnitude and the code of the difference signal, the video prediction step of generating a prediction image for the original image to be encoded; Generating a difference signal between the original image and the prediction image; A size / code separation step of determining an encoding mode for the difference signal based on a compression efficiency, and generating a magnitude and a code bit (compensation code bit) required to recover the difference signal from the difference signal; A normal mode encoding step of performing transform encoding, quantization, and entropy encoding on the difference signal if the encoding mode is a normal mode; In the normal mode, in the normal mode encoding step, the transform-coded and quantized signals are inversely transformed to be restored to the differential signal, and then the normal mode decoding is performed to restore the original image and store the new reference image by motion compensation to the restored differential signal. step; And a separation mode encoding step of performing transform encoding, quantization, and entropy encoding on the difference signal size and entropy encoding on the compensation code bits when the encoding mode is a separation mode. In the split mode, the transform coded and quantized signals are inversely transformed in the split mode encoding step to be restored to the original differential signal, and then the code is compensated using the corresponding compensation code bits. And a split mode decoding step of reconstructing the original image by performing motion compensation and storing the original image as a reference image.

한편, 본 발명은, 차분신호의 크기와 부호의 분리를 이용한 동영상 복호화 방법에 있어서, 입력 비트열을 엔트로피 디코딩하고 역양자화 및 역 변환부호화하여 원래의 차분신호를 복원하는 복호화 단계; 해당 보상용 부호비트를 이용하여 상기 복원된 차분신호의 부호를 보상하는 부호 보상 단계; 및 상기 부호보상된 차분신호에 움직임 보상을 하여 원영상을 복원하는 영상 복원 단계를 포함한다.On the other hand, the present invention, a video decoding method using the separation of the magnitude and code of the differential signal, Entropy decoding the input bit stream, inverse quantization and inverse transform encoding to restore the original differential signal; A code compensating step of compensating a code of the restored differential signal by using a corresponding compensation code bit; And an image restoration step of restoring the original image by performing motion compensation on the coded difference signal.

한편, 본 발명은, 차분신호의 크기와 부호의 분리를 이용한 동영상 복호화 방법에 있어서, 입력 비트열을 엔트로피 디코딩하고 역양자화 및 역 변환부호화하여 원래의 차분신호를 복원하는 복호화 단계; 부호화 모드 정보를 확인하여 분리 모드이면, 해당 보상용 부호비트를 이용하여 상기 복호화 단계에서 복원된 차분신호의 부호를 보상하는 부호 보상 단계; 및 상기 복호화 단계에서 복원된 차분신호 또는 상기 부호 보상 단계에서 부호보상된 차분신호에 움직임 보상을 하여 원영상을 복원하기 위한 영상 복원 수단을 포함한다.On the other hand, the present invention, a video decoding method using the separation of the magnitude and code of the differential signal, Entropy decoding the input bit stream, inverse quantization and inverse transform encoding to restore the original differential signal; A code compensating step of verifying encoding mode information and compensating a code of a difference signal reconstructed in the decoding step by using a corresponding compensation code bit; And image reconstruction means for reconstructing the original image by performing motion compensation on the differential signal reconstructed in the decoding step or the differential signal reconstructed in the code compensation step.

본 발명은 동영상 압축 핵심 기술 중의 하나인 변환코딩에 관한 것으로서, 동영상 부호화 과정 중에서 이산여현변환을 수행하기 전에 소정 블록에 대해 절대 값을 취하여 공간적 중복성을 증가시킴으로써(즉, 소정 블록에 대해 절대값을 취하여 공간적 중복성을 증가시킨 후, 이산여현변환을 수행함으로써), 신호를 더 집중시키고 이를 통해 압축 효율을 높인다. The present invention relates to transform coding, which is one of the core techniques of video compression, and takes an absolute value for a predetermined block and increases spatial redundancy (that is, an absolute value for a predetermined block) before performing a discrete cosine transform during video encoding. By taking a spatial redundancy and then performing discrete cosine transforms) to further concentrate the signal and thereby increase the compression efficiency.

그리고, 본 발명에 따른 복호화 장치에서 영상 신호를 복호화하기 위해서는 역이산여현변환을 수행한 결과에, '부호화 전에 차분신호의 절대값을 취할 때에 손상되었던 차분신호의 부호'를 보상해 주어 원래의 영상을 구한다. 그러므로 본 발명에서는 원래 차분신호의 부호를 따로 부호화하여 전송한다.In order to decode the video signal in the decoding apparatus according to the present invention, the result of performing the inverse discrete cosine transform is to compensate for the 'sign of the difference signal damaged when the absolute value of the difference signal is taken before encoding'. Obtain Therefore, in the present invention, the code of the original differential signal is separately coded and transmitted.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화 장치의 제1 실시예 구성도이다.1 is a configuration diagram of a first embodiment of a video encoding apparatus using separation of magnitude and code of a difference signal according to the present invention.

본 발명에 따른 동영상 부호화 장치는, 도 1에 도시된 바와 같이, 영상 예측부(10), 차분신호를 생성하는 감산기(차분신호 생성기)(11), 차분신호의 크기와 부호를 분리하는 크기/부호 분리부(12), 부호화부(13), 및 복호화부(14)를 포함하여 이루어진다.As shown in FIG. 1, the video encoding apparatus according to the present invention includes an image predictor 10, a subtractor (difference signal generator) 11 that generates a difference signal, and a size that separates the magnitude and code of the difference signal / A code separator 12, an encoder 13, and a decoder 14 are included.

영상 예측부(10)는 움직임 예측부(ME)(101), 움직임 보상부(MC)(102), 인트라 예측 선택부(103), 인트라 예측부(104)를 포함하여 이루어지는 것으로서, 현재 부호화 대상이 되는 원영상에 대하여 예측 영상을 생성하는 것이다. 그러면, 감산기(11)는 현재 부호화 대상이 되는 원영상에서 영상 예측부(10)에서 생성된 예측 영상을 감산하여 차분신호를 생성하게 된다.The image predictor 10 includes a motion predictor (ME) 101, a motion compensator (MC) 102, an intra prediction selector 103, and an intra predictor 104. The prediction image is generated with respect to the original image. Then, the subtractor 11 subtracts the predicted image generated by the image predictor 10 from the original image to be currently encoded to generate a difference signal.

즉, 영상 예측부(10)는 부호화 대상이 되는 현재 프레임(Fn)에서 소정의 크기의 한 블록을 부호화하기 위해서 움직임 예측이나 추정을 하고, 감산기(11)는 현재 블록에 대한 차분신호(Dn)를 생성한다.That is, the image predictor 10 performs motion estimation or estimation to encode one block of a predetermined size in the current frame F n to be encoded, and the subtractor 11 performs the difference signal D for the current block. n )

크기/부호 분리부(12)는 차분신호(Dn)를 크기와 부호로 분리하는 것으로서, 절대치 계산부(121)와 부호전송부(122)를 포함하여 이루어진다. 여기서, 절대치 계산부(121)는 차분신호(Dn)에 절대치 연산을 하여 그 차분신호의 크기를 구하는 것이다. 즉, 절대치 계산부(121)는 블록 내 화소간의 상관도를 높이기 위하여, 차분신호에 대해서 절대값을 취하는 것이다. 그리고, 부호전송부(122)는 그 차분신호의 부호(sign)를 추출하는 것이다. 즉, 부호전송부(122)는 차분신호로부터 차분신호의 복원에 필요한 부호비트(이는 보상용 부호비트로서, 이하, 간단히 '부호비트' 라 한다)를 생성하는 것이다.The magnitude / code separator 12 separates the difference signal D n into magnitude and sign, and includes an absolute value calculator 121 and a code transmitter 122. Here, the absolute value calculator 121 calculates the magnitude of the difference signal by performing an absolute value operation on the difference signal D n . That is, the absolute value calculator 121 takes an absolute value with respect to the difference signal in order to increase the correlation between the pixels in the block. The code transmitter 122 extracts a sign of the difference signal. That is, the code transmitting unit 122 generates a code bit necessary for restoring the differential signal from the difference signal (this is a compensation code bit, hereinafter simply referred to as a 'code bit').

부호화부(13)는 이산여현변환부(DCT)(131), 양자화부(132), 재정렬부(133), 엔트로피 인코더(134)를 포함하여 이루어지는 것으로서, 절대치 계산부(121)에서 출력되는 차분신호 크기에 대해서는 이산여현변환(131), 양자화(132), 재정렬(133) 및 엔트로피 인코딩 과정(134)을 통하여 영상 부호화하고, 부호전송부(122)로부터 전송된 '차분신호 부호비트'에 대해서는 엔트로피 인코딩(134)만을 수행한다. 부호화부(13)는 수신측 복호화 장치에서 영상을 복원하는데 이용할 수 있도록, 절대치를 취하기 전의 원래 차분신호(Dn)에 대한 부호비트를 엔트로피 인코딩(134)하여 수신측으로 전송한다.The encoding unit 13 includes a discrete cosine transform unit (DCT) 131, a quantization unit 132, a reordering unit 133, and an entropy encoder 134, and the difference output from the absolute value calculating unit 121. The signal magnitude is encoded by the discrete cosine transform 131, the quantization 132, the reordering 133, and the entropy encoding process 134, and the difference signal code bit transmitted from the code transmitter 122 is obtained. Only entropy encoding 134 is performed. The encoder 13 entropy encodes 134 the bit bits of the original difference signal D n before taking an absolute value and transmits the encoded bit to the receiving side so that the receiving side decoding apparatus can use it to reconstruct the image.

한편, 복호화부(14)는 역양자화부(Q-1)(141), 역이산여현변환부(

Figure 112006071606123-PAT00001
)(142), 부호 보상부(143), 가산기(144), 필터(145)를 포함하여 이루어지는 것으로서, 다음 블록 또는 다음 프레임을 부호화하기 위해서 현재 블록 또는 현재 프레임을 부호화하는 과정에서도 원래 블록의 부호를 보상하여 영상을 복원하는 것이다.Meanwhile, the decoding unit 14 includes an inverse quantization unit (Q −1 ) 141 and an inverse discrete cosine transform unit (
Figure 112006071606123-PAT00001
142, the sign compensator 143, the adder 144, and the filter 145, and the sign of the original block even when the current block or the current frame is encoded to encode the next block or the next frame. To restore the image.

보다 상세하게 설명하면, 복호화부(14)는 부호화부(13)에서 이산여현변환 및 양자화된 차분신호 크기(양자화부(132)의 출력)에 역이산여현변환과 역양자화 과정을 적용함으로써 원래의 차분신호 크기를 복원한 후, 부호전송부(122)에서 전송되는 부호비트(보상용 부호비트)를 이용하여 원래의 차분신호를 복원한다. 그리고나서, 복호화부(14)는 그 복원된 차분신호(차분 영상)(Dn´)에 움직임 보상을 하여 원 영상(원래 영상)을 복원한 후, 이를 다음 영상의 부호화를 위한 새로운 기준영상으로 저장한다.In more detail, the decoder 14 applies the inverse discrete cosine transform and inverse quantization process to the discrete cosine transform and quantized differential signal magnitude (output of the quantizer 132) in the encoder 13. After restoring the magnitude of the difference signal, the original difference signal is restored using the code bit (compensation code bit) transmitted from the code transmitter 122. Then, the decoder 14 restores the original image (the original image) by performing motion compensation on the reconstructed differential signal (difference image) D n ′, and then converts it to a new reference image for encoding the next image. Save it.

이하, 부호 전송부(122)를 더욱 상세히 설명하기로 한다(도 2, 도 3 참조). Hereinafter, the code transmitter 122 will be described in more detail (see FIGS. 2 and 3).

부호 전송부(122)에서의 부호 전송은 그 목적에 따라서 다음과 같은 다양한 방법으로 전송할 수 있다. 부호 전송부(122)는 인코딩 과정에서 생성된 차분신 호(Dn)의 부호 모두를 그대로 전송할 수도 있다.Code transmission in the code transmission unit 122 may be transmitted in various ways as follows according to the purpose. The code transmitter 122 may transmit all of the codes of the differential signal D n generated during the encoding process.

이와 달리, 부호 전송부(122)는 차분신호(Dn)의 부호 중에서 "141" 및 "142"를 통하여 복원된 차분신호 블록의 화소값이 "0"이 아닌 모든 값들에 대해서만 해당 부호를 전송할 수도 있다. 왜냐하면, 이산여현변환(T)(131)과 양자화과정(Q)(132)을 거쳤다가 복원된 신호는 원래 영상에 비해서 더 적은 차분신호를 가질 수 있고, 실제로 복호화 장치에서 복원에 사용되는 신호는 역양자화와 역이산여현변환을 수행하여 얻은 복원된 차분신호이기 때문이다.On the contrary, the code transmitter 122 transmits the corresponding code only to all values whose pixel values of the differential signal block reconstructed through the "141" and "142" of the differential signal D n are not "0". It may be. Because, the signal reconstructed after going through the discrete cosine transform (T) 131 and the quantization process (Q) 132 may have less differential signal than the original image, and the signal used for reconstruction in the decoding apparatus is actually This is because the restored differential signal obtained by performing inverse quantization and inverse discrete cosine transform.

요컨대, 부호 전송부(122)는 차분신호(Dn)의 부호를 전송하는 데, 이를 모두 전송하는 것이 아니고 "141" 및 "142"를 통하여 복원된 차분신호 블록의 화소값이 "0"이 아닌 화소에 대응되는 위치의 부호만을 전송한다. 다시 말해, "141" 및 "142"를 통하여 복원된 차분신호의 "0"이 아닌 계수 값들에 대해서는 원래 차분신호의 부호를 참조하여 정해진 순서대로 그 부호(원래 차분신호의 부호)를 전송하게 된다. In other words, the code transmitter 122 transmits the code of the difference signal D n , but not all of them, but the pixel value of the differential signal block restored through "141" and "142" is "0". Only the code of the position corresponding to the pixel is transmitted. In other words, with respect to coefficient values other than "0" of the differential signal restored through "141" and "142", the code (original code of the original differential signal) is transmitted in a predetermined order by referring to the code of the original differential signal. .

원래, 부호화부(13)에서 차분신호에 절대값을 취한 양수 값에 대해서만 이산여현변환 등을 하였기 때문에, 이를 역이산여현변환 등(141, 142)을 거쳐서 복원하면 그 화소 값은 양수 값만 나와야 한다. 따라서, "141" 및 "142"를 통하여 복원된 차분신호의 화소 값이 음수 값이면 잘못된 결과이며, 이때에는 영상의 에러를 줄이기 위해서 그 값은 "0"으로 한다. 따라서, 화소값이 음수가 나왔던 해당 화소에 대한 부호는 전송하지 않게 될 것이다.Originally, since the encoder 13 performs discrete cosine transform only on positive values that take an absolute value on the differential signal, the pixel value should only have a positive value when it is restored through the inverse discrete cosine transforms 141 and 142. . Therefore, if the pixel value of the difference signal reconstructed through "141" and "142" is a negative value, an incorrect result is obtained. In this case, the value is set to "0" in order to reduce an error of an image. Therefore, the sign for the pixel whose pixel value is negative will not be transmitted.

도 2는 본 발명에서 부호 전송을 위해 사용되는 부호의 스캐닝 순서에 대한 설명도이다.2 is an explanatory diagram of a scanning sequence of codes used for code transmission in the present invention.

주파수축과 달리, 차분 영상(차분 신호)을 표현하는 공간 축에서는 화소에 대해 그 위치에 따른 의미나 가중치는 없다. 본 발명에서는 하나의 실시예로서 복호화 장치(디코더)로 보내져야 할 계수의 부호를 순차 스캔을 통해서 전송한다. Unlike the frequency axis, the spatial axis representing the differential image (differential signal) has no meaning or weight according to its position with respect to the pixel. In one embodiment of the present invention, the code of the coefficient to be sent to the decoding apparatus (decoder) is transmitted through sequential scan.

본 발명에 따른 동영상 부호화 장치는, 순차 스캔을 하면서 "0" 아닌 부호들에 대해서는 H.264 표준에서 사용하고 있는 문맥 기반 이진 산술 부호화(CABAC: Context Adaptive Binary Arithmetic Coding)로 엔트로피 부호화(134)하여 복호화 장치(디코더) 측으로 전송한다. 본 발명에서는 순차 스캐닝을 사용하였으나, 스캐닝 순서를 부호화 장치(인코더)와 복호화 장치(디코더)에서 동일한 방법으로 적용한다면 H.264에서 사용하는 지그재그 스캐닝이나 다른 방향의 스캐닝 순서를 사용하여도 무방하다.The video encoding apparatus according to the present invention performs entropy encoding (134) on Context Adaptive Binary Arithmetic Coding (CABAC) used in the H.264 standard for sequential scans. Transmit to the decoding device (decoder) side. In the present invention, sequential scanning is used. However, if the scanning order is applied in the same manner in the encoding apparatus (encoder) and the decoding apparatus (decoder), the zigzag scanning or the other direction scanning sequence used in H.264 may be used.

한편, 본 발명에서 "0" 아닌 모든 화소에 대한 부호비트를 전송하는 것은 많은 추가비트를 발생시키므로, 네트워크 상황이나 전송 대역폭에 따라 적응적으로 부호비트를 전송할 수도 있다. 또 다른 실시 예에서는 "141" 및 "142"를 통하여 복원된 차분신호의 화소 값 중에서 1 또는 2의 값을 가지는 화소들은 복원 영상에서 에러 1 또는 2를 의미한다. 이런 화소 값들은 영상의 화질에 미치는 영향이 다른 큰 값을 가지는 화소 값들에 비하여 상대적으로 적기 때문에, 적은 부호 비트 전송을 요구하는 상황일 때는 이 값들을 "0"으로 대체하고 부호를 전송하지 않을 수 있다. 즉, 화소 값이 문턱치(임계치)(threshold) 이상인 화소들에 대해서만 부호 비 트를 전송할 수 있다.Meanwhile, in the present invention, transmitting the code bits for all the pixels other than "0" generates a lot of additional bits, and thus, the code bits may be adaptively transmitted according to network conditions or transmission bandwidths. In another embodiment, pixels having a value of 1 or 2 among the pixel values of the difference signal reconstructed through "141" and "142" mean an error 1 or 2 in the reconstructed image. Since these pixel values have a relatively small influence on the image quality of the image compared with other large pixel values, these values may be replaced with "0" and may not transmit a code when a small number of bit bits is required. have. That is, the code bit may be transmitted only for pixels whose pixel value is greater than or equal to a threshold.

문턱치(임계치)(threshold)를 사용하여 부호 전송을 한 경우에는, 다른 추가정보 없이 복호화 장치(디코더)에서 복원된 차분신호에 대해서 동일한 문턱치(임계치) 이하의 값은 버리고, 나머지 계수들에 대해서만 부호화 장치(인코더) 쪽에서 보내온 화소 값을 이용하여 부호 보상을 한다. In the case of code transmission using a threshold, the value below the same threshold (threshold) is discarded for the difference signal reconstructed by the decoding apparatus (decoder) without any additional information, and only the remaining coefficients are encoded. Code compensation is performed using the pixel value sent from the device (encoder).

아래의 [수학식 1]에서 R(x,y)는 복원된 차분신호의 크기이고, Tm 은 문턱치(임계치) 값이다. 영상의 화질을 크게 떨어뜨리지 않는 범위 내에서 문턱치(임계치) 값을 변화시켜서 복호화 장치(디코더)로 전송해야할 부호 비트를 줄일 수 있다. In Equation 1 below, R (x, y) is the magnitude of the recovered differential signal, and Tm Is a threshold value. The code bit to be transmitted to the decoding apparatus (decoder) can be reduced by changing the threshold (threshold) value within a range that does not significantly degrade the quality of the image.

Figure 112006071606123-PAT00002
Figure 112006071606123-PAT00002

요컨대, 부호 전송부(122)는 복호화부(14)에서 "141"과 "142"를 통하여 복원된 차분신호의 블록을 순차 스캔하면서, 화소값이 "0"이 아닌 화소의 위치에 해당하는 차분신호의 부호비트를 보상용 부호비트로 생성하여 전송할 수도 있으며, 또는 화소값이 "0"이 아닌 화소 중에서 그 화소값이 소정의 임계 이상인 화소의 위치에 해당하는 차분신호의 부호비트를 보상용 부호비트로 생성하여 전송할 수도 있다.In other words, the code transmitter 122 sequentially scans the blocks of the difference signals reconstructed through the "141" and "142" by the decoder 14, and the difference corresponding to the position of the pixel whose pixel value is not "0". The code bit of the signal may be generated as the compensation code bit and transmitted, or the code bit of the differential signal corresponding to the position of the pixel whose pixel value is greater than or equal to a predetermined threshold among pixels whose pixel value is not "0" may be used as the compensation code bit. You can also create and send.

도 3은 본 발명에 따른 도 1의 부호 전송부에서 부호들의 상관도를 이용한 부호 전송 방법에 대한 일실시예 설명도로서, 도 2를 통하여 설명한 부호 전송 방식(스캔 순서대로 부호를 전송하는 방식)과 다른 방식을 나타낸다.3 is a diagram illustrating an embodiment of a code transmission method using a correlation between codes in the code transmission unit of FIG. 1 according to the present invention, a code transmission method described with reference to FIG. 2 (a method of transmitting codes in a scanning order). Different way.

도 2의 순차 스캐닝과 달리, 도 3에서는 부호를 전송해야 할 차분신호("141"과 "142"를 통하여 복원된 차분신호)의 부호들 간의 상관도를 이용하여 부호를 전송한다. 복원된 차분신호 블록에서 큰 값을 가지는 화소들은 예측 영상과 현재 부호화 중인 영상과의 차이가 큰 값이라는 것을 의미한다. Unlike the sequential scanning of FIG. 2, in FIG. 3, a code is transmitted by using a correlation between codes of a difference signal (a difference signal reconstructed through “141” and “142”) to be transmitted. Pixels having a large value in the reconstructed differential signal block mean that a difference between the prediction image and the image currently being encoded is large.

일반적으로 영상의 경계에서는 예측 값과의 차이가 크게 발생할 확률이 높으며, 그 차이 값들(차분신호들)은 서로 유사한 부호를 가질 가능성이 크다. 따라서 부호 전송부(122)는 복원된 차분신호(차분 영상)의 화소 값들을 그 절대값의 크기 순서대로 내림차순으로 정렬하고, 그 정렬된 화소값들에 대한 부호는 원래의 차분신호에서 가져다가 나열한다. 이렇게 나열된 부호들이 엔트로피 부호화되어 수신측인 동영상 복호화 장치로 전송되는 것이다.In general, there is a high probability that a difference with a predicted value greatly occurs at the boundary of an image, and the difference values (differential signals) are likely to have similar signs. Accordingly, the code transmitter 122 sorts the pixel values of the reconstructed differential signal (differential image) in descending order of the magnitude of the absolute value, and the code of the aligned pixel values is taken from the original differential signal and arranged. do. The codes listed in this way are entropy encoded and transmitted to the video decoding apparatus at the receiving end.

하나의 예로서 trailing_sign_flag 값이 "1"이면 차분신호(복원된 차분신호)의 부호가 적어도 N개(successive_sign_count = N)가 연속적으로 나타났다는 것을 의미하며, 이 연속적인 N개에 대해서는 양수 또는 음수에 대한 부호(successive_sign_flag)만 전송하고, 나머지 부호에 대해서는 정렬된 순서대로 엔트로피 부호화하여 보내준다(remain_sign_coding()).As an example, if the trailing_sign_flag value is "1", it means that at least N (successive_sign_count = N) signs of the difference signal (the restored difference signal) are successively displayed. Only the sign (successive_sign_flag) is transmitted, and the remaining codes are sent by entropy encoding in the sorted order (remain_sign_coding ()).

반대로, trailing_sign_flag 값이 "0"이면 차분신호의 연속적인 부호가 N개보다 적다는 것을 의미하며, 이 경우는 내림차순으로 정렬된 부호를 순서대로 모두 엔트로피 부호화하여 전송한다(sign_coding()). On the contrary, if the trailing_sign_flag value is "0", it means that there are less than N consecutive codes of the difference signal. In this case, all the codes arranged in descending order are entropy coded and transmitted (sign_coding ()).

N의 값이 커질 경우에는 부호화 효율은 높아지나 발생 확률은 상대적으로 감소하며, N의 값이 작을 경우에는 부호화 효율은 낮으나 발생 확률은 증가한다. 연속적인 부호의 수를 정의하는 N의 값으로 복호화 장치(디코더)와 부호화 장치(인코더) 사이에 미리 정의된 값을 사용한다면 별도로 부호화하여 복호화 장치(디코더)에 전송하는 과정을 수행하지 않을 수 있으며, 또는 영상의 특성에 따라서 가변적인 N을 전송함으로써 효율적인 부호전송을 할 수도 있다.If the value of N is large, the coding efficiency is high but the occurrence probability is relatively decreased. If the value of N is small, the coding efficiency is low but the probability of occurrence is increased. If a predefined value is used between the decoding device (decoder) and the encoding device (encoder) as a value of N that defines the number of consecutive codes, the process of separately encoding and transmitting to the decoding device (decoder) may not be performed. Alternatively, efficient code transmission may be performed by transmitting variable N according to the characteristics of the video.

정리하면, 부호 전송부(122)는 복호화부(14)에서 "141"과 "142"를 통하여 복원된 차분신호의 화소값이 "0"이 아닌 화소의 위치에 해당하는 차분신호의 부호비트, 또는 화소값이 소정의 임계 이상인 화소의 위치에 해당하는 차분신호의 부호비트를 엔트로피 인코더(134)와 부호 보상부(143)으로 전송하거나, 또는 도 3을 통하여 설명한 바와 같이 연속적인 부호들에 대해서는 해당 부호를 전부 전송하는 것이 아니라 해당 부호의 개수 및 부호만을 전송할 수 있다.In summary, the code transmitting unit 122 includes the code bits of the differential signal corresponding to the position of the pixel whose pixel value of the differential signal restored by the decoding unit 14 through "141" and "142" is not "0", Alternatively, the code bit of the difference signal corresponding to the position of the pixel whose pixel value is greater than or equal to a predetermined threshold is transmitted to the entropy encoder 134 and the code compensator 143, or as described with reference to FIG. Instead of transmitting all of the corresponding codes, only the number and codes of the corresponding codes may be transmitted.

도 4는 본 발명에 따른 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화 장치의 제2 실시예 구성도로서, 차분신호의 절대값에 대하여 이산여현변환하는 방식(분리 모드)(도 1 참조)과 기존의 부호화 방식(일반 모드)을 선택적으로 사용하는 동영상 부호화 장치를 나타낸다.FIG. 4 is a configuration diagram of a video encoding apparatus according to a second embodiment using separation of magnitude and code of a difference signal according to the present invention, in which a discrete cosine transform is performed on an absolute value of a difference signal (separation mode) (see FIG. 1). And a video encoding apparatus for selectively using an existing encoding scheme (normal mode).

부호화 방식을 선택적으로 사용하는 부호화 장치(도 4)는 기본적인 구성은 도 1의 부호화 장치와 같으나, 다만 크기/부호 분리부(40)가 절대치 계산부(41), 모드 결정부(42), 및 부호 전송부(43)를 포함하여 이루어진다는 점에서 차이가 있고, 또한 모드 선택부(44)가 더 포함되어 있어서도 차이가 있다. 이하에서는 차이 가 있는 구성 수단만을 중점적으로 설명하기로 한다.The encoding apparatus (FIG. 4) selectively using the coding scheme is the same as the encoding apparatus of FIG. 1, except that the size / code separator 40 includes an absolute value calculator 41, a mode determiner 42, and There is a difference in that it includes the code transmitter 43, and there is a difference even if the mode selector 44 is further included. Hereinafter, only the configuration means having a difference will be described.

도 1에 도시된 바와 같은 동영상 부호화 장치에서 수행되는 부호화 방식, 즉 차분신호의 절대값에 대한 이산여현변환 과정은 기존의 방법에 비하여 신호의 압축 효율이 높기 때문에 엔트로피 인코딩하는데 있어서 이득이 있다. 하지만, 이 경우에는 항상 추가적인 부호비트가 복호화 장치(디코더)로 전송되어야만 한다는 한계가 있다.The encoding scheme performed in the video encoding apparatus as shown in FIG. 1, that is, the discrete cosine transform process on the absolute value of the differential signal has a higher compression efficiency than the conventional method, and thus has an advantage in entropy encoding. However, in this case, there is a limitation that an additional code bit must always be transmitted to the decoding device (decoder).

도 4에 도시된 바와 같은 동영상 부호화 장치에서는 절대값을 취한 이산여현변환을 이용한 부호화 방식과 종래의 이산여현변환 방법을 그대로 이용한 방식을 선택적으로 사용한다. 움직임 예측이나 추정이후에 생성된 차분신호의 화소 값이 전부 또는 대다수가 절대값을 취하기 전부터 동일한 부호를 가지고 있다면 절대값을 취한 이산여현변환을 통한 압축향상이 없거나 미비하게 된다. 따라서, 불필요한 부호 비트가 추가되기 때문에 결과적으로 압축 효율이 떨어질 수 있다. 이에 본 발명에서는 이미 같은 부호를 가진 블록에 의해서 압축 효율이 저하될 가능성이 있는 블록에 대해서는 종래의 방법을 그대로 적용하여 부호비트를 전송하지 않고 인코딩한다. In the video encoding apparatus illustrated in FIG. 4, a coding scheme using a discrete cosine transform having an absolute value and a method using a conventional discrete cosine transform method are selectively used. If all or most of the pixel values of the difference signal generated after the motion prediction or estimation have the same sign before taking the absolute value, there is no or no improvement in compression through the discrete cosine transform taking the absolute value. Therefore, since unnecessary code bits are added, the compression efficiency may be lowered as a result. Accordingly, in the present invention, a block having a code having the same code may be encoded without transmitting a code bit by applying a conventional method as it is.

모드 결정부(42)는 차분신호에 절대값을 취한 후 이산여현변환 등을 수행하는 방식(분리 모드)과 기존의 방식(크기와 부호를 분리하지 않고 이산여현변환을 수행하는 방식, 즉 일반모드) 중에서 어느 방식을 사용할지는 해당 방식의 압축효율에 따라 결정된다. 즉, 모드 결정부(42)는 차분신호와 절대치 계산부(41)에서 출력되는 차분신호의 크기를 이용하여 압축효율을 기준으로 '부호화 모드'를 결정한 다. 여기서, 압축 효율의 판단은 H.264에서 모드 선택 시에 일반적으로 사용하는 비트-왜곡 최적화(RDO: Rate-Distortion Optimization) 방식에 의해서 결정한다. The mode determining unit 42 takes the absolute value of the differential signal and then performs a discrete cosine transform or the like (separation mode) and an existing method (the method of performing the discrete cosine transform without separating the magnitude and the sign, that is, the normal mode). ) Is determined by the compression efficiency of the method. That is, the mode determiner 42 determines the 'coding mode' based on the compression efficiency using the magnitude of the difference signal and the difference signal output from the absolute value calculator 41. Here, the determination of the compression efficiency is determined by a bit-distortion optimization (RDO) method commonly used in mode selection in H.264.

본 발명에 따른 부호화 장치에서 선택적으로 절대값을 취한 이산여현변환을 사용한 경우에는 이러한 사용사실을 동영상 복호화 장치(디코더)에 알려주어야 한다. 즉, 부호 전송부(43)는 부호비트와 함께, 모드 플래그(mode flag)라는 1비트를 디코더로 전송한다. 모드 플래그 값이 "0"일 경우는 기존의 차분신호의 크기와 부호를 분리하지 않고 일체로 이산여현변환되었다는 것을 나타내고, 모드 플래그 값이 "1"일 경우에는 차분신호에 절대값을 취한 후 이산여현변환을 수행하고 그 부호는 별도로 전송한다는 것을 나타낸다.In the case of using a discrete cosine transform whose absolute value is selectively used in the encoding apparatus according to the present invention, the fact of use should be reported to the video decoding apparatus (decoder). In other words, the code transmitter 43 transmits one bit called a mode flag to the decoder together with the code bit. If the mode flag value is "0", it indicates that the discrete cosine transform is performed without separating the magnitude and sign of the existing difference signal. If the mode flag value is "1", the absolute value is taken to the difference signal and then discrete. Performs a cosine transform and indicates that the sign is transmitted separately.

한편, 부호화 장치에서는 다음 블록 또는 다음 프레임을 인코딩하기 위해서 현재 블록 또는 현재 프레임을 복호화(디코딩)하는 과정을 수행하는데, 이 복호화 과정에서도 모드 플래그 값에 따라서 이산여현방법을 선택적으로 사용하여 차분신호를 복원한다. 즉, 모드 선택부(44)는 부호 전송부(43)로부터 수신한 모드 플래그에 따라 부호 보상 여부를 결정하고, 만약 모드 플래그가 "1"인 경우에는 모드 플래그와 함께 전송되어 온 부호 비트를 이용하여 차분신호를 복원한다. Meanwhile, the encoding apparatus performs a process of decoding (decoding) the current block or the current frame in order to encode the next block or the next frame. In this decoding process, the differential coarse method is selectively used according to the mode flag value. Restore That is, the mode selector 44 determines whether to compensate the code according to the mode flag received from the code transmitter 43, and if the mode flag is "1", uses the code bits transmitted together with the mode flag. To recover the differential signal.

도 5는 본 발명에 따른 도 1의 부호화 장치에 대한 동영상 복호화 장치의 제1 실시예 구성도로서, 크게 복호화부(50), 부호 보상부(51), 및 영상 복원부(52)를 포함하여 이루어진다. 즉, 도 5의 복호화 장치는 차분신호의 절대값에 이산여현변환 등을 수행한 부호화 장치(도 1)에 대한 복호화 장치이다.5 is a configuration diagram of a first embodiment of a video decoding apparatus for the encoding apparatus of FIG. 1 according to the present invention, and includes a decoder 50, a code compensator 51, and an image reconstruction unit 52. Is done. That is, the decoding apparatus of FIG. 5 is a decoding apparatus for the encoding apparatus (FIG. 1) which has performed discrete cosine transform or the like on the absolute value of the differential signal.

복호화부(50)는 엔트로피 디코더(501), 재정렬부(502), 역양자화부(503), 및 역이산여현변환부(504)를 포함하여 이루어지는 것으로서, 부호화 장치(도 1)로부터 받은 비트열을 기존의 동영상 압축 표준들처럼 엔트로피 디코딩(501), 데이터 재정렬(502), 역양자화(503), 및 역이산여현변환(504) 등의 복호화 과정(50)을 수행한다.The decoding unit 50 includes an entropy decoder 501, a reordering unit 502, an inverse quantization unit 503, and an inverse discrete cosine transform unit 504, and includes a bit string received from an encoding device (FIG. 1). The decoding process 50 performs entropy decoding 501, data reordering 502, inverse quantization 503, and inverse discrete cosine transform 504, like the existing video compression standards.

그리고 나면, 부호 보상부(51)는 부호화 장치(인코더)(도 1)가 전송한 '차분신호의 부호 비트'를 이용하여, 크기와 부호가 있는 차분신호(Dn´)를 복원한다. 즉부호 보상부(51)는 부호화 장치(인코더)(도 1)로부터 받은 부호들을 이용하여 복호화부(50)의 출력값 중 "0" 아닌 화소들을 보상한다. Then, the code compensator 51 restores the signed difference signal D n ′ with the magnitude and the signed using the 'sign bit of the difference signal' transmitted by the encoding device (encoder) (FIG. 1). That is, the code compensator 51 compensates for pixels other than "0" in the output value of the decoder 50 by using the codes received from the encoder (encoder) (FIG. 1).

영상 복원부(52)는 움직임 보상부(MC)(521), 인트라 예측부(522), 가산기(523), 및 필터(524)를 포함하여 이루어지는 것으로서, 부호 보상부(51)에서 출력되는 복원된 차분신호(Dn´)와 기준 영상(이전 영상)을 이용하여 원래의 영상을 복원한다. The image reconstructor 52 includes a motion compensator (MC) 521, an intra predictor 522, an adder 523, and a filter 524, and is reconstructed by the code compensator 51. The original image is reconstructed using the difference signal D n ′ and the reference image (previous image).

도 6은 본 발명에 따른 도 4의 부호화 장치에 대한 동영상 복호화 장치의 제2 실시예 구성도로서, 크게 복호화부(60), 모드 선택부(61), 부호 보상부(62), 및 영상 복원부(63)를 포함하여 이루어진다. 즉, 도 6의 복호화 장치는 도 4의 부호화 장치에 대한 복호화 장치이다.6 is a configuration diagram of a video decoding apparatus according to a second embodiment of the encoding apparatus of FIG. 4 according to the present invention, and includes a decoder 60, a mode selector 61, a code compensator 62, and an image reconstruction. It comprises a portion 63. That is, the decoding apparatus of FIG. 6 is a decoding apparatus for the encoding apparatus of FIG. 4.

복호화부(60)는 도 5의 복호화부(50)와 같이, 부호화 장치(도 4)로부터 받은 비트열을 기존의 동영상 압축 표준들처럼 엔트로피 디코딩, 데이터 재정렬, 역양자화, 및 역이산여현변환 등의 복호화 과정을 수행한다.The decoder 60, like the decoder 50 of FIG. 5, entropy decoding, data reordering, inverse quantization, inverse discrete cosine transform, and the like, of the bit stream received from the encoding apparatus (FIG. 4) as in the existing video compression standards. Performs a decoding process.

그리고 나면, 모드 선택부(61)는 도 4의 부호화 장치로부터 수신한 모드 플래그에 따라 부호 보상 여부를 결정하고, 그 결정에 따라 복호화부(60)의 출력을 영상 복원부(63) 또는 부호 보상부(62) 중 어느 하나로 전달한다.Then, the mode selector 61 determines whether to compensate the code according to the mode flag received from the encoding apparatus of FIG. 4, and accordingly determines the output of the decoder 60 to the image reconstruction unit 63 or the code compensation. It passes to any of the parts 62.

즉, 모드 선택부(61)는 모드 플래그 값이 "0"이면 기존의 방식에 따라 인코딩되었다고 판단하여 움직임 보상만을 통하여 영상이 복원되도록 하고, 모드 플래그 값이 "1"이면 절대값을 사용한 이산여현변환 방식에 따라 인코딩되었다고 판단하여 부호 보상부(62)에서 차분신호의 부호가 보상되도록 한다.That is, if the mode flag value is "0", the mode selector 61 determines that the image is encoded according to the conventional scheme, and reconstructs the image only through motion compensation. If the mode flag value is "1", the discrete cosine using the absolute value is used. The code compensator 62 compensates the code of the differential signal by determining that the data has been encoded according to the conversion scheme.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

상기와 같은 본 발명은, 움직임 예측을 수행한 후에 획득한 차분신호가 양수 값과 음수 값 모두를 가지는 기존의 동영상 압축 표준과 달리, 차분신호를 모두 양 수로 만들어 새로운 차분신호를 생성하고 그 새로이 생성된 차분신호에 대해서 이산 여현 변환을 수행함으로써, 신호의 집중(compaction)을 증가시켜 더욱 적은 수의 이산여현변환의 기저 함수를 사용하게 하고, 또한 양자화 후에 부호화해야 할 변환 계수들의 개수도 현저히 감소시켜 압축 효율을 증가시키는 효과가 있다. As described above, the present invention, unlike the existing video compression standard, in which a difference signal obtained after performing motion prediction has both positive and negative values, generates a new differential signal by making all the differential signals positive and generates the new differential signal. By performing the discrete cosine transform on the differential signal, the compaction of the signal is increased to use the basis function of the smaller number of discrete cosine transforms, and the number of transform coefficients to be encoded after quantization is also significantly reduced. There is an effect of increasing the compression efficiency.

즉, 본 발명은, 움직임 예측 후에 생성된 차분신호에 절대값을 취함으로써, 이산여현변환을 수행할 블록 내 화소들의 상관관계를 높여 압축 효율을 증가시키는 효과가 있다.That is, the present invention has an effect of increasing the compression efficiency by increasing the correlation of the pixels in the block to be subjected to the discrete cosine transform by taking the absolute value to the difference signal generated after the motion prediction.

Claims (29)

차분신호의 크기와 부호의 분리를 이용한 동영상 부호화 장치에 있어서,In a video encoding apparatus using separation of magnitude and code of a difference signal, 현재 부호화 대상이 되는 원영상에 대하여 예측 영상을 생성하기 위한 영상 예측 수단;Image prediction means for generating a predicted image with respect to the original image currently to be encoded; 상기 원영상과 상기 예측 영상 간의 차분신호를 생성하기 위한 차분신호 생성 수단;Difference signal generation means for generating a difference signal between the original image and the prediction image; 상기 차분신호로부터 크기와 상기 차분신호의 복원에 필요한 부호비트(보상용 부호비트)를 생성하기 위한 크기/부호 분리 수단;Magnitude / code separation means for generating a magnitude and a code bit (compensation code bit) required for reconstruction of the difference signal from the difference signal; 상기 차분신호 크기에 대해서는 변환부호화, 양자화, 및 엔트로피 인코딩을 수행하고, 상기 보상용 부호비트는 엔트로피 인코딩하기 위한 부호화 수단; 및Encoding means for performing transcoding, quantization, and entropy encoding on the difference signal magnitude, and the compensation code bits for entropy encoding; And 상기 부호화 수단에서 변환부호화 및 양자화된 차분신호 크기를 역변환하여 원래의 차분신호로 복원한 후 상기 보상용 부호비트를 이용하여 부호 보상하고, 상기 부호보상된 차분신호에 움직임 보상함으로써 원 영상을 복원하여 새로운 기준영상으로 저장하기 위한 상기 복호화 수단The encoding means inversely transforms the transform-coded and quantized differential signal to restore the original differential signal, and then performs code compensation using the compensation code bits, and restores the original image by motion compensation to the coded differential signal. The decoding means for storing as a new reference image 을 포함하는 동영상 부호화 장치.Video encoding apparatus comprising a. 제 1 항에 있어서,The method of claim 1, 상기 크기/부호 분리 수단은,The size / code separation means, 상기 차분신호에 절대치를 취하여 상기 차분신호의 크기를 구하기 위한 절대치 계산 수단; 및Absolute value calculation means for obtaining an magnitude of the difference signal by taking an absolute value to the difference signal; And 상기 차분신호로부터 상기 보상용 부호비트를 생성하여 상기 부호화 수단과 상기 복호화 수단으로 전송하기 위한 부호 전송 수단Code transmission means for generating said compensation code bit from said difference signal and transmitting it to said encoding means and said decoding means 을 포함하는 동영상 부호화 장치.Video encoding apparatus comprising a. 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화 장치에 있어서,In a video encoding apparatus using separation of magnitude and code of a difference signal, 현재 부호화 대상이 되는 원영상에 대하여 예측 영상을 생성하기 위한 영상 예측 수단; Image prediction means for generating a predicted image with respect to the original image currently to be encoded; 상기 원영상과 상기 예측 영상 간의 차분신호를 생성하기 위한 차분신호 생성 수단;Difference signal generation means for generating a difference signal between the original image and the prediction image; 압축효율을 기준으로 상기 차분신호에 대한 부호화 모드를 결정하여, 일반모드의 경우에는 상기 차분신호를 부호화 수단으로 전달하고, 분리모드의 경우에는 상기 차분신호로부터 크기와 상기 차분신호의 복원에 필요한 부호비트(보상용 부호비트)를 생성하여 상기 차분신호 크기는 상기 부호화 수단으로 전달하기 위한 크기/부호 분리 수단;A coding mode for the difference signal is determined on the basis of the compression efficiency, and in the normal mode, the difference signal is transmitted to an encoding means. In the separation mode, a code necessary for reconstructing the magnitude and the difference signal from the difference signal is determined. Size / code separation means for generating a bit (compensation code bit) and transmitting the difference signal magnitude to the encoding means; 부호화 모드에 따라 상기 차분신호 또는 상기 차분신호 크기에 대해 변환부호화, 양자화, 및 엔트로피 인코딩을 수행하되, 상기 분리모드의 경우에는 상기 보상용 부호비트에 대해서도 엔트로피 인코딩을 하기 위한 상기 부호화 수단; 및The encoding means for performing transform encoding, quantization, and entropy encoding on the difference signal or the difference signal magnitude in accordance with an encoding mode, and performing entropy encoding on the compensation code bits in the separation mode; And 상기 부호화 수단에서 변환부호화 및 양자화된 신호를 역변환하여 원래의 차분신호로 복원한 후 상기 복원된 차분신호에 움직임 보상함으로써 원영상을 복원하여 새로운 기준영상으로 저장하되, 상기 분리모드의 경우에는 상기 보상용 부호비트를 이용하여 상기 복원된 차분신호의 부호를 보상한 후 원 영상을 복원하기 위한 복호화 수단The encoding means inversely transforms the transform-coded and quantized signal to restore the original differential signal, and then restores the original image as a new reference image by performing motion compensation on the restored differential signal. Decoding means for restoring the original image after compensating the code of the restored differential signal using 을 포함하는 동영상 부호화 장치.Video encoding apparatus comprising a. 제 3 항에 있어서,The method of claim 3, wherein 상기 크기/부호 분리 수단은, The size / code separation means, 상기 차분신호에 절대치를 취하여 상기 차분신호의 크기를 구하기 위한 절대치 계산 수단; 및Absolute value calculation means for obtaining an magnitude of the difference signal by taking an absolute value to the difference signal; And 압축효율을 기준으로 부호화 모드를 결정하고, 상기 일반모드의 경우에는 상기 차분신호를 상기 부호화 수단으로 전달하고 상기 분리모드의 경우에는 상기 차분신호의 크기를 상기 부호화 수단으로 전달하기 위한 모드 결정 수단; 및Mode determination means for determining an encoding mode on the basis of a compression efficiency, for transmitting the difference signal to the encoding means in the normal mode and for transmitting the magnitude of the difference signal to the encoding means in the separation mode; And 상기 분리모드의 경우에는 상기 차분신호로부터 크기와 상기 보상용 부호비트를 생성하여, 상기 차분신호 크기는 상기 부호화 수단으로 전달하고 상기 보상용 부호비트는 상기 부호화 모드와 함께 상기 부호화 수단과 상기 복호화 수단으로 전송하기 위한 부호 전송 수단In the separation mode, a magnitude and the compensation code bit are generated from the difference signal, and the difference signal magnitude is transmitted to the encoding means, and the compensation code bit is transmitted together with the encoding mode. Code transmission means for transmission by means of 을 포함하는 동영상 부호화 장치.Video encoding apparatus comprising a. 제 4 항에 있어서,The method of claim 4, wherein 상기 모드 결정 수단은,The mode determining means, 비트-왜곡 최적화(RDO: Rate-Distortion Optimization) 방식에 따라 결정된 압축 효율을 기준으로 부호화 모드를 결정하는 것을 특징으로 하는 동영상 부호화 장치.And a coding mode is determined based on a compression efficiency determined according to a rate-distortion optimization (RDO) method. 제 4 항에 있어서,The method of claim 4, wherein 상기 부호화 모드 정보는,The encoding mode information, 한 비트의 모드 플래그인 것을 특징으로 하는 동영상 부호화 장치.A video encoding device, characterized in that the mode flag of one bit. 제 2 항 또는 제 4 항에 있어서,The method according to claim 2 or 4, 상기 부호 전송 수단은,The code transmission means, 상기 복호화 수단에서 역변환을 통하여 복원된 차분신호의 화소값이 "0"이 아닌 화소의 위치에 해당하는 상기 차분신호의 부호비트를 상기 보상용 부호비트로 생성하는 것을 특징으로 하는 동영상 부호화 장치.And the code bit of the difference signal corresponding to the position of the pixel whose pixel value of the difference signal reconstructed through the inverse transform by the decoding means is a compensation code bit. 제 2 항 또는 제 4 항에 있어서,The method according to claim 2 or 4, 상기 부호 전송 수단은,The code transmission means, 상기 복호화 수단에서 역변환을 통하여 복원된 차분신호의 화소값이 소정의 임계 이상인 화소의 위치에 해당하는 상기 차분신호의 부호비트를 상기 보상용 부호비트로 생성하는 것을 특징으로 하는 동영상 부호화 장치.And the code bit of the difference signal corresponding to the position of the pixel whose pixel value of the difference signal reconstructed through the inverse transformation by the decoding means is the compensation code bit. 제 2 항 또는 제 4 항에 있어서,The method according to claim 2 or 4, 상기 부호 전송 수단은,The code transmission means, 상기 복호화 수단에서 역변환을 통하여 복원된 차분신호의 부호들간의 상관도를 이용하여 상기 보상용 부호비트를 생성하는 것을 특징으로 하는 동영상 부호화 장치.And the compensation code bit is generated by using the correlation between the codes of the difference signal reconstructed by the inverse transform in the decoding unit. 제 9 항에 있어서,The method of claim 9, 상기 부호 전송 수단은,The code transmission means, 상기 복호화 수단에서 역변환을 통하여 복원된 차분신호의 화소값들을 절대값의 크기 순서대로 내림차순으로 정렬하고 상기 보상용 부호비트로는 상기 정렬된 화소값들에 대한 원래의 부호를 정렬 순서에 따라 전송하되, 연속적인 부호들에 대 해서는 해당 부호의 개수 및 부호만을 전송하는 것을 특징으로 하는 동영상 부호화 장치.In the decoding means, the pixel values of the differential signal reconstructed through the inverse transformation are arranged in descending order of the magnitude of the absolute value, and the original code for the aligned pixel values is transmitted in the sorting order as the compensation code bits. A video encoding device, characterized in that for transmitting consecutive codes, transmits only the number of codes and the code. 차분신호의 크기와 부호의 분리를 이용한 동영상 복호화 장치에 있어서,In a video decoding apparatus using separation of magnitude and code of a difference signal, 입력 비트열을 엔트로피 디코딩하고 역양자화 및 역 변환부호화하여 원래의 차분신호를 복원하기 위한 복호화 수단;Decoding means for entropy decoding the input bit stream and inverse quantizing and inverse transform encoding to restore the original differential signal; 해당 보상용 부호비트를 이용하여 상기 복원된 차분신호의 부호를 보상하기 위한 부호 보상 수단; 및Code compensating means for compensating a code of the recovered differential signal using the corresponding compensating code bit; And 상기 부호보상된 차분신호에 움직임 보상을 하여 원영상을 복원하기 위한 영상 복원 수단Image restoring means for restoring the original image by performing motion compensation on the coded difference signal 을 포함하는 동영상 복호화 장치.Video decoding apparatus comprising a. 차분신호의 크기와 부호의 분리를 이용한 동영상 복호화 장치에 있어서,In a video decoding apparatus using separation of magnitude and code of a difference signal, 입력 비트열을 엔트로피 디코딩하고 역양자화 및 역변환부호화하여 원래의 차분신호를 복원하기 위한 복호화 수단;Decoding means for entropy decoding the input bit stream and inverse quantizing and inverse transform encoding to restore the original differential signal; 부호화 모드 정보에 따라 부호 보상 여부를 결정하여, 일반모드의 경우에는 상기 복원된 차분신호를 영상 복원 수단으로 전달하고, 분리모드의 경우에는 상기 복원된 차분신호를 부호 보상 수단으로 전달하기 위한 모드 선택 수단;Mode selection for determining whether to compensate the code according to the encoding mode information, to deliver the reconstructed difference signal to the image recovery means in the normal mode, and to transmit the reconstructed difference signal to the code compensation means in the separated mode Way; 해당 보상용 부호비트를 이용하여 상기 모드 선택 수단에서 전달된 차분신호의 부호를 보상하기 위한 상기 부호 보상 수단; 및The code compensating means for compensating the code of the difference signal transmitted from the mode selecting means by using the compensating code bit; And 상기 부호보상된 차분신호 또는 상기 모드 선택 수단에서 전달된 차분신호에움직임 보상을 하여 원영상을 복원하기 위한 상기 영상 복원 수단The image restoring means for restoring the original image by compensating for the motion of the coded difference signal or the difference signal transmitted from the mode selection means; 을 포함하는 동영상 복호화 장치.Video decoding apparatus comprising a. 제 12 항에 있어서,The method of claim 12, 상기 부호화 모드 정보는,The encoding mode information, 송신측으로부터 수신한 모드 플래그인 것을 특징으로 하는 동영상 복호화 장치.The video decoding apparatus, characterized in that the mode flag received from the transmitting side. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,The method according to any one of claims 11 to 13, 상기 보상용 부호비트는,The compensation code bit, 송신측의 동영상 부호화 장치에서 생성되어 전송된 차분신호의 부호 비트인 것을 특징으로 하는 동영상 복호화 장치.The video decoding apparatus, characterized in that the code bit of the differential signal generated and transmitted by the video encoding apparatus of the transmitting side. 제 14 항에 있어서,The method of claim 14, 상기 부호 보상 수단은,The code compensation means, 송신측으로부터 전송된 보상용 부호비트를 이용하여 상기 복원된 차분신호의 화소값 중 "0" 아닌 화소들을 보상하는 것을 특징으로 하는 동영상 복호화 장치.And a non-zero pixel of the reconstructed differential signal is compensated for by using a compensation code bit transmitted from a transmitting side. 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화 방법에 있어서,In the video encoding method using the separation of the magnitude and code of the difference signal, 현재 부호화 대상이 되는 원영상에 대하여 예측 영상을 생성하는 영상 예측 단계; An image prediction step of generating a prediction image with respect to the original image to be currently encoded; 상기 원영상과 상기 예측 영상 간의 차분신호를 생성하는 차분신호 생성 단계;Generating a difference signal between the original image and the prediction image; 상기 차분신호로부터 크기와 상기 차분신호의 복원에 필요한 부호비트(보상용 부호비트)를 생성하는 크기/부호 분리 단계;A magnitude / code separation step of generating a magnitude and a code bit (compensation code bit) required to recover the difference signal from the difference signal; 상기 차분신호의 크기에 대해서는 변환부호화, 양자화, 및 엔트로피 인코딩하고, 상기 보상용 부호비트에 대해서는 엔트로피 인코딩하는 부호화 단계; 및An encoding step of transform encoding, quantization, and entropy encoding on the magnitude of the difference signal, and entropy encoding on the compensation code bits; And 상기 부호화 단계에서 변환부호화 및 양자화된 차분신호 크기를 역변환하여 원래의 차분신호를 복원한 후 상기 보상용 부호비트를 이용하여 부호보상하고, 상기 부호보상된 차분신호에 움직임 보상함으로써 원 영상을 복원하여 새로운 기준영상으로 저장하는 복호화 단계In the encoding step, the transformed and quantized differential signal is inversely transformed to restore the original differential signal, and then code-compensated using the compensation code bits. Decoding step to save as a new reference image 를 포함하는 동영상 부호화 방법.Video encoding method comprising a. 차분신호의 크기와 부호의 분리를 이용한 동영상 부호화 방법에 있어서,In the video encoding method using the separation of the magnitude and code of the difference signal, 부호화 대상이 되는 원영상에 대하여 예측영상을 생성하는 영상예측 단계; An image prediction step of generating a prediction image for the original image to be encoded; 상기 원영상과 상기 예측영상간의 차분신호를 생성하는 차분신호 생성 단계;Generating a difference signal between the original image and the prediction image; 압축효율을 기준으로 상기 차분신호에 대한 부호화 모드를 결정하며, 상기 차분신호로부터 크기와 상기 차분신호의 복원에 필요한 부호비트(보상용 부호비트)를 생성하는 크기/부호 분리 단계;A size / code separation step of determining an encoding mode for the difference signal based on a compression efficiency, and generating a magnitude and a code bit (compensation code bit) required to recover the difference signal from the difference signal; 상기 부호화 모드가 일반 모드이면, 상기 차분신호에 대해 변환부호화, 양자화, 및 엔트로피 인코딩을 하는 일반모드 부호화 단계;A normal mode encoding step of performing transform encoding, quantization, and entropy encoding on the difference signal if the encoding mode is a normal mode; 상기 일반모드의 경우, 상기 일반모드 부호화 단계에서 변환부호화 및 양자화된 신호를 역변환하여 차분신호로 복원한 후 상기 복원된 차분신호에 움직임 보상함으로써 원 영상을 복원하여 새로운 기준영상으로 저장하는 일반모드 복호화 단계; 및In the normal mode, in the normal mode encoding step, the transform-coded and quantized signals are inversely transformed to be restored to the differential signal, and then the normal mode decoding is performed to restore the original image and store the new reference image by motion compensation to the restored differential signal. step; And 상기 부호화 모드가 분리 모드이면, 상기 차분신호 크기에 대해서는 변환부호화, 양자화, 및 엔트로피 인코딩을 하고, 상기 보상용 부호 비트에 대해서는 엔트로피 인코딩을 하는 분리모드 부호화 단계; 및A separation mode encoding step of performing encoding, quantization, and entropy encoding on the difference signal size and entropy encoding on the compensation code bits when the encoding mode is a separation mode; And 상기 분리 모드의 경우, 상기 분리모드 부호화 단계에서 변환부호화 및 양자화된 신호를 역변환하여 원래의 차분신호로 복원한 후 해당 보상용 부호비트를 이용하여 부호를 보상하고, 상기 부호보상된 차분신호에 움직임 보상을 하여 원 영상을 복원하여 기준영상으로 저장하는 분리모드 복호화 단계In the separation mode, the transform-coded and quantized signals are inversely transformed in the separation mode encoding step to be restored to the original differential signal, and then the code is compensated using the corresponding compensation code bits. Separate mode decoding step of compensating and restoring original image and storing as reference image 를 포함하는 동영상 부호화 방법.Video encoding method comprising a. 제 16 항 또는 제 17 항에 있어서,The method according to claim 16 or 17, 상기 크기/부호 분리 단계는,The size / code separation step, 상기 차분신호에 절대치를 취하여 상기 차분신호의 크기를 구하는 것을 특징으로 하는 동영상 부호화 방법.And a magnitude of the difference signal is obtained by taking an absolute value of the difference signal. 제 16 항 또는 제 17 항에 있어서,The method according to claim 16 or 17, 상기 크기/부호 분리 단계는,The size / code separation step, 압축효율을 기준으로 상기 부호화 모드를 결정하는 것을 특징으로 하는 동영상 부호화 방법.The video encoding method of claim 1, wherein the encoding mode is determined based on a compression efficiency. 제 19 항에 있어서,The method of claim 19, 상기 크기/부호 분리 단계는,The size / code separation step, 비트-왜곡 최적화(RDO: Rate-Distortion Optimization) 방식에 따라 압축 효율을 결정하는 것을 특징으로 하는 동영상 부호화 방법.A video encoding method characterized in that the compression efficiency is determined according to a rate-distortion optimization (RDO) method. 제 16 항 또는 제 17 항에 있어서,The method according to claim 16 or 17, 상기 크기/부호 분리 단계는,The size / code separation step, 상기 복호화 단계에서 역변환을 통하여 복원된 차분신호의 화소값이 "0"이 아닌 화소의 위치에 해당하는 상기 차분신호의 부호비트를 상기 보상용 부호비트로 생성하는 것을 특징으로 하는 동영상 부호화 방법.And a code bit of the difference signal corresponding to a position of a pixel whose pixel value of the difference signal reconstructed through the inverse transform in the decoding step is not "0" as the compensation code bit. 제 16 항 또는 제 17 항에 있어서,The method according to claim 16 or 17, 상기 크기/부호 분리 단계는,The size / code separation step, 상기 복호화 단계에서 역변환을 통하여 복원된 차분신호의 화소값이 소정의 임계 이상인 화소의 위치에 해당하는 상기 차분신호의 부호비트를 상기 보상용 부호비트로 생성하는 것을 특징으로 하는 동영상 부호화 방법.And a code bit of the difference signal corresponding to a position of a pixel whose pixel value of the difference signal reconstructed through inverse transformation in the decoding step is a compensation code bit. 제 16 항 또는 제 17 항에 있어서,The method according to claim 16 or 17, 상기 크기/부호 분리 단계는,The size / code separation step, 상기 복호화 단계에서 역변환을 통하여 복원된 차분신호의 부호들간의 상관도를 이용하여 상기 보상용 부호비트를 생성하는 것을 특징으로 하는 동영상 부호화 방법.And the compensating code bit is generated by using correlation between codes of the difference signal reconstructed through inverse transform in the decoding step. 제 23 항에 있어서,The method of claim 23, 상기 크기/부호 분리 단계는,The size / code separation step, 상기 복호화 단계에서 역변환을 통하여 복원된 차분신호의 화소값들을 절대값의 크기 순서대로 내림차순으로 정렬하고 상기 보상용 부호비트로는 상기 정렬된 화소값들에 대한 원래의 부호를 정렬 순서에 따라 전송하되, 연속적인 부호들에 대해서는 해당 부호의 개수 및 부호만을 전송하는 것을 특징으로 하는 동영상 부호화 방법.In the decoding step, the pixel values of the difference signal reconstructed through the inverse transformation are arranged in descending order of the magnitude of the absolute value, and the original code for the aligned pixel values is transmitted in the sorting order as the compensation code bits. The video encoding method according to claim 1, wherein only the number of codes and the number of codes are transmitted for consecutive codes. 차분신호의 크기와 부호의 분리를 이용한 동영상 복호화 방법에 있어서,In the video decoding method using the separation of the magnitude and code of the difference signal, 입력 비트열을 엔트로피 디코딩하고 역양자화 및 역 변환부호화하여 원래의 차분신호를 복원하는 복호화 단계;A decoding step of entropy decoding the input bit stream, inverse quantization and inverse transform encoding to restore an original differential signal; 해당 보상용 부호비트를 이용하여 상기 복원된 차분신호의 부호를 보상하는 부호 보상 단계; 및A code compensating step of compensating a code of the restored differential signal by using a corresponding compensation code bit; And 상기 부호보상된 차분신호에 움직임 보상을 하여 원영상을 복원하는 영상 복원 단계An image restoration step of restoring an original image by performing motion compensation on the coded difference signal; 를 포함하는 동영상 복호화 방법.Video decoding method comprising a. 차분신호의 크기와 부호의 분리를 이용한 동영상 복호화 방법에 있어서,In the video decoding method using the separation of the magnitude and code of the difference signal, 입력 비트열을 엔트로피 디코딩하고 역양자화 및 역 변환부호화하여 원래의 차분신호를 복원하는 복호화 단계;A decoding step of entropy decoding the input bit stream, inverse quantization and inverse transform encoding to restore an original differential signal; 부호화 모드 정보를 확인하여 분리 모드이면, 해당 보상용 부호비트를 이용하여 상기 복호화 단계에서 복원된 차분신호의 부호를 보상하는 부호 보상 단계; 및A code compensating step of verifying encoding mode information and compensating a code of a difference signal reconstructed in the decoding step by using a corresponding compensation code bit; And 상기 복호화 단계에서 복원된 차분신호 또는 상기 부호 보상 단계에서 부호보상된 차분신호에 움직임 보상을 하여 원영상을 복원하기 위한 영상 복원 수단Image reconstruction means for reconstructing the original image by motion compensation on the differential signal reconstructed in the decoding step or the differential signal reconstructed in the code compensation step 을 포함하는 동영상 복호화 방법.Video decoding method comprising a. 제 12 항에 있어서,The method of claim 12, 상기 부호화 모드 정보는,The encoding mode information, 송신측으로부터 수신한 모드 플래그인 것을 특징으로 하는 동영상 복호화 방법.A video decoding method, which is a mode flag received from a transmitting side. 제 25 항 내지 제 27 항 중 어느 한 항에 있어서,The method according to any one of claims 25 to 27, 상기 보상용 부호비트는,The compensation code bit, 송신측의 동영상 부호화 장치에서 상기 차분신호의 복원에 필요한 부호비트를 구하여 전송한 것을 특징으로 하는 동영상 복호화 방법.And a code bit necessary for restoring the difference signal is transmitted by a video encoding apparatus on a transmission side. 제 28 항에 있어서,The method of claim 28, 상기 부호 보상 단계는,The code compensation step, 상기 보상용 부호비트를 이용하여 상기 복원된 차분신호의 화소값 중 "0" 아닌 화소들을 보상하는 것을 특징으로 하는 동영상 복호화 방법.And using the compensation code bits to compensate for pixels other than "0" of the reconstructed differential signal.
KR1020060095876A 2006-07-13 2006-09-29 Video Encoding and Decoding Apparatus and Methods using Separation of Amplitude and Sign of a differential image signal KR100813001B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060066009 2006-07-13
KR20060066009 2006-07-13

Publications (2)

Publication Number Publication Date
KR20080007060A true KR20080007060A (en) 2008-01-17
KR100813001B1 KR100813001B1 (en) 2008-03-13

Family

ID=39220637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060095876A KR100813001B1 (en) 2006-07-13 2006-09-29 Video Encoding and Decoding Apparatus and Methods using Separation of Amplitude and Sign of a differential image signal

Country Status (1)

Country Link
KR (1) KR100813001B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010139257A1 (en) * 2009-06-01 2010-12-09 华为技术有限公司 Compression coding and decoding method, coder, decoder and coding device
US8989262B2 (en) 2009-08-07 2015-03-24 Electronics And Telecommunications Research Institute Motion picture encoding apparatus and method thereof
WO2023101423A1 (en) * 2021-11-30 2023-06-08 한국전자통신연구원 Image encoding and decoding method and apparatus based on periodicity of phase signal

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011016701A2 (en) * 2009-08-07 2011-02-10 한국전자통신연구원 Motion picture encoding apparatus and method thereof
KR101659377B1 (en) * 2014-02-25 2016-09-26 주식회사 핀그램 Method and system for data encoding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0223787A (en) * 1988-07-13 1990-01-25 Matsushita Electric Ind Co Ltd Encoding device and decoding device for picture
JPH09102955A (en) * 1995-10-06 1997-04-15 Oki Electric Ind Co Ltd Method and device for detecting motion vector
US7082221B1 (en) * 2000-09-29 2006-07-25 Intel Corporation Bandwidth determination for multiple layer digital video

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010139257A1 (en) * 2009-06-01 2010-12-09 华为技术有限公司 Compression coding and decoding method, coder, decoder and coding device
EP2439737A1 (en) * 2009-06-01 2012-04-11 Huawei Technologies Co., Ltd. Compression coding and decoding method, coder, decoder and coding device
EP2439737A4 (en) * 2009-06-01 2012-07-25 Huawei Tech Co Ltd Compression coding and decoding method, coder, decoder and coding device
US8489405B2 (en) 2009-06-01 2013-07-16 Huawei Technologies Co., Ltd. Compression coding and decoding method, coder, decoder, and coding device
KR101395174B1 (en) * 2009-06-01 2014-05-16 후아웨이 테크놀러지 컴퍼니 리미티드 Compression coding and decoding method, coder, decoder, and coding device
US8989262B2 (en) 2009-08-07 2015-03-24 Electronics And Telecommunications Research Institute Motion picture encoding apparatus and method thereof
US9282342B2 (en) 2009-08-07 2016-03-08 Electronics And Telecommunications Research Institute Motion picture encoding apparatus and method thereof
US9432697B2 (en) 2009-08-07 2016-08-30 Electronics And Telecommunications Research Institute Motion picture encoding apparatus and method thereof
US9961344B2 (en) 2009-08-07 2018-05-01 Electronics And Telecommunications Research Institute Motion picture encoding apparatus and method thereof
WO2023101423A1 (en) * 2021-11-30 2023-06-08 한국전자통신연구원 Image encoding and decoding method and apparatus based on periodicity of phase signal

Also Published As

Publication number Publication date
KR100813001B1 (en) 2008-03-13

Similar Documents

Publication Publication Date Title
US7292165B2 (en) Context-based adaptive arithmetic coding and decoding methods and apparatuses with improved coding efficiency and video coding and decoding methods and apparatuses using the same
KR101375668B1 (en) Method and apparatus for encoding transformed coefficients and method and apparatus for decoding transformed coefficients
KR100703760B1 (en) Video encoding/decoding method using motion prediction between temporal levels and apparatus thereof
KR101425602B1 (en) Method and apparatus for encoding/decoding image
KR101351714B1 (en) Method for decoding a bitstream
US20060233240A1 (en) Context-based adaptive arithmetic coding and decoding methods and apparatuses with improved coding efficiency and video coding and decoding methods and apparatuses using the same
KR20060109243A (en) Method and apparatus for entropy coding and decoding, with improved coding efficiency, and method and apparatus for video coding and decoding including the same
KR100678909B1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
KR101375667B1 (en) Method and apparatus for Video encoding and decoding
KR20050075483A (en) Method for video coding and decoding, and apparatus for the same
EP2252059B1 (en) Image encoding and decoding method and device
JP2007143176A (en) Compression method of motion vector
KR100813001B1 (en) Video Encoding and Decoding Apparatus and Methods using Separation of Amplitude and Sign of a differential image signal
KR20070088334A (en) Video transcoding method and apparatus thereof
KR20090090152A (en) Method and apparatus for video encoding and decoding
KR20110112165A (en) Method and apparatus for video encoding using dynamic-range trasformation, method and apparatus for video decoding using dynamic-range transformation
KR20060063608A (en) Method and apparatus for conducting residual prediction on a macro block when encoding/decoding video signal
KR20110045912A (en) Adaptive Resolution Based Video Encoding/Decoding Method and Apparatus
KR100679027B1 (en) Method and apparatus for coding image without DC component loss
KR20070057618A (en) Method and apparatus for video coding on pixel-wise prediction
JP5004877B2 (en) Image encoder, image decoder, image encoding method, image decoding method, and program
KR101146138B1 (en) Temporal scalabel video encoder
KR20110098089A (en) Video encoding apparatus and method, and video decoding apparatus and method
KR20100082700A (en) Wyner-ziv coding and decoding system and method
KR102020953B1 (en) Image Reencoding Method based on Decoding Data of Image of Camera and System thereof

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130304

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee