KR100380230B1 - Image codec system based on multi-resolution image - Google Patents

Image codec system based on multi-resolution image Download PDF

Info

Publication number
KR100380230B1
KR100380230B1 KR10-2000-0075880A KR20000075880A KR100380230B1 KR 100380230 B1 KR100380230 B1 KR 100380230B1 KR 20000075880 A KR20000075880 A KR 20000075880A KR 100380230 B1 KR100380230 B1 KR 100380230B1
Authority
KR
South Korea
Prior art keywords
resolution
error
block
video signal
image
Prior art date
Application number
KR10-2000-0075880A
Other languages
Korean (ko)
Other versions
KR20020047459A (en
Inventor
레드코브빅터브이
찌홀스키아나톨리아이
마이보로다알렉산드르엘
조현덕
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2000-0075880A priority Critical patent/KR100380230B1/en
Publication of KR20020047459A publication Critical patent/KR20020047459A/en
Application granted granted Critical
Publication of KR100380230B1 publication Critical patent/KR100380230B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 에러 검출(error detection)과 에러 은닉(error concealment) 기법을 이용한 디지털 정보의 부호화 및 복호화 방법과 그 장치에 관한 것이다.The present invention relates to a method and apparatus for encoding and decoding digital information using an error detection and error concealment technique.

본 발명에서는 부호화 과정에서, 디지털 영상 데이터를 다해상도로 분할하여 하나의 원영상에 대해서 다중 해상도 영상을 n(n ≥2)개 구성하고, 이 다해상도 영상 데이터 각각을 부호화하여 하나의 비트 스트림으로 합해서 전송하고, 복호화 과정에서는 상기 다해상도 영상 데이터의 비트 스트림에서 각각의 해상도별 영상을 분리하여 복호화하고, 각각의 해상도별 영상신호를 블럭 단위로 서로 비교해서 에러 여부를 검출한 결과에 따라, 에러가 발생된 블럭을 에러가 발생되지 않은 실제 그 영상의 다른 해상도 영상 데이터(블럭)를 이용해서 대치하여 출력함으로써, 복원된 영상의 화질을 향상시킬 수 있도록 한 영상 부호화 및 복호화 방법과 그 장치를 제안한다.In the present invention, in the encoding process, the digital image data is divided into multi resolutions to configure n (n ≥ 2) multi-resolution images for one original image, and each of the multi-resolution image data is encoded into one bit stream. In the decoding process, the image of each resolution is separated and decoded from the bit stream of the multi-resolution image data, and the image signals of each resolution are compared with each other on a block-by-block basis. Proposes an image encoding and decoding method and apparatus for improving the quality of a reconstructed image by replacing and outputting the generated block by using different resolution image data (block) of the actual image without error. do.

Description

다해상도 기반 영상신호 부호화 및 복호화 방법과 장치{IMAGE CODEC SYSTEM BASED ON MULTI-RESOLUTION IMAGE}Method and apparatus for encoding and decoding multi-resolution based video signals {IMAGE CODEC SYSTEM BASED ON MULTI-RESOLUTION IMAGE}

본 발명은 에러 검출(error detection)과 에러 은닉(error concealment) 기법을 이용한 디지털 정보의 부호화 및 복호화 방법과 그 장치에 관한 것으로서 특히, 블럭(macro block) 단위로 디지털 영상신호를 처리하여 영상신호의 부호화 및 복호화를 수행하는 영상 부호화 및 복호화 시스템에서, 원 영상 데이터를 다해상도(multi-resolution) 영상으로 변환하여 부호화하고, 복호화시에는 다해상도 영상의 비교를 통해 에러 블럭을 찾아내서 해당 에러를 은닉함으로써, 복원 영상의 화질을 향상시킬 수 있도록 한 영상 부호화 및 복호화 방법과 그 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for encoding and decoding digital information using error detection and error concealment techniques. In particular, the present invention relates to a method of processing an image signal by processing a digital image signal in units of macro blocks. In an image encoding and decoding system that performs encoding and decoding, the original image data is converted into a multi-resolution image and encoded, and when decoding, an error block is found by comparing the multi-resolution image to conceal the corresponding error. The present invention relates to a video encoding and decoding method and apparatus for improving the quality of reconstructed video.

더욱 상세하게는 본 발명은 동영상을 압축 부호화하여 전송할 때 입력 영상을 서로 다른 해상도의 다해상도 영상으로 각각 변환하여 이 다해상도 영상을 하나의 비트 스트림으로 전송하고, 복호화기에서는 다해상도 영상을 분리하여 각각 복호화한 다음, 각각의 다해상도 영상을 블럭 단위로 비교하여 에러 블럭을 찾아내고, 상기 에러 블럭을 에러 은닉기에서 해당 위치에 대응하는 다른 해상도의 영상블럭으로 대치시키는 방법으로 에러를 정정한 영상신호를 복호화하여 디스플레이 함으로써, 수신된 영상의 화질을 향상시킬 수 있도록 한 다해상도 기반 영상 부호화 및 복호화 방법과 그 장치에 관한 것이다.More specifically, the present invention converts an input image into a multi-resolution image having different resolutions and transmits the multi-resolution image as one bit stream when compressing and encoding the moving image, and decodes the multi-resolution image by separating the multi-resolution image. Decode each image, compare each multiresolution image block by block, find the error block, and replace the error block with an image block of a different resolution corresponding to the corresponding position in the error concealer. The present invention relates to a multi-resolution based image encoding and decoding method and apparatus for improving the quality of a received image by decoding and displaying a signal.

디지털 멀티미디어 데이터를 압축 전송하고 또 부호화하는 시스템으로 예를 들면 H.263 이나 MPEG4의 경우 동영상을 압축 부호화함에 있어, 디지털 영상 데이터를 블럭(macro block) 단위로 처리하는데, 부호화(encoding)의 경우는 움직임 추정 및 보상과 이산 코사인 변환(DCT), DCT 계수의 양자화, 그리고 가변 길이 부호화(VLC) 과정을 포함하고 있으며, 복호화(decoding)의 경우는 상기 부호화의 역과정으로, 역양자화, 역DCT, 움직임 보상 및 추정 과정 등을 포함하고 있다.A system that compresses, transmits, and encodes digital multimedia data. For example, in H.263 or MPEG4, when compressing and encoding a video, digital image data is processed in units of macro blocks. In case of encoding, It includes motion estimation and compensation, discrete cosine transform (DCT), quantization of DCT coefficients, and variable length coding (VLC). In the case of decoding, inverse quantization, inverse DCT, It includes motion compensation and estimation process.

이와같이 디지털 영상신호를 송수신하는 시스템에서 채널 환경에 따른 에러 발생을 감수하고 이러한 에러 발생시에 손상된 블럭의 보정을 수행해야 하는 시스템에서는 복원(수신) 영상의 화질 향상을 위해 에러의 검출과 은닉 기법을 이용하고 있다.In the system that transmits / receives digital video signals, error detection according to the channel environment is to be taken into account, and the system that needs to correct damaged blocks in case of such error occurrence uses error detection and concealment techniques to improve the quality of restored (received) images. Doing.

예를 들면 블럭단위로 디지털 영상신호를 송수신하는 시스템에서 에러를 검출할 경우는 부호화 신택스(syntax) 정보를 이용해서 데이터가 신택스 정보를 벗어나는 경우를 에러로 간주하고, 에러가 발생된 블럭에 대해서는 시간적 혹은 공간적 은닉 기법을 이용해서 보정을 가함으로써, 수신 영상의 화질을 높일 수 있도록 하고 있다.For example, when an error is detected in a system that transmits and receives a digital video signal in units of blocks, an error is regarded as an error when the data deviates from the syntax information by using encoded syntax information. Alternatively, the image quality of the received image can be improved by applying correction using a spatial concealment technique.

상기한 바와같은 신택스 정보를 이용한 에러의 검출은, 예를 들면 블럭단위의 디지털 영상신호 처리시 움직임 벡터가 특정 범위에서 벗어나는 경우나, 가변 길이 부호화(VLC) 테이블을 벗어나는 경우, 또는 이산 코사인 변환(DCT) 계수가 특정 범위를 벗어나는 경우, 그리고 한 블럭 내의 DCT 계수의 갯수가 특정 갯수를 벗어나는 경우 등을 들 수 있다.The detection of the error using the syntax information as described above may be performed, for example, when a motion vector deviates from a specific range, a variable length coding (VLC) table, or a discrete cosine transform during processing of a digital video signal in a block unit. The case where the DCT) coefficient is out of a specific range, and the number of DCT coefficients in one block is out of the specific number.

에러 은닉의 경우에는 도1의 (a)에 나타낸 바와같은 공간적 정보를 이용한 방법과, 도1의 (b)에 나타낸 바와같은 시간적 정보를 이용한 방법이 있다.In the case of error concealment, there are a method using spatial information as shown in Fig. 1A and a method using temporal information as shown in Fig. 1B.

위의 두가지 방법은 블럭 단위로 디지털 영상신호를 처리하는 시스템에서 영상신호의 인접 블럭 간에는 상관성이 높고, 또 인접 시간대의 프레임(블럭) 간의 상관성이 높다는 가정(특징) 아래서 이루어지는 방법이다.The above two methods are performed under the assumption that the correlation between adjacent blocks of the video signal is high and the correlation between frames (blocks) in the adjacent time zone is high in a system for processing digital video signals on a block basis.

도1의 (a)와 같은 경우는 에러가 발생되어 손상된 블럭을 그 주변에 인접한 손상되지 않은(손상되지 않았다고 가정한) 블럭들의 값을 이용해서 보간해 넣는 방법이고, 도1의 (b)와 같은 경우는 에러가 발생되어 손상된 블럭을 이전 프레임(또는 필드)의 해당 위치의 블럭을 가져와서 채워넣는 방법이다. 도1의 (b)의 경우에서는 움직임 벡터(MV)를 이용하는데, 만약 움직임 벡터에 에러가 있을 경우에는 이전 프레임의 같은 위치의 움직임 벡터정보를 가져오는 것이다.In case (a) of FIG. 1, an error occurs and a damaged block is interpolated using values of adjacent intact (assuming intact) blocks adjacent to each other. In the same case, an error occurs and the damaged block is obtained by filling in the block of the corresponding position of the previous frame (or field). In the case of FIG. 1B, the motion vector MV is used. If there is an error in the motion vector, motion vector information of the same position of the previous frame is obtained.

그러나, 위의 두가지 방법 모두 에러가 발생된 블럭을 주변 혹은 이전의 값으로 대치(혹은 적절한 연산을 통한 보간)하는 방법이고, 이렇게 채워넣은 값들은 엄밀한 의미에서 볼 때 에러가 발생한 블럭 그 자체의 원래의 정보와는 무관하다고 할 수 있다. 물론 상관성에 기초해서 어느 정도의 유사성은 가질 수 있겠지만 에러가 발생한 부분을 주변의, 혹은 이전의 다른 값으로 대치한다는 것은 실제로 복원해야 할 영상(에러가 발생하기 전의 원래 그 블럭 정보)과 큰 차이를 가질 수 있게 되며, 이러한 점은 경우에 따라서 심한 화질 열화를 가져오게 된다.However, both of these methods replace the errored block with the surrounding or previous value (or interpolation through proper operation), and these filled values are, in strict sense, the original blocks of the errored block itself. This information is irrelevant. Of course, there may be some degree of similarity based on the correlation, but replacing the error part with the surrounding or other value beforehand is a big difference from the image to be restored (the original block information before the error occurred). This may result in severe image quality deterioration in some cases.

또한, 주어진 정보의 신택스만으로 에러를 검출하고 있는데, 이러한 경우에도 실제로는 많은 경우에 있어서 에러가 발생하였음에도 불구하고 에러가 검출되지 않는 경우가 있다. 왜냐하면 에러가 발생하였지만 앞에서 설명한 에러로 판정되는 경우에서 벗어나면 에러가 발생하지 않은 것으로 판정할 수 있기 때문이다.In addition, although the error is detected only by the syntax of the given information, even in such a case, in many cases, the error may not be detected despite the occurrence of the error. This is because an error has occurred, but it can be determined that an error has not occurred if the error is released from the case determined as the above-described error.

본 발명은 디지털 영상 데이터를 블럭 단위로 처리하여 압축 부호화 및 복호화하는 시스템에서, 종래와 같이 공간적 상관성이나 시간적 상관성에 기반하지 않고, 실제의 원 영상 정보를 대상으로 해서 에러의 검출 및 은닉을 수행할 수 있도록 한 영상 부호화 및 복호화 방법과 그 장치를 제안한다.According to the present invention, in a system for compressing, encoding, and decoding digital image data by block unit, the detection and concealment of an error can be performed on the actual original image information without using spatial correlation or temporal correlation as in the prior art. We propose a video encoding and decoding method and apparatus therefor.

본 발명에서는 부호화 과정에서, 디지털 영상 데이터를 다해상도로 분할하여 하나의 원영상에 대해서 다중 해상도 영상을 n(n ≥2)개 구성하고, 이 다해상도 영상 데이터 각각을 부호화하여 하나의 비트 스트림으로 전송하고, 복호화 과정에서는 상기 다해상도 영상 데이터의 비트 스트림에서 각각의 해상도별 영상을 분리하여 복호화하고, 각각의 해상도별 영상정보를 서로 비교해서 에러 여부를 검출한 결과에 따라, 에러가 발생된 블럭을 에러가 발생되지 않은 실제 그 영상의 다른 해상도 영상 데이터를 이용해서 에러정정하여 출력함으로써, 수신된 영상의 화질을 향상시킬 수 있도록 한 영상 부호화 및 복호화 방법과 그 장치를 제안한다.In the present invention, in the encoding process, the digital image data is divided into multi resolutions to configure n (n ≥ 2) multi-resolution images for one original image, and each of the multi-resolution image data is encoded into one bit stream. In the decoding process, an image of each resolution is separated and decoded from the bit stream of the multi-resolution image data, and an error is generated according to a result of detecting an error by comparing the image information of each resolution with each other. The present invention proposes a video encoding and decoding method and apparatus for improving the quality of a received image by performing error correction using different resolution image data of the actual image having no error.

도1은 영상 압축 부호화 기술에서 공간적, 시간적 정보를 이용한 에러 은닉 방법을 설명하기 위한 도면1 is a diagram illustrating an error concealment method using spatial and temporal information in an image compression coding technique.

도2는 본 발명의 다해상도 부호화 및 복호화 장치의 실시예 블럭도2 is an embodiment block diagram of a multi-resolution encoding and decoding apparatus of the present invention.

도3은 본 발명에 따른 동영상 부호화기의 내부 구성을 나타낸 블럭도3 is a block diagram showing an internal configuration of a video encoder according to the present invention.

도4는 본 발명에 따른 동영상 복호화기의 내부 구성을 나타낸 블럭도4 is a block diagram showing an internal configuration of a video decoder according to the present invention.

도5는 본 발명의 에러 검출부의 내부 구성을 나타낸 블럭도5 is a block diagram showing an internal configuration of an error detection unit of the present invention;

도6은 본 발명의 에러 은닉부의 내부 구성을 나타낸 블럭도6 is a block diagram showing an internal configuration of an error concealment unit of the present invention;

본 발명은 영상신호를 서로 다른 해상도의 영상신호로 변환하여 다해상도 영상으로 부호화하는 단계와, 상기 부호화된 각 해상도별 영상신호를 하나의 비트 스트림으로 구성하여 전송하는 단계와, 수신된 다해상도의 영상신호를 각각의 해상도별 영상신호로 분리하여 복호화하는 단계, 상기 복호화된 각 해상도별 영상신호를 비교하여 에러를 검출하는 단계, 상기 에러가 검출된 위치의 영상신호를 에러가 없는 다른 해상도 영상신호를 이용해서 대치하여 복원 출력하는 단계; 로 이루어진 것을 특징으로 하는 다해상도 기반 영상 부호화 및 복호화 방법이다.The present invention provides a method of converting a video signal into a video signal having a different resolution and encoding the same into a multi-resolution video, constructing and transmitting the encoded video signal for each resolution into one bit stream, and Separating and decoding a video signal into video signals for each resolution, comparing the decoded video signals for each resolution, and detecting an error, and converting the video signal at the position where the error is detected to another resolution video signal without error. Restoring and replacing the output; Multi-resolution based image encoding and decoding method characterized in that consisting of.

또한 본 발명은 영상신호를 서로 다른 해상도의 영상신호로 분리하여 다해상도 영상으로 변환하는 해상도 변환수단과, 상기 분리하여 변환된 각 해상도별 영상신호를 부호화하는 부호화 수단과, 상기 부호화된 각 해상도별 영상신호를 하나의 비트 스트림으로 구성하여 출력하는 다중화 수단; 을 포함하여 이루어지는 것을 특징으로 하는 다해상도 기반 영상 부호화 장치이다.The present invention also provides a resolution conversion means for separating a video signal into video signals having different resolutions and converting the video signal into a multi-resolution video, encoding means for encoding the separated and converted video signals for each resolution, and for each of the encoded resolutions. Multiplexing means for constructing and outputting a video signal into one bit stream; A multi-resolution based image encoding apparatus comprising a.

또한 본 발명은 하나의 비트 스트림으로 전송된 다해상도의 영상신호를 각각의 해상도별 영상신호로 분리하는 역다중화 수단과, 상기 분리된 각 해상도별 영상신호를 복호화하는 복호화 수단과, 상기 복호화된 각 해상도별 영상신호를 비교하여 에러를 검출하는 에러 검출수단과, 상기 에러가 검출된 위치의 영상신호를 에러가 없는 다른 해상도 영상신호를 이용해서 정정하여 복원 영상신호를 출력하는 에러 은닉수단; 을 포함하여 이루어진 것을 특징으로 하는 다해상도 기반 영상 복호화 장치이다.The present invention also provides demultiplexing means for separating the multi-resolution video signals transmitted in one bit stream into video signals for each resolution, decoding means for decoding the separated video signals for each resolution, and the decoded angles. Error detection means for detecting an error by comparing the video signals for each resolution, and error concealment means for correcting the video signal at the position where the error is detected using another resolution video signal without error and outputting a reconstructed video signal; A multi-resolution based video decoding apparatus comprising a.

또한 본 발명에서, 상기 다해상도 구조의 영상신호는 서로 다른 해상도의 3개 영상신호인 것을 특징으로 한다.In the present invention, the video signal of the multi-resolution structure is characterized in that the three video signals of different resolution.

또한 본 발명에서, 상기 다해상도 영상 부호화시에, 다해상도 영상신호 중에서 상대적으로 낮은 해상도의 영상신호는 상대적으로 높은 해상도의 부호화된 영상신호를 다시 복원한 영상신호를 이용해서 생성하는 것을 특징으로 한다.In the present invention, in the multi-resolution video encoding, a video signal having a relatively low resolution among the multi-resolution video signals is generated using a video signal reconstructed from a coded video signal having a relatively high resolution. .

또한 본 발명에서, 상기 복호화된 각 해상도별 영상신호를 블럭별로 비교하고, 비교되는 블럭들 사이의 PSNR(Peak Signal to Noise Ratio)을 계산하여 PSNR을 소정의 임계치(Threshold)와 비교해서 에러 블럭 대치를 위한 맵(map) 정보를 만들고, 상기 맵 정보를 이용해서 상기 에러가 검출된 블럭을 다른 해상도의 영상신호의 해당 블럭값으로 대치하여 출력하는 것을 특징으로 한다.Also, in the present invention, the decoded video signals for each resolution are compared block by block, the PSNR (Peak Signal to Noise Ratio) is calculated between the blocks to be compared, and the PSNR is compared with a predetermined threshold to replace an error block. Map information is generated and the block in which the error is detected is replaced with a corresponding block value of an image signal having a different resolution using the map information.

또한 본 발명에서, 상기 비교되는 블럭들 사이의 PSNR을 계산하기 전에 블럭에 대한 평탄화(smoothing) 과정을 선행하는 것을 특징으로 한다.Also, in the present invention, the smoothing process for the blocks is performed before calculating the PSNRs between the compared blocks.

또한 본 발명에서, 상기 복호화된 각 해상도별 영상신호를 해상도를 높이거나 낮추는 변환을 더 수행하고, 상기 영상신호의 에러 블럭은 상기 해상도 변환된영상신호의 해당 위치의 블럭으로 대치하는 것을 특징으로 한다.In the present invention, the decoded video signal for each resolution is further increased or decreased in resolution, and the error block of the video signal is replaced with a block of a corresponding position of the resolution-converted video signal. .

또한 본 발명에서, 상기 영상신호의 에러 블럭을 해상도 변환된 영상신호의 해당 위치의 블럭으로 대치할 때, 자신 보다 해상도가 높은 영상신호를 보다 낮은 해상도로 변환한 영상신호의 해당 위치의 블럭으로 대치하는 것을 특징으로 한다.In the present invention, when the error block of the video signal is replaced with a block of the corresponding position of the resolution-converted video signal, the video signal having a higher resolution than that of the video signal is replaced with a block of the corresponding position of the video signal converted to a lower resolution. Characterized in that.

또한 본 발명에서, 상기 가장 높은 해상도를 가지는 영상의 에러 블럭을 해상도 변환된 영상신호의 해당 위치의 블럭으로 대치할 때, 그 다음 순위의 해상도 영상을 보다 높은 해상도로 역변환한 영상신호의 해당 위치의 블럭으로 대치하는 것을 특징으로 한다.Also, in the present invention, when the error block of the image having the highest resolution is replaced with the block of the corresponding position of the resolution-converted video signal, the next position of the corresponding position of the video signal obtained by inverting the higher resolution video to higher resolution. It is characterized by replacing with a block.

상기한 바와같이 이루어진 본 발명의 다해상도 기반 영상 부호화 및 복호화 방법과 그 장치의 동작을 첨부된 도면을 참조하여 설명한다.With reference to the accompanying drawings, the operation of the multi-resolution based image encoding and decoding method and the apparatus of the present invention made as described above will be described.

도2는 본 발명의 다해상도 기반 영상 부호화 및 복화화 장치의 실시예를 나타낸 블럭도이다. 이 실시예에서는 3개의 서로 다른 해상도를 갖는 영상신호에 대한 부호화 및 복호화 장치를 보여주고 있다.2 is a block diagram showing an embodiment of a multi-resolution based image encoding and decoding apparatus according to the present invention. In this embodiment, an encoding and decoding apparatus for an image signal having three different resolutions is shown.

본 발명에서는 해상도가 높은 순서로 각각 g영상(ground-picture)> f영상(first-picture)>s영상(second-picture), 각각의 영상을 부호화하는 엔코더를 각각 g엔코더, f엔코더, s엔코더, 각각의 영상을 복호화하는 디코더를 각각 g디코더, f디코더, s디코더로 명명하여 구별한다.In the present invention, g-picture (ground-picture)> f-picture (first-picture)> s-picture (second-picture), and encoders encoding the respective video, respectively, g encoder, f encoder, and s encoder The decoder which decodes each video is distinguished by naming g decoder, f decoder and s decoder, respectively.

먼저, 부호화부는; 입력 영상신호를 부호화하는 g엔코더(201)와, 상기 g엔코더에서 복원된 g영상신호를 보다 낮은 해상도 영상신호로 변환하기 위한 제1웨이브릿 변환부(202)와, 상기 변환된 저해상도 영상신호를 부호화하는 f엔코더(203)와,상기 f엔코더에서 복원된 f영상신호를 보다 낮은 해상도 영상신호로 변환하기 위한 제2웨이브릿 변환부(204)와, 상기 변환된 저해상도 영상신호를 부호화하는 s엔코더(205)와, 상기 엔코더(201,203,205)에서 각각 출력된 서로 다른 해상도의 압축 부호화된 영상신호(g-code stream, f-code stream, s-code stream)를 하나의 비트 스트림으로 구성하여 출력하는 멀티플렉서(206)로 이루어진다.First, the encoder; G encoder 201 for encoding an input video signal, a first wavelet converter 202 for converting the g video signal reconstructed by the g encoder into a lower resolution video signal, and the converted low resolution video signal. An f encoder 203 for encoding, a second wavelet converter 204 for converting the f video signal reconstructed by the f encoder into a lower resolution video signal, and an s encoder for encoding the converted low resolution video signal 205 and a multiplexer configured to output a compression-coded video signal (g-code stream, f-code stream, s-code stream) of different resolutions output from the encoders 201, 203, and 205 into one bit stream. 206.

그리고, 복호화부는; 상기 압축 부호화된 다해상도 영상신호 비트 스트림을 수신하여 각각의 해상도별 영상신호로 분리하는 디멀티플렉서(207)와, 상기 디멀티플렉서(207)에서 분리된 해상도별 g,f,s영상신호를 각각 복호화하는 g디코더(208), f디코더(209), s디코더(210)와, 상기 각각의 디코더에서 복호화된 영상신호를 비교하여 에러를 검출하는 에러 검출부(211)와, 상기 에러 검출부의 에러 검출 결과를 입력받아 상기 각각의 디코더에서 복호화된 영상신호를 이용해서 에러 은닉 처리를 수행하는 에러 은닉부(212)를 포함하여 이루어지고 있다.And, the decoding unit; A demultiplexer 207 for receiving the compressed coded multi-resolution video signal bit stream and separating it into video signals for each resolution, and g for decoding the g, f, and s video signals for each resolution separated by the demultiplexer 207, respectively. The decoder 208, the f decoder 209 and the s decoder 210 are compared with an error detection unit 211 for detecting an error by comparing the video signals decoded by the respective decoders, and an error detection result of the error detection unit is input. And an error concealment unit 212 that performs an error concealment process by using the video signals decoded by the respective decoders.

이와같이 구성된 본 발명의 영상 부호화 및 복호화기를 참조하여 다해상도 기반 영상 부호화 및 복호화 과정을 설명하면 다음과 같다.The multiresolution-based image encoding and decoding process will now be described with reference to the image encoder and decoder of the present invention configured as described above.

g엔코더(201)는 동영상 디지털 데이터(디지털 시퀀스)를 입력받아 매크로 블럭 단위의 움직임 추정 및 보상을 수행하고 이 결과를 DCT 및 양자화한 후에 가변 길이 부호화(VLC)를 수행하여 부호화한다. 여기서 부호화된 비트 스트림(g-code stream)은 멀티플렉서(206)에 입력되며, 움직임 추정 및 보상을 위해서 복호화기에서 수행하는 것과 똑같은 과정인 IDCT와 역양자화를 수행하고, 이렇게 복원된 g영상은 움직임 추정 및 보상을 위한 참조 영상(reference image)으로 사용하고 또한제1웨이브릿 변환부(202)에 입력된다.The g encoder 201 receives motion picture digital data (digital sequence), performs motion estimation and compensation in macroblock units, performs DCT and quantizes the result, and then performs variable length coding (VLC) to encode the video. The encoded bit stream (g-code stream) is input to the multiplexer 206, and performs inverse quantization with IDCT, which is the same process as that performed by the decoder, for motion estimation and compensation. It is used as a reference image for estimation and compensation and is also input to the first wavelet transform unit 202.

제1웨이브릿 변환부(202)는 입력된 g영상을 1레벨 순방향 웨이브릿 변환(1 level forward wavelet transform)하여 저해상도 영상으로 변환하는데, 여기서 웨이브릿 변환은 기존 해상도의 절반(half-resolution)에 해당하는 영상(LL-frame)을 발생시키고, 이 저해상도 영상을 f엔코더(203)에 입력한다.The first wavelet transform unit 202 converts the input g image into a low resolution image by performing a 1 level forward wavelet transform, wherein the wavelet transform is half-resolution. A corresponding image (LL-frame) is generated, and the low resolution image is input to the f encoder 203.

즉, 현재 원 영상의 해상도가 m ×n 이었다면 f영상은 m/2 ×n/2 의 해상도로 낮아진다.That is, if the resolution of the current original image is m × n, the f image is lowered to a resolution of m / 2 × n / 2.

f엔코더(203)는 g엔코더와 마찬가지로 저해상도 영상을 압축 부호화하여 비트 스트림(f-code stream)을 출력하고 이 비트 스트림은 멀티플렉서(206)에 입력된다. 또한 f엔코더(203)에서도 복원된 영상(f영상)을 만들어 내고, 이 f영상은 제2웨이브릿 변환부(204)에서 가장 낮은 해상도의 s영상으로 변환되어 s엔코더(205)에 입력된다. 즉, 제2웨이브릿 변환부(204)에 의해서 f영상의 해상도가 다시 반으로 줄어들고 s영상은 결국 원 영상에 비해서 m/4 ×n/4 으로 줄어들게 된다.Like the g encoder, the f encoder 203 compresses and encodes a low resolution video to output a bit stream, which is input to the multiplexer 206. In addition, the f encoder 203 generates a reconstructed image (f image), which is converted into an s image having the lowest resolution by the second wavelet converter 204 and input to the s encoder 205. That is, the resolution of the f-image is reduced by half again by the second wavelet converter 204, and the s-image is eventually reduced to m / 4 × n / 4 than the original image.

s엔코더(205)는 f엔코더, g엔코더와 마찬가지로 저해상도 s영상을 압축 부호화하여 비트 스트림(s-code stream)을 출력하고 이 비트 스트림은 멀티플렉서(206)에 입력된다.Similarly to the f encoder and the g encoder, the s encoder 205 compresses and encodes a low resolution s image to output a bit stream, which is input to the multiplexer 206.

상기한 엔코더(201,203,205)는 전형적인 동영상 부호화기로서 그 내부 구조를 도3에 나타내었다.The encoders 201, 203, and 205 are typical video encoders and their internal structures are shown in FIG.

엔코더(301)는 입력된 영상신호를 부호화하는데, 여기서 부호화된 출력 영상신호(Code Stream)를 다시 디코더(302)를 거쳐서 복호화(역양자화, IDCT, 움직임보상 과정)하여 움직임 추정 및 보상을 위해 복원된 영상을 만들어 내며, 복원된 영상은 지연부(303)를 거쳐서 프레임 메모리(304)에 저장되고, 프레임 메모리(304)에 저장된 복원된 영상은 엔코더(301)에 제공되어 움직임 추정 및 보상을 위한 참조영상(reference image)으로 이용된다.The encoder 301 encodes the input video signal, which is then decoded (dequantized, IDCT, motion compensation process) through the decoder 302 to restore the motion estimation and compensation. The reconstructed image is stored in the frame memory 304 through the delay unit 303, and the reconstructed image stored in the frame memory 304 is provided to the encoder 301 for motion estimation and compensation. It is used as a reference image.

상기한 바와같이 g엔코더와 f엔코더 및 s엔코더 각각에서 부호화된 다해상도 영상신호의 비트 스트림은 멀티플렉서(206)에서 다중화되어 하나의 비트 스트림으로 구성되고, 이 비트 스트림이 소정의 채널을 통해서 전송된다. 여기서 각각의 비트 스트림은 각각 다른 프로텍션 레벨(protection level)로 채널 부호화하는 것이 효과적일 수 있다.As described above, the bit streams of the multi-resolution video signals encoded by the g encoder, the f encoder, and the s encoder, respectively, are multiplexed by the multiplexer 206 and constitute one bit stream, and the bit stream is transmitted through a predetermined channel. . Here, it may be effective to channel-code each bit stream with a different protection level.

상기한 바와같이 전송된 비트 스트림은 복호화기에서 수신되어 다음과 같이 복호화된다.The bit stream transmitted as described above is received by the decoder and decoded as follows.

먼저, 디멀티플렉서(207)는 수신된 다해상도 영상신호의 비트 스트림으로부터 각각의 해상도별 영상신호 비트 스트림 즉, g코드 스트림(g-code stream)과 f코드 스트림(f-code stream) 및 s코드 스트림(s-code stream)을 분리하여 각각 s디코더(208)와 f디코더(209) 및 s디코더(210)에 입력해 준다.First, the demultiplexer 207 is a video signal bit stream for each resolution, that is, a g-code stream, a f-code stream, and a s-code stream from the received bit stream of the multi-resolution video signal. The s-code stream is separated and input to the s decoder 208, f decoder 209 and s decoder 210, respectively.

g디코더(208)는 입력된 g영상의 비트 스트림에 대해서 앞에서 설명한 복호화 과정을 수행하여 복호화된 g영상을 출력하고, f디코더(209)는 입력된 f영상의 비트 스트림에 대해서 복호화 과정을 수행하여 복호화된 f영상을 출력하고, s디코더(210)는 입력된 s영상의 비트 스트림에 대해서 복호화 과정을 수행하여 복호화된 s영상을 출력한다.The g decoder 208 outputs the decoded g image by performing the above-described decoding process on the bit stream of the input g image, and the f decoder 209 performs the decoding process on the bit stream of the input f image. The decoded f image is output, and the s decoder 210 performs a decoding process on the bit stream of the input s image to output the decoded s image.

도4에 상기 디코더(208,209,210)의 내부 구조를 나타내었는데, 이 디코더의 구조는 상기 부호화기의 디코더(302)에도 적용된다.4 shows an internal structure of the decoders 208, 209 and 210, which also applies to the decoder 302 of the encoder.

디코더(400)는 전형적인 복호화기로서, 복원된 영상(여기서는 에러 은닉부(212)에서 출력된 복원 영상)을 지연부(401)에서 지연시켜 프레임 메모리(402)에 저장하여 디코더(403)에서의 복호화 과정(역양자화, IDCT, 움직임 추정 및 보상 등의 복호화 과정) 수행시, 다음 영상 프레임을 위한 움직임 추정 및 보상에 이용하도록 한다.The decoder 400 is a typical decoder. The decoder 400 delays the reconstructed image (here, the reconstructed image output from the error concealment unit 212) in the delay unit 401 and stores the reconstructed image in the frame memory 402 so that the decoder 403 When performing the decoding process (decoding process such as inverse quantization, IDCT, motion estimation and compensation), it is used for motion estimation and compensation for the next image frame.

상기한 바와같이 각각의 디코더(208,209,210)에서는 서로 다른 해상도의 영상신호를 복호화하여 출력하고, 여기서 출력된 각각의 해상도별 g영상, f영상, s영상신호는 에러 검출부(211)와 에러 은닉부(212)에 입력된다.As described above, each decoder 208, 209, 210 decodes and outputs a video signal having a different resolution, and the output g, f, and s video signals for each resolution are output by an error detector 211 and an error concealment unit ( 212).

에러 검출부(211)는 입력된 각 해상도별 영상신호를 서로 비교해서 에러 블럭을 판정하고 판정 결과를 맵 정보(gf-map, gs-map, fs-map)로 출력하여 에러 은닉부(212)에 제공한다.The error detection unit 211 compares the input video signals for each resolution with each other to determine an error block, and outputs the determination result as map information (gf-map, gs-map, fs-map) to the error concealment unit 212. to provide.

에러 검출부(211)의 내부 구조를 도5에 나타내었으며, 에러 검출부(211)는 기본적으로 g영상과 f영상과 s영상을 비교하여 에러가 있는지의 여부를 판정하고, 에러가 있는 영상은 어떤 부분(블럭)이 에러가 있는지를 확인한다.The internal structure of the error detector 211 is shown in FIG. 5, and the error detector 211 basically compares the g image, the f image, and the s image to determine whether there is an error, and what part of the image having the error is. (Block) Check for errors.

도5를 참조하여 에러 검출부(211)의 내부 구성 및 그 동작을 설명한다.An internal configuration and operation of the error detector 211 will be described with reference to FIG. 5.

먼저, 에러 검출부(211)는 g영상신호를 보다 낮은 해상도의 영상으로 변환하는 제1웨이브릿 변환부(501)와, 상기 제1웨이브릿 변환부(501)에서 출력된 저해상도 영상과 f영상을 비교하는 제1비교부(502)와, 상기 제1웨이브릿 변환부(501)에서변환된 영상을 보다 낮은 해상도의 영상으로 변환하는 제2웨이브릿 변환부(503)와, 상기 제2웨이브릿 변환부(503)에서 출력된 저해상도 영상과 s영상을 비교하는 제2비교부(504)와, 상기 f영상을 보다 낮은 해상도의 영상으로 변환하는 제3웨이브릿 변환부(505)와, 상기 제3웨이브릿 변환부(505)에서 출력된 저해상도 영상과 s영상을 비교하는 제3비교부(506)로 구성되며, 그 동작은 다음과 같다.First, the error detector 211 may include a first wavelet transform unit 501 for converting a g image signal into a lower resolution image, and a low resolution image and an f image output from the first wavelet transform unit 501. A first comparison unit 502 for comparison, a second wavelet converter 503 for converting the image converted by the first wavelet converter 501 into a lower resolution image, and the second wavelet A second comparison unit 504 for comparing the low resolution image and the s image output from the conversion unit 503, a third wavelet converter 505 for converting the f image to a lower resolution image, and the It consists of a third comparison unit 506 for comparing the low-resolution image and the s image output from the three-wavelet converter 505, the operation is as follows.

상기 g디코더에서 복호화된 g영상은 제1웨이브릿 변환부(501)에 입력되어 보다 낮은 해상도의 영상(f급의 영상)으로 변환되고, 제1비교부(502)는 제1웨이브릿 변환부(501)의 출력과 상기 f디코더에서 복호화된 f영상을 비교하는데, 제1비교부(502)에서의 비교 과정은 블럭 단위로 이루어지고, 이 비교 결과는 gf 맵 정보(gf-map[i,j])(여기서 i,j는 블럭 위치를 나타내는 인덱스)로 저장되어 에러 은닉부(212)로 보내진다.The g image decoded by the g decoder is input to the first wavelet converter 501 to be converted into a lower resolution image (f-class image), and the first comparator 502 is a first wavelet converter. Comparing the output of the 501 and the f image decoded by the f decoder, the comparison process in the first comparison unit 502 is made in units of blocks, the comparison result is the gf map information (gf-map [i, j]) (where i, j is an index indicating a block position) and sent to the error concealment unit 212.

그리고, 각 블럭들이 정확하게 매칭되었는지 보기가 힘들기 때문에 2 ×2 윈도우(window)의 평탄화 작업(smoothing operating)을 통한 후, 비교 블럭들 간의 PSNR(Peak Signal to Noise Ratio)을 계산하고, 이 계산된 PSNR값을 특정한 임계치(Threshold)와 비교하여, 계산된 PSNR값이 임계치 보다 낮은 경우는 서로 비교되는 해당 블럭을 '불일치'로 판정하고, 임계치 보다 높은 경우는 '일치'라고 판정한다.In addition, since it is difficult to see whether each block is correctly matched, a smooth signal operation of a 2 × 2 window is performed, and then a peak signal to noise ratio (PSNR) between the comparison blocks is calculated, and the calculated By comparing the PSNR value with a specific threshold, when the calculated PSNR value is lower than the threshold, the corresponding blocks to be compared with each other are determined as 'unmatched', and when higher than the threshold, it is determined as 'matched'.

한편, 제1웨이브릿 변환부(501)의 출력은 다시 제2웨이브릿 변환부(503)를 통해서 더 낮은 해상도의 영상(s급 영상)으로 변환되고, 상기 s디코더에서 복호화된 s영상과 함께 제2비교부(504)에 입력되며, 제2비교부(504)는 제2웨이브릿 변환부(503)의 출력과 s영상을 비교하는데, 제2비교부(503)에서의 비교 과정 또한 제1비교부(504)에서 처럼 블럭 단위로 이루어지고, 이 비교 결과는 gs 맵 정보(gs-map[i,j])(여기서 i,j는 블럭 위치를 나타내는 인덱스)로 저장되어 에러 은닉부(212)로 보내진다.Meanwhile, the output of the first wavelet converter 501 is converted into a lower resolution image (s-class image) through the second wavelet converter 503, and together with the s image decoded by the s decoder. The second comparator 504 is input to the second comparator 504, and the second comparator 504 compares the output of the second wavelet converter 503 with the s image. The comparison result is made in units of blocks as in the comparison unit 504, and the comparison result is stored as gs map information (gs-map [i, j]) (where i, j is an index indicating a block position) and an error concealment unit ( 212).

즉, 제2비교부(504)에서도 상기 제1비교부(502)와 마찬가지로, 블럭 단위의 비교와 평탄화 작업, 그리고 PSNR에 따른 일치 및 불일치 판정을 수행하는 것이다.That is, similarly to the first comparison unit 502, the second comparison unit 504 performs block-wise comparison and planarization operations, and performs matching and inconsistency determination according to the PSNR.

그리고, 제3웨이브릿 변환부(505)는 상기 f디코더에서 복호화된 f영상을 보다 낮은 해상도의 영상(s급 영상)으로 변환하여 제3비교부(506)에 입력하고, 제3비교부(506)는 이 웨이브릿 변환된 영상과 상기 s디코더에서 복호화된 s영상을 비교하는데, 이 과정 또한 다른 비교부와 마찬가지로, 블럭 단위의 비교와 평탄화 작업, 그리고 PSNR에 따른 일치 및 불일치 판정을 수행하여, fs 맵 정보(fs-map[i,j])를 에러 은닉부(212)로 보낸다.In addition, the third wavelet converter 505 converts the f image decoded by the f decoder into a lower resolution image (s-class image) and inputs the same to the third comparison unit 506. 506 compares the wavelet transformed image with the s image decoded by the s decoder. This process, like other comparison units, also performs block-by-block comparison and planarization, and performs coincidence and mismatch determination according to PSNR. , fs map information (fs-map [i, j]) is sent to the error concealment unit 212.

상기한 바와같이 에러 검출부(211)에서 출력된 gf-map[i,j], gs-map[i,j], fs-map[i,j] 정보에 따라 에러 은닉부(212)가 에러 블럭에 대한 처리를 수행하게 되는데, 상기 맵 정보는 다음과 같은 경우가 있을 수 있다.As described above, the error concealment unit 212 uses an error block according to the gf-map [i, j], gs-map [i, j], and fs-map [i, j] information output from the error detection unit 211. In this case, the map information may be as follows.

(a). gf-map[i,j]=일치, gs-map[i,j]=일치, fs-map[i,j]=일치; 이 경우는 블럭[i,j]에 에러가 없거나 또는 있다고 하더라도 매우 미미하여 무시할만 하다.(a). gf-map [i, j] = matches, gs-map [i, j] = matches, fs-map [i, j] = matches; In this case, even if there is no error in the block [i, j] or very small, it is negligible.

(b). gf-map[i,j]=일치, gs-map[i,j]=일치, fs-map[i,j]=불일치; 이 경우는 에러 검출(확인)상의 문제(verificatiom problem)이거나 블럭[i,j]에 에러가 매우 미미하여 무시할만 하다.(b). gf-map [i, j] = matches, gs-map [i, j] = matches, fs-map [i, j] = matches; In this case, it is a problem of error detection (verification) or a negligible error in the block [i, j].

(c). gf-map[i,j]=일치, gs-map[i,j]=불일치, fs-map[i,j]=일치; 이 경우는 에러 검출(확인)상의 문제(verificatiom problem)이거나 블럭[i,j]에 에러가 매우 미미하여 무시할만 하다.(c). gf-map [i, j] = matches, gs-map [i, j] = matches, fs-map [i, j] = matches; In this case, it is a problem of error detection (verification) or a negligible error in the block [i, j].

(d). gf-map[i,j]=일치, gs-map[i,j]=불일치, fs-map[i,j]=불일치; 이 경우는 s영상의 블럭[i,j]에 에러가 있고, 이 블럭이 다른 영상의 블럭으로 대체될 것이 요구된다. 따라서 이 경우에 에러 은닉부(212)는 f영상을 웨이브릿 변환하여 보다 낮은 해상도의 영상(s급 영상이 될 것이다)으로 만들고 이 것을 문제가 발생한 블럭에 대치시킨다.(d). gf-map [i, j] = matches, gs-map [i, j] = matches, fs-map [i, j] = matches; In this case, there is an error in the block [i, j] of the s image, and this block is required to be replaced by a block of another image. Therefore, in this case, the error concealment unit 212 converts the f image to a wavelet transform to produce a lower resolution image (which will be a s-class image) and replaces it with the block in which the problem occurs.

(e). gf-map[i,j]=불일치, gs-map[i,j]=불일치, fs-map[i,j]=일치; 이 경우는 에러 검출(확인)상의 문제(verificatiom problem)이거나 블럭[i,j]에 에러가 매우 미미하여 무시할만 하다.(e). gf-map [i, j] = unmatched, gs-map [i, j] = unmatched, fs-map [i, j] = matched; In this case, it is a problem of error detection (verification) or a negligible error in the block [i, j].

(f). gf-map[i,j]=불일치, gs-map[i,j]=일치, fs-map[i,j]=불일치; 이 경우는 f영상의 블럭[i,j]에 에러가 있고, 이 블럭이 다른 영상의 블럭으로 대체될 것이 요구된다. 따라서 이 경우에 에러 은닉부(212)는 g영상을 웨이브릿 변환하여 보다 낮은 해상도의 영상(f급 영상이 될 것이다)으로 만들고 이 것을 문제가 발생한 블럭에 대치시킨다.(f). gf-map [i, j] = unmatched, gs-map [i, j] = matched, fs-map [i, j] = unmatched; In this case, there is an error in the block [i, j] of the f picture, and this block is required to be replaced by a block of another picture. Therefore, in this case, the error concealment unit 212 converts the g image into a wavelet transform to produce a lower resolution image (which will be a f-class image) and replaces it with the block in which the problem occurs.

(g). gf-map[i,j]=불일치, gs-map[i,j]=불일치, fs-map[i,j]=일치; 이 경우는 g영상의 블럭[i,j]에 에러가 있고, 이 블럭이 다른 영상의 블럭으로 대체될 것이 요구된다. 따라서 이 경우에 에러 은닉부(212)는 f영상을 웨이브릿 역변환하여 보다 높은 해상도의 영상(g급 영상이 될 것이다)으로 만들고 이 것을 문제가 발생한 블럭에 대치시킨다.(g). gf-map [i, j] = unmatched, gs-map [i, j] = unmatched, fs-map [i, j] = matched; In this case, there is an error in the block [i, j] of the g picture, and this block is required to be replaced by a block of another picture. Therefore, in this case, the error concealment unit 212 converts the f image to inverse wavelet to produce a higher resolution image (which will be a class-G image) and replaces it with the block in which the problem occurs.

(h). gf-map[i,j]=불일치, gs-map[i,j]=불일치, fs-map[i,j]=불일치; 이 경우는 본 발명에서도 어쩔 수 없는 경우이므로 다른 분석수단을 이용해서 처리한다.(h). gf-map [i, j] = inconsistency, gs-map [i, j] = inconsistency, fs-map [i, j] = inconsistency; In this case, the present invention is unavoidable. Therefore, other analysis means is used.

상기 맵 정보를 살펴 보면 에러 은닉이 일어나는 경우는 g영상, f영상, s영상, 3개의 영상 중에서 한개의 영상에 에러가 있을 경우인데, 이는 (d),(f),(g)의 경우이다. 나머지 경우 중에서 (b),(c),(e)의 경우는 일어나기 힘든 경우인데 그 이유는 3개의 영상 중에서 1개의 영상에 에러가 있을 경우에는 3개의 맵 정보(gf-map, gs-map, fs-map) 중에서 논리적으로 2개에 영향을 미치기 때문이다. 그리고 (h)의 경우는 2개의 영상에 동시에 에러가 발생하는 경우인데 이 경우에는 알려진 다른 분석수단을 이용해서 처리하거나, 또는 가장 에러가 작은 것, 또는 3개의 영상 중에서 어느 하나를 무조건 선택하는 등의 다른 방법을 따를 수 있다.Looking at the map information, error concealment occurs when there is an error in one image among g image, f image, s image, and three images, which is the case of (d), (f), and (g). . Among the other cases, (b), (c), and (e) are difficult to occur because one of three images has an error in one of the three map information (gf-map, gs-map, fs-map) logically affects two. In the case of (h), an error occurs in two images at the same time. In this case, processing is performed using other known analysis means, or the one with the least error or unconditionally selecting one of three images. You can follow the other methods.

도6은 앞에서 설명한 각 경우 중에서 에러 은닉이 필요한 경우를 위한 에러 은닉부(212)의 내부 구조를 나타낸 실시예이다.FIG. 6 is an embodiment showing the internal structure of the error concealment unit 212 for the case where error concealment is required in each case described above.

그 구성을 살펴보면, 에러 정정된 g영상을 출력하기 위한 제1영상 대치부(601)와, g영상을 웨이브릿 변환하는 제1웨이브릿 변환부(602) 및 f영상을 웨이브릿 역변환하는 웨이브릿 역변환부(603)와, 정정된 f영상을 출력하기 위한 제2영상 대치부(604)와, f영상을 웨이브릿 변환하는 제2웨이브릿 변환부(605)와, 정정된 s영상을 출력하기 위한 제3영상 대치부(606)와, 상기 맵 정보를 입력받아 각각의 경우에 따라 상기 영상 대치부들을 제어하기 위한 제어부(607)로 구성되고 있다.Looking at the configuration, the first image replacement unit 601 for outputting the error-corrected g image, the first wavelet converter 602 for wavelet transforming the g image, and the wavelet for inverse wavelet transforming the f image Outputting the inverse transform unit 603, a second image replacing unit 604 for outputting the corrected f-image, a second wavelet transform unit 605 for wavelet transforming the f-image, and the corrected s-image The third image replacement unit 606 and a controller 607 for receiving the map information and controlling the image replacement units in each case.

여기서, 제어부(607)는 gf-map, gs-map, fs-map 대해서 앞에서 설명한 8가지 경우에 따라 각각 동작(블럭 대치 동작)을 해야할 영상 대치부를 선택적으로 제어하고, 이 제어를 받아 해당되는 영상 대치부가 에러 블럭을 해당 위치의 에러가 없는 다른 영상블럭으로 대치하여 넣음으로써, 에러가 정정된 영상을 출력할 수 있게 된다. 그리고 각각의 영상 대치부에서 출력된 정정된 g영상, 정정된 f영상, 정정된 s영상은 각각 g디코더(208), f디코더(209), s디코더(210)에 움직임 보상을 위한 복원 영상정보로 피드백 해준다. 그리고 g영상은 최종적으로 복호화된 영상신호로서 디스플레이될 것이다.Here, the controller 607 selectively controls the image replacement unit to perform the operation (block replacement operation) for each of the eight cases described above for gf-map, gs-map, and fs-map, and receives the corresponding image under the control. The replacement unit replaces the error block with another image block having no error at the corresponding position, thereby outputting an image in which the error is corrected. The corrected g image, the corrected f image, and the corrected s image output from each image replacing unit are reconstructed image information for motion compensation to the g decoder 208, the f decoder 209, and the s decoder 210, respectively. Give feedback. And the g picture will be displayed as the finally decoded picture signal.

제1영상 대치부(601)는 g영상에 에러가 있을 경우는 웨이브릿 역변환부(603)에 의해서 해상도가 높은 영상으로 역변환된 영상(f영상을 웨이브릿 역변환하여 해상도가 g급으로 높아진 것)을 문제가 발생한 블럭에 대치하여 넣고, 제2영상 대치부(604)는 f영상에 에러가 있을 경우 웨이브릿 변환부(602)에 의해서 해상도가 낮은 영상으로 변환된 영상(g영상을 웨이브릿 변환하여 해상도가 f급으로 낮아진 것)을 문제가 발생한 블럭에 대치하여 넣고, 제3영상 대치부(606)는 s영상에 에러가 있을 경우 웨이브릿 변환부(605)에 의해서 해상도가 낮아은 영상으로 변환된 영상(f영상을 웨이브릿 변환하여 해상도가 s급으로 낮아진 것)을 문제가 발생한 블럭에 대치하여 넣는 것이다.If there is an error in the g image, the first image replacing unit 601 inverts the image to the high resolution image by the wavelet inverse transform unit 603 (the resolution is increased to the grade g by inversely converting the f image). Is replaced with the block in which the problem occurs, and the second image replacement unit 604 converts the image converted into a low resolution image by the wavelet converter 602 when the f image has an error (wavelet transformed to g image). The resolution is lowered to f class), and the third image replacement unit 606 converts the image to a low resolution image by the wavelet converter 605 when there is an error in the s image. The resulting image (the wavelet-converted f-image and lowered to s level) is replaced with the problem block.

이와같이 해서 에러가 정정된 g,f,s 영상이 출력되는데, 최종적으로 디스플레이되는 것은 에러 정정된 g영상이다.In this way, an error-corrected g, f, s image is output, and finally, the g-corrected g image is displayed.

그런데 g영상은 자신 보다 낮은 해상도를 가지는 f영상으로 부터 보정되므로보정된 블럭은 저해상도이고, 보정되지 않은 블럭은 고해상도이기 때문에 이 부분이 시각적으로 눈에 거슬리는 경우가 있을 수 있다.However, since the g image is corrected from the f image having a lower resolution than the self image, the corrected block is low resolution and the uncorrected block is high resolution, so this part may be visually unobtrusive.

따라서, f영상으로부터 가지고 온 저해상도 블럭에 대한 대안으로 f영상의 움직임 벡터(MV)를 이용할 수 있다.(단, f영상으로부터 블럭을 가지고 오거나 또는 움직임 벡터를 가지고 오거나, 두가지 모두 f영상의 해당 블럭이 채널 에러에 의해서 손상되지 않았다는 것을 가정해야 한다).Therefore, the motion vector (MV) of the f-image can be used as an alternative to the low-resolution block obtained from the f-image (except for bringing a block from the f-image or bringing a motion vector, or both, to the corresponding block of the f-image). It should be assumed that it is not corrupted by this channel error).

이 때, g영상의 움직임 벡터는 f영상의 움직임 벡터와 다를 수도 있지만, f영상이 g영상의 저해상도 영상이라는 것을 감안한다면 양자는 거의 유사할 것으로 예상할 수 있고, 따라서 f영상의 움직임 벡터를 이용해서 움직임 보상된 블럭은 보정 블럭으로서의 또하나의 후보가 될 수 있다.At this time, the motion vector of the g image may be different from the motion vector of the f image, but considering that the f image is a low resolution image of the g image, the two images can be expected to be almost similar. The motion compensated block can thus be another candidate as a correction block.

즉, 앞에서 설명한 보정 블럭으로서의 두가지 후보인 f영상으로부터 가져온 저해상도 블럭과 f영상의 움직임 벡터로부터 보상된 블럭이며, 이 두개의 블럭 중에서 보다 좋은 화질을 주는 것을 선택하면 된다.That is, a low resolution block taken from the two candidate f-pictures as the correction block described above, and a block compensated from the motion vector of the f-picture, and a better image quality can be selected from the two blocks.

이 것을 선택하는 기준으로는 현재 블럭의 경계 픽셀과 인접 블럭의 경계 픽설간의 SAD(Sum of Absolute Difference)를 사용할 수 있다.As a criterion for selecting this, SAD (Sum of Absolute Difference) between the boundary pixel of the current block and the boundary fixation of the adjacent block may be used.

즉, f영상으로부터 가져온 저해상도 블럭의 SAD를 SADl, f영상의 움직임 벡터를 이용해서 움직임 보상된 블럭의 SAD를 SADm 이라고 할 때,That is, when the SAD of the low resolution block obtained from the f image is SADl and the SAD of the motion compensated block using the motion vector of the f image is SADm,

SADl + 임계치 < SADm 이면 f영상으로부터 가져온 저해상도 블럭을 보정 블럭으로 선택하고, 그 반대이면 움직임 벡터로부터 움직임 보상된 블럭을 보정 블럭으로 선택해서 g영상내의 해당 에러 블럭에 대치시킨다.If SADl + threshold <SADm, a low-resolution block taken from the f-image is selected as the correction block, and vice versa, a motion-compensated block from the motion vector is selected as the correction block and replaced with the corresponding error block in the g-image.

여기서 임계치는 주어지는데, 일반적으로 SADl이 SADm 보다 적을 것으로 기대하고 정한 값이다.The threshold is given here, which is generally the value expected and determined by SADl to be less than SADm.

본 발명은 동영상을 압축 부호화하여 전송할 때 입력 영상을 서로 다른 해상도의 다해상도 영상으로 각각 변환하여 이 다해상도 영상을 하나의 비트 스트림으로 전송하고, 복호화기에서는 다해상도 영상을 분리하여 각각 복호화한 다음, 각각의 다해상도 영상을 블럭 단위로 비교하여 에러 블럭을 찾아내고, 상기 에러 블럭을 에러 은닉기에서 해당 위치에 대응하는 다른 해상도의 영상블럭으로 대치시키는 방법으로 에러를 정정한 영상신호를 복호화하여 디스플레이 한다.According to the present invention, when the compressed video is encoded and transmitted, the input video is converted into a multi-resolution video having different resolutions, and the multi-resolution video is transmitted as one bit stream, and the decoder separates and decodes the multi-resolution video. Decode the error-corrected video signal by comparing each multi-resolution video block by block to find an error block and replacing the error block with an image block of a different resolution corresponding to the corresponding position in the error concealer. Display.

그러므로 본 발명에 의하면 복원된 영상의 화질 향상을 기대할 수 있고, 특히 채널 환경에 따라 발생되는 에러를 효과적으로 검출 및 은닉처리함으로써, 보다 향상된 성능의 에러 검출 및 은닉기법을 제공할 수 있다.Therefore, according to the present invention, it is possible to expect an improvement in image quality of a reconstructed image. In particular, by effectively detecting and concealing an error generated according to a channel environment, an error detection and concealment technique with improved performance can be provided.

Claims (13)

영상신호를 서로 다른 해상도의 복수개의 영상신호로 변환하여 다해상도 영상으로 부호화하는 단계와, 상기 부호화된 각 해상도별 영상신호를 하나의 비트 스트림으로 구성하여 전송하는 단계와, 수신된 다해상도의 영상신호를 각각의 해상도별 영상신호로 분리하여 복호화하는 단계, 상기 복호화된 각 해상도별 영상신호를 비교하여 에러를 검출하는 단계, 상기 에러가 검출된 위치의 영상신호를 에러가 없는 다른 해상도 영상신호를 이용해서 대치하여 복원 출력하는 단계; 로 이루어진 것을 특징으로 하는 다해상도 기반 영상 부호화 및 복호화 방법.Converting a video signal into a plurality of video signals having different resolutions and encoding the multi-resolution video; constructing and transmitting the encoded video signals for each resolution into one bit stream; and receiving the received multi-resolution video. Separating and decoding the signal into video signals for each resolution, comparing the decoded video signals for each resolution, and detecting an error, and converting the video signal at the position where the error is detected to another resolution video signal without error. Restoring and outputting the restored data; Multi-resolution based image encoding and decoding method characterized in that consisting of. 제 1 항에 있어서, 상기 다해상도 구조의 영상신호는 서로 다른 해상도의 3개 영상신호인 것을 특징으로 하는 다해상도 기반 영상 부호화 및 복호화 방법.The multi-resolution based video encoding and decoding method according to claim 1, wherein the multi-resolution video signal is three video signals having different resolutions. 제 1 항에 있어서, 상기 다해상도 영상 부호화시에, 다해상도 영상신호 중에서 상대적으로 낮은 해상도의 영상신호는 상대적으로 높은 해상도의 부호화된 영상신호를 복원한 영상신호를 이용해서 생성하는 것을 특징으로 하는 다해상도 기반 영상 부호화 및 복호화 방법.The method of claim 1, wherein in the multi-resolution video encoding, a video signal having a relatively low resolution among the multi-resolution video signals is generated by using a video signal obtained by reconstructing a coded video signal having a relatively high resolution. Multi-resolution based image encoding and decoding method. 제 1 항에 있어서, 상기 복호화된 각 해상도별 영상신호를 블럭별로 비교하고, 비교되는 블럭들 사이의 PSNR을 계산하여 PSNR을 소정의 임계치와 비교해서 에러 블럭 대치를 위한 맵 정보를 만들고, 상기 맵 정보를 이용해서 상기 에러가 검출된 블럭을 다른 해상도의 영상신호의 해당 블럭값으로 대치하여 출력하는 것을 특징으로 하는 다해상도 기반 영상 부호화 및 복호화 방법.The method of claim 1, wherein the decoded video signals for each resolution are compared block by block, PSNRs are calculated between blocks to be compared, and PSNRs are compared with a predetermined threshold to generate map information for error block replacement. And converting the block in which the error is detected by using the information into a corresponding block value of a video signal having a different resolution and outputting the same. 제 4 항에 있어서, 상기 비교되는 블럭들 사이의 PSNR을 계산하기 전에 블럭에 대한 평탄화(smoothing) 과정을 선행하는 것을 특징으로 하는 다해상도 기반 영상 부호화 및 복호화 방법.5. The method of claim 4, wherein a smoothing process is performed prior to calculating the PSNRs between the blocks to be compared. 제 1 항에 있어서, 상기 에러 은닉시에 각 해상도별 영상신호를 해상도를 높이거나 낮추는 변환을 더 수행하고, 상기 영상신호의 에러 블럭은 상기 해상도 변환된 영상신호의 해당 위치의 블럭으로 대치하는 것을 특징으로 하는 다해상도 기반 영상 부호화 및 복호화 방법.2. The method of claim 1, further comprising converting a video signal for each resolution to increase or decrease the resolution when concealing the error, and replacing an error block of the video signal with a block of a corresponding position of the resolution-converted video signal. A multi-resolution based video encoding and decoding method. 제 6 항에 있어서, 상기 영상신호의 에러 블럭을 해상도 변환된 영상신호의 해당 위치의 블럭으로 대치할 때, 자신 보다 해상도가 높은 영상신호를 보다 낮은 해상도로 변환한 영상신호의 해당 위치의 블럭으로 대치하는 것을 특징으로 하는 다해상도 기반 영상 부호화 및 복호화 방법.The video signal according to claim 6, wherein when the error block of the video signal is replaced with a block of the corresponding position of the resolution-converted video signal, the video signal having a higher resolution than that of the video signal is converted into a lower position of the block of the video signal. Multi-resolution based image encoding and decoding method characterized in that for replacing. 제 6 항에 있어서, 가장 높은 해상도의 영상의 에러 블럭을 해상도 변환된 영상신호의 해당 위치의 블럭으로 대치할 때, 그 다음 순위의 해상도 영상을 보다높은 해상도로 역변환한 영상신호의 해당 위치의 블럭으로 대치하는 것을 특징으로 하는 다해상도 기반 영상 부호화 및 복호화 방법.7. The block according to claim 6, wherein when the error block of the highest resolution image is replaced with the block of the corresponding position of the resolution-converted video signal, the block of the corresponding position of the video signal in which the next higher resolution image is inversely converted to a higher resolution. Multi-resolution based image encoding and decoding method characterized in that for replacing. 제 6 항에 있어서, 낮은 해상도 영상의 해당 위치의 블럭을 이용한 은닉보다 낮은 해상도 영상의 해당 위치의 움직임 벡터를 이용한 은닉이 유리할 경우 움직임 벡터를 이용하여 이전 프레임 해당 위치 블럭으로 대치하는 것을 특징으로 하는 다해상도 기반 영상 부호화 및 복호화 방법.The method according to claim 6, wherein when concealing using a motion vector of a corresponding position of a lower resolution image is advantageous than concealing using a block of a corresponding position of a lower resolution image, the position of the corresponding block of the previous frame is replaced using a motion vector. Multi-resolution based image encoding and decoding method. 영상신호를 서로 다른 해상도의 영상신호로 분리하여 다해상도 영상으로 변환하는 해상도 변환수단과, 상기 분리하여 변환된 각 해상도별 영상신호를 부호화하는 부호화 수단과, 상기 부호화된 각 해상도별 영상신호를 하나의 비트 스트림으로 구성하여 출력하는 다중화 수단, 다중화 수단으로부터 입력받은 다해상도의 영상신호를 각각의 해상도별 영상신호로 분리하는 역다중화 수단과, 상기 분리된 각 해상도별 영상신호를 복호화하는 복호화 수단과, 상기 복호화된 각 해상도별 영상신호를 비교하여 에러를 검출하는 에러 검출수단과, 상기 에러가 검출된 위치의 영상신호를 에러가 없는 다른 해상도 영상신호를 이용해서 정정하여 복원 영상신호를 출력하는 에러 은닉수단; 을 포함하여 이루어지는 것을 특징으로 하는 다해상도 기반 영상 부호화 및 복호화 장치.A resolution converting means for separating a video signal into video signals having different resolutions and converting the video signal into a multi-resolution video, encoding means for encoding the separated and converted video signals for each resolution, and one encoded video signal for each resolution. Multiplexing means for constructing and outputting a stream of bits, demultiplexing means for separating the multi-resolution video signals received from the multiplexing means into video signals for each resolution, and decoding means for decoding the separated video signals for each resolution; Error detection means for detecting an error by comparing the decoded video signals for each resolution, and an error for correcting the video signal at the position where the error is detected using another resolution video signal without error and outputting a restored video signal. Concealing means; Multi-resolution based image encoding and decoding apparatus comprising a. 삭제delete 제 10 항에 있어서, 상기 에러 검출수단은, 각각의 해상도별로 복호화된 영상신호에 대해서 해상도를 변환하는 해상도 변환수단과, 상기 해상도 변환된 영상신호들과 복호화된 각 해상도의 영상신호들을 블럭별로 비교하여 에러 검출 결과를 출력하는 비교수단을 포함하여 이루어지는 것을 특징으로 하는 다해상도 기반 영상 부호화 및 복호화 장치.12. The apparatus of claim 10, wherein the error detecting means comprises: a resolution converting means for converting a resolution of a video signal decoded for each resolution, and comparing the resolution-converted video signals with video signals of each decoded resolution on a block-by-block basis; And a comparison means for outputting an error detection result. 제 10 항에 있어서, 상기 에러 은닉수단은, 각각의 해상도별로 복호화된 영상신호에 대해서 해상도를 변환하는 해상도 변환수단과, 상기 복호화된 영상신호에 대해서 상기 에러 검출수단이 지정하는 위치의 에러 블럭을 상기 해상도 변환된 영상신호의 해당 위치의 블럭으로 대치하는 에러 블럭 대치수단을 포함하여 이루어지는 것을 특징으로 하는 다해상도 기반 영상 부호화 및 복호화 장치.11. The apparatus of claim 10, wherein the error concealment means comprises: resolution converting means for converting a resolution for a decoded video signal for each resolution, and an error block at a position designated by the error detecting means for the decoded video signal. And an error block replacement means for replacing the block of the corresponding position of the resolution-converted video signal.
KR10-2000-0075880A 2000-12-13 2000-12-13 Image codec system based on multi-resolution image KR100380230B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2000-0075880A KR100380230B1 (en) 2000-12-13 2000-12-13 Image codec system based on multi-resolution image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0075880A KR100380230B1 (en) 2000-12-13 2000-12-13 Image codec system based on multi-resolution image

Publications (2)

Publication Number Publication Date
KR20020047459A KR20020047459A (en) 2002-06-22
KR100380230B1 true KR100380230B1 (en) 2003-04-16

Family

ID=27681406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0075880A KR100380230B1 (en) 2000-12-13 2000-12-13 Image codec system based on multi-resolution image

Country Status (1)

Country Link
KR (1) KR100380230B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075952A1 (en) * 2018-10-12 2020-04-16 삼성전자주식회사 Electronic device and method for controlling electronic device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7889211B2 (en) * 2002-04-15 2011-02-15 Tektronix, Inc. Measuring PSNR of full color video
KR100679046B1 (en) * 2005-10-10 2007-02-05 삼성전자주식회사 Method and apparatus for bit resolution extension using local information of image
KR100746005B1 (en) * 2005-10-17 2007-08-06 삼성전자주식회사 Apparatus and method for managing multipurpose video streaming
KR100747664B1 (en) * 2006-01-12 2007-08-08 삼성전자주식회사 Method for process multimedia data adaptive to bandwidth and host apparatus
CN104159079B (en) * 2014-08-13 2018-01-30 上海航天电子通讯设备研究所 A kind of image real-time decoding display methods

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940017885A (en) * 1992-12-28 1994-07-27 Image signal encoding method and image signal encoding apparatus, image signal decoding method and image signal decoding apparatus, and image signal recording medium

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940017885A (en) * 1992-12-28 1994-07-27 Image signal encoding method and image signal encoding apparatus, image signal decoding method and image signal decoding apparatus, and image signal recording medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075952A1 (en) * 2018-10-12 2020-04-16 삼성전자주식회사 Electronic device and method for controlling electronic device
US11575974B2 (en) 2018-10-12 2023-02-07 Samsung Electronics Co., Ltd. Electronic device and method for controlling electronic device

Also Published As

Publication number Publication date
KR20020047459A (en) 2002-06-22

Similar Documents

Publication Publication Date Title
US10070141B2 (en) Method and apparatus for providing prediction mode scalability
US7146056B2 (en) Efficient spatial scalable compression schemes
JP3888597B2 (en) Motion compensation coding apparatus and motion compensation coding / decoding method
JP3217987B2 (en) Video signal decoding method and encoding method
JP4537583B2 (en) Error concealment of video signal
KR101425602B1 (en) Method and apparatus for encoding/decoding image
US20060133475A1 (en) Video coding
JP2004129216A (en) Image decoding method and apparatus
US6795498B1 (en) Decoding apparatus, decoding method, encoding apparatus, encoding method, image processing system, and image processing method
US6307976B1 (en) Apparatus and method of adaptively coding/decoding interlaced shaped material
US6804299B2 (en) Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation
KR100380230B1 (en) Image codec system based on multi-resolution image
Huchet et al. Distributed video coding without channel codes
KR100198986B1 (en) Motion compensation apparatus for improving a blocking effect
US20040258163A1 (en) Video communication system and video coding method
KR100269882B1 (en) Image coding and decoding method and related apparatus
KR100229794B1 (en) Image decoder having function for restructuring error of motion vector
JP2009094892A (en) Moving picture decoder and method of decoding moving picture
KR100209133B1 (en) Imgae decoder having functions for reconstructing error of motion vectors
KR20040031870A (en) Moving picture encoder and method for c0ding moving picture using the same
EP1790166A2 (en) A method and apparatus for motion estimation
JPH06169453A (en) Picture data encoding and decoding device and method thereof
KR100312418B1 (en) Intra mode code selection method in video coder
KR100386374B1 (en) A transcoder
KR101075328B1 (en) Decoding method and appratus for video

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120327

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20130326

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee