KR20050076943A - Apparatus and method for error hiding of video decoder - Google Patents
Apparatus and method for error hiding of video decoder Download PDFInfo
- Publication number
- KR20050076943A KR20050076943A KR1020040004794A KR20040004794A KR20050076943A KR 20050076943 A KR20050076943 A KR 20050076943A KR 1020040004794 A KR1020040004794 A KR 1020040004794A KR 20040004794 A KR20040004794 A KR 20040004794A KR 20050076943 A KR20050076943 A KR 20050076943A
- Authority
- KR
- South Korea
- Prior art keywords
- error
- resynchronization
- frame
- unit
- decoder
- Prior art date
Links
Classifications
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01D—CONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
- E01D19/00—Structural or constructional details of bridges
- E01D19/06—Arrangement, construction or bridging of expansion joints
- E01D19/062—Joints having intermediate beams
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01D—CONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
- E01D19/00—Structural or constructional details of bridges
- E01D19/06—Arrangement, construction or bridging of expansion joints
- E01D19/065—Joints having sliding plates
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 에러의 경우에 따라서 에러 은닉 방법을 적절히 선택하여 적용할 수 있는 비디오 디코더의 에러 은닉 장치 및 방법을 제공하기 위한 것으로서, 에러가 발생할 수 있는 채널로 압축된 디지털 비디오 신호를 전송하는 시스템에서 에러가 발생했을 때 비디오 디코딩시 에러의 발생 양에 따라 다르게 에러 은닉 방법을 적용하므로써 디코딩된 비디오의 화질을 개선할 수 있다.An object of the present invention is to provide an error concealment apparatus and method of a video decoder that can appropriately select and apply an error concealment method according to an error case, and to provide a system for transmitting a digital video signal compressed to a channel where an error may occur. When an error occurs, the quality of the decoded video can be improved by applying an error concealment method according to the amount of error in video decoding.
Description
본 발명은 디지털 비디오 신호의 전송 시스템에 관한 것으로, 특히 에러율에 따른 비디오 디코더의 에러 은닉 장치 및 방법에 관한 것이다.The present invention relates to a transmission system of a digital video signal, and more particularly, to an error concealment apparatus and method of a video decoder according to an error rate.
기존의 아날로그 TV 방송방식에서 디지털 방식의 TV로 전환되면서 같은 전송 채널에서 보다 선명한 화질을 전송할 수 있게 되었는데, 이 같은 효과는 디지털 비디오 압축 기술에 의해 가능해 졌다. Transitioning from traditional analog TV broadcasting to digital TV, it is possible to transmit clearer picture on the same transmission channel. This effect is made possible by digital video compression technology.
그러나 현재 사용되고 있는 비디오 압축 기술은 화면을 구성하는 화소의 값들 간의 상관관계를 이용하여 불필요한 정보를 제거하는 방식이다. 따라서, 만일 하나의 화소값에 해당하는 데이터에 손실이 있을 경우, 예측치 못한 에러들이 디코딩된 화면에 발생하게 되어 심각한 화질의 열화를 가져올 수 있다. However, currently used video compression technology is a method of removing unnecessary information by using the correlation between the values of the pixels constituting the screen. Therefore, if there is a loss in data corresponding to one pixel value, unexpected errors may occur on the decoded screen, resulting in severe image quality degradation.
따라서, 이러한 화질의 열화를 방지하기 위하여 개발된 것이 에러 은닉 방법이다. 즉, 상기 에러 은닉 방법은 디코더에서 에러가 발생한 부분을 주변의 화소나 이전 화면에서 해당 화소와 같은 위치에 있었던 화소의 값으로 대치하므로써 에러가 발생한 부분의 화질 열화를 최소화시키는 방법이다. 그리고 이와 같은 에러 은닉 방법은 에러검출 방법과 함께 사용된다. Therefore, the error concealment method was developed to prevent such deterioration of image quality. That is, the error concealment method is a method of minimizing deterioration in image quality of an error part by replacing a part where an error occurs in a decoder with a value of a pixel that is located at the same position as a corresponding pixel in a neighboring pixel or a previous screen. This error concealment method is used together with the error detection method.
상기 에러 검출방법은 채널 디코더의 에러 정정 코드 부분에서 에러의 여부를 검출하거나, 또는 비디오 디코더의 디코딩 과정에서 디코딩된 코드의 유효여부에 따라서 판별하거나, 디코딩된 데이터의 유효한 값의 범위를 비교함으로써 에러를 검출하고 있다. The error detection method includes detecting an error in an error correction code portion of a channel decoder, determining whether or not a code is decoded during decoding of a video decoder, or comparing a range of valid values of decoded data. Is detected.
이때, 상기 비디오 디코더에서 에러를 검출하는 경우는 실제로 에러가 발생한 부분에서 에러가 검출되기보다는 그 에러에 의해 다음 코드가 잘못 디코딩되어 검출되는 경우가 많다. 따라서, 실제 에러가 발생한 부분에서부터 에러가 검출될 때까지의 코드의 개수가 매우 큰 값을 갖게 되어, 잘못 디코딩된 코드에 의해 복원된 화소의 값은 심하게 훼손될 수 있다. In this case, when an error is detected by the video decoder, an error is often decoded and detected by the error rather than an error in a portion where an error actually occurs. Therefore, the number of codes from the portion where the actual error has occurred until the error is detected has a very large value, and the value of the pixel reconstructed by the erroneously decoded code may be severely damaged.
이에 반하여, 최근 사용되고 있는 채널에서 에러신호를 받아서 처리하게 되는 경우는 에러에 의해 잘못 디코딩된 화소들이 없게 되므로, 채널에서 검출된 에러신호를 이용하여 에러 은닉을 하는 것이 보다 효과적이다. 그리고 이렇게 에러가 검출이 되면 더 잘못된 코드들을 이용하여 디코딩하는 것은 의미가 없으므로 올바른 코드가 디코딩 될 때까지 디코딩을 수행하지 않게 된다.In contrast, when an error signal is received and processed in a recently used channel, there are no pixels that are incorrectly decoded by an error. Therefore, error concealment using the error signal detected in the channel is more effective. When the error is detected, it is meaningless to decode using the wrong codes, so the decoding is not performed until the correct code is decoded.
따라서 상기 채널에서 에러신호를 받아서 처리하는 방식은 압축된 비디오 비트스트림에 에러가 발생하였을 경우, 이 에러가 다음 코드로 계속해서 전달되는 것을 방지하기 위하여 재동기 코드(Resynchonization Code 또는 Start Code)를 주기적으로 삽입하는 부호화 방식이 사용된다. 그리고 디코더는 다음의 재동기 코드를 찾아서 디코딩을 다시 시작할 수 있다. Therefore, the method of receiving and processing an error signal in the channel periodically generates a resynchronization code (Resynchonization Code or Start Code) to prevent the error from continuing to the next code when an error occurs in the compressed video bitstream. The coding scheme inserted by the above is used. The decoder can then resume decoding by finding the next resynchronization code.
일반적인 재동기 코드는 다음과 같은 수준으로 나뉘어 질 수 있다.The general resynchronization code can be divided into the following levels.
1. 슬라이스, 2. 프레임, 3. 랜덤 엑세스 프레임1. slice, 2. frame, 3. random access frame
도 1 은 종래 기술에 따른 비디오 디코더의 에러 은닉 방법에서 재동기가 가능한 단위를 나타낸 도면이다.1 is a diagram illustrating a unit capable of resynchronization in an error concealment method of a video decoder according to the prior art.
도 1에서와 같이, 재동기(Resynchonization)가 가능한 단위가 슬라이스 수준, 프레임 수준, 및 랜덤 엑세스 프레임 수준으로 나뉘어 질 수가 있다. As shown in FIG. 1, a unit capable of resynchonization may be divided into a slice level, a frame level, and a random access frame level.
상기 슬라이스 수준에서 재동기를 하여 에러 은닉을 하는 경우는 가능한 많은 데이터를 이용할 수 있는 반면에 에러 은닉이 완벽하지 않을 경우는 에러가 다음 프레임으로 전달되어 훼손된 화면을 출력하게 되므로 훼손된 화면이 보여지게 된다. In case of error concealment by resynchronizing at the slice level, as much data as possible can be used, whereas when error concealment is not perfect, the error is transmitted to the next frame and the damaged screen is outputted so that the damaged screen is shown. .
이에 반해, 상기 랜덤 엑세스 프레임에서 재동기를 하는 경우는 랜덤 엑세스 프레임 이전에 여러 장의 프레임을 손실하게 되므로 화면이 연속적으로 보여지진 않지만 훼손된 화면이 보여지지 않으므로 시청자에게는 훼손되지 않은 화면만 보여주게 된다.On the other hand, in case of resynchronization in the random access frame, since several frames are lost before the random access frame, the screen is not displayed continuously but the damaged screen is not shown, so only the undamaged screen is shown to the viewer.
상기 두 가지 방법 모두 각각의 장단점이 있으며, 종래의 기술은 이 두 가지 방법 중 한가지 방법으로만 재동기와 에러은닉을 하고 있다. 따라서, 경우에 있어서는 각 방법의 단점만을 가져오게 되어 에러 은닉에 상당한 역효과를 가져올 수가 있다. Both methods have their advantages and disadvantages, and the prior art uses resynchronization and error concealment only in one of these two methods. Therefore, in some cases, only the disadvantages of each method are brought, which can have a significant adverse effect on error concealment.
그러므로 에러의 경우에 따라서 위에서 언급한 에러 은닉 방법을 적절히 선택하여 적용할 수 있는 방법이 요구된다.Therefore, there is a need for a method capable of appropriately selecting and applying the above-described error concealment method according to an error case.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 에러의 경우에 따라서 위에서 언급한 에러 은닉 방법을 적절히 선택하여 적용할 수 있는 비디오 디코더의 에러 은닉 장치 및 방법을 제공하는데 그 목적이 있다.Accordingly, an object of the present invention is to provide an error concealment apparatus and method for a video decoder that can appropriately select and apply the above-described error concealment method according to an error case. .
본 발명의 다른 목적은 비디오 비트스트림에 에러가 발생하였을 경우에 비디오 디코더에서 출력되는 영상의 훼손 정도를 최소화하기 위한 장치 및 방법을 제공하는데 있다. Another object of the present invention is to provide an apparatus and method for minimizing the degree of corruption of an image output from a video decoder when an error occurs in a video bitstream.
본 발명의 또 다른 목적은 디코딩된 비디오의 화질을 개선하는데 있다.Another object of the present invention is to improve the quality of decoded video.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 비디오 디코더의 에러 은닉 장치의 특징은 채널 부호신호를 복호화하는 채널 디코더와, 상기 복호화된 디지털 신호를 역다중화하여 비디오 비트스트림으로 분리하는 역 다중화와, 상기 분리되어 출력되는 비디오 비트스트림을 디코딩하는 비디오 디코더부를 포함하여 구성되는 디지털 TV 수신기에 있어서, 상기 비디오 디코더는 비디오 비트스트림을 입력받아서 재동기(Resynchonization)를 수행하는 재동기부와, 상기 재동기부에서 출력되는 비트스트림을 디코딩하는 VLC(Variable Length Coding) 디코더부와, 상기 VLC 디코더부에서 디코딩된 신호를 입력으로 움직임 보상(Motion Compensation)을 수행하는 제 1 상호 예측부(Inter Prediction)와, 상기 VLC 디코더부에서 디코딩된 신호를 입력으로 같은 프레임의 화소들을 이용하여 화소값을 예측하는 제 2 상호 예측부와, 상기 VLC 디코더부에서 디코딩된 신호를 입력으로 잔여(Residual) 데이터를 복원하는 잔여 디코더부와, 상기 제 1, 2 상호 예측부에서 예측된 데이터 및 상기 잔여 디코더부에서 복원된 잔여 데이터를 이용하여 최종 디코딩된 화소를 복원하는 화소 복원부와, 각 디코딩부에서 발생할 수 있는 에러를 검출하는 에러 검출부와, 상기 에러 검출부에서 검출된 에러에 의해 측정된 훼손 매크로블록의 수를 계수하는 훼손 MB 계수부와, 상기 훼손 MB 계수부에서 출력되는 계수값에 따라서 에러 은닉 방법을 선택하는 에러 은닉 방법 판단부와, 상기 에러 은닉 방법 판단부에서 선택된 판단 신호를 이용하여 에러 은닉을 위해 상기 제 1, 2 상호 예측부 및 잔여 디코더부를 제어하는 에러 은닉 제어부를 포함하여 구성되는데 있다.Features of an error concealment apparatus of a video decoder according to the present invention for achieving the above object are a channel decoder for decoding a channel code signal, demultiplexing for demultiplexing the decoded digital signal into a video bitstream, A digital TV receiver comprising a video decoder to decode the separated video bitstream, wherein the video decoder comprises: a resynchronizer for resynchronizing the video bitstream; A variable length coding (VLC) decoder that decodes the output bitstream, a first inter prediction that performs motion compensation on a signal decoded by the VLC decoder, and the VLC Use the pixels of the same frame as the input of the decoded signal at the decoder A second mutual predictor for predicting a pixel value, a residual decoder for restoring residual data as an input of a signal decoded by the VLC decoder, data predicted by the first and second mutual predictors, and A pixel reconstruction unit for reconstructing the last decoded pixel using the residual data reconstructed by the residual decoder unit, an error detection unit for detecting an error that may occur in each decoding unit, and an error detected by the error detection unit A corrupt MB counting unit for counting the number of corrupted macroblocks, an error concealment method determining unit for selecting an error concealment method according to a coefficient value output from the corrupt MB counting unit, and a decision signal selected by the error concealment method determining unit; And an error concealment control unit for controlling the first and second mutual prediction units and the residual decoder unit for error concealment. The.
이때, 상기 재동기부는 에러가 발생하였을 시에 다음 재동기 코드를 찾아, 먼저 오는 재동기 코드를 검출하여 VLC 디코더부에 알려주는 것이 바람직하다.In this case, when an error occurs, the resynchronization unit may find a next resynchronization code, detect a first resynchronization code, and notify the VLC decoder unit.
그리고 상기 재동기 코드는 슬라이스, 프레임, 랜덤 엑세스 프레임의 시작점마다 구성되는 것이 바람직하다.The resynchronization code is preferably configured for each start point of a slice, a frame, and a random access frame.
또한, 상기 VLC 디코더부는 상기 재동기 코드 이후에 오는 비트스트림의 종류에 상응하여 디코딩하는 것이 바람직하다. Also, it is preferable that the VLC decoder decodes according to the type of bitstream following the resynchronization code.
아울러 상기 재동기부는 에러가 발생하였을 시 에러 은닉 방법 판단부에서 입력된 재동기 코드 수준에 따라 재동기를 수행하는 것이 바람직하다.In addition, the resynchronization unit may perform resynchronization according to the resynchronization code level input by the error concealment method determination unit when an error occurs.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 비디오 디코더의 에러 은닉 방법의 특징은 매 매크로 블록의 디코딩 과정에서 검출된 에러 신호에서 다음 재동기 코드를 검출하는 단계와, 상기 검출된 재동기 코드의 값이 랜덤엑세스 프레임 코드일 경우는 훼손 매크로블록(MB) 계수값을 0으로 초기화 한 후 다음 매크로블록을 디코딩하는 단계와, 상기 검출된 에러신호를 바탕으로 훼손된 매크로블록(MB)의 개수를 발생하여 에러가 검출된 슬라이스의 시작 매크로 블록과 다음 재동기된 슬라이스나 프레임의 첫 번째 매크로 블록사이의 매크로 블록의 개수를 계산하는 단계와, 상기 계산된 훼손 매크로블록(MB)의 수를 누적하여 계수하는 단계와, 상기 누적 훼손 매크로블록의 계수값을 설정된 경계값 N과 비교하는 단계와, 상기 비교 결과 상기 누적된 훼손 MB계수값이 상기 경계값 N보다 크면, 누적된 화면 훼손이 심한 것으로 간주하여 더 이상 슬라이스 수준의 재동기를 하지 않고 다음 랜덤 엑세스 프레임을 찾는 재동기를 실시하는 제 2 에러은닉 단계와, 상기 비교 결과, 상기 누적된 훼손 MB계수값이 정해진 경계값 N 이하일 경우는 누적된 화면 훼손이 심하지 않은 것으로 간주하여 슬라이스 수준의 재동기를 실시하는 제 1 에러은닉 단계와, 상기 훼손된 매크로블록(MB)을 에러 은닉한 후에는 다음 재동기된 슬라이스나 프레임을 계속해서 디코딩하는 단계를 포함하여 이루어지는데 있다.A feature of the error concealment method of the video decoder according to the present invention for achieving the above object is the step of detecting the next resynchronization code in the error signal detected in the decoding process of each macro block, and If the value is a random access frame code, initializing the corrupted macroblock (MB) count value to 0, decoding the next macroblock, and generating the number of corrupted macroblocks (MB) based on the detected error signal. Calculating the number of macroblocks between the start macroblock of the slice in which the error is detected and the first macroblock of the next resynchronized slice or frame, and accumulating the number of the damaged macroblocks (MB) by counting Comparing the count value of the cumulatively damaged macroblock with a predetermined boundary value N; A second error concealment step of performing a resynchronization to find the next random access frame without further resynchronizing at the slice level, considering that the accumulated MB damage value is greater than the threshold value N; As a result of the comparison, when the accumulated damaged MB coefficient value is less than or equal to a predetermined threshold value N, the first error concealment step of resynchronizing at the slice level is considered that the accumulated screen damage is not severe and the corrupted macroblock (MB) is performed. After error concealment, the method comprises continuing to decode the next resynchronized slice or frame.
이때, 상기 재동기 신호를 검출하는 단계는 먼저 오는 슬라이스 재동기 코드나 프레임 재동기 코드를 무시(bypass)하고 다음에 오는 랜덤 엑세스 프레임의 재동기 코드를 검출하는 것이 바람직하다.In the detecting of the resynchronization signal, it is preferable to bypass the first slice resynchronization code or the frame resynchronization code and detect the next resynchronization code of the random access frame.
또한 상기 제 2 에러은닉 단계는 이전 프레임으로부터 화소값을 가져오며 더 이상의 디코딩은 실시하지 않는 단계와, 다음 랜덤 엑세스 프레임이 나오기 전까지 현재 디코딩된 프레임을 계속 반복시키는 단계를 포함하여 이루어지는 것이 바람직하다.In addition, the second error concealment step preferably includes a step of bringing pixel values from the previous frame and no further decoding, and continuing to repeat the current decoded frame until the next random access frame.
그리고 상기 제 1 에러은닉 단계는 이전의 프레임의 같은 위치에 있는 매크로블록의 데이터를 그대로 가져오거나 움직임 벡터가 있을 경우는 움직임 벡터의 양만큼 이동한 위치에 있는 데이터를 이전 프레임에서 가져오거나, 또는 같은 프레임에서 주변의 화소값으로 훼손된 매크로블록의 데이터를 채우는 방법 중 어느 하나로 이루어지는 것이 바람직하다. The first error concealment step may be performed to obtain data of a macroblock at the same position of a previous frame as it is, or to obtain data at a position moved by an amount of a motion vector from a previous frame if there is a motion vector, or It is preferable to use one of the methods of filling the data of the damaged macroblock in the frame with the surrounding pixel values.
본 발명의 특징에 따른 작용은 에러가 발생할 수 있는 채널로 압축된 디지털 비디오 신호를 전송하는 시스템에서 에러가 발생했을 때 비디오 디코딩시 에러의 발생 양에 따라 다르게 에러 은닉 방법을 적용하므로써 디코딩된 비디오의 화질을 개선할 수 있다.According to an aspect of the present invention, when an error occurs in a system that transmits a compressed digital video signal to a channel in which an error may occur, video decoding may be performed by applying an error concealment method according to the amount of error in video decoding. You can improve the picture quality.
본 발명의 다른 목적, 특성 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.Other objects, features and advantages of the present invention will become apparent from the following detailed description of embodiments taken in conjunction with the accompanying drawings.
본 발명에 따른 비디오 디코더의 에러 은닉 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다.A preferred embodiment of an error concealment apparatus and method of a video decoder according to the present invention will be described with reference to the accompanying drawings.
도 2 는 본 발명에 따른 디지털 TV 수신기를 나타낸 도면이다. 2 is a view showing a digital TV receiver according to the present invention.
도 2와 같이, 채널 부호신호를 복호화하는 채널 디코더(100)와, 상기 채널 디코더(100)에서 출력되는 다중화된 디지털 신호를 역다중화하여 비디오 비트스트림을 분리하여 출력해주는 역 다중화기(200)와, 상기 역 다중화기(200)에서 출력되는 비디오 비트스트림을 디코딩하여 디코딩된 프레임들을 출력해주는 비디오 디코더부(300)로 구성된다. 아울러, 상기 비디오 디코더부(300)에서 디코딩된 프레임을 임시 저장하는 비디오 프레임 메모리부(500)와, 상기 비디오 디코더부(300)에서 디코딩된 프레임을 입력으로 받아서 디스플레이 장치에 일정한 시간 간격으로 디스플레이 장치에 맞는 신호로 출력해주는 디스플레이부(400)와, 상기 디스플레이부(400)에서 출력하는 디스플레이될 프레임들을 저장하는 디스플레이 프레임 메모리(600)로 구성된다. As shown in FIG. 2, a channel decoder 100 for decoding a channel code signal, a demultiplexer 200 for demultiplexing a multiplexed digital signal output from the channel decoder 100 and separating and outputting a video bitstream; The video decoder unit 300 decodes the video bitstream output from the demultiplexer 200 and outputs decoded frames. In addition, the video frame memory unit 500 temporarily storing the decoded frame by the video decoder unit 300 and the frame decoded by the video decoder unit 300 as an input to the display device at regular time intervals And a display frame memory 600 for storing the frames to be displayed and output from the display unit 400.
이때, 상기 채널 디코더(100)는 오류정정 복호화기를 내장하고 있어 채널상의 에러가 발생하였을 경우는 출력되는 데이터와 함께 에러 플래그를“1”의 레벨로 출력하여 주고 에러가 없을 경우에는 에러 플래그를“0”의 레벨로 출력하여 줌으로써 역 다중화기가 입력 데이터의 에러 여부를 알 수 있게 하여준다. In this case, the channel decoder 100 includes an error correction decoder. When an error occurs on a channel, the channel decoder 100 outputs an error flag at a level of "1" together with the data to be output. Output at 0 ”level allows the demultiplexer to know whether the input data is error or not.
그리고 상기 역 다중화기(200) 역시 상기 채널 디코더(100)에서 입력된 데이터와 에러 플래그 신호를 함께 비디오 디코더부(300)로 출력하여 준다. The demultiplexer 200 also outputs the data inputted from the channel decoder 100 and the error flag signal to the video decoder 300.
그러면, 상기 비디오 디코더(300)는 입력된 에러 플래그를 참조하여 에러 여부를 에러검출 방법으로 사용할 수 있고 또 자체적으로 에러를 검출할 수 있는 에러 검출기능과 에러은닉기능을 수행하게 된다.Then, the video decoder 300 may use the error detection method as an error detection method with reference to the input error flag, and perform an error detection function and an error concealment function that can detect an error by itself.
도 3 은 본 발명에 따른 디지털 TV 수신기에서 선택적 에러 은닉을 수행하기 위한 비디오 디코더의 구성을 나타낸 도면이다. 3 is a diagram illustrating a configuration of a video decoder for performing selective error concealment in a digital TV receiver according to the present invention.
도 3과 같이, 비디오 비트스트림을 입력받아서 재동기(Resynchonization)를 수행하는 재동기부(310)와, 상기 재동기부(310)에서 출력되는 비트스트림을 디코딩하는 VLC 디코더부(325)와, 상기 VLC 디코더부(325)에서 디코딩된 신호를 입력으로 움직임 보상(Motion Compensation)을 수행하는 제 1 상호 예측부(Inter Prediction)(335)와, 상기 VLC 디코더부(325)에서 디코딩된 신호를 입력으로 같은 프레임의 화소들을 이용하여 화소값을 예측하는 제 2 상호 예측부(340)와, 상기 VLC 디코더부(325)에서 디코딩된 신호를 입력으로 잔여(Residual) 데이터를 복원하는 잔여 디코더부(345)를 구비한다. 아울러, 상기 제 1, 2 상호 예측부(335)(340)에서 예측된 데이터와 잔여 디코더부(345)에서 복원된 잔여 데이터를 이용하여 최종 디코딩된 화소를 복원하는 화소 복원부(350)와, 상기 디코더 프레임 메모리(500)에 데이터를 읽고 쓰기 위한 프레임 메모리 인터페이스부(355)와, 각 디코딩부(100)(325)에서 발생할 수 있는 에러를 검출하는 에러 검출부(320)와, 상기 에러 검출부(320)에서 검출된 에러에 의해 측정된 훼손 매크로블록(MB)의 수를 계수하는 훼손 MB 계수부(315)와, 상기 훼손 MB 계수부(315)에서 출력되는 계수값에 따라서 에러 은닉 방법을 선택하는 에러 은닉 방법 판단부(305)로 구성된다. 그리고 상기 에러 은닉 방법 판단부(305)에서 선택된 판단 신호를 이용하여 에러 은닉을 위해 상기 제 1, 2 상호 예측부(335)(340) 및 잔여 디코더부(345)를 제어하는 에러 은닉 제어(330)부로 구성된다.As shown in FIG. 3, a resynchronization unit 310 that receives a video bitstream and performs resynchronization, a VLC decoder 325 which decodes the bitstream output from the resynchronization unit 310, and the VLC The first inter prediction unit 335 performing motion compensation with the input signal decoded by the decoder 325 and the signal decoded by the VLC decoder 325 as an input. A second mutual predictor 340 for predicting pixel values using the pixels of the frame; and a residual decoder 345 for restoring residual data as input from a signal decoded by the VLC decoder 325. Equipped. In addition, the pixel reconstruction unit 350 reconstructs the last decoded pixel using the data predicted by the first and second mutual predictors 335 and 340 and the residual data reconstructed by the residual decoder 345; A frame memory interface 355 for reading and writing data to the decoder frame memory 500, an error detector 320 for detecting an error that may occur in each of the decoders 100, 325, and the error detector ( An error concealment method is selected according to a corrupt MB counting unit 315 for counting the number of corrupted macroblocks MB measured by the error detected at 320 and a coefficient value output from the corrupt MB counting unit 315. An error concealment method determination section 305 is provided. The error concealment control 330 controls the first and second mutual predictors 335 and 340 and the residual decoder 345 for error concealment using the determination signal selected by the error concealment method determination unit 305. It is composed of
이때, 상기 재동기부(310)는 에러가 발생하였을 시에 다음 재동기 코드를 찾는 기능을 수행하는데, 이때 상기 재동기 코드는 슬라이스, 프레임, 랜덤엑세스프레임의 시작점마다 있으므로 이중 어느 것이든 먼저 오는 재동기 코드를 검출하여 VLC(Variable Length Coding) 디코더부(325)에 알려주게 된다. In this case, when the error occurs, the resynchronization unit 310 performs a function of searching for the next resynchronization code. At this time, the resynchronization code is present at every start point of a slice, a frame, and a random access frame. The sync code is detected and notified to the variable length coding (VLC) decoder 325.
이에 따라 상기 VLC 디코더부(325)는 상기 재동기 코드 이후에 오는 비트스트림의 종류에 맞게 디코딩을 수행한다. Accordingly, the VLC decoder 325 performs decoding according to the type of bitstream following the resynchronization code.
또한 상기 재동기부(310)는 에러가 발생하였을 시 에러 은닉 방법 판단부(305)에서 입력된 재동기 코드 수준에 따라 재동기를 수행하기도 한다. In addition, the resynchronization unit 310 may perform resynchronization according to the resynchronization code level input by the error concealment method determination unit 305 when an error occurs.
예를 들어 에러 은닉 방법 판단부(305)에서 랜덤 엑세스 프레임의 재동기를 명령했을 경우는 먼저 오는 슬라이스 재동기 코드나 프레임 재동기 코드를 무시하고 다음에 오는 랜덤 엑세스 프레임의 재동기 코드를 검출한다.For example, when the error concealment method determination unit 305 instructs the resynchronization of the random access frame, the first slice resynchronization code or the frame resynchronization code is ignored and the next resynchronization code of the random access frame is detected. .
그러면, 상기 에러 검출부(320)는 입력된 에러 플래그, VLC 디코더부(325), 제 1, 2 상호 예측부(335)(340), 및 잔여 디코더부(345)로부터 검출된 에러신호를 바탕으로 훼손된 MB의 개수를 발생하여 훼손 MB 계수부(315)로 출력한다.Then, the error detector 320 based on the input error flag, the VLC decoder 325, the first and second mutual predictors 335 and 340, and the error signal detected by the residual decoder 345. The number of corrupted MBs is generated and output to the corrupted MB counter 315.
이때, 상기 훼손된 MB는 에러가 검출된 슬라이스의 시작 매크로 블록과 다음 재동기된 슬라이스나 프레임의 첫 번째 매크로 블록사이의 매크로 블록의 개수를 계산하여 구할 수 있다.In this case, the corrupted MB may be obtained by calculating the number of macroblocks between the start macroblock of the slice in which an error is detected and the first macroblock of the next resynchronized slice or frame.
그러면 상기 훼손 MB 계수부(315)는 에러 검출부(320)로부터 입력된 훼손 MB의 수를 누적하여 계수한다. 그리고 재동기부(310)로부터 입력되는 검출된 재동기 코드의 값이 랜덤엑세스 프레임 코드일 경우는 훼손 MB 계수값을 0으로 초기화한다. 이렇게 하는 이유는 랜덤 엑세스 프레임이 다시 시작할 경우는 이전에 발생된 에러들은 더 이상 새로운 프레임에 영향을 주지 않으므로 훼손 MB의 누적 계수가 0이 되기 때문이다.Then, the corrupted MB counter 315 accumulates and counts the number of corrupted MBs inputted from the error detector 320. When the value of the detected resynchronization code input from the resynchronization unit 310 is a random access frame code, the corrupt MB coefficient value is initialized to zero. This is because when the random access frame starts again, the previously generated errors no longer affect the new frame, and thus the cumulative coefficient of the damaged MB becomes zero.
이어 상기 에러 은닉 방법 판단부(305)는 훼손 MB 계수부(315)에서 입력된 누적 훼손 매크로 블록의 계수값을 설정된 경계값과 비교하여 에러 은닉 방법을 판단하여 재동기부(310)에 다음에 검출할 재동기 수준을 입력하여 주며, 에러 은닉 제어부(330)에 적용할 에러 은닉 방법을 알려주는 역할을 한다.Subsequently, the error concealment method determination unit 305 determines the error concealment method by comparing the count value of the cumulatively damaged macroblock inputted by the corrupt MB counting unit 315 with a set boundary value, and then detects the error concealment method in the resynchronization unit 310. Inputs a resynchronization level to perform, and serves to inform the error concealment method to be applied to the error concealment control unit 330.
이때, 상기 에러 은닉 제어부(330)는 에러 은닉 방법 판단부(305)에서 선택된 에러 은닉 방법을 수행하기 위하여 필요한 제어 신호를 제 1, 2 상호 예측부(335)(340)와 잔여 디코더부(345)에 보내주어 에러은닉을 수행하게 된다. In this case, the error concealment control unit 330 may provide the first and second mutual predictors 335 and 340 and the residual decoder 345 to control signals necessary to perform the error concealment method selected by the error concealment method determination unit 305. ) To perform error concealment.
이와 같이 구성된 본 발명에 따른 에러율에 따른 비디오 디코더의 에러 은닉 방법의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.The operation of the error concealment method of the video decoder according to the error rate according to the present invention configured as described above will be described in detail with reference to the accompanying drawings.
도 4 는 본 발명에 따른 비디오 디코더의 에러 은닉 방법을 나타낸 흐름도이다.4 is a flowchart illustrating an error concealment method of a video decoder according to the present invention.
도 4를 참조하여 설명하면, 매 매크로 블록의 디코딩 후에 디코딩 과정에서 검출된 에러 신호가 없으면 다음 매크로 블록의 디코딩을 수행하고(S10), 에러 신호가 검출되었으면 다음 재동기 신호를 재동기부(310)에서 검출한다(S20). Referring to FIG. 4, if there is no error signal detected in the decoding process after decoding each macro block, decoding of the next macro block is performed (S10). If an error signal is detected, the next resynchronization signal 310 is performed. Is detected (S20).
이때, 상기 재동기부(310)는 먼저 오는 슬라이스 재동기 코드나 프레임 재동기 코드를 무시하고 다음에 오는 랜덤 엑세스 프레임의 재동기 코드를 검출한다(S30).In this case, the resynchronization unit 310 ignores the first slice resynchronization code or the frame resynchronization code and detects the resynchronization code of the next random access frame (S30).
그리고 재동기부(310)로부터 입력되는 검출된 재동기 코드의 값이 랜덤엑세스 프레임 코드일 경우는(S40) 훼손 MB 계수값을 0으로 초기화 한 후(S110) 다음 매크로블록을 디코딩한다(S10). When the value of the detected resynchronization code input from the resynchronization unit 310 is a random access frame code (S40), after the corrupted MB coefficient value is initialized to 0 (S110), the next macroblock is decoded (S10).
또한, 상기 재동기부(310)로부터 입력되는 검출된 재동기 코드의 값이 랜덤 엑세스 프레임의 제동기 코드가 아닌 경우는(S40) 상기 에러 검출부(320)는 입력된 에러 플래그, VLC 디코더부(325), 제 1, 2 상호 예측부(335)(340), 및 잔여 디코더부(345)로부터 검출된 에러신호를 바탕으로 훼손된 MB의 개수를 발생하여 훼손 MB 계수부(315)로 출력한다.In addition, when the value of the detected resynchronization code input from the resynchronization unit 310 is not a brake code of a random access frame (S40), the error detection unit 320 may input an input error flag and a VLC decoder 325. The number of corrupted MBs is generated based on the error signals detected by the first and second mutual predictors 335 and 340 and the residual decoder 345, and then output to the corrupted MB counter 315.
그러면 상기 훼손된 MB 계수부(315)는 에러가 검출된 슬라이스의 시작 매크로 블록과 다음 재동기된 슬라이스나 프레임의 첫 번째 매크로 블록사이의 매크로 블록의 개수를 계산하여 구하게 된다(S50).Then, the corrupted MB counter 315 calculates and calculates the number of macroblocks between the start macroblock of the slice in which the error is detected and the first macroblock of the next resynchronized slice or frame (S50).
이어 상기 훼손 MB 계수부(S50)는 상기 에러 검출부(320)로부터 입력된 훼손 MB의 수를 누적하여 계수하게 된다(S60). Subsequently, the corrupted MB counter S50 accumulates and counts the number of corrupted MBs input from the error detector 320 (S60).
이때, 이렇게 하는 이유는 랜덤 엑세스 프레임이 다시 시작할 경우는 이전에 발생된 에러들은 더 이상 새로운 프레임에 영향을 주지 않으므로 훼손 MB의 누적 계수가 0이 되기 때문이다.In this case, the reason for doing this is that when the random access frame starts again, since the previously generated errors no longer affect the new frame, the cumulative coefficient of the damaged MB becomes zero.
이어 상기 에러 은닉 방법 판단부(305)는 상기 훼손 MB 계수부(305)에서 입력된 누적 훼손 매크로 블록의 계수값을 설정된 경계값 N과 비교하여 에러 은닉 방법을 판단하게 된다(S70).Subsequently, the error concealment method determination unit 305 determines the error concealment method by comparing the count value of the cumulatively damaged macroblock inputted by the corrupted MB counter 305 with the set boundary value N (S70).
이때, 상기 비교 결과(S70) 상기 누적된 훼손 MB계수 값이 상기 경계값 N보다 큰 경우는 에러 은닉 방법2를 실시한다(S90).In this case, when the accumulated damage MB coefficient value is larger than the boundary value N, an error concealment method 2 is performed (S90).
상기 에러 은닉 방법2는 누적된 화면 훼손이 심한 것으로 간주하여 더 이상 슬라이스 수준의 재동기를 하지 않고 다음 랜덤 엑세스 프레임을 찾는 재동기를 실시하는 방법으로, 다음 랜덤 엑세스 프레임까지의 프레임들을 출력한다.The error concealment method 2 is a method of performing a resynchronization to find the next random access frame without any further slice level resynchronization because the accumulated picture corruption is severe, and outputs frames up to the next random access frame.
이와 같은 상기 에러은닉방법2는 훼손된 매크로블록의 에러 은닉 방법을 단순히 이전 프레임으로부터 가져오며 더 이상의 디코딩은 실시하지 않는다. 그리고 다음 랜덤 엑세스 프레임이 나오기 전까지는 현재 디코딩된 프레임을 계속 반복시킨다. 이는 심하게 훼손된 프레임은 출력하지 않고 현재 디코딩된 프레임으로 출력을 고정함으로써, 비록 프레임 프리즈(freeze)로 움직임은 자연스럽지는 않지만 출력되는 영상의 화질을 어느 정도 유지시킬 수 있기 때문이다. This error concealment method 2 simply takes the error concealment method of the corrupted macroblock from the previous frame and does not perform further decoding. The current decoded frame is repeated until the next random access frame is obtained. This is because by fixing the output to the currently decoded frame without outputting a badly damaged frame, it is possible to maintain the image quality of the output image to some extent, although the movement with the frame freeze is not natural.
다음으로 상기 비교 결과(S70), 상기 누적된 훼손 MB계수값이 정해진 경계값 N 이하일 경우는 에러 은닉 방법1을 실시한다(S80). Next, when the comparison result (S70), the accumulated corruption MB coefficient value is less than the predetermined threshold value N, error concealment method 1 is performed (S80).
상기 에러 은닉 방법1은 누적된 화면 훼손이 심하지 않은 것으로 간주하여 슬라이스 수준의 재동기를 실시하는 방법으로, 훼손된 매크로블록(MB)을 에러 은닉하여 디코딩을 계속하는 방법이다.The error concealment method 1 performs a slice level resynchronization considering that the accumulated picture corruption is not severe. The error concealment method 1 is a method of error concealing a corrupted macroblock MB and continuing decoding.
이와 같은 상기 에러 은닉 방법1은 훼손된 매크로블록을 에러 은닉하는 방법으로 이전의 프레임의 같은 위치에 있는 매크로블록의 데이터를 그대로 가져오거나 움직임 벡터가 있을 경우는 움직임 벡터의 양만큼 이동한 위치에 있는 데이터를 이전 프레임에서 가져오는 방법이다. 또한 같은 프레임에서 주변의 화소값으로 훼손된 매크로블록의 데이터를 채우는 방법도 있을 수 있다. The error concealment method 1 is a method of error concealing a corrupted macroblock. The data of the macroblock at the same position of the previous frame is taken as it is or, if there is a motion vector, the data at the position moved by the amount of the motion vector. To get from the previous frame. In addition, there may be a method of filling data of a damaged macroblock with neighboring pixel values in the same frame.
이를 통해 훼손된 매크로블록(MB)을 에러 은닉한 후에는 다음 재동기된 슬라이스나 프레임을 계속해서 디코딩한다(S10).After the error concealment of the corrupted macroblock MB through this, the next resynchronized slice or frame is continuously decoded (S10).
이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.Those skilled in the art will appreciate that various changes and modifications can be made without departing from the spirit of the present invention.
따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다. Therefore, the technical scope of the present invention should not be limited to the contents described in the embodiments, but should be defined by the claims.
이상에서 설명한 바와 같은 본 발명에 따른 비디오 디코더의 에러 은닉 장치 및 방법은 다음과 같은 효과가 있다.The error concealment apparatus and method of the video decoder according to the present invention as described above has the following effects.
첫째, 채널상의 전송오류로 인한 화질의 열화를 에러의 정도에 따라서 적합한 에러 은닉 방법을 비디오 디코더에서 실시함으로써 최종화질을 일정 수준이상으로 유지하는 효과를 볼 수 있다. First, by performing an appropriate error concealment method in the video decoder according to the degree of the error of the deterioration of the image quality due to the transmission error on the channel, it is possible to see the effect of maintaining the final image to a certain level or more.
둘째, 본 발명은 디지털 TV, DMB(Digital Multimedia Broadcasting), 화상전화, VOD등에서 활용될 수 있다.Second, the present invention can be utilized in digital TV, digital multimedia broadcasting (DMB), video telephony, VOD, and the like.
도 1 은 종래 기술에 따른 비디오 디코더의 에러 은닉 방법에서 재동기가 가능한 단위를 나타낸 도면1 is a view showing a unit that can be resynchronized in the error concealment method of a video decoder according to the prior art
도 2 는 본 발명에 따른 디지털 TV 수신기를 나타낸 도면2 illustrates a digital TV receiver in accordance with the present invention.
도 3 은 본 발명에 따른 디지털 TV 수신기에서 선택적 에러 은닉을 수행하기 위한 비디오 디코더의 구성을 나타낸 도면3 is a diagram illustrating a configuration of a video decoder for performing selective error concealment in a digital TV receiver according to the present invention.
도 4 는 본 발명에 따른 비디오 디코더의 에러 은닉 방법을 나타낸 흐름도4 is a flowchart illustrating an error concealment method of a video decoder according to the present invention.
*도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings
100 : 채널 디코더 200 : 역 다중화기100: channel decoder 200: demultiplexer
300 : 비디오 디코더 305 : 에러 은닉 방법 판단부300: video decoder 305: error concealment method determination unit
310 : 재동기부 315 : 훼손 MB 계수부310: resynchronization unit 315: corrupt MB counter
320 : 에러 검출부 325 : VLC 디코더부320: error detection unit 325: VLC decoder unit
330 : 에러 은닉 제어부 335 : 제 1 상호 예측부330 error concealment control unit 335 first mutual prediction unit
340 : 제 2 상호 예측부 345 : 잔여 디코더부340: second mutual prediction unit 345: residual decoder unit
350 : 화소 복원부 355 : 프레임 메모리 인터페이스부350: pixel restoration unit 355: frame memory interface unit
400 : 디스플레이부 500 : 디코더 프레임 메모리 400: display unit 500: decoder frame memory
600 : 디스플레이 프레임 메모리600: display frame memory
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040004794A KR20050076943A (en) | 2004-01-26 | 2004-01-26 | Apparatus and method for error hiding of video decoder |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040004794A KR20050076943A (en) | 2004-01-26 | 2004-01-26 | Apparatus and method for error hiding of video decoder |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20050076943A true KR20050076943A (en) | 2005-07-29 |
Family
ID=37264575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040004794A KR20050076943A (en) | 2004-01-26 | 2004-01-26 | Apparatus and method for error hiding of video decoder |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20050076943A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100827152B1 (en) * | 2006-10-20 | 2008-05-02 | 삼성전자주식회사 | .264 apparatus and method of an efficient h.264 decoding for nal unit error detection |
| FR2934453A1 (en) * | 2008-07-22 | 2010-01-29 | Canon Kk | ERROR MASKING METHOD AND DEVICE |
| KR101107256B1 (en) * | 2007-03-27 | 2012-01-19 | 삼성전자주식회사 | Method and apparatus for adaptively converting frame rate based on motion vector and display device with adaptive frame rate conversion capability |
| KR101366244B1 (en) * | 2007-04-24 | 2014-02-21 | 삼성전자주식회사 | Method and apparatus for error concealment of image using residual data |
| WO2019059736A1 (en) * | 2017-09-22 | 2019-03-28 | 삼성전자주식회사 | Image encoding device, image decoding device, image encoding method, and image decoding method |
-
2004
- 2004-01-26 KR KR1020040004794A patent/KR20050076943A/en not_active Application Discontinuation
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100827152B1 (en) * | 2006-10-20 | 2008-05-02 | 삼성전자주식회사 | .264 apparatus and method of an efficient h.264 decoding for nal unit error detection |
| KR101107256B1 (en) * | 2007-03-27 | 2012-01-19 | 삼성전자주식회사 | Method and apparatus for adaptively converting frame rate based on motion vector and display device with adaptive frame rate conversion capability |
| US8437398B2 (en) | 2007-03-27 | 2013-05-07 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptively converting frame rate based on motion vector, and display device with adaptive frame rate conversion function |
| KR101366244B1 (en) * | 2007-04-24 | 2014-02-21 | 삼성전자주식회사 | Method and apparatus for error concealment of image using residual data |
| FR2934453A1 (en) * | 2008-07-22 | 2010-01-29 | Canon Kk | ERROR MASKING METHOD AND DEVICE |
| US8768088B2 (en) | 2008-07-22 | 2014-07-01 | Canon Kabushiki Kaisha | Error concealment method and device |
| WO2019059736A1 (en) * | 2017-09-22 | 2019-03-28 | 삼성전자주식회사 | Image encoding device, image decoding device, image encoding method, and image decoding method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5724369A (en) | Method and device for concealment and containment of errors in a macroblock-based video codec | |
| US5146325A (en) | Video signal decompression apparatus for independently compressed even and odd field data | |
| US6643403B2 (en) | Moving-picture coding and/or decoding system resistant to transmission error | |
| US7486734B2 (en) | Decoding and coding method of moving image signal, and decoding and coding apparatus of moving image signal using the same | |
| US6744924B1 (en) | Error concealment in a video signal | |
| US20030012286A1 (en) | Method and device for suspecting errors and recovering macroblock data in video coding | |
| US10075726B2 (en) | Video decoding method/device of detecting a missing video frame | |
| KR101420878B1 (en) | Method and apparatus for selectively error concealment of video frame | |
| KR20000035582A (en) | Spl icing of video data in progressively refreshed video streams | |
| WO2003007536A1 (en) | Method for detection and recovery of errors in the frame | |
| CA2476843C (en) | Video coding | |
| KR100301825B1 (en) | Mpeg video decoding system and method of processing overflow of mpeg video decoding system | |
| KR20050076943A (en) | Apparatus and method for error hiding of video decoder | |
| US6356661B1 (en) | Method and device for robust decoding of header information in macroblock-based compressed video data | |
| KR20020047459A (en) | Image codec system based on multi-resolution image | |
| KR20030033123A (en) | Error concealment device using samples of adjacent pixel and method thereof | |
| KR100301846B1 (en) | method for recovering moving picture in MPEG-2 compression/recovery system | |
| KR100215822B1 (en) | Method for decoding image preventing bitstream overflow | |
| KR100266172B1 (en) | An apparatus for processing errors in hdtv | |
| KR100564967B1 (en) | Moving picture decoder and method for decoding using the same | |
| KR100312418B1 (en) | Intra mode code selection method in video coder | |
| KR20050089457A (en) | Error concealment method in decoding motion picture | |
| US20110090962A1 (en) | Effective error concealment in real-world transmission environment | |
| KR20050089454A (en) | Error concealment method in decoding motion picture | |
| KR20050099079A (en) | Error concealment method in decoding motion picture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Withdrawal due to no request for examination |