KR20040041224A

KR20040041224A - 동영상 에러 보정 방법 및 장치

Info

Publication number: KR20040041224A
Application number: KR1020020069337A
Authority: KR
Inventors: 문기웅
Original assignee: 엘지전자 주식회사
Priority date: 2002-11-08
Filing date: 2002-11-08
Publication date: 2004-05-17
Also published as: KR100548316B1; CN1499845A; CN1240224C; US20040153937A1

Abstract

본 발명은 동영상 에러 보정 방법 및 장치에 관한 것으로 특히, MPEG, H.263 등의 동영상 코덱을 사용한 무선 채널의 영상 통신에 있어서, 현재 복호화된 매크로블록과 인접 매크로블록 간의 경계의 연속성을 점검하여 에러 여부를 검출하고 에러 검출시 Green-Pink 블록을 제거하여 에러 보정을 수행하도록 함에 목적이 있다. 이러한 목적의 본 발명은 동영상 처리 방법에 있어서, 에러 검출부(222)현재 디코딩된 동영상의 비트열에 대해 코드북을 참조하여 에러 여부를 검출하는 제1 단계와, 상기 에러 검출부(222)에서 에러가 검출되지 않은 경우 에러 검출부(225)에서 현재 복호화된 매크로블록과 그 매크로블록의 인접 매크로블록 간의 연속성을 검출하는 제2 단계와, 상기에서 연속성이 없는 것으로 판단되면 에러 발생으로 판단하여 에러 보정부(226)에서 해당 매크로블록을 은닉하는 제3 단계로 이루어짐을 특징으로 한다.

Description

동영상 에러 보정 방법 및 장치{ERROR COMPANSATION METHOD AND APPARATUS FOR MOVING PICTURE}

본 발명은 동영상 복원 기술에 관한 것으로 특히, 동영상 에러 보정 방법 및 장치에 관한 것이다.

일반적으로 영상 시스템은 도1의 블록도에 도시된 바와 같이, 동영상 비트 열을 무선 채널을 통해 전송하는 송신부(110)와, 무선 채널로부터 수신되는 동영상 비트열을 디코딩하여 영상을 표시하는 수신부(120)를 구비하며, 상기 송신부(110)는 동영상을 촬영하는 카메라(111)와, 상기 카메라(111)에서 촬영된 영상을 H.263으로 인코딩하여 동영상 비트열을 생성하는 인코더(112)를 포함하여 구성되고, 상기 수신부(120)는 무선채널로부터 수신되는 동영상비트 열에 대해 MPEG 또는 H.263 디코딩을 수행하는 디코더(121)와, 상기 디코딩된 신호에서 에러를 검출하여 보정하는 에러 검출부(122) 및 에러 보정부(123)와, 상기 에러 보정된 영상을 디스플레이 하는 디스플레이부(124)를 포함하여 구성된다.

이러한 영상 시스템의 동작을 설명하면 다음과 같다.

먼저, 송신부(110)는 카메라(111)를 통해 입력된 동영상을 인코더(102)를 통해 MPEG 또는 H.263 규격으로 인코딩을 하여 동영상 비트열을 무선채널로 전송한다. 이때, 인코더(102)는 매크로블록 단위로 인코딩을 수행한다.

또한, 수신부(120)는 무선채널로부터 수신되는 동영상 비트열을 디코더(121)에서 MPEG 또는 H.263 규격으로 디코딩하고, 에러 검출부(122)와 에러 보정부(123)를 통해 상기 디코딩된 신호에서 에러 여부를 검출하며, 검출된 에러를 은닉(보정)하여 디스플레이부(124)를 통해 동영상을 디스플레이 한다.

여기서, 에러 은닉(error concealment)이란 에러가 검출된 위치의 영상부분을 올바르게 디코딩된 이전 영상이나 현재 영상 부분을 이용하여 감춤으로써 보정하는 기술을 말한다.

한편, H.263 부호화기의 부호화 방법을 설명하면 다음과 같다.

H.263 규격에서는 2차원 공간상의 중복성을 제거하기 위해 DCT(Discrete Cosine Transform)를 이용하며, 시간축상의 중복성을 제거하기 위해 움직임 보상방법(Motion Compensation : MC)을 이용하고 있다. 여기서, DCT는 2차원 공간변환을 통해 데이터의 상관성을 제거하는 방법으로 픽쳐(Picture)를 공간 변환함에 있어서, 8픽셀*8픽셀 블록(block) 단위로 나뉘어진 각각의 블록을 DCT를 이용하여 공간 변환한다.

상기와 같이 공간 변환된 데이터들은 한쪽 방향으로 몰리는 경향이 있는데, 그 몰려진 데이터들을 양자화(Quantization : Q)하여 전송하게 되고, 시간축 상으로 연속된 픽쳐들은 주로 화면의 중앙부분에 사람이나 물체의 움직임이 있기 때문에, 움직임 보상방법에서는 이러한 성질을 이용하여 시간축 상의 중복성을 제거한다. 즉, 화면의 변하지 않는 부분(혹은 움직였다고 하더라도 변화가 아주 작은 부분)은 비슷한 부분을 바로 전 픽쳐에서 가져와 채움으로서(움직임 보상 : MC) 전송하여야 할 데이터 량을 최소화 할 수 있다.

이렇게 픽쳐 사이에서 가장 비슷한 매크로블록(macroblock)을 찾는 일을 움직임 예측(Motion Estimation : ME)이라 하며, 움직임 정보를 변위로 나타낸 것을 움직임 벡터(Motion Vector)라고 한다. H.263에서는 이러한 두 방법을 결합한 움직임 보상-DCT 방법을 이용하고 있다.

일반적으로 DCT 알고리즘 결합 기술은 입력 데이터를 8*8 단위로 표본화한 후, DCT에 의해 변환을 수행하고 그 변환 계수들을 압축률에 따라 양자화를 한 후 가변길이 부호화를 통해 데이터 압축을 행한다. 여기서, DCT를 통과한 데이터는 공간영역에서 주파수 영역으로 변환되고, 양자화 과정을 통해 유손실 압축(Lossy coding)이 이루어지는데, DC 계수보다 시각적으로 덜 민감한 AC 계수들을 더 비중을 두어 압축한다.

또한, 양자화 과정을 통하여 나온 데이터에서 상대적 발생 빈도가 높은 것들은 적은 코드워드(codeword)로 부호화하고, 상대적 발생빈도가 낮은 것은 긴 코드워드를 사용하여 최종적인 데이터 압축효과를 얻게 되는데, 이러한 부호화의 마지막 과정을 가변길이 부호화(Variable Length coding : VLC)라 한다.

이와 같은 동영상 처리방법에 있어서는, 보다 높은 압축률과 부호화(Coding)의 효율성을 극대화시키기 위한 방안으로서, 매크로블록 단위로 독립적으로 부호화하는 방법을 사용한다.

이를 H.263 부호화기에 대해 설명하면, 코딩(coding control) 시 현재 매크로블록이 이전 영상의 어떤 매크로블록과도 가깝지 않으면 인트로모드(INTRO MODE)로 결정하고, 가까운 매크로블록이 있다면 인터모드(INTER MODE)로 결정한다.

인트라모드 매크로블록일 경우 이전 영상과 관계없이 자기자신의 영상을 DCT와 양자화 과정을 거쳐 가변길이 부호화기(VLC)를 통해 최종 부호화하고, 인터모드 매크로 블록일 경우 역양자화(Inverse quantization)와 역이산여현변환(Inverse DCT)을 통해 복원된 이전 영상에서 움직임 추정(ME)에 의해 가장 가까운 매크로블록을 찾아 이를 움직임 보상(MC)한 후, 현재 매크로블록과 움직임 보상된 매크로블록 간의 차 영상을 이산여현변환(DCT), 양자화(Q) 그리고 가변길이 부호화(VLC) 하게 된다.

또한, H.263 비트 열 구문(Bitstream Syntax)은 4개의 계층(Layer)으로 나눠진다. 즉, 8*8(pixel)의 블록 계층(Block Layer)이 최저 계층이 되고, 상기 6개의 블록 계층(Luminance 4개, Chrominance 2개)이 모여 매크로블록 계층(Macroblock Layer)이 되고, 상기 여러 개의 매크로블록 계층(영상 크기에 따라 다름, QCIF 크기인인 경우 11개)이 모여 하나의 GOB(Group of Block Layer)를 형성한다. 그리고, 상기 여러 개의 GOB(QCIF 크기인 경우 9개)가 모여 하나의 사진(Picture Layer)이 이루어진다.

상기 매크로블록 계층 구문은 MB(Macro block) 헤더 부분과 블록 데이터 부분으로 나누어진다. 상기 MB 헤더부는 부호화 여부를 나타내는 COD와, 매크로블록의 MODE와 2개의 Chrominance 블록에 대한 부호화 패턴 정보를 가지는 MCBPC와, 4개의 Luminance 블록에 대한 부호화 패턴 정보를 가지는 CBPC와, 양자화 스텝사이즈 즉, 압축정도의 정보를 가지는 DQUANT와, 움직임 벡터정보를 가지는 MVD와, 각 블록별 DCT/Quantization 과정에 의한 결과 정보(Texture)를 가지는 블록 데이터로 구성된다.

이때, MVD(Motion Vector Data)는 현재 MB의 'Motion Vector' 값 자체를 가지는 것이 아니라, 현재 MB의 'Motion Vector'와 이를 추정한 'Motion Vector'간의 차를 가지고 있으며, 이는 비트량을 줄여 부호화 효율을 높이기 위한 것이다.

만약, 코딩 제어(Coding Control)에서 인트라(INTRA)로 결정된 매크로블록이라면 COD는 1이고 MVD는 없을 것이다.

그러나, 인터(INTER)로 결정된 매크로블록이면 MVD값이 존재할 것이고, 'MCBPC=1', 'CBPY=11' 그리고 'MVx(x방향의 Motion Vector)=0', 'MVy(y 방향의 Motion Vector)=0'인 경우에만 COD가 '1'이 되고, 그 외의 경우 COD는 '0'이 된다.

만약, COD가 '1'이면 현재 매크로블록이 이전의 상응하는 매크로 블록과 거의 유사함을 나타내는 것으로, 이 경우 COD 1비트만을 발생시키고 나머지는 발생시키지 않음으로써 부호화 효율을 높일 수 있다. 즉, 복호화(decoder) 측면에서 현재 매클로블록의 COD가 '1'로 되어 있으면, 바로 이전에 복원된 영상에서 상응하는 위치의 매크로블록을 그대로 가져와서 쓰면 된다. 이는 에러가 빈번한 무선 채널을 통해 영상 통신을 할 경우 반드시 수신부에서 에러 은닉을 하여야 하며, 에러 은닉을 위해서 반드시 정확한 에러 검출이 선행되어야 함을 의미한다.

종래의 비디오 디코더에서 일반적으로 사용하는 에러 검출 기술로는 코드북(code book 또는 code table)을 참조하여 해당 비트열에 대한 심볼이 없을 때 에러로 판단하는 방법이 있다.

이러한 방법에서 해당 비트열에 대한 인덱스가 없는 경우 그 비트열을 무효 코드(invalid code)라고 한다. 실제 비트열(bit stream)에 에러가 발생되면 'Invalid code'라고 판단될 확률보다 오인될 확률이 훨씬 우세하게 나타나기 때문에, 'Invalid code'에 의한 종래의 에러 검출기술은 에러를 검출 못할 수도 있고, 에러를 검출하더라도 실제 에러가 난 위치보다 항상 뒤늦게 검출된다.

H.263의 디코더에서 코드북에 없는 무효 코드가 나올 확률은 다음과 같다.

P-프레임에 대한 MCBPC 코드북 : 총 8192개 코드 중 9개 (0.110%)

I-프레임에 대한 MCBPC 코드북 : 총 512개 코드 중 7개 (1.37%)

CBPY 코드북 : 총 64개 코드 중 2개 (3.125%)

MVD 코드북 : 총 81924개 코드 중 5개 (0.061%)

TCOEFF 코드북 : 총 81924 코드중 16개 (0.195%)

그러나, 종래 기술은 에러가 발생된 비트열에 대한 인덱스가 코드북에 있다면 에러가 없는 것으로 판단하게 되어 에러 발생 위치를 찾을 수 없게 되고, 만일 에러의 영향력이 재동기 마커(resynchronization marker)에까지 미치는 가변길이 부호화의 특성에 의해 에러 위치를 찾는다 하더라도 이는 이미 에러가 발생한 위치를 지나친 후가 되기 때문에, 결국 복호화된 영상에서는 에러에 의한 다수의 Green-Pink 블록이 나타나게 되어 영상의 화질이 저하되는 문제점이 있다. 또한, 종래 기술은 H.263에서 무효 코드가 나올 확률을 살펴보면, 정확한 에러 검출에 있어서 한계가 있음을 단적으로 알 수 있다.

따라서, 본 발명은 종래의 문제점을 개선하기 위하여 MPEG, H.263 등의 동영상 코덱을 사용한 무선 채널의 영상 통신에 있어서, 현재 복호화된 매크로블록과 인접 매크로블록 간의 경계의 연속성을 점검하여 에러 여부를 검출하고 에러 검출시 Green-Pink 블록을 제거하여 에러 보정을 수행하도록 창안한 동영상 에러 보정 방법을 제공함에 목적이 있다.

도1은 종래 기술을 위한 에러 보정 장치의 블록도.

도2는 본 발명의 실시예에 제시된 에러 보정 장치의 블록도.

도3은 본 발명의 실시예에서 에러 보정 과정을 보인 동작 순서도.

도4는 매크로블록의 복호화 순서를 도시한 예시도.

도5는 현재 복호된 매크로블록과 인접 매크로블록을 보인 예시도.

도6은 종래 기술으로 복원된 영상을 보인 예시도.

도7은 본 발명을 적용하여 복원된 영상을 보인 예시도.

* 도면의 주요부분에 대한 부호 설명 *

210 : 송신부211 : 카메라

212 : 인코더220 : 수신부

221 : 디코더222,225 : 에러 검출부

223,226 : 에러 보정부224 : 디스플레이부

본 발명은 상기의 목적을 달성하기 위하여 디코딩된 동영상의 비트열에 대한 심볼이 코드북에 있는지 확인하는 단계와, 상기에서 심볼이 코드북에 없는 경우 에러로 판단하여 해당 매크로블록을 은닉하는 단계와, 상기에서 에러가 검출되지 않은 경우 현재 복호화된 매크로블록과 그 매크로블록의 인접 매크로블록 간의 경계에서 연속성을 확인하는 단계와, 상기에서 연속성이 없는 경우 에러로 판단하여 해당 매크로블록을 은닉하는 단계를 수행함을 특징으로 한다.

통상적으로 에러 보정은 에러가 빈번한 무선 채널을 통해 화상 통신을 할 경우 반드시 수행하여야 할 기술로서, 그 예로 에러 은닉(error concealment) 기술이 있다. 에러 은닉이란 에러가 검출된 위치의 영상 부분을 올바르게 디코딩된 이전 영상이나 현재 영상의 일부분을 이용하여 감추는 기술을 말하는 것이다. 또한, 에러 은익은 에러로 감지된 매크로블록에 대해서만 수행하는 것이기에 반드시 정확한 에러 검출이 선행되어야 한다.

따라서, 본 발명은 통상적으로 자연계의 영상신호는 시간, 공간적으로 인접한 위치에서는 급변하지 않는다는 영상신호 처리 및 압축의 기본 개념을 이용하여 에러를 추출하는 것으로, 매크로블록 단위로 부호화된 영상신호를 매크로블록 단위로 복호화할 때 그 복호화된 매크로블록 신호에 대해 이미 복호화된 인접 매크로블록 간의 경계값들의 차이가 많이 날 경우 에러로 판단하는 것이다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

본 발명의 실시예에서 제시된 에러 보정 장치는 도1의 블럭도와 동일하게 카메라(211), 인코더(212)로 이루어진 송신부(210)와, 디코더(221), 에러 검출부(222), 에러 보정부(223) 및 디스플레이부(224)로 이루어진 수신부(220)를 구비함에 있어서, 상기 수신부(220)는 에러 검출부(222)에서 에러가 검출되지 않은 동영상에 대해 현재 복호화된 매크로블록과 그 매크로블록의 인접 매크로블록 간의 경계에서 연속성을 확인하고 연속성이 없어 에러로 확인되면 해당 에러를 보정하기 위한 에러 검출부(225)와 에러 보정부(226)를 더 구비하여 구성한다.

즉, 본 발명의 실시예에서의 에러 보정 장치는 도2의 블록도에 도시한 바와 같이, 에러 검출부(222)에서 에러가 검출되지 않은 동영상의 현재 복호화된 매크로블록과 그 매크로블록의 인접 매크로블록 간의 경계에서 연속성을 검출하고 연속성이 없는 경우 에러로 판정하는 에러 검출부(225)와, 상기 에러 검출부(225)에서 에러로 판정한 매크로블록을 은닉하여 에러 보정을 수행하는 에러 보정부(226)를 더 구비하여 구성한다.

상기에서 에러 보정부(223)와 에러 보정부(226)을 독립적인 구성으로 설명하였으나, 하나의 에러 검출부로 구성할 수 있다.

이에 따라, 본 발명의 실시예에서는 도3의 동작 순서도에 도시한 바와 같이, 에러 검출부(222)에서 코드북을 참조하여 동영상 비트열의 에러를 검출하는 단계와, 상기 에러 검출부(222)에서 코드북의 참조에 의해 에러를 검출하면 에러 보정부(223)에서 해당 매크로블록을 은닉하여 보정하는 단계와, 상기 에러 검출부(222)에서 에러가 검출되지 않으면 에러 검출부(225)에서 인접매크로블록 간의 경계에서 연속성 여부를 검출하는 단계와, 상기에서 연속성이 없는 것으로 확인되면 에러 검출로 판단하여 에러 보정부(226)에서 해당 매크로블록을 은닉하여 보정하는 단계를 수행하여 종래 기술에 의해 검출되지 못하는 매크로 블록에 나타나는 Green-Pink 현상을 제거하도록 구성한다.

이와같이 구성한 본 발명의 실시예에 대한 동작 및 작용 효과를 설명하면 다음과 같다.

본 발명의 실시예에서도 수신부(220)에 구비되는 에러 검출부(222)와 에러 보정부(223)는 디코더(221)에서 복원된 동영상의 비트스트림에 대해 코드북을 참조하여 에러 여부를 판단하고 에러가 검출되는 해당 매크로블록을 은닉하여 보정하게 된다.

이어서, 본 발명은 도3의 동작 순서도와 동일한 과정으로 매크로블록 단위의 디코딩과 코드북에 의한 1차 에러 검출 여부 판단시 에러로 감지되지 않은 매크로블록에 대해서 다시 에러 여부를 검출하고 에러 발생의 경우 이를 보정하게 된다.

따라서, 본 발명의 실시예에서는 도1의 종래 기술과 동일한 동작 부분 즉, 카메라(211), 인코더(212), 디코더(221), 에러 검출부(222), 에러 보정부(223)에 대한 동작 설명은 생략하고 에러 검출부(225)와 에러 보정부(226)을 중심으로 설명하기로 한다.

디코더(221)에서 복호된 영상은 에러 검출부(222)로 입력된다. 도2는 QCIF 4:2:0 포맷(Y:176*144 픽셀, Cb/Cr : 88*72 픽셀) 영상을 도시한 것으로, K는 현재 복호화된 매크로블록의 위치를 나타낸다. 도4에서 화살표는 이전까지 복호화된 매크로블록(K-11, K-1, K)의 복호화 순서를 나타내며, 도5는 현재 복호화된 K번째 매크로블록과 공간적으로 인접한 K-1, K-11 매크로블록들을 나타낸다.

따라서, 본 발명은 자연계의 영상신호는 시간, 공간적으로 인접한 위치에서 급변하지 않는다라는 영상신호 처리 및 압축의 기본 개념을 에러 검출에 적용하는 것임으로, 에러 검출부(222)에서 에러가 검출되지 않은 경우 에러 검출부(225)는 디코더(221)에서 현재 복호화된 K번째 매크로블록이 Green-Pink 매크로블록인지 검출하기 위해 인접 매크로블록(K-1,K-11)과의 경계(도5에서 501, 502)에서 연속성을 조사한다.

매크로블록간의 연속성 측정은 아래의 식(1)~(3)과 같은 MAD(Mean Absolute Difference)를 사용한다.

----- 식(1)

----- 식(2)

------ 식(3)

여기서, Yk(i,j)는 Y신호의 k번째 매크로블록의 (i,j)번째 픽셀값을 나타낸다. 그리고, i,j는 각각 매크로블록의 가로축과 세로축의 좌표를 나타낸다.

이때, 에러 검출부(225)는 에러 검출을 위해 상기 식(1)~식(3)과 같이 정의된 MAD를 사용하여 아래의 식(4)와 같이 현재 복원된 K번째 매크로블록(MB)에 대한 에러 검출을 수행한다.

------ 식(4)

여기서,이다. 상기 식(4)와 같은 에러 검출 방법은 Green-Pink 매크로블록의 경우 각 컬러 신호의 MAD 값(MAD_Y, MAD_Cb, MAD_Cr)이 크게 나타나는 반면 에러가 없는 정상적인 매크로블록은 자연계 영상이 연속성을 가지듯 MAD 값이 작게 나타난다는 특성을 이용하는 것이다.

따라서, 에러 검출부(225)가 상기 식(1)~식(4)를 이용하여 Green-Pink 매크로블록의 에러를 검출하면 에러 보정부(226)에서 해당 매크로블록을 은닉하여 에러를 보정함으로써 디스플레이부(224)에는 화질이 개선된 영상이 표시되어진다.

즉, 본 발명은 에러 검출부(222)에서 1차로 에러를 검출하고 만일, 에러가 검출되지 않은 경우 에러 검출부(225)에서 다시 2차로 에러를 검출하고 이에 의해 에러가 검출되는 경우 에러를 보정하여 화질을 개선하는 것이다.

한편, 본 발명을 적용하면 도6과 도7에 도시한 바와 같이 에러 보정 성능이 향상되었음을 알 수 있다.

도6은 종래 에러 검출방법에 의해 복원했을 때 Green-Pink 매크로블록이 나타났던 프레임을 도시한 것이고, 도7은 본 발명의 에러 검출 방법을 사용하여 복원된 영상을 도시한 것이다.

따라서, 도6과 도7을 비교하여 보면 본 발명은 에러가 검출된 매크로블록을 시간적으로 이전 영상의 해당 위치 매크로블록으로 대체하는 간단한 방법을 사용하였지만, 시험 결과에 보는 바와 같이 Green-Pink 매크로블록이 모두 검출되어 은닉되었음을 알 수 있다.

본 발명에서는 48kbps, 15fps로 부호화된 Foreman 동영상 비트스트림에 ITU-T에서 제공하는 에러 패턴 중를 이용하여 에러를 주입한 비트스트림을 시험 데이터로 사용하였다.

상기에서 상세히 설명한 바와 같이 본 발명은 복호화 과정에서 종래 기술과 마찬가지로 코드북을 참조하여 에러 검출을 하는 동시에 종래 기술에서 에러가 검출되지 않은 복원 영상에 대해 Green-Pink 블록을 찾고 이를 은닉함으로써 영상의 화질을 향상시킬 수 있는 효과가 있다.

즉, 본 발명은 종래 기술에서의 에러 검출의 한계로 인해 잔존하는 Green-Pink 매크로블록을 보정함으로써 영상 화질을 보다 향상시킬 수 있는 것이다.

Claims

동영상 처리 방법에 있어서,

현재 디코딩된 동영상의 비트열에 대해 코드북을 참조하여 에러 여부를 검출하는 제1 단계와,

상기에서 에러가 검출되지 않은 경우 현재 복호화된 매크로블록과 그 매크로블록의 인접 매크로블록 간의 연속성을 검출하는 제2 단계와,

상기에서 연속성이 없는 것으로 판단되면 에러 발생으로 판단하여 해당 매크로블록을 은닉하는 제3 단계로 이루어짐을 특징으로 하는 동영상 에러 보정 방법.
동영상 복호화 장치에 있어서,

디코딩된 동영상 비트열에 대해 코드북을 참조하여 에러 여부를 판별하는 제1 에러 검출 수단과,

상기 제1 에러 검출수단에서 에러가 검출되지 않은 동영상 비트열에 대해 현재 복호화된 매크로블록과 그 인접 매크로블록 간의 연속성을 판단하고 연속성이 없는 경우 에러로 검출하는 제2 에러 검출 수단과,

상기 제1 또는 제2 에러 검출 수단에서 에러를 검출한 해당 매크로블록을 은닉하여 보정하는 에러 보정 수단을 구비하여 구성함을 특징으로 하는 동영상 에러 보정 장치.