KR100531854B1 - 영상 코덱의 프레임 타입 오인식 방지 방법 - Google Patents

Abstract

본 발명은 네트워크를 통해 영상신호를 전송받아 복호화 처리할 때 전송 오류로 인하여 영상 프레임의 인터 타입을 인트라 타입으로 잘못 인식하여 영상을 제대로 복원하지 못하게 되는 것을 방지하는 기술에 관한 것이다. 이러한 본 발명은, 인터 픽쳐의 첫 번째 매크로블록에 대하여 COD가 '0'이고, 인터 타입이며, CBPC가 '11'이 되도록 엔코딩 처리하는 제1과정과; 인트라 픽쳐의 헤더를 파싱하고 MCBPC를 디코딩한 후 그 결과를 확인하여 결과가 VLC 테이블에 있는 유효 코드가 아닌 것으로 판명되면, "0000 0001 10"인지 확인하여 그 확인 결과에 따라 에러 은닉 루틴으로 점프하거나, 픽쳐 타입을 인터로 바꾸고 인터 프레임 처리루틴으로 진행하는 제2과정에 의해 달성된다.

Description

영상 코덱의 프레임 타입 오인식 방지 방법{METHOD FOR PREVENTING FRAME TYPE OF VIDEO CODEC}

본 발명은 영상 복호기에서 픽쳐 타입 정보를 잘못 인식하는 것을 방지하는 기술에 관한 것으로, 특히 동영상 복호기가 네트워크를 통해 영상신호를 전송받아 복호화 처리할 때 전송 오류로 인하여 영상 프레임의 인터 타입을 인트라 타입으로 잘못 인식하여 영상을 제대로 복원하지 못하게 되는 것을 방지할 수 있도록 한 영상 코덱의 프레임 타입 오인식 방지 방법에 관한 것이다.

일반적으로, 네트워크를 통해 동영상 신호를 전송받는 경우 채널 에러 또는 데이터의 유실로 인하여 원래 영상과 달리 깨져보이는 경우가 종종 발생된다. 유선망에 있어서는 데이터의 정체 현상(congestion)으로 인하여 그와 같은 현상이 발생되고, 무선망에서는 본질적으로 에러가 쉽게 발생되기 때문에 그와 같은 현상이 종종 발생된다.

영상 코덱(CODEC)에서, 영상이 훼손되었다는 것은 엔코딩 과정을 거쳐 영상 데이터로부터 만들어진 비트열의 내용이 바뀌었다는 것을 의미한다. 상기 비트열에는 영상에 대한 각종 정보가 들어있는데, 이 중에는 해당 프레임이 인트라 타입(intra type)인지 인터 타입(inter type)인지를 표시하는 픽쳐 헤드의 한 비트도 포함되어 있다.

만약, 채널상의 오류로 인하여 상기 비트의 내용이 원래 내용과 다르게 바뀌게 되는 경우 영상 디코딩에 심각한 악영향을 주게 된다. 왜냐하면, 인트라/인터 타입의 디코딩 과정은 전혀 상이하므로 인터 프레임의 데이터를 인트라 프레임의 방식으로 디코딩하면 영상이 제대로 복원되지 않기 때문이다.

그럼에도 불구하고, 종래의 영상 코덱에 있어서는 영상 프레임이 인트라 타입인지 인터 타입인지를 나타내는 픽쳐 헤드의 비트에 에러가 발생되는 것에 대한 적절한 대응기술이 마련되어 있지 않아 인터 타입의 프레임이 인트라 타입의 프레임으로 오인되는 경우가 종종 발생되고, 이와 같은 경우 영상 프레임을 정상적으로 복원할 수 없는 결함이 있었다.

따라서, 본 발명의 목적은 영상 프레임이 인트라 타입인지 인터 타입인지를 나타내는 픽쳐 헤드의 비트에 에러가 발생되어, 인터 타입의 영상 프레임이 인트라 타입의 프레임으로 잘못 인식되는 것을 방지하는 영상 코덱의 프레임 타입 오인식 방지 방법을 제공함에 있다.

본 발명에 의한 영상 코덱의 프레임 타입 오인식 방지 방법은, 인터 픽쳐의 첫 번째 매크로블록에 대하여 움직임 추정 및 보상을 실시하고 보상된 텍스처 정보를 코딩한 후 COD가 '0'이고, 인터 타입이며, CBPC가 '11'이 되도록 엔코딩 처리하는 제1과정과;

인트라 픽쳐의 헤더를 파싱하고 MCBPC를 디코딩한 후 그 결과를 확인하여 VLC 테이블에 있는 유효 코드가 아닌 것으로 판명되면 "0000 0001 10"인지 확인하여 그 확인 결과에 따라 에러 은닉 루틴으로 점프하거나, 픽쳐 타입을 인터로 바꾸고 인터 프레임 처리루틴으로 진행하는 제2과정으로 이루어지는 것으로, 이와 같은 본 발명의 프레임 타입 오인식 방지 처리과정을 첨부한 도 1 내지 도 6을 참조하여 상세히 설명하면 다음과 같다.

디코더에서 픽쳐 타입을 나타내는 비트 값이 원래와 다르게 뒤바뀐 것은 예를 들어, 인터 타입임을 나타내는 값에서 인트라 타입임을 나타내는 값으로 뒤바뀐 것은 비트 신택스(bit syntax)로서 확인할 수 없다.

왜냐하면, 상기 픽쳐 타입을 나타내는 비트 값에 에러가 발생하더라도 이 비트의 길이가 1비트로 고정되어 있어 형식적으로는 아무런 이상이 발견되지 않기 때문이다.

따라서, 본 발명에서는 픽쳐 타입의 유효성을 검증하기 위해 임의의 인터 프레임의 첫 번째 매크로블록(MB: macroblock)을 ① COD(COD: Coded macroblock indication)는 '0'으로, ② MB 타입은 인터 타입으로, ③ 크로미넌스 블록의 AC 계수(coefficient)가 존재하도록 엔코딩하였다. 이렇게 하면 매크로블록 레이어(layer)의 첫 번째 비트열은 도 1의 (a)와 같은 포맷 된다.(도 2 참조)

그런데, 오류가 발생하여 인터 타입의 프레임이 인트라 타입의 프레임으로 판정되어 인트라 방식으로 엔코딩할 경우에는 도 1의 (b)와 같이 디코딩해 나갈 것이다.

하지만, 도 3과 같이 MCBPC 코드는 인트라의 MCBPC 코드에 존재하지 않는 무효 코드(invalid code)이다. 따라서, 그 무효 코드에 의해 에러가 검출되고, 첫 번째 매크로블록에서 이런 경우가 발생하였다면 인터 타입의 픽쳐가 인트라 타입의 픽쳐로 바뀌었음을 알 수 있게 된다.

단, 본 발명에서는 픽쳐 헤더 정보가 훼손된 경우만을 고려한 것이고, 뒤의 매크로블록 레이어까지 훼손된 경우는 적용 대상에서 제외시켰다. 이런 경우가 많을 것으로 예상되는 이유는 픽쳐 헤더 정보는 대부분 고정된 길이의 코드이므로 채널 에러로 인하여 비트의 내용이 변화되어도 비트 동기(bit synchronization)가 깨지지 않기 때문이다. 본 발명의 적용범위는 h.263 표준이며 베이스라인 옵션(baseline option)을 가정한 것이다.

한편, 도 4는 본 발명의 적용 부위를 나타내기 위한 엔코더의 전체 신호 흐름도이다. 즉, 엔코더에서는 인터 픽쳐내의 첫 번째 매크로블록에 대해서만 본 발명이 적용되는데, 이의 처리과정을 도 5를 참조하여 설명하면 다음과 같다.

먼저, 인터 픽쳐의 첫 번째 매크로블록에 대하여 통상의 방법으로 움직임 추정을 실시하고, 필요시 움직임 보상을 실시한다. 이어서, 보상된 텍스처(texture) 정보를 엔코딩한 후 매크로블록에 대한 매크로 타입을 결정하게 되는데, 이때 무조건 인터 블록으로 결정하게 된다.(SB1-SB4)

즉, COD를 계산해 본 결과 모든 6개 블록의 AC 계수가 '0'이어서 COD가 '1'일지라도 이를 강제로 '0'으로 바꾸고, Cr과 Cb 블록의 고주파수(high frequency)쪽에 작은 값을 할당하여 COD가 '1'이 되지 않도록 한다.

상기 고주파수 대역에 작은 크기의 계수(coefficient)를 할당하여야 실제와 많이 차이가 나지 않게 된다. CBPC를 계산해 본 결과 역시 '11'이 아니면 고주파수의 계수 크기를 작게 하여 Cr,Cb 블록 모두에 삽입한다.(SB5,SB6)

이와 같은 처리과정을 수행하면 첫 번째 매크로블록은 본 발명에서 제안한 바와 같이 COD가 '0'이고, 인터 타입이며, CBPC가 '11'이 된다.

이후, CBPY를 결정하고, 움직임 벡터(MV)와 텍스처를 엔코딩한 후 종료한다.(SB7,SB8)

한편, 디코더에서는 픽쳐 타입의 에러를 검출하기 위하여 도 6과 같은 처리과정을 수행하게 되는데, 인터 픽쳐에 대해서는 기존의 처리방법을 그대로 이용하고, 인트라 픽쳐에 대해서만 본 발명에 따라 에러 검출을 시도한다.

우선, 인트라 픽쳐의 헤더를 파싱(parsing)하고 MCBPC를 디코딩한다.(SC1,SC2)

상기 MCBPC의 디코딩 결과를 확인하여 VLC 테이블에 있는 유효 코드로 판명되면 나머지에 대한 디코딩 처리과정을 통상의 방법대로 수행하게 된다.(SC4,SC5)

하지만, 상기 MCBPC의 디코딩 결과가 무효 코드로 판명되면 "0000 0001 10"인지 확인하여 동일하지 않은 것으로 판명되면 이는 무효 코드이고 통상의 인터 프레임에 포함되어 있던 코드가 아니다. 따라서, 이와 같은 경우는 헤더 뿐만 아니라 MCBPC쪽에도 오류가 발생한 것이므로 에러가 발생된 사실을 기록한 후 에러 은닉(concealment) 루틴으로 점프한다.(SC6-SC8)

그러나, 상기 MCBPC의 디코딩 결과가 "0000 0001 10"과 동일한 것으로 판명되면 즉, 무효 코드이면서 코드 패턴이 기존의 인터 프레임에 삽입하였던 패턴과 동일한 것으로 판명되면, 어떠한 이유로 인하여 인터 프레임이 인트라 프레임으로 바뀐 것으로 판단하여 픽쳐 타입을 인터로 바꾸고 인터 프레임 처리루틴으로 진행한다.(SC9,SC10)

이상에서 상세히 설명한 바와 같이 본 발명은 인터 프레임의 첫 번째 매크로블록에 대하여, COD는 '0'으로, MB 타입은 인터 타입으로, 크로미넌스 블록의 AC 계수가 존재하도록 엔코딩함으로써, 네트워크를 통해 영상신호를 전송받아 복호화 처리할 때 전송 오류로 인하여 영상 프레임의 인터 타입을 인트라 타입으로 잘못 인식하여 영상을 제대로 복원하지 못하게 되는 것을 방지할 수 있는 효과가 있다.

도 1의 (a)는 본 발명에 의한 첫 번째 매크로블록의 비트열의 포맷도.

도 1의 (b)는 인트라 픽쳐로 오인하여 디코딩하는 경우의 MCBPC 포맷도.

도 2는 인터 픽쳐에 대한 MCBPC의 가변장코드 테이블.

도 3은 인트라 픽쳐에 대한 MCBPC의 가변장코드 테이블.

도 4는 본 발명이 적용되는 엔코더의 전체 신호 흐름도.

도 5는 도 4에서 첫 번째 매크로블록의 처리 과정을 나타낸 신호 흐름도.

도 6은 디코더에서의 에러 검출 과정을 나타낸 신호 흐름도.

Claims (4)

1. 인터 픽쳐의 첫 번째 매크로블록에 대하여 COD가 '0'이고, 매크로블록의 타입은 인터 타입이며, 크로미넌스 블록의 AC 계수가 존재하도록 엔코딩 처리하는 제1과정과;

   인트라 픽쳐의 헤더를 파싱하고 MCBPC를 디코딩한 후 그 결과가 VLC 테이블에 있는 유효 코드가 아닌 것으로 판명되면, "0000 0001 10"인지 확인하여 그 확인 결과에 따라 에러 은닉 루틴으로 점프하거나, 픽쳐 타입을 인터로 바꾸고 인터 프레임 처리루틴으로 진행하는 제2과정을 포함하여 이루어지는 것을 특징으로 하는 영상 코덱의 프레임 타입 오인식 방지 방법.
2. 제1항에 있어서, 제1과정은 인터 픽쳐의 첫 번째 매크로블록에 대하여 움직임 추정 및 보상을 실시한 후 보상된 텍스처 정보를 엔코딩하는 제1단계와; COD 계산 후 COD가 '1'이면 강제로 '0'으로 바꾸고, Cr과 Cb 블록의 고주파수쪽에 작은 값을 할당하여 COD가 '1'이 되지 않도록 하는 제2단계와; CBPC의 계산 결과 '11'이 아니면 고주파수의 계수 크기를 작게 하여 Cr,Cb 블록 모두에 삽입하는 제3단계를 포함하여 이루어지는 것을 특징으로 하는 영상 코덱의 프레임 타입 오인식 방지 방법.
3. 제1항에 있어서, 제2과정은 인트라 픽쳐의 헤더를 파싱하고 MCBPC를 디코딩하는 제1단계와; 상기 MCBPC의 디코딩 결과가 무효 코드인지 확인하는 제2단계와; 상기 MCBPC의 디코딩 결과가 무효코드로 판명되면 "0000 0001 10"인지 확인하여 그 확인 결과에 따라 에러 은닉 루틴으로 점프하거나, 픽쳐 타입을 인터로 바꾸고 인터 프레임 처리루틴으로 진행하는 제3단계를 포함하여 이루어지는 것을 특징으로 하는 영상 코덱의 프레임 타입 오인식 방지 방법.
4. 제3항에 있어서, 제3단계는 MCBPC의 디코딩 결과가 무효코드이고 그의 비트값이 "0000 0001 10"이면 픽쳐 타입을 인터로 바꾸고 인터 프레임 처리루틴으로 진행하는 것을 특징으로 하는 영상 코덱의 프레임 타입 오인식 방지 방법.