KR20050093435A - 에러 대응 인트라 예측 모드 복호화 방법 - Google Patents

Abstract

본 발명에 의한 에러 대응 인트라 예측 모드 복호화 방법은, 입력되는 비트 스트림에 대하여, 특정 블록에서 발생된 에러가 탐지되고 상기 탐지된 에러의 위치 정보가 저장되는 단계와; 상기 입력되는 비트 스트림에 해당하는 프레임의 특정 블록에 에러가 발생되었는지 확인하고, 상기 특정 블록에 에러가 발생된 경우, 상기 에러가 발생된 특정 블록에 대한 인트라 예측 모드 복호화 수행이 배제되는 단계가 포함되며, 상기 에러의 탐지는 복호화기(decoder)에서의 가변 길이 복호화(VLD : Variable Length Decoding) 시에 수행되고, 또한, 상기 부호화된 신호는 H.264 등의 부호화기에서 인트라 예측 모드 부호화 방법에 의해 부호화되어 전송되는 것임을 특징으로 한다.

Description

에러 대응 인트라 예측 모드 복호화 방법{error resilient intra prediction mode decoding method}

본 발명은 에러 대응 인트라 예측 모드 복호화 방법에 관한 것으로, 특히 채널 에러 비트가 존재하는 무선 망을 통한 실시간 비디오 전송 응용 중 에러 대응 인트라 예측 모드(Intra Prediction Mode) 복호화 방법에 관한 것이다.

현재 H.264 표준에서는 인트라 부호화 방법의 효율을 높이기 위한 방법으로서 인트라 예측 모드가 제시되고 있다.

인트라 예측 모드 부호화 방법은 기존의 동영상 부호화 방법과 마찬가지로 첫번째 프레임을 전송하거나, 필요에 따라 인트라 부호화 모드 선택 시 시간적 상관성을 이용하지 않고 순수하게 프레임 내의 자체 정보만을 이용하여 예측 및 부호화하는 방법을 말하며, 이와 같은 종래 인트라 예측 모드 알고리듬을 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1은 종래 동영상 인트라 예측 모드 알고리듬으로써, 이에 도시한 바와 같이 매크로 블록(MACRO BLOCK)인 16*16의 단위로 인트라(intra) 부호화를 수행하는 방법을 정의하고 있다.

매크로 블록을 4*4블록으로 나눈 후에 현재 부호화 하여야 할 4*4블록을 부호화하기 위해 이전에 부호화가 끝난 블록들 중에서 인접한 3개의 4*4블록에 속한 화소들을 이용하여 현재 블록에 속한 화소들에 대한 정보를 예측한다.

그 예측이 완료되면 예측 값과 실제 값의 차이인 예측 에러만을 부호화하여 보내며, 이때 추정에 사용되는 방법은 일례로 도시된 바와 같이 모두 6가지 방법이 있으며, 이를 모드0 내지 모드5(MODE0~MODE5)라고 한다.

단, H.264에서는 상기 매크로블록 단위로 인트라 예측 부호화 하는 4가지 모드 및 상기 매크로 블록을 4*4블록으로 나눈 후에, 현재 부호화 하여야 할 4*4 블록을 부호화하기 위하여 이전에 부호화가 끝난 블록들 중에서 인접한 3개의 4*4 블록에

속한 화소들을 이용하여 현재 블록에 속한 화소들에 대한 정보를 예측하는 9가지 모드를 지원하고 있다.

상기 모드0(MODE0)은 4*4블록의 모든 값의 평균을 구하는 단순 계산으로 이루어지며, 모드1~모드5는 보다 복잡한 계산을 통해 예측 값을 구하게 된다.

이와 같은 계산은 인트라 예측모드 수행 시에 각각의 6개의 모드에서 16개의 화소에 대하여 복잡한 계산을 수행하게 되며, 이러한 방법은 주변 블록과의 공간적 상관성을 이용하여 가장 적합한 예측을 함으로써 예측 에러를 최소로 줄일 수 있게 된다.

또한, 그 후 예측된 값과 실제 값의 차이인 예측 에러만을 부호화하여 보내게 된다.

이에 복호화기(Decoder) 에서는 상기 보내준 예측 방향을 가지고 현재 블록의 계수 값을 복원하는 방법을 취하고 있는데, 이는 에러 부호화 효율은 높일 수 있지만 에러 상황에 매우 취약하다는 단점을 가지고 있다.

따라서 IMT 2000등의 무선 망을 통한 VOD 서비스와 같은 실시간 H.264 비디오 전송에 있어서, 데이터는 불가피하게 페이딩(fading) 및 다중 경로로 인한 채널 비트 에러가 발생하며, 상기 무선 채널 에러로 인해 복호화기 측에서 비트 에러가 나타나게 되고, 그 결과로 상기 복호화기에서는 잘못된 참조 블록으로 인한 화질 저하 및 잇따른 움직임 예측으로 인한 에러의 전파를 일으키게 된다.

본 발명은 채널 즉, 무선 망에서 채널 에러가 존재하는 경우 인트라 예측 모드 복호화 시, 상기 에러 탐지 후 에러 있는 주변 블록에서의 인트라 예측을 배제함으로써, 계산량의 감소와 더불어 화질 향상을 할 수 있는 에러 대응 인트라 예측 모드 복호화 방법을 제공함에 그 목적이 있다.

상기 목적을 달성하기 위하여 본 발명에 의한 에러 대응 인트라 예측 모드 복호화 방법은, 입력되는 비트 스트림에 대하여, 특정 블록에서 발생된 에러가 탐지되고 상기 탐지된 에러의 위치 정보가 저장되는 단계와; 상기 입력되는 비트 스트림에 해당하는 프레임의 특정 블록에 에러가 발생되었는지 확인하고, 상기 특정 블록에 에러가 발생된 경우, 상기 에러가 발생된 특정 블록에 대한 인트라 예측 모드 복호화 수행이 배제되는 단계가 포함됨을 특징으로 한다. 여기서, 상기 에러의 탐지는 복호화기(decoder)에서의 가변 길이 복호화(VLD : Variable Length Decoding) 시에 수행됨을 특징으로 한다.

또한, 상기 부호화된 신호는 H.264 등의 부호화기에서 인트라 예측 모드 부호화 방법에 의해 부호화되어 전송되는 것임을 특징으로 한다.

또한, 상기 에러가 발생된 특정 블록에 대한 인트라 예측 모드 복호화 수행이 배제됨은, 상기 에러 블록을 참조하는 블록들에 대하여 에러가 발생하지 않은 주변 인트라 블록에 대하여 예측 에러 값은 무시하고, 평균값만으로 그 값을 보상하는 것임을 특징으로 한다.

디지털 멀티미디어 데이터를 압축 전송하고 또 부호화하는 시스템으로 예를 들면 H.264나 MPEG4의 경우 동영상을 압축 부호화함에 있어, 디지털 영상 데이터를 블럭(macro block) 단위로 처리하는데, 부호화(encoding)의 경우는 움직임 추정 및 보상과 이산 코사인 변환(DCT), DCT 계수의 양자화, 그리고 가변 길이 부호화(VLC) 과정을 포함하고 있으며, 복호화(decoding)의 경우는 상기 부호화의 역과정으로, 가변 길이 복호화(VLD), 역 양자화, 역 DCT, 움직임 보상 및 추정 과정 등을 포함하고 있다.

또한, 상기 부호화 과정에 있어서, 일례로 에러 대응 H.264 인트라 부호화 의 효율을 높이기 위한 방법으로, 앞서 설명한 바와 같이 인트라 예측 모드 부호하 방법이 제시되고 있다.

상기 인트라 예측 모드 부호화 방법은 기존의 동영상 부호화 방법과 마찬가지로 첫번째 프레임을 전송하거나, 필요에 따라 인트라 부호화 모드 선택 시 시간적 상관성을 이용하지 않고 순수하게 프레임 내의 자체 정보만을 이용하여 예측 및 부호화하는 방법을 말한다.

이와 같은 인트라 예측 모드로 부호화되어 전송되면, 상기 복호화기에서도 또한 상기 인트라 예측 모드 복호화가 실행되어야 한다.

본 발명은 이와 같이 인트라 예측 모드의 복호화를 실행함에 있어서, 복호화기에서의 가변 길이 복호화(VLD : Variable Length Decoding) 수행 시 에러가 발생된 블록의 정보를 알 수 있으므로, 상기 정보를 이용하여 인트라 예측 모드 복호화 시, 상기 에러가 있는 블록의 정보를 이용하지 않는 것을 그 내용으로 한다.

대부분의 경우 에러가 난 매크로 블록에 대해 에러 은닉의 방법을 통하여 에러를 보상한다.

상기 에러 은닉 방법은 크게 두 가지로 나뉘는데, 이는 공간적 유사성을 이용한 에러 은닉 방법(Spatial Error Concealment)과 시간적 상관관계를 이용한 에러 은닉 방법(Temporal Error Concealment)이며, 상기 두가지 방법은 블록 단위로 디지털 영상신호를 처리하는 시스템에서 영상신호의 인접 블록 간에는 상관성이 높고, 또 인접 시간 대의 프레임 간의 상관성이 높다는 가정(특징) 아래서 이루어지는 방법이다.

즉, 상기 spatial Error Concealment는 하나의 영상 내에서 공간적 유사성을 이용하는 방법으로, 주변의 정상적인 매크로 블록의 정보를 가져와서 에러가 발생한 매크로 블록을 은닉하는 기법이고, 상기 Temporal Error Concealment는 이전 영상으로부터의 시간적 유사성을 이용하는 방법으로, 현재 영상에서 에러가 발생했을 경우 이를 은닉하기 위해 이전 영상으로부터 소정의 정보를 가져오는 기법이다.

그러나, 상기 에러가 난 매크로 블록에 대해 에러 은닉의 방법을 통하여 에러를 보상한다 하더라도 이미 원래의 신호와는 다른 영상이 되므로, 상기 에러 은닉이 수행된 매크로 블록을 이용한 예측 방법 자체의 정확도 역시 많이 떨어지게 되는 문제점이 있다.

따라서, 상기 에러가 발생된 매크로 블록의 정보를 이용한 예측 방법을 수행하는 경우, 수행하지 않는 것 보다 못한 결과를 얻게 되는 경우가 빈번하다.

이에 본 발명은 에러로 판별된 에러 블록을 참조하는 주변 모든 블록에 대하여 인트라 예측 방법을 수행하지 않음을 특징으로 하며, 이는 설사 주변 블록들이 정상적인 데이터라 할 지라도 이미 깨진 에러 블록을 참조하는 경우에는 오히려 예측을 안 하는 것이 화질 측면에서 유리하기 때문이다.

즉, 종래의 경우 원래의 신호와 예측치의 차분(예측 에러) 값이 복호화 된 상태로, 상기 예측치와 예측 에러를 합하는 것이 일반적인 방법이 될 수 있으나, 본 발명은 에러 블록을 참조하는 블록들에 대하여 에러가 발생하지 않은 주변 인트라 블록에 대하여 상기 예측 에러 값은 무시하고, 평균값만으로 그 값을 보상하는 것을 그 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세히 설명하도록 한다.

도 2는 본 발명에 의한 에러 대응 인트라 예측 모드 복호화 방법을 설명하는 순서도이고, 도 3은 에러 블록 주변의 인트라 예측을 하지 않는 블록을 나타내는 도면이다.

도 2 및 도 3을 참조하여 무선 망에서 채널 에러가 존재하는 경우 인트라 예측 모드 복호화 시, 상기 에러 탐지 후 에러 있는 주변 블록에서의 인트라 예측을 배제함으로써, 계산량의 감소와 더불어 화질 향상을 할 수 있는 에러 대응 인트라 예측 모드 복호화 방법을 설명하면 다음과 같다.

먼저 입력되는 비트 스트림에 대하여, 특정 블록에서 발생된 에러를 탐지하고 상기 탐지된 에러의 위치 정보를 저장해 둔다. (ST 200)즉, 부호화(encoding) 전송되어 복호화기(decoder)에 입력된 비트 스트림에 대하여, 상기 복호화기에서의 가변 길이 복호화(VLD : Variable Length Decoding) 시, 에러가 발생된 블록의 정보를 알 수 있으므로, 이를 통해 상기 에러를 탐지하고, 상기 에러가 발생된 위치 정보(즉, 에러가 발생된 블록에 대한 정보)를 저장한다.

단, 상기 부호화된 신호는 H.264 등의 부호화기에서 인트라 예측 모드 부호화 방법에 의해 부호화되어 전송되는 것임을 특징으로 한다.

다음으로는 상기 입력되는 비트 스트림에 해당하는 프레임의 특정 블록에 에러가 발생되었는지 확인하고, 상기 특정 블록에 에러가 발생된 경우, 상기 에러가 발생된 특정 블록에 대한 인트라 예측 모드 복호화를 수행하지 않는다. (ST 210, ST 220)

즉, 본 발명은 도 3에 도시된 바와 같이 에러로 판별된 에러 블록(300)을 참조하는 주변 모든 블록(310, 312, 314, 316, 318)에 대하여 인트라 예측 방법을 수행하지 않음을 특징으로 하는 것으로, 이는 설사 주변 블록(310, 312, 314, 316, 318)들이 정상적인 데이터라 할 지라도 이미 깨진 에러 블록을 참조하는 경우에는 오히려 예측을 안 하는 것이 화질 측면에서 유리하기 때문이다.

다시 말하면, 본 발명은 에러 블록(300)을 참조하는 블록들에 대하여 에러가 발생하지 않은 주변 인트라 블록(310, 312, 314, 316, 318)에 대하여 상기 예측 에러 값은 무시하고, 평균값만으로 그 값을 보상하는 것을 그 특징으로 한다. 단, 상기 입력되는 비트 스트림에 해당하는 프레임의 특정 블록에 에러가 발생되었는지 확인하고, 상기 특정 블록에 에러가 발생되지 않은 경우에는 종래와 동일하게 인트라 예측 모드 복호화를 수행하게 된다.

이와 같은 본 발명에 의하면, 무선 망에서 채널 에러가 존재하는 경우 인트라 예측 모드 복호화 시, 상기 에러 탐지 후 에러 있는 주변 블록에서의 인트라 예측을 배제함으로써, 계산량의 감소와 더불어 화질 향상을 할 수 있으며, 결과적으로 잘못된 예측치 참조로 인한 화질 저하 및 이로 인한 에러의 전파를 방지할 수 있다는 장점이 있다.

도 1은 종래 동영상 인트라 예측 모드 알고리듬.

도 2는 본 발명에 의한 에러 대응 인트라 예측 모드 복호화 방법을 설명하는 순서도.

도 3은 에러 블록 주변의 인트라 예측을 하지 않는 블록을 나타내는 도면.

<도면의 주요 부분에 대한 부호의 설명>

300 : 에러 블록

310, 312, 314, 316, 318 : 주변의 블록

Claims (4)

1. 입력되는 비트 스트림에 대하여, 특정 블록에서 발생된 에러가 탐지되고 상기 탐지된 에러의 위치 정보가 저장되는 단계와;

   상기 입력되는 비트 스트림에 해당하는 프레임의 특정 블록에 에러가 발생되었는지 확인하고, 상기 특정 블록에 에러가 발생된 경우, 상기 에러가 발생된 특정 블록에 대한 인트라 예측 모드 복호화 수행이 배제되는 단계가 포함됨을 특징으로 하는 에러 대응 인트라 예측 모드 복호화 방법.
2. 제 1항에 있어서,

   상기 에러의 탐지는 복호화기(decoder)에서의 가변 길이 복호화(VLD : Variable Length Decoding) 시에 수행됨을 특징으로 하는 에러 대응 인트라 예측 모드 복호화 방법.
3. 제 1항에 있어서,

   상기 부호화된 신호는 H.264 등의 부호화기에서 인트라 예측 모드 부호화 방법에 의해 부호화되어 전송되는 것임을 특징으로 하는 에러 대응 인트라 예측 모드 복호화 방법.
4. 제 1항에 있어서,

   상기 에러가 발생된 특정 블록에 대한 인트라 예측 모드 복호화 수행이 배제됨은, 상기 에러 블록을 참조하는 블록들에 대하여 에러가 발생하지 않은 주변 인트라 블록에 대하여 예측 에러 값은 무시하고, 평균값만으로 그 값을 보상하는 것임을 특징으로 하는 에러 대응 인트라 예측 모드 복호화 방법.