KR100774453B1 - 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법 - Google Patents

Abstract

본 발명은 인터넷을 통해 동영상을 실시간으로 전송하는 시스템에서 주변의 모드 정보에 따라 공간적 상관성 또는 시간적 상관성을 적응적으로 이용하여 손상된 실시간 동영상 데이터를 보다 효율적으로 복구하는 기술에 관한 것이다. 이러한 본 발명은, 데이터가 손상되어 복구하고자 하는 매크로 블록을 기준으로 주변에 위치한 매크로 블록의 픽쳐 타입을 분석하는 제1과정과; 상기 주변의 매크로 블록에 인터 픽쳐 타입의 매크로 블록보다 인트라 픽쳐 타입의 매크로 블록이 많은 경우 공간적인 에러 은닉 기법을 이용하여 해당 매크로 블록을 복구하는 제2과정과; 상기 주변의 매크로 블록에 상기 인트라 픽쳐 타입의 매크로 블록보다 상기 인터 픽쳐 타입의 매크로 블록이 많은 경우 시간적인 에러 은닉 기법을 이용하여 해당 매크로 블록을 복구하는 제3과정에 의해 달성된다.

Description

인터넷의 실시간 영상 전송을 위한 에러 은닉 방법{ERROR CONCEALMENT METHOD FOR REAL-TIME VIDEO COMMUNICATION OVER INTERNET}

도 1은 종래 기술에 의한 TCON 에러 은닉 방법의 설명도.

도 2는 본 발명에서, 주변 매크로 블록의 모드 정보를 이용한 적응적 에러 은닉 설명도.

도 3은 본 발명에서, 시공간 에러 은닉의 판단 기준을 나타낸 수식.

도 4는 본 발명에 의한 공간적 에러 은닉 기법의 설명도.

도 5는 본 발명에 의한 시간적 에러 은닉 기법의 설명도.

***도면의 주요 부분에 대한 부호의 설명***

Ⅰ-Ⅳ : 매크로 블록

본 발명은 인터넷을 통해 동영상을 실시간으로 전송하는 시스템에서 화질 저하를 방지하는 기술에 관한 것으로, 특히 에러 은닉 기법을 이용하여 인터넷의 비동시성(Non-isochronous nature)에 의한 패킷 지연 및 손실(loss)에 의해 화질이 저하되는 것을 방지할 수 있도록 한 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법에 관한 것이다.

비디오 통신 시스템에서 에러 복구 및 은닉(Concealment) 기술은 무선 네트워크 및 인터넷과 같이 비교적 신뢰성이 떨어지는 채널을 통한 영상 전송의 필요성이 증가됨에 따라 더욱 중요하게 인식되고 있다. 또한, 인터넷을 통해 영상을 전송하기 위해서는 필요한 전송 정보인 헤더를 부가하는 비디오 스트림의 패킷화가 필요하며, 이를 위한 비디오 코덱으로는, 현재 표준화가 진행중인 MPEG4 및 영상전화 시스템용 비디오 압축 표준인 ITU-T H.26x(H.263, H.263+, H.263++, H.26L), MPEG2 등이 사용 가능하다.

일반적으로, 인터넷을 통한 실시간 동영상 서비스는 인터넷의 비동시성으로 인한 패킷 지연 및 손실이 발생되고, 이에 의해 수신측의 화면이 깨지는 현상이 발생된다. 이러한 문제점을 해결하기 위해 10-15년 전부터 에러 복구 및 은닉에 대한 연구가 계속되고 있다. 그럼에도 불구하고 대부분의 방법들은 정지영상에서나 허용되어 질만한 매우 많은 부가적인 계산량을 필요로 하며, 실시간 비디오 응용에서는 적절하지 못한 것들이었다.

그런데, 최근들어 실시간 응용에 적당한 낮은 복잡도의 에러 은닉 방법(TCON)이 Telenor R&D에 의해 ITU-T에 제안되어, 현재 H.263+ Test Model에 기술되어 있다. 도 1은 디코더의 에러 은닉을 위해 Telenor R&D에서 제안한 에러 은닉 방법을 나타내고 있다. 디코딩 될 영상을 M이라 하고, 부가적으로 한 개의 슬라이스 크기를 갖는 예비 메모리인 PM을 이용하는 구조를 갖는데, 이러한 시스템에서 디코더의 동작을 간단히 설명하면 다음과 같다.

만약, 디코더가 에러 검출 없이 한 줄의 매크로 블록들을 재구성한다면 맨 마지막에 17bit의 SYNC 코드가 위치하게 되고, GOB NUMBER(GN)가 1 증가되며, PM이 M에 있는 적당한 위치로 복사되고 디코딩 과정이 계속 수행된다. 그렇지 않은 경우에는 디코딩 동작이 중지되며, PM 내용이 M에 복사되지 않고 다음과 같이 에러 은닉이 수행된다.

만약, 이전 MB 라인(바로 위 매크로 블록)의 움직임 벡터를 이용할 수 있는 경우에는 그 움직임 벡터를 이용하여 움직임 보상된 예측 영상 블록을 채운다. 그렇지 않은 경우 즉, 바로 위 블록이 인트라(INTRA)이거나, 데이터가 손상된 영역 또는 가장 위 매크로 블록인 경우에는 이전 영상으로 그대로 채운다.

그러나, 이와 같은 은닉 방법(TCON)에 있어서는 픽쳐 타입이 INTRA인 경우 움직임 보상된 영상으로 채운다는 것은 사실상 불가능하다. 왜냐하면, 첫 번째 영상에 대한 어떠한 참조 영상도 없기 때문이다. 그 결과 화면에 그린(Green) 및 핑크(Pink) 영상이 나타난다. 또한, 바로 위 인접 매크로 블록의 움직임 벡터만을 이 용하므로, 만약 인트라 모드(INTRA MODE)의 블록인 경우 움직임 벡터는 0이 되고, 바로 이전 프레임의 동일 위치의 매크로 블록이 복사된다. 따라서, 이러한 은닉 방법(TCON)을 이용하면, 빠른 움직임이나 장면 전환이 있는 경우 이전 프레임의 영상이 그대로 남아 고스트 현상이 나타난다.

이와 같이 종래 기술에 의한 은닉 방법(TCON)에 있어서는 픽쳐 타입이 인트라인 경우 움직임 보상된 영상으로 채운다는 것은 사실상 불가능하여 화면에 그린 및 핑크 영상이 나타나는 결함이 있었다. 또한, 바로 위 인접 매크로 블록의 움직임 벡터만을 이용하므로, 만약 인트라 모드의 블록인 경우 빠른 움직임이나 장면 전환이 있는 경우 이전 프레임의 영상이 그대로 남아 고스트 현상이 나타나고, 이에 의해 인터넷을 통한 실시간 비디오 전송시 심각한 화질 저하가 발생되는 결함이 있었다.

따라서, 본 발명의 목적은 주변의 모드 정보에 따라 공간적 상관성 또는 시간적 상관성을 적응적으로 이용하여 손상된 실시간 동영상 데이터를 보다 효율적으로 복구해 내는 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법을 제공함에 있다.

본 발명에 의한 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법은, 데이터가 손상되어 복구하고자 하는 매크로 블록을 기준으로 주변에 위치한 매크로 블록의 픽쳐 타입을 분석하는 제1과정과; 상기 주변의 매크로 블록에 인터 픽쳐 타입의 매크로 블록보다 인트라 픽쳐 타입의 매크로 블록이 많은 경우 공간적인 에러 은닉 기법을 이용하여 해당 매크로 블록을 복구하는 제2과정과; 상기 주변의 매크로 블록에 상기 인트라 픽쳐 타입의 매크로 블록보다 상기 인터 픽쳐 타입의 매크로 블록이 많은 경우 시간적인 에러 은닉 기법을 이용하여 해당 매크로 블록을 복구하는 제3과정으로 이루어지는 것으로, 이와 같은 본 발명의 작용을 첨부한 도 2 내지 도 5를 참조하여 상세히 설명하면 다음과 같다.

먼저, H.263이나 MPEG4에서 인트라/인터(INTRA/INTER) 부호화 모드 결정 방법을 살펴보면,

빠른 움직임이나 물체의 움직임에 의해 겹쳐지거나 드러난 영역이 발생하거나 또는 장면 전환이 일어날 경우, SAD 값이 증가하므로 INTRA 블록으로 선택될 확률이 높아진다. 또한, 작은 움직임이 있는 경우, SAD 값이 감소하므로 INTER 블록으로 선택될 확률이 높아진다.

즉, INTRA 블록으로 부호화 되는 확률은 빠른 움직임이나 물체의 움직임에 의해 겹쳐지거나 드러난 영역이 발생되는 경우 또는 장면 전환이 일어날 경우, 또는 이전 매크로 블록이 INTRA로 부호화 되는 경우에 커진다. 반면에, INTER 블록으로 부호화 되는 확률은 주변 블록들이 정적이거나, 느린 움직임이 있을 때 잘 선택되는 경향이 있다.

이와 같은 특성을 이용하기 위하여, 적응적인 에러 은닉 방법을 제시한다. 먼저, 손상된 매크로 블록을 공간적 상관성을 이용한 에러 은닉을 할 것인지, 또는 시간적 상관성을 이용한 에러 은닉을 할 것인지를 판단하기 위해서, 도 2와 같이 데이터 손상이 없는 이용 가능한 왼쪽 한 개와 위쪽 세 개의 모드 정보(INTRA or INTER)를 이용한다.

도 3에 도시한 수식은 시간적인 에러 은닉을 할 것인지, 공간적인 에러 은닉을 할 것인지의 판단 기준을 나타낸 것이다.

상기 도 3의 식은 주변 블록에 INTER보다 INTRA가 많으면 INTRA일 확률이 높아지므로 공간적인 에러 은닉 기법을 이용하고, INTRA보다 INTER가 많으면 INTER일 확률이 높아지게 되어 시간적인 은닉 기법을 이용하게 된다. 따라서, 통상의 TCON과 달리, 주변 대부분 블록이 INTRA인 경우 이전 프레임을 이용하지 않고 현재 프레임 주변 블록을 이용한다.

도 4는 공간적 에러 은닉 방법을 나타낸 것이다. 주변 블록의 화소 값을 근거로, 현재 위치의 화소 값을 예측하는 방법을 적용한다. 많은 인터폴레이션(interpolation) 방법이 있지만, 실시간 응용을 위한 낮은 복잡도의 에러 은닉 방법을 구현하기 위해 이용 가능한 매크로 블록의 1줄씩을 이용하여 4개의 화소 단위로 처리한다.

먼저, 1번 구획은 왼쪽 매크로 블록(Ⅱ)과 위 블록(Ⅰ)의 각각의 8개의 화소 의 평균치를 이용하여 채워 넣는다. 2번 구획은 Ⅰ과 Ⅲ, 3번 구획은 Ⅱ와 Ⅳ, 4번 구획은 Ⅲ과 Ⅳ번을 이용한다. 만약, 주변 블록이 에러 블록인 경우에는 그 블록의 화소 값을 이용하지 않고, 이용 가능한 블록의 화소값만을 이용한다. 이와 같이 처리하는 이유는 에러의 증폭을 방지하기 위함이다. 즉, 잘못된 참조 영상을 참조하기 보다는 아예 이용하지 않는 것이 바람직하기 때문이다.

한편, 에지의 예측을 위해 상기 방법의 변형된 방법을 이용할 수 있는데, 그 예로써, H.26L의 INTRA 예측 방법을 들 수 있다. TML의 INTRA 예측 방법은 45°방향의 에지 예측도 가능하지만, 메모리 액세스 및 연산량의 증가로 인하여 그 효율에 비해 복잡도가 너무 증가하므로, 실시간 처리를 위한 낮은 복잡도의 에러 은닉 처리를 위해서는 본 발명의 방법이 보다 적합하다.

한편, 도 5는 시간적 에러 은닉 방법을 나타낸 것이다. 시간적 에러 은닉의 경우로 판정된 경우에는 TCON의 변형된 방법을 적용한다. 즉, TMN10에서는 현재 영상에서의 바로 윗 블록의 움직임 벡터를, TMN11에서는 인접된 3 블록의 중간(Median) 값을 사용했지만, 본 발명에서는 같은 위치에서의 이전 블록의 움직임 벡터도 이용한다. 이는 움직임 벡터의 시간적 상관성을 이용하는 것으로, 대상 블록의 주변 4개의 벡터 및 이전 1개의 움직임 벡터의 평균치를 이용한다.

이상에서 상세히 설명한 바와 같이 본 발명은, 픽쳐 타입이 인트라인 경우에도 그린 및 핑크 블록의 디스플레이 없이 공간적인 에러 은닉 방법을 이용함으로써 보다 개선된 화질을 얻을 수 있는 효과가 있다. 또한, 모드 선택의 특성을 최대한 이용함으로써, 주변 블록이 인트라인 경우의 TCON에서의 고스트 현상도 효과적으로 줄일 수 있게 된다. 결국, 동영상 코덱의 모드 결정 방법의 특성을 최대한 이용함과 동시에 영상의 시공간적인 상관성을 적응적으로 이용함으로써, 손상된 데이터를 보다 효율적으로 복구할 수 있게 되어 보다 고품질의 실시간 동영상 서비스가 가능하게 되는 효과가 있다.

Claims (6)

1. 복구하고자 하는 매크로 블록의 주변에 인터 픽쳐 타입의 매크로 블록보다 인트라 픽쳐 타입의 매크로 블록이 많은 경우 공간적인 에러 은닉 기법을 이용하여 해당 매크로 블록을 복구하고, 상기 인트라 픽쳐 타입의 매크로 블록보다 상기 인터 픽쳐 타입의 매크로 블록이 많은 경우에는 시간적인 에러 은닉 기법을 이용하여 해당 매크로 블록을 복구하는 것을 특징으로 하는 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법.
2. 제1항에 있어서, 상기 공간적 에러 은닉 기법은 주변의 이용 가능한 매크로 블록의 1줄씩을 이용하여 4개의 화소 단위로 현재 위치의 화소 값을 예측하고, 해당 화소의 평균값을 취하여 데이터를 복구하는 것을 특징으로 하는 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법.
3. 제2항에 있어서, 상기 주변의 이용 가능한 매크로 블록 중 에러 매크로 블록이 있는 경우에는 그 에러 메크로 블록의 화소 값을 이용하지 않고, 에러가 없는 나머지 매크로 블록의 화소값만을 이용하는 것을 특징으로 하는 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법.
4. 제2항에 있어서, 상기 화소 값을 예측할 때 H.26L의 인트라 예측 기법을 이용하는 것을 특징으로 하는 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법.
5. 제1항에 있어서, 상기 시간적 에러 은닉 기법은 TCON의 변형된 기법을 적용하는 것을 특징으로 하는 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법.
6. 제5항에 있어서, 상기 TCON의 변형된 기법은 인접된 3 블록의 중간 값 이외에, 같은 위치에서의 이전 블록의 움직임 벡터도 이용하는 것임을 특징으로 하는 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법.

Images