KR100382908B1 - 동영상 전송 시스템의 블록 필터링 방법 - Google Patents

Abstract

본 발명은 인터넷과 같은 패킷 네트워크를 통해 동영상을 실시간으로 전송하는 시스템에서 시공간적인 데이터 손실 유무에 따라 블록 제거 필터링을 적절히 수행하여 화질 저하 및 에러 전이를 방지하는 기술에 관한 것이다. 이러한 본 발명은 임의의 영상 블록이 데이터 손실 영역으로 판명되면 노필터 맵을 "0"으로 셋팅하고, 그렇지 않은 경우에는 "1"로 셋팅하는 제1과정과; 상기 상기 셋팅 결과를 근거로 하여, 데이터 손실 영역에 인접한 영상 블록에 대해서는 저역 필터링을 수행하지 않고, 그 이외의 영상 블록에 대해서는 필터링을 수행하는 제2과정에 의해 달성된다.

Description

동영상 전송 시스템의 블록 필터링 방법{BLOCK FILTERING METHOD FOR MOVING PICTURE TRANSMISSION SYSTEM}

본 발명은 인터넷과 같은 패킷 네트워크를 통해 동영상을 실시간으로 전송하는 시스템에서 블록 제거 필터링에 의해 화질이 저하되거나 에러가 전이되는 것을 방지하는 기술에 관한 것으로, 특히 시공간적인 데이터 손실 유무에 따라 블록 제거 필터링을 적절히 수행하여 화질 저하 및 에러 전이를 방지할 수 있도록 한 동영상 전송 시스템의 블록 필터링 방법에 관한 것이다.

현재, 패킷 네트워크 특히 인터넷을 통한 실시간 동영상 서비스의 필요성이 나날이 증대되고 있는 실정에 있는데, 이에 부응하여 에러 복구 및 에러 은닉과 같은 분야에서 패킷 지연 및 손실로 인해 발생되는 심각한 화질저하를 개선하는 다양한 방법들이 제안되고 있다. 이러한 기법들의 대부분은 후처리 및 에러 전이를 방지하는 것을 목적으로 한다. 본 발명은 특히 수신자에게 보다 우수한 품질의 동영상 서비스를 제공하기 위하여, 블록 제거 필터링 시 인터넷 환경에서 나타나는 심각한 화질저하 현상을 방지하는 기술에 관한 것이다.

상기 블록 제거 필터링이란 영상 부호화 처리 후, 재구성된 영상에서 나타나는 블록 현상을 없애기 위해 사용하는 영상 처리 방법을 말한다. 여기서, 블록 현상이란, 부호화 단위의 블록의 가장자리(edge) 주변에 양자화에 의한 불연속면이 나타나는 현상을 말한다. 상기 블록 현상은 인간의 시각 특성에 몹시 거슬리게 되므로 이를 제거하기 위해 통상적으로 저주파 대역 통과 필터(LPF)로 필터링하게 된다. 상기와 같은 필터링 방법에는 수신단(복호기)측에서만 수행하는 후처리(Post Filter) 방법과, 송신단(부호화기) 및 수신단에서 각각 처리하는 루프 필터링 방법이 있다.

최근 들어, 화질 개선 및 부호화 효율 측면에서 블록 제거 필터링 모드가 영상 전화 시스템 표준인 ITU-T H.263+ Recomendation의 옵션 파트인 ANNEX J로서 기술되어 있다. 도 1은 종래 기술에 의한 블록 제거 필터링 방법을 나타낸 것이다.

필터링 연산은 부호화기(encoder) 뿐만 아니라 복호화기(decoder)에서, 즉, 부호화 루프 내에서 재구성된 영상의 8x8 블록의 에지가 걸쳐 있는 네개의 화소에 대하여 수직 및 수평 방향으로 수행된다. 도 1에서 A,B,C,D는 제1블록(block1) 및 제2블록(block2)이라고 명명된 인접 블록에 속하는 필터링 대상 화소를 나타낸 것이다.

상기 제1블록(block1) 또는 제2블록(block2)의 모드가 COD 또는 인트라(INTRA) 중 어느 하나라도 만족하면 필터링 과정이 수행되는데, 여기서, COD는 계수가 포함되어 있는 블록을 의미한다. 즉, 인접 블록의 모드 정보가 COD 또는 인트라일 때에만 필터링 과정이 수행된다.

그러나, 이와 같은 종래의 블록 제거 필터링 기술이 인터넷을 통한 실시간 동영상 서비스에 적용되면, 인터넷의 비동시성(Non-isochronous nature)으로 인한 패킷 지연 및 손실이 발생되고, 이에 의해 데이터 손실이 발생되며, 이러한 영역을 대상으로 블록 제거 필터링을 할 경우, 공간적으로 에지에서 영상의 열화 현상이발생되고, 시간적으로 에러 전이가 심하게 나타나는 결함이 있었다.

또한, 한 번 손상된 데이터 영역이 잇따르는 부호화 과정에서 배경 영역이 되고, 주변 블록이 COD이거나 인트라 모드일 경우, 필터링 과정이 계속 수행되면 과도한 필터링으로 인하여 영상의 에지 부분에 흰색 줄이 나타나는 문제점이 있었다. 더욱이, 이러한 에러는 인트라 블록으로 리프레쉬 하기 전까지 시간적으로 계속 전파되는 문제점이 있었다.

따라서, 본 발명의 목적은 패킷 손실이 발생하기 쉬운 환경 특히 인터넷 환경에서의 블록 제거 필터를 사용할 때 발생하는 잘못된 참조 영상(데이터 손실 영역)의 이용으로 인하여 화질이 저하되고 시공간적인 에러 전이 현상을 방지하기 위하여, 시공간적인 데이터의 손실 유무에 따라 블록 제거 필터링을 적절히 수행하는 동영상 전송 시스템의 블록 필터링 방법을 제공함에 있다.

도 1 및 도 2는 종래 기술에 의한 블록 제거 필터링 방법의 설명도.

도 3은 주변 블록이 데이터 손실 영역인 경우 본 발명의 블록 제거 필터링의 선택적 적용 예를 보인

설명도.

도 4는 데이터 손실 영역의 시간적 참조를 방지하기 위한 블록 제거 필터리의 선택적 적용 방법의 예시도.

도 5는 데이터가 손실된 영역이 배경 영역으로 부호화 될 경우의 블록 제거 필터링의 예시도.

***도면의 주요 부분에 대한 부호의 설명***

block1 : 제1블록 block2 : 제2블록

A-I : 이전 블록

본 발명에 의한 동영상 전송 시스템의 블록 필터링 방법은, 임의의 영상 블록이 데이터 손실 영역으로 판명되면 노필터 맵을 "0"으로 셋팅하고, 그렇지 않은 경우에는 "1"로 셋팅하는 제1과정과; 상기 셋팅 결과를 근거로 하여, 데이터 손실 영역에 인접한 영상 블록에 대해서는 저역 필터링을 수행하지 않고, 그 이외의 영상 블록에 대해서는 필터링을 수행하는 제2과정과; 통상의 필터링 조건과의 상호 운용성을 감안하여 논리곱 연산을 수행하는 제3과정으로 이루어지는 것으로, 이와 같은 본 발명의 작용을 첨부한 도 3 내지 도 5를 참조하여 상세히 설명하면 다음과 같다.

도 3은 주변 블록이 데이터 손실 영역일 경우의 에러의 공간적인 전파를 막기 위한 블록 제거 필터의 선택 방법을 예시적으로 나타낸 것이다. 즉, 어떤 블록(block_loss)이 데이터 손실 영역으로 판정된 경우에는 노필터 맵(NO_Filter_Map)이 "0"으로 셋팅되고, 그렇지 않은 경우에는 "1"로 셋팅되는데, 이를 수식으로 표현하면 다음과 같다.

제1블록(block1)과 제2블록(block2)은 데이터가 손실된 블록(block_loss)에 수평,수직 방향으로 인접한 블록이며, 이 블록(block1),(block2)에 대해서는 필터링을 수행하지 않는다. 또한, 종래의 필터링 조건과의 상호 운용성(interoperability)을 감안하여 논리곱(AND 연산)을 취한다. 따라서, 데이터 손실이 없는 경우에는 종래의 조건과 완전히 일치한다.

또 다른 선택적 필터링 방법의 적용 예로써, 도 4는 데이터 손실 영역의 시간적 참조를 막기 위한 블록 제거 필터의 선택적 필터링 방법을 보인 것이다. 데이터 손실 영역이 참조 영상이 되어, 현재 영상의 움직임 보상 시 이용되는 경우, 현재 영상이 데이터 손실이 없는 영역임에도 불구하고 이미 손상된 영역의 정보(특히 배경 영역일 때)를 가지고 있으므로, 블록 제거 필터 적용 시 상기와 같은 현상이 나타난다.

따라서, 그러한 문제점을 해결하기 위하여, 현재 블록을 기준으로 동일한 위치의 영역(I)인 경우를 포함하여, 인접된 이전 블록(A∼H)이 데이터 손실 영역인 경우에는 블록 제거 필터링을 적용하지 않게 되는데, 이를 수식으로 나타내면 다음과 같다.

이렇게 함으로써 다음과 같은 이점이 있다. 먼저, 에러 검출이 매크로 블록 단위로 되어 있을 경우 데이터가 손실된 영역에 의하여, 움직임 추정 및 보상 후 이전 영역의 에러가 다음 단계로 전파되는 현상을 방지할 수 있다. 또한, 도 5에서와 같이 한번 데이터가 손실된 영역이 연속되는 부호화 과정에서 코드화 된 블록이 아닌 즉, 배경 영역으로 부호화 될 경우 발생되는 블록 제거 필터 적용의 문제점을 해결할 수 있다.

결국, 본 발명에 의한 필터 적용 조건을 수식으로 표현하면 다음과 같다.

이상에서 상세히 설명한 바와 같이 본 발명은 시공간적인 데이터의 손실 유무에 따라 블록 제거 필터링을 적절히 수행 함으로써, 기존의 표준화 규격을 만족시키면서 잘못된 참조 영상의 이용을 시공간적으로 최소화할 수 있게 되어 에러가 전파되는 것을 방지할 수 있게 되어 궁극적으로 보다 나은 품질의 동영상 서비스를 제공할 수 있는 효과가 있다.

Claims (3)

1. 패킷 네트워크를 통해 동영상을 실시간으로 전송하는 시스템에서 영상 부호화 처리 후 재구성된 영상에서 나타나는 블록 현상을 없애기 위한 영상 처리 방법에 있어서, 임의의 영상 블록이 데이터 손실 영역인지 확인하여 그 확인 결과에 따라 노필터 맵을 "0" 또는 "1"로 셋팅하는 제1과정과; 상기 셋팅 결과를 근거로 하여, 데이터 손실 영역에 인접한 영상 블록에 대해서는 저역 필터링을 수행하지 않고, 그 이외의 영상 블록에 대해서는 필터링을 수행하는 제2과정을 포함하여 이루어지는 것을 특징으로 하는 동영상 전송 시스템의 블록 필터링 방법.
2. 제1항에 있어서, 통상의 필터링 조건과의 상호 운용성을 감안하여 통상의 필터링 조건과 논리곱 연산을 취하는 제3과정을 더 포함하여 이루어지는 것을 특징으로 하는 동영상 전송 시스템의 블록 필터링 방법.
3. 제1항에 있어서, 제2과정은 현재 블록을 기준으로 동일한 위치의 영역인 경우를 포함하여, 인접된 이전 블록들이 데이터 손실 영역인 경우에는 블록 제거 필터링을 적용하지 않는 것을 특징으로 하는 동영상 전송 시스템의 블록 필터링 방법.