KR100587280B1

KR100587280B1 - 오류 은폐방법

Info

Publication number: KR100587280B1
Application number: KR1019990000583A
Authority: KR
Inventors: 김응태
Original assignee: 엘지전자 주식회사
Priority date: 1999-01-12
Filing date: 1999-01-12
Publication date: 2006-06-08
Also published as: KR20000050599A; US6636565B1

Abstract

오류 은폐방법은 채널상에서 발생되는 에러에 대해 수신단에서 손실된 주위 블록의 공간적/시간적 상관성을 이용하여 화질의 저하를 방지하도록 하기 위한 것으로서, 현재 오류가 발생된 프레임의 종류와 영상의 특성을 추출하는 단계와, 상기 추출된 프레임의 종류와 영상의 특성에 따라 공간 예측 오류 은폐 기법을 사용할 것인지 시간 예측 오류 은폐 기법을 사용할 것인지를 판단하는 단계와, 상기 판단된 오류 은폐 기법에 따라 상기 오류가 발생된 프레임내의 블럭을 오류 은폐된 블록으로 대체하는 단계와, 상기 대체된 블록을 주변 블록과의 시각적인 블록 저하를 없애기 위한 후처리 과정을 수행하는 단계로 이루어지는데 그 요지가 있다.

Description

오류 은폐방법{apparatus and method for concealing error}

도 1a 및 도 1b 는 종래 기술에 따른 오류 은폐방법중 시간 예측 기법의 개념도를 나타낸 도면

도 2 는 본 발명이 적용되는 오류 은폐장치의 블록 구성을 나타낸 도면

도 3 은 본 발명에 따른 오류 은폐방법에 따른 선형 예측형 블록 경계 정합 방식을 나타낸 도면

도 4 는 본 발명에 따른 오류 은폐방법에 따른 시간 예측 오류 은폐방식을 나타낸 도면

도 5 는 본 발명에 따른 오류 은폐방법에 따른 공간 예측 오류 은폐방식을 나타낸 도면

도 6 은 본 발명에 따른 오류 은폐방법에 의한 동작상태를 나타낸 플로우 챠트

도면의 주요부분에 대한 부호의 설명

2 : 트랜스포트 스트림 복호부 3 : 가변 길이 디코더

4 : 비디오 디코더 5 : 메모리

6 : 에러 은폐부 11 : 제 1 레지스터

12 : 제 1 혼합기 13 : 제 2 레지스터

14 : 제 2 혼합기 15 : 가산기

16, 17 : 제 3 및 제 4 레지스터 18 : 감산기

19 : 연산기 20 : 축적기

본 발명은 디지털 텔레비전 또는 디지털 화상 회의시스템과 같은 동영상 압축 복원시스템에 관한 것으로, 특히 디지털 텔레비전 또는 디지털 화상 회의시스템과 같은 동영상 압축 복원시스템에서의 오류 은폐방법에 관한 것이다.

최근 디지털 신호처리 기술의 발전에 힘입어 제한된 대역폭의 전송 채널을 통해 많은 양의 동영상 정보를 압축, 전송하는 기술이 개발되어 왔다.

그 중 MPEG, H.261, H.263과 같은 동영상 표준화 규격에서는 채널 오류에 의한 재 동기의 단위로 슬라이스(slice) 단위를 채택하고 있다.

슬라이스는 여러 개의 매크로 블록(macro block)들로 이루어져 있으며, 매크로 블록은 16*16의 크기의 블록으로 움직임 보상 부호화의 단위를 이룬다.

보통 영상 크기에 따라서 한 프레임(frame)은 여러 개의 슬라이스를 포함한다.

그러므로 한 슬라이스 안에 에러가 발생하면 다음 슬라이스까지의 정보를 잃게 된다.

특히 동영상 부호화 방식들은 가변 길이 부호화 기법과 움직임 보상 부호화 기법을 같이 이용하게 되는데, 이는 비트열중의 어느 한 비트라도 오류가 발생하게 되면 상당한 부분의 영상 정보가 유실될 뿐만아니라 이러한 손상된 부분의 영향이 이후 계속된 여러 장의 프레임에 걸쳐 계속되므로, 디코더에서 상기와 같은 부호화 과정을 거쳐 전송되어온 비트 스트림(bitstream)을 복호화하게 될 경우 심각한 화질 저하가 발생하게 된다.

이런 문제점들을 해결하기 위하여, 정상적으로 복원된 주변의 정보들로부터 잃어버린 정보를 보완하여 원영상에 가깝게 복구하는 오류 은폐 기법이 제시되고 있다.

종래의 오류 은폐 기법들로는 크게 시간 예측 오류 은폐 기법들과 공간 예측 오류 은폐 기법이 제시되고 있다.

상기 시간 예측 은폐 기법은 손실된 영상 블록을 시간적 영역에서 움직임 벡터를 이용하여 보상해 내는 방법이다.

현재 많이 사용되고 있는 시간 예측 은폐 기법의 경우, 도 1a 및 도 1b 에 도시된 바와 같이, 현재 프레임(CF)내에서 손실된 매크로 블록(E1)을 같은 위치의 이전 프레임(PF)의 매크로 블록(E'1)의 정보로 대치한다.

그러므로 이 기법은 복잡성이 적고 빠르게 보상할 수 있는 장점이 있으나 보상에 대한 신뢰도가 떨어진다.

특히 연속적인 두 프레임간의 빠른 움직임이나 불규칙한 움직임의 경우는 성능이 안 좋다.

정확한 움직임 벡터를 찾기 위해 최근의 블록 경계 정합 기법들에서는 손실 된 블록과 경계하는 주위 블록들간의 완만한 기준(smoothness criterion)을 이용하였다.

그러나 영상내 에지나 코너 등에서 안 좋은 성능을 가질 뿐만 아니라 인터레이스드(interlaced) 시퀀스인 경우 다른 패러티(parity)를 갖는 필드에서는 공간적인 상관성이 낮으므로 기존 방식들의 성능이 매우 저조해진다.

특히 화면간 변화가 생길 경우는 시각적 화질 저하가 매우 크다.

한편, 공간 예측 오류 은폐 기법은 손상된 블록에 대해 공간적 영역에서 화질을 보상하는 기법이다.

상기 공간 예측 은폐 기법의 경우 손실된 블록(E1)을 현재 프레임(CF)내의 주위 블록들(C1~C3)을 이용하여 공간적인 보간(interpolation)을 주로 사용하는데 에지 등의 영역에서 뭉그러짐 현상이 많이 보이므로 이를 보완하기 위해 에지의 방향 성분에 따라 보간 필터링을 하는 방식을 주로 사용하고 있다.

그러나 이 방식은 에지의 각 방향 성분을 추출, 구별하기 위한 장치가 필요하며 종래의 선형 보간 필터에 비해서 계산량이 많은 단점이 있다.

다른 방식으로 프로젝션에 기반한 오류 보상 기법을 들 수 있다.

이 방식의 경우 손상된 매크로 블록이 영상 크기에 비해서 충분히 작을 경우 우수한 화질 보상 성능을 보장할 수 있으나 수신단에서의 많은 계산량을 요구한다는 단점을 가지고 있다.

특히 영상 시퀀스들 사이에 시간적인 상관도가 많은 경우 공간 예측 은폐 기법이 시간 예측 은폐 기법에 비해서 성능이 떨어진다.

그러므로 손실된 매크로 블록(E1)의 정보를 현재 프레임(CF)내에서 손실된 매크로 블록(E1)의 주위 블록(C1~C4)들을 이용하여 공간 예측 보상을 하는 것이 좋은지 아니면 이전 프레임(PF)내에서 가장 유사한 매크로 블록(E'1)의 정보로 대치하는 것이 좋은지 이를 판단하여 제대로 대처하기 위한 방안이 필요하다.

특히, 화면 전환과 같은 화면간의 변화가 심할 경우는 공간 예측 보상이 시간 예측 보상보다 좋으므로, 이를 위해 화면 변화를 판별할 수 있는 기준이 별도로 필요하다.

그리고 각 예측 방식들의 단점들을 보완하기 위한 좀 더 강인한 오류 은폐 기법이 필요하다.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 채널상에서 발생되는 에러에 대해 수신단에서의 화질 저하를 방지하도록 하기 위한 오류 은폐방법을 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 오류 은폐방법의 특징은, 현재 오류가 발생된 프레임의 종류와 영상의 특성을 추출하는 단계와, 상기 추출된 프레임의 종류와 영상의 특성에 따라 공간 예측 오류 은폐 기법을 사용할 것인지 시간 예측 오류 은폐 기법을 사용할 것인지를 판단하는 단계와, 상기 판단된 오류 은폐 기법에 따라 상기 오류가 발생된 프레임내의 블럭을 오류 은폐된 블록으로 대체하는 단계와, 상기 대체된 블록을 주변 블록과의 시각적인 블록 저하를 없애기 위한 후처리 과정을 수행하는 단계로 이루어지는데 있다.

상기 현재 오류가 발생된 프레임의 종류와 영상의 특성은 하기한 수학식에 의해 검출하는데 다른 특징이 있다.

여기서, k=1, ..., M 이고, C_t(k)는

시간에서 손실된 블록의 주위 매크로 블록을 나타내며,

은 이용가능한 주변 블록의 수를 나타낸다.

상기 판단하는 단계는 상기 오류가 발생된 프레임이 화면 전환(scene change)과 같이 시간적 상관성이 적은 경우 공간 예측 오류 은폐 기법을, 시간적 상관성이 많은 경우 시간 예측 오류 은폐 기법을 사용하는 것으로 판단하는데 또다른 특징이 있다.

상기 공간 예측 오류 은폐 기법은 상기 손실된 블록과 이웃하는 블록들간의 공간적 상관성을 이용하여 현재 프레임에서 이웃하는 블록들로부터 주파수 영역에서 보간하는 주파수 보간 기법을 사용하는데 또다른 특징이 있다.

상기 주파수 보간 기법은 손실된 블록 주위의 블록을 서브 블록들로 나눈 후 상기 손실된 블록의 각 서브 블록에 인접한 블록들의 DCT 변환하는 단계와, 상기 DCT 변환된 서브 블록들의 저 주파수 대역의 계수들의 평균치를 추정하는 단계와, 상기 추정된 저 주파수 대역의 계수들의 평균치를 서브 블록들로 역 DCT 변환한 후 상기 손실된 블록을 추정하여 복원하는 단계를 포함하여 이루어지는데 또다른 특징이 있다.

상기 시간 예측 오류 은폐 기법은 상기 손실된 블록과 가장 잘 일치할 것으로 예상되는 블록을 예측하여 이전 프레임에서 에러를 보상하기 위한 새로운 비용함수를 사용하는데 또다른 특징이 있다.

상기 시간 예측 오류 은폐 기법의 새로운 비용함수는 하기한 수학식에 의해 선형 예측기의 계수를 계산하는데 또다른 특징이 있다.

상기

는 손실된 블록과 인접한 위, 옆, 아래 블록의 화소들의 밝기값을 나타낸다.

그리고

는 영상에서 손실된 매크로 블록의 위치를 나타내고,

은 매크로 블록의 크기를 나타내며,

는 주위의 매크로 블록을 나타낸다.

상기

은

위치의 매크로 블록에서의 선형 예측기의

번째 계수이다.

상기 시간 예측 오류 은폐 기법의 새로운 비용함수는 하기한 수학식에 의해 최적의 움직임 벡터를 추정하는데 또다른 특징이 있다.

여기서,

상기

는 손실된 블록과 인접한 위, 옆, 아래 블록의 화소들의 밝기값 을 나타내며,

는 상기

에 상응하는 이전 프레임내의 화소들의 밝기값을 나타낸다.

그리고

는 영상에서 손실된 매크로 블록의 위치를 나타내고,

은 매크로 블록의 크기를 나타내며,

는 주위의 매크로 블록을 나타낸다.

상기

은

위치의 매크로 블록에서의 선형 예측기의

번째 계수이고, W는 비교에 사용된 화소들의 라인 수(즉 선형 예측 계수의 수)를 나타낸다.

아울러

는 추가적인 비용함수로 현재 손실된 블록에 바로 이웃하는 화소들과 그에 상응하는 이전 프레임 블록에 바로 이웃하는 화소들의 차이를 나타내며,

는 추가적인 비용함수를 조절하는 상수이다.
Vx와 Vy는 이전 프레임으로부터 모든 가능한 움직임 벡터를 나타내며, 한 프레임의 좌표에서의 움직임 벡터 즉, 각각 수평 움직임 벡터와 수직 움직임 벡터를 나타낸다.

상기 판단하는 단계는 현재 오류가 발생된 프레임의 종류와 영상의 특성을 검출한 후 하기한 수학식에 의해 계산되는 손실된 블록을 포함하는 주변 영역의 평균 값과 평균 분산치 각각의 절대차와 기설정된 임계치를 비교하여 오류 은폐기법을 결정하는데 또다른 특징이 있다.

여기서

,

는

시간에서 블록을 포함하는 주변 영역의 평균 값과 평균 분산치를 나타낸다.

상기 후처리 과정을 수행하는 단계는 하기한 수학식에 의해 계산된 값으로 손실된 블록중 경계면에 해당하는 화소들을 대치하는데 있다.

여기서

는 손실된 블록내 경계면에 위치한 화소들의 값들을 나타내고,

은 마주하고 있는 주위 블록내 경계면의 화소값들을 나타낸다.

이하, 본 발명에 따른 오류 은폐방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다.

도 2 는 본 발명이 적용되는 오류 은폐장치의 블록 구성을 나타낸 도면으로, 회로 전체의 동작을 총괄적으로 제어하는 제어부(1)와, 상기 제어부(1)의 제어신호에 따라 비트 스트림(bit stream)을 복호화하는 트랜스포트 스트림 복호부(2)와, 상기 트랜스포트 스트림 복호부(2)에서 복호화된 트랜스포트 스트림을 가변 길이로 디코드한 후 출력하고, 에러 발생시 에러 플래그를 붙여 출력하는 가변 길이 디코더(3)와, 상기 가변 길이 디코더(3)에서 디코드된 신호를 비디오 신호로 디코드하여 메모리(5)에 저장한 후 디스플레이스부(7)를 통해 디스플레이하는 비디오 디코더(4)와, 상기 가변 길이 디코더(3)의 에러 플래그에 따라 에러를 은폐보상하는 에러 은폐부(6)로 구성된다.

도 3 은 본 발명에 따른 오류 은폐방법에 따른 선형 예측형 블록 경계 정합 방식을 나타낸 도면이다.

도 4 는 본 발명에 따른 오류 은폐방법에 따른 시간 예측 오류 은폐방식을 나타낸 도면이고, 도 5 는 본 발명에 따른 오류 은폐방법에 따른 공간 예측 오류 은폐방식을 나타낸 도면이며, 도 6 은 본 발명에 따른 오류 은폐방법에 의한 동작상태를 나타낸 플로우 챠트이다.

이와 같이 구성된 본 발명에 따른 오류 은폐방법에 대하여 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

대부분의 동영상 표준화 규격에서는 영상을 매크로 블록(macro block)이라 불리는 16*16의 크기의 블록들로 나누어 처리하고 있으며, 여러 개의 매크로 블록은 슬라이스 단위로 묶이게 된다.

그러므로 슬라이스 단위에서 오류가 발생하면 여러 개의 매크로 블록들이 연속적으로 손실된다.

이러한 손실된 블록의 에러를 은폐하여 보상하기 위해 도 2 에 도시된 바와 같이, 제어부(1)의 제어신호에 따라 비트스트림(Bitstream)은 수신기에서 순방향 오류 정정 부호기(forward error correction code)인 리드-솔로몬(Reed-Solomon) 등의 채널 복호기를 거친 후 에러가 발생하면 트랜스포트 스트림 복호기(2)는 상기 트랜스포트 스트림에 transport_error_indicator신호를 1로 세팅하여 출력한다.

그러면 비디오 디코더(4)는 상기 트랜스포트 스트림 복호기(2)의 신호에 따라 sequence_error_start_code를 붙여서 비디오 스트림을 출력한다.

이에 따라 가변 길이 디코더(3)는 상기 비디오 디코더(4)의 sequence_error_start_code에 따라 트랜스포트 스트림 복호기(2)의 신호를 가변 길이로 디코드하여 에러가 발생하지 않았다면 상기 가변 길이로 디코드된 신호를 출 력하고, 에러가 발생하면 가변 길이로 디코드된 신호에 에러 플러그(EF)를 붙여 출력한다.

즉, 가변 길이 디코더(3)는 상기 트랜스포트 스트림 복호기(2)의 신호를 가변 길이로 디코드하여 비디오 스트림내 신택스(syntax) 에러나 시멘틱(semantic) 에러가 발생하면 에러 플래그(Error_Flag)신호를 출력한다.

그러면 비디오 디코더(4)는 상기 가변 길이 디코더(3)에서 에러가 발생되지 않은 비디오 스트림을 디코드하여 메모리(5)에 저장하고, 에러가 발생된 비디오 스트림의 주소를 에러 데이터(ED)로 출력한다.

이에 따라 에러 은폐 유니트(6)는 상기 가변 길이 디코더(3)의 에러 플래그(EF)와 비디오 디코더(4)의 에러 데이터(ED)에 따라 상기 메모리(5)로부터 현재 프레임내에서 손실된 블록을 은폐하기 위해 정상적으로 복원된 주위 블록들의 움직임 정보와 화소 정보들을 인출하여 오류 은폐 기법을 수행한다.

이렇게 오류 은폐된 비디오 시퀀스는 상기 비디오 디코더(4)를 통해 디코드되어 디스플레이부(7)에 디스플레이된다.

상기 오류 은폐기법을 도 3 및 도 6 를 참조하여 설명하면 다음과 같다.

먼저, 제어부(1)는 슬라이스 단위에서 오류가 발생하면 여러 개의 매크로 블록들이 연속적으로 손상되기 때문에 우선적으로 이용 가능한 블록들을 먼저 선택한다.

예들 들어, 한 개의 매크로 블록이 손실되었다고 가정할 때 도 4 에 도시된 바와 같이, 위(C1), 왼쪽(C2), 아래(C3), 오른쪽(C4)의 근접한 블록의 정보가 사용 가능한 정보가 된다.

즉, 제어부(1)는 상기 비디오 디코더(4)에서 디코딩되는 영상의 특성에 따라 적합한 오류 은폐 기법을 적용하기 위하여 현재 디코딩되고 있는 비트 스트림의 특성을 알아내기 위하여 현재 프레임에서 이용 가능한 주위 블록의 코딩모드를 탐색한다(S1).

상기 디코딩되는 영상의 특성은 도 3 에 도시된 바와 같이, 영상 통계(IMAGE STATISTICS), 코딩 모드(CODING MODES), 모션 벡터(MOTION VECTORS) 및 에러 분석(ERROR ANALYSIS) 등의 디코디드 이미지 분석(DECODED IMAGE ANALYSIS)에 따라 탐색된다.

상기 탐색결과 현재 디코딩 프레임이 인트라 픽처(I-picture)인 경우 제어부(1)는 손실된 블록의 주변 블록들에 대하여 하기한 수학식 1을 이용하여 이전 프레임과의 차이를 측정한다.

여기서, k=1, ..., M이고, C_t(k)는

시간에서 손실된 블록의 주위 매크로 블록을 나타내며,

은 이용가능한 주변 블록의 수를 나타낸다.

이어 제어부(1)는 상기 측정된

가 기준치이하인 경우 시간 예측 오류 은폐기법을 사용한다(S2).

아울러 제어부(1)는 상기 측정된

가 기준치를 초과할 경우 하기한 수학 식 2, 3을 통해 우선 이웃하는 영역의 평균과 분산을 검출한다.

여기서

,

는

만약

과

값들이 모두 임계치 이내에 있으면 제어부(1)는 같은 시퀀스내의 프레임들로 인식하여 시간 예측 오류 은폐기법을 수행한다(S3, S4).

즉, 이전 프레임으로부터 모든 가능한 움직임 벡터(

)들의 집합(

)중에 가장 작은 오차를 갖는 최적의 움직임 벡터를 추정한 후, 그 벡터를 이용하여 얻은 이전 프레임내의 블록으로 손실된 블록을 대치하게 되는데 하기한 수학식 4와 5를 이용하여 선형 예측기의 계수를 계산한다(S5).

여기서 각각의 주위 블록 내의 화소 벡터들은 하기한 수학식 6과 같이 표현 된다.

상기 검출된 선형 예측기의 계수값을 통해 손실된 블록과 이웃한 블록간의 경계면에서의 공간적인 상관성을 예측할 수 있을 뿐만 아니라 이웃하는 화소영역까지 확장된 비용함수를 사용함으로써 추정치를 향상시킬 수 있다.

특히 인터레이스드(interlaced) 시퀀스에서 프레임 픽처로 코딩된 프레임들에서는 같은 패러티를 갖는 필드사이, 특 짝수 필드(even field)나 홀수 필드(odd field) 사이에서는 영상의 공간적인 상관성이 매우 크며, 이러한 상관성을 측정하여 이용할 수 있으므로 인터레이스드(interlaced) 시퀀스에서 매우 우수한 성능을 얻을 수 있게 된다.

이어, 상기 현재 프레임을 I프레임과 P/B프레임으로 나누어 각기 다르게 움직임 벡터를 추정한다.

상기 I프레임의 경우 주위 블록에 움직임 벡터를 가지고 있지 않으므로 현재 손실된 블록의 위치에서 ±SR(Search Range) 탐색 범위내에서 상기한 수학식 4를 최소화하는 최적의 움직임 벡터를 찾는다.

여기서 I프레임은 다른 프레임의 기준이 되므로 매우 중요하다.

상기 P와 B프레임의 경우 다음과 같은 하기한 후보 움직임 벡터들중 수학식 6을 이용하여 최적의 움직임 벡터를 추정한다(S6).

1)제로(zero) 움직임 벡터

2)주위 블록들의 평균 움직임 벡터

3) 이웃한 각 블록들의 움직임 벡터

4) 이웃한 각 블록들의 미디언(median) 벡터

단, 주위 블록들이 모두 인트라 모드인 경우는 공간 예측 보상을 수행한다.

여기서,

상기 수학식 6에서

는 손실된 블록과 인접한 위, 옆, 아래 블록의 화소들의 밝기값을 나타내며,

는 상기

에 상응하는 이전 프레임내의 화소들의 밝기값을 나타낸다.

그리고

는 영상에서 손실된 매크로 블록의 위치를 나타내고,

은 매크로 블록의 크기를 나타내며,

는 주위의 매크로 블록을 나타낸다.

상기 수학식 6에서

은

위치의 매크로 블록에서의 선형 예측기의

아울러

는 추가적인 비용함수를 조절하는 상수이다.

상기와 같은 과정을 통해 추정된 최적의 움직임 벡터를 이용하여 손실된 블록을 대치한다(S7).

한편, 상기

과

값들이 임계치를 넘는 경우 제어부(1)는 화면간 변화가 생기는 프레임으로 인식하여 제어부(1)는 공간 예측 보상한다(S8).

이는 전체적으로 움직임이 있는 영상의 경우는 DF가 매우 크므로 제어부(1)에서 화면간 변화가 생긴 것으로 오인할 수 있으므로, 이런 경우 제어부(1)에서는 공간적으로 보상하기 보다 시간적으로 움직임을 보상해주는 것이 좋은 결과를 가져온다.

그러므로 영상내 통계적인 성질을 이용함으로서 상기 제어부(1)에서 잘못된 판단을 줄일 수 있게 된다.

여기서 각각의 임계치들은 이전에 오류없이 정확히 디코딩된 프레임들의 통계적 특성을 이용하여 구할 수 있다.

예를 들어 제어부(1)는 GOP(Group Of Picture)가 시작하는 순간의 I-picture와 P-picture 내지는 I-picture와 B-picture 사이의 통계치를 이용하면 된다.

또는 제어부(1)는 현재 제대로 디코딩된 영상의 통계치를 이용할 수도 있다.

그러므로 제어부(1)는 상기와 같이 제안된 방식을 이용함으로써 화면간의 변화를 정확히 추정할 수 있게 되며, 영상의 특성에 따라 오류 은폐 방식을 적응적으로 이용할 수 있게 된다.

또한, 제어부(1)에서는 P-picture나 B-picture의 경우에서도 화면내 변화가 심한 곳은 인트라 매크로 블록 모드로 부호화되므로 주위 블록들이 모두 인트라 모드로 코딩된 블록은 상기와 같은 방식에 의하여 공간 예측 보상 기법을 적용한다.

상기 공간 예측 보상 기법은 공간 영역에서 보간 필터(interpolation filter)를 이용하여 손실된 블록내 화소값들을 보상하는데, 그와 달리 제안된 방식은 빠르고 효율적인 공간 필터링을 위해서 제어부(1)는 우선 주위 블록(C1, C2, C3, C4)을 FDCT(Fast Discrete Cosine Transform) 변환하여 주파수 영역에서 보간한다.

이때, 도 5 에 도시된 바와 같이, 주위의 16*16 매크로 블록들을 우선 8*8 블록으로 나누고, 상기 손실된 매크로 블록도 4개의 8*8 블록(E11, E12, E21, E22)으로 나눈다.

그리고 상기 손실된 서브 블록에 가까이 인접한 블록(C11, C12, …, C41, C42)의 DCT 계수들을 이용하여 보상한다.

이와 같이 하면 종래의 DCT 변환기를 사용할 수 있을 뿐만 아니라 매크로 블록마다의 16*16 DCT 변환에 비해 계산 속도가 훨씬 많이 줄며, 또한 병렬 처리가 가능하게 되는 장점이 있다.

또한, 손실된 매크로 블록도 4개의 서브 블록들로 나누어서 보상해 줌으로서 국부적인 영상의 특성을 잘 복원할 수 있게 된다.

즉, 상기 손실된 블록에 이웃한 이용 가능한 8*8 블록들에 대하여 8*8 DCT 변환을 수행하게 되는데 상기 8*8 DCT 변환 영역에서 4*4의 저 주파수 대역의 계수들만을 취하여 상기 저 주파수 대역의 계수들의 평균치로서 손실된 블록을 보상한 다(S9).

예들 들어 손실된 블록 중 한 개의 서브 블록(E11)을 복원하기 위하여 C11과 C21의 DCT계수들을 8*8 DCT변환 후 그 중 4*4의 같은 저 주파수 영역의 계수들끼리 평균한 값을 역 DCT변환한다(S10, S11).

최종적으로 얻은 화소 값을 영상의 다이나믹 레인지(dynamic range)로 클리핑(clipping)하여 복원한다.

이와 같이 나머지 서브 블록들(E12, E21, E22)에 대해서도 같은 과정을 통하여 손실된 블록을 복원하게 된다.

한편, 상기 시간 및 공간 예측 오류 은폐방식을 사용하였을 경우 때에 따라서 블록 저하가 발생하게 되는데 이는 경계면에서 블록간의 양자화 에러나 또는 미스매치(mismatch)된 블록들에 의하여 생긴다.

그러므로 시각적으로 매우 눈에 거슬리게 되므로 이에 대한 영향을 줄이기 위하여 손실된 블록의 경계면을 따라서 후처리 과정을 통해 저 대역 필터링을 해준다(S12).

이때 계산량을 줄이기 위하여 손실된 블록중 경계면에 해당하는 화소들에 대하여 하기한 수학식 7에 의해 계산되는 평균치로 대치한다.

여기서

이상에서 설명한 바와 같이 본 발명에 따른 오류 은폐방법은 채널상에서 발생되는 에러에 대해 수신단에서 손실된 주위 블록의 공간적/시간적 상관성을 이용하여 알고리즘을 수행함으로써 화질의 저하를 방지할 수 있는 효과가 있다.

Claims

현재 오류가 발생된 프레임의 종류와 영상의 특성을 추출하는 단계와;

상기 추출된 프레임의 종류와 영상의 특성에 따라 공간 예측 오류 은폐 기법을 사용할 것인지 시간 예측 오류 은폐 기법을 사용할 것인지를 판단하는 단계와;

상기 판단된 오류 은폐 기법에 따라 상기 오류가 발생된 프레임내의 블럭을 오류 은폐된 블록으로 대체하는 단계와;

상기 대체된 블록을 주변 블록과의 시각적인 블록 저하를 없애기 위한 후처리 과정을 수행하는 단계로 이루어짐을 특징으로 하는 오류 은폐방법.
제 1 항에 있어서,

상기 현재 오류가 발생된 프레임의 종류와 영상의 특성은 아래의 수학식 1에 의해 추출되는 것을 특징으로 하는 오류 은폐방법.

여기서, k=1,...,M이고, C_t(k)는
시간에서 손실된 블록의 주위 매크로 블록을 나타내며,
은 이용가능한 주변 블록의 수를 나타낸다.
제 1 항에 있어서,

상기 판단하는 단계는

상기 오류가 발생된 프레임이 화면 전환(scene change)과 같이 시간적 상관성이 적은 경우 공간 예측 오류 은폐 기법을, 시간적 상관성이 많은 경우 시간 예측 오류 은폐 기법을 사용하는 것으로 판단함을 특징으로 하는 오류 은폐방법.
제 3 항에 있어서,

상기 공간 예측 오류 은폐 기법은 주파수 보간 기법을 사용함을 특징으로 하는 오류 은폐방법.
제 4 항에 있어서,

상기 주파수 보간 기법은

손실된 블록 주위의 블록을 서브 블록들로 나눈 후 상기 손실된 블록의 각 서브 블록에 인접한 블록들의 DCT 변환하는 단계와;

상기 DCT 변환된 서브 블록들의 저 주파수 대역의 계수들의 평균치를 추정하는 단계와;

상기 추정된 저 주파수 대역의 계수들의 평균치를 서브 블록들로 역 DCT 변환한 후 상기 손실된 블록을 추정하여 복원하는 단계로 이루어짐을 특징으로 하는 오류 은폐방법.
제 3 항에 있어서,

상기 시간 예측 오류 은폐 기법은 손실된 블록과 가장 잘 일치할 것으로 예상되는 블록을 이전 프레임에서 예측하여 에러를 보상하기 위한 새로운 비용함수를 사용하고,

상기 새로운 비용함수는 상기 손실된 블록과 이웃하는 주위 블록들간의 공간적 상관성을 판별하여 최적의 움직임 벡터를 추정하고 이를 이용하여 얻은 이전 프레임내의 블럭으로 상기 손실된 블럭을 대치하여 상기 에러를 보상하는 것을 특징으로 하는 오류 은폐방법.
삭제
제 6 항에 있어서,

상기 시간 예측 오류 은폐 기법의 새로운 비용함수는 아래의 수학식 2에 의해 선형 예측기의 계수를 계산함을 특징으로 하는 오류 은폐방법.
제 6 항에 있어서,

상기 시간 예측 오류 은폐 기법의 상기 새로운 비용함수는 아래의 수학식 3에 의해 상기 최적의 움직임 벡터를 추정하는 것을 특징으로 하는 오류 은폐방법.

여기서,

상기
는 손실된 블록과 인접한 위, 옆, 아래 블록의 화소들의 밝기값을 나타내며,
는 상기
에 상응하는 이전 프레임내의 화소들의 밝기값을 나타낸다.

그리고
는 영상에서 손실된 매크로 블록의 위치를 나타내고,
은 매크로 블록의 크기를 나타내며,
는 주위의 매크로 블록을 나타낸다.

상기
은
위치의 매크로 블록에서의 선형 예측기의
번째 계수이고, W는 비교에 사용된 화소들의 라인 수(즉 선형 예측 계수의 수)를 나타낸다.

아울러
는 추가적인 비용함수로 현재 손실된 블록에 바로 이웃하는 화소들과 그에 상응하는 이전 프레임 블록에 바로 이웃하는 화소들의 차이를 나타내며,
는 추가적인 비용함수를 조절하는 상수이다.

Vx와 Vy는 상기 이전 프레임으로부터 모든 가능한 움직임 벡터로서, 한 프레임의 좌표에서의 수평 및 수직 움직임 벡터들을 각각 나타낸다.
제 1 항에 있어서,

상기 판단하는 단계는

현재 오류가 발생된 프레임의 종류와 영상의 특성을 검출한 후 아래의 수학식 4에 의해 계산되는 손실된 블록을 포함하는 주변 영역의 평균 값과 평균 분산치 각각의 절대차와 기설정된 임계치를 비교하여 오류 은폐기법을 결정함을 특징으로 하는 오류 은폐방법.

여기서
,
는
시간에서 블록을 포함하는 주변 영역의 평균 값과 평균 분산치를 나타낸다.
제 1 항에 있어서,

상기 후처리 과정을 수행하는 단계는 아래의 수학식 5에 의해 계산된 값으로 손실된 블록중 경계면에 해당하는 화소들을 대치함을 특징으로 하는 오류 은폐방법.

여기서
는 손실된 블록내 경계면에 위치한 화소들의 값들을 나타내고,
은 마주하고 있는 주위 블록내 경계면의 화소값들을 나타낸다.