KR100711204B1

KR100711204B1 - 선택적 에러 은닉 장치 및 방법

Info

Publication number: KR100711204B1
Application number: KR1020060057268A
Authority: KR
Inventors: 김명돈; 서봉수; 정봉수; 전병우; 최송인
Original assignee: 한국전자통신연구원; 학교법인 성균관대학
Priority date: 2006-06-26
Filing date: 2006-06-26
Publication date: 2007-04-24
Also published as: KR20060089694A

Abstract

본 발명은 전송 채널 에러에 의한 영상의 손실된 블록을 복원하는 선택적 에러 은닉 장치 및 방법에 관한 것이다. 본 발명에 따른 선택적 에러 은닉 장치는, 에러가 포함된 영상 데이터를 입력받아, 에러가 포함된 손실 블록이 배경 또는 전경 어느 곳에 속하는지 판단하는 배경/전경 판단기; 배경/전경 판단기의 판단 결과, 손실 블록이 배경에 속하는 경우에 에러 은닉을 수행하는 제1 에러 은닉 처리기; 및 배경/전경 판단기의 판단 결과, 손실 블록이 전경에 속하는 경우에 에러 은닉을 수행하는 제2 에러 은닉 처리기를 포함하며, 여기서, 제1 에러 은닉 처리기는 참조 영상의 해당 위치의 블록 데이터를 복사하여 상기 손실 블록을 복원하는 단순 블록 대체 은닉기이며, 제2 에러 은닉 처리기는 다중 참조 영상의 블록화소 정보를 이용하여 손실 블록을 복원하는 특징이 있다. 본 발명에 따르면, 종래의 시간적 에러 은닉 기술보다 정확하게 손실 블록을 은닉할 수 있고, 또한 움직임이 있는 전경의 경우, 손실 블록의 움직임 보상 에러 은닉을 선택적으로 수행함으로써 보다 효율적인 움직임 보상 은닉을 수행할 수 있다.

에러 은닉, 매크로블록, 다중참조 영상, 움직임 보상, 복호기

Description

선택적 에러 은닉 장치 및 방법 {An apparatus for selective error concealment, and a method thereof}

도 1은 본 발명의 실시예에 따른 선택적 에러 은닉 장치의 구성을 예시하는 도면이다.

도 2는 본 발명의 실시예에 따른 제1 에러 은닉 처리기의 구성을 예시하는 도면이다.

도 3은 본 발명의 실시예에 따른 제2 에러 은닉 처리기의 구성을 예시하는 도면이다.

도 4는 본 발명에 따른 블록 정합에 사용한 주변 매크로블록 화소를 설명하기 위한 도면이다.

도 5는 본 발명의 실시예에 따른 다중 참조 영상을 이용한 에러 은닉 방법을 설명하기 위한 도면이다.

도 6은 본 발명의 실시예에 따른 선택적 에러 은닉기를 다중 참조 영상을 이용한 움직임 보상 복호기에 적용한 에러 은닉 복호기의 구성을 예시하는 도면이다.

도 7은 본 발명의 실시예에 따른 선택적 에러 은닉 방법의 동작 흐름도이다.

본 발명은 선택적 에러 은닉 장치 및 방법에 관한 것으로, 보다 구체적으로, 전송 채널 에러에 의한 영상의 손실된 블록을 복원하는 선택적 에러 은닉 장치 및 방법에 관한 것이다.

일반적으로, H.263, H.264, MPEG-4와 같은 대부분의 영상 부호화 기술은 가변장 부호화(VLC: Variable Length Coding)와 공간 및 움직임 예측 방법(Spatial and Motion Prediction) 등의 효율적인 영상 압축 방법을 이용하고 있다.

그런데, 가변장 부호화 기술은 에러가 있는 채널 환경에 매우 취약하여 단지 한 비트 에러에 의해서도 영상 복호화 도중에 동기를 잃어버리게 하는 원인을 제공하며, 또한, 예측 부호화(Prediction Coding) 기술은 전체 영상을 통해 에러가 전파되게 만든다. 이로 인해 채널 전송, 저장매체 기록 또는 읽기 중에 발생하는 에러는 복원된 영상의 화질 저하에 많은 영향을 끼치게 된다.

따라서 이와 같이 피할 수 없는 전송 에러에 효과적으로 대처하기 위한 에러 강인 영상 부호화 방법들에 대한 연구가 활발히 진행되어 왔다. 이러한 전송 환경에서 발생하는 에러에 의한 피해를 최소화하기 위한 방법으로는 에러 강인 부호화 및 에러 은닉 방법이 있다.

이러한 에러 은닉(Error concealment) 방법은 정상적으로 복원된 시간적 혹은 공간적 이웃 블록 정보를 이용하여 손상된 블록을 완벽하게 복원할 수는 없지만, 인간의 눈에 최대한 띄지 않도록 은닉시킬 수 있다. 일반적으로, 에러 은닉 기술은 복호 과정에서 얻어낸 정보, 예를 들면, 움직임 벡터나 매크로블록의 모드 정보들과 같이 손실된 블록 주변의 정보를 이용하여 효과적으로 은닉하는 복호기에 적용되며, 또한, 부호화기 변형이 필요 없고, 부호화 비트량의 증가를 가져오지 않는다는 장점이 있다.

상기 에러 은닉 방법은 공간 영역에서 이웃 화소들 사이에는 갑작스러운 밝기 변화가 없다고 가정하고, 주변의 올바르게 복호된 블록들의 화소값을 이용하여 보간하는 공간적 에러 은닉 방법(Spatial Error Concealment: SEC), 및 시간적으로 연속된 화면 사이에는 유사성이 높은 성질을 이용하여 현재 영상에서 손상된 블록에 대한 참조 영상에서 가장 유사한 블록을 찾아 은닉하는 시간적 에러 은닉 방법(Temporal Error Concealment: TEC)으로 분류할 수 있다.

여기서, 상기 시간적 에러 은닉 방법은 전송 채널의 에러로 인해 발생하는 영상의 손실된 부분의 주관적 화질을 최대한 개선하기 위한 방법으로서, 손실된 블록 주변의 올바르게 복호된 블록 정보를 이용하여 참조 영상에서 가장 유사한 블록을 찾아 손실 블록을 대체하는 것이다.

그런데, 종래의 시간적 에러 은닉 방법으로는 참조 영상의 해당 부분으로 단순 대체하는 방법과 움직임 보상 에러 은닉 방법이 사용되고 있다. 상기 단순 블록 대체 방법은 움직임이 많은 영상에서는 효과적이지 못하며, 또한, 상기 움직임 보상 에러 은닉 방법은 한 장의 참조 영상을 이용하는 것이 여러 장의 참조 영상을 이용하는 것보다 효과적이지 못하다. 또한, 상기 움직임 보상 에러 은닉 방법은 상기 손실된 블록의 주변의 올바르게 복호된 블록의 개수가 적고 복잡도가 적은 배경 영상인 경우 오히려 움직임 보상 은닉을 잘못 수행할 수 있다.

종래 기술에 따른 시간적 에러 은닉 방법은 한 장의 참조 영상을 이용하여 후보 움직임 벡터 지점이나 탐색영역에서 경계 정합 또는 블록 정합 방법을 이용하여 손실 블록의 움직임 벡터를 복원하였다. 하지만, 최근에 표준화된 H.264/MPEG-4 part 10과 같이 다중 참조 영상을 이용하여 움직임 보상을 하는 경우, 시간적 에러 은닉 방법을 수행할 때 여러 장의 참조 영상을 이용하여 효과적으로 손실 블록을 은닉할 수 있다.

이러한 다중 참조 영상을 이용한 종래 기술은 각각의 참조 영상에서 찾은 매크로블록을 평균하여 에러를 은닉하는 시간적 에러 은닉 방법이지만, 각 참조 영상에서 찾은 매크로블록의 유사성이 떨어질 경우, 이들을 평균하여 은닉하는 방법은 오히려 좋지 못한 성능을 나타내는 경우가 발생할 수 있다.

또한, 종래 기술은 탐색영역에서 손실 블록 주변의 올바르게 복호된 블록을 이용한 블록 정합 방법을 모든 손실된 블록에 일괄적으로 실시하였다. 그런데, 손실 블록의 주변에 올바르게 복호된 블록이 개수가 적고, 복잡도가 적은 배경 영상의 경우 오히려 잘못 탐색하는 경우가 발생한다. 이러한 경우, 에러 은닉 과정의 에러에 의해 잘못 은닉된 블록이 다음 영상으로 재차 파급될 수 있는 문제점이 있다.

한편, 종래 기술로서, 대한민국 특허출원번호 제2001-63870호(2001년 10월 17일 출원)에는 "주변 화소의 표본들을 이용한 에러 은닉 장치 및 방법"이 개시되어 있다. 상기 대한민국 특허출원번호 제2001-63870호는 현재 프레임의 매크로블록(Macro Block: MB) 정보가 움직임 벡터 정보와 함께 손상되었을 때, 이미 복호되 어 재구성된 이전 프레임에서 손상된 매크로블록 주변 화소들의 표본과 평균절대 오차(Mean Absolute Error: MAE)가 최소가 되는 매크로블록을 찾아 에러를 복원하는 주변 화소의 표본들을 이용한 에러 은닉 장치 및 방법을 개시하고 있다.

구체적으로, 대한민국 특허출원번호 제2001-63870호의 발명에 따르면, 주변 화소의 표본들을 이용한 에러 은닉 장치는, 부호화된 비트스트림을 입력받아 에러의 발생 여부를 검출하는 에러 검출부; 에러 검출부로부터 에러 발생 신호의 입력시 에러가 발생한 매크로블록의 이전 프레임에서 주변 화소의 표본들을 샘플링하여 일정한 탐색 범위에서 가장 작은 평균 절대값 오차를 갖는 매크로블록을 복사하여 에러를 은닉하는 에러 은닉 제어부; 및 에러 은닉 제어부로부터 에러가 은닉된 영상을 입력받아 디코딩하여 출력하는 디코딩부로 구성된다.

상기 주변 화소의 표본들을 이용한 에러 은닉 장치는, 현재 프레임에서 에러가 발생하였는지의 여부를 검출하고, 에러가 발생한 현재 프레임의 매크로블록과 같은 위치에 있는 이전 프레임의 매크로블록에서 경계화소의 평균 절대값 오차(MAE)를 계산하며, 이와 같이 계산된 평균 절대값 오차를 기설정된 임계값과 비교하여 임계값보다 작은 경우에는 같은 위치의 매크로블록을 이전 프레임에서 복사하고, 임계값보다 클 경우에는 매크로블록의 주변화소를 일정 비율로 샘플링하여 샘플링된 주변 화소에 대응하여 전체 영역을 탐색 범위로 설정하여 평균 절대값 오차를 계산해 가장 작은 평균 절대값 오차를 갖는 매크로블록을 이전 프레임에서 복사하게 된다.

그런데, 상기 주변 화소의 표본들을 이용한 에러 은닉 장치는 손상된 매크로 블록 주변의 표본화소만을 이용하여 탐색 범위를 설정함으로써, 에러 블록 주변의 모든 경계 화소를 이용하는 방법과 비교하여 에러 은닉 수행시간의 계산량을 획기적으로 줄일 수 있지만, 탐색시 손실 블록 주변의 많은 화소를 사용하여야 하며, 다중참조 영상을 사용할 경우에는 이를 적용하기 어렵다는 문제점이 있다.

한편, 종래 기술로서, IEEE Transaction on Circuits and Systems for Video Technology지(2000년 6월 간행)에는 "A cell-loss concealment technique for MPEG-2 codec video"라는 명칭의 논문이 게재되어 있는 바, 복호기 움직임 벡터 추정 방법(Decoder Motion Vector Estimation: DMVE)을 개시하고 있다.

구체적으로, 선행 논문에 따른 복호기 움직임 벡터 추정 방법은, 기존의 경계 정합 알고리즘이 이전 프레임에서 추정한 블록의 최외곽 화소와 손실된 블록과 맞닿은 정상 복원된 화소값들과의 연속성을 판단하는 것과는 달리, 손실 블록의 경계 바깥쪽에 있는 화소와 이전 프레임에서 움직임 보상된 블록의 경계 바깥쪽에 있는 화소간의 유사성을 판단하는 방법으로서, 기존의 경계 정합 알고리즘이 손실 블록의 움직임 벡터를 추정하기 위해 공간적 상관도를 이용하지만, 복호기 움직임 벡터 추정 방법은 시간적 상관도를 이용하게 된다. 따라서 선행 논문에 따른 복호기 움직임 벡터 추정 방법은 손실된 블록을 탐색영역 내에서 움직임 보상 은닉을 수행하기 위해, 손실 블록의 위쪽, 왼쪽, 아래쪽의 바깥 부분에서 화소들을 이용하여 움직임 보상 에러 은닉을 수행함으로써 기존의 경계 정합 알고리즘보다는 성능이 우수하다.

하지만, 선행논문의 에러 은닉 방법은 탐색 영역의 크기 및 예측시 유사성 판단을 위한 확장 영역의 폭에 따라 에러 은닉 성능의 차이를 나타냄으로써, 손실된 블록 주변에 올바르게 복호된 블록의 개수가 적을 경우에 그 성능이 떨어지며, 또한, 다중참조 영상을 사용할 경우에는 적용할 수 없다는 문제점이 있다.

한편, 종래 기술로서, ICIP2003지(2003년 9월 간행)에는 "Multi-hypothesis error concealment algorithm for H.26L video"라는 명칭의 논문에 게재되어 있는 바, 다중 참조 영상을 이용하여 각각의 참조 영상에서 찾은 두 개 이상의 매크로블록을 평균하여 에러를 은닉하는 다중 추정(Multi-hypothesis) 방법을 개시하고 있다.

구체적으로, 선행논문에 따른 다중 추정 방법은, H.264/AVC 코덱을 이용하여 5장의 참조 프레임 각각에서 손실 블록 주변의 위쪽과 아래쪽의 에러가 없는 블록의 두 라인으로 블록 정합을 하여 손실 블록의 움직임 벡터를 찾고, 손실 블록의 움직임 벡터 지점의 블록을 이용하여 손실 블록을 복원할 때 5장의 참조 프레임에서 찾은 블록을 2장, 3장, 4장, 5장 각각을 평균하여 손실 블록을 대체하는 방법으로서, 다중참조 영상을 이용하여 효과적인 에러 은닉을 수행할 수 있지만, 손실 블록의 전경과 배경을 구분하지 않고, 다중 참조 영상을 이용하여 일괄적 평균을 취하여 에러 은닉을 수행함으로써 에러 은닉 효율을 떨어뜨릴 수 있다는 문제점이 있다.

상기 문제점을 해결하기 위한 본 발명의 목적은, 손실 블록이 전경(FG)과 배경(BG)중 어느 곳에 속하는지 판단하여 적응적으로 시간적 에러 은닉 방법을 선택 함으로써, 종래의 시간적 에러 은닉 기술보다 정확하게 손실 블록에 따른 에러를 은닉할 수 있는 선택적 에러 은닉 장치 및 방법을 제공하기 위한 것이다.

또한, 본 발명의 다른 목적은, 움직임이 있는 전경의 경우, 다중 참조 영상에서 찾은 손실 블록의 움직임 보상 에러 은닉을 선택적으로 수행함으로써 보다 효율적인 움직임 보상 은닉을 수행할 수 있는 선택적 에러 은닉 장치 및 방법을 제공하기 위한 것이다.

또한, 본 발명의 또 다른 목적은, 손실 블록의 전경 및 배경 판단에 따라 선택적으로 수행되는 에러 은닉 방법을 실제 영상 복호기에 적용할 수 있는 영상 복호기를 제공하기 위한 것이다.

상기 목적을 달성하기 위한 수단으로서, 본 발명에 따른 선택적 에러 은닉 장치는,

에러가 포함된 영상 데이터를 입력받아, 상기 에러가 포함된 손실 블록이 배경(Background) 또는 전경(Foreground) 어느 곳에 속하는지 판단하는 배경/전경 판단기;

상기 배경/전경 판단기의 판단 결과, 상기 손실 블록이 배경에 속하는 경우에 에러 은닉을 수행하는 제1 에러 은닉 처리기; 및
상기 배경/전경 판단기의 판단 결과, 상기 손실 블록이 전경에 속하는 경우에 상기 제1 에러 은닉 처리기와 다른 방식의 에러 은닉을 수행하는 제2 에러 은닉 처리기를 포함한다.
여기서, 상기 제2 에러 은닉 처리기는 다중 참조 영상의 블록화소 정보를 이용하여 상기 손실 블록을 복원한다.

삭제

여기서, 상기 제1 에러 은닉 처리기는 참조 영상의 해당 위치의 블록 데이터를 복사하여 상기 손실 블록을 복원하는 단순 블록 대체 은닉기인 것을 특징으로 한다.

삭제

여기서, 상기 제2 에러 은닉 처리기는,

상기 다중 참조 영상 각각에 대해 최소 정합 에러값을 갖는 블록의 추정을 수행하고, 상기 최소 정합 에러값을 계산하는 은닉 움직임 추정기;

상기 계산된 최소정합 에러들값과 소정 임계값과의 비교 결과에 따라 상기 손실 블록을 최소 경계 정합 블록으로 대체하는 최소 경계 정합 블록 대체부; 및

상기 소정 임계값과의 비교 결과에 따라 상기 손실 블록을 평균 블록으로 대체하는 평균 블록 대체부를 포함할 수 있다.

삭제

한편, 상기 목적을 달성하기 위한 다른 수단으로서, 본 발명에 따른 선택적 에러 은닉 방법은,

a) 에러가 포함된 압축된 영상 데이터를 입력받는 단계;

b) 상기 에러가 있는 소정 크기의 손실 블록의 성질을 결정하는 단계;

c) 상기 결정된 손실 블록의 성질에 따라 미리 구비된 복수의 에러 은닉 방법 중에서 하나를 선택하는 단계; 및

d) 상기 선택된 에러 은닉 방법에 따라 에러 은닉 복호화를 수행하는 단계를 포함한다.

삭제

여기서, 상기 c) 단계는, 상기 손실 블록이 배경 또는 전경 어느 곳에 속하는지 분류하여 상기 전경과 배경 각각에 대해 서로 다른 에러 은닉 방법을 선택하는 것을 특징으로 한다.

한편, 상기 목적을 달성하기 위한 또 다른 수단으로서, 본 발명에 따른 선택적 에러 은닉기를 구비하는 영상 복호기는,

입력된 비트열을 슬라이스 단위로 복호하는 가변장 복호기;

에러가 발생하지 않은 슬라이스 또는 블록을 역 양자화하는 역 양자화부;

상기 역 양자화된 데이터의 압축을 해제하여 복호화하는 역 변환 복호화부;

상기 에러가 발생한 손실 블록의 손실된 부분을 선택적으로 은닉하는 선택적 에러 은닉기;

다중 참조 영상을 이용한 움직임 보상을 수행하여 손실된 부분이 은닉된 현재 영상을 출력하는 루프 필터;

상기 다중 참조 영상을 이용한 움직임 보상을 수행하는 움직임 보상부;

상기 복호화된 현재 영상이 다음의 입력 비트스트림의 다중 참조 영상으로 사용되도록 저장하는 다중 참조 영상 프레임 메모리; 및

상기 움직임 보상부와 상기 역 복호화부의 출력을 합산하여 상기 선택적 에러 은닉기로 입력하는 합산기를 포함한다.

삭제

본 발명에 따르면, 배경과 전경을 판단하여 해당하는 시간적 에러 은닉 방법 을 선택하여, 손실된 블록을 은닉함으로써, 종래의 시간적 에러 은닉 기술보다 정확하게 손실 블록을 은닉할 수 있고, 또한 움직임이 있는 전경의 경우, 손실 블록의 움직임 보상 에러 은닉을 선택적으로 수행함으로써 보다 효율적인 움직임 보상 은닉을 수행하며, 다중 참조 영상을 사용하는 경우에도 적용할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 선택적 에러 은닉 장치 및 방법을 상세히 설명한다.

먼저, 전송 채널 에러에 의한 영상의 손실된 블록을 복원하는 에러 은닉 방법에서 완벽한 에러 은닉은 불가능하므로, 이러한 에러 은닉 과정상의 오류는 반드시 존재하며, 이러한 오류가 끼치는 파급 효과는 해당 손실블록이 배경(BG: Background) 또는 전경(FG: Foreground)의 어느 곳에 있는가에 따라 그 중요도가 틀려질 수 있다.

본 발명의 실시예는 해당 손실 블록이 배경(BG)과 전경(FG) 중에서 어디에 속하는지를 판단하고, 그 판단 결과에 따라 시간적 에러 은닉 방법을 선택한 후에, 선택된 해당 에러 은닉 방법을 수행하며, 또한, 손실 블록의 배경과 전경 판단에 따라 각각 다른 에러 은닉 방법을 수행할 경우, 상기 손실 블록이 전경이라면 추정된 블록의 상관도에 따라 다중 참조 영상을 이용하여 선택적으로 평균하게 된다.

도 1은 본 발명의 실시예에 따른 선택적 에러 은닉 장치의 구성을 예시하는 도면으로서, 설명의 편의를 위해 복호화 처리기(110) 및 참조 메모리(130)를 선택적 에러 은닉기(120)와 함께 도시하였다.

도 1을 참조하면, 본 발명의 실시예에 따른 선택적 에러 은닉기(120)는 전경 /배경(FG/BG) 판단기(121), 절환부(122), 제1 에러 은닉 처리기(123) 및 제2 에러 은닉 처리기(124)를 포함하며, 상기 복호화 처리기(110)로부터 복호화 영상을 입력받아 에러 은닉 영상을 출력하며, 이때, 다중 참조 영상을 이용하기 위해서 상기 참조 메모리(130)를 통해 영상 출력을 저장하도록 되어 있다.

상기 선택적 에러 은닉기(120)의 FG/BG 판단기(121)는 손실된 매크로블록 주변의 올바르게 복호된 블록을 이용하여 손실된 매크로블록이 전경(FG)과 배경(BG) 중에서 어느 곳에 속하는지를 판단한다.

이를 위하여, 상기 FG/BG 판단기(121)는 손실된 매크로블록 주변의 올바르게 복호된 매크로블록들과, 이에 대응되는 이전 영상의 매크로블록들 간의 정합 에러를 계산하여, 이 값이 특정 임계값(T1) 이하이면 손실된 매크로블록을 배경(BG) 부분으로 간주하고, 그렇지 않은 경우에는 전경(FG)으로 간주한다. 본 발명의 실시예에 따른 시간적 에러 은닉 장치는, 상기 손실된 매크로블록이 배경(BG)인 경우, 도 1의 제1 에러 은닉 처리기(123)를 사용하여 에러 은닉을 수행한다.

상기 제1 에러 은닉 처리기(123)는 상기 배경과 같이 움직임이 없는 영상에 적합한 에러 은닉 방법을 수행하며, 그 바람직한 구현예가 도 2에 나타나 있다.

도 2는 본 발명의 실시예에 따른 제1 에러 은닉 처리기(123)의 구성을 예시하는 도면으로서, 복호화 영상이 입력되면 이를 처리하여 에러 은닉 영상을 출력하는 제1 에러 은닉 처리기(123)는 단순 블록 대체 은닉기(123-1)를 포함하고 있다.

또한, 상기 손실된 매크로블록이 전경(FG)으로 판단한 경우에는 도 1의 제2 에러 은닉 처리기(124)를 사용하여 에러 은닉을 수행한다. 상기 제2 에러 은닉 처 리기(124)는 피사체 물체와 같이 움직임이 많은 영상부분에 적합한 에러 은닉 방법을 수행하며, 그 바람직한 구현예가 도 3에 나타나 있다.

도 3은 본 발명의 실시예에 따른 제2 에러 은닉 처리기(124)의 구성을 예시하는 도면으로서, 복호화 영상이 입력되면 이를 처리하여 에러 은닉 영상을 출력하는 제2 에러 은닉 처리기(124)는 다중 참조 영상을 이용하여 움직임 보상을 은닉하는 은닉 움직임 추정기(1241), 절환부(1242), 최소 경계 정합 매크로블록 대체부(1243) 및 평균 매크로블록 대체부(1244)를 포함하고 있다.

본 발명의 실시예에서 상기 제1 및 제2 에러 은닉 처리기(123, 124)만을 사용하였지만, 상기 에러 은닉 처리기(123, 124)의 수를 늘릴 수도 있다.

한편, 상기 FG/BG 판단기(121)가 사용하는 구체적인 정합 에러 평가 기준은 다음과 같은 수학식 1로 나타낼 수 있다.

여기서,

는 손실 매크로블록의 위치를 나타내고,

는 참조 영상의 대응 위치의 매크로블록 위치를 나타내며,

는 해당 매크로블록 내의 왼쪽 위에 있는 화소의 공간좌표를 나타낸다.

도 4는 본 발명의 실시예에 따른 블록 정합에 사용한 주변 매크로블록 화소를 설명하기 위한 도면으로서, M은 4이고 N은 16인 경우의 블록 정합에 사용할 손실 매크로블록 주변의 올바르게 복호된 매크로블록의 화소를 도시하고 있다. 여기서, 매크로블록의 크기는 N×N이다. 또한, 에러 은닉의 정확도를 높이기 위해 M과 N의 크기를 각각 늘릴 수 있다. 여기서, 도면부호 410은 정합되는 열과 행의 화소들을 나타낸다.

이후, 올바르게 복호된 매크로블록의 화소만 이용하여 다음과 같은 수학식 2를 계산하게 된다.

여기서, numOfPredBlock은 손실 매크로블록 주변의 올바르게 복호된 매크로블록의 개수를 나타내는 것으로, 또한, i = {T, L, B, R}의 표시는 SADT, SADL, SADB 및 SADR에서 올바르게 복호된 매크로블록에 해당되는 것에 대해서만 합을 한다는 의미이다. T는 numOfPredBlock으로 SAD합을 나누어 정규화 한 값이다. 상기 수학식 2에서 계산한 정규화 값(T)을 기설정된 제1 임계값과 비교하여, 상기 제1 임계값보다 작으면 배경(BG)으로 판단하고, 그렇지 않고 상기 제1 임계값보다 큰 경우 전경(FG)으로 판단하게 된다.

본 발명의 실시예에 따른 에러 은닉기(120)에서 상기 제1 에러 은닉 처리기(123)는 손실 블록이 배경(BG)으로 판단된 경우에 수행되기 때문에 도 2와 같이 가장 간단한 단순 대체 방법을 이용하는 것이 바람직하다. 이것은 배경(BG)의 경우, 움직임이 없는 부분이기 때문에 탐색을 하여 손실 블록을 보상하는 경우에 오히려 잘못 탐색하는 경우가 발생할 수 있다. 따라서 상기 손실 블록이 배경(BG)인 경우, 손실된 매크로블록과 대응되는 이전 영상의 매크로블록으로 대체하는 단순 대체 방법이 더 효과적이다.

또한, 상기 제2 에러 은닉 처리기(124)는 움직임이 있는 경우에 적용되는 것으로서, 도 3과 같이'다중 참조 영상을 이용한 움직임 보상 은닉' 방법을 이용하는 것이 바람직하다. 이를 위해 각 참조 영상의 탐색 영역에서 움직임 벡터를 추정하게 된다.

도 5는 본 발명의 실시예에 따른 다중 참조 영상을 이용한 에러 은닉 방법을 설명하기 위한 도면으로서, 3개의 참조 영상을 이용하여 각각의 탐색 영역에서 움직임 벡터를 추정하는 것을 나타내고 있다.

이와 같이 3개의 참조 영상을 이용하여 추정한 각 움직임 벡터에 위치한 매크로블록 주변 화소와의 정합 오차를 수학식 3과 같이 계산하고, 이를 각각 비교하여 첫 번째와 두 번째 작은 값을 가지는 매크로블록 위치의 정합 오차값 간의 차가 제2 임계값보다 크면 추정된 매크로블록간의 유사성이 떨어지기 때문에 이 두 매크로블록의 평균을 취하지 않고 가장 작은 정합 오차값을 가지는 위치의 매크로블록을 손실 매크로블록으로 대체한다. 즉, 도 3의 최소 경계 정합 매크로블록 대체부(1243)를 사용하여 대체하게 된다.

그렇지 않고, 첫 번째와 두 번째 작은 값을 가지는 매크로블록 위치의 정합 오차값 간의 차가 제2 임계값보다 작은 경우에는, 두 개의 추정된 매크로블록을 평균하여 손실 매크로블록으로 대체한다. 즉, 도 3의 평균 매크로블록 대체부(1244)를 사용하여 대체하게 된다. 여기서, 도 3의 절환부(1242)는 상기 최소 경계 정합 매크로블록 대체부(1243) 및 평균 매크로블록 대체부(1244) 중 어느 하나를 선택하기 위한 것이다.

한편, 수학식 3과 수학식 4는 각 참조 영상에서 정합 오차를 계산하는 식을 나타낸다.

여기서, 수학식 3의

는 참조 영상에서 추정된 블록의 위치이고, 수학식 4의

는 각 참조 영상에서 추정된 매크로블록의 최소 SAD를 주변의 올바르게 복호된 블록의 개수 numOfPredBlock의 수로 나눈 정규화 값이 다. 이때,

에서

는 참조 영상의 숫자가 된다.

한편, 도 6은 본 발명의 실시예에 따른 선택적 에러 은닉기를 다중 참조 영상을 이용한 움직임 보상 복호기에 적용한 에러 은닉 복호기의 구성을 예시하는 도면이다.

도 6을 참조하면, 본 발명의 실시예에 따른 에러 은닉 복호기는 입력된 비트열을 슬라이스 단위로 가변장 복호화(VLD)(610)를 수행한 후, 에러가 발생한 매크로블록의 정보를 본 발명의 선택적 에러 은닉기(650)에 보낸다. 또한, 에러가 발생하지 않은 슬라이스 또는 매크로블록은 역 양자화부(Inverse Q: 620)와 역 변환 복호화부(Inverse T: 630)를 거쳐 다중 참조 영상을 이용한 움직임 보상을 수행함으로써 현재 영상으로 복호화된다. 여기서, 도면부호 640은 합산기를 나타내고, 도면부호 670은 움직임 보상부(MC)를 나타내며, 도면부호 660은 다중 참조 영상 프레임 메모리를 나타낸다.

이때, 상기 손실된 매크로블록은 복호기의 다중 참조 영상을 이용하여 본 발명의 선택적 에러 은닉기(650)를 통해 손실된 부분이 은닉된 다음, 루프 필터(680)를 수행한 후 출력되어 디스플레이 되고, 또한 다음의 입력 비트스트림의 다중 참조 영상으로 사용되도록 다중 참조 영상 프레임 메모리(660)에 저장된다.

한편, 도 7은 본 발명의 실시예에 따른 선택적 에러 은닉 방법의 동작 흐름도로서, 에러 은닉 방법의 바람직한 수행 순서는 다음과 같다.

먼저, 에러가 포함된 압축 영상 데이터를 입력 받고(S710), 이후, 손실된 매 크로블록이 배경 또는 전경 어느 곳에 속하는지 판단하게 된다(S720).

구체적으로, 상기 손실된 매크로블록이 배경 또는 전경 어느 곳에 속하는지 판단하기 위해서는, 손실된 매크로블록 주변의 도 4와 같이 올바르게 복호된 매크로블록의 소정 개수의 행이나 열의 화소를 이용하여 이전 영상에 대응되는 위치와 수학식 2의 정규화 값(T)을 계산한다. 상기 정규화 값(T)이 소정의 제1 임계값(예를 들어, 128) 보다 작으면 S730 단계를 수행하고, 그렇지 않고, 상기 정규화 값(T)이 소정의 제1 임계값보다 크다면, S740 단계를 수행한다. 또한 손실된 매크로블록 주변에 올바르게 복호된 매크로블록이 없으면 S730 단계를 수행한다.

만일, 상기 손실된 매크로블록이 배경인 경우, 상기 제1 에러 은닉 처리기를 사용하여 에러 은닉을 수행하여 상기 손실 매크로블록을 단순 블록으로 대체하게 된다(S730).

만일, 상기 손실된 매크로블록이 전경인 경우, 제2 에러 은닉 처리기인 "다중 참조 영상을 이용한 은닉 움직임 추정기"를 도 5에 도시한 것과 같이 소정 개수(예를 들어, 3개) 참조 영상 각각에 대해 사전에 정해진 탐색영역(예를 들어, ±16) 내에서 탐색을 수행하여 가장 작은 정합 에러값,

를 가지는 매크로블록들을 추정한다(S740).

다음으로, 3개의 추정된 매크로블록의 SAD를 비교하여 첫 번째와 두 번째 작은 값을 가지는 SAD를 취하여 SAD값의 차가 소정의 제2 임계값(예를 들어, 100)보다 크면 첫 번째 작은 SAD값을 가지는 매크로블록을 손실된 매크로블록에 대체한 다(S750). 그렇지 않고, 상기 제2 임계값보다 작으면 두 매크로블록을 평균하여 손실된 매크로블록을 대체하게 된다(S760).

이후, 손실된 모든 매크로블록이 은닉되었는지 판단하여(S770), 손실된 모든 매크로블록이 은닉된 것이 아니라면 다음 매크로블록(S780)으로 진행하고, 이후 손실된 모든 매크로블록이 은닉될 때까지 전술한 S720 내지 S760 단계를 반복 수행한다.

결국, 본 발명의 실시예는 배경과 전경을 판단하여 해당하는 시간적 에러 은닉 방법을 선택하여, 손실된 블록을 은닉함으로써, 종래의 시간적 에러 은닉 기술보다 정확하게 손실 블록을 은닉할 수 있고, 또한 움직임이 있는 전경의 경우, 손실 블록의 움직임 보상 에러 은닉을 선택적으로 수행함으로써 보다 효율적인 움직임 보상 은닉을 수행하며, 다중 참조 영상을 사용하는 경우에도 적용할 수 있다.

이상의 설명에서 본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다. 본 발명은 하드웨어적으로 구현할 수 있고, 또한, 소프트웨어적으로 구현할 수 있는 프로그램이 저장된 기록매체를 포함할 수 있다.

전술한 바와 같이, 본 발명에 따르면 전송 채널에서 발생한 비트열의 에러에 의해 영상 복호화 시 손실된 블록을 효율적으로 복호하는 시간적 에러 은닉 방법 중에서, 특히, 영상의 배경(BG)과 전경(FG)을 판단하여 해당하는 시간적 에러 은닉 방법을 선택하여 손실된 블록을 은닉함으로써, 종래의 시간적 에러 은닉 기술보다 정확하게 손실 블록을 은닉할 수 있고, 또한 움직임이 있는 전경의 경우, 손실 블록의 움직임 보상 에러 은닉을 선택적으로 수행함으로써 보다 효율적인 움직임 보상 은닉을 수행할 수 있다.

Claims

에러가 포함된 영상 데이터를 입력받아, 상기 에러가 포함된 손실 블록이 배경(Background) 또는 전경(Foreground) 어느 곳에 속하는지 판단하는 배경/전경 판단기;

상기 배경/전경 판단기의 판단 결과, 상기 손실 블록이 배경에 속하는 경우에 에러 은닉을 수행하는 제1 에러 은닉 처리기; 및

상기 배경/전경 판단기의 판단 결과, 상기 손실 블록이 전경에 속하는 경우에 상기 제1 에러 은닉 처리기와 다른 방식의 에러 은닉을 수행하는 제2 에러 은닉 처리기를 포함하며,

상기 제2 에러 은닉 처리기는,

다중 참조 영상의 블록화소 정보를 이용하여 상기 손실 블록을 복원하는 것을 특징으로 하는 선택적 에러 은닉 장치.
제1항에 있어서,

상기 배경/전경 판단기의 판단 결과에 따라 상기 영상 데이터를 상기 제1 또는 제2 에러 은닉 처리기에 연결해주는 절환부를 추가로 포함하는 선택적 에러 은닉 장치.
제1항에 있어서,

상기 제1 에러 은닉 처리기는 참조 영상의 해당 위치의 블록 데이터를 복사 하여 상기 손실 블록을 복원하는 단순 블록 대체 은닉기인 것을 특징으로 하는 선택적 에러 은닉 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 제2 에러 은닉 처리기는

상기 다중 참조 영상 각각에 대해 최소 정합 에러값을 갖는 블록의 추정을 수행하고, 상기 최소 정합 에러값을 계산하는 은닉 움직임 추정기;

상기 계산된 최소 정합 에러값 중 소정 개수의 최소 정합 에러값 간의 차가 소정 임계값보다 크면 상기 손실 블록을 최소 경계 정합 블록으로 대체하는 최소 경계 정합 블록 대체부; 및

상기 계산된 최소 정합 에러값 간의 차가 상기 소정 임계값보다 작으면 상기 손실 블록을 평균 블록으로 대체하는 평균 블록 대체부

를 포함하는 선택적 에러 은닉 장치.
제4항에 있어서,

상기 계산된 최소 정합 에러값 간의 차와 상기 소정 임계값과 비교한 대소 결과에 따라, 상기 최소 경계 정합 블록 대체부 또는 상기 평균 블록 대체부에 연결해주는 절환부를 추가로 포함하는 선택적 에러 은닉 장치.
a) 에러가 포함된 압축된 영상 데이터를 입력받는 단계;

b) 상기 에러가 있는 소정 크기의 손실 블록의 성질을 결정하는 단계;

c) 상기 결정된 손실 블록의 성질에 따라 미리 구비된 복수의 에러 은닉 방법 중에서 하나를 선택하는 단계; 및

d) 상기 선택된 에러 은닉 방법에 따라 에러 은닉 복호화를 수행하는 단계를 포함하며,

상기 c) 단계는, 상기 결정된 손실 블록의 성질이 배경 또는 전경 중 어느 것으로 결정되었는지에 따라 서로 다른 에러 은닉 방법을 선택하며, 상기 결정된 손실 블록의 성질이 전경인 경우 다중 참조 영상의 블록 화소 정보를 이용하여 상기 손실블록을 복원하는 방법을 선택하는 것을 특징으로 하는 선택적 에러 은닉 방법.
제6항에 있어서,

상기 b) 단계는, 시간적 또는 공간적 주변 블록들 간의 정보를 비교하여 상기 손실 블록의 성질을 결정하는 것을 특징으로 하는 선택적 에러 은닉 방법.
제6항에 있어서,

상기 b) 단계는, 상기 손실블록의 성질을 배경 또는 전경 중 하나로 결정하는 것을 특징으로 하는 선택적 에러 은닉 방법.
삭제
제6항에 있어서,

상기 결정된 손실 블록의 성질이 상기 배경인 경우, 참조 영상의 해당 위치의 블록 데이터를 복사하여 복원하는 방법을 선택하는 것을 특징으로 하는 선택적 에러 은닉 방법.
삭제
제6항, 제7항, 제8항 또는 제10항 중 어느 한 항에 있어서,

상기 다중 참조 영상의 블록화소 정보를 이용하여 상기 손실 블록을 복원할 때, 소정 개수의 참조 영상 각각에 대해 기설정된 탐색 영역 내에서 탐색을 수행하여 가장 작은 정합 에러값을 갖는 블록들을 추정하고, 상기 추정된 블록들에 대한 정합 에러값들과 소정 임계값을 비교한 후, 상기 소정 임계값과의 비교 결과에 따라 최소 경계 정합 블록으로 대체 또는 평균 블록으로 대체하는 것을 특징으로 하는 선택적 에러 은닉 방법.
입력된 비트열을 슬라이스 단위로 복호하는 가변장 복호기;

에러가 발생하지 않은 슬라이스 또는 블록을 역 양자화하는 역 양자화부;

상기 역 양자화된 데이터의 압축을 해제하여 복호화하는 역 변환 복호화부;

상기 에러가 발생한 손실 블록의 손실된 부분을 선택적으로 은닉하는 선택적 에러 은닉기;

다중 참조 영상을 이용한 움직임 보상을 수행하여 손실된 부분이 은닉된 현재 영상을 출력하는 루프 필터;

상기 다중 참조 영상을 이용한 움직임 보상을 수행하는 움직임 보상부;

상기 손실된 부분이 은닉된 현재 영상이 다음의 입력 비트스트림의 다중 참조 영상으로 사용되도록 저장하는 다중 참조 영상 프레임 메모리; 및

상기 움직임 보상부와 상기 역 변환 복호화부의 출력을 합산하여 선택적 에러 은닉기로 입력하는 합산기를 포함하며,

상기 선택적 에러 은닉기는,

에러가 포함된 영상 데이터를 입력받아, 상기 에러가 포함된 손실 블록이 배경 또는 전경 어느 곳에 속하는지 판단하는 배경/전경 판단기;

상기 배경/전경 판단기의 판단 결과, 상기 손실 블록이 배경에 속하는 경우에 에러 은닉을 수행하는 제1 에러 은닉 처리기; 및

상기 배경/전경 판단기의 판단 결과, 상기 손실 블록이 전경에 속하는 경우에 에러 은닉을 수행하며, 다중 참조 영상의 블록화소 정보를 이용하여 상기 손실 블록을 복원하는 제2 에러 은닉 처리기를 포함하는 영상 복호기.
제13항에 있어서,

상기 제1 에러 은닉 처리기는 참조 영상의 해당 위치의 블록 데이터를 복사하여 상기 손실 블록을 복원하는 단순 블록 대체 은닉기인 것을 특징으로 하는 영상 복호기.
제13항 또는 제14항에 있어서, 상기 제2 선택적 에러 은닉기는,

상기 다중 참조 영상의 블록화소 정보 각각에 대해 정합 에러값을 갖는 블록들을 추정하여 최소 정합 에러값들을 계산하며, 소정 임계값과 비교하여 추정된 상관도에 따라 움직임 보상 은닉을 수행하는 은닉 움직임 추정기;

상기 계산된 최소 정합 에러값 중 소정 개수의 최소 정합 에러값 간의 차가 상기 소정 임계값보다 크면 상기 손실 블록을 최소 경계 정합 블록으로 대체하는 최소 경계 정합 블록 대체부; 및

상기 계산된 최소 정합 에러값 간의 차가 상기 소정 임계값보다 작으면 상기 손실 블록을 평균 블록으로 대체하는 평균 블록 대체부

를 포함하는 영상 복호기.
에러가 포함된 영상 데이터를 입력받아, 상기 에러가 포함된 손실 블록이 배경(Background) 또는 전경(Foreground) 어느 곳에 속하는지 판단하는 배경/전경 판단기;

상기 배경/전경 판단기의 판단 결과, 상기 손실 블록이 배경에 속하는 경우에 에러 은닉을 수행하는 제1 에러 은닉 처리기; 및

상기 배경/전경 판단기의 판단 결과, 상기 손실 블록이 전경에 속하는 경우에 에러 은닉을 수행하는 제2 에러 은닉 처리기를 포함하며,

상기 제2 에러 은닉 처리기는,

다중 참조 영상 각각에 대해 최소 정합 에러값을 갖는 블록의 추정을 수행하고, 상기 최소 정합 에러값을 계산하는 은닉 움직임 추정기;

상기 계산된 최소 정합 에러값 중 소정 개수의 최소 정합 에러값 간의 차가 소정 임계값보다 크면 상기 손실 블록을 최소 경계 정합 블록으로 대체하는 최소 경계 정합 블록 대체부; 및

상기 계산된 최소 정합 에러값 간의 차가 상기 소정 임계값보다 작으면 상기 손실 블록을 평균 블록으로 대체하는 평균 블록 대체부

를 포함하는 선택적 에러 은닉 장치.
입력된 비트열을 슬라이스 단위로 복호하는 가변장 복호기;

에러가 발생하지 않은 슬라이스 또는 블록을 역 양자화하는 역 양자화부;

상기 역 양자화된 데이터의 압축을 해제하여 복호화하는 역 변환 복호화부;

상기 에러가 발생한 손실 블록의 손실된 부분을 선택적으로 은닉하는 선택적 에러 은닉기;

다중 참조 영상을 이용한 움직임 보상을 수행하여 손실된 부분이 은닉된 현 재 영상을 출력하는 루프 필터;

상기 다중 참조 영상을 이용한 움직임 보상을 수행하는 움직임 보상부;

상기 손실된 부분이 은닉된 현재 영상이 다음의 입력 비트스트림의 다중 참조 영상으로 사용되도록 저장하는 다중 참조 영상 프레임 메모리; 및

상기 움직임 보상부와 상기 역 변환 복호화부의 출력을 합산하여 선택적 에러 은닉기로 입력하는 합산기를 포함하며,

상기 선택적 에러 은닉기는,

에러가 포함된 영상 데이터를 입력받아, 상기 에러가 포함된 손실 블록이 배경 또는 전경 어느 곳에 속하는지 판단하는 배경/전경 판단기;

상기 배경/전경 판단기의 판단 결과, 상기 손실 블록이 배경에 속하는 경우에 에러 은닉을 수행하는 제1 에러 은닉 처리기; 및

상기 배경/전경 판단기의 판단 결과, 상기 손실 블록이 전경에 속하는 경우에 에러 은닉을 수행하는 제2 에러 은닉 처리기를 포함하며,

상기 제2 에러 은닉 처리기는,

다중 참조 영상의 블록화소 정보 각각에 대해 정합 에러값을 갖는 블록들을 추정하여 최소 정합 에러값들을 계산하며, 소정 임계값과 비교하여 추정된 상관도에 따라 움직임 보상 은닉을 수행하는 은닉 움직임 추정기;

상기 계산된 최소 정합 에러값 중 소정 개수의 최소 정합 에러값 간의 차가 상기 소정 임계값보다 크면 상기 손실 블록을 최소 경계 정합 블록으로 대체하는 최소 경계 정합 블록 대체부; 및

상기 계산된 최소 정합 에러값 간의 차가 상기 소정 임계값보다 작으면 상기 손실 블록을 평균 블록으로 대체하는 평균 블록 대체부를 포함하는 영상 복호기.