KR20000014401A - 오류 은폐 방법 - Google Patents

오류 은폐 방법 Download PDF

Info

Publication number
KR20000014401A
KR20000014401A KR1019980033815A KR19980033815A KR20000014401A KR 20000014401 A KR20000014401 A KR 20000014401A KR 1019980033815 A KR1019980033815 A KR 1019980033815A KR 19980033815 A KR19980033815 A KR 19980033815A KR 20000014401 A KR20000014401 A KR 20000014401A
Authority
KR
South Korea
Prior art keywords
block
motion vector
lost
macro block
error concealment
Prior art date
Application number
KR1019980033815A
Other languages
English (en)
Other versions
KR100301833B1 (ko
Inventor
김응태
Original Assignee
구자홍
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자 주식회사 filed Critical 구자홍
Priority to KR1019980033815A priority Critical patent/KR100301833B1/ko
Priority to US09/377,061 priority patent/US6590934B1/en
Publication of KR20000014401A publication Critical patent/KR20000014401A/ko
Application granted granted Critical
Publication of KR100301833B1 publication Critical patent/KR100301833B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

디지털 텔레비전 또는 디지털 화상 회의 시스템과 같은 동영상 압축 복원 시스템에서의 오류 은폐 방법에 관한 것으로서, 특히 오류가 발생된 프레임의 종류에 따라서, 그리고 가중치를 이용한 새로운 비용 함수와 주위 블록의 움직임 정보 및 화소값을 이용하여 손실된 블록의 오류를 은폐하는데, 이때 영상의 코딩 모드에 맞는 적응적인 움직임 탐색을 통해 적은 계산 량으로도 손실된 블록과 가장 잘 일치할 것으로 예상되는 블록을 이전 프레임으로부터 추정하여 손상된 블록의 정보를 복원한다. 따라서, 복원된 영상의 시각적인 효과의 상승뿐만 아니라, 객관적 화질 평가(PSNR)도 상당히 우수해진다. 또한, 움직임 벡터를 추정함에 있어서도 손실된 블록의 위 블록 및 아래 블록이 갖는 움직임 벡터를 평균 연산하여 움직임 추정 영역을 제한함으로써, 계산 량의 감축을 통해 실시간 보상이 가능하며, 하드웨어의 큰 부담 없이 구현이 가능하다.

Description

오류 은폐 방법
본 발명은 디지털 텔레비전 또는 디지털 화상 회의 시스템과 같은 동영상 압축 복원 시스템에 관한 것으로서, 특히 전송 채널 상에서 발생되는 오류를 보상하는 오류 은폐 방법에 관한 것이다.
최근 디지털 신호 처리 기술의 발전에 힘입어 제한된 대역폭의 전송 채널을 통해 많은 양의 동영상 정보를 압축, 전송하는 방식들이 개발되어 왔다. 그렇지만 전송 채널 상의 오류가 발생하면 복원 영상의 화질이 크게 저하되는 문제가 생긴다. 그리고, 부호화된 영상 정보에 오류가 발생하게 될 경우 그 영향은 사용된 부호화 기법에 따라 여러 가지 다양한 형태로 나타나게 된다.
이때, MPEG, H.261, H.263과 같은 동영상 표준화 규격에서는 영상을 매크로 블록이라 불리는 16×16 크기의 블록들로 나누어 처리하고 있으며, 여러 개의 매크로 블록은 슬라이스 단위로 묶이게 된다. 그리고, 영상 크기에 따라서 한 프레임은 여러 개의 슬라이스를 포함한다.
또한, 동영상 부호화 방식들은 가변 길이 부호화(Variable Length Coding ; VLC) 기법과 움직임 보상(Motion Compensation) 부호화 기법을 이용하게 되는데, 이때 비트열 중의 어느 한 비트라도 오류가 발생하게 되면 연속된 여러 구획의 매크로 블록이 손상되고, 상당한 부분의 영상 정보가 유실된다. 그리고 이러한 손상된 부분의 영향이 이후 계속된 여러 장의 프레임에 걸쳐 계속되므로, 디코더에서 상기와 같은 부호화 과정을 거쳐 전송되어온 비트 스트림을 복호화하게 될 경우 심각한 화질 저하가 발생하게 된다.
이런 문제점을 해결하기 위하여, 정상적으로 복원된 주변의 정보들로부터 잃어버린 정보를 보완하여 원영상에 가깝게 복구하는 오류 은폐 기법이 제안되고 있다.
기존의 오류 은폐 기법들로는 공간 예측 은폐 기법, 시간 예측 은폐 기법, 그리고 부가 정보를 이용한 오류 은폐 기법 등이 있다.
상기 공간 예측 은폐 기법은 손상된 블록에 대해 공간적 영역에서 화질을 보상하는 기법으로, 대표적인 것으로는 프로젝션에 기반한 오류 보상 기법을 들 수 있다. 그러나, 이러한 기법의 경우 손상된 매크로 블록이 영상 크기에 비해서 충분히 작을 경우 우수한 화질 보상 성능을 보장할 수 있으나 수신 단에서 많은 계산량을 요구한다는 단점을 가지고 있다. 또한, 손상된 매크로 블록과 주위 매크로 블록간의 공간적인 상관도(Correlation)가 떨어질 경우 잘못된 결과를 초래하게 된다.
그리고, 상기 시간 예측 은폐 기법은 손실된 영상 블록을 시간적 영역에서 움직임 벡터를 이용하여 보상하는 방법이다. 이 방법은 복잡성이 적고 빠르게 보상할 수 있는 장점이 있으나 보상에 대한 신뢰도가 떨어진다. 특히 연속적인 두 프레임간의 빠른 움직임이나 불규칙한 움직임의 경우는 성능이 안 좋다.
그 밖에도 사용자 데이터부에 에러에 대비한 부가 정보들을 삽입하여 오류 발생시 오류를 은폐하는 방법들이 있다. 그러나 부가 정보의 삽입으로 데이터 량이 증가하는 단점을 가지고 있다.
따라서, 이러한 단점을 보완하는 방식 중 하나로 블록 경계 정합 방법이 제안되었다. 상기 블록 경계 정합 방법은 영상 화소간의 공간적 상관성을 이용하여 손실된 매크로 블록과 가장 잘 일치할 것으로 예상되는 매크로 블록을 이전 프레임으로부터 추정하여 손실된 매크로 블록의 데이터로 대치하는 방법이다.
도 1은 이러한 종래의 블록 경계 정합 방법을 나타낸 것으로서, 손실된 매크로 블록(E1)의 정보를 이전 프레임(PF) 내에서 가장 유사한 매크로 블록(E'1)의 정보로 대치하는데, 이를 위해 현재 프레임(CF) 내에서 손실된 매크로 블록(E1)의 주위 매크로 블록(C1∼C3)의 화소 값을 이용하여 이전 프레임(PF) 내에서 가장 유사한 매크로 블록(E'1)의 정보로 대치한다.
이때, 도 1의 빗금친 부분에 해당하는 화소의 밝기 값들의 자승 오차를 최소로 하는 움직임 벡터를 찾는다. 즉, 모든 가능한 움직임 벡터(Vx,Vy) 중에 가장 작은 자승 오차를 갖는 움직임 벡터(V'x,V'y)를 손상된 매크로 블록의 최적 움직임 벡터로 간주하여 이전 프레임의 매크로 블록(E'1)으로 손실된 매크로 블록(E1)을 대치한다.
그러나, 상기된 블록 경계 정합 방법은 에러의 자승 오차를 계산하는 두 화소의 위치가 정확히 일치하지 않아 복잡한 엣지를 잘 보상할 수 없는 단점이 있다. 또한, 이전 영상에 대해서 손실된 매크로 블록과 같은 위치에서 일정 범위[-16,15]의 탐색을 요구하므로 상대적으로 많은 계산량과 시간을 요구하며, 움직임이 많을 경우 유사한 대체 블록을 찾을 확률이 낮아져 정확한 보상이 어렵다.
또한, 종래의 블록 경계 정합 방법은 손실된 매크로 블록과 경계하는 주위 블록들의 한 라인들의 화소값만을 이용하여 사용한다. 이럴 경우 한 라인의 화소값으로 전체 블록을 대표하므로 정확성도 떨어진다.
특히 기존 방식은 P 프레임에 발생한 에러에 대해서만 에러 보상을 행한다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 채널에서 발생되는 에러에 대해 수신단에서의 비교적 간단한 알고리즘과 적은 계산량으로 화질을 보상할 수 있는 오류 은폐 방법을 제공함에 있다.
도 1은 종래의 블록 경계 정합 방법을 나타낸 도면
도 2는 본 발명에 따른 오류 은폐 방법중 블록 경계 정합 방법을 나타낸 도면
도 3a는 삼각형 형태의 가중치 함수를 나타낸 그래프
도 3b는 가우시안 형태의 가중치 함수를 나타낸 그래프
도 4는 도 2의 P 프레임에서 움직임 벡터의 종류 및 탐색 영역을 보여주는 도면
도 5는 도 2의 B 프레임에서 움직임 벡터의 종류 및 탐색 영역을 보여주는 도면
상기와 같은 목적을 달성하기 위한 본 발명에 따른 오류 은폐 방법은, 가중치 함수를 적용하여 이전 프레임으로부터 탐색 영역 내의 모든 가능한 움직임 벡터(Vx,Vy)중에 가장 작은 오차를 갖는 최적의 움직임 벡터(V* x,V* y)를 추정한 후 추정된 움직임 벡터를 이용하여 얻은 이전 프레임 내의 블록으로 손실된 블록을 대치하는 것을 특징으로 한다.
상기 가중치 함수는 손실된 블록의 경계에 가까이 인접할수록 더 많은 가중 요소를 두어 적용하는 것을 특징으로 한다.
상기 탐색 영역의 범위는 프레임 모드와 손상된 블록의 위, 아래 블록의 움직임 벡터에 따라 추정하고자 하는 움직임 벡터의 초기 값을 정하여 결정하는 것을 특징으로 한다. 즉, 동영상 압축/복원 기술에서 영상의 종류별로 압축/복원 기술이 다양하게 적용되는데, P 프레임 모드와 B 프레임 모드들이 오류를 포함한 경우를 가정하여 사용되는 여러 종류의 움직임 벡터들을 여러 상황에 맞게 적응적으로 이용한다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 명백해질 것이다.
이하, 본 발명의 바람직한 실시 예를 첨부 도면을 참조하여 상세히 설명한다.
일반적으로 슬라이스 단위에서 오류가 발생하면 여러 개의 매크로 블록들이 연속적으로 손상된다. 따라서 이용 가능한 정보는 도 1에서처럼 손상된 매크로 블록(E1) 주위에 있는 매크로 블록 즉, 위(C1), 옆(C2), 아래(C3) 근접한 매크로 블록들의 정보이다.
도 2는 본 발명에 따른 블록 경계 정합 방법을 나타낸 것으로서, 빗금친 부분에 해당하는 화소들의 서로 같은 위치의 화소값을 이용한다.
그리고, 가중치 함수를 갖는 새로운 비용 함수를 적용하여 이전 프레임으로부터 탐색 영역(S)내의 모든 가능한 움직임 벡터(Vx,Vy)중에 가장 작은 오차를 갖는 최적의 움직임 벡터를 추정한 후 그 벡터를 이용하여 얻은 이전 프레임 내의 매크로 블록으로 손실된 매크로 블록을 대치한다.
이때, 최적의 움직임 벡터를 추정하기 위한 식은 다음의 수학식 1과 같다.
상기 수학식 1에서 (x1,x2,x3)은 손실된 매크로 블록과 인접한 위, 옆, 아래 매크로 블록(C1,C2,C3)의 화소들의 밝기 값을 나타내며, (x'1, x'2, x'3)은 이에 상응하는 이전 프레임 내의 화소들의 밝기 값을 나타낸다. 그리고, (i,j)는 영상에서 손실된 매크로 블록의 주소를 나타내는 행과 열을 나타내고, N은 매크로 블록의 크기를 나타낸다.
또한, W(m)는 가중치 함수이고, W는 비교에 사용된 화소들의 라인 수를 나타낸다. 가중치의 경우 손실된 매크로 블록의 경계에 가까이 인접할수록 공간적인 상관성이 더욱 크므로 더 많은 가중 요소를 두어 이를 반영한다. 예를 들면, W가 2인 경우, 즉 손실된 매크로 블록과 인접한 매크로 블록들(C1,C2,C3)의 두 라인을 사용하는 경우, W(1)=0.7, W(2)=0.3을 사용 가능하다. 이때, 사용되는 가중치 함수의 형태는 도 3a와 같이 삼각형 함수나 도 3b와 같이 가우시안 함수등 다양한 형태로 구현 가능하다.
그리고, 종래의 블록 경계 정합 방식이 모든 가능한 탐색 영역을 검색함으로써, 많은 계산량을 요구하는 단점을 보완하기 위해 손상된 매크로 블록의 위, 아래 매크로 블록의 움직임 벡터를 이용하여 탐색 영역의 범위를 결정하고 추정하고자 하는 움직임 벡터의 초기 값으로 사용한다.
이를 위해 손실된 매크로 블록(E1)의 위(=톱) 매크로 블록(C1)에 해당하는 움직임 벡터들을 저장하기 위한 메모리를 가진다. 그리고, 오류가 생겨 매크로 블록들이 손실될 경우 손실된 매크로 블록(E1)의 아래(=보텀) 매크로 블록(C3)이 디코딩되는 순간부터 동작하게 된다. 그러므로 메모리의 추가 없이 아래 매크로 블록(C3)에 해당하는 움직임 벡터들을 이용하게 된다.
이때, MPEG과 같은 동영상 압축 부호화 방식에서는 P 프레임과 B 프레임 모드에 따라 다양한 움직임 벡터들을 이용하고 있다. 이를 이용하기 위한 방법을 설명하면 다음과 같다.
P 프레임 모드의 경우 위, 아래 매크로 블록들은 순방향 움직임 벡터만을 갖고 있거나 아니면 인트라 모드로써 움직임 벡터를 가지지 않는다. 이때의 가능한 움직임 벡터의 범위를 아래의 표 1과 같이 제안하고 상기 수학식 1로부터 최적의 움직임 벡터를 찾아 이를 이용하여 손실된 매크로 블록을 보상한다.
P 프레임에서 움직임 벡터의 탐색 범위
톱 매크로 블록(C1)
바텀 매크로 블록(C3) 모드 전방향 움직임 벡터(V1x,V1y) 인트라
전방향 움직임 벡터(V3x,V3y) V3x-SR ≤ Vx≤ V3x+SR V3y-SR ≤ Vy≤ V3y+SR
인트라 V1x-SR ≤ Vx≤ V1x+SR V1y-SR ≤ Vy≤ V1y+SR -SR ≤ Vx≤ SR -SR ≤ Vy≤ SR
도 4에 도시된 바와 같이, P 프레임 내에 손실된 매크로 블록(E1)의 톱 매크로 블록(C1)과 보텀 매크로 블록(C3)에 움직임 벡터 (V1x,V1y)와 (V3x,V3y)가 모두 존재한다면, 즉 손실된 매크로 블록(E1)의 위, 아래(C1,C3) 매크로 블록이 모두 순방향 움직임 벡터를 가지고 있다면 두 벡터의 평균인 벡터( )를 초기 위치로 정해서 ±SR 탐색 범위 내에서 수학식 1을 최소화하는 최적의 움직임 벡터를 찾는다( , ).
이때, SR을 2정도로 정하면 탐색 영역은 5×5가 된다. 즉, SR을 15정도로 정하여 손실된 매크로 블록과 같은 위치에서 움직임 벡터를 구한 종래의 블록 경계 정합 방법에 비해 상대적으로 계산량이 매우 적음을 알 수 있다.
한편, 톱 매크로 블록(C1) 또는 보텀 매크로 블록(C3)중 어느 하나가 인트라 모드인 경우, 움직임 벡터를 가진 매크로 블록의 정보(V1x,V1y또는 V3x,V3y)를 이용하여 초기 탐색 위치를 정한 후 주변을 탐색한다( V1x-SR ≤ Vx≤ V1x+SR , V1y-SR ≤ Vy≤ V1y+SR 또는 V3x-SR ≤ Vx≤ V3x+SR , V3y-SR ≤ Vy≤ V3y+SR ).
마지막으로 위,아래 매크로 블록들(C1,C2)이 모두 인트라 모드인 경우는 움직임이 많은 경우이므로 탐색 범위를 넓게 예컨대, ±SR 탐색 범위 내에서 손실된 블록 위치의 주변을 탐색한다( -SR ≤ Vx≤ SR , -SR ≤ Vy≤ SR ).
그리고, B 프레임의 부호화에 사용되는 움직임 벡터는 도 5에 도시된 바와 같이 순방향(Forward) 움직임 벡터, 역방향(Backward) 움직임 벡터, 양방향 움직임 벡터가 존재하게 되는바, 이를 이용하여 시간적 중복성을 줄이며, P 프레임에서와 같이 이전 프레임에서 참고가 되는 매크로 블록의 값이 현재의 매크로 블록 값과 너무 차이가 나서 움직임 벡터를 이용하지 못할 경우에는 인트라 코딩 모드를 이용하여 부호화 된다.
또한, B 프레임의 경우에 있어서, 양방향 움직임 벡터를 갖는 보간 모드(Interpolation mode)인 경우 톱 매크로 블록(C1)은 오로지 순방향 움직임 벡터만을 저장한다. 그러므로, 오류 보상시 B 프레임의 움직임 벡터를 저장하기 위한 추가적인 메모리의 증가가 필요 없다.
따라서, 만약 손실 매크로 블록이 B 프레임에서 발생하였을 경우에는 손실된 매크로 블록의 최적 움직임 벡터를 추정하기 위한 탐색 범위는 상기 P 프레임보다 다양하게 이루어지게 되는데, 이를 아래의 표 2와 같이 나타내었다.
B 프레임에서 움직임 벡터의 탐색 범위
톱 매크로 블록(C1)
보텀 매크로 블록 (C3) 모드 전방향(F1) 후방향(B1) 보간(F1,B1) 인트라
전방향(F3) F3±SR
후방향(B3) B3±SR
보간(F3,B3)
인트라 F1±SR B1±SR F1±SR ±SR
예를 들어, 상기 표 2에서 F1은 톱 매크로 블록(C1)이 순방향 움직임 벡터를 갖고 있는 경우로서, FV1x, FV1y를 의미한다. 나머지도 동일하게 적용된다.
즉, 도 5에 도시된 바와 같이, B 프레임 내에 손실된 매크로 블록(E1)의 톱 매크로 블록(C1)과 보텀 매크로 블록(C3)에 움직임 벡터가 모두 존재한다면,
먼저, 톱 매크로 블록(C1)과 보텀 매크로 블록(C3)에 순방향 움직임 벡터(F1 또는 F3)와 역방향 움직임 벡터(B1 또는 B3)가 각각 하나씩 존재하게 될 경우에 이들 값의 평균을 표 2에서와 같이 손실된 매크로 블록(E1)의 초기 움직임 벡터의 위치로 설정하며, 상기 수학식 1을 이용하여 최적의 움직임 벡터를 추정하게 된다. 그리고, 추정된 움직임 벡터에 해당하는 이전 프레임 내의 매크로 블록으로 손실된 매크로 블록(E1)을 대치한다.
이때, 보텀 매크로 블록(C3)이 순방향 움직임 벡터와 역방향 움직임 벡터가 모두 있는 보간 모드(F3,B3)이고, 톱 매크로 블록(C1)이 순방향 또는 역방향 움직임 벡터 중 어느 하나만을 갖는 경우에는 순방향 또는 역방향 움직임 벡터 값에 따라서 그 평균을 구하여 손실된 매크로 블록(E1)의 움직임 벡터를 추정하게 된다.
예를 들어, 보텀 매크로 블록(C3)이 보간 모드로 F3과 B3을 갖고, 톱 매크로 블록이 역방향 움직임 벡터(B1)를 갖는다고 할 때, 이때의 손실된 매크로 블록(E1)의 초기 움직임 벡터는 평균값( )으로 정한다. 이는 같은 프레임에 해당하는 움직임 벡터 값을 취하게 함으로서, 가장 근접한 움직임 정보를 이용하고자 하는 것이다.
그러나, 톱 매크로 블록(C1)이 보간 모드(F1,B1)인 경우는 앞에서 언급한 바와 같이 오로지 순방향 움직임 벡터만을 저장하므로 순방향 움직임 벡터만을 갖는 모드와 똑같이 동작한다. 그러므로, 톱 매크로 블록(C1) 및 보텀 매크로 블록(C3) 모두 보간 모드인 경우 순방향 움직임 벡터값의 평균( )을 손실된 매크로 블록(E1)의 초기 움직임 벡터로 설정하여 표 2의 탐색 영역 안에서 적절한 가중치를 갖는 수학식 1을 최소화하는 최적의 움직임 벡터를 추정하게 된다.
이와 같이 추정한 최적의 움직임 벡터를 이용하여 해당 프레임의 매크로 블록(F 또는 B)을 찾아내고, 이들 매크로 블록(F 또는 B)의 정보를 손실된 매크로 블록(E1)의 정보로 복원하게 되는 것이다.
그리고, 상기 톱 매크로 블록(C1) 및 보텀 매크로 블록(C3) 모두 인트라 모드일 경우, 손실된 매크로 블록과 같은 위치에 있는 이전 프레임의 매크로 블록에서부터 최적의 움직임 벡터를 추정하여 오류를 복원하게 된다.
한편, 본 발명은 일반화된(Generalized) 오류 은폐 기법으로 추가적인 하드웨어의 부담 없이 몇 개의 파라미터를 변경하므로 기존의 시간 예측 오류 은폐 기법 및 움직임 벡터를 이용한 오류 은폐 기법을 대체할 수 있다.
또한, 본 발명은 디지털 TV나 비디오 화상 회의 등의 응용 분야에 적용 가능한 기술로서 채널 오류에 의한 수신 화질의 개선 및 타 회사의 디지털 TV와의 기술 경쟁력 강화 등의 효과를 얻을 수 있다.
이상에서와 같이 본 발명에 따른 오류 은폐 방법에 의하면, 오류가 발생된 프레임의 종류와 가중치를 이용한 새로운 비용 함수와 주위 블록의 움직임 정보 및 화소값을 이용하여 전송 채널상에서 발생되는 오류를 보상하는데, 이때 영상의 코딩 모드에 맞는 적응적인 움직임 탐색을 통해 적은 계산량으로도 손실된 블록과 가장 잘 일치할 것으로 예상되는 블록을 이전 프레임으로부터 추정하여 손상된 블록의 정보를 복원한다. 그리고, 다양한 가중치 함수들이 적용 가능하며, 블록 경계 정합 계산시 서로 같은 위치의 화소값들을 사용할 수 있을 뿐만 아니라 사용 가능한 화소들의 수를 가중치를 두어 조절함으로써 정확성을 높인다.따라서, 복원된 영상의 시각적인 효과의 상승뿐만 아니라, 객관적 화질 평가(PSNR ; Peak-to-peak Signal to Noise Ratio)도 상당히 우수해진다. 또한, 움직임 벡터를 추정함에 있어서도 손실된 블록의 위 블록 및 아래 블록이 갖는 움직임 벡터를 평균 연산하여 움직임 추정 영역을 제한함으로써, 계산량의 감축을 통해 실시간 보상이 가능하며, 하드웨어의 큰 부담 없이 구현이 가능하다.

Claims (11)

  1. 손실된 블록을 복원하는 오류 은폐 방법에 있어서,
    가중치 함수를 적용하여 이전 프레임으로부터 탐색 영역 내의 모든 가능한 움직임 벡터(Vx,Vy)중에 가장 작은 오차를 갖는 최적의 움직임 벡터(V* x,V* y)를 추정한 후 추정된 움직임 벡터를 이용하여 얻은 이전 프레임 내의 블록으로 손실된 블록을 대치하는 것을 특징으로 하는 오류 은폐 방법.
  2. 제 1 항에 있어서, 상기 최적의 움직임 벡터(V* x,V* y)는
    손실된 블록과 경계하는 주위 블록들의 화소의 밝기와 이전 프레임의 대체 블록과 경계하는 주위 블록들의 화소의 밝기 값들의 자승 오차가 최소가 되는 움직임 벡터인 것을 특징으로 하는 오류 은폐 방법.
  3. 제 1 항에 있어서, 상기 최적의 움직임 벡터(V* x,V* y)는 다음의 식을 적용하여 추정하는 것을 특징으로 하는 오류 은폐 방법.
    여기서, (x1,x2,x3)는 손실된 블록과 인접한 위, 옆, 아래 블록의 화소들의 밝기 값을 나타내고, (x'1, x'2, x'3)은 이에 상응하는 이전 프레임 내의 화소들의 밝기 값을 나타내며, (i,j)는 영상에서 손실된 매크로 블록의 주소를 나타내는 행과 열을 나타내고, N은 매크로 블록의 크기를 나타냄. 그리고, W(m)는 가중치 함수이고, W는 비교에 사용된 화소들의 라인 수를 나타냄.
  4. 제 3 항에 있어서, 상기 가중치 함수는 손실된 블록의 경계에 가까이 인접할수록 더 많은 가중 요소를 두어 적용하는 것을 특징으로 하는 오류 은폐 방법.
  5. 제 1 항에 있어서,
    프레임 모드와 손상된 블록의 위, 아래 블록의 움직임 벡터에 따라 추정하고자 하는 움직임 벡터의 초기 값을 정하여 탐색 영역의 범위를 결정하는 것을 특징으로 하는 오류 은폐 방법.
  6. 제 5 항에 있어서,
    손실된 블록의 위 블록에 해당하는 움직임 벡터를 저장하기 위한 메모리를 구비하여, 손실된 블록의 아래 블록이 디코딩되는 순간부터 상기 손실된 블록의 보상 과정을 수행하는 것을 특징으로 하는 오류 은폐 방법.
  7. 제 5 항에 있어서, P 프레임 모드는
    손실된 블록의 위 블록과 아래 블록중 어느 하나 이상에 움직임 벡터가 존재할 경우 상기 움직임 벡터의 평균인 움직임 벡터를 초기 탐색 위치로 정해서 탐색 영역의 범위를 결정하고 최적의 움직임 벡터를 찾는 것을 특징으로 하는 오류 은폐 방법.
  8. 제 5 항에 있어서, P 프레임 모드는
    손실된 블록의 위 블록과 아래 블록에 움직임 벡터가 모두 존재하지 않는다면 손실된 블록과 같은 위치에 있는 이전 프레임의 블록에서부터 최적의 움직임 벡터를 찾는 것을 특징으로 하는 오류 은폐 방법.
  9. 제 5 항에 있어서, B 프레임 모드는
    손실된 블록의 위 블록에 양방향 움직임 벡터가 존재한다면 순방향 움직임 벡터만을 저장하는 것을 특징으로 하는 오류 은폐 방법.
  10. 제 5 항에 있어서, B 프레임 모드는
    손실된 블록의 위 블록과 아래 블록 중 어느 하나 이상에 순방향 또는 역방향 움직임 벡터가 존재할 경우 상기 움직임 벡터의 평균인 움직임 벡터를 초기 탐색 위치로 정해서 탐색 영역의 범위를 결정하고 최적의 움직임 벡터를 찾는 것을 특징으로 하는 오류 은폐 방법.
  11. 제 5 항에 있어서, B 프레임 모드는
    손실된 블록의 위 블록과 아래 블록에 움직임 벡터가 모두 존재하지 않는다면 손실된 블록과 같은 위치에 있는 이전 프레임의 블록에서부터 최적의 움직임 벡터를 찾는 것을 특징으로 하는 오류 은폐 방법.
KR1019980033815A 1998-08-20 1998-08-20 오류은폐방법 KR100301833B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1019980033815A KR100301833B1 (ko) 1998-08-20 1998-08-20 오류은폐방법
US09/377,061 US6590934B1 (en) 1998-08-20 1999-08-19 Error concealment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980033815A KR100301833B1 (ko) 1998-08-20 1998-08-20 오류은폐방법

Publications (2)

Publication Number Publication Date
KR20000014401A true KR20000014401A (ko) 2000-03-15
KR100301833B1 KR100301833B1 (ko) 2001-09-06

Family

ID=19547757

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980033815A KR100301833B1 (ko) 1998-08-20 1998-08-20 오류은폐방법

Country Status (2)

Country Link
US (1) US6590934B1 (ko)
KR (1) KR100301833B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030080136A (ko) * 2002-04-04 2003-10-11 엘지전자 주식회사 전화통신망에서 동영상 재생 시의 오류 은닉 방법
KR20040019153A (ko) * 2002-08-26 2004-03-05 엘지전자 주식회사 동영상 디코더의 에러 은닉 방법
US6905103B2 (en) 2002-09-13 2005-06-14 Samsung Electronics Co., Ltd. Display apparatus
KR101104975B1 (ko) * 2003-08-26 2012-01-16 톰슨 라이센싱 영상 디스플레이 벽 장착 장치

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9928022D0 (en) * 1999-11-26 2000-01-26 British Telecomm Video coding and decording
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
KR100548316B1 (ko) * 2002-11-08 2006-02-02 엘지전자 주식회사 동영상 에러 보정 방법 및 장치
KR100640498B1 (ko) * 2003-09-06 2006-10-30 삼성전자주식회사 프레임의 오류 은닉 장치 및 방법
KR100585733B1 (ko) * 2003-10-16 2006-06-07 엘지전자 주식회사 영상 처리 시스템의 손실 블록 특성 자동 판단 방법 및 장치
US7587091B2 (en) * 2004-10-29 2009-09-08 Intel Corporation De-interlacing using decoder parameters
US7620241B2 (en) * 2004-11-30 2009-11-17 Hewlett-Packard Development Company, L.P. Artifact reduction in a digital video
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
US7885335B2 (en) 2005-09-16 2011-02-08 Sont Corporation Variable shape motion estimation in video sequence
US8107748B2 (en) 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
US7894522B2 (en) 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US7894527B2 (en) 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
US7596243B2 (en) 2005-09-16 2009-09-29 Sony Corporation Extracting a moving object boundary
US7620108B2 (en) * 2005-09-16 2009-11-17 Sony Corporation Integrated spatial-temporal prediction
US8059719B2 (en) 2005-09-16 2011-11-15 Sony Corporation Adaptive area of influence filter
US8165205B2 (en) 2005-09-16 2012-04-24 Sony Corporation Natural shaped regions for motion compensation
US8005308B2 (en) 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
US8238442B2 (en) * 2006-08-25 2012-08-07 Sony Computer Entertainment Inc. Methods and apparatus for concealing corrupted blocks of video data
KR100827091B1 (ko) * 2006-09-29 2008-05-02 삼성전자주식회사 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치
US20080285651A1 (en) * 2007-05-17 2008-11-20 The Hong Kong University Of Science And Technology Spatio-temporal boundary matching algorithm for temporal error concealment
TWI401972B (zh) * 2009-06-23 2013-07-11 Acer Inc 時間性錯誤隱藏方法
US8976873B2 (en) * 2010-11-24 2015-03-10 Stmicroelectronics S.R.L. Apparatus and method for performing error concealment of inter-coded video frames

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737022A (en) * 1993-02-26 1998-04-07 Kabushiki Kaisha Toshiba Motion picture error concealment using simplified motion compensation
JP4294743B2 (ja) * 1996-12-13 2009-07-15 富士通株式会社 動きベクトル探索装置および動画像符号化装置
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6130912A (en) * 1998-06-09 2000-10-10 Sony Electronics, Inc. Hierarchical motion estimation process and system using block-matching and integral projection

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030080136A (ko) * 2002-04-04 2003-10-11 엘지전자 주식회사 전화통신망에서 동영상 재생 시의 오류 은닉 방법
KR20040019153A (ko) * 2002-08-26 2004-03-05 엘지전자 주식회사 동영상 디코더의 에러 은닉 방법
US6905103B2 (en) 2002-09-13 2005-06-14 Samsung Electronics Co., Ltd. Display apparatus
KR101104975B1 (ko) * 2003-08-26 2012-01-16 톰슨 라이센싱 영상 디스플레이 벽 장착 장치

Also Published As

Publication number Publication date
KR100301833B1 (ko) 2001-09-06
US6590934B1 (en) 2003-07-08

Similar Documents

Publication Publication Date Title
KR100301833B1 (ko) 오류은폐방법
KR100587280B1 (ko) 오류 은폐방법
US5724369A (en) Method and device for concealment and containment of errors in a macroblock-based video codec
KR101126055B1 (ko) 디지털 비디오에 대한 에러 은닉을 수행하는 방법
US8116383B2 (en) Efficient adaptive mode selection technique for H.264/AVC-coded video delivery in burst-packet-loss networks
US20030012286A1 (en) Method and device for suspecting errors and recovering macroblock data in video coding
KR100621005B1 (ko) 영상 오류 복구장치 및 방법
KR100556450B1 (ko) 움직임 벡터 추정에 의한 오류 복원 방법
US8199817B2 (en) Method for error concealment in decoding of moving picture and decoding apparatus using the same
JP3519441B2 (ja) 動画像伝送装置
EP0632657B1 (en) Method of prediction of a video image
US20050138532A1 (en) Apparatus and method for concealing errors in a frame
US7394855B2 (en) Error concealing decoding method of intra-frames of compressed videos
US7324698B2 (en) Error resilient encoding method for inter-frames of compressed videos
US20050013496A1 (en) Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder
Chen et al. Spatio-temporal boundary matching algorithm for temporal error concealment
JP4624308B2 (ja) 動画像復号装置及び動画像復号方法
KR100711204B1 (ko) 선택적 에러 은닉 장치 및 방법
WO2001099437A2 (en) Method of performing motion estimation
Chen Refined boundary matching algorithm for temporal error concealment
Patel et al. Hybrid spatio-temporal error concealment technique for image/video transmission
KR100388802B1 (ko) 오류은폐장치및방법
Chen et al. A joint motion-image inpainting method for error concealment in video coding
JP2007013973A (ja) エラー隠匿方法及び装置
Tang Combined and iterative form of spatial and temporal error concealment for video signals

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130514

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20140523

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20150522

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20160524

Year of fee payment: 16

LAPS Lapse due to unpaid annual fee