KR0125581B1

KR0125581B1 - 디지탈 영상신호의 에러수정 시스템

Info

Publication number: KR0125581B1
Application number: KR1019910012662A
Authority: KR
Inventors: 이춘
Original assignee: 구자홍; 엘지전자주식회사
Priority date: 1991-07-24
Filing date: 1991-07-24
Publication date: 1998-07-01
Also published as: US5410553A; KR930003751A

Abstract

본 발명은 디지털 영상신호의 에러수정 시스템에 관한 것으로, 디지털 영상을 MPEG방식으로 압축하여 전송할 때 채널에서 생기는 정정불가능한 에러를 MPEG방식에서의 인트라 프레임(Intra Frame), 바이디렉셔널(Bidirectional Frame) 및 프리딕티브(Predictive Frame)들중 다른 프레임들로 에러를 전파하지 않는 경향이 있는 바이디렉셔널 프레임을 이용하여 수정을 행하기 위하여 에러정정부(70)에서 출력되는 제어신호(CS₁)와 복호부(90)에서 출력되는 모드제어신호(CS₂)들을 조합하여 손상된 데이터의 종류에 따라서 각기 다른 방법들로 수정을 행하도록 복호부(90)를 제어하는 에러수정 제어부(80)를 구비하여 된 것으로 MPEG영상 압축방식을 이용하는 모든 디지털 영상시스템에 적용될 수 있다.

Description

디지털 영상신호의 에러수정 시스템

제 1 도는 종래의 에러수정 시스템의 블록도,

제 2 도는 제 1 도에 도시한 시스템을 설명하기 위한 도,

제 3 도는 제 1 도에 도시한 시스템의 보다 상세한 블록도,

제 4 도는 본발명에 따른 에러수정 시스템의 블록도,

제 5 도는 MPEG 에서의 B프레임의 복원시에 사용되는 벡터들을 나타낸 도,

제 6 도는 본발명의 에러수정 시스템의 동작을 설명하기 위한 흐름도,

제 7 도는 제 4 도에 도시한 에러수정 제어부의 구체회로도이다.

* 도면의 주요부분에 대한 부호의 설명

1, 60 : 디지털 정보매체2 : 에러정정부

3 : 에러수정부3a :시간적 에러수정부

3b : 공간적 에러수정부4 : 재생디지탈 TV신호의 출력단

27∼34 : 감산기35∼42, 47, 48: PROM, Eo, EoD, S1∼S8, S1D∼S8D : 화소

70 : 에러정정부80 : 에러수정제어부

90 : 복호부CS1₁∼CS₃: 제어신호

본 발명은 디지털 영상신호의 에러수정 시스템에 관한 것으로 특히, 디지털 정보저장 매체를 위한 기록, 재생방식인 MPEG(Moving Picture Experts Group)방식의 디지털 영상신호에서 발생하는 정정불가능한 에러를 수정하기 위한 디지털 영상신호의 에러수정 시스템에 관한 것이다.

일반적으로 디지털 영상등을 압축하여 어떤 채널로 전송시킬 때 송신단에서 에러가 발생될 경우 수신단에서 원영상을 복원시킬 때 이러한 에러로 인하여 영상이 손상된다.

따라서 이와같은 에러를 정정하기 위해 전송하는 영상에 에러정정코드를 부가하여 송신하고 수신단에서 그 에러정정코드에 맞는 복호를 수행하여 원래의 영상을 복원하게 되는데, 이와같이 수신단에 에러정정코드를 부가하여 에러를 정정하는 방식은 원래부터 리던던트(Redundant)한 에러정정코드를 부가시키는데 숫적으로 제한이 따르는 등 일정한 한계가 있었다.

따라서 이런 한계로 인하여 어떤 에러가 에러복호기에서 정정불가능이라고 판별될 경우에는 에러에 대한 추가적인 수정이 수행되어야 한다.

이러한 에러의 수정에 대한 종래의 방법은 한 화소를 보정할 때에는 동일 프레임내의 주변화소들을 이용하거나 그 이전 프레임의 주변화소들을 이용하여 보간(Interpolation) 시키는데, 이들중 하나의 방법으로 일본 SONY사에서 영국에 특허출원한 영국 특허공개 NO. 2163619A의 디지탈 TV신호에 있어서의 에러은폐시스템이 제안되어 있다.

제 1 도는 전술한 디지탈 TV신호에 있어서의 에러은폐시스템의 시스템 블록도를 나타낸다.

먼저, 디지털 VTR에서 출력되는 신호에 대해서 에러정정부(2)에서 1차로 에러정정을 수행하고 에러의 정정이 불가능하다고 판별된 화소에 대해서 시간적 에러(Temporal Error) 수정(3a)을 행하거나 공간적 에러(Spatial Error) 수행(3b)을 행하게 된다.

제 2 도는 제 1 도에 도시한 시스템을 설명하기 위한 도로서, TV 영상에서의 연속되는 2개의 프레임의 대응되는 위치에서의 샘플배열을 나타내고 있다.

여기에서, S₁∼S₈및 Eo는 현재 코딩되는 프레임의 9개의 화소들을 나타내며, S_1D∼S_8D, Eod는 이전 프레임에서의 S₁∼S₈및 Eo에 대응되는 동위치의 화소들을 각각 나타낸다.

먼저, 시간적 에러수정이 합당한가를 판별하기 위하여 현재 프레임의 화소들(S1∼S8)에서 이전 프레임의 화소들(S_1D∼S_8D)을 뺀다.

제 3 도는 제 1 도에 도시한 시스템의 상세블럭도로서 참조번호 27에서 34까지의 감산기가 이 기능을 담당한다. 다음에 감산기(27 내지 34)의 차신호는 참조번호 35에서 42까지의 PROM(Programmable Read Only Memory)에 입력이 되고 PROM(35 내지 42)에서는 이러한 감산기(27 내지 34)로부터 입력된 신호를 스케일링(Scaling)하는 기능을 담당한다.

이때 PROM(35 내지 42)에서는 참조번호 44로 도시된 OR 게이트에서 나오는 에러플래그(Error Flag)를 참조하게 되는데, 이 에러플래그에서는 화소 S₁이나 S_1D중 어느 한 화소에 에러가 존재할 때에는 1이 된다.

에러플래그가 1이면 PROM(35)은 0를 출력하게 되고, 이하 다른 PROM(36 내지 42)들도 이와 같이 동일한 방법으로 동작하게 된다.

이어서, PROM(35 내지 42)들의 출력은 가산기(46)로 입력되고 이후 PROM(47)으로 입력되어 스케일링된다.

다음, PROM(47)의 출력은 PROM(48)에 입력되는데 이때 한 프레임 지연된 화소(EoD)로 대치시킬를 결정한다.

이때, 시간적 에러수정을 하기 위한 3가지 조건은 첫째로 에러플래그가 현재 화소(Eo)가 에러라는 것을 알려주어야 하고 두 번째로 한 프레임 지연된 화소(EoD)가 에러가 없어야 하고 세 번째로 PROM(47)의 출력이 정해진 한계를 초과하지 말아야 한다. 그러나 전술한 바와 같은 에러수정 시스템은 에러의 수정을 각각의 화소를 단위로 하여 수행하기 때문에 즉, PCM(Pulse Code MOdulation)이나 DPCM(Differential Pulse Code Modulation)과 같은 영상 압축방식을 사용했을 때에만 채택가능하기 때문에 변환부호화(Transform Coding) 방식과 같은 블록 코딩(Block Coding)방식을 사용하면 블록(예를들어, 8*8의 화소의 집합) 단위로 에러가 발생하기 때문에 화소단위로 에러수정을 하는 것은 의미가 없게 된다.

또한, 전술한 바와 같은 에러수정 시스템은 기존의 코딩방식에서 사용되는 회로를 이용하지 않고 제 3 도에 도시한 바와 같이 PROM을 비롯하여 많은 소자들을 추가로 사용해야 하는 단점이 있었다.

따라서, 본발명은 전술한 종래의 에러수정 시스템의 문제점을 감안하여 다수의 프레임을 갖는 입력영상중에서 전후프레임의 움직임백터에 의해서 형성되는 프레임(B프레임)인지를 판별하고 움직임 백터의수 및 에러유무에 따라 지시된 블록으로 대체하거나 보간하고, 또한 기존의 에러수정방식에서 사용되는 회로들을 이용하여 에러를 수정할 수 있는 에러수정시스템을 제공하는데 그 목적이 있다.

상기한 목적을 갖는 본발명의 에러수정 시스템은 디지털 저장매체로부터 다수의 프레임을 갖는 입력영상의 각 프레임을 모드판별을 통하여 non인트라 모드에 해당되는 프레임을 검출하는 제1단계와, 상기검출된 프레임이 순방향/역방향 백터를 모두 사용하는지를 판별하는 제2단계와, 상기 판별된 두 개의 벡터성분들의 복원이 모두 불가능하면 보간을 행하는 제3단계와, 상기2단계에서 판별된 백터성분이 적어도 하나이상 복원가능한 벡터성분이면 해당방향의 벡터가 가리키는 블록으로 대치시키는 제4단계로 이루어진 것이다.

또한 상기한 non- 인트라모드에 해당하는 프레임은 MPEG영상신호 중에서 B프레임인 것이다.

제 4 도는 전술한 본발명의 에러수정을 시스템을 개략적으로 나타낸 블록도로서 이하에 제 5 도 내지 제 7도를 참조하여 본발명의 에러수정 시스템의 작용효과를 상세하게 설명한다.

MPEG가 인한 디지털 정보매체에서는 모션보상(Motion Compensation)방식, 이산 코사인 변화(Dicrete Cosine Transform ; 이하 DCT라고 한다.) 방식과 같은 여러 가지 코딩방식들이 사용되고 있는데 DCT방식과 같은 변화부호화 방식에서는 화소들을 블록단위로 코딩하기 때문에 블록단위로 발생하는 에러를 고려해야 한다.

또한 모선 보상을 행하기 때문에 영상 데이터 뿐만 아니라 모션 벡터(Motion Vector)에서의 에러도 고려해야 한다.

따라서, 에러를 수정할 때에는 어떤 정보가 손상되었는가에 따라서 에러수정을 방법을 달리 해야한다.

먼저, 제 4 도에 도시한 바와같이 디지털 정보매체(70)에서 보내진 신호에는 에러수정 코드가 부가되는데 이 코드에 따라서 에러정정부(70)에서 1차적으로 에러의 정정을 수행하여 복호부(90)로 영상데이타를 보내는 한편, 정정이 불가능하다고 판별된 데이터 정보는 제어신호(CS1)를 통하여 에러수정 제어부(80)로 들어가게 된다.

에러수정 제어부(80)에서는 손상된 정보의 종류에 따라서 수정방식을 변경하게 되는데 각 MPEG압축방식에서 사용하는 회로를 그대로 사용하여 수정을 행하게 된다.

MPEG에서는 하나의 프레임을 부호화할 때 인트라 프레임(Intra Frame ; 이하 I 프레임이라고 한다.), 바이디렉셔널 프레임(Bidirectional Frame ; 이하 B 프레임이라고 한다.), 프리딕티브프레임(Predictive Frame ; 이하 P 프레임이라고 한다.)으로 분류한다. I 프레임에서는 프레임간의 차이를 고려하지 않고 단지 프레임내에서의 리던던시(Redundancy)만 고려하여 영상을 DCT부호화 시킨다.

반면에 P프레임에서는 모션 벡터를 이용하여 찾아낸 이전 프레임에서 대응하는 블록과의 차이를 DCT부호화 시킨다.

B프레임에서는 이전 프레임과 이후 프레임에의 2개의 모션 벡터들을 찾아서 이렇게 찾아낸 모션 벡터들을 전부 이용하여 보간을 하거나 또는 1개의 모션 벡터만을 취할수도 있다. 제 5 도는 MPEG에서의 B 프레임 복원시의 사용벡터들을 나타낸 도이다.

본도에서 I 프레임에 에러가 있다고 에러정정부(70)에서 판정한 경우 이후에 오는 B프레임이나 P프레임들은 이 I 프레임을 기준으로 부호화되기 때문에 에러를 수정하는 경우에 복호부(90)에서 B나 P프레임들을 복원할 때 기준신호가 변하게 되어 그 뒤에오는 B나 P프레임을 복원할 때 문제가 발생하게 된다.

또한 I 프레임의 경우와 마찬가지로 P프레임의 경우에도 그 뒤에 따라오는 B나 P프레임들은 이 P프레임을 기준으로 하여 부호화되기 때문에 같은 문제가 발생하게 된다.

그러나 B프레임의 경우에는 I나 P프레임과는 다르게 복원시에 바로 앞에서 서술한 바와같은 문제점이 없는 편이다.

따라서, 본발명의 에러수정 시스템은 이와같은 B프레임을 복원시키는 방법을 채택하고 있다.

보통 B프레임에서의 에러는 다른 프레임들에 전파되지 않고 그 프레임내에 한정되는 경향이 있는데, 이러한 B프레임에서의 에러를 수정할 때에는 다음과 같은 방법을 사용할 수 있다.

즉, B프레임에서는 보간을 할 것인가, 또는 순방향 모션 벡터를 취할 것인가, 아니면 역방향 모션 벡터를 취할 것인가에의 모든 정보를 복호부(90)에 전송하게 된다.

첫째로, 한 블록의 모드정보가 손상되었을 경우에는 그 블록 전체에 대하여 보상을 해주어야 한다.

즉, 에러가 발생한 블록과 동위치에 있는 이전과 이후의 프레임 즉, P나 I프레임의 블록들을 보간하여 수정을 행한다.

만일, P나 I 프레임들이 시간축상에서 1과 M+1에 있고 보간하려는 B프레임의 블록이 I의 위치에 있다면 보간식은 다음과 같다.

……………………… (1)

여기에서, Si는 현재 보간을 행하려고 하는 블록에 대한 화소값, S1은 이전 프레임의 대응되는 블록에 대한 화소값, SM+1은 이후 프레임의 대응되는 블록에 대한 화소값을 각각 나타내고, A는 계수이다. 또 x, y는 하나의 블록에서의 화소들이 위치를 나타낸다.

두 번째로, 모드 데이터가 손상되지 않았을 경우에는 다음과 같은 방법으로 수정을 행하게 된다.

제 6 도는 이 경우에 있어서, 에러의 수정작업을 설명하기 위한 흐름도이다.

먼저, 인트라 모드(Intra Mode) 즉, 모션벡터를 사용하지 않고 원영상 신호를 DCT부호화 시켰을 때에는 전술한 방법과 동일한 방법으로 보간이 수행된다. ㈀ 다음으로 인트라 모드가 아닌 경우에는 보간모드인가의 여부 즉, 순방향 및 역방향 벡터를 모두 이용하는가 또는 이들중 어느 하나의 벡터만을 이용하는가의 여부를 판별하여 만일 보간 모드라면 두 벡터 성분중 어느 하나의 벡터성분이라도 복원이 가능하다면 그 가능한 벡터 성분을 이용하여 복원을 행한다. 이 경우에는 해당 벡터가 가르키는 화소 블록을 그대로 B프레임의 손상된 블록에 대치시키게 된다. ㈁ 만약에 두 벡터 성분 모두가 복원이 불가능한 경우에는 전술한 모드 데이터가 손상되었을 경우와 동일한 방법으로 보간을 수행한다. ㈂ 또 모든 벡터 성분들이 복원 가능하고 단지 DCT 변환계수들만 손상된 경우에는 그 벡터들을 이용하여 각 벡터에 대응하는 블록들을 식(1)에 의해 보간시키게 되는데, ㈃ 여기에서 식 오른편의 x, y 좌표들은 왼편의 x, y 좌표와 다를 수도 있다. 만일에 모드가 단일 벡터만을 이용할 때 즉, 순방향 또는 역방향 모드인 경우에 모션벡터가 손상되지 않은 경우라면 그 모션 벡터가 지시하는 화소블록을 B프레임의 화소블록으로 대치시키고, ㈄ 모션벡터가 손상된 경우라면 전술한 모드데이타가 손상되었을 경우와 동일한 방법으로 보간을 행하게 된다. ㈅

제 7 도는 제 6 도에 의거하여 설명한 제어방식을 가능하게 하는 게이트 레벨의 회로도로서, 본 도의 회로에서는 에러정정부(70)에서 출력되는 에러의 존재여부를 나타내는 신호(CS) 및 모드신호들을 이용하여 어떠한 방법으로 수정을 행할 것인가에 대한 수정신호를 발생시켜서 복호부(90)로 출력하게 되는데, 복호부(90) 회로에는 이와같은 보간을 행하는데 필요한 모든 회로들이 존재하고 있기 때문에 제 7 도에 도시한 바와같은 간단한 회로만 추가하면 된다.

이상에서 설명한 바와같이 본발명의 디지털 영상신호의 에러수정 시스템에 따르면 종래의 기술과는 달리 블록 코딩방식에 적용가능하며 또한 MPEG보간 회로들을 이용하는 간단한 구성을 갖는 에러수정 회로를 채택하면서도 손상된 데이터의 종류에 따라 적절한 에러수정을 행하여 영상을 복원시키기 때문에 최적의 영상을 제공할 수 있는 효과가 있다.

Claims

디지털저장매체로부터 다수의 프레임을 갖는 입력영상의 각 프레임을 모드판별을 통하여 non인트라모드에 해당되는 프레임을 검출하는 제1단계와, 상기 검출된 프레임이 순방향/역방향벡터를 모두 사용하는지를 판별하는 제2단계와, 상기 판별된 두 개의 벡터성분들의 복원이 모두 불가능하면 보간을 행하는 제3단계와, 상기 2단계에서 판별된 벡터성분이 적어도 하나이상 복원가능한 벡터성분이면 해당 방향의 벡터가 가리키는 블록으로 대치시키는 제4단계로 이루어진 것을 특징으로 하는 디지털 영상 신호의 에러 수정시스템.
제 1항에 있어서 non-인트라모드에 해당되는 프레임은 MPEG영상신호 중에서 B프레임인 것을 특징으로 하는 디지털 영상신호의 에러 수정시스템.