KR100210124B1

KR100210124B1 - 영상복호화기의 데이터 디포맷팅 회로

Info

Publication number: KR100210124B1
Application number: KR1019960050179A
Authority: KR
Inventors: 김인철
Original assignee: 전주범; 대우전자주식회사
Priority date: 1996-10-30
Filing date: 1996-10-30
Publication date: 1999-07-15
Also published as: KR19980030711A

Abstract

본 발명은 영상 정보를 디지털 부호화·복호화하는 데 있어서, 부호화기의 포맷처리부의 ECC처리부에서 입력되는 코딩된 데이터열이 복호화기의 디포맷 회로에 입력되면 상기 데이터를 각 성분별로 미리 분리하여 상태 데이터인 STA 성분 데이터는 별도의 레지스터로 보내어 역양자화기로 보내는 한편, 디포맷 대상이 아닌 QNO 성분 데이터와 DC 성분 데이터는 디포맷처리부 후단의 버퍼 메모리 F1/F2에서 대기하였다가 AC 성분 데이터를 디포맷처리부 전단의 메모리 S1/S2로 보내어 디포맷처리부에서 디포맷팅한 후 상기 QNO 성분 데이터와 DC 성분 데이터를 결합하여 역양자화기로 보내어 상기 상태 데이터와 함께 역양자화 처리하게 하므로써, 디포맷터에서 디포맷팅하기 전에 각 데이터를 성분별로 구분하여 각각의 메모리에 저장하게 하므로써, 포맷된 영상 정보를 복호화하는 과정에서 디포맷함에 있어서 데이터의 성분을 미리 분리하여 디포맷 처리하게 하므로써, 디포맷시에 발생되는 데이터 액세스 시간이 많이 단축됨과 함께 실제 데이터의 디포맷 시간도 빨라지게 되어 시스템의 성능을 향상시키는 효과가 있다.

Description

영상복호화기의 데이터 디포맷팅 회로

본 발명은 영상 정보를 디지털 부호화·복호화하는 데 있어서, 전단의 부호화기의 포맷처리부에서 포맷된 데이터를 입력받아 디포맷 대상 성분 데이터만을 디포맷할 수 있도록 입력되는 데이터의 각 성분별로 미리 분리하여 디포맷하게 하여 디포맷 시간을 단축하게 한 영상복호화기에 있어서의 데이터 디포맷팅 회로에 관한 것이다.

현재 디지털브이시알(Digital Video Casstte Recorder ; 이하 DVCR이라 한다)을 포함하여, 고선명티브이(HDTV ; High Definition TV)나 셋탑박스(Set-Top Box) 등과 같은 각종 멀티미디어 기기에서는, 종래와 달리 비디오 영상을 디지털로 압축하여 전송·처리하고 있다.

이를 위하여, 비디오 카메라로 찍은 동영상이나 혹은 각종 비디오 신호원(video signal source)으로부터 입력되는 아날로그 영상 신호를 디지털 정보로 변환 후 일단 프레임 메모리(1 화면분의 영상 데이터를 저장하는 메모리)에 저장시켜 놓은 후에 화소(pixel) 단위로 분해·처리된다. 예를 들어, 한 화면을 세로 352 x 가로 240 화소 처럼 나타낼 수 있다. 이때, 각각의 화소는 휘도(영상의 밝기 정보)와 색차(영상의 색 정보)를 갖는 데, 휘도(luminance)와 색차(color)는 다음과 같은 세가지 방법에 의하여 정보를 압축시킨다.

1) 일반적으로 영상은 인접화소간의 값이 거의 비슷하기(상관도가 높기) 때문에 화면내(공간적) 상관관계를 이용하여 정보를 압축한다.(엄밀하게는 화면간의 화소차분치에 대해서도 압축연산을 행한다.)

2) 이전 화면의 정보를 기억해 두고 현재 화면을 이전 화면으로부터의 차분치(differential)로 나타냄으로써, 화면간(시간적) 상관관계를 이용하여 정보를 압축한다.

3) 상기의 1)과 2)의 방법으로 부화화할 때, 부호의 발생확률이 서로 다름을 이용하여 정보를 압축한다.

이러한 영상압축을 위한 여러 가지 방법 중에서 직교변환(영상 정보를 주파수 성분으로 분해하는) 방식이 널리 사용되고 있는 데, 그 중 이산여현코사인변환(DCT ; Descrete Cosine Transform, 이하 DCT라 한다)이 영상부호화의 국제표준방식에서 널리 사용되고 있다. 이 DCT에서는 한 장의 영상을 일정한 크기의 정방형 영역으로 나누어서 각 영역에 대한 변환처리를 행하므로써, 영역 내의 평균값(영역 전체가 같은 값)을 가지는 화면성분(DC)으로부터 매우 정교한 최고주파수의 영상분에 이르기까지의 여러 주파수의 영상성분으로 분해된다. 이 분해과정을 직교변환이라 한다. 이러한 직교변환(특히, DCT)의 장점은 변환 전에는 화면에 불규칙하게 퍼져 있던 화소값(예를 들어, 휘도)이 변환 후에는 저주파항 쪽으로 집중되는 경향이 있다. 따라서, 고주파항들을 버리는 조작을 통하여 정보손실이 거의 없이 양호한 정보압축을 할 수 있다.

여기서, 고주파항들을 버리는 과정이 양자화(quantization)인 데, 여기서는 화소값 혹은 직교변환된 각 주파수의 성분값을 양자화 스텝 사이즈라는 어떤 값(분모)으로 나누어 나머지를 반올림 등의 방법으로 없애는 것이다. 그러나 이 없어진 부분은 재생시 양자화 스텝 사이즈를 곱하더라도 워상태로 완전히 복원되지는 않는다. 이때, 분모를 크게 하면 할수록 많은 항들이 거의 0이 되고, 이에 따라 압축률을 높일 수는 있지만 고주파항들이 손실되어 섬세함이 없어지고 저주파항들도 양자화 에러가 커지기 때문에 재생시 흐린 듯한 영상이 될 수 있다. 반대로, 분모가 작으면 작을수록 잘려 나가는 에러가 작아지기 때문에 재생시 섬세함이 손상되지 않아 원화에 가까워지지만, 그 대신에 압축률은 낮아진다.

MPEG Ⅱ(Motion Picture Experts Group ; 동영상전문가그룹에서 정한 2번째 동영상부호화 표준규격, 이하 MPEG Ⅱ라 한다)에서 이러한 DCT를 사용한 영상정보의 부호화 과정을 나타낸 것이 도 1인 데, 여기에서 보면, 프레임 데이터가 직교변환기(11)로 입력되어 처리가 시작된다. 이때 DCT 블록의 입력은 프레임(frame)이 그대로 들어갈 수도 있고, 움직임이 보상된 프레임과 프레임의 차이가 들어갈 수도 있다. 전자는 화면간 코딩(intra coding)을 위한 것이고, 후자는 화면내 코딩(inter coding)을 위한 것이다. MPEG Ⅱ에서의 움직임 보상은 P 타입과 B 타입이 있으며, 또한 필드별로 움직임을 보상할 수도 있고 프레임별로 움직임을 보상할 수도 있다. 또한, P 타입에서는 듀얼 프라임(dual prime)이라는 독특한 방법을 이용하기도 한다. 이러한 프레임 데이터가 입력되면 직교변환기(11)에서 8 x 8 개의 화소를 1개의 블록으로 하여 블록 단위로 DCT 연산(화면내 공간적 상관관계에 의한 압축)을 하여 그 결과를 양자화기(12)로 보내면, 양자화기(12)에서는 각 DCT 계수의 가중치를 나타내는 가중치 메트릭스 변수(weight_matrix)와 양자화 스텝의 단계를 결정하는 양자화 크기 코드 변수(quantizer_scale_code)를 사용하여 양자화 스텝을 결정한다. 이렇게 양자화된 후의 각 계수는 가변장부호화기(13)에서 가변장부호화(VLC ; Variable Length Coding, 이하 VLC라 한다)되는 데, 화면내 블록(intra block)의 DC 계수들은 DCT 계수의 DC 성분의 크기를 나타내는 변수(dct_dc_size)와 DC 성분의 차분을 나타내는 변수(dct_dc_differential)의 둘로 나뉘어 코딩되고 나머지 계수들은 MPEG Ⅱ에서 정해진 VLC 테이블을 사용하여 코딩된다.

이러한 움직임 보상과 DCT 타입 및 양자화 등의 과정은 매크로블록(macro block) 단위로 이루어지며 매크로 타입(macro_type)이라는 변수를 통하여 이러한 코딩 형태를 알려준다. 즉, macro_type 만 보면 그 매크로블록이 어떠한 움직임 보상을 했는지, 또는 DCT 계수가 전송되는지 아닌지, 양자화 크기 코드(quantizer_scale _code)가 전송되는지 아닌지 등을 알 수 있다.

각 매크로블록은 블록별로 부호화되는 데, 매크로 블록에 속해 있는 블록들이 코딩이 되었는지 또는 스킵(skip)되었는지를 나타내는 데 사용되는 변수가 coded_block_pattern() 이다. 이후, 이러한 데이터들은 각종 헤더(header)와 확장자(extention) 및 사용자 데이터(user data) 들과 묶여서 하나의 신택스(syntax)를 이루어 버퍼(14)를 통하여 디코더로 전송된다. 한 개의 픽쳐(picture) 당 발생 비트 수는 가변적으로 버퍼의 충만도에 따라서 제어되는 데, 이 버퍼(14)가 언더플로우(under flow)나 오버플로우(dver flow)가 일어나지 않도록 하기 위해서 인코더에서는 버퍼(14)의 상태를 항상 감시하고 있어야 하며, 따라서 다음 픽쳐의 비트 발생량을 조절해 주어야 한다.

그리고, 상기 양자화기(12)에서 양자화된 결과값은 역양자화기(15)와 역직교변환기(16)로도 보내어져 역양자화와 역직교변환과정을 거쳐 제1가산기(17)에서, 프레임 정보의 비트스트림(bit stream) 데이터를 입력받은 제 2가산기(18)에서 보내오는 데이터와 합산하여 평균치를 내어 제2가산기(18)와 프레임메모리(21)로 보낸다. 그러면, 움직임예측기(19)에서는 프레임메모리(21)에서 보내오는 프레임 정보와 움직임 계산기(20)에서 보내오는 변수값을 토대로 움직임을 예측하여 다시 제2가산기(18)로 보내어 이를 다시 직교변환기(11)로 피드백시켜서 처리하게 하는 과정을 반복하게 한다.

또한, 상기와 같은 부호화 과정을 거쳐서 상기 버퍼(14)로부터 전송받은 데이터를 복호화하는 과정은 도 2에서와 같이, 부호화 과정에서 코딩된 부호화 데이터를 부호화기의 버퍼(14)를 통하여 비트 스트림 형태로 전송 받은 후, 이를 다시 가변장복호화기(22)에서 가변장부호화된 DCT 계수를 뽑아서 그 역과정을 거쳐 QFS[n]을 얻는 것이다. 여기서, n = 0 이면 DC 계수이고, 아니면 그 뒤의 AC 계수를 나타낸다. 보통, 화면내 코딩(inter coding)에서의 DC 계수는 크기가 보통 계수와는 달리 매우 크기 때문에 VLC 테이블을 이용하는 다른 계수들과는 다른 방법을 사용하여 코딩한다. 또한, 절대 크기를 전송하는 것이 아니고, 이전 블록의 해당되는 값과 비교하여 그 차이값만을 전송하게 된다. 따라서, 예측기(predictor)를 이용하게 되는 데, 이 예측기는 바로 전 블록의 계수값을 갖게 된다. 즉, 색요소(color component)를 cc라 하고 cc = 0 이면 휘도신호(luminance)를, cc = 1 이면 Cb 요소, cc = 2 이면 Cb 요소를 나타낸다. 한편, 화면간 블록(intra block)의 DC 차이값을 그대로 가변장부호화하기에는 너무 많은 값들이 있게 때문에 VLC 테이블을 이용하지 않고 dct_dc_size와 dct_dc_differential의 두 부분으로 나누어 코딩한다. 이때, dct_dc_size는 휘도신호와 색신호에 대하여 각각 2 ∼ 10 비트의 가변장 코드값으로 휘도신호에 대하여는 0 ∼ 63까지, 색신호에 대하여는 -2047 ∼ +2047까지의 값을 갖는다.

상기와 같이, 가변장복호화기(22)에서 가변장부호화된 신호는 역스캐너(23)에서 QFS[n]의 일차원 DCT 계수를 스캐닝 방법에 따라서 2차원으로 바꾸어주는 데, 이는 지그재그스캔(zigzag scan)과 대체스캔(alternate scan)의 두가지 방식중에서 임의로 사용할 수 있는 데, 이는 다음 식 1에서 alternate_scan의 값이 0 이면 지그재그스켄을 나타내고, 1 이면 대체스캔을 나타낸다.

[수학식 1]

QFS[v][u]=QFS[scan[alternate_scan][v][u]]

이러한 역스캐너(23)에서 2차원화된 신호는 다시 역양자화기(24)에서 실제 DCT 계수값을 복원한다. 여기서는 화면내 블록의 DC 계수(8 x 8 블록의 좌상귀의 값)는 수신된 양자화치에 8을 곱하여 구하고(즉, [역양자화값 = 8 x [양자화값]), 그밖의 계수의 역양자화는 AC 계수(8 x 8 블록의 좌상귀값을 제외한 나머지 63개의 값)는 먼저 수신된 양자화치를 두배로 한 후(화면간에서는 여기에다 0에서 먼쪽으로 +1 이나 -1을 행한다) 이 결과에 양자화특성치(MQUANT)와 양자화 매트릭스의 대응위치의 값을 곱한 후 16으로 나누어, 이 결과에서 소숫점 이하는 절사하여 그 결과가 우수(even number)이면 0에 가까워지는 방향으로 +1 이나 -1 을 더해서 0에 가까운 쪽의 기수(odd number)로 만든다. 이 결과가 2047 보다 클 경우에는 2047로 하고 결과가 -2048 보다 작을 때에는 -2048로 한다. 이것은 역직교변환에서의 오차누적(IDCT mismatch)를 방지하기 위한 것으로서, 이 연산에서 사용되는 양자화특성치(MQUANT)는 슬라이스(slice)에서 선두에서 초기화가 되고 도중에 한 번 갱신되면 다음 갱신 때까지 그 값이 그대로 사용된다.

다음에, 역직교변환기(25)에서는 다음 식 2에 의해서 역직교변환(IDCT)이 행해진다.

[수학식 2]

f(x, y) =

여기서, u, v, x, y = 0, 1, 2, 3 ... N-1 이고,

또한 x, y 는 동일한 영역(same domain)내에서의 공간좌표값(spartial coordina- tes) 이며 u, v 는 변환 영역(transform domain) 내에서의 좌표값이다.

즉, C(u), C(v)=(u, v = 0 인 경우)

1 (기타의 경우) 로 나타낸다.

참고적으로 MPEG에서 정하고 있는 M x N 블록의 DCT 는 다음의 수학식 3에서와 같이 나타낸다.

[수학식 3]

f(u, v) =

이러한 IDCT는 부호기 측의 정밀도와 복호기 측의 정밀도가 일치하지 않으면 프레임간 오차(예측 오차에 대한 DCT 연산)이 연속되는 경우 부호기와 복호기와의 사이에 오차가 누적된다. 이것을 IDCT 불일치라 하는 데, MPEG에서는 계수의 역양자화에 의해 재현되는 값은 모두 기수(odd number)로 제한하여 이 오차누적을 피하도록 하고 있다. 이러한 IDCT 불일치(IDCT mismatch)의 근본적 원인은 IDCT가 실수계산인데도 데이터는 정수로 되어야 한다는 점에 있다. 예를 들면, IDCT된 화소의 이론치가 정수 + 0.5 일 때 표준이 규정하는 IDCT의 정밀도를 아무리 높여도 반올림에 의해 결과가 1 만큼 어긋날 확률은 1/2이다. 이것을 반올림 방식의 규정에 의해 피하는 것은 가능하지만, 표준화 이전에 이미 DCT나 IDCT 용의 집적회로칩(IC chip)이 시판되고 있어서 IDCT의 결과치를 모두 기수로 제한하므로써, 이 문제에 대처하기로 하였다. 이로 인하여 대부분의 IDCT 불일치 문제는 해결되었다.

이후, 움직임보상기(26)에서는 필드 단위 또는 프레임 단위로 움직임의 보상을 수행한다. 따라서, 필드 픽쳐(field picture)에서는 필드 예측(field prediction)을 하고, 프레임 픽쳐(frame picture)에서는 프레임 예측(frame prediction)이나 필드 예측을 모두 이용할 수 있다. 간단한 프레임 픽쳐에서는 16 x 16 매크로 블록 당 P 타입에서는 1개의 움직임 벡터(MV ; motion vector, 이하 MV라 한다)가, B 타입에서는 포워드(forward), 백워드(backward) 2개의 움직임 벡터 MV가 필요하다. 또한, 단순한 필드 예측인 경우에는 16 x 16 매크로 블록 당 P 타입에서는 톱(top), 버텀(bottom) 두 필드로부터 각각 하나씩 2개, B 타입에서는 톱, 버텀, 백워드, 포워드까지 모두 4개의 움직임 벡터 MV가 필요하다. 또한, MPEG Ⅱ에서는 필드 픽쳐에서 16 x 16 예측 모드(prediction mode)를, P 픽쳐에서 듀얼 프라임 모드(dual_prime mode)를 규정하고 있는 데, 이 dual_prime 모드에서는 송신측에서 하나의 MV와 하나의 차분 움직임 벡터(differential motion vector)를 보내고, 디코더에서 이것을 이용하여 4개의 포워드 움직임 벡터를 계산해 내게 된다. 이 모드는 P 픽쳐에서만 이용한다. 16 x 8 픽쳐 모드는 하나의 필드 픽쳐에서의 16 x 16 매크로 블록을 아래와 위의 16 x 8 블록으로 나누어서 아래위 각각의 블록에 대해서 1개씩의 MV를 전송한다. 이와 같이 하는 이유는 필드 픽쳐에서의 수직 이격거리(vertical distance)는 프레임 픽쳐에서의 두배이므로 16 x 16 매크로 블록을 그냥 움직임 보상하기에는 수직축 길이가 너무 길어서 움직임 보상이 제대로 되지 않는 경우가 생기기 때문이다.

한편, 필드 예측은 필드 픽쳐나 프레임 픽쳐에서 모두 이용될 수 있기 때문에 톱(top)이나 버텀(bottom) 필드는 각 필드라도 되고, 한 프레임 내에서의 톱 필드나 버텀 필드를 가리킬 수도 있다. 이때, 디스플레이(display)되는 순서대로 앞의 것을 퍼스트(first), 뒤의 것을 세컨드(second) 필드라고 하는 데, MPEG Ⅱ에서는 바로 그 필드가 톱인가 버텀인가를 지정하게 되어 있어서, 꼭 퍼스트 필드가 톱 필드로 된다는 보장이 없다. 즉, MPEG Ⅱ에서의 필드 예측은 가장 최근에 복원된 필드들에 의해서 행해진다. 이러한 예측과정에서는 프레임 메모리(27)와의 데이터 주고받기를 통하여 이전 프레임의 정보 데이터를 사용하여 최종적으로 예측된 데이터를 디코딩하여 출력하게 된다.

상기와 같은 DCT 방식을 사용한 동영상의 부호화에 있어서는, 가변장 부호화 후에

버퍼(14)를 통하여 복호기 측으로 보내기 전에 가변장부호화기(13)에서 부호화한 데이터를 포맷팅(formattng)하는 추가의 과정을 거치게 된다.

이 과정을 수행하는 데이터 포맷팅 회로의 구성을 도 3에 나타냈는 데, 여기서는 포맷처리부(28)에서 부호기의 가변장부호화기(13)에서 부호화된 데이터를 임시 저장 메모리인 F1 메모리(30)와 F2 메모리(30')에 저장하였다가 이 데이터를 포맷처리부(28)에서 코드 워드 데이터(code word data)와 코드 길이 데이터(code length data)로 구분하여 비디오 세그먼트 포맷(video segment format)에 맞게 처리하여 오류수정제어기(29)로 전송하여 오류를 수정하여 디코더로 보내는 역할을 한다.

이 때 데이터의 처리는 세그먼트 단위로 처리되고, 한 개의 세그먼트는 5개의 매크로 블록으로 구성되며, 이 매크로 블록은 각각 6개의 DCT로 구성된다. 그리고, 1개의 DCT는 8 x 8 = 64 개의 화소(= 픽셀 = 비트)로 이루어지므로, 1 세그먼트는 총 1920 비트의 비트 스트림(bit stream) 형태의 데이터열이 된다.

포맷처리부(28)에서는 패스1, 패스2, 패스3의 3 단계로 구분하여 데이터의 포맷팅 처리를 한다.

패스1에서는 VLC 데이터의 각 DCT 블록을 읽어서 임시 메모리 F1(30)과 F2(30')에 저장하였다가, 해당 세그먼트 데이터열을 버퍼 메모리 S1(31)과 S2(31')에 배분하고, 이때 남는 데이터를 보조 메모리인 MR(32)에 배분한다.

패스2에서는 남아 있는 상기 MR 메모리(32) 내의 데이터를 매크로 블록 단위로 빈 DCT에 배분하고, 이 매크로 블록을 채우고 남아 있는 데이터를 VR 메모리(33)에 저장한다.

패스3에서는 남아 있는 VR 메모리(33) 내의 데이터를 세그먼트 단위로 그 세그먼트에서 빈 DCT에 배분한다.

위와 같은 패스1, 패스2 및 패스3 과정을 거치고도 남은 데이터는 버린다.

이러한 일련의 패스 과정들은 도 4에서와 같은 세그먼트 신호의 각 사이클 주기에 맞추어 이루어지는 데, 이를 살펴 보면 첫 번째 세그먼트 신호가 포맷터에 제공되면 포맷터는 가변장부호화기(13)에서 코딩된 데이터열을 F1(30) 메모리로 읽어들여서 저장한다. 그 다음에, 두 번째 세그먼트 신호가 포맷터에 제공되면 포맷터가 마찬가지로 코딩된 데이터열을 F2(30') 메모리로 읽어들여 저장한다. 이와 동시에 F1(30) 메모리에 저장되었던 데이터를 포맷처리하여 버퍼 메모리 S1(31)로 옮겨 놓는다. 그리고, 세 번째 세그먼트 신호가 제공되면 다시 코딩된 데이터열을 F1(30) 메모리로 읽어들여 저장한다. 이와 동시에 S1(31) 메모리로 옮겨 놓았던 포맷팅된 데이터를 ECC 처리부(29)로 보내는 한편, F2(30') 메모리에 저장되었던 데이터를 포맷처리하여 버퍼 메모리 S2(31')로 옮겨 놓는다. 그리고, 네 번째 세그먼트 신호가 제공되면 S1(31) 메모리로 옮겨 놓았던 포맷팅된 데이터를 ECC 처리부(29)로 보내는 한편, S2(31') 메모리로 옮겨 놓았던 포맷팅된 데이터를 ECC 처리부(29)로 보내고 다시 F1(30) 메모리에 저장되었던 데이터를 포맷처리하여 버퍼 메모리 S1(31)로 옮겨 놓는다. 이후 상기의 일련의 과정을 반복한다.

이때, 원래의 압축되지 않은 영상 정보가 포맷팅되어 처리되는 과정에서 포맷팅 처리부(28)에서 데이터를 포맷팅하여 버퍼 메모리(S1, S2)로 옮겨 놓을 때의 데이터 포맷 구성 상태를 도 5에 나타내었다.

이러한 상기 패스1, 2, 3 과정은 1개의 세그먼트 신호 주기 동안에 처리된다.

한편, 상기와 같은 DCT 방식을 사용한 동영상의 부호화에 있어서 가변장 부호화 후에 버퍼(14)를 통하여 복호기 측으로 보내기 전에 가변장부호화기(13)에서 부호화한 데이터를 포맷팅 처리한 데이터는 다시 복호화기에서 디포맷팅 과정을 거쳐서 최종적으로 재생되게 되는 데, 이는 도 6에서와 같이 데이터 포맷팅 단계에서 포맷 처리된 데이터를 ECC 처리부(29)에서 오류를 수정한 후 보내면, 디포맷처리부(36)에서 이 데이터를 입력받아 이 데이터 성분 중에서AC(교류) 성분만을 디코딩하여 연속되는 0의 갯수(run, 런) 데이터와 연속해서 0이 아닌 갯수(level, 레벨) 데이터를 생성하여 이들 두 가지 데이터를 한 조(pair)로 하여 1 개의 부호를 할당하여 이를 DCT 단위로 저장하며 저장된 이 데이터값과 입력되는 데이터 중에서 양자화 번호(Quantization Number)인 QNO 데이터와 DC 성분값(DC값, 모드, 클래스 번호)을 역양자화기(39)로 전송하여 처리하는 역할을 수행한다.

이 시스템의 데이터 처리는 포맷팅과 마찬가지로 세그먼트 단위로 처리되고, 1 개의 세그먼트는 5 개의 매크로 블록으로 구성되며, 각 매크로 블록은 6개의 DCT 블록으로 구성되었다.

이 디포맷처리부(36)는 포맷처리부에서 패스1, 패스2, 패스3의 3 단계를 거치면서 비디오 세그먼트 포맷에 맞게 데이터를 처리했으므로, 디포맷팅처리부(36)에서도 마찬가지로 패스1, 패스2, 패스3의 3 단계를 거쳐서 처리한다.

패스1 단계에서는 DCT 블록 단위로 데이터를 디포맷팅 처리하고, 패스2 단계에서는 매크로 블록 단위로 처리하며, 패스3 단계에서는 세그먼트 단위로 처리한다.

이때, 상기 디포맷처리부(36)에서는 상기 패스3 단계에서 DCT 블록을 읽어서 임시 메모리 S1(35)과 S2(35')에 저장하였다가, 해당 세그먼트 데이터열의 디포맷팅을 수행한 후 버퍼 메모리 F1(37)과 F2(38)에 배분하여 저장하여 넣었다가, 신호에 맞추어서 역양자화기(39)로 보낸다. 이때, 디포맷팅하는 과정은 ECC 처리부(29)에서 보내오는 포맷팅된 DCT 데이터에서 압축코딩된 매크로 블록 단위의 데이터 에러(error)와 에러 은폐(conceal) 여부를 나타내는 4 비트로 구성되는 상태 데이터인 STA 성분과, 양자화 번호(Quantization Number) 데이터인 QNO 성분과, DC값·모드·클래스 번호 데이터인 DC 성분과, AC 성분을 함께 처리하여 메모리에 넣는다.

그러나, 상기와 같은 종래의 복호화기에서의 데이터 디포맷팅 처리에서는, 부호화기에서 포맷된 데이터가 ECC처리부(29)에서 오류가 수정되어 오는 코딩된 데이터열을 디포맷함에 있어서 각 세그먼트 부호화 데이터의 각 성분별로 구분하여 디포맷 처리하지 않고 한꺼번에 처리하므로써 디포맷 처리시 프로그램의 부담이 많이 가게 되어 디포맷 처리 과정이 복잡하므로 소프트웨어적인 부담이 증가하여 처리 시간이 많이 걸리게 되므로 동영상 재생시 실시간 처리에 부담을 주게 되는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위하여, 상기 디포맷 처리 회로의 ECC처리부와 디포맷처리부 사이에서 상기 ECC처리부에서 입력되는 코딩된 데이터열을 하드웨어 회로를 통하여 각 성분별로 미리 구분하여 상태 데이터인 STA 성분 데이터는 별도의 레지스터로 보내어 역양자화기로 보내는 한편, 디포맷 대상이 아닌 QNO 성분 데이터와 DC 성분 데이터는 디포맷처리부 후단의 버퍼 메모리 F1/F2에 대기시켰다가 AC 성분 데이터만을 디포맷처리부 전단의 메모리 S1/S2로 보내어 디포맷처리부에서 디포맷팅한 후 상기 QNO 성분 데이터와 DC 성분 데이터를 결합하여 역양자화기로 보내어 상기 상태 데이터와 함께 역양자화 처리하게 하므로써, 디포맷 대상 데이터만 직접 읽어서 처리하게 되어 소프트웨어적인 처리 부담을 최소화시켜서 디포맷시 걸리는 데이터 액세스 시간과 전체 디포맷 시간을 단축하게 한 영상복호화기의 데이터 디포맷팅 회로를 제공함에 그 목적이 있다.

도 1은 디시티(DCT) 부호화 방식에서 일반적으로 사용되는 부호화기의 블록 회로도.

도 2는 디시티 복호화 방식에서 일반적으로 사용되는 복호화기의 블록 회로도.

도 3은 디시티 부화기에서의 데이터 포맷팅 처리 회로의 전체 블록 회로도.

도 4는 도 3의 데이터 포맷팅 처리 회로에서 데이터 포맷시 사용되는 세그먼트 사이클을 나타낸 타이밍 패턴도.

도 5는 도 3의 데이터 포맷팅 처리 회로에서 데이터 포맷시 사용되는 버퍼 메모리에서 실제 데이터 수용상태를 나타낸 버퍼 메모리의 데이터 수용 상태도.

도 6은 종래의 영상 복화기의 디포맷팅 처리 회로의 전체 블록도.

도 7은 본 발명의 영상 복호화기의 디포맷팅 처리 회로의 전체 블록도.

도 8은 도 7에 의한 본 발명의 영상 복호화기의 디포맷팅 처리 회로에서의 분리부의 상세 블록 회로도.

* 도면의 주요부분에 대한 부호의 설명*

11: 직교변환기12: 양자화기

13: 가변장부호화기14: 버퍼

15, 24, 39: 역양자화기16, 25: 역직교변환기

17: 제1가산기18: 제2가산기

19: 움직임예측기20: 움직임 계산기

21, 27: 프레임 메모리 22: 가변장복호화기

23: 역스캐너26: 움직임보상기

28: 포맷처리부 29: ECC 처리부

30, 30': F1, F2 메모리31, 31': S1, S2 메모리

32: MR 메모리 33: VR 메모리

34: 보조메모리부341: AR 메모리

342: R/W 컨트롤러343: 주소 메모리

35, 35': S1, S2 버퍼 메모리36 : 디포맷처리부

37, 37': F1, F2 버퍼 메모리40: 분리부

401, 402, 403: R3, R2, R1 레지스터404: 카운터

405, 406, 407:제어기408, 409, 410: r1, r2, r3 버퍼

상기 목적을 달성하기 위하여 본 발명은, 부호화기의 포맷팅 회로에서 포맷된 데이터의 오류를 수정하는 ECC처리부와, 상기 ECC처리부에서 보내오는 데이터를 받아 이를 데이터의 성분별로 분리하는 분리부와, 상기 분리부에서 성분이 분리된 각 성분 데이터를 디포맷팅 처리하는 디포맷처리부와, 상기 디포맷처리부에서 디포맷된 데이터의 실제 DCT 계수값을 복원하는 역양자화를 수행하는 역양자화기와, 상기 디포맷처리부가 데이터를 디포맷팅할 때 상기 디포맷처리부의 제어에 의해 분리부에서 분리된 AC 성분 데이터를 버퍼링하는 버퍼 메모리와, 상기 디포맷처리부가 데이터를 디포맷팅할 때 상기 디포맷처리부의 제어에 의해 분리부에서 분리된 DC 성분 데이터를 버퍼링하는 버퍼 메모리를 포함하여 구성되었다.

이와 같은 본 발명은, 부호화기의 포맷팅 회로의 ECC처리부에서 포맷된 데이터의 오류를 수정하여 보내면, 상기 분리부에서 포맷팅 단계에서 입력되어 오는 데이터를 각 성분별(STA, QNO, DC, AC)로 분리하여 디포맷 대상 성분 데이터만 디포맷처리부에서 디포맷 처리를 행하여 후단의 역양자화기에서 디포맷된 데이터와 나머지 성분 데이터를 함께 양자화하여 원래의 DCT 계수를 복원하도록 되어 있다.

이하 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세히 설명한다.

상기와 같은 목적을 달성하기 위한 본 발명은 도 7에서와 같이, 디포맷팅 회로 전단의 부호화기의 포맷팅 회로에서 포맷된 데이터의 오류를 수정하는 ECC처리부(29)와, 상기 ECC처리부(29)에서 보내오는 데이터를 받아 이를 데이터의 성분별로 분리하는 분리부(40)와, 상기 분리부(40)에서 성분이 분리된 각 성분 데이터를 디포맷팅 처리하는 디포맷처리부(36)와, 상기 디포맷처리부(36)에서 디포맷된 데이터의 실제 DCT 계수값을 복원하는 역양자화를 수행하는 역양자화기(39)와, 상기 디포맷처리부(36)가 데이터를 디포맷팅할 때 상기 디포맷처리부(36)의 제어에 의해 분리부(40)에서 분리된 AC 성분 데이터를 버퍼링하는 버퍼 메모리 S1/S2(35, 35')와, 상기 디포맷처리부(36)가 데이터를 디포맷팅할 때 상기 디포맷처리부(36)의 제어에 의해 분리부(40)에서 분리된 DC 성분과 양자화번호 성분(QNO) 데이터를 버퍼링하는 버퍼 메모리 F1/F2(37, 38)를 포함하여 구성되었다.

상기 분리부(40)는 도 8에서와 같이, 전단의 부호화기 측의 포맷팅 회로의 ECC처리부(29)에서 포맷된 데이터에서 오류가 수정된 데이터를 입력받아 저장하는 레지스터 수단과, 상기 레지스터 수단으로부터 저장된 데이터를 각 성분별로 구분하여 각각 별도의 버퍼 메모리에 일시 저장하는 버퍼링 수단과, 시스템 클럭을 카운트하여 상기 버퍼링 수단에 각각의 성분 데이터를 읽는 인에이블 신호를 제공하는 제어 수단을 포함하여 구성되었다.

또한 상기에서, 상기 레지스터 수단은 부호화기의 포맷팅 회로의 ECC처리부(29)로부터 오류가 수정되어 오는 포맷된 데이터를 순차적으로 입력받는 레지스터 R3, R2, R1(401, 402, 403)을 포함하여 구성되었다.

상기 버퍼링 수단은 상기 레지스터 R1(403)으로부터 상태 데이터(STA)를 읽어와서 저장하는 임시저장하는 버퍼인 r1(408)과, 상기 레지스터 R3∼R1(403∼401)으로부터 DC 성분 데이터와 양자화번호 데이터(QNO)를 읽어와서 저장하는 임시저장하는 버퍼인 r2(409)와, 상기 레지스터 R3∼R1(403∼401)으로부터 AC 성분 데이터(AC)를 읽어와서 저장하는 임시저장하는 버퍼인 r3(410)을 포함하여 구성되었다.

그리고, 상기 제어 수단은 시스템이 제공하는 인에이블(enable) 신호를 카운트하여 각 성분별 읽기 인에이블 신호를 제공하는 카운터(404)와, 상기 카운터에서 제공하는 인에이블 신호에 따라 상기 레지스터 R3∼R1(403∼401)으로부터 각각의 성분 데이터를 읽어내도록 상기 버퍼 메모리 r1∼r3에 제어신호를 제공하는 제어기(405, 406, 407)를 포함하여 구성되었다.

이와 같이 구성되는 본 발명은, 도 7에서 볼 수 있는 바와 같이, 디포맷팅 회로 전단의 부호화기의 포맷팅 회로의 ECC처리부(29)에서 포맷된 데이터의 오류를 수정하여 보내면, 본 발명에 의한 디포맷팅 회로의 분리부(40)에서 상기 입력되어 오는 데이터의 각 성분별(STA, QNO, DC, AC)로 분리하여 디포맷처리부(36)로 보내어 포맷된 데이터의 디포맷 처리를 행한 후 후단의 역양자화기(39)에서 역양자화시켜서 원래의 DCT 계수를 복원하게 된다.

이때, 상기 분리부(40)에서 입력되어 오는 데이터의 각 성분별(STA, QNO, DC, AC)로 분리하는 과정을 자세히 살펴 보면보면, 도 8에서와 같이, 먼저 분리부(40)에 입력되는 데이터는 시스템이 제공하는 클럭에 맞추어 레지스터 수단의 3개의 레지스터 R3(401), R2(402), R1(403)로 입력된다. 이때, 입력되는 데이터는 8 비트 단위로 입력되므로 3개의 레지스터 각각에는 순차적으로 8 비트씩의 데이터를 계속 읽어 들인다.

한편, 제어수단의 카운터에서(404)는 상기와 같이 3개의 레지스터 각각에 데이터가 입력되면, 시스템으로부터 제공되는 인에이블 신호(enable)를 입력받아 타이밍을 계산하여 상기 레지스터 수단에 일시 저장된 데이터를 디포맷처리부(36)가 각 성분별로 분리하여 읽어서 버퍼링 수단의 각 버퍼에 저장할 수 있도록 각 성분별 데이터 읽기 인에이블 신호를 제공하는 3개의 제어기(405, 406, 407) 각각에 별도의 인에이블 신호를 제공한다. 그러면, 상기 3개의 제어기에서는 각각 STA-EN 신호와 DC/QNO-EN 신호 및 AC-EN 신호를 생성하여 디포맷처리부(36)로 제공하여 상기 3개의 레지스터에 일시 저장하였던 데이터를 각 성분별로 분리하여 읽어서 버퍼링 수단의 버퍼 메모리로 옮겨 놓도록 한다,

이에 따라 디포맷처리부(36)에서는 STA-EN 신호가 입력되면 데이터의 상태 성분 데이터(STA)가 4 비트이므로, 레지스터 R1(403)의 최상위 4 비트(7:4)를 읽어서 버퍼링 수단의 버퍼 메모리 r1(408)에 옮겨 놓는다. 다음으로 DC/QNO-EN 신호가 입력되면 데이터의 압축된 DC 성분과 양자화 번호(QNO) 성분 데이터는 각각 DC 성분이 12 비트이고 QNO가 4 비트이므로, 레지스터 R1(403)의 하위 4 비트(3:0)와 레지스터R2(402)의 전체 8 4 비트(7:0) 및 R3(401)의 상위 4 비트(7:4)를 읽어서 버퍼링 수단의 버퍼 메모리 r2(409)에 옮겨 놓는다. 그리고, AC-EN 신호가 입력되면 압축된 데이터의 AC 성분 데이터는 16 비트이므로 다음으로 입력되는 레지스터 R1(403)의 하위 4 비트(3:0)와 레지스터 R2(402)의 전체 8 비트(7:0) 및 R3(401)의 상위 4 비트(7:4)를 읽어서 버퍼링 수단의 버퍼 메모리 r3(410)에 옮겨 놓는다.

이렇게 데이터의 각 성분별로 데이터를 분리하여 옮겨진 데이터는 이후 디포맷처리부(36)에서 행하는 디포맷 과정에서 버퍼링 수단의 R1(408) 버퍼에 옮겨진 상태 성분 데이터(STA)는 단순히 데이터의 비트 스트림의 상태를 나타내는 상태 성분 데이터(이 4개의 비트값이 0 이면 올바른 데이터이고, 0 이 아니면 에러가 발생된 데이터로 구분하는 데 사용되는 데이터)이므로 디포맷 과정에서는 사용되지 않는 불필요한 데이터 성분이므로 별도의 레지스터(도면 미표시)로 보내고, 디포맷 대상 데이터인 AC 성분 데이터(8 x 8 DCT 블록의 좌상귀 DC 성분 1 비트를 제외한 나머지 63 비트의 AC 성분을 나타내는 압축된 데이터)는 버퍼 메모리 S1/S2(35, 35')로 보내어 디포맷처리부(36)에서 디포맷처리하게 한다. 한편, DC/QNO 성분 데이터는 디포맷할 필요가 없는 데이터(8 x 8 DCT 블록의 DC 성분을 나타내는 좌상귀 1 비트들만이 압축된 데이터이므로 디포맷할 필요가 없고, QNO 성분 데이터는 양자화단계에서 사용된 양자화특성치(MQUANT) 데이터이므로 또한 디포맷 대상 성분이 아니다)이므로 버퍼 메모리 F1/F2(37, 38)로 보내었다가 이후 디포맷된 AC 성분 데이터와 다시 결합하여 역양자화기(39)에서 전체적으로 역양자화를 거쳐서 완전한 디포맷이 이루어지도록 되어 있다.

상기와 같이, 본 발명에 의한 디포맷 처리 방식은 포맷처리 단계에서 포맷되어 오는 데이터를 디포맷 처리 단계에서 함께 디포맷하지 않고 미리 데이터를 하드웨어 회로를 통하여 각 성분별로 분리하여 디포맷 처리하게 하므로써, 디포맷처리부(36)에서 디포맷할 때에 디포맷 대상 데이터만을 버퍼(35, 35')에서 직접 가져와서 디포맷하게 되므로 디포맷처리부(36)에서 소프트웨어작으로 처리하는 부담이 최소화되어 디포맷시에 발생되는 데이터 액세스 시간이 많이 단축될 뿐만 아니라, 실제 데이터의 디포맷 시간도 빨라지게 된다.

이와 같이 이루어지는 본 발명은, 포맷된 영상 정보를 복호화하는 과정에서 디포맷함에 있어서 데이터의 성분을 미리 분리하여 디포맷 처리하게 하므로써, 디포맷시에 발생되는 데이터 액세스 시간이 많이 단축됨과 함께 실제 데이터의 디포맷 시간도 빨라지게 되어 시스템의 성능을 향상시키는 효과가 있다.

Claims

DCT 처리된 영상 데이터를 부호화 코딩하여 복호화하는 복호화기에 사용되는 데이터 디포맷팅 처리 회로에 있어서,

디포맷팅 회로 전단의 부호화기의 포맷팅 회로에서 포맷된 데이터의 오류를 수정하는 ECC처리부(29)와;

상기 ECC처리부(29)에서 보내오는 데이터를 받아 이를 데이터의 성분별로 분리하는 분리부(40)와;

상기 분리부(40)에서 성분이 분리된 각 성분 데이터를 디포맷팅 처리하는 디포맷처리부(36)와;

상기 디포맷처리부(36)에서 디포맷된 데이터의 실제 DCT 계수값을 복원하는 역양자화를 수행하는 역양자화기(39)와;

상기 디포맷처리부(36)가 데이터를 디포맷팅할 때 상기 디포맷처리부(36)의 제어에 의해 분리부(40)에서 분리된 AC 성분 데이터를 버퍼링하는 버퍼 메모리 S1/S2(35, 35')와;

상기 디포맷처리부(36)가 데이터를 디포맷팅할 때 상기 디포맷처리부(36)의 제어에 의해 분리부(40)에서 분리된 DC 성분과 양자화번호 성분(QNO) 데이터를 버퍼링하는 버퍼 메모리 F1/F2(37, 38)를 포함하여 이루어지는 것을 특징으로 하는 영상부호화기의 데이터 디포맷팅 회로.
제 1항에 있어서, 상기 분리부(40)는 전단의 부호화기 측의 포맷팅 회로의 ECC처리부(29)에서 포맷된 데이터에서 오류가 수정된 데이터를 입력받아 저장하는 레지스터 수단과;

상기 레지스터 수단으로부터 저장된 데이터를 각 성분별로 구분하여 각각 별도의 버퍼 메모리에 일시 저장하는 버퍼링 수단과;

시스템 클럭을 카운트하여 상기 버퍼링 수단에 각각의 성분 데이터를 읽는 인에이블 신호를 제공하는 제어 수단을 포함하여 이루어지는 것을 특징으로 하는 영상부호화기의 데이터 디포맷팅 회로.
제 2항에 있어서, 상기 레지스터 수단은 부호화기의 포맷팅 회로의 ECC처리부(29)로부터 오류가 수정되어 오는 포맷된 데이터를 순차적으로 입력받는 레지스터 R3, R2, R1(401, 402, 403)을 포함하여 이루어지는 것을 특징으로 하는 영상부호화기의 데이터 디포맷팅 회로.
제 2항에 있어서, 상기 버퍼링 수단은 상기 레지스터 R1(403)으로부터 상태 데이터(STA)를 읽어와서 저장하는 임시저장하는 버퍼인 r1(408)과;

상기 레지스터 R3∼R1(403∼401)으로부터 DC 성분 데이터와 양자화번호 데이터(DC/QNO)를 읽어와서 저장하는 임시저장하는 버퍼인 r2(409)와;

상기 레지스터 R3∼R1(403∼401)으로부터 AC 성분 데이터(AC)를 읽어와서 저장하는 임시저장하는 버퍼인 r3(410)을 포함하여 이루어지는 것을 특징으로 하는 영상부호화기의 데이터 디포맷팅 회로.
제 2항에 있어서, 상기 제어 수단은 시스템이 제공하는 인에이블 신호를 카운트하여 각 성분별 읽기 인에이블 신호를 제공하는 카운터(404)와;

상기 카운터에서 제공하는 인에이블 신호에 따라 상기 레지스터 R3∼R1(403∼401)으로부터 각각의 성분 데이터를 읽어내도록 상기 버퍼 메모리 r1∼r3에 제어신호를 제공하는 제어기(405, 406, 407)를 포함하여 이루어지는 것을 특징으로 하는 영상부호화기의 데이터 디포맷팅 회로 .