KR0130452B1 - 영상복호장치 - Google Patents

Abstract

본 발명은 디스플레이용 프레임메모리와 움직임 보상용 프레임메모리를 별도로 구비한 프레임메모리 구조를 갖는 영상복호장치에 관한 것이다. 이를 위하여 본 장치는 역이산현변환된 데이터가 인가되면 소정 화소단위의 병렬형태로 전송되도록 재배열하는 데이터 재배열부; 데이터 재배열부로부터 출력되는 소정 화소단위의 데이터와 움직임보상처리된 소정 화소단위의 데이터를 역차분펄스코드변조처리를 하기 위한 역차분펄스코드변조기; 역차분펄스코드변조기로부터 출력되는 소정 화소단위의 모든 데이터를 픽쳐단위로 영역을 구분하여 쓰고, 디스플레이수행시 실시간적으로 디스플레이되는 픽쳐순으로 저장된 정보를 읽을 수 있도록 구성된 제1프레임메모리(M1); 역차분변조기로부터 출력되는 소정 화소단위의 데이터중 I와 P픽쳐의 데이터를 픽쳐단위로 교대로 쓰고, 움직임보상시 쓰기 모드 수행기간을 제외한 구간동안 소정의 데이터를 읽을 수 있도록 구성된 제2 및 제3프레임메모리(M2, M3); 역차분펄스코드변조기에서 출력되는 소정 화소단위의 데이터를 제1프레임메모리(M1) 제2 내지 제3프레임메모리(M2, M3)에 선택적으로 전송하기 위한 디멀티플렉서; 가변길이복호기로부터 제공되는 움직임벡터에 의해 제1 내지 제3프레임메모리(M1, M2, M3)로 쓰기 및 읽기 어드레스를 발생하기 위한 어드레스발 생부를 포함하도록 구성된다.

Description

영상복호장치

제1도는 MPEG방식에서 이용되는 화상군의 구조도.

제2도는 일반적인 영상복호장치의 개략적인 블록도.

제3도는 본 발명에 따른 영상복호장치의 블럭도.

제4도는 제3도에 도시된 프레임메모리들(M1.M2.M3)의 동작 도표.

제5a, 5b도는 M1프레임메모리의 1프레임데이타에 대한 쓰기 및 읽기 동작타이밍도.

* 도면의 주요부분에 대한 부호의 설명

10 : 버퍼 20 : 가변길이복호기

30 : 역양자화기 40 : 역이산여현변환기(IDCT)

50 : 프레임메모리 및 움직임 보상부 51,56 : 버퍼

52 : 데이타 재배열부 53 : 차분복호기(IDPCM)

54 : 디멀티플렉서(DEMUX) 55 : 프레임메모리부

57 : 어드레스 발생부 58 : 멀티플렉서(MUX)

59 : 반화소 움직임 보상부

본 발명은 영상복호장치에 관한 것으로, 특히 I, B, P픽쳐 구조를 갖는 영상 처리시스템에 있어서 디스플레이용과 움직임보상용 프레임메모리를 별도로 구비한 영상복호장치에 관한 것이다.

영상의 압축 부호화에는 구성 형태에 따라서 크게 동영상 부호화와 정지영상부호화로 나눌 수 있다. 동영상 부호화는 화면간영상에서 시간적으로 연속된 화면들간의 중복성을 제거하여 데이터를 압축하는 기술로 이루어지고, 정지영상 부호화는 화면내영상에 존재하는 중복성을 제거하여 데이터를 압축하는 기술로 이루어진다.

이러한 압축기술에 있어서 움직임 보상을 이용한 동영상 부호화 방법으로 가장 대표적인 것은 프레임내(intraframe)데이타의 상관성을 이용한 것으로 이산여현변환(DCT; Discrete Cosine Transform), 서브밴드 코딩(Subband Coding), 가변길이 부호화(VLC: Variable Coding)등이 있으며, 프레임간(interframe) 데이타의 상관성을 이용한 것으로는 움직임 보상을 이용한 프레임간 차분부호화 방법이 있다. 이러한 동영상 부호화방법에 의해 부호화된 영상데이타를 복호화하는 HDTV등과 같은 영상복호기는 MPEG(Moving Picture Experts Group)방식에서 사용되는 I, P, B 픽쳐(picture)의 구성형태를 갖는 경우가 많다. 여기서I(Intraframe) 픽쳐는 픽쳐내 부호화만을 적용하는 픽쳐이고, P 픽쳐는 I 픽쳐를 기준으로 정방향 움직임 보상(Forward motion compensation)을 하여 차분부호화한 픽쳐이고, B픽쳐는 이전과 이후의 I 픽쳐나 P 픽쳐의 두 프레임으로부터 양방향(Bi-directional)움직임 보상에 의한 ck분부호화 픽쳐이다. 특히 B 픽쳐는 I와 P, 또는 P와 P픽쳐에 의하여 복구되어 디스플레이가 가능하므로 영상복호장치로 입력되는 픽쳐의 순서와 디스플레이되는 픽쳐의 순서는 다음과 같이 상이하다.

* 복호기 입력순서 : I1 B B P1 B11 B12 P2 B21 B22 P3 B31 B32 .... I2 ..

* 디스플레이 순서 : B B I1 B11 B12 P1 B21 B22 P2 B31 B32 P3 .... I2 ..

그러므로 이와 같은 순서로 처리되는 영상복호장치는 입력되는 순서대로 디스플레이되는 구조의 영상복호장치와는 다른 구조를 갖게 된다.

제2도는 일반적인 영상복호장치의 구조를 나타낸 블럭도로서, 부호기에서 부호화된 데이타를 입력으로 하여 버퍼(10)에 저장하고, 이 저장된 데이타를 가변길이복호기(Variable Length Decorder;20)에서 가변길이 복호화한 후 역양자화기(30)에서 역양자화하고, 역이산여현변화기(40)에서 역이산여현변환한 후 프레임메모리 및 움직임 보상부(50)에서 움직임 보상되어 복원된 화상을 디스플레이한다.

이로 인하여 HDTV(High Definition TeleVision)와 같이 고주파수에서 동작하는 시스템에서는 디스플레이시 실시간처리를 가능하게 하기 위하여 고속의 플레임메모리를 요구하고 있다. 그러나 고속의 프레임메모리의 채용은 시스템의 가격을 상승시킬뿐 아니라 구현이 어려운 단점도 있다. 따라서 본 발명은 상술한 문제점을 해결하기 위하여, 저속의 프레임메모리로 디스플레이시 실시간처리가 가능한 프레임메모리구조를 구현하는 영상복호장치를 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 디스플레이용 프레임메모리와 움직임보상용 프레임메모리를 별도로 구비한 프레임메모리 구조를 갖는 영상복호장치를 제공하는데 있다.

상기 목적을 달성하기 위하여 본 발명에 따른 영상복호장치는, I, P, B픽쳐구조로 부호화된 영상데이타를 가변길이 복호화하기 위한 가변길이 복호기, 가변길이 복호기로부터 출력되는 데이터를 역양자화 및 역이산여현변환처리를 하고, 움직임 보상처리를 하도록 구성된 영상복호장치에 있어서, 역이산여현변환된 데이타가 인가되면 소정 화소단위의 병렬형태로 전송되도록 재배열하는 데이터 재배열부 ; 데이터 재배열부로부터 출력되는 소정 화소단위의 데이터와 움직임보상처리된 소정 화소단위의 데이터를 역차분펄스코드변조처리를 하기 위한 역차분펄스코드변조기; 역차분펄스코드변조기로부터 출력되는 소정 화소단위의 모든 데이터를 픽쳐단위로 영역을 구분하여 쓰고, 디스플레이수행시 실시간적으로 디스플레이되는 픽쳐순으로 저장된 정보를 읽을 수 있도록 구성된 제1프레임 메모리(M1); 역차분변조기로부터 출력되는 소정 화소단위의 데이터중 I와 P픽쳐의 데이터를 픽쳐단위로 교대로 쓰고, 움직임보상시 쓰기모드 수행기간을 제외한 구간동안 소정의 데이터를 읽을 수 있도록 구성된 제2 및 제3프레임메모리(M2, M3); 역차분펄스코드변조기에서 출력되는 소정 화소단위의 데이터를 제1프레임메모리(M1) 및 제2 내지 제3프레임메모리(M2, M3)에 선택적으로 전송하기 위한 디멀티플렉서; 가변길이복호기로부터 제공되는 움직임 벡터에 의해 제1 내지 제3프레임메모리(M1, M2, M3)로 쓰기 및 읽기 어드레스를 발생하기 위한 어드레스발생부를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세하게 설명하기로 한다.

제3도는 본 발명에 따른 영상복호장치의 블록도로서, 제2도에 도시된 역이산여현변환부(40)로부터 출력되는 신호를 저장하는 버퍼(51), 버퍼(51)에서 출력되는 데이터를 재배열하는 데이터 재배열부(52), 데이터 재배열부(52)로부터 출력되는 데이터를 역차분펄스코드 변조처리를 하는 역차분펄스코드변조기(IDPCM)(53), 3개의 프레임메모리(M1, M2, M3)로 구성된 프레임메모리부(55), 역차분펄스코드변조기(53)에서 출력되는 데이터를 프레임메모리들(M1, M2, M3)로 선택적으로 전송하기 위한 디멀티플렉서(DEMUX)(54), 프레임메모리부(55)의 읽기 및 쓰기어드레스를 발생하는 어드레스 발생부(57), 제2도에 도시된 가변길이 복호기(20)로부터 전송되는 움직임벡터(Motion Vector)를 일시 저장하였다가 어드레스 발생부(57)로 전송하는 버퍼(56), 버퍼(56)로부터 전송되는 움직임벡터에 의해 프레임메모리(M2, M3)로부터 출력되는 데이터를 선택적으로 전송하기 위한 멀티플렉서(58), 버퍼(56)로부터 제공되는 움직임벡터에 의해 멀티플렉서(58) 출력되는 데이터를 반화소단위의 움직임보상처리를하여 역차분펄스코드변조기(이하 IDPCM이라 약함)(53)로 전송하기 위한 반화소 움직임보상부(59)로 구성된다.

제4도는 제3도에 도시된 프레임메모리부(55)에 구비되어 있는 프레임메모리들(M1, M2, M3)에 대한 동작 도표이고, 제5a, 5b도는 프레임메모리(M1)의 1프레임에 대한 쓰기 및 읽기 구간의 타이밍도이다.

그러면 첨부된 제3도 이하의 도면을 참조하여 본 실시예의 동작을 상세하게 설명하기로 한다.

제2도에 도시되어 있는 역이산여현변환기(IDCT, 이하 IDCT라고 약함)(40)로부터 역이산여현변환된 데이터가 인가되면, 버퍼(51)로 전송된다. 버퍼(51)는 움직임 보상시 시간적인 손실을 보상할 수 있을 정도로 인가된 역이산여현변환된 데이터를 일정시간동안 지연하면서 일정한 속도로 출력한다. 출력된 역이산여현변환된 데이터는 재배열부(52)로 전송된다.

데이터 재배열부(52)는 8화소단위의 병렬구조로 데이터가 출력되도록 인가된 데이터를 재배열하여 출력한다. 출력된 데이터는 IDPCM(53)으로 전송된다.

IDPCM(53)은 데이터 재배열부(52)로부터 전송되는 8화소단위의 역이산여현변환된 데이터와 후술할 반화소 움직임 보상부(59)로부터 전송되는 8화소단위의 반화소 움직임 보상된 데이터간의 역차분펄스코드 변조처리를 하여 출력한다. 출력된 데이터는 디멀티플렉서(54)로 전송된다.

디멀티플렉서(54)는 IDPCM(53)으로부터 전송된 8화소단위의 역차분펄스코드 변조된 데이터를 프레임메모리부(55)내에 구비되어 있는 프레임메모리(M1, M2, M3)로 선택적으로 전송한다.

프레임메모리부(55)는 디스플레이용 프레임메모리(M1) 1개와 움직임보상용 프레임메모리(M2, M3) 2개로 구성되어, I, P, B픽쳐구조로 전송되는 데이터를 저장한다. 즉, 프레임메모리(M1)는 제4도에 도시된 바와 같이 A와 B영역으로 쓰기영역을 분할하고, 전송되는 픽쳐가 I또는 P픽쳐가 입력될 때마다 A에서 B 또는 B에서 A영역으로 데이타가 쓰여지는 영역을 바꿔가면서 기록하고, 디스플레이를 위한 읽기어드레스는 I1픽쳐가 기록된 후 발생되어 정해진 픽쳐순서대로(D(I1), D(B11),....) 출력될 수 있도록 지정된다. 이를 위하여 프레임메모리(M1)는 A, B영역이 각각 1프레임 용량을 갖도록 2프레임용량의 메모리로 구성된다.

그리고 2개의 움직임보상용 프레임메모리(M2), (M3)는 B픽쳐를 제외한 픽쳐에 대하여 제4도에 도시된 바와 같이 교대로 쓰여진다. 즉, 현재 인가되는 픽쳐가 I1인 경우에는 (M2)프레임메모리에 쓰고, P1인 경우에는 (M3)프레임메모리에 쓰고, P2인 경우에는 (M2)프레임메모리에 쓰고, P3인 경우에는 (M3)프레임메모리에 쓴다. 이와같이 교대로 인가되는 픽쳐데이트를 쓴다. 그리고 쓰기모드를 수행하지 않는 기간동안(제4도에 R로 기재된 구간동안)에는 움직임보상을 위한 읽기 모드가 이루어진다 이와같은 동작을 수행하기 위하여 프레임메모리들(M2, M3)은 각각 1프레임용량으로 구성된다.

디멀티플렉서(54)는 역차분펄스코드변조기(53)로부터 전송되는 픽쳐가 제4도에 도시된 동작도표와 같이 저장될 수 있도록 디멀티플렉싱을 한다. 예를 들어 I1에 대한 픽쳐가 인가된 경우에는 프레임메모리(M1)의 A영역과 프레임메모리(M2)에 각각 기록되도록 하고, B11과 B12픽쳐가 인가되면, 프레임메모리(M1)의 A영역에만 기록되도록 디멀티플렉상을 하고, P1픽쳐가 인가되면, 프레임메모리(M1)의 B영역과 프레임메모리(M3)에 각각 기록되도록 디멀티플렉싱을 한다.

이 때, 디스플레이가 인터레이스(Interlace) 방식으로 이루어질 경우에 프레임메모리부(55)의 입력은 매크로블록 단위로 이루어지므로 쓰기와 디스플레이가 동시에 진행될 수 없다. 따라서 제5a, 5b도에 도시된 바와 같이 쓰기기간과 디스플레이기간간에 반 프레임에 해당하는 시간차를 두어 운영한다. 또한, 디스플레이가 프로그레시브(Progressive) 방식으로 이루어질 경우에는 쓰기와 디스플레이가 한 슬라이스 정도의 시간 차이만 있으면 되므로 프레임메모리(M1)를 반드시 2프레임용량을 사용할 필요가 없고, 1프레임 용량의 메모리에 슬라이스 용량의 디스플레이 순서로 바뀌어주는 블럭을 추가하여 구현할 수도 있다.

멀티플렉서(58)는 움직임 보상이 정방향이냐, 역방향이냐 또는 양방향이냐에 따라서 프레임메모리(M2, M3)로부터 읽은 데이터를 선택적으로 반화소 움직임 보상부(59)로 전송하는 역할을 한다. 즉, 정방향이나 역방향의 경우에는 2프레임메모리(M2, M3)로부터 출력되는 데이터 중 해당되는 한 프레임메모리의 데이터를 그대로 반화소 움직임보상부(59)로 전송하고, 양방향의 경우에는 2프레임메모리(M2, M3)로부터 출력되는 데이타의 평균값을 반화소 움직임보상부(59)로 전송한다.

반화소 움직임 보상부(59)는 수평방향, 수직방향, 수평 및 수직방향 모두 행해질 경우, 수평과 수직방향 모두 행해지지 않을 경우 등 모두 4가지 경우에 대한 반화소 움직임보상처리를 수행한다. 그리고 반화소 움직임 보상은 가로 방향의 8화소를 처리하기 위해서 9화소가 필요하므로 움직임 보상을 위한 프레임메모리(M2, M3)에 대한 독출은 2번 행하여 반화소 움직임 보상부(59)로 8화소씩 16개 화소가 전송되면, 반화소 움직임 보상부(59)는 16화소 중 해당되는 9화소를 취하여 수평방향 반화소 움직임 보상을 수행한다.

수직방향의 경우에도 마찬가지이므로 8화소(H)×8화소 의 한 블록을 처리하기 위해 9화소×9화소의 입력이 필요하다. 수평방향의 경우에는 8화소를 8T에 처리하기 위해 4T 두번의 동작으로 9화소 처리를 하였으므로 시간적인 손실이 없었으나, 수직방향의 경우에는 8T×8의 시간동안 한 블럭을 처리해야 하는데 8T×9의 시간에 한 블럭이 처리되므로 시간적인 손실이 발생한다.

그러나 역이산여현변환기(40)의 출력데이타가 계속 입력되므로 이 시간적인 손실을 보상하기 위하여 역이산여현변환기(40)의 출력단에 버퍼(51)를 부가하여 역이산여현변환기(40)의 출력을 시간적으로 조절한다. 즉 역이산여현변환기(40)의 출력을 8T×8의 분량의 데이타를 잃은 후 8T동안을 쉰 뒤 다시 독출하는 과정을 반복한다.

이러한 과정을 통하여 버퍼(51)는 한 프레임동안 계속 저장하는 데이타량이 늘어나다가 역이산여현변환기(40)가 한 프레임의 데이타 처리가 끝난 후 다음 프레임이 시작될때까지 쉬는 동안 처리를 계속하여 다음 프레임이 시작되기 전에 버퍼(51)는 비워지게 되고, 다음 프레임의 시작에서 이와 같은 과정을 반복한다.

이상, 상술한 바와 같이 본 발명은 I, B, P픽쳐구조를 운영되는 영상복호장치에 있어서 프레임메모리를 디스플레이용과 움직임 보상용으로 각각 분리하여 구비함으로써, 저주파용 메모리를 이용하여 구현이 가능하므로 고주파 메모리를 구비함으로 인한 가격 상승 및 구현의 어려움 등을 해소할 수 있는 이점이 있다.

본 발명은 상술한 실시예로서 설명되었으나 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 예를 들어 상술한 예에서는 반화소 움직임보상기술에 적용한 경우를 예시하였으나 화소단위의 움직임보상기술에도 적용이 가능하다. 따라서 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구의 범위에 의하여 정하여져야 한다.

Claims (3)

1. I, P, B픽쳐구조로 부호화된 영상데이타를 가변길이 복호화하기 위한 가변길이 복호기, 상기 가변길이 복호기로부터 출력되는 데이터를 역양자화 및 역이산여현변환처리를하고, 움직임보상처리를 하도록 구성된 영상복호장치에 있어서, 상기 역이산여현변환된 데이터가 인가되면 소정 화소단위의 병렬형태로 전송되도록 재배열하는 데이터 재배열부; 상기 데이터 재배열부로부터 출력되는 상기 소정 화소단위의 데이터와 상기 움직임보상처리된 상기 소정 화소단위의 데이터를 역차분펄스코드변조처리를 하기 위한 역차분펄스코드변조기; 상기 역차분펄스코드변조기로부터 출력되는 상기 소정 화소단위의 모든 데이터를 픽쳐단위로 영역을 구분하여 쓰고, 디스플레이수행시 실시간적으로 디스플레이되는 픽쳐순으로 저장된 정보를 읽을 수 있도록 제1프레임메모리(M1); 상기 역차분변조기로부터 출력되는 상기 소정 화소단위의 데이터중 I와 P픽쳐의 데이터를 픽쳐단위로 교대로 쓰고, 상기 움직임보상시 상기 쓰기모드 수행기간을 제외한 구간동안 소정의 데이터를 읽을 수 있도록 구성된 제2 및 제3프레임메모리(M2, M3) ; 상기 역차분펄스코드변조기에서 출력되는 상기 소정 화소단위의 데이터를 상기 제1프레임메모리(M1) 및 제2 내지 제3프레임메모리(M2, M3)에 선택적으로 전송하기 위한 디멀티플렉서; 상기 가변길이복호기로부터 제공되는 움직임벡터에 의해 상기 제1 내지 제3프레임메모리(M1, M2, M3)로 쓰기 및 읽기 어드레스를 발생하기 위한 어드레스 발생부를 포함하는 것을 특징으로 하는 영상복호장치.
2. 제1항에 있어서, 상기 제1프레임메모리(M1)는 프레임단위의 쓰기영역을 2개 구비하여 상기 디멀티플렉서를 통해 전송되는 픽쳐데이타가 I픽쳐 또는 P픽쳐일 때마다 상기 쓰기 영역을 바꿔가면서 상기 픽쳐데이타에 대한 쓰기를 수행할 수 있도록 2프레임용량으로 구성되고, 상기 제2 및 제3프레임메모리(M2, M3)는 각각 한 프레임 용량으로 구성되는 것을 특징으로 하는 영상복호장치.
3. 제1항에 있어서, 상기 영상복호장치는 상기 움직임보상처리가 반화소단위로 이루어지는 경우에, 시간적인 손실을 보상하기 위하여 상기 역이산여현변환처리되어 전송되는 데이터를 일정시간 지연시켜 상기 데이터 재배열부로 전송하기 위한 버퍼를 더 포함하는 것을 특징으로 하는 영상복호장치.