KR0128879B1 - 영상 복호기에서의 움직임 보상용 메모리 구조 - Google Patents

Abstract

본 발명은 고선명 텔레비젼(HDTV)등과 같이 높은 주파수에서 동작을 하며 MPEG-Ⅱ의 움직임 보상방법을 사용하는 영상복호기에서의 움직임 보상용 메모리 구조에 관한 것으로, 움직임 보상된 이전 프레임의 데이터를 저장하는 메모리수단으로 부터 판독되는 데이터신호에 대해 원신호로의 복원을 위해 반화소 움직임 보상을 수행하여 현재 프레임의 데이터신호와의 프레임간 차분 펄스부호 변조를 실행하는 영상복호기에서의 움직임 보상용 메모리 구조에 있어서, 상기 메모리수단은 복수의 VRAM으로 구성되고 어드레스 발생수단으로 부터의 어드레스신호에 의거하여 프레임간 차분 펄스부호 변조부로 부터 디멀티플렉서를 통해 입력되는 이전 프레임의 데이터를 저장하기 위한 제1 메모리와, 이 제1 메모리의 출력에 연결되며 어드레스 발생수단으로 부터의 어드레스신호에 따라 움직임 보상에 필요한 화소 데이터를 저장하고 반화소 움직임 보상을 위해 멀티플렉서를 통해 반화소 움직임 보상수단에 저장된 화소 데이터를 제공하는 제2 메모리로 구성되며, 반화소 움직임 보상을 갖는 영상복호기에서 SRAM 대신에 VRAM과 작은 용량의 듀얼포트 SRAM을 프레임 메모리로 사용함으로서, 움직임 보상을 위한 프레임 메모리의 가격을 절감시켜 전체 영상복호기 시스템의 저가격화를 실현할 것이다.

Description

영상 복호기에서의 움직임 보상용 메모리 구조

본 발명은 영상 복호기에서 사용되는 움직임 보상용 메모리 구조에 관한 것으로, 특히 고선명 텔레비젼(High Definition TeleVision : HDTV라 약칭함)등과 같이 높은 주파수에서 동작을 하며, MPEG(Moving Picture Experts Group) -II의 움직임 보상방법을 사용하는데 적합한 영상 복호기에서의 움직임 보상용 메모리 구조에 관한 것이다.

최근들어, HDTV의 방식은 높은 주파수를 갖고 MPEG-II 방식과 거의 호환을 이루는 방식으로 결정되어 가는 추세에 있다. MPEG-II 방식은, 이 기술분야에 잘 알려진 바와같이, I, B, P 3가지의 화성으로 구성되는데, 여기에서 I 화상은 인트라 화상을 의미하고, P 화상은 I 화성에 의한 정방향(forward)의 움직임 보상에 의한 것이며, B 화성은 I 및 P 화상 또는 P 및 P 화상에 의한 양방향(bi-direction)의 움직임 보상에 의한 것이다.

또한 MPEG-II 방식에 따르면 여러가지 움직임 보상기능에 의해 더욱 좋은 효율의 움직임 보상이 수행될 수 있다.

상기한 바와같이, 영상 복호기에서 움직임 보상을 수행하는 종래의 일반적인 메모리 구조로서는 일예로서 제5도에 도시된 바와같은 형태의 것이 있다.

일반적인 움직임 보상에 있어서, 움직임 벡터는 일정한 규칙적인 형태의 값을 갖는 것이 아니라 불규칙적인 값이므로 프레임 메모리에서 움직임 보상을 위해 판독해야 할 데이터 또한 불규칙적이다.

이로 인하여, 제5도에 도시된 바와같이, 어드레스 발생부940)가 불규칙적인 판독 어드레스를 발생해야 하므로 프레임 메모리로서 DRAM을 사용하여 구성하는데는 많은 어려운 점이 있다.

또한, 반화소 움직임 보상부(60)에서 반화소 움직임 보상을 행하기 위해서는 원래 프레임 메모리에서 판독해야 할 매크로 블록의 데이터 보다 수평, 수직 방향으로 더 많은 데이터를 판독해야 하므로 프레임 메모리에서의 동작속도가 더 높아지게 된다. 따라서, 이러한 이유로 인해 영상 보호기에서의 프레임 메모리는, 제5도에 도시된 바와같이, SRAM이 주로 사용되고 있다.

그러나, 상기한 바와같은 이유로 SRAM을 프레임 메모리로 사용하는 종래기술은 SRAM의 자체 가격이 고가인 관계로 전체 복호화 시스템에 대한 가격상승의 큰 요인이 되고 있다.

본 발명은 상기한 점에 착안하여 안출한 것으로, 동일한 기능을 수행하면서도 전체 시스템의 저가격화를 실현할 수 있는 영상 복호기에서의 움직임 보상용 메모리 구조를 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위하여 본 발명은, 다수의 움직임 벡터 및 재구성된 이전 프레임 데이터에 근거하는 반화소 움직임 보상을 통해 얻어지는 움직임 보상된 예측 프레임 데이터를 생성하고, 이 생성된 예측 프레임 데이터와 움직임 보상된 현재 프레임의 데이터에 의거하여 차분 펄스 부호 변조된 현재 프레임 신호를 생성하는 영상 복호기에서의 움직임 보상용 메모리 구조에 있어서, 입력되는 움직임 보상된 현재 프레임의 데이터와 상기 움직임 보상된 예측 프레임 데이터에 차분 펄스 부호 변조된 현재 프레임 신호를 생성하는 차분 펄스 부호 변조 블록; 상기 차분 펄스 부호 변조 블록으로부터 제공되는 움직임 보상에 필요한 프레임 신호의 출력을 절환하는 디멀티플렉서; 각 메모리에서의 데이터 기록 및 판독을 위한 판독 어드레스 및 기록 어드레스를 각각 발생하는 어드레스 발생 블록; 두 개의 VRAM으로 구성되며, 상기 어드레스 발생 블록으로부터 제공되는 기록 어드레스에 의거하여 상기 디멀티플렉서를 통해 입력되는 움직임 보상용 프레임 신호를 재구성된 이전 프레임 데이터로서 저장하는 프레임 메모리 블록; 상기 VRAM의 각 출력에 각각 연결된 두개의 SRAM으로 구성되며, 상기 어드레스 발생 블록으로부터 제공되는 기록 어드레스에 의거하여 상기 각 VRAM에서 판독되는 N×N의 움직임 보상 데이터를 공유하는 각 M×M의 블록 데이터들중 상기 움직임 보상 데이터 영역에 포함되는 특정 화소 데이터들만을 각각 저장하고, 상기 어드레스 발생 블록으로부터 제공되는 판독 어드레스에 의거하여 상기 저장된 특정 화소 데이터들을 각각 판독하여 인출하는 듀얼 포트 메모리 블록; 상기 듀얼 포트 메모리 블록에서 인출하는 판독 데이터의 출력을 절환하는 멀티플렉서; 및 움직임 벡터와 상기 멀티 플렉서를 통해 입력되는 상기 판독된 특정 데이터들에 의거하여 반화소 움직임 보상을 수행함으로써 상기 움직임 보상된 예측 프레임 데이터를 생성하며, 이 생성된 움직임 보상된 예측 프레임 데이터를 상기 차분 펄스 부호 변조 블록으로 제공하는 반화소 움직임 보상블록으로 이루어진 영상 복호기에서의 움직임 보상용 메모리 구조를 제공한다.

제1도는 본 발명의 바람직한 실시예에 따른 영상 복호기에서의 움직임 보상용 메모리 구조의 블록구성도.

제2도는 본 발명에 따라 메모리에 입력되는 데이터의 순서를 보여주는 순서도.

제3도는 본 발명에 따라 VRAM에 데이터가 저장되는 형태를 보여주는 도면.

제4도는 본 발명에 따라 움직임 보상되는 매크로 블록 데이터의 일예를 보여주는 예시도.

* 도면의 주요부분에 대한 부호의 설명

10 : 프레임간 차분 펄스 부호 변조부 20 : 디멀티플렉서

30 : 메모리 32a, 32b : VRAM

34a, 34b : SRAM 40 : 어드레스 발생부

50 : 멀티플렉서 60 : 반화소 움직임 보상부

본 발명의 상기 및 기타 목적과 여러가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

제1도는 본 발명의 바람직한 실시예에 따른 영상 복호기에서의 움직임 보상용 메모리 구조의 블록구성도를 나타낸다.

동도면에 도시된 바와같이, 본 발명의 메모리 구조는, 제5도에 도시된 종래의 메모리 구조에서, 이전 프레임의 데이터를 저장하는 메모리로서 SRAM 대신에 VRAM과 작은 용량의 듀얼포트 SRAM을 사용한 것에 그 구성상의 주된 특징을 갖는 것으로, 이러한 구성에 의해 본 발명에서 목적으로 하는 바를 달성할 수 있다.

제1도를 참조하면, 프레임간 차분 펄스 부호 변조부(IDPCM)(10)는 도시 생략된 역이산 코사인 변환부(IDCT)로부터 제공되는 프레임 데이터(차분 프레임 신호)와 반화소 움직임 보상부(60)로부터 제공되는 움직임 보상된 데이터에 의거하여 프레임간의 상관성을 이용한 차분 펄스 부호 변조를 수행하여 복원된 현재 프레임 신호를 생성하며, 이와같이 생성된 현재 프레임 신호는 도시 생략된 디스플레이측으로 전송된다. 이때, 프레임간 차분 펄스 부호 변조부(10)에서 출력되는 움직임 보상에 필요한 프레임 데이터인 I 화상과 P 화상 데이터는 디스플레이측으로 전송됨과 동시에 디멀티플렉서(20)를 통해 메모리(30)에 이전 프레임으로써 저장된다.

한편, 메모리(30)는 디멀티플렉서(20)를 통해 입력되는 프레임 데이터를 각각 저장하는 두 개의 VRAM(32a, 32b)과 각 출력에 각각 연결된 두 개의 듀얼포트 SRAM(34a, 34b)으로 구성되는데, 이러한 각 듀얼 포트 SRAM(34a, 34b)에는 움직임 보상에 필요한 화소 데이터가 저장되며, 여기에 저장된 화소 데이터들은 어드레스 발생부(40)로부터 제공되는 판독 어드레스에 따라 판독되어 멀티플렉서(50)를 통해 반화소 움직임 보상부(60)로 제공된다. 이때, 두 개의 VRAM(32a, 32b)과 두 개의 듀얼 포트 SRAM(34a, 34b)에서의 데이터 기록 및 판독은 어드레스 발생부(40)로부터 제공되는 기록 어드레스 및 판독 어드레스에 의거하여 수행된다.

또한, 반화소 움직임 보상부(60)는 반화소 단위로 움직임을 보상, 즉 반화소 위치가 단일 화소의 중심에 위치하므로 보상하고자 하는 반화소의 위치를 중심으로 수평 및 수직측에 근접하게 위치한 단일 화소 데이터값들의 평균을 취함으로써 반화소 움직임 보상을 수행하며, 움직임 보상된 데이터들은 전술한 프레임간 차분 펄스 부호 변조부(10)로 제공된다.

따라서, 프레임간 차분 펄스 부호 변조부(10)에서는 IDCT 되어 입력되는 프레임 데이터(차분신호)와 상기 반화소 움직임 보상부(60)로부터 제공되는 움직임 보상된 데이터에 의거하여 차분 펄스 부호로 변조된 원 프레임 데이터를 생성한 다음 도시 생략된 디스플레이측으로 전송한다.

이때, 프레임간 차분 플스 부호 변조부(10)에 입력되는 IDCT된 데이터의 형태가, 일예로서 제2도에 도시된 바와같이, 매크로 블록의 순서대로 입력되므로, 프레임 메모리(30)에 저장되는 매크로 블록의 형태로 된다. 제2도에서 굵은 실선은 화상의 경계를 나타내고, 가는 실선은 매크로 블록의 경계를 나타내며, 점선은 블록의 경계를 나타낸다.

따라서, 전술한 종래기술에서와 같이 프레임 메모리로써 SRAM을 채용하는 경우에는 매크로 블록 데이터를 화면서에의 위치대로 그대로 저장하면 되지만, 본 발명에서와 같이 프레임 메모리로써 VRAM(DRAM의 경우도 동일함)을 채용하는 경우에는 SRAM을 채용하는 경우와 동일한 방법으로 저장하게 되면 불규칙적인 움직임 벡터값에 의하여 VRAM에서 움직임 보상을 위해 판독되는 어드레스가 불규칙적인 형태로 될 수 있으며, 이로 인해 VRAM에서 동작속도가 느린 랜덤 억세스 모드 동작에 의하여 데이터 처리를 요구된 시간내에 수행할 수 없게 되는 문제가 야기될 수 있다.

그러므로, 본 발명에서는 상기한 점을 고려하여 전술한 종래 기술과는 다른 데이터 저장방법을 필요로 한다.

즉, 본 발명에서는, 일예로서 제2도에 도시된 바와같이, 데이터의 입력 순서대로 그대로 한 행내의 열만 변경하여 데이터를 기록하고 한 행의 저장이 끝나면 그 다음 행으로 바꾸어 기록하는 방식을 이용, 즉 한 블록

단위로 한 행씩 기록하여 한 블록 데이터를 모두 기록한 다음 이어지는 다음 블록의 데이터를 동일한 방식으로 기록하는 기법을 이용한다. 이러한 저장방식은 VRAM에서의 고속동작이 가능한 모드인 시리얼 클럭모드를 이용하기 위해서이다.

여기에서, VRAM에서의 시리얼 클럭모드는, 하나의 행과 열 어드레스가 주어진 다음 시리얼 클럭단자에 클럭형태의 신호가 인가되면 그 열을 시작으로하여 정해진 행내에서 클럭신호가 발생할 때마다 열 어드레스를 1씩 증가하면서 동작하는 모드이다. 또한, VRAM이 시리얼 클럭모드를 사용할 수 있는 정해진 시간 이후에 다시 다른 행 어드레스와 열 어드레스가 인가되면 다시 새로운 행에 대한 상기한 바와같은 동일한 과정을 반복해서 실행하게 된다. 따라서, VRAM의 시리얼 클럭모드에서는 일반적인 랜덤 억세스 모드와는 달리 고속의 데이터 입출력이 가능하다.

또한, VRAM 에서는 행 어드레스가 인가되고 다음에 다른 행 어드레스가 인가되는 시간이 기설정된 VRAM의 규격 이상으로 되더라도 행이 바뀔 때 랜덤 억세스 모드와 같은 시간지연이 발생하지 않고 시리얼 클럭모드의 동작속도를 그대로 유지할 수 있다. 이러한 것이 DRAM과 비교했을 때 SRAM의 큰 장점이 된다.

더욱이, 하나의 행내에서 열의 수는 항상 2n의 형태를 갖는데, 매크로 블록의 크기 또한 16 × 16 화소이므로 마찬가지로 항상 2n의 형태를 갖게 되므로, 제3도에 도시된 바와같이, 매크로 블록 단위로 데이터를 저장하게 되면 한 행내에 데이터를 낭비없이 저장할 수 있다. 결과적으로, VRAM의 시리얼 클럭모드를 사용하면 높은 주파수에서 동작하는 HDTV 등에 채용되는 영상 복호기에서도 사용할 수 있다. 즉, 시리얼 클럭모드를 사용하기 위한 조건인 행 어드레스가 가해진 후 다음 행 어드레스가 인가될 때까지의 시간이 정해진 시간 이상이면 된다. 제3도에서 각 블록내의 숫자는 매크로 블록의 일련번호를 나타낸다.

다음에, 메모리에 데이터를 기록하는 동작의 경우에는, 제2도에 도시된 바와같이, 데이터가 일정한 형태로 전송되므로, 일예로서 제3도에 도시된 바와같은 형태로 매크로 블록 데이터를 기록할 경우 행이 바뀌는 시간이 규격의 시간보다 충분히 더 긴 시간을 유지할 수 있다. 따라서, 여기에서의 문제는 움직임 보상을 위한 데이터의 판독과정이라 할 수 있다.

전술한 바와같이, 움직임 벡터는 규칙적인 형태가 아니라 불규칙적인 것이므로, 메모리에서 판독해야 할 데이터가 한 행내에 전부 존재하는 것이 아니라 여러개의 행에 걸쳐 존재할 수 있다. 제4도는 이러한 경우의 일예를 도시한 것이다.

제4도는 한 매크로 블록의 움직임 보상을 위하여 행의 변화가 많은 경우를 일예로서 도시한 것으로, 움직임 보상을 위한 데이터가 4개의 행에 걸쳐 분포하는 경우이다. 동도면에서 굵은 실선은 매크로 블록의 경계를 나타내고, 가는 실선은 블록의 경계를 나타내며, 점선은 움직임 보상 데이터를 나타낸다.

상기한 경우에 있어서, 조건이 만족되면 시리얼 클럭모드로 데이터를 판독하고, 조건이 만족되지 않으면 상대적으로 동작속도가 느린 랜덤 억세스 모드로 데이터를 판독하게 된다. 이러한 방법은 행이 바뀌는 구간이 많이 발생하는 것이 아니므로 그와같이 동작하더라도 한 프레임을 처리해야 할 시간내에 움직임 보상을 수행할 수 있다. 그러나, 이러한 방법은 움직임 벡터값에 의하여 가변적인 속도로 동작해야만 하므로 시스템의 구현에 여러 가지 어려움이 따르게 된다.

따라서, 본 발명에서는 상기한 점을 고려하여, 일예로서 제4도에 도시된 바와같이, N × N의 움직임 보상 데이터를 포함하는 9개의 M × M의 블록 데이터를 VRAM(32a, 32b)에서 모두 판독하여 대응하는 듀얼 포트 SRAM(34a, 34b)으로 전송하고, 듀얼 포트 SRAM(34a, 34b)에서는 필요없는 데이터는 버리고 필요한 데이터만을 저장하도록 한다. 즉, 제4도에 있어서, 9개의 M × M의 움직임 보상 데이터 영역에 포함되는 각 블록 데이터들(즉, 움직임 보상에 필요한 화소 데이터들)만을 듀얼 포트SRAM(34a, 34b)에 저장한다. 이러한 저장방법을 통해 상술한 바와같은 랜덤 억세스 모드가 필요한 구간을 제거함으로써 항상 시리얼 클럭모드로 일정하게 동작할 수 있다. 즉, 상술한 시스템 구현의 곤란함을 효과적으로 제거할 수 있다.

한편, 상기한 바와같은 데이터 처리 방법의 경우 메모리에서 더 많은 데이터를 판독해야 하므로 그로 인한 시간 지연이 야기될 수 있을 것으로 보여질 수도 있으나, 이것은 데이터를 덜 판독하고 대신에 랜덤 억세스 모드로 동작하도록 하는 방법과 비교해 볼때, 랜덤 억세스에 의한 시간 지연을 필요로 하지 않으므로 실질적인 시간 차이는 존재하지 않는다. 이때, 9개 블록의 데이터를 모두 판독하는 이유는 반화소 움직임 보상을 위한 하나의 매크로 블록의 처리를 위해서는 수평 및 수직 방향으로 각각 1화소씩 더 판독해야 하기 때문이다.

즉, 본 발명에 따라 듀얼 포트 SRAM(34a, 34b)에는 실제적인 움직임 보상에 필요한 화소 데이터만을 저장하면 되므로 작은 용량의 메모리로 사용할 수 있으며, 여기에서의 동작은 SRAM을 사용할 때와 같은 고속동작으로 수행된다.

이상 설명한 바와같이 본 발명에 따르면, HDTV 등과 같이 높은 주파수에서 동작하면서 MPEG-Ⅱ 방식 등에서 널리 사용되고 있는 반화소 움직임 보상을 갖는 영상 복호기에서 SRAM 대신에 VRAM과 작은 용량의 듀얼 포트 SRAM을 프레임 메모리로써 사용함으로써, 움직임 보상을 위한 프레임 메모리의 가격을 절감시켜 전체 영상 복호기 시스템의 저가격화를 실현할 수 있다.

Claims (2)

1. 다수의 움직임 벡터 및 재구성된 이전 프레임 데이터에 근거하는 반화소 움직임 보상을 통해 얻어지는 움직임 보상된 예측 프레임 데이터를 생성하고, 이 생성된 예측 프레임 데이터와 움직임 보상된 현재 프레임의 데이터에 의거하여 차분 펄스 부호 변조된 현재 프레임 신호를 생성하는 영상 복호기에서의 움직임 보상용 메모리 구조에 있어서, 입력되는 움직임 보상된 현재 프레임의 데이터와 상기 움직임 보상된 예측 프레임 데이터와 차분 펄스 부호 변조된 현재 프레임 신호를 생성하는 차분 펄스 부호 변조 블록; 상기 차분 펄스 부호 변조 블록으로부터 제공되는 움직임 보상에 필요한 프레임 신호의 출력을 절환하는 디멀티플렉서; 각 메모리에서의 데이터 기록 및 판독을 위한 판독 어드레스 및 기록 어드레스를 각각 발생하는 어드레스 발생 블록; 두 개의 VRAM으로 구성되며, 상기 어드레스 발생 블록으로부터 제공되는 기록 어드레스에 의거하여 상기 디멀티플렉서를 통해 입력되는 움직임 보상용 프레임 신호를 재구성된 이전 프레임 데이터로서 저장하는 프레임 메모리 블록; 상기 VRAM의 각 출력에 각각 연결된 두개의 SRAM으로 구성되며, 상기 어드레스 발생 블록으로부터 제공되는 기록 어드레스에 의거하여 상기 각 VRAM에서 판독되는 N × N의 움직임 보상 데이터를 공유하는 각 M × M의 블록 데이터들중 상기 움직임 보상 데이터 영역에 포함되는 특정 화소 데이터들만을 각각 저장하고, 상기 어드레스 발생 블록으로부터 제공되는 판독 어드레스에 의거하여 상기 저장된 특정 화소 데이터들을 각각 판독하여 인출하는 듀얼 포트 메모리 블록; 상기 듀얼 포트 메모리 블록에서 인출되는 판독 데이터의 출력을 절환하는 멀티플렉서; 및 움직임 벡터와 상기 멀티 플렉서를 통해 입력되는 상기 판독된 특정 데이터들에 의거하여 반화소 움직임 보상을 수행함으로써 상기 움직임 보상된 예측 프레임 데이터를 생성하며, 이 생성된 움직임 보상된 예측 프레임 데이터를 상기 차분 펄스 부호 변조 블록으로 제공하는 반화소 움직임 보상 블록으로 이루어진 영상 복호기에서의 움직임 보상용 메모리 구조.
2. 제1항에 있어서, 상기 프레임 메모리 블록은, 시리얼 클럭모드로 상기 재구성된 이전 프레임 데이터의 입출력을 수행하는 것을 특징으로 하는 영상 복호기에서의 움직임 보상용 메모리 구조.