KR100372084B1 - 저소비전력을 위한 ｍｐｅｇ 압축영상의 메모리 저장 방법및 그에 따른 프레임 버퍼 구조 - Google Patents

Abstract

본 발명은 낮은 소비전력을 요구하면서 MPEG 영상신호를 처리하고자 하는 응용영역에 대해 적절히 대응할 수 있도록 프레임 버퍼를 로직과 함께 집적하며, 분산된 9-타일 맵핑 형태의 데이터 저장 방법 및 이를 위한 부분활성화가 가능한 서브 워드라인 방식의 9개 뱅크를 가진 프레임 버퍼 구조를 제공하여 MPEG 압축영상 신호를 처리하는 데 있어 움직임 보상을 위한 프레임 버퍼 엑세스를 낮은 전력으로 수행하도록 하였다. 본 발명은 영상 데이터를 프레임 버퍼에 저장하는 데 있어서, 임의의 이미지 프레임을 8×8 화소 영역으로 분할하는 제 1과정과; 상기 제 1과정에서 분할되어진 각 블록 영역에 대하여 3×3 형태의 인접한 9개 블록 영역으로 재 설정하는 제 2과정과; 상기 제 2과정을 통해 설정되어진 3×3 인접한 9개 블록 영역을 구성하는 8×8 화소 블록들을 하나의 메모리 열에 맵핑 하는 제 3과정; 및 상기 제 3과정에서 하나의 메모리 열에 맵핑 되어진 9개의 각 8×8 화소 영역들을 서로 다른 뱅크에 분산 저장하는 제 4과정을 포함하는 것을 특징으로 한다.

Description

저소비전력을 위한 ＭＰＥＧ 압축영상의 메모리 저장 방법 및 그에 따른 프레임 버퍼 구조 {Low Power Memory storing method for compressed MPEG Image and its frame buffer structure}

본 발명은 MPEG 압축영상 처리방식 및 이를 위한 프레임 버퍼의 구조에 관한 것으로 특히, 낮은 소비전력을 요구하면서 MPEG 영상신호를 처리하고자 하는 응용영역에 대해 적절히 대응할 수 있도록 프레임 버퍼를 로직과 함께 집적하며, 분산된 9-타일 맵핑 형태의 데이터 저장 방법 및 이를 위한 부분활성화가 가능한 서브 워드라인 방식의 9개 뱅크를 가진 프레임 버퍼 구조에 관한 것이다.

일반적으로, 현대 문명사회는 일반 소비자의 욕구를 충족시키는 방향으로 빠르게 발전하는 동시에 소비자의 취향이나 소비 패턴을 새로이 유도하거나 조성하는 경향을 강하게 띄고 있다.

이러한 경향은 새로운 패션이나 신상품의 개발을 통해 이루어지는 데, 이러한 신상품의 개발의 방향은 소형화, 다 기능화, 고성능화 등등으로 대변할 수 있으며, 영상 신호처리에 관련한 제품에서는 영상신호의 빠른 전송과 그와 더불어 고 선명도 등등이 부가적으로 요구되고 있는 사항이다.

따라서, 이러한 욕구에 부합하고자 제안되어진 기술이 MPEG 영상 압축기술이며, 상술한 MPEG 영상 압축기술은 현재 매우 다양한 영역에서 사용되고 있으며 대상으로 하는 응용분야에 따라 그 표준이 각각 정해져 있다.

MPEG-1 영상압축 기술은 1.5 Mbps 정도의 데이터 대역폭이 주어지는 환경에서 영상을 처리하는 것을 목표로 하는 기술이며, 주로 CD-ROM으로 데이터를 읽어들여 비디오 CD의 화면 질을 나타내는 것을 추구한다.

한편, MPEG-2 영상압축 기술은 그 대상이 고화질의 디지털 TV(HDTV) 용으로 설계되었으며, 따라서 MPEG-1에 비해 훨씬 큰 데이터 대역폭 및 데이터 처리 로직에서의 높은 계산 성능을 요구하고 있다. 지금까지 MPEG 영상처리와 관련한 하드웨어로는 주로 고성능화 및 알고리즘의 최적화를 추구하여 MPEG-2 표준을 목표로 한 결과가 대부분이었다.

반면에 새로운 영상 압축 표준인 MPEG-4는 그 대상이 대역폭이 상대적으로 매우 낮은 수십 ~ 수백 Kbps 정도의 이동 통신 환경을 기반으로 영상 처리하는 것을 목표로 하여 설정된 것으로, 최근 들어 최종 드래프트가 정해지고 있으며 IMT-2000 등의 대용량의 이동 통신 환경의 상용화에 힘입어 그 응용분야가 휴대 정보통신 분야를 기반으로 하여 매우 다양해 질 것으로 예상되고 있다.

따라서, 새로운 영상표준은 그 대상이 휴대정보통신분야인 이상 그리 높지 않은 데이터 처리 능력으로 구현이 가능하며, 이를 지원하는 하드웨어는 높은 성능보다는 휴대 기기에 특성에 맞도록 낮은 소비전력을 추구하는 것이 더욱 중요하다.

상술한 MPEG 영상 압축기술의 성장과 더불어 반도체 분야에서도 매우 활발한 기술의 변혁이 이루어지고 있는 실정인데, 그 한 예로 메모리를 로직과 하나의 칩 위에 집적하는 EML(Embedded Memory Logic) 기술은 SOC(System On a Chip)을 구현하는 한가지 중요한 방식으로, 특히 메모리 소자인 DRAM을 로직과 같이 집적함으로써 기존의 두 부분이 분리된 시스템에 비해 월등히 높은 데이터 대역폭을 얻을 수 있으며 이를 통해 높은 데이터 처리 성능을 함께 얻을 수 있게 되었다.

또한, 메모리 엑세스를 위한 외부 데이터 I/O 동작이 필요 없이 칩 내부의 작은 부하를 통한 데이터 전송이 가능하여 저소비전력의 구현이 매우 용이해지는 실정이다.

그러나, 이러한 기술의 변화에도 불구하고 실제적으로 휴대정보통신분야에서 영상을 휴대용 단말기를 통해 시청하고자 하는 경우 신호 지연에 따라 원활한 동영상의 시청이 어려워 현재까지 기술로는 그 한계가 있으며 특히, 현재까지의 기술로 원활한 동영상을 시청하기 위해서는 매우 높은 소비전력이 필요함에 따라 휴대용 단말기 본원의 기능을 수행하는 데 많은 제한이 따르는 문제점이 발생되었다.

즉, 휴대용 단말기는 주목적인 개인 통신의 측면에서는 낮은 소비전력을 바탕으로 하는 오랜 대기 및 통화시간의 보장이 필수적이며, 반면에 현대 사회가 정보화 사회로 급속하게 발전함에 따라 개개인이 처리할 수 있는 데이터의 대역폭이 급속하게 확대되고있어 휴대 이동 정보 기기에 멀티미디어 신호 처리 기능가 필수적으로 요구되고 있으나 전술하였던 것과 마찬가지로 높은 소비전력이 필요하다는 상충되는 요인이 발생되는 것이다.

또한, 근래 들어 제안되고 있는 IMT-2000 등의 서비스를 통해 화상 전화 등 그 응용분야가 광범위하게 적용되고 있는 현시점에서 필수적으로 해소하여야 하는 문제점으로 대두되고 있다.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은 낮은 소비전력을 요구하면서 MPEG 영상신호를 처리하고자 하는 응용영역에 대해 적절히 대응할 수 있도록 프레임 버퍼를 로직과 함께 집적하며, 분산된 9-타일 맵핑 형태의 데이터 저장 방법 및 이를 위한 부분활성화가 가능한 서브 워드라인 방식의 9개 뱅크를 가진 프레임 버퍼 구조를 제공하는 데 있다.

도 1은 MPEG 압축 영상에서 P/B 타입의 프레임을 처리하는 데 있어 요구되는 데이터 영역을 설명한 도면;

도 2는 매크로블록 단위로 움직임 보상을 수행하는 경우 이전 프레임 내용에서 필요한 영상 데이터의 영역을 설명한 도면;

도 3은 영상을 8x8 화소 크기의 블록 단위로 나누고 이를 각각 분산된 뱅크의 각 열에 맵핑 하는 분산된 9-타일 맵핑 방식과 그에 따른 디램 프레임 버퍼의 구조를 설명한 도면으로서, 프레임 버퍼가 9개의 뱅크 및 부분활성화가 가능한 서브 워드라인 구조를 가진 경우를 나타낸 도면;

도 4는 움직임 보상을 위한 프레임 버퍼 읽기에서, 이전 데이터 복원을 위해 활성화된 블록과 현재의 블록 복원을 위한 영역에 공간적 국지성이 있음을 나타내는 도면; 및

도 5는 프레임 버퍼 메모리의 부분 활성화가 가능한 서브워드라인 구조 및 이를 통해 불필요한 부분에 대한 활성화를 억제하여 저소비전력을 구현하는 것을설명하는 도면이다.

상기 목적을 달성하기 위한 본 발명에 따른 저소비전력을 위한 MPEG 압축영상의 메모리 저장 방법의 특징은, 영상 데이터를 프레임 버퍼에 저장하는 데 있어서, 임의의 이미지 프레임을 8×8 화소 영역으로 분할하는 제 1과정과; 상기 제 1과정에서 분할되어진 각 블록 영역에 대하여 3×3 형태의 인접한 9개 블록 영역으로 재 설정하는 제 2과정과; 상기 제 2과정을 통해 설정되어진 3×3 인접한 9개 블록 영역을 구성하는 8×8 화소 영역들을 하나의 메모리 열에 맵핑 하는 제 3과정; 및 상기 제 3과정에서 하나의 열에 맵핑 되어진 9개의 각 8×8 화소 영역들을 서로 다른 뱅크에 분산 저장하는 제 4과정을 포함하는 데 있다.

상기 목적을 달성하기 위한 본 발명에 따른 저소비전력을 위한 MPEG 압축영상의 메모리 저장 방법의 부가적인 특징은, 상기 8×8 화소 영역을 구성하는 64개의 각 화소는 각각 8비트로 표현되는 Y/Cr/Cb 3종류의 칼라 정보로 구성되며, 하나의 열은 총 512 비트의 정보를 저장하는 것으로, 이는 8×8 화소 영역에 대한 한종류의 칼라 정보 크기에 해당한다. 한편 이전 영상으로부터 하나의 매크로블록을 복원하기 위해서는 최대 인접한 3×3 블록 영역에서 9개의 블록이 필요하며, 이때 각 블록이 위치한 메모리의 뱅크가 서로 다르므로 열 충돌이 발생하지 않는다.

상기 목적을 달성하기 위한 본 발명에 따른 저소비전력을 위한 MPEG 압축영상의 메모리 저장을 위한 프레임 버퍼 구조의 특징은, 영상 데이터를 처리하는 데 있어서, 프레임 버퍼에 부분활성화가 가능한 서브워드라인 구조를 채택하여 현재 필요한 데이터만 활성화하여 사용하는 부분활성화 방식에 따른 데 있다.

본 발명의 상술한 목적과 여러 가지 장점은 이 기술 분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 후술되는 발명의 바람직한 실시 예로부터 더욱 명확하게 될 것이다.

이하, 첨부한 도면을 참조하여 본 발명에 따른 바람직한 실시예를 설명한다.

첨부한 도 1은 MPEG 영상처리에 있어 필요한 움직임 보상을 위해 이전 프레임에 대한 영상 정보를 읽는 방식과 움직임 보상 이후 새로운 프레임에 그 결과를 쓰는 동작을 나타낸 것이다.

이 그림에서는 블록 단위를 8x8 화소 단위로 생각하여 나타낸 것이다.

이는 Cr/Cb 색상 처리에서 주로 발생하는 경우이며, Y 색상 처리에 있어서는 대부분의 경우 16x16 화소 단위인 매크로블록이 기본 처리단위가 된다. 그러나 MPEG-4에서는 경우에 따라 8x8 화소단위로 데이터 처리가 필요한 경우가 있다.

첨부한 도 2는 16x16 화소 단위(4개의 8x8 화소 블록)로 데이터를 처리하는경우, 이를 위해 필요한 이전 프레임의 블록의 개수 및 형태를 나타낸 그림이다.

움직임 벡터의 특성에 따라 최대 9개의 블록이 움직임 보상을 위해 필요하며, 그 블록들은 서로 인접해 있다. 단 움직임 벡터가 (0,0)의 값을 가질 때에는 총 4개의 블록만 필요하게 되나 이런 경우는 거의 발생하지 않는다. 움직임 벡터는 그 값이 불규칙적이다.

첨부한 도 3은 이러한 MPEG 영상 처리에서 일어나는 이전 프레임에 대한 정보를 읽는 방식에 맞도록 프레임 버퍼의 구조를 최적화 하여 이전 프레임 정보를 읽고 처리하는 데 낮은 소비전력을 구현하기 위한 분산된 9-타일 맵핑 방식을 나타낸 것이다.

하나의 8x8 화소 블록은 디램으로 구성된 프레임 버퍼의 하나의 열에 맵핑 된다. 각 화소는 8비트의 정보로 표현되며, 따라서 하나의 열은 총 512 비트의 정보를 저장한다. 한편 서로 인접한 9개의 블록들은 프레임 버퍼의 서로 다른 뱅크에 맵핑 되도록 한다.

이 경우 어떤 매크로블록 크기의 데이터 처리를 위해 총 9개의 블록 데이터를 읽어야 할 때 디램의 뱅크가 서로 다르므로 열 충돌이 발생하지 않는다. 이는 하나의 매크로블록을 처리하는 데 있어 열 충돌로 인해 현재 활성화되어 있는 열을 비 활성화시킨 후 다시 새로운 열을 활성화시키는 동작을 제거할 수 있어 기존의 방식들에 비해 열 사이클 반복으로 인한 소비전력을 감소시킬 수 있다.

첨부한 도 4는 이전 매크로블록 처리를 위해 활성화 된 블록들과 현재의 매크로블록 처리를 위해 활성화되어야 하는 블록들 사이에 공간적인 국지 성이 있음을 나타내는 그림이다.

따라서 이전에 활성화되어 있던 블록들이 열 충돌이 발생하기 이전까지 계속 활성화시킨 상태가 유지되는 경우 공간적인 국지성에 의해 새로이 열을 활성화시키는 회수가 감소하므로 이에 대한 소비전력이 감소한다.

첨부한 도 5는 부분활성화가 가능한 서브워드라인 구조를 프레임 버퍼에 채택함으로써, 저소비전력을 구현하는 것을 설명하는 그림이다. 움직임 벡터의 특성이 불규칙하므로 대개의 경우 블록을 활성화시키는 데 있어 활성화된 블록 데이터 중 일부분만이 움직임 보상을 위해 사용되며 나머지 데이터들은 불필요하게 활성화되었다가 비 활성화되는 경우가 많다.

따라서, 부분활성화가 가능하도록 하고 블록을 4개의 세그먼트로 구분하여 현재 필요한 부분만 활성화시켜 필요 없는 전력소모를 억제시킨다. 이 방식은 또한 프레임 버퍼의 내용을 외부의 영상출력장치로 꺼내 갈 때 일어나는 SAM(Serial Access Memory)으로의 영상 전송이 일어나는 경우에도 매우 유리하다.

즉, 출력장치로 영상을 꺼내 가는 경우는 영상에서 하나의 열에 해당하는 데이터를 필요로 하며, 이는 하나의 블록에 대해서는 1/8에 해당하는 데이터 양이다. 따라서 부분활성화를 이용하여 전체의 1/4만을 활성화시킨 후 데이터 전송을 수행하는 것이 전체 블록을 모두 활성화시키는 것보다 3/4의 전력 이득을 가져온다.

그런데, 1/8 단위로 부분활성화를 하는 것은 한 부분의 데이터가 하나의 열에 대해 64 비트에 해당하는데, 이를 프레임 버퍼에서 구현하기 위해서는 전체 면적이 크게 증가하여 비현실적이다.

이상의 설명에서 본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

이상에서 설명한 바와 같은 본 발명을 통해 MPEG 압축영상 신호를 처리하는 데 있어 움직임 보상을 위한 프레임 버터 엑세스를 낮은 전력으로 수행하도록 하였다. 따라서 MPEG 영상신호 처리 능력을 필요로 하면서 저소비전력 특징을 필수적으로 요구하는 멀티미디어 휴대 기기 등의 응용분야에 적용될 수 있게 되는 효과가 있다.

Claims (4)

1. 영상 데이터를 프레임 버퍼에 저장하는 데 있어서,

   임의의 이미지 프레임을 8×8 화소 영역으로 분할하는 제 1과정과;

   상기 제 1과정에서 분할되어진 각 블록 영역에 대하여 3×3 형태의 인접한 9개 블록 영역으로 재 설정하는 제 2과정과;

   상기 제 2과정을 통해 설정되어진 3×3 인접한 9개 블록 영역을 구성하는 8×8 화소 영역들을 하나의 열에 맵핑 하는 제 3과정; 및

   상기 제 3과정에서 하나의 열에 맵핑 되어진 9개의 각 8×8 화소 영역들을 서로 다른 뱅크에 분산 저장하는 제 4과정을 포함하는 것을 특징으로 하는 저소비전력을 위한 MPEG 압축영상의 메모리 저장 방법.
2. 제 1항에 있어서,

   상기 8×8 화소 영역을 구성하는 64개의 각 화소는 8비트의 정보로 표현되며, 하나의 열은 총 512 비트의 정보를 저장하는 것을 특징으로 하는 저소비전력을 위한 MPEG 압축영상의 메모리 저장 방법.
3. 제 1항에 있어서,

   상기 3×3 형태의 인접한 9개 블록 영역의 데이터 처리를 위해 총 9개의 블록 데이터를 읽어야 할 때 디램의 뱅크가 서로 다르고, 연속적인 메모리 엑세스에 대해 공간적인 국지성이 존재하여 열 충돌이 발생하지 않아 열 활성화 회수가 감소하는 것을 특징으로 하는 저소비전력을 위한 MPEG 압축영상의 메모리 저장 방법.
4. 영상 데이터를 처리하는 데 있어서,

   프레임 버퍼에 부분활성화가 가능한 서브워드라인 구조를 채택하여 현재 필요한 데이터만 활성화하여 사용하는 부분활성화 방식에 따른 것을 특징으로 하는 프레임 버퍼 구조.