KR100240005B1 - 동영상 신호의 압축을 위한 프레임 메모리 제어방법 및 장치 - Google Patents

Abstract

본 발명은 동영상 신호의 압축을 위한 프레임 메모리 제어 방법 및 장치에 관한 것으로, 64비트를 워드로 하여 512 * 512의 크기로 구성하여 352 * 480 이하의 해상도를 가지는 동영상의 4 개의 데이터를 저장할 수 있도록 하고, 메모리의 워드를 64비트로 하여 4번의 동작을 수행하는 시간 분할 기법을 채용하여 4 주기 동안 4 번의 메모리 동작(입력영상 데이터 읽기/쓰기, 복원영상 테이터 읽기/쓰기)을 수행하도록 하여 전체적인 수행 속도의 저하가 일어나지 않도록 하고, 전체 블록을 유기적인 블록간의 동작에 필요한 신호들을 생성하는 제어블록과, 메모리로부터 읽고 쓰기위한 주소와 데이터를 생성하는 주소/데이터 블록 및 시간 분할 기법에 따라 각 주소 혹은 주소/데이터를 메모리와 연결하고 메모리 제어 신호의 생성 그리고 전체 출력 신호를 생성하는 인터페이스 블록들로 구성하여 회로의 크기와 복잡함을 줄일 수 있도록 한 것이다.

Description

동영상 신호의 압축을 위한 프레임 메모리 제어 방법 및 장치

본 발명은 동영상 신호의 압축을 위한 프레임 메모리 제어 방법 및 장치에 관한 것으로, 특히 동영상 압축기를 단일칩으로 구현할 때 확장성과 빠른 처리가 가능하도록 한 동영상 신호의 압축을 위한 프레임 메모리 제어 방법 및 장치에 관한 것이다.

일반적으로 동영상을 압축하는데는 시간과 공간적인 관점에서의 데이터의 중복성을 제거함으로서 압축기능이 수행된다는 것은 이미 잘 알려진 사실이다.

압축 과정에는 시간적인 중복성을 검출하고 공간적인 중복성을 계산하는 두 가지 기능 블록들간의 유기적인 데이터의 흐름이 필요하게 되는데, 이를 위해 많은 양의 메모리가 필요하게 되고, 이때 필요한 메모리는 영상의 구성 단위인 프레임(한 화면)단위로 저장하고 읽는 것이 유리하다.

동영상의 시간적 중복성은 궤환을 통해 입력되는 프레임과 현재 프레임간에 이루어지게 되며 궤환을 통한 데이터는 공간적 중복성을 이용해 압축한 영상을 복원한 것으로 이러한 복원된 입력영상과 현재 입력 영상간의 시간적 관계를 고려하여 영상데이터를 제공하기 위해 영상 메모리가 필요하고, 이 메모리를 제어하기 위한 메모리 제어기가 필요하게 된다.

동영상 압축의 기본 알고리즘이 동일하므로 여러 동영상 압축기에서 이러한 메모리의 제어 부분이 필요하다.

현재 동영상을 압축하는 하드웨어는 대부분은 다수의 독립적인 기능을 수행하는 반도체로 구성된다.

따라서 입력 영상테이터의 저장과 복원된 영상 데이터를 관리할 기능 블록이 각각 존재하게 되고, 이 두 기능블록간의 공통된 기능을 수행하는 세부 블록들이 각각 독립적으로 동작함으로 동기를 맞추어야 한다.

즉, 디지털로 변환된 입력 데이터는 입력 영상데이터를 처리하는 기능블록의 입력이 되어 입력버퍼 메모리에 저장되고, 복원된 데이터는 영상 버퍼에 저장된다.

그리고 시간적, 공간적 압축을 수행하기 위해 저장된 각각의 영상 데이터가 동기를 이루어 다른 기능블록이나 기능 칩으로 전달 된다.

이때에는 동기신호에 의해 데이터의 입출력에 따른 동기를 일치시켜야 한다.

공간적 압축은 8비트의 입력 영상 데이터, 그리고 움직임 추정과 보상의 시간적 압축을 위해서는 8비트의 입력 영상 데이터 및 16비트의 복원 영상 데이터가 순차적으로 각 수행 블록으로 전송되어 각 기능이 수행되면서 전체적인 영상 압축이 이루어 지고, 이 경우에는 각각 메모리를 제어할 주소와 데이터 그리고 제어신호들의 수가 512 * 512 DRAM을 이용할 경우, 10비트의 주소, 6비트의 제어신호, 16비트의 데이터 버스로 메모리 신호만 32비트의 신호가 필요하고 16 비트의 입력 영상 데이터와 입력영상 제어신호들해서 단일 칩의 동영상 압축기의 구현에 있어 80개 이상의 입축력 신호가 요구된다.

이러한 각각 독립된 2개의 기능블록에는, 메모리와 직접 연결되는 인터페이서블록, 읽기동작 블록, 쓰기동작 블록의 3부분이 존재하는데, 동일한 구성을 취함으로 공통된 로직이 존재하게 된다.

그러나 상기와 같이 동영상 압축기를 하나의 칩(Chip)으로 설계하는 데에는 각각 독립된 기능블록을 그대로 적용할 경우에 입출력 신호의 수가 많아 칩을 제조하기가 어렵게 되는 단점이 있었다.

그리고 MPEG2 급의 영상을 압축하기 위해서는 빠른 처리가 요구되지만, 입력영상데이터를 괸리하는 기능블록과 복원된 영상 데이터를 관리하는 기능블록이 독립적으로 구성되어 각각의 메모리를 제어하므로 영상압축에 필요한 데이터를 제어하기 위한 압축기가 다수의 칩으로 구성되어 메모리가 처리 속도를 따라가지 못하게 되는 문제점이 있었다.

이에 따라 본 발명은 두 개의 독립된 기능블록을 하나의 기능블록으로 합침으로 공통된 로직의 재사용으로 인한 회로의 크기와 복잡함을 줄이고, 시간 분할기법을 메모리 동작에 적용하여 빠른 처리가 가능하며 입출력 신호를 줄일 수 있도록 한 동영상 신호의 압축을 위한 프레임 메모리 제어 방법 및 장치를 제공함을 그 목적으로 한다.

이와 같은 목적을 달성하기 위한 본 발명은 64비트를 워드로 하여 512 * 512의 크기로 구성하여 352 * 480 이하의 해상도를 가지는 동영상의 4 개의 데이터를 저장할 수 있도록 하고, 메모리의 워드를 64비트로 하여 4번의 동작을 수행하는 시간 분할 기법을 채용하여 4 주기 동안 4 번의 메모리 동작(입력영상 데이터 읽기/쓰기, 복원영상 테이터 읽기/쓰기)을 수행하도록 하여 전체적인 수행 속도의 저하가 일어나지 않도록 하고, 전체 블록을 유기적인 블록간의 동작에 필요한 신호들을 생성하는 제어블록과, 메모리로부터 읽고 쓰기위한 주소와 데이터를 생성하는 주소/데이터 블록 및 시간 분할 기법에 따라 각 주소 혹은 주소/데이터를 메모리와 연결하고 메모리 제어 신호의 생성 그리고 전체 출력 신호를 생성하는 인터페이스 블록들로 구성하여 회로의 크기와 복잡함을 줄일 수 있도록 한 것이다.

도1은 본 발명의 전체적인 구성을 나타낸 블럭도.

도2는 본 발명의 동작 과정을 나타낸 플로우 차트.

도3은 본 발명의 일실시예에 따른 구성을 나타낸 블럭도.

* 도면의 주요부분에 대한 부호의 설명

1 : 제어부 2 : 메모리

3 : 인터페이스 4 : 입력영상 저장블록

5 : 입력영상 읽기블록 6 : 복원영상 읽기블록

7 : 복원영상 쓰기블록

이하 본 발명을 첨부 도면에 의거 상세히 기술하여 보면 다음과 같다.

도1은 본 발명의 전체적인 구성을 나타낸 것으로, 내부의 전체적인 동작을 제어하기 위해 제어신호를 발생하는 제어부(controller)(1)와, 메모리(DRAM)(2)에 데이터를 입력시키거나 내, 외부로 출력시키는 인터페이스(interface)(3)와, 상기 제어부(1)의 제어를 받으면서 현재의 입력영상 데이터를 인터페이스(3)를 거쳐 메모리(2)에 저장하기 위한 입력영상 저장블록(OFW)(4)과, 상기 제어부(1)의 제어를 받으면서 메모리(2)에 저장된 입력영상 데이터를 인터페이스(3)를 통해 읽기 위한 입력영상 읽기블록(OFR)(5)과, 상기 제어부(1)의 제어를 받으면서 복원된 영상데이터를 인터페이스(3)를 통해 메모리(2)에서 읽기위한 복원영상 읽기블록(FDR)(6)과, 상기 제어부(1)의 제어를 받으면서 입력되는 복원영상 데이터를 인터페이스(3)를 통해 메모리(2)에 저장하기 위한 복원영상 저장블록(FDW)(7)들로 구성한 것이다.

여기서 각 블록(4)(5)(6)(7)은 시간 분할기법에 따라 각각에 주어진 동작시간 동안 메모리(2)의 동작에 맞게 읽기 동작의 경우에는 주소신호를, 쓰기 동작의 경우에는 주소신호와 데이터를 각각 생성하여 인터페이스(3)에 전달한다.

그러므로 제어부(1)는 아날로그 영상을 디지털 영상으로 변환하는 기능을 수행하는 NTSC 디코더로 부터의 새로운 영상을 가리키는 신호, 압축기능 설정신호, 주 동작 클럭들을 입력받아 이 신호와 설정값으로부터 전체 동작에 필요한 신호를 발생하여 출력한다.

상기 제어부(1)에서 출력되는 제어 신호들은 내부의 다른 블록으로 입력 되는데, 동일하게 출력되는 신호와 블록마다 고유하게 출력되는 신호로 구별되고, 새로운 영상의 시작과 영상의 형식, 그리고 입력 영상 데이터의 저장에 필요한 동기 신호와, 각 블록에 주어진 동작 시간을 알리는 신호, 그리고 주소 생성에 필요한 신호, 메모리(2)와 인터페이스(3)와 데이터를 외부로 출력시키기 위한 제어 신호들이 출력된다.

상기의 입력영상 저장블록(OFW)(4)에는 새로운 영상 형식, 동작 시간 그리고 동작에 필요한 동기 신호들이 제어 신호로 입력받으면서 현재의 입력영상 데이터를 변환시킨 후 영상 형식에 따라 구성된 메모리(2)에 쓰기위한 입력영상 데이터와 주소 그리고 유효신호와 함께 출력한다.

상기의 입력영상 읽기블록(OFR)(5)에는 주소 생성에 필요한 계수 값들, 영상 형식 및 새로운 영상을 알리는 신호들을 입력받아 메모리(2)에서 데이터를 읽기 위한 주소와 그의 유효신호가 출력된다.

상기의 복원영상 읽기블록(FDR)(6)은 상기 입력영상 읽기블록(5)와 동일한 신호를 입력받지만 계수의 값에만 차이가 있으며, 동일한 두 개의 신호가 출력되지만 유효신호의 기간이 다르다.

복원 영상 저장블록(FDW)(7)은 저장할 입력 데이터와 이의 메모리(2) 상의 위치 영역을 알려주는 계수값과 동기신호가 입력되고 영상 형식에 따른 데이터와 주소 및 유효 신호가 출력된다.

상기의 인터페이스(interface)(3)에는 상기 4 블록(4)(5)(6)(7)로부터 주소, 데이터, 유효신호들, 제어부(1)로 부터의 제어신호 및 메모리(2)로 부터의 영상 형식에 따라 64비트 또는 32비트의 데이터들이 입력되며, 메모리(2)의 주소, 메모리(2)의 제어신호, 출력 데이터 및 동기 신호들이 출력된다.

각각의 동작을 제어부(1)에서 제어함으로 각 블록으로 부터의 신호가 제어부(1)로 궤환되지 않고 순차적으로 수행된다.

이는 시간을 분할 하여 저속의 메모리를 사용하면서 정확한 동작을 위한 것으로,4개의 분할된 블록(OFW, OFR, FDW, FDR)의 고유 동작 시간과 그 시간동안에 수행해야할 각 블록의 동작을 알려 준다. 이렇게 함으로서 최적의 동작 상태를 유지할 수가 있다.

본 발명에 의해 수행할 수 있는 입력영상 데이터의 형식과 압축 방법을 표현한 다음의 표에서 알 수 있는 바와 같이 MPEG1과 H,261 일 경우는 영상 형식은 동일하지만, 내부적인 내부 제어 신호의 생성은 얼마간 다르게 된다.

이와 같이 구성한 본 발명의 동영상 신호의 압축을 위한 프레임 메모리 장치는 데이터의 입력 - 쓰기 - 읽기 - 출력의 순으로 이루어 지는 것으로, 입력의 처리는 제어부(1)와 입력영상 저장블록(4)과 복원영상 저장블록(7)에서 수행하고, 쓰기/읽기 및 출력은 인터페이스(3)와 4개의 블록(4)(5)(6)(7)에서 수행한다.

먼저 압축의 방법과 프레임 속도(frame rate)를 설정하는 것으로 새로운 동작이 이루어지며, 압축의 방법과 프레임 속도는 외부에서 하나의 설정 활성신호와 그 때의 설정 값을 실어 줌으로서 제어부(1)에서 이를 처리하여 내부의 각 블록(4)∼(7)으로 전송하고, 이 값은 메모리(2)의 동작에 있어 주소와 데이터를 생성하는 기준이 된다

하나의 영상(프레임)은 2개의 필드 영상으로 구분 되는데, 매 필드 영상이 바뀔때마다 제어부(1)에서 설정된 압축 방법값과 동작 속도를 기준으로 하여 내부의 블록 에서 요구하는 신호를 발생한다.

입력영상 데이터는 프레임의 동기 신호에 따라 순차적으로 메모리(2)의 입력영상 영역에 저장되고, 시간/공간적 압축에 필요한 입력 프레임 데이터를 읽기 위한 입력 영상 읽기블록(5)은 압축방법에서의 단위로, 영상의 휘도성분을 16*16픽셀로 하고 색도 성분을 두 개로 구분하여 8*8로 한 매크로 블록의 단위로 영상을 읽도록 한다.

읽기 동작에서 주소 생성에 필요로 하는 계수 값들은 제어부(1)에서 입력되고, 복원영상의 읽기 동작도 같은 방법으로 이루어 지며, 복원 영상의 저장은 복원 영상 데이터의 입력이 블록(압축방법과 같은 8 * 8픽셀의 데이터) 단위로 입력되므로 메모리(2)에 매크로 블록(4개의 휘도 블록과 2개의 색도 블록, 그리고 2개의 빈 블록으로 구성) 단위로 저장하기 위한 주소를 생성하고 입력 데이터를 생성함으로서 동작이 이루어 진다.

상기 각 블록(4)∼(7)의 동작은 주어진 활성 시간 동안 이루어 지는데, 이러한 활성 시간의 순서는 새로운 프레임의 시작점으로부터 복원영상 저장블록(7), 입력영상 저장블록(4), 입력영상 읽기블록(5), 복원영상 읽기블록(6)이며, 활성 시간은 주 동작 클럭인 28MHz의 1/4인 7MHz의 한 주기 동안 이루어 진다.

상기의 동작은 프레임의 유효 기간 동안만 발생하며, 그 외의 시간에서는 항상 비활성 상태가 되어 메모리(2)로 부터의 동작이 이루어지지 않는다.

입력영상 저장블록(4)은 새로운 프레임 시작 때까지 활성 신호가 주기적으로 발생하고, 입력영상 읽기블록(5)과 복원영상 읽기블록(6)은 한 프레임의 데이터를 다 읽을 동안만 주기적으로 활성 상태가 나타나게 되고, 복원영상 저장블록(7)은 복원 입력 프레임 데이터가 유효한 동안 활성 신호가 반복된다.

인터페이스(3)에서는 이러한 활성신호와 압축 형식 그리고 4 개의 블록(4)∼(7)으로 부터의 유효 신호에 의해 유효한 동작을 메모리(2)와 연결하고 메모리(2)로 부터 읽은 데이터를 외부로 유효신호와 함께 전송한다.

제어부(1)는 입력영상 읽기블록(5), 복원영상 읽기블록(6), 복원영상 저장블록(7)에서 필요로 하는 계수 값을 프레임 시작 부터 한 프레임 동안 영상 형식에 맞게 바뀌게 되고, 영상을 매크로 블록 단위로 분할 했을 때의 수평/수직으로의 계수값인 매크로 블록 계수값과 매크로 블록내의 픽셀을 계수 하는 기능을 수행하는 픽셀 계수값을 바꾸게 된다.

상기와 같은 본 발명의 동작 과정을 도2의 플로우 차트를 참고로 설명하면 다음과 같다.

처음 압축의 방법과 프레임 속도(frame rate)를 설정하는 초기화가 행하여 지고 이 때에는 압축의 방법과 프레임 속도는 외부에서 하나의 설정 활성신호와 그 때의 설정 값을 실어 줌으로서 제어부(1)에서 이를 처리하여 내부의 각 블록(4)∼(7)으로 전송하여 메모리(2)의 동작에 있어 주소와 데이터를 생성하는 기준이 되도록 한다(단계 11).

다음에 새로운 프레임이 입력되는 가를 인식하여(단계 12) 입력이 있으면, 제어부(1)가 메모리(2)의 동작을 입력 모드로 전환하면서 매크로 블록 계수 및 픽셀 계수의 값을 초기화하는 한편(단계 13), 지금 입력되는 데이터가 새로운 프레임이 아니면 설정된 계수를 수행하면서 동기 신호를 발생시긴다(단계 14).

다음에 새 프레임 신호에 따라 제어부(1)에서 각 블록(4)(5)(6)(7)의 동작을 순차적으로 제어하기 위한 시간의 제어 신호를 각각 설정하고(단계 15), 메모리(2)의 주소 생성에 필요한 계수를 생성한 후 입력영상 데이터 및 복원영상 데이터의 입력에 따라 저장할 메모리(2)의 주소와 데이터를 생성한다(단계 16).

다음에 복원영상 저장블록(7), 입력영상 저장블록(4), 입력영상 읽기블록(5), 복원영상 읽기블록(6)들과 인터페이스(3)를 통해 동기 신호에 의해 순차적으로 메모리(2)에 연결시키면서 데이터를 저장하거나 읽도록 하되, 활성 시간은 주 동작 클럭인 28MHz의 1/4인 7MHz의 한 주기에 이루어 지도록 메모리(2)를 동작시킨다(단계 17).

그리고 메모리(2)에서 읽은 데이터를 인터페이스(3)를 통해 외부로 출력시킨다.(단계 18).

즉, 입력영상 저장블록(4)은 메모리(2)의 빠른 페이지(Fast page) 모드를 이용하여 16비트의 입력데이터를 영상 형식에 맞게 구성하여 2번 메모리에 쓰기를 수행하고, 이때 필요한 주소와 데이터는 활성 시간동안 메모리(2)의 타이밍에 맞추어 발생하며, 메모리 제어 신호는 인터페이스(3)에서 동작에 맞는 제어 신호를 생성함으로서 메모리(2)의 쓰기 동작이 이루어 진다.

반면에 복원영상 저장블록(7)은 8비트의 복원 영상 데이터를 메모리(2)에 한번만 데이터를 쓰면 된다.

그리고 영상 데이터의 압축을 위해 입력영상 데이터는 8비트, 그리고 복원영상 데이터는 16비트씩 필요함으로 복원 영상 데이터는 메모리(2) 빠른 페이지 모드를 이용해서 데이터를 2번 읽어야 한다.

본 발명은 단일 칩이나 복합 칩을 이용한 영상 압축기에 이용될 수 있는 것으로서, MPEG1/ 2, H.261 등의 압축 규격을 구현할 경우에 사용되어 영상 압축에서 입력 영상과 복원 영상의 관리기능을 수행하게 된다.

또한 차후에 등장할 동영상 압축 방법에도 이용될 수 있으며, 실시간으로 영상을 처리/복원을 하는 부호기에 이용될 수 가 있다.

도3은 본 발명의 동영상 신호의 압축을 위한 프레임 메모리 제어 장치를 MPEG1에 적용한 상태를 나타낸 것으로서, 아날로그/디지탈 변환기(21)에 의해 아날로그에서 디지털로 변환한 입력영상 데이터를 본 발명의 프레임 메모리 제어 장치(22)를 통해 메모리(2)의 입력영상 영역에 저장하고, 공간적 압축수단(23)에 의해 공간적 압축이 수행된 다음 코팅수단(24)을 통해 압축된 영상 데이터가 출력되도록 하는 한편, 상기의 공간 압축된 데이터가 복원수단(25)에 의해 복원된 복원입력 데이터를 본 발명의 프레임 메모리 제어 장치(22)를 통하여 메모리(2)의 복원 입력 영역에 저장한다.

그리고 시간적 압축수단(26)에 의해 상기 복원 영상과 상기의 입력 영상간의 시간적 중복성을 이용해 다시 압축이 이루어지도록 한 후 코딩 수단(24)으로 출력되도록 한다.

이와 같은 순환은 영상입력 데이터의 매 프레임마다 동일하게 이루어 진다.

따라서 본 발명의 동영상 신호의 압축을 위한 프레임 메모리 제어 방법 및 장치에 의하여서는 64비트를 워드로 하여 처리함으로 이러한 속도 문제를 해결할 수 있어 복합 칩으로 동영상 부호기를 설계할 때 더욱 빠른 신호의 처리가 가능하도록 함은 물론, 메모리 인터페이스로 입/출력되는 신호수를 최소로하여 빠른 수행 속도를 가진 최적화된 로직을 얻을 수가 있어 ASIC 에 있어 안정된 처리를 가능하게 한 것이다.

Claims (3)

1. 내부의 전체적인 동작을 제어하기 위해 제어신호를 발생하는 제어부(1)와, 메모리(2)에 데이터를 입력시키거나 내, 외부로 출력시키는 인터페이스(3)와, 상기 제어부(1)의 제어를 받으면서 현재의 입력영상 데이터를 인터페이스(3)를 거쳐 메모리(2)에 저장하기 위한 입력영상 저장블록(4)과, 상기 제어부(1)의 제어를 받으면서 메모리(2)에 저장된 입력영상 데이터를 인터페이스(3)를 통해 읽기 위한 입력영상 읽기블록(5)과, 상기 제어부(1)의 제어를 받으면서 복원된 영상데이터를 인터페이스(3)를 통해 메모리(2)에서 읽기위한 복원영상 읽기블록(6)과, 상기 제어부(1)의 제어를 받으면서 입력되는 복원영상 데이터를 인터페이스(3)를 통해 메모리(2)에 저장하기 위한 복원영상 저장블록(7)들로 구성됨을 특징으로 하는 동영상 신호의 압축을 위한 프레임 메모리 제어 장치.
2. 제1항에 있어서, 상기의 인터페이스(3), 복원영상 저장블록(7), 입력영상 저장블록(4), 입력영상 읽기블록(5), 복원영상 읽기블록(6)들은 동기 신호에 의해 순차적으로 메모리(2)에 연결되도록 하여 시간 분할 기법에 의해 동영상 압축을 위한 영상 데이터를 관리하도록 한 동영상 신호의 압축을 위한 프레임 메모리 제어 장치.
3. 처음 압축의 방법과 프레임 속도를 설정하는 초기화가 행하는 단계와, 새로운 프레임이 입력되면, 내부의 동작을 입력 모드로 전환하면서 매크로 블록 계수 및 픽셀 계수의 값을 초기화하는 단계와, 새로운 프레임이 아니면, 설정된 매크로 블록 계수 및 픽셀 계수를 수행하면서 동기 신호를 발생시키는 단계와, 새 프레임 신호에 따라 동작을 순차적으로 제어하기 위한 활성 시간을 각각 설정하는 단계와, 주소 생성에 필요한 계수를 생성한 후 저장할 주소와 데이터를 생성하는 단계와, 복원영상 저장블록(7), 입력영상 저장블록(4), 입력영상 읽기블록(5), 복원영상 읽기블록(6)들과 인터페이스(3)를 통해 동기 신호에 의해 순차적으로 메모리(2)에 연결시키면서 데이터를 저장하거나 읽도록 메모리(2)를 동작시키는 단계와, 메모리(2)에서 읽은 데이터를 인터페이스(3)를 통해 외부로 출력시키는 단계들에 의해 수행됨을 특징으로 하는 동영상 신호의 압축을 위한 프레임 메모리 제어 방법.

Images