KR100377108B1

KR100377108B1 - 라스터-블록변환 데이터 처리장치

Info

Publication number: KR100377108B1
Application number: KR10-2000-0075233A
Authority: KR
Inventors: 김상연
Original assignee: 주식회사 테라벨류테크놀로지
Priority date: 2000-12-11
Filing date: 2000-12-11
Publication date: 2003-03-26
Also published as: KR20010016440A

Abstract

본 발명은 라스터-블록변환 데이터 처리장치에 관한 것으로서, 라스터 영상을 블록변환하기 위한 버퍼로서 또한 영상압축부에서 압축된 데이터를 저장하기 위한 버퍼로서 저렴한 외부 램(SRAM 또는 SDRAM) 한 개를 사용하여 이미지의 크기와 무관하게 라스터-블록변환의 실시간 처리가 가능하도록 하며, 또한 외부 램을 사용함으로써 라스터-블록변환기의 칩 사이즈를 줄이도록 하는데 목적이 있다.

본 발명의 목적은 영상신호처리수단에서 실시간 라스트 포맷으로 출력되는 휘도 및 색차신호 데이터를 입력받아 외부메모리에 라이트시키는 시간을 줄이기 위하여 임시의 핑퐁버퍼에 저장하였다가 외부메모리에 버스트 라이트(burst write)시키고 또한 외부메모리에 저장된 라스터 영상을 영상압축수단에 블록단위(가로 8pixel * 세로 8pixel)로 입력하기 위하여 블록단위 영상으로 버스트 리드(burst read)함과 아울러 영상압축수단에서 압축된 데이터를 외부 메모리에 버스트 라이트시키고 또한 저장된 압축 영상을 읽어 USB(Universal Serial Bus) 전송부로 보낼수 있도록 임시버퍼에 읽어 놓는 라스터-블록 변환수단과, 라스터-블록 변환수단과 동일한 주파수로 동작하며 데이터의 버스트 라이트/리드 요청에 의해 읽기/쓰기 동작을 수행하는 외부메모리와, 라스터-블록 변환수단에 공급되는 클럭 주파수의 2분주된 클럭 주파수로 동작하며 상기 메모리에 저장된 버스트 영상을 블록단위로 버스트 리드한 라스터-블록 변환수단으로부터 출력된 영상 데이터를 소정 포맷으로 압축한 후 라스터-블록 변환수단을 통해 메모리에 버스트 라이트하는 영상압축수단과, 라스터-블록 변환수단에서 출력되는 압축영상을 개인 컴퓨터등 외부로 전송하는 USB부와, 각부에 공급하도록 발진하는 클럭 주파수를 4분주하여 시모스 이미지센서 및 영상신호처리수단에 공급하는 4분주기와, 발진된 클럭 주파수를 2분주하여 영상압축수단에 제공하는 2분주기로 이루어진 것을 특징으로 한다.

Description

라스터-블록변환 데이터 처리장치 {The apparatus for processing of Raster-to-Block converting data}

본 발명은 영상신호처리장치(Image Signal Processor : 이하 "ISP"라 약칭함)와 정지영상압축(Joint Photographic coding Experts Group : 이하 "JPEG"라 약칭함)처리부 사이에서 인터페이스하는 라스터-블록 변환기(Raster_to_Block Converter)에 관한 것으로서, 보다 상세하게는 ISP는 라스터영상을 16비트(Y-8bit, CbCr-8bit)로 실시간으로 출력하고, JPEG 처리부는 64pixel(가로 8pixel×세로8pixel)을 단위블록으로 하여 8비트로 순차적으로 입력시키도록 하는 라스터-블록변환 데이터처리장치에 관한 것이다.

일반적으로, 영상처리시스템은 컬러동영상의 전송을 위해 아날로그 영상데이터를 디지털 영상데이터로 변환한 후 일정 포맷으로 압축한다. 디지털 영상 데이터를 압축하기 위해 영상데이터를 먼저 기본처리 단위인 8×8 블록으로 분할하여 영상을 재구성해야 한다.

미국전기전자기술자협회의 IEEE 권고안에 의한 정지영상분할 및 재구성용 라스터-블록변환기는 JPEG 표준을 위한 라스터에서 블록으로의 변환을 수행하게 되는데, 여기서 블록은 8×8의 8비트 영상데이터로 영상회의 시스템 또는 영상전화기용으로 사용되는 것과 동일한 구성을 갖는다.

이를 이용한 종래의 라스터-블록변환기를 채용한 영상처리시스템은 도 1 에 도시된 바와 같이 비디오 카메라(도면에 미도시)에서 촬상된 영상신호가 아날로그-디지탈변환기(100)에서 디지털 변환되어 라스터 화면으로 구성되고, 이 라스터 화면 영상 데이터가 라스터-블록변환기(120)에 인가된다 여기서, 라스터-블록변환기(120)는 상기 디지털 변환된 라스터 영상 데이터를 저장하는 비디오 메모리부(VRAM)(150)와, 비디오 메모리부(150)에 입력된 영상 데이터를 매크로블록 형태로 출력하도록 비디오 메모리부(150)를 제어하는 라스터-블록변환 콘트롤러(160)가 집적화되어 일체로 구성된다.

여기서 라스터-블록 변환기(120)는 도 2에 도시된 바와 같이 다수의 비디오 메모리(140)를 포함한 비디오 메모리부(150)와, 라스터-블록변환 콘트롤러(160)로 구성되며, 다수의 비디오 메모리(140)는 읽기/쓰기를 교번할 수 있도록 두 개의 메모리군(A)(B)으로 분리 구성된다.

그 동작은 라스터-블록변환 콘트롤러(160)의 제어에 따라 교대로 라스터 영상데이터를 인가받아 해당 라스터 영상 데이터를 매크로블록 형태로 출력하게 된다.

시스템이 정상동작을 개시하여 8비트의 디지털 변환된 영상데이터가 비디오 메모리군(A)(B)에 인가되는 경우, 라스터-블록변환 콘트롤러(160)에 시스템클럭(SCLK), 수평동기신호(HSYNC), 수직동기신호(VSYNC) 및 프레임 스타트신호(FS)가 인가되며, 상기 각 신호가 입력됨에 따라 라스터-블록변환 콘트롤러(160)에서는 각 비디오 메모리군(A)(B)을 구동시키기 위한 출력/기록 인에이블 신호를 발생하게 된다.

여기서, 시스템 클럭(SCLK)은 주처리 클럭으로서 27MHz를 2분주하여 전송되는 13.5MHz 신호이고, 수평동기신호(HYSNC)는 라스터 영상 구성시 각 라인의 시작을 나타내기 위해 62.5μsec 간격으로 입력되는 신호이며, 프레임스타트신호(FS)는 최대 29.97Hz로 공급되나 처리속도에 따라 감속될 수 있다.

이와 같은 신호가 라스터-블록변환 콘트롤러(160)에 인가됨에 따라 비디오 메모리군에 입력된 데이터는 한 화면의 제 1 라인으로부터 최종라인까지 아래로부터 입력되는 한편 각 라인에서는 좌측에서부터 우측으로 입력된다. 라스터-블록변환 콘트롤러(160)는 비디오 메모리부(150)에 입력된 라스터 영상데이터가 8×8 블록 6개로 구성되는 매크로블록 형태로 출력되도록 비디오 메모리부(150)를 제어한다.

즉, 비디오 메모리군(A)에 라스터 영상데이터가 인가되어 기록되는 경우에 비디오 메모리군(B)은 자신에게 기록되어 있는 라스터 영상데이터를 매크로블록 형태로 출력하며, 비디오 메모리군(B)에 라스터 영상데이터가 인가되어 기록되는 경우에 비디오 메모리군(A)은 자신에게 기록되어 있는 라스터 영상데이터를 매크로블록 형태로 출력한다.

이상에서와 같이 고속 파이프라인 구조에 의해 입력영상을 실시간 처리가능하도록 하므로 영상 데이터의 압축부호화 전용으로서 적절하게 사용될 수 있다.

그러나, 이와 같은 종래기술에 따른 라스터-블록변환기는 라스터 영상을 저장하기 위하여 4개의 비디오 메모리가 필요하며, 여기서 비디오 메모리는 듀얼포트 램(Dualport RAM)으로서 동시에 읽고 쓰기가 가능해야 하므로, 매우 고가일 뿐만아니라, 4개의 비디오 메모리를 라스터-블록변환기 칩에 내장하므로 칩 사이즈가 매우 커지는 문제점이 있었다. 또한, 영상의 실시간 처리시 디스플레이되는 창의 크기가 "CIF"(Common Intermedia Format)(352×288)모드로 제한되는 문제점이 있었다.

본 발명은 상기한 종래기술의 제반 문제점을 해결하기 위한 것으로, 그 목적은 영상신호처리, 라스터-블록변환, 영상압축 및 USB를 원칩화하고, 영상압축을 통하여 압축된 영상을 저장할 뿐만아니라 라스터 영상을 저장 및 블록화하기 위한 버퍼로서 저렴한 외부 메모리(DRAM 또는 SDRAM)를 사용하여 라스터-블록변환 및 메모리는 입력클럭 주파수로 구동시키고 영상신호처리부는 입력클럭 주파수를 4분주,영상압축부는 입력클럭 주파수를 2분주한 클럭 주파수로 구동시킴으로써 하나의 메모리만을 사용해도 이미지의 크기와 무관하게 실시간 처리가 가능할 뿐만 아니라,칩 사이즈를 줄이도록 하는 라스터-블록변환 데이터 처리장치를 제공함에 있다.

도 1은 종래 기술에 따른 라스터-블록변환기의 영상처리 시스템 블록 구성도이고,

도 2는 도 1에서 비디오 메모리부의 상세블록 구성도이고,

도 3은 본 발명의 실시예에 따른 라스터-블록변환 데이터처리장치의 블록 구성도이고,

도 4는 도 3의 상세 블록 구성이고,

도 5는 도 3에서 메모리에 저장되는 데이터 구성도이고,

도 6a는 도 5의 메모리에서 출력되는 블록 데이터의 순서를 표시한 도로서, 4:2:2 포맷일 경우이고,

도 6b는 4:2:0 포맷일 경우의 블록 데이터 출력순서를 표시한 도이고,

도 7은 도 4에 표시된 주요부분의 타이밍도이다.

< 도면의 주요부분에 대한 부호의 설명 >

210 : 영상신호처리부 220 : 휘도데이터 버퍼부

222, 232 : 제 1, 제 2 역다중화부 230 : 색차데이터 버퍼부

224, 226 : 제 1, 제 2 휘도버퍼 234, 236 : 제 1, 제 2 색차버퍼

242, 244 : 제 1, 제 2 다중화부 246 : 메모리

250 : 압축입력데이터 버퍼부 252, 254 : 제 1, 제 2 압축입력버퍼

256 : 압축입력 다중화부 260 : 압축데이터 출력부

262 : 압축출력 역다중화부 264, 266 : 제 1, 제 2 압축출력버퍼

270 : 영상압축부 280 : 영상출력 버퍼부

282, 284 : 제 1, 제 2 영상출력 버퍼

286 : 영상출력 다중화부 288 : USB 단자

290 : 제어신호 발생부

본 발명의 목적을 달성하기 위한 본 발명에 따른 라스터-블록변환 데이터처리장치는 시모스 이미지 센서로부터 입력된 베이어 포맷 영상신호를 RGB로 보간하여 압축 포멧에 맞는 휘도,색차데이터(Y,Cb/Cr)로 변환 출력하는 영상신호처리수단과, 상기 영상신호 처리부에서 라스터 영상으로 출력된 휘도, 색차신호 데이터를 입력받아 버스트 라이트시키고 저장된 라스터 영상을 압축하기 위한 블록단위 영상으로 버스트 리드함과 아울러 압축된 영상을 버스트 라이트시키고 저장된 압축 영상을 독취하여 출력하는 라스터-블록 변환수단과, 상기 라스터-블록 변환수단과 동일한 주파수로 동작하며 데이터의 버스트 라이트/리드 요청에 의해 읽기/쓰기 동작을 수행하는 메모리와, 상기 라스터-블록 변환수단에 공급되는 클럭 주파수의 2분주된 클럭 주파수로 동작하며 상기 메모리에 저장된 버스트 영상을 블록단위로 버스트 리드한 상기 라스터-블록 변환수단으로부터 출력된 영상 데이터를 소정 포맷으로 압축한 후 라스터-블록 변환수단을 통해 상기 메모리에 버스트 라이트하는 영상압축수단과, 상기 라스터-블록 변환수단에서 출력되는 압축영상을 외부로 재생 및 출력하는 USB단자와, 상기 각부에 공급하도록 발진하는 클럭 주파수를 4분주하여 시모스 이미지센서 및 영상신호처리수단에 공급하는 4분주기와, 상기 발진된 클럭 주파수를 2분주하여 상기 영상압축수단에 제공하는 2분주기로 이루어진 것을 특징으로 한다.

이와 같이 이루어진 본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

도 3은 본 발명의 일 실시 예에 따른 라스터-블록변환을 위한 영상신호 처리장치의 블록 구성도로서, 입력 클럭 주파수를 48MHz로 입력하였을 때의 실시예이다. 여기서 4분주된 클럭 주파수(12MHz)를 영상신호처리부에 입력함으로써 시모스 이미지 센서(CMOS Image Sensor)(202)로부터 입력되는 12MHz 8비트 베이어 포맷(8 Bit Bayer format)의 영상신호를 24비트 RGB(Red, Green, Blue)로 보간(Interpolation)하여 JPEG 입력에 맞는 휘도/색차데이터(Y/Cb,Cr)로 변환 출력하는 영상신호처리부(Image Signal Processor)(210)와, 상기 영상신호 처리부(210)에서 라스터 영상으로 출력된 휘도,색차신호 데이터(Y[0:7], C[0:7])를 입력받아 48MHz 16비트로 외부메모리(246)에 저장하고 외부 메모리(246)에 저장된 라스터 영상을 압축하기 위한 블록단위 영상으로 독취하는 라스터-블록 변환부(204)와, 라스터-블록 변환부(204)에서 출력된 블록 영상 데이터를 입력 주파수의 2분주된 클럭(24MHz)으로 동작하며 정지영상(JPEG) 또는 동영상(MPEG)으로 압축하는 영상압축부(270)와, 영상압축부(270)에서 압축된 영상을 외부메모리(246)에 다시 저장하는 라스터-블록 변환부(204)을 통해 입력된 라스터 영상 및 압축영상을 해당 영역에 읽기/쓰기를 수행하는 메모리(246)와, 라스터-블록 변환부(204)에서 출력되는 압축영상을 외부로 재생 및 출력하는 USB단자(288)와, 48MHz로 발진하는 주파수를 4분주하여 CMOS 이미지센서(202)와 영상신호처리부(210)에 클럭 주파수로 공급하는 4분주기(206)와, 48MHz로 발진하는 주파수를 2분주하여 영상압축부(270)에 제공하는 2분주기(208)로 구성된다.

여기서, 영상신호처리부(210), 라스터-블록변환부(204), 영상압축부(270), USB단자(288), 4분주기(206), 2분주기(208)는 하나의 원칩으로 구성한다.

여기서, 라스터-블록 변환부(204)에서 상기 메모리(246)로 입출력하는 데이터는 48MHz 16비트로 버스트 라이트 및 버스트 리드하도록 하며, 메모리(246)는 원칩 외부에 DRAM 또는 SDRAM으로 구성한다.

여기서, 상기 영상신호처리부(210)는 입력클럭주파수를 4분주한 12MHz주파수로 동작하며, 상기 라스터-블록변환부(204) 및 USB 단자(288)는 48MHz로 동작하며, 영상압축부(270)는 입력클럭주파수를 2분주한 24MHz 주파수로 동작하도록 구성한다.

한편, 라스터-블록변환부(204)는 도 4에 도시된 바와 같이 상기 영상신호 처리부(210)로부터 출력된 8비트의 휘도데이터(Y)를 일정길이단위(64바이트)로 각각 버퍼링하여 16비트로 핑퐁출력하도록 제 1 역다중화부(222) 및 제 1, 제 2 휘도버퍼 (224)(226)를 포함한 휘도데이터 버퍼부(220)와, 영상신호처리부(210)에서 출력된 8비트의 색차데이터(Cr/Cb)를 버퍼링하여 16비트로 핑퐁출력하도록 제 2 역다중화부(232) 및 제 1, 제 2 색차버퍼(234)(236)를 포함한 색차데이터 버퍼부(230)와, 상기 제 1, 제 2 휘도버퍼(224)(226) 및 제 1, 제 2 색차버퍼(234)(236)으로부터 출력된 각 데이터를 제어신호에 따라 메모리(246)에 버스트 라이트(burst write)하는 제 1, 제 2 다중화부(Multiplexer)(242)(244)와, 제 2 다중화부(244)를 통해 메모리(246)에 저장된 라스트 영상을 블록영상으로 독취하여 버퍼링한 후 영상압축부(270)로 핑퐁출력하도록 제 1, 제 2 압축 입력버퍼(252)(254) 및 압축입력 다중화부(256)를 포함한 압축입력데이터 버퍼부(256)와, 영상압축부(270)에서 압축된 영상데이터를 메모리(246)에 저장하도록 핑퐁버퍼링하는 압축출력 역다중화부(262) 및 제 1 , 제 2 압축출력버퍼(264)(266)를 포함한 압축데이터 출력부(260)와, 제 2 다중화부(244)를 통해 메모리(246)에 저장된 압축영상 데이터를 독취하여 버퍼링한 후 USB 단자(288)로 핑퐁출력하도록 제 1, 제 2 영상출력버퍼(282)(284)52)(254) 및 압축입력 다중화부(256)를 포함한 압축입력데이터 버퍼부(256)와, 상기 영상신호처리부(210), 영상압축부(270), USB단자(288)의 동작에 따라 상기 각 버퍼 및 다중화부(220, 230, 242, 244, 250, 280)에 제어신호를 발생하는 제어신호 발생부(290)로 구성한다.

이와 같이 구성된 본 발명의 실시예에 따른 작용을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

먼저, 본 발명은 도 3에서와 같이, CMOS 이미지센서(202)를 통해 입력된 영상신호의 결함화소를 복구하는 "DPC"(Defective Pixel Concealment)(도면에 미도시)로부터 8비트의 베이어 포맷 영상데이터를 입력받은 영상신호처리부(210)는 입력된 데이터를 보간하여 RGB 24비트 투루칼라(24bit True color)로 변환한다. 그런 다음 모니터 등의 디스플레이장치에 맞는 감마(Gamma)처리를 한 후, RGB 24비트 투루칼라를 영상압축부(270)의 입력에 맞는 휘도, 색차 데이터(Y,Cb/Cr)로 변환한다.

여기서, 휘도/색차 데이터(Y/CbCr)에 따라 빛의 노출에 맞도록 자동으로 노출시간을 조절해 준다. 한편, 광원에 따라 다른 특성으로 입력되는 RGB파장을 자연광으로 맞춰주는 오토화이트밸런스(Auto White Balance)를 처리한 다음, 휘도(Y)데이터 8비트와 색차(Cb/Cr) 데이터 8비트, 합이 16비트로 출력하게 된다.

이와 같이, 영상신호처리부(210)에서 각각 8비트로 출력된 휘도, 색차데이터(Y[0:7], C[0:7])는 라스트-블록 변환부(204)에서 64바이트 각 버퍼(224∼236)에 핑퐁 버퍼링 한다. 버퍼링한 휘도, 색차데이터는 48MHz 16비트로 동작하는 외부 메모리(246)의 버스트 라이트(burst write)를 이용하여 휘도 프레임(64바이트) 데이터부터 메모리에 저장한 다음 색차데이터를 저장한다. 이때 걸리는 시간은 48MHz로 16비트씩 버스트 라이트하므로 휘도 36클럭, 색차 36클럭 만에 처리가 가능하다.

도 4, 라스터-블록 변환부(204)의 상세도를 참조하여 보다 상세히 설명하면 다음과 같다.

만약, 영상신호처리부(210)의 출력이 4:2:0 포맷인 경우 휘도데이터(Y) 16라인 색차데이터(Cb/Cr) 8라인을 저장하고 있어야 8×8(pixel)로 블록화하여 영상압축부(270)의 입력을 만족시킬 수 있으며, 또한 메모리(246)에서 독취한 데이터를 영상압축부(270)에 계속 입력하고 있는 중에도 영상신호처리부(210)에서는 계속 데이터가 출력하게 된다. 이때 출력되는 데이터도 외부메모리(246)에 저장해 두어야 한다. 따라서 라스터-블록변환을 위한 외부메모리는 24라인(휘도데이터 16라인, 색차데이터 8라인)의 2개를 저장할수 있어야만 라스터 영상의 블록 입력을 원활히 수행할 수 있다.

또한, 영상압축부에서 출력되는 압축영상도 외부메모리(246)에 2 화면 정도를 저장하여야 하기 때문에 외부메모리(246) 크기는 이미지 크기에 따라서 다르지만 2Mbit 정도는 되어야 큰 이미지까지 처리할 수 있다. 하지만 SDRAM의 경우를 보면 최소 크기가 16Mbit이고 보통 64Mbit 혹은 128Mbit이 생산되기 때문에 외부 메모리 크기는 고려할 필요가 없다. 라스터-블록 변환부(204)는 영상신호처리부(210)의 입력과 외부메모리에 저장하는 것을 동시에 처리하기 위하여 두 개의 휘도 버퍼(224)(226)와 2개의 색차버퍼(234)(236)를 이용하여 핑퐁 버퍼링하여 출력한다.

그 동작을 보다 상세히 살펴보면 다음과 같다.

영상신호 처리부(210)에서 출력된 휘도 데이터(Y0, Y1, ‥‥, Y63)는 제어신호 발생부(290)에서 출력된 제어신호(Y_sel)에 따라 제 1 역다중화부(222)의 출력단(OUT1)을 통해 제 1 휘도버퍼(224)에 버퍼링된 후 제 1, 제 2 다중화부(242)(244)를 통해 메모리(246)에 버스트 라이트하여 저장한다. 이와 같이 휘도 데이터를 메모리(246)에 저장한 다음 색차데이터(Cb0 …Cb7 Cr0 …Cr7 Cb8 …Cb16 Cr24 …Cr31)를 같은 방법으로 메모리(246)의 제 1 라스터영역에 저장한다.

이와 같이 메모리(246)에 저장된 휘도 데이터 8비트와 색차 데이터 8비트인 16비트 출력을 가로(8pixel)×세로(8pixel)의 블록 단위로 영상압축부(270)에 입력시켜야 하므로, 메모리(246)에 저장되는 각 데이터는 처음에 16라인이 모두 저장될 때까지 영상압축부(270)로 출력하지 않는다. 제 1 라스터영역에 모두 저장되면 순차적으로 다음 제 2 라스터영역에 저장하게 된다.

메모리(246)에 순차적으로 저장되는 휘도, 색차데이터의 일실시예는 도 5를 참조하여 설명하면 다음과 같다.

가로(640pixel)×세로(480pixel)인 VGA모드의 경우를 예로들면, 영상신호처리부(210) 출력이 4:2:2 포맷인 경우 메모리(246)에 저장되는 각 데이터의 순서를 살펴보면, 먼저 제 1 라인은

Y(0,0) Y(0,1) Y(0,2) Y(0,3) ‥‥‥‥‥‥‥ Y(0,638) Y(0,639)

Cb(0,0) Cr(0,0) Cb(0,1) Cr(0,1) ‥‥‥‥‥‥‥Cb(0,319) Cr(0,319) 이고, 제 2 라인은

Y(1,0) Y(1,1) Y(1,2) Y(1,3) ‥‥‥‥‥‥‥ Y(1,638) Y(1,639)

Cb(1,0) Cr(1,0) Cb(1,1) Cr(1,1) ‥‥‥‥‥‥‥Cb(1,319) Cr(1,319) 이고, 마지막 제 480 라인은

Y(479,0) Y(479,1) Y(479,2) Y(479,3) ‥‥‥‥ Y(479,638) Y(479,639)

Cb(239,0) Cr(239,0) Cb(239,1) Cr(239,1) ‥‥‥‥Cb(239,319) Cr(239,319)을 저장한다.

만약, 영상신호처리부(210)의 출력이 4:2:0 포맷일 경우에는 제 1라인이

Y(0,0) Y(0,1) Y(0,2) Y(0,3) ‥‥‥‥‥‥‥ Y(0,638) Y(0,639) 이고, 제 2 라인은

Y(1,0) Y(1,1) Y(1,2) Y(1,3) ‥‥‥‥‥‥‥ Y(1,638) Y(1,639)

Cb(0,0) Cr(0,0) Cb(0,1) Cr(0,1) ‥‥‥‥‥‥‥Cb(0,319) Cr(0,319) 이고, 제 3 라인은

Y(2,0) Y(2,1) Y(2,2) Y(2,3) ‥‥‥‥‥‥‥ Y(2,638) Y(2,639) 이고, 제 4 라인은

Y(3,0) Y(3,1) Y(3,2) Y(3,3) ‥‥‥‥‥‥‥ Y(3,638) Y(3,639)

Y(479,0) Y(479,1) Y(479,2) Y(479,3) ‥‥‥‥ Y(479,638) Y(479,639)

Cb(239,0) Cr(239,0) Cb(239,1) Cr(239,1) ‥‥‥‥Cb(239,319) Cr(239,319) 와 같이 저장된다.

이와 같이 도 5에 도시된 바와 같이 메모리(246) 저장된 휘도, 색차데이터(Y, Cb/Cr)는 블록단위로 독취하여 제 2 다중화부(244)를 통해 제 1 압축입력버퍼(252)에 버퍼링하고, 버퍼링 된 데이터는 64워드(word) 단위로 압축입력 다중화부(256)를 통해 영상압축부(270)로 전송되어 영상을 압축하게 된다.

여기서, 메모리부(246)에서 16비트로 독취된 블록 데이터는 제 1 압축입력버퍼(252)를 통해 버퍼링한 후 8비트 데이터로 영상압축부(270)에 전송한다.

도 5의 블록화된 휘도 데이터 및 색차 데이터는 도 6a, 6b와 같은 블록 순서로 영상압축부(270)에 입력하게 된다. 이때, 영상압축부는 48MHz 클럭을 2분주한 24MHz로 동작하여 입력된 8비트 블록 데이터를 압축하게 된다.

메모리(246)에 저장된 각 데이터는 도 6a와 같이 4:2:2 포맷일 경우에는 휘도 데이터를 8×8pixel 단위로 블록이 표시된 "?? > ?? " 순서로 영상압축부(270)로 입력하고 색차 데이터 Cb는 "?? ", Cr은 "??" 순서로 영상압축부(270)에 입력한다.

보다 상세하게는 휘도, 색차 데이터를 메모리(246)에서 블록단위로 독취하여영상압축부(270)에 입력하는 순서를 살펴보면,

"Y(0,0)‥‥Y(0,7) Y(1,0)‥‥Y(1,7) ‥‥‥‥‥‥ Y(7,0)‥‥Y(7,7)

Y(0,8)‥‥Y(0,15) Y(1,8)‥‥Y(1,15) ‥‥‥‥‥‥ Y(7,8)‥‥Y(7,15)

Cb(0,0)‥‥Cb(0,7) Cb(1,0)‥‥Cb(1,7) ‥‥‥‥‥ Cb(7,0)‥‥Cb(7,7)

Cr(0,0)‥‥Cr(0,7) Cr(1,0)‥‥Cr(1,7) ‥‥‥‥‥ Cr(7,0)‥‥Cr(7,7)

Y(0,16)‥‥Y(0,23) Y(1,16)‥‥Y(1,23) ‥‥‥‥‥‥ Y(7,16)‥‥Y(7,23)

‥‥‥‥‥‥

Cr(472,312)‥‥Cr(472,319)Cr(473,312)‥‥Cr(473,319)‥‥‥‥‥ Cr(479,312)‥‥Cr(479,319)" 와 같은 순서로 입력된다.

만약, 도 6b에 도시된 바와 같이 입력이 4:2:0 포맷일 경우를 살펴보면,

"Y(0,0)‥‥Y(0,7) Y(1,0)‥‥Y(1,7) ‥‥‥‥‥‥ Y(7,0)‥‥Y(7,7)

Y(0,8)‥‥Y(0,15) Y(1,8)‥‥Y(1,15) ‥‥‥‥‥‥ Y(7,8)‥‥Y(7,15)

Y(8,0)‥‥Y(8,7) Y(9,0)‥‥Y(9,7) ‥‥‥‥‥‥ Y(15,0)‥‥Y(15,7)

Y(8,8)‥‥Y(8,15) Y(9,8)‥‥Y(9,15) ‥‥‥‥‥ Y(15,8)‥‥Y(15,15)

Cb(0,0)‥‥Cb(0,7) Cb(1,0)‥‥Cb(1,7) ‥‥‥‥ Cb(7,0)‥‥Cb(7,7)

Cr(0,0)‥‥Cr(0,7) Cr(1,0)‥‥Cr(1,7) ‥‥‥‥‥ Cr(7,0)‥‥Cr(7,7)

‥‥‥‥‥‥

Cr(232,312)‥‥Cr(232,319)Cr(233,312)‥‥Cr(233,319)‥‥‥‥Cr(239,312)‥‥Cr(239,319)" 와 같은 순서로 입력된다.

이와 같이 영상압축부(270)에 입력된 압축 데이터는 압축출력 역다중화부(262)와 제 1 압축출력버퍼(264)에서 버퍼링한 후 제 2 다중화부(244)를 통해 메모리(246)의 압축데이터 영역에 저장한다. 저장된 압축 데이터는 제 2 다중화부(244), 제 1 영상출력버퍼(282) 및 영상출력 다중화부(286)를 통해 USB 단자(288)에 출력한다.

여기서, 각 버퍼를 핑퐁 버퍼링하도록 입출력 데이터를 선택출력하는 각 다중화부는 제어신호 발생부(290)에서 출력된 해당 선택신호에 의해 구동된다.

도 7은 도 4에 표시된 각 부분의 타이밍도로서, 이에 도시된 바와 같이, "A"는 영상신호 처리부(210)가 48MHz로 발진된 클럭 주파수를 4분주기(206)을 통해 분주된 12MHz 클럭을 공급받아 동작할 때의 타이밍도이다. 공급받은 12MHz로 휘도, 색차데이터를 각각 8비트 데이터로 제 1 휘도버퍼(224)와 제 1 색차버퍼(234)로 출력한다.

"B"는 제 1 압축 입력버퍼(252)에서 영상압축부(270)로 입력될 경우 24MHz 동작하는 클럭 주파수이다. "C"는 영상압축부(270)에서 출력된 압축데이터를 제 1 압축출력버퍼(266)에 6MHz로 전송할 경우의 주파수이다. "D"는 메모리부(246)에서 독취된 영상데이터를 버퍼링하는 제 1 영상출력버퍼(282)에서 출력된 16비트 압축된 영상데이터를 USB 단자(288)로 출력하는 0.75MHz 주파수이다. "E"는 발생 주파수 48MHz 표시도이다.

"F"는 영상처리부(210)에서 출력된 휘도, 색차 데이터가 메모리(246)에 저장되고, 저장된 휘도, 색차데이터가 영상압축부(270)에 전송되어 압축된 후 다시 메모리(264)에 저장되고, 저장된 압축 데이터를 USB단자(288)로 전송하는 과정에 소요되는 시간을 표시한 도이다.

보다 상세하게는 먼저, 영상신호처리부(210)에서 실시간 입력되는 휘도 및 색차 데이터는 12MHz로 64clk(48Mhz로 환산시 256clk)동안에 제 1 휘도버퍼 및 제 1 색차버퍼에 저장되고 제 1 압축입력버퍼(252)에서 영상압축부(270)로 출력되는 블록 데이타는 24MHz로 128clk(48MHz환산시 256clk)시간이 걸리므로 라스터-블록변환부(204)에서 48MHz기준 256clk이내에 모든 것을 처리한다면 이미지크기에 무관하게 실시간 라스터-블록변환 처리가 가능하다는 것이 증명된다. 그 증명으로서 휘도 데이터가 제 1 휘도버퍼(224)에서 메모리(246)에 버스트 라이트되는 시간은 총 36 클럭이 필요하다. 즉, 휘도 데이터는 64바이트(32워드)데이터를 메모리에 버스트 라이트하는데, 메모리(246)의 버스트 리드 또는 버스트 라이트는 첫 번째 워드를 라이트할 때는 5클럭이 소요되고 그 다음 부터는 1 워드당 1 클럭씩 소요되므로 총 36클럭이 필요하다. 휘도 데이터가 전송된 후, 이어서 색차 데이터가 제 1 색차버퍼(234)에서 메모리(246)로 버스트 라이트되는데 필요한 시간은 휘도 데이터와 동일하게 36클럭이 필요하다.

메모리(246)에 저장된 데이터는 블록 데이터 압축을 위해 128바이트(64워드)를 제 1 압축입력버퍼(252)로 전송하는데 96클럭의 시간이 필요한데, 이는 메모리(246)를 8워드 단위로 버스트 리드할 경우 한번 버스트 리드하는데 12클럭이 필요하며 8번 버스트 리드를 해야하므로 "12clk×8워드" 즉 96클럭이 필요하게 된다.

영상압축부(270)에서 데이터를 1/2로 압축한 경우(최악조건이며 보통은 1/3에서 1/10정도가 됨), 128바이트에서 64바이트(32워드)로 압축되어 제 1 압축출력버퍼(262)에서 메모리(246)에 데이터를 버스트 라이트하는데 36 클럭의 시간이 필요하다.

메모리(246)에 저장된 4워드의 영상압축 데이터를 USB 단자(288)로 출력하기 위하여 USB1.0 표준 최고속도는 1023바이트/1msec 이므로 48MHz 256clk 시간동안에 보낼 수 있는 속도는 5.455바이트이므로 4워드를 제 1 영상출력버퍼(282)로 전송하면 충분하며 8 클럭의 시간이 소요된다.

이와 같이 영상신호처리부(210)에서 출력된 휘도 데이터가 메모리(246)에 저장된 후(36clk), 색차 데이터가 메모리(246)에 저장되고(36clk), 메모리(246)에 저장된 데이터를 블록영상으로 압축입력버퍼(250)에 전송하고(96clk), 영상압축부(270)에서 압축된 데이터를 임시로 저장한 압축출력버퍼(260)에 있는 데이터를 메모리(246)로 저장하고(36clk), 저장된 데이터를 USB 단자(288)를 통해 출력(8clk)하는데 걸리는 총 시간은 "36clk + 36clk + 96clk + 36clk + 8clk = 212clk"가 소요된다. 따라서 48MHz기준 256clk 시간동안에 전부 처리됨을 알 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 또한 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 기재된 청구범위 내에 있게 된다.

이상에서 설명한 바와 같이, 본 발명에 따른 라스터-블록변환기의 데이터 처리장치는 영상신호처리, 라스터-블록변환, 영상압축 USB 단자를 원칩화하고, 라스터 영상을 저장 및 블록화하기 위해 저렴한 외부 메모리(DRAM 또는 SDRAM)를 구비하여 라스터-블록변환 및 메모리를 48MHz로 구동시키고 기타 각부는 48MHz를 4분주 및 2분주된 클럭 주파수로 구동시킴으로 하나의 메모리만을 사용해도 이미지의 크기와 무관하게 실시간 처리가 가능할 뿐만 아니라, 칩 사이즈를 줄일 수 있는 효과가 있다.

Claims

시모스 이미지 센서로부터 입력된 베이어 포맷 영상신호를 RGB로 보간하여 압축 포멧에 맞는 휘도,색차데이터(Y,Cb/Cr)로 변환 출력하는 영상신호처리수단;

상기 영상신호 처리수단에서 출력된 휘도, 색차신호 데이터를 입력받아 라스터 영상으로 버스트 라이트시키고 저장된 라스터 영상을 압축하기 위한 블록단위 영상으로 버스트 리드함과 아울러 압축영상을 버스트 라이트시키고 저장된 압축영상을 독취하여 출력하는 라스터-블록 변환수단;

상기 라스터-블록 변환수단과 동일한 주파수로 동작하며 데이터의 버스트 라이트/리드 요청에 의해 읽기/쓰기 동작을 수행하는 메모리;

상기 메모리에 저장된 라스터 영상을 블록단위로 버스트 리드한 상기 라스터-블록 변환수단을 통해 입력받아 소정 포맷으로 압축하여 라스터-블록 변환수단을 통해 상기 메모리에 버스트 라이트하는 영상압축수단;

상기 라스터-블록 변환수단에서 출력되는 압축영상을 외부로 재생 및 출력하는 USB단자;

상기 각부에 공급하도록 발진하는 클럭 주파수를 4분주하여 시모스 이미지센서 및 영상신호처리수단에 공급하는 4분주기; 및

상기 발진된 클럭 주파수를 2분주하여 상기 영상압축수단에 제공하는 2분주기로 이루어진 것을 특징으로 하는 라스터-블록변환 데이터 처리장치.
제 1 항에 있어서, 상기 영상신호처리수단, 라스터-블록변환수단, 영상압축수단, 2분주기, 4분주기 및 USB 단자는 하나의 원칩으로 구성함을 특징으로 하는 라스터-블록변환 데이터 처리장치.
제 1 또는 제 2 항에 있어서, 상기 메모리는 원칩 외부에 연결구성된 DRAM 또는 SDRAM 중 어느 하나인 것을 특징으로 하는 라스터-블록변환 데이터 처리장치.
제 1 항에 있어서, 상기 라스터-블록 변환수단에서 상기 메모리로 입출력하는 데이터는 미리 일정크기의 버퍼에 저장한 다음 버스트 라이트 및 버스트 리드함을 특징으로 하는 라스터-블록변환 데이터 처리장치.
제 1 항에 있어서, 상기 라스터-블록 변환수단은 상기 영상신호 처리수단으로부터 출력된 8비트의 휘도데이터(Y)를 적당한 크기로 각각 버퍼링하여 16비트로 핑퐁출력하도록 제 1 역다중화부 및 제 1, 제 2 휘도버퍼로 구성된 휘도데이터 버퍼부;

상기 영상신호처리수단에서 출력된 8비트의 색차데이터(Cr/Cb)를 버퍼링하여 16비트로 핑퐁출력하도록 제 2 역다중화부 및 제 1, 제 2 색차버퍼로 구성된 색차데이터 버퍼부;

상기 제 1, 제 2 휘도버퍼 및 상기 제 1, 제 2 색차버퍼로부터 출력된 각 데이터를 제어신호에 따라 상기 메모리에 버스트 라이트하는 제 1, 제 2 다중화부와,

상기 제 2 다중화부를 통해 상기 메모리에 저장된 라스트 영상을 블록영상으로 독취하여 버퍼링한 후 상기 영상압축수단으로 핑퐁출력하도록 제 1, 제 2 압축 입력버퍼 및 압축입력 다중화부로 구성된 압축입력 데이터 버퍼부;

상기 영상압축수단에서 압축된 영상데이터를 메모리에 저장하도록 핑퐁버퍼링하는 압축출력 역다중화부 및 제 1 , 제 2 압축출력버퍼로 구성된 압축데이터 출력수단;

상기 제 2 다중화부를 통해 상기 메모리에 저장된 압축영상 데이터를 독취하여 버퍼링한 후 USB 단자로 핑퐁출력하도록 제 1, 제 2 영상출력버퍼 및 압축입력 다중화부로 구성된 압축입력데이터 버퍼부; 및

상기 영상신호처리수단, 영상압축수단, USB단자의 동작에 따라 상기 각 버퍼 및 다중화부에 제어신호를 발생하는 제어신호 발생수단을 포함하여 구성된 것을 특징으로 하는 라스터-블록 변환 데이터 처리장치.
제 5 항에 있어서, 상기 제 1 휘도버퍼에서 상기 메모리로 데이터를 전송하는데 소요되는 시간은 36클럭이고,

상기 제 1 색차버퍼에서 상기 메모리로 데이터를 전송하는데 소요되는 시간은 36클럭이고,

상기 메모리에서 제 1 압축 입력버퍼로 데이터를 전송하는데 소요되는 시간은 96클럭이고,

상기 제 2 압축 입력버퍼에서 상기 메모리로 데이터를 전송하는데 소요되는 시간은 36클럭이고,

상기 메모리에서 제 1 영상출력버퍼로 데이터를 전송하는데 소요되는 시간은 8클럭임을 특징으로 하는 라스터-블록변환 데이터 처리장치.