KR20000011791A

KR20000011791A - 신호처리장치,신호처리장치제어방법,영상화장치,및기록/재생장치

Info

Publication number: KR20000011791A
Application number: KR1019990028967A
Authority: KR
Inventors: 타케자와마사유키; 미즈타니요이치; 마츠모토히데키
Original assignee: 이데이 노부유끼; 소니 가부시끼 가이샤
Priority date: 1998-07-17
Filing date: 1999-07-16
Publication date: 2000-02-25
Also published as: JP2000092375A; US20030147634A1; CN1184806C; US20040252968A1; US7474838B2; CN1246766A

Abstract

가변 해상도의 영상 데이터가 영상 데이터의 증가되는 해상도와 관련되어 처리되어야 하는 경우, 각각의 회로의 처리 능력을 저하시키지 않고 효과적으로 처리를 실행하는 영상화 시스템(imaging system)을 제공한다. 이를 위해, 메모리 제어기(22)는 영상 데이터가 각각의 회로에 공급될 수 있는 영상 데이터 버스(33)의 대역폭 제한 범위내에서 각각의 회로에 승인 신호를 시분할로 전송하고, 각각의 회로가 미리 설정된 처리를 실행하도록 제어를 관리한다. 즉, 메모리 제어기(22)는 실제로 영상 데이터가 각각의 회로로부터 영상 메모리(32)에 기록되게 하거나 영상 메모리(32)로부터 판독되어 각각의 회로에 전달되게 하도록 실시간으로 각각의 회로에서 데이터를 억세스한다.

Description

신호 처리 장치, 신호 처리 장치 제어 방법, 영상화 장치, 및 기록/재생 장치{Signal processing apparatus, control method for signal processing apparatus, imaging apparatus and recording/reproducing apparatus}

본 발명은 정지 화상 영상화 장치에서 적절하게 사용되는 신호 처리 장치에 관한 것이다. 특히, 본 발명은 신호 처리를 효과적으로 실행할 수 있는 신호 처리 장치, 그에 대한 제어 방법, 영상화 장치, 및 기록/재생 장치에 관한 것이다.

디지탈 정지 카메라는 CCD 영상 센서에 의해 얻어진 영상 데이터를 DRAM이나 플래쉬 메모리(flash memory)로 회복하고, 이어서 영상 데이터를 개인용 컴퓨터 등에 전달한다. 이 종류의 디지탈 정지 카메라의 주요 부분은 지금까지 비디오 그래픽 어레이(VGA) 시스템을 담당하는 종류이었다.

도 1을 참고하면, 이 디지탈 정지 카메라(200)는 영상 신호를 발생하는 CCD 영상 센서(201), 입력 처리/영상 처리 회로(202), 영상 데이터를 기록 및 판독하는 메모리 제어기(203), 미리 설정된 시스템의 출력 영상을 변환하는 출력 처리 회로(204), 영상 촬영시 물체의 상태를 디스플레이하는 파인더(finder)(205), CPU 버스(206)에 걸쳐 압축된 영상 데이터를 기록하는 기록 유닛(207), 및 영상 데이터를 압축/확장하는 압축/확장 회로(208)를 포함한다. 디지탈 정지 카메라(200)는 또한 예를 들어 DRAM으로 형성된 메모리(209)와 전체적인 장치를 제어하는 CPU(210)를 포함한다.

물체의 영상 촬영을 시작하기 이전에, 사용자는 파인더(205)에 디스플레이된 물체 영상을 확인하여야 한다. 이 상태를 파인더 모드라 한다. 이때, CCD 영상 센서(201)는 광전기 변환으로 얻어진 영상 신호를 입력 처리/영상 처리 회로(202)로 전달한다. 입력 처리/영상 처리 회로(202)는 영상 신호를 디지탈화하도록 영상 신호에 상관된 이중 샘플링 처리를 실행한다. 입력 처리/영상 처리 회로(202)는 이어서 감마 정정(gamma correction), 니 처리(knee processing) 또는 카메라 처리와 같은 미리 설정된 신호 처리를 실행하고, 처리된 영상 신호를 메모리 제어기(203)에 전하여 CPU(210)에 의한 제어에 응답해 영상 데이터를 입력 처리/영상 처리 회로(202)에서 출력 처리 회로(204)로 전달한다. 출력 처리 회로(204)는 예를 들면 NTSC(National Television System Committee) 시스템에 따라 영상 데이터를 부호화하고, 부호화된 영상 데이터를 아날로그화하여 결과의 아날로그 데이터를 파인더(205)로 전달한다. 이는 그 물체가 영상 촬영 물체로서 파인더(205)에 나타나도록 허용한다.

한편, 사용자가 도시되지 않은 셔터 버튼을 눌러 기록 모드로 쉬프트되면, 메모리 제어기(203)는 입력 처리/영상 처리 회로(202)로부터 공급된 영상 데이터가 메모리(209)에 기록되게 한다. CPU(210)는 영상 데이터가 메모리(209)로부터 판독되게 하고, 기록 유닛(207)으로부터의 영상 데이터를 압축/확장 회로(208)에서 예를 들면 JPEG(Joint Photographic Experts Group) 시스템에 따라 압축하여 기록 유닛(207)에 기록한다.

사용자가 미리 설정된 처리를 실행하여 재생 모드로 쉬프트되면, CPU(210)는 영상 데이터가 기록 유닛(207)으로부터 판독되어 영상 데이터가 압축/확장 회로(208)에서 JPEG 시스템으로 확장되게 하고 그 결과의 데이터를 메모리 제어기(20) 및 출력 처리 회로(204)를 통해 파인더(205)로 전달한다. 이로 촬영된 영상이 파인더(205)에 디스플레이된다.

CCD 영상 센서에서 최근의 뛰어난 기술 진보와 관련되어, 영상 데이터의 해상도는 거의 1,000,000 픽셀(pixel)을 능가한다. 한편, 상술된 구조의 디지탈 정지 카메라는 1,000,000 픽셀을 넘는 영상 데이터를 충분히 감당할 수 없을 염려가 있다.

예를 들어, CCD 영상 센서(201)가 고해상도의 영상 신호를 출력하면, 입력 처리/영상 처리 회로(202), 메모리 제어기(203), 또는 출력 처리 회로(204)는 실시간으로 영상 데이터를 처리할 수 없으므로, 물체의 영상이 파인더(205)에 디스플레이될 때까지 예를 들면, 1초의 지연이 생기기 쉽다. 이는 물체가 아주 적게 움직이더라도 물체의 영상을 촬영할 때 불편함을 초래한다.

더욱이, 실시간에 있을 필요가 있는 영상 데이터로의 억세스 및 명확하지 않은 데이터 비율을 갖는 CPU(210)에 의한 데이터 억세스가 공통 버스에서 실행되므로, 영상 데이터량이 증가되는 경우 실시간 억세스는 실현되기 어렵고, 그에 의해 CPU 버스는 각각의 회로의 처리 능력을 낮추도록 정체되게 된다.

따라서, 본 발명의 목적은 여러 다른 영상 데이터가 영상 데이터의 증가된 해상도를 유지하면서 다루어지더라도, 각각의 회로의 처리 능력을 저하시키지 않고 처리과정이 효과적으로 처리될 수 있는 신호 처리 방법 및 장치를 제공하는 것이다.

본 발명의 한 관점에 있어서, 본 발명은 영상 데이터를 저장하는 저장 수단, 저장 수단에 대한 영상 데이터의 기록/판독을 제어하는 제어 수단, 및 미리 설정된 형태로 영상 데이터를 처리하고, 신호 처리를 위해 영상 데이터의 공급을 요구하거나 처리된 영상 신호의 출력을 요구하는 요구 신호를 제어 수단에 출력하는 복수의 신호 처리 수단을 포함하는 신호 처리 장치를 제공한다. 제어 수단은, 요구 신호의 공급에 따라, 요구 신호를 출력하는 하나 이상의 신호 처리 수단을 선택하고, 저장 수단으로부터 판독된 영상 데이터를 선택된 신호 처리 수단에 공급하거나, 선택된 신호 처리 수단에 의해 출력된 영상 신호를 저장 수단에 기록하는 제어를 관리한다.

본 발명의 다른 관점에 있어서, 본 발명은 영상 데이터를 저장하는 저장 수단과 복수의 신호 처리 수단 사이에서 영상 데이터를 전송/수신하도록 적응되는 신호 처리 장치에 대한 제어 방법을 제공하고, 신호 처리 수단은 미리 설정된 형태로 영상 데이터를 처리하고, 신호 처리를 위해 영상 데이터의 공급을 요구하거나, 처리된 영상 신호의 출력을 요구하는 요구 신호를 제어 수단에 출력하도록 적응된다. 제어 방법은, 요구 신호의 공급에 따라, 복수의 신호 처리 수단으로부터 요구 신호를 출력하는 하나 이상의 신호 처리 수단을 선택하는 것과, 저장 수단으로부터 판독된 영상 데이터를 선택된 신호 처리 수단에 공급하거나, 선택된 신호 처리 수단에 의해 출력되는 영상 신호를 저장 수단에 기록하는 것을 포함한다.

본 발명의 또 관점에 있어서, 본 발명은 영상화 수단, 영상화 수단으로부터 영상 데이터를 일시적으로 저장하는 저장 수단, 저장 수단에 대한 영상 데이터의 기록/판독을 제어하는 제어 수단, 미리 설정된 형태로 영상 데이터를 처리하고, 신호 처리를 위해 영상 데이터의 공급을 요구하거나, 처리된 영상 데이터의 출력을 요구하는 요구 신호를 제어 수단에 출력하는 복수의 신호 처리 수단, 및 신호 처리 수단에 의해 처리된 영상 데이터를 출력하는 출력 수단을 포함하는 영상화 장치를 제공한다. 제어 수단은, 요구 신호의 공급에 따라, 저장 수단으로부터 판독된 영상 데이터를 선택된 신호 처리 수단에 공급하거나, 선택된 신호 처리 수단에 의해 출력된 영상 데이터를 저장 수단에 기록하도록 요구 신호를 출력하는 하나 이상의 신호 처리 수단을 선택하기 위한 제어를 관리한다.

본 발명의 또 다른 관점에 있어서, 본 발명은 영상화 수단, 영상화 수단으로부터의 영상 데이터에 미리 설정된 입력 처리를 실행하는 입력 처리 수단, 디스플레이 수단에 영상 데이터를 디스플레이하는 디스플레이 처리 수단, 영상화 수단으로부터 영상 데이터를 일시적으로 저장하는 제 1 저장 수단, 제 1 저장 수단에 대한 영상 데이터의 기록/판독을 제어하는 제어 수단, 영상 데이터의 해상도를 변환하는 해상도 변환 수단, 영상 데이터를 압축/확장하는 확장/압축 수단, 및 압축된 영상 데이터가 제 2 저장 수단에 기록되게 하고 제 2 저장 수단에 기록된 영상 데이터가 재생되게 하는 기록/재생 제어 수단을 포함하는 기록/재생 장치를 제공한다. 제어 수단은 입력 처리 수단, 디스플레이 처리 수단, 해상도 변환 수단, 및 압축/확장 수단으로부터 하나 이상의 신호 처리 수단을 선택한다. 제어 수단은 제 1 저장 수단으로부터 판독된 영상 데이터가 선택된 신호 처리 수단으로 전달되게 하거나, 선택된 신호 처리 수단에 의해 출력된 영상 데이터가 제 1 저장 수단에 기록되게 한다.

본 발명에 따른 신호 처리 장치 및 그에 대한 제어 방법에 있어서, 요구 신호가 각각의 신호 처리 수단으로부터 전달되면, 우선 순위에서 최우선권을 갖는 요구 신호를 출력하는 신호 처리 수단이 선택된다. 이어서, 저장 수단으로부터 판독된 영상 데이터를 영상 데이터 버스를 통해 선택된 신호 처리 수단으로 공급하거나, 선택된 신호 처리 수단의 처리된 영상 데이터를 영상 데이터 버스를 통해 저장 수단에 기록하기 위한 제어가 실행되므로, 각각의 신호 처리 수단에서 효율적으로 신호 처리가 실행된다.

도 1은 종래 디지탈 정지 카메라의 구조를 설명하는 블록도.

도 2는 본 발명을 실현한 디지탈 정지 카메라의 구조를 도시하는 블록도.

도 3은 도 2에 도시된 디지탈 정지 카메라의 구조를 도시하는 블록도.

도 4는 도 2에 도시된 디지탈 정지 카메라의 신호 처리 유닛에서 영상 데이터의 흐름을 설명하는 블록도.

도 5는 신호 처리 유닛의 입력 처리 회로에서 간략화된 해상도 변환 회로의 구조를 설명하는 도면.

도 6은 신호 처리 유닛에서 해상도 변환 회로의 구조를 도시하는 블록도.

도 7은 해상도 변환 회로의 수평 방향 버퍼, 수평 방향 변환 처리 회로, 수직 방향 버퍼, 및 수직 방향 변환 처리 회로의 구조를 도시하는 블록도.

도 8은 해상도 변환 회로의 다른 구조를 도시하는 블록도.

도 9는 해상도 변환 회로의 수직 방향 버퍼의 구조를 도시하는 블록도.

도 10은 메모리 제어기에 의해 영상 메모리로부터 영상 데이터를 판독하는 기술을 설명하는 도면.

도 11은 영상을 구성하는 픽셀의 좌표 위치를 설명하는 도면.

도 12는 메모리 제어기에 의해 영상 메모리로부터 영상 데이터를 판독하는 또 다른 기술을 설명하는 도면.

도 13은 선 버퍼(line buffer)로 구성된 해상도 변환 회로의 수평 방향 버퍼의 구조를 도시하는 도면.

도 14는 메모리 제어기가 영상 메모리로부터 영상 데이터를 판독할 때의 기술을 설명하는 도면.

도 15는 신호 처리 유닛의 NTSC/PAL 인코더에서 간략화된 해상도 변환 회로의 구조를 도시하는 블록도.

도 16a 내지 도 16f는 파인더 모드(finder mode)에서 각각의 회로의 신호 처리 내용을 설명하는 타이밍도.

* 도면의 주요 부분에 대한 부호의 설명 *

1...디지탈 정지 카메라 10...영상 발생 유닛

11...CCD 영상 센서

12...샘플 유지-아날로그/디지탈 회로

13...타이밍 발생기 20...입력 신호 처리기

32...영상 메모리 40...제어기

도면을 참조하면, 본 발명의 양호한 실시예가 상세히 설명된다.

본 발명은 예를 들어 도 2에 도시된 바와 같이 구성되는 디지탈 정지 카메라(1)에 적용된다.

디지탈 정지 카메라(1)는 영상 신호를 발생하는 영상 발생 유닛(10), 미리 설정된 형태로 영상 데이터를 처리하는 입력 신호 처리기(20), SDRAM으로 구성된 영상 메모리(32), 및 입력 신호 처리기(20)를 제어하는 제어기(40)를 포함한다.

영상 발생 유닛(10)은 CCD 영상 센서(11)와 같이 영상 신호를 발생하는 고체 영상화 장치, 샘플을 유지하고 영상 신호를 출력 영상 데이터로 디지탈화하는 샘플 유지-아날로그/디지탈 회로(S/H-A/D 회로 12), 및 타이밍 신호를 발생하는 타이밍 발생기(13)를 포함한다. 이 타이밍 발생기(13)는 신호 처리기 입력으로부터 공급되는 동기화 신호를 근거로 영상 발생 유닛(10)의 각각의 회로를 제어하도록 수평 동기화 신호 및 수직 동기화 신호를 발생한다.

CCD 영상 센서(11)는 예를 들면, 8,000,000 픽셀로 구성된 XGA(extended graphic array: 1024 x 768) 픽셀 데이터에 대응하는 영상 데이터를 발생한다. CCD 영상 센서(11)는 초당 30 프레임(frame)의 비율로 영상 데이터를 출력하도록 타이밍 발생기(13)로부터의 동기화 신호를 근거로 구동된다. 그 동안, CCD 영상 센서(11)는 영상 신호를 세선화하는 기능을 가지고 영상 신호의 수직 구성성분을 1/2, 1/3, 1/4, ...로 세선화하여 결과의 신호를 출력할 수 있다.

S/H-A/D 회로(12)는 또한 타이밍 발생기(13)로부터의 동기화 신호를 근거로 미리 설정된 샘플링 간격에서 샘플 유지 및 A/D 변환을 실행하여 결과의 영상 데이터를 신호 처리기(20)로 전달하도록 적응된다.

신호 처리기(20)는 단일 LSI(large scale integrated circuit)를 포함한다. 신호 처리기(20)는 영상 발생 유닛(10)으로부터의 영상 데이터에 입력 처리 및 카메라 처리를 실행하는 입력 신호 처리기(21), 영상 메모리(32)에 대한 영상 데이터의 판독/기록을 제어하는 메모리 제어기(22), NTSC/PAL(phase alternation by line) 인코더(23), 영상 신호를 아날로그화하고 결과의 아날로그 신호를 외부로 출력하는 D/A 변환기(24), 및 동기화 신호를 발생하고 결과의 동기화 신호를 타이밍 발생기(13)에 공급하는 동기(sync) 발생기(26)를 포함한다.

신호 처리기(20)는 또한 영상 메모리(32)를 위한 인터페이스인 메모리 인터페이스(27), 영상 데이터의 해상도를 변환하는 해상도 변환 회로(28), 영상 데이터를 압축/확장하는 JPEG(Joint Photographic Experts Group) 인코더/디코더(29), JPEG 인코더/디코더(29)의 인터페이스인 JPEG 인터페이스(30), 및 제어기(40)의 CPU와 데이터 전송/수신 관계를 갖는 인터페이스인 호스트 인터페이스(31)를 포함한다.

입력 신호 처리기(21)는 디지탈 클램프(digital clamp), 쉐이딩 (shading) 정정, 개구(aperture) 정정, 감마(gamma) 정정, 또는 칼라 처리로 S/H-A/D 회로(12)로부터의 영상 데이터를 처리하고, 처리된 결과 신호를 메모리 제어기(22)에 전달한다. 입력 신호 처리기(21)는 입력 데이터를 Y, Cb, 및 Cr로 변환하도록 입력 데이터를 처리하는 기능을 갖는다. 영상 데이터의 해상도가 VGA(Video Graphics Array) 보다 더 크면, 입력 신호 처리기(21)는 해상도를 낮추는 처리를 실행할 수 있다. 입력 신호 처리기(21)는 또한 데이터를 제어기(40)에 전하여 초점 기계 및 홍채 기계의 자동 조정을 이루도록 자동-초점 및 자동-홍채 검출을 실행한다. 입력 신호 처리기(21)는 또한 영상 데이터를 구성하는 3가지 주요 칼라의 신호 레벨을 검출하여 자동 백색 균형을 조정한다.

메모리 제어기(22)는 또한 입력 신호 처리기(21) 또는 다른 회로로부터 공급된 영상 데이터가 메모리 인터페이스(27)를 통해 영상 메모리에 기록되게 하고 메모리 인터페이스(27)를 통해 영상 메모리(32)의 영상 데이터를 판독하는 제어를 실행한다. 이때, 메모리 제어기(22)는 영상 메모리(32)에 저장된 영상 데이터를 근거로 CCD 영상 센서(11)에 결함이 있는 픽셀이 있는가 여부를 검출한다.

메모리 제어기(22)는 영상 메모리(32)로부터 판독된 영상 데이터를 예를 들면, NTSC/PAL 인코더(23)에 전달한다. 메모리 제어기(22)로부터 영상 데이터가 공급될 때, NTSC/PAL 인코더(23)는 NTSC 시스템 또는 PAL 시스템에 따라 영상 데이터를 부호화하고 부호화된 데이터를 D/A 변환기(24)에 전달한다. D/A 변환기(24)는 영상 데이터를 아날로그화하여 결과의 아날로그 신호를 출력 단자(25)를 통해 출력한다.

메모리 제어기(22)는 메모리 제어기(22)로부터 판독된 영상 데이터를 해상도 변환 회로(28)에 전하고, 해상도 변환 회로(28)에 의해 출력된 영상 데이터가 영상 메모리(32)에 기록되는 동안 영상 데이터가 해상도 변환되게 한다.

메모리 제어기(22)는 JPEG 인코더/디코더(29)에 의해 확장된 영상 데이터가 영상 메모리(32)에 기록되게 하는 동안 정지 영상의 압축을 실행하도록 영상 데이터를 JPEG 인터페이스(30)를 통해 JPEG 인코더/디코더(29)에 전달한다.

영상 메모리(32)는 상술된 바와 같이 영상 데이터를 저장할 뿐만 아니라 OSD(on-screen-display) 데이터를 문자 발생기 데이터로 저장한다. OSD 데이터는 비트 맵(bit map) 데이터로 구성된다. 제어기(22)는 OSD 데이터의 판독/기록을 제어한다. 영상 데이터와 OSD 데이터는 NTSC/PAL 인코더(23)에 의해 합성된다.

제어기(40)는 신호 처리기(20)의 각각의 회로를 제어하는 CPU(central processing unit)(41), DRAM(dynamic random access memory)(42), CPU(41)에 대한 제어 프로그램이 저장된 ROM(read-only memory)(43), 플래쉬 메모리와 같은 저장 장치(51)와 영상 데이터를 교환하는 인터페이스인 플래쉬 메모리 인터페이스(44), 및 IrLED로 구성된 통신 회로(52)의 인터페이스인 IrDA 인터페이스(45)를 포함한다.

예를 들면, CPU(41)는 JPEG 인코더/디코더(29)에 의해 압축된 영상 데이터가 플래쉬 메모리/인터페이스(44)를 통해 플래쉬 메모리로 구성된 저장 장치(51)에 기록되게 하면서, 영상 데이터가 저장 장치(51)로부터 판독되게 하여 JPEG 인코더/디코더(29)로부터 판독된 영상 데이터를 전하게 된다. CPU(41)는 또한 저장 장치(51)로부터 판독된 영상 데이터가 IrDA 인터페이스(45) 및 통신 회로(52)를 통해 적외선 광선으로 외부에 출력되게 한다.

디지탈 정지 카메라(1)의 구조는 도 3에 도시된다.

입력 신호 처리기(21)는 영상 데이터를 CCD 영상 센서(11)로부터 영상 데이터 버스(33)를 통해 영상 메모리(32)에 전달한다. NTSC/PAL 인코더(23)는 미리 설정된 형태로 영상 메모리(32)로부터의 영상 데이터를 부호화하고 부호화된 결과 데이터를 파인더(36)로 전달한다. 이는 영상 데이터와 연관된 영상을 VGA 포맷으로 디스플레이하도록 적응된 파인더(36)에 물체의 영상이 디스플레이되게 한다.

메모리 제어기(22)는 영상 데이터 버스(33)에 연결되는 신호 처리 회로와 영상 메모리(32) 사이에서 데이터 전달을 실행한다. 해상도 변환 회로(28)는 영상 메모리(32)로부터의 영상 데이터에 대해 해상도 변환을 실행하고 그 결과를 영상 메모리(32)에 전달한다. JPEG 인코더/디코더(29)는 JPEG 시스템에 따라 영상 메모리(32)로부터의 영상 데이터를 압축하고, 압축된 영상 데이터를 CPU 버스(34)를 통해 CPU(41)로 전하여, 압축된 영상 데이터가 저장 장치(51)에 기록되게 한다. CPU(41)는 또한 압축된 영상 데이터를 CPU 버스(34)와 통신 회로(52)를 통해 외부로 출력할 수 있다.

따라서, 도 3에서, 신호 처리기(20)의 각각의 회로는 영상 데이터 버스(33)를 통해 상호연결된다. 영상 데이터 버스(33)는 가상 버스(virtual bus)로서, 각각의 회로 사이에 교환되는 영상 데이터에 대해 전달 대역에 제한이 있음을 나타낸다.

신호 처리기(20)에서, NTSC/PAL 인코더(23)나 해상도 변환 회로(28)와 같은 각각의 회로는 영상 데이터가 요구됨을 나타내는 요구 신호를 메모리 제어기(22)에 전달한다. 이들 회로는 또한 영상 데이터를 처리한 이후 영상 데이터를 출력할 때 요구 신호를 메모리 제어기(22)에 전송한다.

각각의 회로로부터 요구 신호를 수신하면, 메모리 제어기(22)는 높은 우선 순위를 갖는 회로를 선택하고, 승인 신호를 선택된 회로에 전송한다. 승인 신호는 영상 데이터가 신호를 수신하는 회로에 전해질 수 있음 또는 승인 신호를 수신한 회로에 의해 출력되는 영상 신호가 수신될 준비가 되었음을 나타낸다. 메모리 제어기(22)는 영상 메모리(32)로부터 영상 데이터를 판독하고, 판독된 영상 데이터를 영상 데이터 버스(33)를 통해 승인 신호의 목적지에 대응하는 회로로 전달한다. 메모리 제어기(22)는 승인 신호를 전달했던 회로에 의해 출력되는 영상 데이터를 수신하여 영상 데이터를 영상 메모리(32)에 기록한다.

복수의 회로로부터 요구 신호를 수신하면, 메모리 제어기(22)는 실시간으로 처리과정을 실행하여야 하는 회로를 우선적으로 선택할 수 있다. 예를 들어, 물체의 영상이 파인더(36)에 디스플레이되어야 하면, 메모리 제어기(22)는 입력 신호 처리기(21)와 NTSC/PAL 인코더(23)를 우선적으로 선택한다. 또한, 메모리 제어기(22)가 차지 비율에 의존해 각각의 회로의 우선 순위를 결정하도록 영상 데이터 버스(33)상에서 영상 데이터의 버스 차지 비율을 해독하는 것이 가능하다.

영상 데이터가 영상 데이터 버스(33)의 전달 대역 제한내에서 각각의 회로에 전해질 수 있으면, 메모리 제어기(22)가 각각의 회로에서 미리 설정된 처리과정을 실행하게 허용하도록 승인 신호를 각각의 회로에 시간 분할적으로 전달하는 제어를 실행하는 것이 가능하다. 이는 메모리 제어기(22)가 각각의 회로에서 데이터에 실시간으로 억세스하는 것을 가능하게 하여, 각각의 회로로부터의 영상 데이터가 영상 메모리(32)에 기록되게 하거나 영상 메모리(32)내의 영상 데이터가 각각의 회로로 판독되어 전달되게 한다.

메모리 제어기(22)가 영상 데이터 버스(33)를 통해 도시되지 않은 외부 회로로 억세스할 때, 외부 회로가 상술된 요구 신호를 전달하거나 전송된 승인 신호를 수신할 수 있으면, 메모리 제어기(22)는 영상 데이터 버스(33)의 전달 대역 제한 범위내에서 신호 처리기(20)내의 각각의 회로에 시간 분할적으로 동시에 억세스할 수 있다. 즉, 영상 데이터 버스(33)의 대역 범위내에 있으면, 메모리 제어기(22)는 신호 처리기(20)내의 회로나 외부 회로의 수에 관계없이 시간 분할적으로 신호 처리기(20)내의 회로나 신호 처리기(20)내의 외부 회로에 동시 억세스할 수 있다.

상술된 바와 같이, 메모리 제어기(22)는 영상 데이터 버스(33)의 중재, 영상 메모리(32)와 각각의 회로 사이의 영상 데이터의 기록/판독 제어, 및 CPU 버스(34)로의 데이터 전달을 실행한다.

도 4를 참조하면 신호 처리기(20)에서 영상 데이터의 특정한 흐름이 설명된다.

입력 신호 처리기(21)는 영상 발생 유닛(10)으로부터의 영상 데이터에 미리 설정된 신호 처리를 실행하는 CCD 인터페이스(21a), CCD 인터페이스(21a)를 처리하는 검출 회로(21b), 및 영상 데이터의 변환 처리를 행하는 카메라 디지탈 신호 처리기(21c)(카메라 DSP 21c)를 포함한다.

CCD 인터페이스(21a)는 도 2에 도시된 S/H-A/D 회로(12)로부터 R, G, 및 B로 구성된 영상 데이터에 디지탈 클램프, 백색 균형 조정, 또는 감마 정정과 같은 처리를 실행하거나, 필요한 경우 영상 데이터의 수평 방향으로 구성성분을 1/10 만큼 줄인다(decimate). 이러한 처리 이후에, CCD 인터페이스(21a)는 영상 데이터를 영상 데이터 버스(33)를 통해 카메라 DSP(21c)에 전하거나 메모리 제어기(22)에 전달한다.

CCD 인터페이스(21a)의 영상 데이터로부터, 검출 회로(21b)는 자동-초점, 자동-홍채, 또는 백색 균형 조정에 대한 검출을 실행한다.

카메라 DSP(21c)는 CCD 인터페이스(21a)로부터의 R, G, 및 B의 영상 데이터를 휘도(luminance) 신호(Y)와 색차(chrominance) 신호 (Cb, Cr)로 구성된 영상 데이터로 변환시킨다. 카메라 DSP(21c)는 또한 상기 처리과정을 실행할 뿐만 아니라 간략화된 형태로 영상 데이터의 해상도를 변환시키는 간략화된 해상도 변환 회로(21)를 갖는다.

간략화된 해상도 변환 회로(21d)는 CCD 영상 센서(11)에 의해 발생된 영상 데이터의 해상도가 VGA 포맷 보다 크면 값을 낮추도록 영상 데이터의 해상도를 변환시키게 동작한다.

특별히, 간략화된 해상도 변환 회로(21d)는 색차 신호를 분리하는 B-Y/R-Y 분리 회로(61), 수평 방향으로의 보간(interpolation)을 위한 수평 방향 선형 보간 회로(62), 색차 신호를 합성하는 B-Y/R-Y 합성 회로(63), 수평 주사 주기 (1H 주기) 만큼 각 신호를 지연시키는 1H 지연 회로(64), 및 수직 방향 선형 보간 회로(65)를 포함한다.

B-Y/R-Y 분리 회로(61)는 카메라 DSP(21c)로부터의 영상 데이터에서 색차 신호(B-Y 및 R-Y)를 크로마(chroma) 신호(Cb, Cr)로 분리하고, 분리된 크로마 신호를 수평 방향 선형 보간 회로(62)로 전달한다. 수평 방향 선형 보간 회로(62)는 수평 방향으로 휘도를 낮추도록 휘도 신호(Y)와 색차 신호(B-Y, R-Y)를 수평 방향으로 보간하고, 보간된 휘도 신호(Y)와 색차 신호(B-Y, R-Y)를 B-Y/R-Y 합성 회로(63)에 전달한다.

B-Y/R-Y 합성 회로(63)는 색차 신호(B-Y, R-Y)를 합성하고, 수평 방향 선형 보간 회로(62)로부터의 휘도 신호(Y)와 합성된 색차 신호(B-Y. R-Y)를 1H 지연 회로(64) 및 수직 방향 선형 보간 회로(65)에 전달한다. 1H 지연 회로(64)는 휘도 신호(Y)와 색차 신호를 1H 만큼 지연시키고, 지연된 신호를 수직 방향 선형 보간 회로(65)에 전달한다. 수직 방향 선형 보간 회로(65)는 B-Y/R-Y 합성 회로(63) 및 1H 지연 회로(64)로부터의 휘도 신호(Y) 및 색차 신호(B-Y, R-Y)를 근거로 수직 방향에서 선형 보간 처리를 실행하고, 수평 및 수직 방향에서 모두 해상도가 낮추어진 휘도 신호(Y') 및 색차 신호(B-Y)', (R-Y)'로 구성된 영상 데이터를 출력한다.

해상도 변환 회로(28)는 [p x q] 영상 데이터를 [m x n] 영상 데이터로 변환시키는 해상도 변환 처리를 실행한다. 해상도 변환 회로(28)는 CCD 영상 센서(11)에서 만들어진 영상 데이터가 높은 해상도인 경우 미리 설정된 값으로 해상도를 억제하는 처리를 실행한다. 그러나, 저해상도의 영상 데이터를 고해상도의 데이터로 처리하는 것이 가능하다.

도 6을 참조하면, 해상도 변환 회로(28)는 영상 데이터 버스(33)로부터 입력된 영상 데이터를 저장하는 입력 버퍼(71), 입력 버퍼(71)로부터의 영상 데이터를 수평 방향으로 버퍼처리하는 수평 방향 버퍼(72), 수평 방향 버퍼(72)로부터의 영상 데이터의 해상도를 수평 방향으로 변환시키는 수평 방향 변형 처리 회로(73), 수평 방향 변형 처리 회로(73)로부터의 영상 데이터를 수직 방향으로 버퍼처리하는 수직 방향 버퍼(74), 영상 데이터의 해상도를 수직 방향으로 변환시키는 수직 방향 변형 처리 회로(75), 및 출력할 때 버퍼처리하는 출력 버퍼(76)를 포함한다.

영상 데이터의 해상도를 변환시킬 준비가 되면, 해상도 변환 회로(28)는 영상 메모리(32)로부터 영상 데이터를 판독하도록 메모리 제어기(22)에 요구하는 판독 요구 신호를 출력하면서, 영상 데이터의 변환 처리 이후 영상 데이터를 영상 메모리(32)에 기록하도록 메모리 제어기(22)에 요구하는 기록 요구 신호를 출력한다. 해상도 변환 회로(28)는 또한 메모리 제어기(22)가 요구 신호에 응답함을 나타내는 승인 신호를 수신한다.

도 7을 참조하면, 수평 방향 버퍼(72)는 제 1 지연 회로(81), 제 2 지연 회로(82), 및 제 3 지연 회로(83)로 구성되고, 이들 각각은 한 픽셀의 지연을 만든다. 그래서, 제 1 지연 회로(81)는 한 픽셀 만큼 지연된 영상 데이터를 출력하고, 제 2 및 제 3 지연 회로(82, 83)는 각각 두 픽셀 만큼 지연된 영상 데이터 및 세 픽셀 만큼 지연된 영상 데이터를 출력한다.

도 7을 참조하면, 수평 방향 변형 처리 회로(73)는 제 1 내지 제 4 곱셈기(84, 85, 86, 87) 및 제 1 내지 제 3 가산기(88, 89, 90)를 포함한다. 데이터를 정상화시키는 회로는 가산기(90)의 뒤에 부수적으로 첨부된다.

제 1 곱셈기(84)는 입력 버퍼(71)로부터 공급된 영상 데이터를 미리 설정된 계수로 곱하고, 그 결과의 데이터를 가산기(88)에 전달한다. 제 2 곱셈기(85)는 제 1 지연 회로(81)로부터 공급된 영상 데이터를 미리 설정된 계수로 곱하고, 그 결과의 데이터를 가산기(88)에 전달한다. 제 3 곱셈기(86)는 제 2 지연 회로(82)로부터 공급된 영상 데이터를 미리 설정된 계수로 곱하고, 그 결과의 데이터를 가산기(89)에 전달한다. 제 4 곱셈기(87)는 제 3 지연 회로(83)로부터 공급된 영상 데이터를 미리 설정된 계수로 곱하고, 그 결과의 데이터를 가산기(90)에 전달한다. 제 1 가산기(88)는 영상 데이터를 합성하여 그 결과의 데이터를 제 2 가산기(89)에 전달한다. 제 2 가산기(89)는 영상 데이터를 합성하여 그 결과의 데이터를 제 3 가산기(90)에 전달한다. 제 3 가산기(90)는 각각의 영상 데이터를 합성하여 그 결과의 데이터를 수평 방향으로의 해상도가 변환된 영상 데이터로서 수직 방향 버퍼(73)로 전달한다.

따라서, 수평 방향 변형 처리 회로(73)는 각각이 미리 설정된 형태로 한 픽셀 지연을 갖는 복수의 영상 데이터를 미리 설정된 가중치로 가중화하고, 가중화된 영상 데이터를 수평 방향으로 픽셀을 보간하거나 줄이도록 합성하여 수평 방향에서 해상도를 변환시킨다.

수직 방향 버퍼(74)는 각각이 1-선을 지연시키도록 적응되는 제 1 내지 제 3 버퍼(91, 92, 93)의 직렬 연결로 구성된다. 따라서, 제 1 버퍼 메모리(91)는 한 선 만큼 지연된 영상 데이터를 출력하고, 제 2 및 제 3 버퍼 메모리(92, 93)는 각각 2 및 3 선 만큼 지연된 영상 데이터를 출력한다.

도 7을 참고하면, 수직 방향 변형 처리 회로(75)는 제 5 내지 제 8 곱셈기(94 내지 97)와 제 4 내지 제 6 가산기(98 내지 100)를 포함한다. 수직 방향 변형 처리 회로(75)는 때로 가산기(90)의 다운스트림(downstream)측에서 데이터를 정상화시키기 위한 회로를 포함한다.

제 5 곱셈기(94)는 수평 방향 변환 회로(73)로부터 공급된 영상 데이터를 미리 설정된 계수로 곱하고, 그 결과의 데이터를 제 4 가산기(98)에 전달한다. 제 6 곱셈기(95)는 제 1 라인 메모리(91)로부터 공급된 영상 데이터를 미리 설정된 계수로 곱하고, 그 결과의 데이터를 제 4 가산기(98)에 전달한다. 제 7 곱셈기(96)는 제 2 라인 메모리(92)로부터 공급된 영상 데이터를 미리 설정된 계수로 곱하고, 그 결과의 데이터를 제 5 가산기(99)에 전달한다. 제 8 곱셈기(97)는 제 3 라인 메모리(93)로부터 공급된 영상 데이터를 미리 설정된 계수로 곱하고, 그 결과의 데이터를 제 6 가산기(100)에 전달한다. 제 4 가산기(98)는 영상 데이터를 합성하고, 그 결과의 데이터를 제 5 가산기(99)에 전달한다. 제 5 가산기(99)는 영상 데이터를 합성하고, 그 결과의 데이터를 제 6 가산기(100)에 전달한다. 제 6 가산기(100)는 각각의 영상 데이터를 합성하고, 그 결과의 데이터를 수평 방향에서의 해상도가 변환된 영상 데이터로 출력한다.

따라서, 수직 방향 변형 처리 회로(75)는 각각이 미리 설정된 형태로 한 선 지연을 갖는 복수의 영상 데이터를 미리 설정된 가중치로 가중화하고, 가중화된 영상 데이터를 수평 방향으로 픽셀을 보간하거나 줄이도록 합성하여 수직 방향에서 해상도를 변환시킨다.

도 7에서, 해상도 변환 회로(28)는 먼저 수직 방향에서의 해상도 변환으로 이어지는 수평 방향에서의 해상도 변환을 실행한다. 그러나, 해상도 변환 회로(28)가 수평 방향에서의 변환으로 이어지는 수직 방향에서의 해상도 변환을 실행하는 것이 가능하다. 즉, 해상도 변환 회로(28)는 영상 데이터를 입력 버퍼(71)에서 수직 방향 버퍼(74)로 공급하고 수직 방향 버퍼(74), 수직 방향 변형 처리 회로(75), 수평 방향 버퍼(72), 및 수평 방향 변형 처리 회로(73)에서의 처리를 순서대로 실행하도록 구성될 수 있다.

상술된 실시예에서, 수직 방향 버퍼(74)내의 제 1 내지 제 3 버퍼 메모리(91 내지 93)는 1-선(1H) 영상 데이터를 저장하도록 구성된다. 다른 방법으로, 제 1 내지 제 3 버퍼 메모리(91 내지 93)는 도 9에 도시된 바와 같이 1 선 이하의 영상 데이터를 저장하도록 구성될 수 있다. 이때는 메모리 제어기(22)가 도 10에 도시된 바와 같이, 매 N개 픽셀마다 영상 메모리(32)에 저장된 영상 데이터를 판독할 필요가 있다.

특별히, 메모리 제어기(22)는 수직 방향에서 선을 근거로 매 N개 픽셀마다 영상 메모리(32)에 저장된 관찰 화면에 대응하는 픽셀 데이터를 판독한다. 도 11을 참조하면, 각각의 관찰 화면은 p x q 픽셀로 구성되고, 상위 좌측 픽셀의 좌표는 (1,1), 상위 우측 픽셀의 좌표는 (p,1), 하위 좌측 픽셀의 좌표는 (1,q), 또한 하위 우측 픽셀의 좌표는 (p,q)이다.

도 12를 참조하면, 메모리 제어기(22)는 N개 픽셀의 영상 데이터가 로우 (row) 1, 2, ..., q의 순차로 수평 방향에서 선을 근거로 판독되게 한다. 이는 메모리 제어기(22)가 좌측 끝부분으로부터 N 픽셀에 대응하는 영상 데이터, 또는 N x q 픽셀, 즉 (1,1), (1,q), (N,q), 및 (N,1)로 정의된 영역내의 픽셀 데이터를 판독하게 한다. 이 영상 데이터는 이후 영상 데이터 세트(1)이라 칭하여진다.

메모리 제어기(22)는 이어서 (N-1,1), (N-1,q), (2N-2,q), (2N-2,1)로 정의된 범위내의 영상 데이터를 판독하고, 이들은 이후 영상 데이터 세트(2)라 칭하여진다. 메모리 제어기(22)가 영상 데이터 세트(1)와 영상 데이터 세트(2)를 판독하면, 이는 제 (N-1) 칼럼(column)과 제 N 칼럼의 영상 데이터를 2회 판독하는 것과 같다.

그 이유는 수직 방향 변형 처리 회로(75)가 주위 픽셀로부터 시작되는 보간을 실행하므로, 제 1 내지 제 3 버퍼 메모리(91 내지 93)의 시작 끝부분 및 나중 끝부분에 저장된 픽셀이 처리물이 아니기 때문이다. 예를 들어, 영상 데이터 세트(1)가 판독되면, 픽셀(N,1)은 수직 방향에서 처리되는 보간의 피사체가 아니다. 그러나, 이 픽셀(N,1)은 픽셀 데이터 세트(2)가 판독될 때 판독되어 보간 처리의 피사체가 된다.

유사한 방식으로, 메모리 제어기(22)는 바로 이전 영상 데이터 중 최종 두 칼럼의 영상 데이터가 포함되도록 매 선마다 수평 방향에서 N 픽셀의 영상 데이터를 판독한다. 이는 해상도 변환 회로(28)에 설정된 영상 데이터를 전달한다.

수직 방향 버퍼(74)에는 선을 근거로 제 1 내지 제 3 버퍼(91 내지 93)의 용량에 대응하는 양으로 영상 데이터가 공급된다. 그래서, 제 1 내지 제 3 버퍼 메모리(91 내지 93) 각각에는 영상 데이터 오프셋 1 선이 저장된다. 수직 방향 변형 처리 회로(75)는 수직 방향 버퍼(74)의 제 1 내지 제 3 버퍼(91 내지 93)로부터의 영상 데이터를 근거로 수직 방향에서 해상도 변환 처리를 실행할 수 있다.

메모리 제어기(22)에서, 메모리 제어기(22)는 수직 방향에서의 해상도 변환에 요구되는 버퍼 메모리의 용량이 1 선에 이르지 않더라도, 메모리 버퍼의 용량과 연관되어 판독함으로서, 해상도 변환 회로(28)가 수직 방향에서 해상도 변환을 실행하게 한다.

비록 영상 데이터 세트 사이의 판독 오버랩이 2개 칼럼이더라도, 오버랩은 2개 칼럼을 넘거나 오버랩이 없을 가능성이 있다. 본 발명은 해상도 변환에 대한 제한 없이 카메라 신호 처리와 같은 영상 신호 처리에 적용가능함을 주목한다.

비록 상기의 설명은 버퍼 메모리가 수직 방향에 대한 보간에 사용되고 있는 실시예에 관한 것이지만, 본 발명은 또한 버퍼 메모리가 수평 방향에 대한 보간에 사용되고 있는 실시예에도 적용가능하다.

즉, 해상도 변환 회로(28)는 도 13에 도시된 바와 같이, N 픽셀의 용량을 갖는 버퍼 메모리(72a)로 구성되는 수직 방향 버퍼(72a)를 사용해 수평 방향에서 해상도 변환을 실행할 수 있다. 메모리 제어기(22)는, 도 14에 도시된 바와 같이, 수직 방향에서 로우 1, 2, ..., p의 순차로 칼럼을 근거로 N 픽셀의 영상 데이터를 판독할 수 있다. 그 동안에는 메모리 제어기(22)가 상술된 수직 보간 처리에서와 같이 이들 영상 데이터가 수평 보간 처리의 피사체가 되도록 버퍼 메모리의 선두 및 나중 끝부분에 저장된 영상 데이터를 2회 판독할 필요가 있다.

따라서, 메모리 제어기(22)는 각각이 N 픽셀의 용량을 갖는 제 1 내지 제 3 버퍼 메모리(91 내지 93)에 대해 수직 및 수평 방향에서의 해상도 변환 처리가 실행되도록 영상 메모리(32)로부터 영상 데이터를 판독할 수 있다. 이는 수평 방향 버퍼(72) 및 수직 방향 버퍼(74)의 회로 규모가 제작 비용을 낮추도록 줄어들게 할 수 있다.

상술된 바와 같이 부호화를 실행하는 NTSC/PAL 인코더(23)는 또한 부호화 처리 이전에 필요한 경우 영상 데이터의 해상도를 증가시키기 위해 간략화된 해상도 변환 회로(23a)를 갖는다.

간략화된 해상도 변환 회로(23a)는 영상 메모리(32)상의 영상 데이터가 디스플레이를 위해 요구되는 해상도 보다 낮은 경우 파인더(36)의 디스플레이 표준에 정합되도록 해상도 변환을 실행한다.

도 15를 참조하면, 간략화된 해상도 변환 회로(23a)는 영상 데이터 버스(33)로부터의 영상 데이터를 저장하는 라인 메모리(101), 수직 방향으로 영상 데이터를 보간하는 수직 방향 선형 보간 회로(V-방향 선형 보간 회로 102), 및 수평 방향 보간 회로(103)를 포함한다.

라인 메모리(101)는 저장된 순서대로 영상 데이터를 V-방향 선형 보간 회로(102)에 전달하도록 한 선에 대응하는 양으로 입력 단자(in)로부터의 영상 데이터를 저장한다. V-방향 선형 보간 회로(102)는 수직 방향으로 선형 보간을 실행하도록 V-방향 선형 보간 회로(102)로부터의 영상 데이터와 입력 단자(in)로부터의 영상 데이터를 미리 설정된 가중치로 가중화한다. 수평 방향 보간 회로(103)는 Y를 7차 필터(order-seven filter)로 보간시키고, Cb 및 Cr을 3차 필터로 보간시킨다. 이는 단순히 2의 계수만큼 해상도를 증가시키기 위한 보간이다. 수평 방향 보간 회로(103)는 영상 데이터를 출력 단자(out)에서 출력한다.

예를 들어, 입력 단자(in)로부터 입력된 영상 데이터가 a, 라인 메모리(101)로부터 판독된 영상 데이터가 b, 가중치 계수가 g(여기서, 0 ≤ g ≤ 1), 또한 V-방향 선형 보간 회로(102)에 의해 출력된 영상 데이터가 c이면, V-방향 선형 보간 회로(102)는 다음의 처리를 실행한다:

c = g*a + (1-g)*b

출력 단자(out)에 의해 출력되는 영상 데이터는 앞서 기술된 바와 같이 NTSC/PAL 인코더(23)에 의해 부호화된다.

신호 처리 시스템에서, 디지탈 정지 카메라(1)는 2개 칩, 즉 신호 처리기(20)와 CPU(41)로 구성된다. 그러므로, 각각의 신호 처리 회로는 각각의 칩의 구성이므로, 기판 표면적과 전력 소모는 각 신호 처리 회로가 분리된 칩 구성인 경우 보다 더 작을 수 있다.

또한, 신호 처리기(20)가 CPU를 포함하는 칩 구성이 아니므로, 신호 처리는 CPU(41)와 연관된 응용이 변하더라도 적응적으로 실행될 수 있다. 즉, 신호 처리기(20)가 CPU를 포함하는 칩 구성이면, CPU의 응용이 변하는 경우 칩을 재구성하는 것이 불가능하다. 그러나, 신호 처리기(20)는 응용을 근거로 최적의 구조인 CPU를 사용해 미리 설정된 신호 처리를 실행할 수 있다.

상술된 구조의 디지탈 정지 카메라(1)는 영상 촬영 이전에 피사체의 위치 또는 상태를 확인하는 파인더 모드, 확인된 피사체의 영상을 촬영하는 기록 모드, 및 피사체 영상의 촬영된 상태를 확인하는 재생 모드를 가지며, 우세한 모드에 따라 처리과정을 실행한다.

파인더 모드에서, 사용자는 피사체를 촬영하도록 도시되지 않은 셔터 버튼을 누르기 이전에 파인더(36)에 나타내진 피사체의 상태를 관찰하여야 한다. 이 파인더 모드에서, 메모리 제어기(22) 및 다른 회로는 다음의 방식으로 제어된다. 각 모드를 설명하기 위해, 도 4를 주로 참고하고, 때때로 도 16을 참고한다.

파인더 모드에서, CCD 영상 센서(11)는 수직 구성성분으로부터 1/3으로 세선화된 영상 신호를 발생하고, 디지탈화된 영상 데이터를 S/H-A/D 회로(12)를 통해 CCD 인터페이스(21a)로 공급한다.

CCD 인터페이스(21a)는 도 16a에 도시된 클럭과 동기화되어 신호 처리를 실행한다. 특별히, CCD 인터페이스(21a)는 영상 발생 유닛(10)에 의해 공급된 영상 데이터의 수평 구성성분을 1/3으로 줄이고, 처리된 영상 데이터를 감마(gamma) 정정하여 그 정정된 데이터를 카메라 DSP(21c)에 전달한다. CCD 인터페이스(21a)는 1/3 감소 처리로부터 340 x 256으로 변환된 영상 데이터를 카메라 DSP(21c)에 공급한다.

카메라 DSP(21c)는 감소 처리된 영상 데이터를 YCrCb 영상 데이터로 데이터 변환 처리한다. 카메라 DSP(21c)는 영상 데이터의 해상도를 낮추도록 간략화된 해상도 변환 회로(21d)에서 영상 데이터의 해상도를 변화시키고 (340 x 256 → 320 x 240), 변환된 영상 데이터를 영상 데이터 버스(33)를 통해 메모리 제어기(22)로 전달한다.

간략화된 해상도 변환 회로(21d)는 간략화된 형태로 해상도를 이어지는 처리에 필요한 내용으로 저하시킨다. 이 방식에서, CCD 영상 센서(11)에 의해 발생된 영상 데이터가 고해상도이면, CCD 영상 센서(11)에 의해 발생된 영상 데이터로 취해진 전달 범위는 파인더 모드의 실시간 특성을 유지하기 위해 영상 데이터 버스(33)상의 정체를 피하도록 감소될 수 있다.

메모리 제어기(22)는 도 16d에 도시된 바와 같이 영상 메모리(32)로부터 영상 데이터를 판독하고 판독된 영상 데이터를 영상 데이터 버스(33)를 통해 NTSC/PAL 인코더(23)에 전달하면서, 영상 데이터를 영상 메모리(32)에 기록한다. 동시에, 메모리 제어기(22)는 도 16e에 도시된 바와 같이 영상 메모리(32)에 저장된 OSD 데이터를 판독하고, 도 16e에 도시된 바와 같이 영상 메모리(32)에 저장된 OSD 데이터를 전달한다. 도 16f는 상술된 실시간 처리를 가능하게 하는 영상 데이터 버스(33)상의 전달 상태를 도시한다.

NTSC/PAL 인코더(23)는 각각 NTSC 시스템 또는 PAL 시스템의 경우 320 x 240 → 640 x 240 또는 320 x 240 → 640 x 288의 해상도 변환을 실행하고, 변환된 영상 데이터를 NTSC/PAL 인코더(23)로 전달한다. NTSC/PAL 인코더(23)는 또한 영상 데이터를 NTSC 시스템 또는 PAL 시스템의 데이터인 도 3에 도시된 파인더(36)에 전해지는 OSD 데이터로 변환시킨다. 이는 피사체의 영상, 제목 정보 등이 실시간으로 파인더(36)상에 디스플레이되도록 허용한다.

그 동안, NTSC/PAL 인코더(23)는 낮은 해상도의 데이터를 해상도 증가시키도록, 예를 들어 320 x 200 영상 데이터가 공급되는 경우, 이것이 각각 NTSC 시스템 및 PAL 시스템에 대해 640 x 240 영상 데이터 및 640 x 288 영상 데이터로 변환되도록 해상도를 변환시킨다.

디지탈 정지 카메라(1)에서, CCD 영상 센서(11)에 의해 발생된 영상 데이터의 해상도는 데이터량을 줄이도록 파인더 모드에서 간략화된 형태로 저하되므로, 영상 데이터는 영상 데이터 버스(33)의 대역폭 제한치내에 있게 되고 해상도는 도 16f에 도시된 타이밍에서 디스플레이에 필요한 내용으로 출력 스테이지에서 증가된다.

따라서, 디지탈 정지 카메라에서, 영상 데이터는 고해상도이더라도 시간 소모되는 감소 처리를 실행할 필요없이, 피사체의 영상이 파인더(36)에서 디스플레이되도록 허용하게 영상 데이터 버스(33)의 대역폭 제한치내에 유지된다.

우선적인 처리를 위한 회로, 즉 CCD 인터페이스(21a), 카메라 DSP(21c), 또는 NTSC/PAL 인코더(23)가 CPU(41)에서 앞서 설정되고, 신호 처리가 상기 회로에서와 같이 다른 회로에서 시간 분할적으로 실행되면, 높은 우선 순위를 갖는 각각의 회로의 신호 처리는 영상 데이터의 데이터량에 따라 우선적으로 실행될 수 있다.

간략화된 해상도 변환 회로(21d)에서 영상 데이터의 데이터량이 큰 경우, 데이터 처리는 CPU(41)의 제어하에서 화상질이 어느 정도 저하되도록 실시간 처리에 우선 순위를 주기 위해 높은 처리 속도로 실행될 수 있다. 이 방식으로, 영상 발생 유닛(10)에서 발생된 영상 데이터의 데이터량이 큰 경우에도 파인더 모드에서는 고속 처리가 실행될 수 있다.

전자 줌(zoom) 기능을 갖는 디지탈 정지 카메라(1)의 경우, CPU(41)는 다음의 방식으로 각각의 회로를 제어할 수 있다.

메모리 제어기(22)는 CCD 인터페이스(21a) 및 카메라 DSP(21c)를 통해 공급된 영상 데이터가 영상 메모리(32)에 기록되게 하고, 영상 데이터가 영상 메모리(32)로부터 판독되어 해상도 변환 회로(28)에 전해지게 한다. 해상도 변환 회로(28)는 전자 줌 기능에 의해 입력 영상의 일부에서 확대된 영상 데이터를 공식화하고, 그 결과의 영상을 영상 메모리(32)에 출력한다. 이 영상 데이터는 영상 메모리(32)로부터 판독되어 NTSC/PAL 인코더(23)를 통해 파인더(36)에 출력된다. 이는 전자적으로 줌 조정된 영상 데이터를 발생한다.

파인더 모드는 실시간 특성에 최우선 순위를 제공하므로, 각각의 회로에 의해 시간 소모 처리가 실행되지 않는다. 그러나, CPU(41)는 메모리 제어기(22)와 다른 회로가 영상 데이터 버스(33)의 전달 영역에 의해 허용된 범위내에 있으면 다양한 처리 동작을 실행하게 한다.

예를 들면, 메모리 제어기(22)는 CCD 인터페이스(21a)로부터 공급된 영상 데이터가 저장된 영상 메모리(32)로부터 영상 데이터를 판독하고, 판독된 영상 데이터를 영상 데이터 버스(33)를 통해 NTSC/PAL 인코더(23)에, 또한 JPEG 인코더/디코더(29)에 공급하도록 구성된다. 파인더(36)는 실시간으로 피사체의 영상을 디스플레이하고, JPEG 인코더/디코더(29)는 JPEG 시스템에 따라 영상 데이터를 압축한다.

JPEG 인코더/디코더(29)는 정지 영상을 압축/확장하지만, 실시간으로 고픽셀 영상을 처리할 수는 없다. 그래서, JPEG 인코더/디코더(29)가 압축을 통해 해상도를 저하시키도록 영상의 일부를 슬라이스(slice)하거나 압축을 통해 영상 데이터 버스(33)로부터 공급되는 영상 데이터의 미리 설정된 프레임수 (프레임이나 필드의 수)를 줄이는 것이 가능하다. 이는 프레임-감소된 정지 영상을 연속적으로 촬영하거나 저해상도 영상을 연속적으로 촬영하는 것을 가능하게 한다.

사용자는 상술된 파인더 모드에서 파인더(36)에 디스플레이된 피사체의 상태를 관찰한다. 피사체가 촬영될 것으로 결정되면, 사용자는 도시되지 않은 셔터 버튼을 누른다.

셔터 버튼이 눌려지면, 디지탈 정지 카메라(1)는 기록 모드로 진행된다. 기록 모드에서, CPU(41)는 촬영된 피사체의 영상을 기록 장치(51)에 기록하도록 다음의 방식으로 메모리 제어기(22) 및 각각의 회로를 제어한다.

CCD 영상 센서(11)는 셔터를 누르는 것과 동시에 축소 동작을 중단하고, XGA 포맷의 영상 신호를 발생하여 디지탈화된 영상 데이터를 S/H-A/D 회로(12)를 통해 CCD 인터페이스(21a)로 전달한다.

CCD 인터페이스(21a)는 S/H-A/D 회로(12)로부터 공급된 영상 데이터를 카메라 DSP(21c)가 아니라, 메모리 데이터 버스(33)를 통해 메모리 제어기(22)로 전달한다. 메모리 제어기(22)는 먼저 영상 데이터를 영상 메모리(32)에 기록하고, 이어서 영상 데이터를 판독하여 판독된 영상 데이터를 영상 데이터 버스(33)를 통해 카메라 DSP(21c)에 전달한다. 카메라 DSP(21c)는 RGB로 구성된 영상 데이터를 Y, Cb, 및 Cr로 구성된 영상 데이터로 변환시킨다.

카메라 DSP(21c)에는 영상 메모리(32)에 일단 기록된 영상 데이터가 공급된다. 즉, 카메라 DSP(21c)는 CCD 인터페이스(21a)로부터 직접 공급된 영상 데이터 대신에 영상 메모리(32)로부터의 영상 데이터에 데이터 변환을 실행한다. 그래서, 카메라 DSP(21c)가 고속 데이터 변환을 실행할 필요가 없지만, 영상 데이터 버스(33)가 복잡하지 않을 때는 카메라 DSP(21c)가 이러한 처리를 실행하는 것으로 충분하다. 다른 말로 하면, 카메라 DSP(21c)가 실시간으로 처리과정을 실행할 필요가 없으므로, 데이터 변환 처리는 높은 처리 속도 보다 높은 화질에 우선 순위가 주어져 실행될 수 있고, 결과의 변환 영상은 영상 데이터 버스(33)를 통해 메모리 제어기(22)에 전해진다. 메모리 제어기(22)는 영상 데이터가 영상 메모리(32)에 기록되게 한다.

메모리 제어기(22)는 영상 데이터가 영상 메모리(32)로부터 판독되고 판독된 영상 데이터가 JPEG 인코더/디코더(29)에 전해지게 한다. JPEG 인코더/디코더(29)는 JPEG 시스템에 따라 영상 데이터를 압축하고, 압축된 영상 데이터를 도 3에 도시된 기록 장치(51)에 기록한다.

기록하는 동안과 같이, 실시간 처리가 불필요하지 않으면, CPU(41)는 영상 데이터 버스(33)의 전달 대역을 고픽셀 영상을 처리하는데 사용하도록 영상 데이터를 영상 메모리(32)에 일시적으로 기록한 후에 미리 설정된 처리과정이 실행되도록 허용한다.

CPU(41)는 기록 모드에서 XGA 포맷의 영상 데이터를 기록 장치(51)에 직접 기록한다. 그러나, 해상도 변환 회로(28)가 영상 데이터를 기록 장치(51)에 기록하기 이전에 영상 데이터의 해상도를 변환시키는 것이 가능하다. 특별히, JPEG 인코더/디코더(29)가 영상 데이터를 압축하고 압축된 데이터를 기록 장치(51)에 기록하게 허용하도록 해상도 변환 회로(28)가 VGA와 관련되어 메모리 제어기(22)를 통해 영상 메모리(32)로부터 판독된 영상 데이터의 해상도를 변환시키게 하는 (1024 x 768 → 640 x 480) 것이 가능하다.

영상 촬영 이후에 촬영된 영상을 확인하기를 바라면, 동작자는 촬영된 영상을 재생하도록 도시되지 않은 재생 버튼을 누른다.

재생 버튼이 눌려지면, 디지탈 정지 카메라(1)는 재생 모드로 이동된다. 재생 모드에서, CPU(41)는 피사체의 영상 데이터를 판독하도록 다음의 방식으로 각각의 회로를 제어한다.

즉, 재생 버튼이 눌려진 것을 검출되면, CPU(41)는 저장 장치(51)에서 영상 데이터를 판독하고, 데이터를 CPU 버스(34)를 통해 JPEG 인코더/디코더(29)에 전하기 이전에 판독된 영상 데이터를 DRAM(42)에 일시적으로 저장한다. JPEG 인코더/디코더(29)는 XGA 포맷의 영상 데이터를 만들도록 JPEG 시스템에 따라 기록 장치(51)로부터 판독된 영상 데이터를 확장시키고, 그 결과의 영상 데이터를 영상 데이터 버스(33)를 통해 메모리 제어기(22)로 전달한다.

메모리 제어기(22)는 영상 데이터를 영상 메모리(32)에 기록하고, 영상 메모리(32)로부터 영상 데이터를 판독하여 판독된 영상 데이터를 영상 데이터 버스(33)를 통해 해상도 변환 회로(28)에 전달한다.

해상도 변환 회로(28)는 영상 데이터가 VGA 포맷(NTSC 시스템에서는 1024 x 768 → 640 x 480, PAL 시스템에서는 1024 x 768 → 640 x 576)에 따르도록 해상도 변환을 실행하고, 변환된 영상 데이터를 영상 데이터 버스(33)를 통해 메모리 제어기(22)로 전달한다. 영상 데이터는 이어서 영상 메모리(32)로부터 판독되어 NTSC/PAL 인코더(23)를 통해 파인더(36)에 전해진다. 이는 기록 장치(51)에 기록된 영상 데이터에 대응하는 영상을 파인더(36)에 디스플레이한다.

즉, 기록 장치(51)에 기록된 영상 데이터는 고해상도를 가지므로, CPU(41)는 먼저 해상도를 낮추고 이어서 영상 데이터를 파인더(36)에 전달한다.

또한, CPU(41)가 파인더 모드, 기록 모드, 및 재생 모드 각각에 대해 우선적으로 처리되는 회로의 우선 순위를 설정하고 한 모드로 이동되는 것에 대한 우선 순위에 따라 관련 회로가 처리과정을 실행하게 하는 것이 가능하다. 이는 영상 데이터의 신호 처리가 각 모드에서의 처리 내용에 따라 효과적으로 실행되게 할 수 있다.

상술된 실시예에서, 처리되고 있는 데이터는 XGA와 동일한 영상 데이터인 것으로 가정된다. 본 발명은 이 실시예에 제한되지 않고 예를 들면, 백만개 픽셀로 구성된 영상 데이터의 처리에도 적용될 수 있음을 주목하여야 한다.

본 발명에 따른 신호 처리 장치 및 그에 대한 제어 방법에 있어서, 요구 신호가 각각의 신호 처리 수단으로부터 전달되면, 우선 순위에서 최우선권을 갖는 요구 신호를 출력하는 신호 처리 수단이 선택되고, 이어서, 저장 수단으로부터 판독된 영상 데이터를 영상 데이터 버스를 통해 선택된 신호 처리 수단으로 공급하거나, 선택된 신호 처리 수단의 처리된 영상 데이터를 영상 데이터 버스를 통해 저장 수단에 기록하기 위한 제어가 실행되기 때문에, 각각의 신호 처리 수단에서 효율적으로 신호 처리가 실행될 수 있다.

Claims

영상 데이터를 저장하는 저장 수단;

상기 저장 수단에 대한 영상 데이터의 기록/판독을 제어하는 제어 수단; 및

미리 설정된 형태로 영상 데이터를 처리하고, 신호 처리를 위한 영상 데이터의 공급을 요구하거나, 처리된 영상 데이터의 출력을 요구하는 요구 신호를 상기 제어 수단에 출력하는 복수의 신호 처리 수단을 구비하는 신호 처리 장치로서,

상기 제어 수단은, 상기 요구 신호의 공급에 따라, 상기 요구 신호를 출력한 하나 이상의 상기 신호 처리 수단을 선택하고, 선택된 신호 처리 수단에 저장 수단으로부터 판독된 영상 데이터를 공급하거나, 선택된 신호 처리 수단에 의해 출력된 영상 데이터를 상기 저장 수단에 기록하는 제어를 관리하는 신호 처리 장치.
제 1 항에 있어서,

상기 복수의 신호 처리 수단은 각각의 타이밍 발생 수단을 포함하는 신호 처리 장치.
제 1 항에 있어서,

상기 영상 데이터를 전송/수신하도록 상기 제어 수단과 신호 처리 수단 사이에 배열된 영상 데이터 버스를 더 구비하는 신호 처리 장치.
제 1 항에 있어서,

상기 제어 수단은 실시간으로 신호 처리를 실행하는데 요구되는 신호 처리 수단을 우선적으로 선택하는 신호 처리 장치.
제 1 항에 있어서,

상기 신호 처리 장치는 복수의 처리 모드를 포함하고,

상기 제어 수단은 상기 동작 모드에 응답하여 상기 복수의 신호 처리 수단의 우선 순위를 설정하는 신호 처리 장치.
제 3 항에 있어서,

상기 제어 수단은 영상 데이터가 영상 데이터 버스의 전달 대역 범위내에 있도록 제어를 관리하는 신호 처리 장치.
제 1 항에 있어서,

상기 제어 수단은 신호 처리 수단으로부터 복수의 신호 처리 수단을 시간 분할적으로 동시에 선택하는 신호 처리 장치.
제 1 항에 있어서,

상기 제어 수단은 선택된 신호 처리 수단에 선택의 효과를 나타내는 승인 신호를 출력하고,

상기 신호 처리 수단은 상기 승인 신호를 수신한 이후에 상기 제어 수단과 서로 영상 데이터를 교환하는 것을 특징으로 하는 신호 처리 장치.
영상 데이터를 저장하도록 적응된 저장 수단과 복수의 신호 처리 수단 사이에서 영상 데이터를 전송/수신하도록 적응된 신호 처리 장치의 제어 방법으로서,

상기 신호 처리 수단이 미리 설정된 형태로 영상 데이터를 처리하고, 신호 처리를 위해 영상 데이터의 공급을 요구하거나, 처리된 영상 데이터의 출력을 요구하는 요구 신호를 상기 제어 수단에 출력하도록 적응되어 있는 신호 처리 장치의 제어 방법에 있어서:

상기 복수의 신호 처리 수단으로부터 상기 요구 신호의 공급에 따라, 상기 요구 신호를 출력한 하나 이상의 상기 신호 처리 수단을 선택하는 단계; 및

선택된 신호 처리 수단에 저장 수단으로부터 판독된 영상 데이터를 공급하거나, 선택된 신호 처리 수단에 의해 출력된 영상 데이터를 상기 저장 수단에 기록하는 단계를 구비하는 신호 처리 장치 제어 방법.
제 9 항에 있어서,

상기 복수의 신호 처리 수단은 상기 신호 처리 수단에 의해 개별적으로 소유된 타이밍 발생 수단에 기초한 상기 요구 신호를 출력하는 신호 처리 장치 제어 방법.
제 9 항에 있어서,

상기 영상 데이터의 전송/수신은 영상 데이터 버스를 통하는 신호 처리 장치 제어 방법.
제 9 항에 있어서,

실시간으로 처리되도록 요구되는 신호 처리 수단은 우선적으로 선택되는 신호 처리 장치 제어 방법.
제 9 항에 있어서,

상기 신호 처리 장치는 복수의 동작 모드를 갖고,

상기 복수의 신호 처리 수단의 순위는 상기 동작 모드에 응답하여 설정되는 신호 처리 장치 제어 방법.
제 11 항에 있어서,

상기 영상 데이터가 상기 영상 데이터 버스의 전달 대역내에 있게 되도록 제어가 실행되는 신호 처리 장치 제어 방법.
제 9 항에 있어서,

상기 복수의 신호 처리 수단은 동시에 시간 분할적으로 선택되는 신호 처리 장치 제어 방법.
제 9 항에 있어서,

상기 선택된 신호 처리 수단에 선택의 효과를 나타내는 승인 신호를 출력하고,

상기 신호 처리 수단은 상기 승인 신호를 수신한 이후에 상기 제어 수단과 서로 영상 데이터를 교환하는 신호 처리 장치 제어 방법.
영상화 수단;

상기 영상화 수단으로부터 영상 데이터를 일시적으로 저장하는 저장 수단;

상기 저장 수단에 대한 상기 영상 데이터의 기록/판독을 제어하는 제어 수단;

미리 설정된 형태로 영상 데이터를 처리하고, 신호 처리를 위한 영상 데이터의 공급을 요구하거나 처리된 영상 데이터의 출력을 요구하는 요구 신호를 상기 제어 수단에 출력하는 복수의 신호 처리 수단; 및

상기 신호 처리 수단에 의해 처리된 영상 데이터를 출력하는 출력 수단을 구비하는 영상화 장치로서,

상기 제어 수단은, 상기 요구 신호의 공급에 따라, 상기 요구 신호를 출력한, 하나 이상의 상기 신호 처리 수단을 선택하거나, 선택된 신호 처리 수단에 저장 수단으로부터 판독된 영상 데이터를 공급하거나, 선택된 신호 처리 수단에 의해 출력된 영상 데이터를 상기 저장 수단에 기록하는 제어를 관리하는 영상화 장치.
제 17 항에 있어서,

상기 신호 처리 수단으로서,

상기 영상 데이터를 디스플레이 수단에 디스플레이하는 처리를 실행하는 디스플레이 처리 수단; 및

상기 영상 데이터를 기록 매체에 기록하는 처리를 실행하는 기록 처리 수단을 구비하고,

상기 제어 수단은 상기 디스플레이 처리 수단을 우선적으로 선택하는 영상화 장치.
영상화 수단;

상기 영상화 수단으로부터의 영상 데이터에 미리 설정된 입력 처리를 실행하는 입력 처리 수단;

영상 데이터를 디스플레이 수단에 디스플레이하는 디스플레이 처리 수단;

상기 영상화 수단으로부터의 영상 데이터를 일시적으로 저장하는 제 1 저장 수단;

상기 제 1 저장 수단에 대해 영상 데이터의 기록/판독을 제어하는 제어 수단;

영상 데이터의 해상도를 변환하는 해상도 변환 수단;

영상 데이터를 압축/확장하는 압축/확장 수단; 및

압축된 영상 데이터가 제 2 저장 수단에 기록되게 하고, 상기 제 2 저장 수단에 기록된 영상 데이터가 재생되게 하는 기록/재생 제어 수단을 구비하는 기록/재생 장치로서,

상기 제어 수단은 상기 입력 처리 수단, 디스플레이 처리 수단, 해상도 변환 수단, 및 상기 압축/확장 수단으로부터 하나 이상의 신호 처리수단을 선택하고, 상기 제어 수단은 제 1 저장 수단으로부터 판독된 영상 데이터가 선택된 신호 처리 수단에 전달되게 하거나, 선택된 신호 처리 수단에 의해 출력된 영상 데이터가 제 1 저장 수단에 기록되게 하는 기록/재생 장치.
제 19 항에 있어서,

상기 영상화 수단으로부터의 영상 데이터를 상기 디스플레이 수단에 디스플레이하는 파인더 모드(finder mode), 영상 데이터를 상기 제 2 기록 수단에 기록하는 기록 모드, 및 영상 데이터를 상기 제 2 저장 수단으로부터 재생하는 재생 모드를 갖고,

상기 제어 수단은 상기 각각의 모드에 응답하여 상기 복수의 신호 처리 수단의 우선 순위를 설정하는 기록/재생 장치.
제 20 항에 있어서,

상기 제어 수단은 모드가 파인더 모드인 경우 입력 처리 수단과 디스플레이 처리 수단을 우선적으로 선택하는 기록/재생 장치.