KR20010020678A

KR20010020678A - 프로그램가능한 실시간 화상 처리

Info

Publication number: KR20010020678A
Application number: KR1020000014990A
Authority: KR
Inventors: 린게네춘-윈
Original assignee: 윌리엄 비. 켐플러; 텍사스 인스트루먼츠 인코포레이티드
Priority date: 1999-03-25
Filing date: 2000-03-24
Publication date: 2001-03-15
Also published as: EP1045594A2; TW540249B; JP2000307938A; EP1045594A3

Abstract

출력 이전에 카메라의 화상을 미리보는 방법이 개시되어 있다. 상기 방법은 화상 데이터를 게더링(gather)하는 단계, 상기 화상 데이터를 저장하는 단계, 상기 저장된 화상 데이터를 이용하여 디스플레이 파라미터를 계산하는 단계, 룩업 테이블에 상기 디스플레이 파라미터를 저장하는 단계, 및 미리보기 화상 데이터를 생성하기 위해, 상기 룩업 테이블 내의 상기 디스플레이 파라미터를 상기 화상 데이터의 적어도 일부에 적용하는 단계를 포함한다. 상기 디스플레이 파라미터는 실시간 화상 미리보기를 실현하기 위해 디지털 신호 프로세서를 사용하여 빨리 계산될 수 있다. 본 실시예에 따른 카메라에 사용되는 파라미터는 수직 다운 샘플링부(51), 화이트 밸런스 및 게인 제어부(52), 수평 업/다운 샘플링부(53), 및 색공간 변환 및 감마 보정부(55)이다. 최종 미리보기 처리된 화상은 인터페이스(56)를 거쳐 메모리에 저장되고 미리보기 디스플레이를 통해 보여질 수 있다. 디지털 신호 프로세서상에서 운영되는 미리보기 알고리즘을 사용하여 계산되면, 이들 파라미터들은 화상 조건 요구사항으로서 디지털 신호 프로세서에 의해 갱신될 수 있는 하나 이상의 룩업 테이블에서 조합될 수 있다.

Description

프로그램가능한 실시간 화상 처리{PROGRAMMABLE REAL-TIME IMAGE PROCESSING}

본 발명은 디지털 화상 처리에 관한 것으로, 특히 실시간 원 화상 데이터를 처리하고 실시간 방식으로 상기 처리된 화소 신호를 프로그래밍 성능 및 고품질로 디스플레이하기 위한 방법 및 장치에 관한 것이다.

디지털 스틸 카메라와 같은 종래의 디지털 신호 처리 시스템에서, CCD 또는 공간상으로 컬러-샘플된 화상을 제공하는 컬러 필터 어레이를 갖는 상보형 금속-산화물-반도체(CMOS) 센서와 같이 화상-게더링 수단 내의 화상 센서는 화상광에 노출되고 최종 아날로그 화상 정보는 아날로그-디지털 변환기(ADC)에 의해 디지털 화상 신호로 변환된다. 그 다음, 디지털 화상 신호는 동기 DRAM(SDRAM) 또는 임시 저장용 DRAM과 같은 메모리에 전송된다. 일부 디지털 스틸 카메라는 역시 공간상 컬러-샘플된 장치인 컬러 액정 디스플레이(LCD)를 갖는다. 사용자는 전형적으로 저장하기 위해 화상을 포착하기 전에 미리 보려고 하기 때문에, 디지털 화상 신호는 화상 포착 이전에 픽쳐 프레임을 미리보기위한 미리보기(preview) 모드 장치(이하, 미리보기 엔진이라 함)로 전송된다.

일반적으로, 사용자는, 카메라가 물체상에서 이동됨에 따라 LCD상의 픽쳐 화상을 바로 미리보고 싶어한다. 즉, 전형적인 디지털 스틸 카메라인 경우, 미리보기 모드에 사용되는 처리는 임의의 인식가능 디스플레이 지연을 피하기 위해 초당 60 화상과 같이 고속으로 행해져야 한다. 용어 "실시간"은 여기서 실질적인 인식가능 디스플레이 지연없이 달성되는 동작에 적용된다.

디스플레이된 화상이 LCD 디스플레이의 LCD 스크린의 해상도 및 색역에 의해 제한된다는 사실에도 불구하고, 미리보기 화상은 카메라에 의해 생성된 최종 화상의 품질을 반영하는데 바람직하다. 이를 달성하기 위해, 미리보기 엔진은 바람직하게 최종 화상을 생성하는데 사용된 기능, 화이트 밸런스, 자동 노출, 자동 초점, 게인 제어, 감마 보정, 및 색공간 변환과 같은 기능을 포함할 것이다. 물론, 확장된 미리보기 화상은 또한 바람직하게 복잡성 또는 비용 추가없이 달성될 것이다. 따라서, LCD 디스플레이상에 미리보여진 화상의 품질을 업그레이드할 수 있고 간단하고 보다 비용면에서 효과적인 구성에 의한 미리보기 모드에서 실시간 동작에 대한 소망을 만족시키는 방법 및 장치가 이 업계에서는 필요하다.

본 발명의 일 실시예에서, 출력 이전에 카메라의 화상을 미리보는 방법이 개시되어 있다. 상기 방법은 화상 데이터를 게더링(gather)하는 단계, 상기 화상 데이터를 저장하는 단계, 상기 저장된 화상 데이터를 이용하여 디스플레이 파라미터를 계산하는 단계, 룩업 테이블에 상기 디스플레이 파라미터를 저장하는 단계, 및 미리보기 화상 데이터를 생성하기 위해, 상기 룩업 테이블 내의 상기 디스플레이 파라미터를 상기 화상 데이터의 적어도 일부에 적용하는 단계를 포함한다. 상기 디스플레이 파라미터는 실시간 화상 미리보기를 실현하기 위해 디지털 신호 프로세서를 사용하여 빨리 계산될 수 있다. 본 실시예에 따른 카메라에 사용되는 파라미터는 수직 다운 샘플링부(51), 화이트 밸런스 및 게인 제어부(52), 수평 업/다운 샘플링부(53), 및 색공간 변환 및 감마 보정부(55)이다. 최종 미리보기 처리된 화상은 인터페이스(56)를 거쳐 메모리에 저장되고 미리보기 디스플레이를 통해 보여질 수 있다. 디지털 신호 프로세서상에서 운영되는 미리보기 알고리즘을 사용하여 계산되면, 이들 파라미터들은 화상 조건 요구사항으로서 디지털 신호 프로세서에 의해 갱신될 수 있는 하나 이상의 룩업 테이블에서 조합될 수 있다.

본 발명의 다른 실시예에서, 출력 이전에 카메라의 화상을 미리보는 방법이 개시되어 있다. 상기 방법은 화상 데이터를 게더링하는 단계, 상기 화상 데이터를 디지털화하는 단계, 상기 디지털 화상 데이터를 저장하는 단계, 상기 디지털 화상 데이터의 일부를 샘플링하는 단계, 상기 저장된 디지털 화상 데이터를 사용하여 화이트 밸런스 조정 및 게인 제어 파라미터를 계산하는 단계, 상기 화이트 밸런스 조정 및 상기 게인 제어 파라미터를 룩업 테이블에 저장하는 단계, 및 미리보기 화상 데이터를 생성하기 위해, 상기 룩업 테이블 내의 상기 화이트 밸런스 조정과 상기 게인 제어 파라미터를 상기 디지털 화상 데이터의 상기 일부에 적용하는 단계를 포함한다.

본 발명의 또 다른 실시예에서, 디지털 카메라가 개시된다. 상기 디지털 카메라는 화상-게더링 장치, 상기 화상-게더링 장치에 결합되며, 룩업 테이블을 포함한 미리보기 엔진, 상기 미리보기 엔진에 결합된 디스플레이, 상기 화상-게더링 장치에 결합된 기억 장치, 및 상기 룩업 테이블 및 상기 기억 장치에 결합된 프로세서를 포함한다.

본 발명의 장점은, 화이트 밸런스, 게인 제어, 감마 보정, 및 컬러 보간과 같은 소망의 이미징 특징의 실시간 처리를 가능케한다는 것이다.

도 1은 본 발명의 실시예에 따른 개선된 디지털 스틸 카메라의 간략한 블록도.

도 2는 본 발명에 따른 도 1의 미리보기 엔진의 블록도.

도 3a는 도 2의 수직 다운 샘플러의 블록도.

도 3b는 도 3a의 수직 다운 샘플러의 샘플링도.

도 4는 본 발명에 따른 도 2의 게인 제어기의 블록도.

도 5a는 본 발명에 따른 기록-인 모드에서의 도 2의 수평 업/다운 샘플러의 블록도.

도 5b는 본 발명에 따른 판독 모드에서의 도 2의 수평 업/다운 샘플러의 블록도.

도 5c는 본 발명에 따른 판독 모드에서의 도 2의 수평 업/다운 샘플러의 샘플링도.

도 6a는 본 발명에 따른 도 2의 컬러 보간기의 블록도.

도 6b는 본 발명에 따른 도 2의 컬러 보간기에 사용되는 필터 패턴을 도시한 도면.

도 7은 본 발명에 따른 감마 보정을 갖는 도 2의 색공간 변환기의 블록도.

<도면의 주요 부분에 대한 부호의 설명＞

1: 촬영 렌즈 광 시스템

2: CCD

3: A/D

4: CCD 제어기

5: 미리보기 프로세서

6: SDRAM 제어기

7: SDRAM

8: 인코더 제어기

9: NTSC PAL 인코더

10: 디지털 신호 프로세서

11: TV 또는 LCD

이하 설명되는 본 발명의 실시예는 실시간으로 카메라에서 고품질 미리보기 화상을 생성하기 위한 시스템을 제공한다. 본 발명의 일 실시예에서, 디지털 신호 프로세스(DSP)의 처리 속도는 실시간으로 룩업 테이블을 갱신하는데 사용된다. 따라서, 종래의 시스템에서의 룩업 테이블의 사용은 화상의 물체 필드가 변함에 따라 인식가능 지연을 피하려고 충분하게 빨리 테이블을 갱신하는 마이크로프로세서의 일부 무능력으로 인해 매우 실제적인 것은 아니다. 사실상, DSP는 화이트 밸런스, 색공간 변환, 감마 보정, 샘플링, 및 색공간 변환, 예를 들면 실시간으로와 관련된 알고리즘을 처리할 수 있다. 이들 기능들은 디지털 줌, 디지털 자동 노출, 및 전형적으로 하드-와이어, 부동성 회로, 또는 한층 저속인 마이크로프로세서를 사용하여 실현된 컬러 강화 기능을 생성하는데 사용될 수 있다. DSP는 미리보기 화상을 위해 구체적으로 설계된 알고리즘을 사용하여 계산 임무를 수행할 수 있고, 또한 디지털 스틸 카메라와 같은 시스템의 출력인 상당한 고품질 화상을 생성하는데 전형적으로 사용된 보다 복잡한 알고리즘에 대한 계산을 수행할 수 있다.

본 발명의 바람직한 실시예는 이하 첨부한 도면을 참조하여 설명된다.

도 1을 참조하면, 본 발명의 제1 실시예는 CCD 장치(2)에 의해 모인 화상을 미리보기위하여 CCD 제어기(4) 및 SDRAM 제어기(6) 사이에 결합된 미리보기 엔진(5)을 제공한다. 여기서 설명된 실시예들이 디지털 스틸 카메라에 관한 것이지만, 본 발명은 디지털 스틸 카메라에 국한되지 않는다는 것을 알아야 한다. 예를 들면, 본 발명은 화상과 같은 데이터를 얻고, 데이터의 수정된 형식을 생성하도록 데이터를 처리하고, 이 데이터를 사용하기 전에 데이터의 수정된 형태를 미리보거나 이를 메모리에 저장하기 위한 임의의 설비에 적당할 수 있다.

도 1은 본 발명에 따른 시스템의 간략한 블록도를 도시한다. 참조 번호(1)는 촬영된 물체의 화상광을 받는 촬영 렌즈 광 시스템을 가리킨다. 이 화상은, 화상광을 전자 아날로그 화상 신호로 변환시키는 CCD(2)에 화상광이 노출될 때 포착된다. CCD(2)는 제곱형으로 매 4 화소에 대해 컬러 필터의 베이어(Bayer) 패턴(적색-녹색/녹색-청색)에 의해 커버된 화상 화소의 2차원 어레이를 갖는다. 베이어 패턴 이외에도, 적색-녹색-청색 줄무늬형, 상보형 등과 같은 컬러 필터 어레이 구성의 몇몇 유형은 CCD(2)에 구성될 수 있다. 아날로그-디지털(A/D) 변환기(3)는 아날로그 화상 신호를 디지털 화상 데이터로 변환시킨다. CCD 제어기(4)는 (이하 설명되는) 디폴트 화소 클럭에 따른 1차 적색(R), 녹색(G) 및 청색(B) 신호와 같이, 화소-시퀀셜 화상 신호를 컬러-분리된 화소 신호로 분리하는 컬러 분리기(도시되지 않음)를 포함할 수 있다. 그 다음, 컬러-분리된 화소 신호는 미리보기 엔진(5)으로 전송된다. 미리보기 엔진(5)은, 예를 들면 TV 또는 LCD(11)상에서 미리보기위한 컬러-분리된 화소 신호를 준비한다. 컬러-분리된 화소 신호는 또한 SDRAM 제어기(6)를 거쳐 임시 저장용 동기 다이나믹 랜덤 억세스 메모리(SDRAM)(7)과 같은 반도체 메모리로 전송된다. 디지털 신호 프로세서(DSP)(10)는 메모리(7)에 결합되고 미리보기 엔진(5)의 미리보기 알고리즘에 사용되는 계산을 수행하기 위해 그 내부에 데이터를 억세스한다. DSP(10)는 또한 카메라 또는 시스템의 출력인 최종 고품질 화상을 준비하는데 사용되는 알고리즘에 대한 계산을 수행한다. 이 확장 알고리즘은 전형적으로 DSP 집적 회로상의 플래시 ROM에 저장된다. TV 또는 LCD(11)상에 디스플레이되도록, SDRAM(6)으로부터의 컬러-분리된 화소 신호는 또한 인코더 제어기(8) 및 NTSC/PAL 인코더(9)에 의해 처리된다.

본 발명의 본 실시예에서, CCD(2)는 1680X2048 화소의 해상도를 갖는 반면, NTSC형 디스플레이는 525X768 화소의 해상도를 갖는다. 즉, LCD 또는 NTSC형 디스플레이(11)는 CCD(2)보다 적은 디스플레이 화소를 갖는다. 따라서, NTSC 표준 TV 또는 NTSC 호환 LCD(11)에서 CCD(2)로부터 얻은 화소 신호를 디스플레이하기 위해, 화소 신호는 단절(truncated)되거나 다운 샘플된다.

예시적인 미리보기 엔진(5)의 블록도가 도 2에 도시되어 있다. 미리보기 엔진(5)은 CCD(2)로부터 화소 신호를 단절하거나 다운 샘플링하기 위한 수직 다운 샘플러(51)를 포함한다. 다운샘플링은 시스템 사용자가 보는 화상의 크기를 증가 및 감소시키는 줌 효과를 생성하는데 사용될 수 있다. 본 실시예에서, 수직 다운샘플링만이 사용된다. 이는, 본 실시예에서 미리보기 화상에 필요한 수직 해상도가 화상-게더링 장치(CCD(2))에 의해 포착된 것 미만 때문에 미리보기 프로세서에 대해 수용가능하다. 본 실시예에서, 기술 분야의 당업자가 업-샘플링은 도 2의 설계에 포함될 수 있다는 것을 인식하고 있지만, 화상 데이터의 업 샘플링 또는 보간은 거의 필요가 없다. 업 샘플링 없이도, 미리보기 화상은 화상의 다운샘플링의 정도를 간단히 변환시킴으로써 효과적으로 확대될 수 있다. 수직 다운 샘플러(51)는 CCD(2)로부터 디지털 화소 신호를 선택하여, 디스플레이 장치(11)의 수직 해상도를 매칭시킨다.

수직 다운 샘플러(51)의 블록도를 도시한 도 3a를 참조하면, CCD(2)로부터 얻은 디지털 화소 신호는 8비트 데이터 라인 D0...D7으로 표현된다. 두 개의 레지스터 PVMP0 및 PVMP1은 DSP(10), 마이크로프로세서, 또는 다른 유사한 수단에 의해 프로그래밍되어, 도 3b에 도시된 수직 다운-샘플링 스킴을 제어한다. 도 3b에서, PVMP0은 2의 값으로 설정되고 PVMP1은 3의 값으로 설정되며, 이에 따라 2/5 샘플링이 이루어진다. 즉, 1680 라인은 672 라인으로 다운 샘플링될 것이다. PVMP0 및 PVMP1 모두가 2로 설정되면, 다운샘플링비는 2/4이고 1680 라인은 840 라인으로 다운샘플링된다. 수직 다운 샘플러(51)에서, 축적기(511)는 레지스터 PVMP0 및 PVMP1에 저장되어 있는 디지털 값을 차례로 합산하고, 라인 카운터(513)로부터의 라인 계산 값 LC와 비교하기 위하여 그 합산 값을 비교기(512)에 출력한다. 라인 카운터(513)는 수평 동기 클럭 HSYNC에 응답하여 현재의 수평 라인 수를 발생시킨다. 합산 값이 라인 카운터 값과 일치하면, 비교기(512)는 선택기(514)가 디지털 화소 신호의 현재 일치된 수평 라인을 선택하여 그 출력을 8비트 데이터 라인 DA0...DA7상에 전송하도록 한다. 현재의 수평 라인이 화상 프레임의 에지에 도달하기 때문에, 수직 동기 클럭 VSYNC는 축적기(511)를 클리어하여 그 초기 상태로 리셋한다. 이와 같이, CCD(2)에 의해 모여진 화상 프레임의 수직 정도는 TV 또는 LCD와 같은 디스플레이의 한계에 도달하도록 단절되거나 다운 샘플될 수 있다.

도 2를 다시 참조하면, 데이터 라인 DA0...DA7상에서 수직 다운 샘플러(51)로부터 얻은 수직 다운 샘플된 디지털 화소 신호는 게인 제어기(52)에 전송된다. CCD(2)로부터 얻은 화소 신호의 게인은 종종 CCD(2)상의 결함 화상 화소 또는 픽쳐 프레임이 갖게 되는 희미한 환경으로 인해 조정을 필요로 한다.

게인 제어는 디지털 카메라의 자동-노출 특징을 수행하는 전자 수단이다. 이는 카메라 사용자가 보는 미리보기 화상을, 카메라가 물체상에 이동됨에 따라 광 조건의 변화에 대해 조정하게 되는 미리보기 엔진(5)에 사용된다. 도 4에 도시된 바와 같이, 게인 제어기(52)는 8비트 레지스터, PVGCDATA 및 PVGCADDR에 의해 DSP(10)로 어드레스가능한 룩업 테이블(LUT)(522)을 갖는다. LUT(522)는, 예를 들면 각 화소에 대해 데이터 라인 DA0...DA7에 의해 제공된 256(28) 가능한 강도 레벨에 대응하는 256 위치를 각각 갖는 4개의 메모리부로 구성될 수 있는 이중-포트 RAM 또는 다른 적절한 메모리 장치에 의해 구현될 수 있다. 즉, 결국 LUT(522)는 베이어 패턴(RG/GB)에서 각 원색에 대하여 4개의 전용 서브 룩업 테이블을 가질 수 있다. LUT(522)의 4X256 위치 각각에서의 디지털 게인 값은 임의의 편리한 시간에서 값 레지스터 PVGCDATA 및 어드레스 레지스터 PVGCADDR을 거쳐 DSP(10)에 의해 사전-로드된다. 상세하게는, 선택기(521)는 먼저 데이터 라인 DA0...DA7에 의해 표현된 화소 각각의 컬러 및 위치가 베이어 패턴의 동일한 위치의 컬러 및 위치에 대응한다. 이는 두 개의 제어 신호, even_line 및 even_pixel에 응하여 행해진다. 제어 신호 even_line은, DA0..DA7로 표현된 현재의 화소가 CCD(2)상의 짝수 화소 라인 또는 홀수 화소 라인에 있는지의 여부를 가리키도록 수직 다운 샘플러(51)로부터 인버터(53)를 통해 수평 동기 클럭 HSYNC에 의해 발생된다. 제어 신호 even_pixel은, DA0..DA7로 표현된 현재의 화소가 제어 라인 even_line에 의해 결정된 라인에서 짝수 화소 또는 홀수 화소인지의 여부를 가리키도록 인버터(524)를 통해 현재의 화소 클럭 PCLK에 의해 발생된다. 데이터 라인 DA0...DA7에 의해 표현된 현재의 화소의 컬러 및 위치가 결정된 후, LUT(522)에서 대응한 서브 룩업 테이블은 데이터 라인 DA0..DA7에 의해 제공된 화소 신호의 게인 버전으로서 데이터 라인 DA0...DA7에서, 대응하는 LUT 위치에 저장된 값을 생성하도록 억세스되고 자극된다.

게인 제어기(52)는 DSP(10)에 의해 설정된 어드레스 값을 수신하여 다른 어드레스 신호를 발생시키는 선택기(521)와 동일한 동작을 갖는 선택기(525)를 더 포함한다. 비교기(526)는 두 개의 어드레스 신호가 서로 상이한지를 판정하기 위해 선택기(521 및 525)로부터 이들을 비교한다. 두 개의 어드레스 신호가 상이하면, 비교기는 LUT(522)에 기록 인에이블 신호를 전송하여, LUT가 DSP(10)에 의해 계산되고 레지스터 PVGCDATA에 저장된 값을 수신하도록 한다. 이러한 구성은 PVGCADDR에 의해 어드레스된 LUT(522)의 위치내의 디지털 값을 선택기(522)에 의해 배치되지 않도록 하는 것이다.

이와 같이, 데이터 라인 DA0...DA7로 표현된 화소 신호는 LUT(522)의 1대1 컬러 세기 맵핑에 의해 게인-제어될 수 있다. 게다가, 디지털 신호 프로세서의 계산 능력의 사용은 LUT가 실시간으로 갱신되고 억세스되도록 한다. 게다가, 상술된 바와 같이, LUT(522)의 임의의 위치에서의 디지털 게인 값은 레지스터 PVGCDATA 및 PVGCADDR을 통해 DSP(10)에 의해 프로그램되어, 게인 제어기(52)는 LUT(522)의 256 위치에 저장된 임의의 한가지 컬러의 세기 레벨의 평균을 조정함으로써 각 화소의 게인을 자유롭게 제어할 수 있다. 게인은 선형 방식, (이하 상세하게 설명될) 감마 곡선, 또는 다른 방식으로 제어될 수 있다.

본 발명의 바람직한 일 실시예에 따르면, LUT(522)의 4X256 디지털 값을 CCD(2)상의 모든 화상 화소에 대한 평균값으로 적당하게 설정함으로써, 게인 제어기(52)는 포착된 화상의 컬러 포화를 방지하는 데 있어 중요한 화이트 밸런스 조정의 부수적인 이점을 실현할 수 있다. 게인 제어는, R, G, 및 B 신호가 (이하 구체적으로 설명될) 색차 신호로 변환되기 전 화상 처리 동안에 임의의 편리한 시간에서 수행될 수 있다는 것을 알아야 한다. 그러나, 게인 제어는, 바람직하게 수직 다운 샘플러(51)가 생략된 라인상에서의 게인 제어의 수행을 피하도록 화상의 수직 단절을 수행한 후 수행된다. 듀얼-포트 RAM으로서의 게인 제어기(52)의 구현은 몇몇 가능한 실시예 중 단지 하나이라는 것을 알아야 한다. 등가 회로에서의 게인 제어를 수행하거나 펌웨어에서의 게인 제어를 수행하는 것은 본 발명의 범위내에 있을 것이다.

도 2에 도시된 바와 같이, 그 다음, 데이터 라인 DB0...DB7로 표현된 게인-제어된 화소 신호는 수평 업/다운 샘플러(53)로 전송된다. 상술된 바와 같이, 수직 샘플링인 경우, CCD 화상이 디스플레이를 고정하도록 크기화되는 것 이외에 도, 수평 샘플링은 또한 카메라의 줌 효과를 생성하는데 사용된다. 다운샘플링으로 한정된 예시적인 수직 샘플링 구현과는 대조적으로, 본 실시예에서의 수평 샘플링 모드는 줌 아웃 및 줌 인을 각각 허용하기 위해 다운 또는 업할 수 있다. 수평 업/다운 샘플러(53)가 기록-인 모드에서 동작하는 도 5a를 참조하면, 동작시 데이터 라인 DB0...DB7로 표현된 게인-제어된 화소 신호는 수평 라인 단위로 두 개의 라인 버퍼(531 및 532)에 차례로 로드된다. 바람직하게, 각각의 라인 버퍼는 2048바이트와 같이 충분히 크도록 구성되어, CCD(2)에서의 1680 화소의 하나의 수평 라인을 적응시킨다. 이 두 라인 버퍼의 로딩 동작은 선택 신호 even_line 및 위치 어드레싱 신호 PCNT에 의해 제어된다. 도 4에 도시된 경우에서와 같이, 데이터 라인 DB0...DB7로 표현된 현재의 화소가 CCD(2)상에서 짝수 라인 또는 홀수 라인인지를 나타내는 선택 신호 even_line 값은 두 개의 라인 버퍼(531 및 532) 중 하나에 인에이블된다. 수평 업/다운 샘플러(53)는 CCD(2)상에서 수평으로 다운 샘플될 화상 영역의 수직 개시 라인 및 수직 종료 라인을 어드레싱하기 위해 DSP(10)에 의해 프로그램가능한 두 개의 레지스터 PVRES1 및 PVRES2를 갖는다. 비교기(533)는 레지스터 PVRES1에 저장된 좌한값 및 레지스터 PVRES2에 저장된 우한값을, 화소 클럭 PCLK를 수신하는 화소 카운터(534)로부터의 디지털 값과 비교한다. 이 비교는, 데이터 라인 DB0...DB7로 표현된 현재의 화소가 수평으로 다운 샘플될 화상 영역에 있는지의 여부를 결정한다. 이 비교기(533)는 또한 데이터 라인 DB0...DB7로 표현된 현재의 화소의 기록 위치를 배치하기 위해 PCLK에 대응하는 위치-어드레싱 신호 PCNT를 발생시킨다. 두 개의 라인 버퍼의 구성은, 베이어 패턴이 2X2 화소 크기이고 라인 버퍼의 두 개의 행이 베이어 패턴의 컬러 필터에 의해 피복된 컬러 화소로부터 얻어진 화소 신호를 처리하는데 충분하다라는 것을 알 수 있다. 하나의 라인 버퍼 또는 하나 이상의 라인 버퍼가 다른 패턴에 또는 다른 구성에서 적당할 수 있다.

본 발명의 실시예에 따르면, 판독(샘플링) 동작시, 라인 버퍼(531 및 532)의 게인-제어된 화소 신호는 블록, 즉 라인 버퍼(531 및 532)로부터 각각 두 개인 4개의 화소당 판독된다. 수평 업/다운 샘플러(53)가 판독 모드에서 동작하는 도 5b를 참조한다. 선택기(535)는 축적기(536)에 선택된 어드레스 로케이터 PVDZ를 전송하기 위해, DSP(10)에 의해 프로그램되어 샘플링 방법 및 샘플링 비율을 설정하는 4개의 2비트 포인팅 레지스터 PVDZ0, PVDZ1, PVDZ2, 및 PVDZ3 중 하나에 저장된 어드레스 로케이터를 차례로 주기적으로 선택한다. 각각의 어드레스 로케이터는 두 개의 라인 버퍼에 블록의 시작 어드레스를 배치하는데 사용된다. 축적기(536)로부터 출력된 축적된 결과 ICNT와 레지스터 PVPS로부터의 버퍼 시작 어드레스의 가산은 어드레스 포인터 RPCNT를 발생시킨다. 비교기(537)는 어드레스 포인터 RPCNT를 기록-인 모드에서 마지막에 발생된 PCNT와 비교한다. RPCNT가 PCNT보다 크면, RPCNT에 의해 지적된 어드레스는 최종 게인-제어된 화소 신호가 기록-아웃 모드에서 기록된 어드레스를 초과한 것임을 의미한다. RPCNT는 또한 레지스터 PVPE로부터의 라인 버퍼(531 및 532)의 최종 어드레스와 비교기(538)에서 비교되어, 최종 어드레스보다 작음을 보장할 수 있다. 비교기(537 및 538) 모두가 AND 게이트(539)에서 액티브 하이 신호를 발생시킬 때, 포인터 RPCNT에 의해 일체로 지적된 두 개의 레지스터(531 및 532)내의 PCNT에 의해 배치된 위치에서의 게인-제어된 화소 신호는 블록, 즉 두 개의 라인 버퍼 각각에서 두 개의 인접한 화소 단위로 판독된다(샘플된다). 그 다음, 포인터 RPCNT는 4개의 포인팅 레지스터 PVDZ0, PVDZ1, PVDZ2, 및 PVDZ3에 의해 표시된 값 만큼 증가된다.

도 5c를 참조하면, 포인팅 레지스터 PVDZ0, PVDZ1, PVDZ2, 및 PVDZ3이 10, 10, 01, 01의 디지털 값을 각각 저장하면, 라인 버퍼(531 및 532)에서 1, 3, 5, 6, 및 7, 9, 11 등으로 번호 매겨진 위치에서 시작하는 모든 두 개의 게인-제어된 화소는 판독될 것이다. 도 5b에서 PA, PB, PC 및 PD로 지칭된 네모 상자내의 모든 4개의 화소는 하나의 화소에 대해 삼원색을 생성하도록 다음의 회로에 의해 처리될 것이다. 도 5c의 예시적인 실시예에서, 모든 6개의 화소가 4개의 화소에 대해 원색을 생성하도록 처리될 것이기 때문에, 최종 샘플링 비율은 2/3(4/6)이다. 유사하게, 포인팅 레지스터 PVDZ0, PVDZ1, PVDZ2 및 PVDZ3은 각각 01, 01, 01, 01의 디지털 값을 저장하면, 라인 버퍼(531 및 532)에서 1, 2, 3, 4, 및 5 등으로 번호 매겨진 모든 두 개의 게인-제어된 화소가 판독될 것이다. PA, PB, PC 및 PD로 지칭된 네모 상자내의 모든 4개의 화소는 하나의 화소에 대해 삼원색을 생성하도록 다음의 회로에 의해 처리될 것이다. 이 경우, 모든 4개의 화소가 4개의 화소에 대해 원색을 생성하도록 처리될 것이기 때문에, 최종 샘플링 비율은 1(4/4)이다. 2X 업샘플링은 각각 포인팅 레지스터 PVDZ0, PVDZ1, PVDZ2, 및 PVDZ3을 01, 00, 01, 00으로 설정함으로써 실현될 수 있다. 그래서. 모든 위치는 두 배로 샘플된다. 업샘플링의 보다 높은 승산은 유사한 방식으로 실현될 수 있다.

상술된 바와 같이, 화소 신호가 수직 다운 샘플러(51)에서 수직으로 다운 샘플되는 시기에 수행되는 것 이외에도, 기술 분야의 당업자는, 수평 업/다운 샘플링이 완료된 후 게인 제어가 또한 수행될 수 있다는 것을 알 것이다.

도 6a에 도시된 바와 같이, 데이터 라인 PA0...PA7, PB0...PB7, PC0...PC7 및 PD0...PD7로 표현된 정방형의 4개의 화소 단위로 수평으로 샘플된 화소 신호는 컬러 보간기(54)에 전달되어 CCD(2)상의 각각 오리지날 화상 화소에 대해 R, G, 및 B 신호를 발생시킨다. 각각의 CCD 화소는 단지 적색, 녹색, 또는 청색일 수 있으므로, 컬러 보간기로 인입하는 데이터는 적절한 컬러 카테고리로 분류된다는 것이 중요하다. 컬러 보간기(54)는 RGB 베이어형, RGB 줄무늬형, 상보형 등과 같은 몇몇 유형의 CCD 센서를 지원할 수 있다. 예를 들어, 베이어 패턴인 경우, 데이터 라인 PA0...PA7, PB0...PB7, PC0...PC7 및 PD0...PD7로 표현된 정방형의 4개의 화소는 도 6b에 도시된 바와 같은 네가지 가능한 유형의 구성을 갖는다. 도 6a를 참조하면, DSP(10)에 의해 프로그램가능한 4개의 패턴 레지스터 PVCIEE, PVCIEO, PVCIOE, 및 PVCIOO는 네가지 유형의 구성, 즉 좌-상 패턴, 우-상 패턴, 좌-하 패턴, 우-하 패턴을 각각 제어하도록 구성된다. 예를 들면, DSP(10)는 시계 방향으로 (R, G, B, G) 배열된 좌-상 패턴을 표현하기 위해 각각 8비트를 갖는 4개의 패턴 레지스터 중 하나의 레지스터로 (10, 11, 10, 11)을 로드할 수 있다. 데이터 라인 PA0...PA7, PB0...PB7, PC0...PC7 및 PD0...PD7로 표현된 현재의 수평 샘플된 화소 신호가 도 6b에 도시된 4개의 패턴 중 하나에 대응하는 방법에 대한 메카니즘은 게인 제어기(52), 또는 수평 업/다운 샘플러(53)에서 상술된 바와 같이 제어 신호 even_line, 또는 수평 업/다운 샘플러(53)로부터의 RPCNT에 의해 제어된다. 현재의 수평 샘플된 화소 신호에 대응하는 패턴이 결정된 후, 그 패턴의 4개의 화소는 단일 화소에 대해 원색 R, G, 및 B 신호를 독특하게 결정하는데 사용될 것이다. 예를 들면, 좌-상 패턴이 결정되면, 삼원색은, 제어 신호 even_line 및 RPCNT에 의해 결정된 바와 같이 (도면에서 541로 지칭된 컬러 R) 홀수 라인의 홀수 화소에 배치된 화소에 대해 상기 패턴의 4 화소로부터 결정될 수 있다. 유사하게, 우-상 패턴이 결정되면, 삼원색은 (도면에서 542로 지칭된 컬러 G) 홀수 라인의 짝수 화소에 배치된 화소에 대해 상기 패턴의 4 화소로부터 결정될 수 있다. 좌-하 패턴이 결정되면, 삼원색은 (도면에서 543로 지칭된 컬러 G) 짝수 라인의 홀수 화소에 배치된 화소에 대해 상기 패턴의 4 화소로부터 결정될 수 있다. 우-하 패턴이 결정되면, 삼원색은 (도면에서 544로 지칭된 컬러 B) 홀수 라인의 짝수 화소에 배치된 화소에 대해 상기 패턴의 4 화소로부터 결정될 수 있다.

도 7을 참조하면, 본 발명의 일 실시예에 따르면, 본 발명의 미리보기 모드에 사용되는 화상 디스플레이는 NTSC 호환가능 LCD 또는 TV(11)이며, 미리보기 엔진(5)은 RGB형 CCD(2)로부터 얻은 화상 신호를 NTSC-호환가능 색차 신호로 변환하는 색공간 변환기(55)를 더 포함한다. 컬러 보간기(54)로부터의 각각의 단일 화소 신호에 대한 원색 신호는 TV 또는 NTSC 호환가능 LCD에서의 텔레비젼 신호의 포맷에 대처하기 위해 휘도 신호 Y 및 크롬 신호 Cb, Cr로 색공간 변환기(55)에 의해 변환된다. 본 발명의 일 실시예에 따르면, 색공간 변환기(55)에서의 R, G, 및 B 신호의 Y, Cb 및 Cr로의 변환은, 예를 들면 듀얼-포트 RAM이 다음과 같이 사용되는 3X3 매트릭스 곱셈에 의해 구현될 수 있다.

여기서 변환 매트릭스 A의 계수는, 예를 들면 듀얼-포트 RAM에 저장되고,

일 수 있고, γ는 컬러 보정용 감마 계수이다.

도 4에 도시된 바와 같은 게인 제어기(52)에서와 같이, 본 발명에 따르면, 색공간 변환기(55)는 룩업 테이블(LUT)(551)로부터 변환 매트릭스 A의 적절한 계수를 판독함으로써 3X3 매트릭스 곱셈을 수행한다. 룩업 테이블의 사용은, 디지털 신호 프로세서가 테이블내의 정보를 갱신할 수 있는 속도로 인해 더욱 유리해진다. 실제 응용인 경우, 듀얼-포트 RAM에 의해 구현되는 LUT(551)는, 각각 화소에 대해 데이터 라인 R0...R7, G0...G7 및 B0...B7에 의해 제공된 256(28) 세기 레벨에 대응한 256 위치를 각각 갖는, 원색에 대해 9개의 메모리부를 갖도록 구성된다. 즉, 결국 LUT(551)는 개별 원색 R, G, 또는 B에 대해 9개의 전용 서브 록업 테이블 (A11, A12, A13)(A21, A22, A23) 또는 (A31, A32, A33)을 갖는다. LUT(551)는 두 개의 레지스터 PVCSDATA 및 PVCSADDR에 의해 DSP(10)에 의해 프로그램될 수 있다. LUT(551)의 9X256 위치 각각에서의 디지털 값은 값 레지스터 PVCSDATA 및 어드레스 레지스터 PVCSADDR을 거쳐 DSP(10)에 의해 사전-로드된다. 동작시, 데이터 라인 R0...R7, G0...G7, 및 B0...B7로 표현된 화소 신호 각각의 컬러 세기는 컬러 세기 측정기(552, 553, 및 554)에 의해 각각 결정되어, 상기 측정된 컬러 세기에 대응하는 어드레스 신호를 발생시킨다. 그 다음, 발생된 어드레스 신호에 의해 어드레스되는 변환 계수는 가산기(555)로 전달되어 모든 어드레스된 변환 계수 및 데이터 라인 Y, Cb 및 Cr에서의 출력의 합산을 수행한다. 상술된 바와 같이, LUT(551)의 임의의 위치에서의 디지털 값은 레지스터 PVCSDATA 및 PVCSADDR을 통해 프로그램가능하므로, 변환 매트릭스 A의 변환 계수는 자유롭게 수정될 수 있다. 예를 들면, 본 발명의 일 실시예에 따르면, LUT(551)에 저장된 변환 매트릭스 A의 상기 계수는 DSP(10)에 의해 미리결정된 감마 보정 곡선 데이터를 포함함으로써 수정될 수 있다. 감마 보정은, 예를 들면 CCD(2)의 비선형 특성에 의해 유발되는 기울기의 시프트 또는 편차를 보정하는 것이다.

본 발명의 다른 실시예에 따르면, 대안으로, 본 발명의 디스플레이(11)가 RGB형 LCD이면, 변환 매트릭스 A의 모든 계수는 DSP(10)에 의해 1로 설정될 수 있다.

기술 분야의 당업자에 의해 알 수 있듯이, 본 발명의 다른 실시예에 따르면, 감마 보정은 또한 DSP(10)에 의해 미리결정된 감마 보정 효과를 포함함으로써 게인 제어기(52)에서 수행될 수 있다. 예를 들면, 변환 매트릭스 A의 계수의 지수 1/γ는 LUT(522)의 256 위치로 팩터화될 수 있다. 즉, 게인은 LUT(522)의 256 위치에 저장된 임의의 하나의 컬러의 세기 레벨의 평균을 조정하고, 게인 제어 및 감마 보정을 동시에 실현하기 위해 감마 보정 팩터를 갖는 각각 조정된 세기 레벨을 보정함으로써 제어될 수 있다. 대안으로, 컬러 보간기로부터 얻어진 R, G, 및 B 신호 각각의 컬러 세기가 DSP(10)에 의해 결정되면, 상술된 바와 같이, 게인 제어기(52)에서 수행된 화이트 밸런스 조정은 또한 컬러 보간기로부터 얻어진 원색 R, G, 및 B 신호 각각의 컬러 세기를 평균화하기 위해 LUT(551)의 모든 계수를 대응해서 조정함으로써 상기 3X3 매트릭스 곱셈에서 작용될 수 있다.

마지막으로, 인터페이싱 수단(56)은 색공간 변환기(55)로부터 얻은 색차 신호 Y, Cb 및 Cr을 텔레비젼 신호로서 인식하여, SDRAM(7)에 대한 텔레비젼 신호의 어드레스를 발생시킬 수 있다.

상기에 비추어, 본 발명에 따르면, 적어도 하나의 화이트 밸런스 조정 및 감마 보정은 게인 제어기(52) 또는 색공간 변환기(55)에서 동시에 수행될 수 있으므로, 화이트 밸런스 및 감마 보정의 임의의 기능이 전용 소자 또는 소프트웨어에 의해 수행되는 종래 기술보다 저렴한 제조 비용, 보다 덜 복잡한 구조, 및 보다 프로그램 능력을 갖는 시스템을 제공한다. 게다가, DSP의 처리 속도와 관련하여 룩업 테이블을 사용하는 것은 실시간 동작을 가능케 한다.

본 발명이 디지털 스틸 카메라의 바람직한 실시예에 대해 개시되어 있지만, 이 개시는 본 발명을 한정하려는 것은 아니다. 본 발명은 이하 특허청구범위에 의해 결정된 본 발명의 사상 및 범위를 벗어나지 않고 기술 분야의 당업자에 의해 수정되거나 변경될 수 있다.

Claims

출력 이전에 카메라의 화상을 미리보는 방법에 있어서,

a) 화상 데이터를 게더링(gather)하는 단계,

b) 상기 화상 데이터를 저장하는 단계,

c) 상기 저장된 화상 데이터를 이용하여 디스플레이 파라미터를 계산하는 단계,

d) 룩업(look-up) 테이블에 상기 디스플레이 파라미터를 저장하는 단계, 및

e) 상기 룩업 테이블 내의 상기 디스플레이 파라미터를 상기 화상 데이터의 적어도 일부에 적용하여, 미리보기 화상 데이터를 생성하는 단계

를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 디스플레이 파라미터를 계산하는 단계 및 상기 디스플레이 파라미터를 저장하는 단계는

a) 화이트 밸런스 조정 및 게인 제어 조정을 계산하는 단계,

b) 상기 화이트 밸런스 및 게인 제어 조정을 조합하는 단계, 및

c) 상기 조합된 화이트 밸런스 조정과 게인 제어 조정을 상기 룩업 테이블에 저장하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 디스플레이 파라미터를 계산하는 단계 및 상기 디스플레이 파라미터를 저장하는 단계는

a) 감마 보정을 계산하고 색공간 변환을 수행하는 단계,

b) 상기 감마 보정 및 상기 색공간 변환을 조합하는 단계, 및

c) 상기 조합된 감마 보정 및 색공간 변환을 상기 룩업 테이블에 저장하는 단계를 포함하는 것을 특징으로 하는 방법.
제3항에 있어서,

a) 화이트 밸런스 조정을 계산하는 단계, 및

b) 상기 조합된 감마 보정 및 색공간 변환을 갖는 상기 화이트 밸런스 조정을 상기 룩업 테이블에 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 화상 데이터를 저장하는 단계는 화상 데이터를 랜덤 억세스 메모리로 로드하는 단계를 포함하고, 상기 계산 단계는

디지털 신호 프로세서를 사용하여 상기 랜덤 억세스 메모리에 억세스하는 단계, 및

상기 디지털 신호 프로세서를 사용하여, 미리보기 알고리즘에서 상기 랜덤 억세스 메모리 내의 상기 화상 데이터를 사용하여 상기 디스플레이 파라미터를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 단계들은 실시간으로 수행되는 것을 특징으로 하는 방법.
출력 이전에 카메라의 화상을 미리보는 방법에 있어서,

a) 화상 데이터를 게더링하는 단계,

b) 상기 화상 데이터를 디지털화하는 단계,

c) 상기 디지털 화상 데이터를 저장하는 단계,

d) 상기 디지털 화상 데이터의 일부를 샘플링하는 단계,

e) 상기 저장된 디지털 화상 데이터를 사용하여 화이트 밸런스 조정 및 게인 제어 파라미터를 계산하는 단계,

f) 상기 화이트 밸런스 조정 및 상기 게인 제어 파라미터를 룩업 테이블에 저장하는 단계, 및

g) 상기 룩업 테이블 내의 상기 화이트 밸런스 조정과 상기 게인 제어 파라미터를 상기 디지털 화상 데이터의 상기 일부에 적용하여, 미리보기 화상 데이터를 생성하는 단계

를 포함하는 것을 특징으로 하는 방법.
제7항에 있어서,

감마 보정을 계산하고 색공간 변환을 수행하는 단계,

상기 감마 보정 및 상기 색공간 변환을 상기 룩업 테이블에 저장하는 단계, 및

상기 룩업 테이블 내의 상기 감마 보정 및 상기 색공간 보정을 상기 화상 데이터의 상기 일부에 적용하여, 미리보기 화상 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제7항에 있어서, 상기 샘플링 단계는 상기 디지털 화상 데이터를 두 개의 라인 버퍼로 번갈아 로드하고, 상기 라인 버퍼로부터 데이터를 프로그램가능하게 선택하는 것을 포함하는 것을 특징으로 하는 방법.
디지털 카메라에 있어서,

a) 화상-게더링 장치,

b) 상기 화상-게더링 장치에 결합되며, 룩업 테이블을 포함한 미리보기 엔진,

c) 상기 미리보기 엔진에 결합된 디스플레이,

d) 상기 화상-게더링 장치에 결합된 기억 장치, 및

e) 상기 룩업 테이블 및 상기 기억 장치에 결합된 프로세서

를 포함하는 것을 특징으로 하는 디지털 카메라,
제10항에 있어서, 상기 미리보기 엔진은 컬러 보간기를 더 포함하는 것을 특징으로 하는 디지털 카메라.
제10항에 있어서, 상기 미리보기 엔진은 샘플링 회로를 더 포함하는 것을 특징으로 하는 디지털 카메라.
제12항에 있어서, 상기 샘플링 회로는 소정의 방향으로 화상 데이터를 샘플링하도록 동작가능한 회로를 포함하며, 상기 회로는

상기 기억 장치에 결합되어, 상기 기억 장치로부터 데이터를 수신하고 저장하도록 동작가능한 라인 버퍼, 및

상기 디스플레이에 결합되어, 상기 라인 버퍼로부터 데이터를 선택하기 위한 회로를 더 포함하는 것을 특징으로 하는 디지털 카메라.
제12항에 있어서, 상기 샘플링 회로는 소정의 방향으로 화상 데이터를 샘플링하도록 동작가능한 회로를 포함하며, 상기 회로는

상기 기억 장치에 결합되어, 상기 기억 장치로부터 데이터를 수신하고 저장하도록 동작가능한 두 개의 라인 버퍼, 및

상기 디스플레이에 결합되어, 상기 두 개의 라인 버퍼로부터 데이터의 블록을 선택하기 위한 회로를 더 포함하는 것을 특징으로 하는 디지털 카메라.