KR100695839B1 - 디지털 스틸 카메라 동작 방법 - Google Patents

Abstract

디지털 스틸 카메라는 CFA 형식으로 있는 동안 감마 보정을 수행하고(320), 저해상도 디바이스 상에 재생용 축소 화상에 대해 IDCT 다운-샘플링을 수행하는 것을 포함한다.

디지털 스틸 카메라, CFA, 다운-샘플링, 감마 보정, 화상 파이프라인

Description

디지털 스틸 카메라 동작 방법{A DIGITAL STILL CAMERA METHOD OF OPERATION}

도 1a 및 1b는 DSC 시스템을 기능 블록 형태로 도시하는 도면.

도 2a 및 2b는 CFA 및 스펙트럼 감도를 도시하는 도면.

도 3은 양호한 실시예의 기능 블록도.

도 4a 및 4b는 감마 및 역 감마 보정을 도시하는 도면.

본 발명은 집적 회로에 관한 것으로, 특히 디지털 카메라에 사용하기 위한 집적 회로 및 그 방법에 관한 것이다.

최근, 디지털 스틸 카메라(DSCs)는 사진 작가, 웹 개발자, 부동산 대리인, 보험 정산인, 사진 기자 등에서부터 일반 사진광에 이르기까지 광범위한 사용자 계층에 매력적인 대중적인 기기가 되고 있다. 저전력 디지털 신호 프로세서(DSP)의 유용성과 결합된 고해상도 CCD 어레이 분야에서의 최근의 발전은 종래의 필름 카메라에 의해 제공되는 해상도와 화질에 보다 근접한 DSC의 발전을 이끌었다. 이들 DSC는 종래의 필름 카메라에 비해 데이터 저장, 조종, 및 전송 등에서 몇몇 부가적인 장점을 제공한다. 포착된 화상의 디지털 표현은 사용자가 임의의 전자 매체 형태에 화상을 쉽게 혼합하고 임의의 네트워크를 통해 이들을 전송할 수 있게 한다. 포착된 화상을 즉시 관찰하여 선택적으로 저장하는 능력은 필름 소모를 최소화하고 화상이 다시 포착될 필요가 있는지를 즉시 결정하는 탄력성을 제공한다. 화상은 디지털 표현에 의해 포착이후에 정정, 변경 또는 수정될 수 있다. 참조 문헌으로는 1998년 SPIE, 3302 Proc.의 디지털 고체 상태 카메라: 디자인 및 응용에 개시된 벤카타라만 등의 "Next Generation Digital Camera Integration and Software Development Issues"가 있다. 또한, USP 5,189,511호는 CCD 카메라, 디지털 신호 처리 및 칼라 프린팅을 구비한 디지털 시스템을 개시하고 있다.

본 발명은 CFA(color-filtered array, 칼라 필터링된 어레이) 보간 전에 감마 보정을 수행하고/하거나 NTSC 디스플레이용 DCT 도메인에서 다운 샘플링하는 화상 처리를 할 수 있는 디지털 스틸 카메라를 제공한다.

이것은 보다 적은 계산을 포함하는 장점을 갖는다.

시스템 개관

도 1a 및 1b는 양호한 실시예에 따른 디지털 스틸 카메라(DSC) 및 시스템의 다양한 고차 기능 블록들을 도시한다. 도시된 DSC는 CCD 촬상기를 사용하여 화상을 감지하는데, 이것은 CMOS 촬상기가 대체될 수도 있다. 구동기 및 타이밍 발생기는 CCD를 클럭하는데 필요한 신호를 생성한다. 상관 2중 샘플링 및 자동 이득 제어기는 CCD 센서로부터 양호한 화질의 화상을 얻는데 사용된다. 다음으로, 이러한 CCD 데이터가 디지털화되어 DSC 엔진으로 공급된다. 모든 화상 처리 및 화상 압축 동작은 DSC 엔진에서 수행된다. 포착된 화상은 이후에 사용하기 위해 컴팩트 플래시 메모리 카드(CFC) 등의 NV-메모리(non-volatile memory, 비휘발성 메모리)에 저장된다. 대부분의 DSC에서 사용자는 포착될 화상뿐만 아니라 포착된 화상도 LCD 디스플레이 상에서 관찰할 수 있다. 또한, DSC 시스템은 TV 모니터 상에서 포착된 화상 및 프리뷰 화상을 관찰하기 위해 NTSC/PAL 영상 신호를 제공할 수 있다. DSC는 또한 RS 232 또는 USB 포트를 통해 외부 PC나 프린터에 접속하기 위한 여러 방법을 제공한다.

DSC 시스템은 화상에 텍스트/음성으로 주석을 달 수 있는 더 많은 호환성도 있을 수 있다. 양호한 실시예의 프로그램가능한 DSP는 인터넷에 직접 접속하기 위해 모뎀 및/또는 TCP/IP 인터페이스를 용이하게 포함할 수 있다. DSP는 다양한 실시간 태스크를 스케쥴링하기 위해 보다 복잡한 멀티태스크 운용 시스템을 실행할 수도 있다.

DSC 운용 모드

양호한 실시예에 따른 DSC의 기본 운용 모드는, (1) 화상의 포착, (2) 포착 화상의 프리뷰, (3) 포착 화상의 재생, 및 (4) 다른 디바이스들과 화상의 통신을 포함한다. 포착 모드에서, CCD로부터의 데이터는 A/D 변환기에 의해 디지털화되어 미처리 CCD 데이터(raw CCD data)로서 메모리에 저장된다. 다음으로, 이 데이터가 DSC 엔진에 의해 처리되고, 메모리 공간을 절약하기 위해 압축되어, 컴팩트 플래시 카드 등의 NV-메모리에 저장된다. 프리뷰 모드에서, 미처리 CCD 데이터가 디지털화되고, 실시간으로 처리되어, DSC 시스템에 부착된 LCD 디스플레이 상에 직접 디스플레이된다. 또한, 카메라는 외부 TV 모니터 상에 프리뷰 데이터를 디스플레이하는 방법을 제공한다. 사용자 제어에서 DSC 시스템을 운용하는 플레이백 모드에서, NV-메모리로부터의 압축 데이터가 판독되고, 그 데이터를 압축 해제하여, LCD 모니터나 외부 TV 모니터(존재하는 경우) 상에 화상을 디스플레이한다. 통신 모드에서, DSC 시스템은 USB(Universal Serial Bus)나 RS-232 인터페이스 또는 다른 인터페이스를 통해 NV-메모리로부터 PC와 같은 외부 디바이스로 압축 화상 데이터를 전송할 수 있다. 본 개념은 IEEE-1394 등의 장래의 인터페이스인 블루투스(Bluetooth)가 역시 지원될 수 있도록 인터페이스 상에 어떠한 제약도 없다는 것에 있다.

화상 포착

DSC는 보통 고화질의 화상이 저장될 수 있기 전에 여러 처리 단계들을 수행하여야만 한다. 제1 단계는 화상 포착이다. 장면(scene)으로부터 반영된 강도 분포는 광학 시스템에 의해 촬상기 상에 매핑된다. 양호한 실시예에서는 CCD를 사용하지만, CMOS로의 변형이 화상 처리 원리를 변경하는 것은 아니다. 칼라 화상을 제공하기 위해, 촬상기(imager, 예를 들어 CCD 또는 CMOS)는 칼라 필터(각각의 CCD 포토사이트 상의 피착 피착 염료 등)에 의해 마스크된 각각의 픽셀을 구비한다. 이러한 미처리 촬상기 데이터(raw imager data)는 보통 CFA(Color-Filtered Array, 칼라 필터링된 어레이)라고 불려진다. CCD에서의 픽셀 어레이의 마스킹 패턴뿐만 아니라 필터 칼라 원색들은 제조 방법을 달리하여 변화될 수 있다. DSC 애플리케이션에서, 가장 흔하게 사용되는 CFA 패턴은 CCD 어레이 전체를 가로질러 덮여진 2×2 셀 소자로 구성된 RGB 베이어(Bayer) 패턴이다. 도 2a는 CCD 카메라에 사용되는 베이어 패턴의 부세트를 매트릭스 블록으로 도시하고 있다. 절반의 픽셀은 녹색에 반응하고, 적색 및 청색은 녹색으로 밸런싱하는 것을 주목해야 한다. 도 2b는 CCD 칼라 촬상기 픽셀의 전형적인 스펙트럼 감도를 도시한다.

화상 파이프라인

CFA 데이터는 화상이 압축이나 디스플레이를 위해 사용가능한 형태로 최종적으로 제시되기 전에 상당한 양의 화상 처리를 겪는 것이 필요하다. 이러한 모든 처리 스테이지를 총체적으로 "화상 파이프라인"이라고 한다. 도 3에 도시된 바와 같이, 양호한 실시예에 따른 DSC는 고화질 화상이 저장되기 전에 여러 처리 단계를 수행할 수 있다. 대부분의 화상 파이프라인 처리 태스크는 양호한 플랫폼의 DSP를 만드는 MAC(multiply-accumulate) 집중 동작이다. 다양한 화상 파이프라인 처리 스테이지들을 이하에서 설명한다.

A/D 변환기

CCD 화상 데이터를 디지털화하는 A/D 변환기는 10 내지 12 비트의 해상도를 가질 수 있다. 이것은 입력 화상값 표현에서의 양호한 동적 범위를 허락한다. 물론, 보다 높은 해상도는 보다 훌륭한 화질을 갖는 화상을 암시하지만, 계산이 더 많아지며, 처리 속도는 보다 느려지고, 보다 낮은 해상도는 그 역을 암시한다.

블랙 클램프

A/D 변환 후, "블랙" 화소는 이들 픽셀 위치에 약간의 전류(전하 축적)를 더 기록할 수 있는 CCD 때문에 반드시 0 값을 가질 필요는 없다. CCD 촬상기에 의해 표현된 픽셀값들의 동적 범위를 최적화하기 위하여, 블랙을 표시하는 픽셀들은 0 값을 갖는다. 블랙 클램핑(310)은 각 픽셀값으로부터 오프셋을 감산하여 이것에 대해 조정한다. 이러한 처리 스테이지에는 픽셀당 단지 하나의 칼라 채널만이 있다는 것을 주목해야 한다.

결함 픽셀 보간(fault pixel interpolation)

CCD 어레이, 특히 500,000개 이상의 소자를 갖는 어레이들은 결함 픽셀(defective pixel)(누락 픽셀(missing pixel))을 갖는다. 누락 픽셀들은 단순한 결함 픽셀 보간(312)에 의한 보간에 의해 채워진다. 고차 보간이 사용될 필요는 없는데, 그 이유는 CFA 보간 스테이지에서도 보간이 수행되기 때문이다. 그러므로, 주 보간 단계에 대한 주 이유는 누락 데이터(missing data)를 소거하여 정상적인 화상 처리를 하는 것이다.

전형적으로, 누락 픽셀들의 위치는 CCD 제조자로부터 얻어진다. 또한, 결함 픽셀 위치들은 DSC 엔진 오프라인에 의해 계산될 수 있다. 예를 들어, 카메라 초기화 동작시, 뚜껑이 덮인 렌즈로 화상이 포착된다. 결함 픽셀은 잔여 화상이 어두운 동안 "화이트 픽셀"로서 나타난다. 다음으로, 결함 픽셀 위치가 단순한 임계 검출기로 식별되어 비트맵으로 메모리에 저장된다.

DSC의 정상 운용시에 결함 픽셀 위치에서의 화상값들은 단순한 쌍일차 보간(bilinear interpolation) 기술에 의해 채워진다.

렌즈 왜곡 보상

렌즈에서의 불완전성에 의해 야기되는 비선형성에 기인하여, 화상의 명도는 화상의 중심으로부터 화상의 경계 방향으로 점차 감소한다. 이들 렌즈 왜곡 현상은 그 공간 위치에 대한 함수로서 각 픽셀의 명도를 조절하여 보상된다. 렌즈 왜곡을 표현하는 변수들은 최종 시스템으로 측정될 필요가 있으며, 이것은 렌즈 제조자에 의해 제공된 정보에 의해 지원된다.

렌즈 왜곡(314)은 픽셀 강도에 상수를 승산하여 달성될 수 있는데, 여기서 상수값은 픽셀 위치에 따라서 변화된다. 이러한 조정은 수평 및 수직 방향 모두에 대해 행해져야 한다.

화이트 밸런스

포착된 칼라는 보통 "예측(expected)" 칼라를 나타내지는 않는다. 두 개의 현상이 이것을 설명한다. 첫 번째로, 조명 강도의 전범위에서의 CCD의 감도는 삼원색들 사이에서 변화한다. RGB 값들과 같은 중간 "칼라"를 표현하기 위해, 적색과 청색이 녹색에 대해 밸런싱할 필요가 있다.

두 번째로, 장면 기록시의 조명은 그림 관찰시의 조명과는 다른 것이 전형적이다. 이것으로 인해 서로 다른 칼라 외양을 갖게 되며, 푸르스름한 얼굴 모습이나 불그스름한 하늘색 등의 효과를 나타내게 된다. 이러한 결과를 피하기 위한 최선의 해결책은 조명기의 변환을 필요로 한다. 그러나, 이러한 조명기가 알려져 있지 않기 때문에, 3원색의 에너지 균형이 자주 사용되며, 이것이 적용 가능한 대안이다. 이러한 소위 등가 에너지 방법은 이전의 프레임 또는 현재의 프레임 중 어느 하나에 기초하여 3원색간의 불균형에 대한 평가를 필요로 한다. 스케일링 인자를 결정하면, 청색 및 적색 밴드의 각 픽셀이 스케일링 된다.

카메라 동작시에, 화이트 밸런스(316)는 적색 및 청색 성분들 각각의 평균 명도를 계산하여 스케일링 인자를 구하고, 이 스케일링 인자를 적색 및 청색 성분들에 승산한다. 이러한 동작은 전체 스케일링을 포함하므로, 동적 범위는 후속 감마 보정 스테이지에 맞게 된다.

감마 보정

화상을 디스플레이하기 위해 사용되는 디스플레이 디바이스(TV 모니터) 및 화상을 인쇄하는데 사용되는 프린터는 화상 그레이 값과 실제로 디스플레이된 픽셀 강도 사이의 비선형 매핑을 갖는다. 그러므로, 본 발명의 양호한 실시예에서, DSC 감마 보정(320)은 CCD 화상을 보상하여 이들을 최후의 디스플레이/프린팅을 위해 조절한다.

감마 보정은 비선형 연산이다. 도 4a-4b는 감마 및 역 감마 보정의 비선형성을 도시한다. 양호한 실시예는 조견표를 사용하여 보정을 실행한다. 조견표의 장점은 고속 및 고 적응성에 있다. 조견표 데이터는 카메라 제조자에 의해 공급될 수도 있다.

12 비트 데이터로는 전체 조견표는 4K 항목을 가질 수 있는데, 각 항목은 8 내지 12 비트이다. 더 작은 조견표를 위해, 도 4a-4b의 곡선으로의 구분적인 선형 근사(linear approximation)가 사용될 수 있다. 예를 들어, 6개의 최상위 비트는, 그 항목들이 기본 값(8 내지 12 비트)과 기울기(6 비트)의 쌍인 64 항목 조견표를 어드레스할 수 있다. 이 때, 6개의 최하위 비트와 기울기의 곱이 기본 값에 가산되어 8 내지 12 비트의 최종 보정치를 만든다.

LCD 디스플레이는 감마 보정이 불필요한 선형적인 것으로 고려될 수 있다는 것을 알아야 한다. 그러나, LCD 디스플레이 모듈은 NTSC 입력(미리 감마 보상됨)을 예측하는 것이 보통이므로, 구분적인 "감마 비보정(gamma uncorrection)(역 감마 보정(inverse gamma correction))"을 수행하여 이러한 예측된 감마 보정을 보상한다. 양호한 실시예에서, LCD 프리뷰 모듈을 사용하는 DSC는 감마 보정을 수행한 다음, NTSC가 LCD 모듈로 공급하기 전에 신호를 엔코딩한다.

감마 보정은 화상 파이프라인 처리의 모든 스테이지들 중 마지막에, 그리고 디스플레이로 가기 직전에 수행될 수 있다. 그러나, 양호한 실시예의 파이프라인은 이 파이프라인 보다 앞서서 감마 보정을 수행하는데, 이것은 CFA 보간 스테이지 전을 의미한다. 이러한 방법의 장점은 다음과 같다:

(a) 보다 적은 계산이 요구된다. 이 파이프라인 스테이지에서 데이터는 CFA 포맷으로 되어 있으므로, CFA 스테이지 후에 데이터 크기는 1/3이 된다.

(b) 전형적으로, 감마 보정은 그레이 값의 양자화에 기인한 밴딩 현상(banding effects)을 발생시킨다. 이러한 현상은 화상을 부드럽게 하는 이후의 CFA 보간 필터에 의해 보상된다.

(c) 감마 보정의 정밀도가 보다 높아질 수 있다. 전형적으로 출력은 8 비트가 되어야 한다. 그러므로, 다른 모든 화상 파이프라인 후에 감마 보정이 수행된다면, 감마 보정은 단지 8 비트에서 행해질 수 있다. 그러나, 이보다 앞선 스테이지에서 수행되는 경우, 전체 A/D 변환기 해상도를 10-12 비트까지 되게 할 수 있다.

(d) 이 스테이지에서, 감마 보정은 YCbCr 공간이 아니라 RGB 칼라 공간에서 행해질 수 있다. TV 모니터 전자총은 RGB에 있음을 상기하라.

(e) RGB 상의 감마 보정에 의해 야기된 칼라 탈포화(color de-saturation)는 그리 현저하지 않다.

12 비트 데이터는 클립(322)에 의해 9 비트로 선택적으로 클립될 수 있다. 이것은 감마 보정의 속도를 증가시키지만(또한, 그에 부가하여 더 작은 조견표를 제공하지만), 8 비트 정밀도 이상을 제공한다.

CFA 보간

CFA를 사용한 것에 기인하여, 각 칼라 평면의 결과적인 해상도가 감소된다. 주어진 어느 픽셀 위치에서도, 단지 하나의 칼라 픽셀 정보(RGB 칼라의 경우 R, G 또는 B 중 어느 하나)만이 있다. 그러나, DSC 내의 각 픽셀에서 전체 칼라 해상도(R, G 및 B)를 발생시킨다. 이와 같이 할 수 있기 위해, 누락 픽셀 값들(G 위치에서의 R 및 B 등)이 CFA 보간(330)에서의 국소 부근에서의 값들로부터 보간에 의해 재구성된다. 이러한 시스템에서의 DSP를 이용하기 위해, FIR 커널이 보간 필터로서 사용된다. 필터의 길이와 가중치는 실시예들마다 달리할 수 있다. 또한, 대역간 관계가 고려되어야 한다.

톤 보정

포착과 재생/프린트간의 조명차에 의해 야기된 칼라 외관의 변화는 적색, 녹색 및 청색 채널들을 독립적으로 밸런싱만하여서는 보정될 수 없다. 이것을 보상하기 위해, 톤 보정(332)이 RGB 픽셀 값들을 조명을 고려한 보정된 RGB 픽셀 값들로 매핑한다.

이 원리는 다음과 같다. I1이 기록 시에 존재하는 조명을 나타내고, S는 센 서의 스펙트럼 감도, 그리고 R은 단일 픽셀 위치에서의 스펙트럼의 반사율을 나타낸다고 하자. 이 픽셀 위치에서의 측정된 RGB 한 쌍은 다음 수식에 의해 주어진다:

X1 = S * I1 * R

반사율은 조명에 따라 변화하지 않고, 촬상기 신호는 조명기 I2하에서의 신호로 변환될 수 있다:

X2 = S_CIE * I2 * R = S_CIE * I2 * [S * I1]^-1 * X1

여기서는, 칼라 센서 감도 곡선의 CIE 표준에 따른 인간 스펙트럼 반응 곡선 S_CIE로의 변환이 포함되었다.

센서의 스펙트럼 응답이 측정될 수 있고, 서로 다른 조명기들의 톤 보정 매트릭스 세트가 카메라에 저장될 수 있다는 가정하에, 3×3 역행렬 S_CIE*12[S*I1]^-1 이 오프라인 계산될 수 있다.

사용자들은 "양호한" 색에 대해서 서로 다른 선호도를 가질 수도 있다. 이러한 선호도는 이 매트릭스 내에 포함될 수 있다.

칼라 공간 변환

CFA 보간(330) 및 톤 보정(332) 후, 픽셀은 센서의 주요 색들의 칼라 공간, 주로 RGB 칼라 공간에 계속 있게 된다. 압축 알고리즘(JPEG)은 YCbCr 칼라 공간에 기초를 두기 때문에, 칼라 공간 변환이 수행되어야 한다. 또한, 양호한 실시예의 DSC는 TV 상에 디스플레이하기 위해 NTSC 신호 출력을 발생시키고, LCD 프리뷰로 공급된다. 그러므로, RGB에서 YCbCr로의 칼라 공간 변환이 수행되어야 한다. 이것은 선형 변환이며, 각각의 Y, Cb, Cr 값은 그 픽셀 위치에서의 R, G, B의 중량합이다.

가장자리 강조(edge enhancement)

CFA 보간 후, 화상은 보간 필터들의 저역 통과 필터링 효과에 기인해 낮은 "평활성(smooth)"을 갖게 된다. 화상을 보다 선명하게 하는 것은 Y 성분 상에서만 동작하는 것으로 충분하다. 각각의 픽셀 위치에서, 보통 2차원 FIR 필터인 가장자리 검출기(edge detector)를 사용하여 가장자리 크기를 계산할 수 있다. 현재의 시스템에서는 3×3 라플라스 연산자가 사용된다. 다음으로, 가장자리 크기가 스케일링되고, 원래의 조명(Y) 화상에 부가되어 가장자리 강조(340)에서 화상의 선명도를 향상시킨다.

코어링(coring)

가장자리 강조(340)는 고역 통과 필터(high pass filter)이다. 이러한 고역 통과 필터는 잡음도 증폭시킨다. 이와 같이 잡음이 증폭되는 것을 막기 위해, 임계치 검출 메카니즘이 사용되어 가장자리에 있는 화상 부분만을 향상시킨다. 고역 통과 필터의 개선은 코어링(342)으로 표시된다.

의사 칼라 억제(false color suppression)

가장자리 강조는 단지 Y 화상에 대해서만 수행된다는 점에 유의하라. 가장자리에서, 칼라 채널의 보간된 화상은 잘 정렬되지 않을 수 있다. 이것으로 인해, 선명한 가장자리들에서 불쾌한 무지개형 아티팩트(rainbow-like artifacts)가 나타난다. 그러므로, Y 성분에서의 가장자리에서 칼라 성분 Cb 및 Cr을 억제하므로써, 이러한 현상이 감소될 수 있다. 가장자리 검출기의 출력에 따라서, 칼라 성분 Cb 및 Cr은 한 픽셀 베이시스 당 1 보다 작은 인자에 의해 승산되어 의사 칼라 억제(344)에서 의사 칼라 현상을 억제한다.

화상 압축

화상 압축(350)은 전형적인 압축비를 대략 10:1 내지 15:1로 하여 화상을 압축한다. 대부분의 DSC는 JPEG 압축을 사용한다. 이것은 양호한 성능을 가져오는 DCT계 화상 압축 기술이다.

자동 노출

장면 명도(scene brightness)를 변화시키는 것에 기인하여, 전체 화질을 양호하게 얻기 위해서는 CCD의 노출을 제어하여 디지털 화상의 동적 범위를 최소화할 필요가 있다. 자동 노출(360)은 평균 장면 명도를 감지하고 CCD 노출 시간 및/또는 이득을 적절히 조절하여 자동 노출을 달성한다. DSP는 이러한 동작을 폐루프 피드백 형식으로 수행한다.

자동 초점

또한, 화상 처리를 통해 DSC에서 렌즈 초점을 자동으로 조절하는 것이 가능하다. 자동 노출과 유사한 방식으로, 지금의 자동 초점 메카니즘도 역시 피드백 루프에서 동작한다. 이들은 화상 처리를 수행하여 렌즈 초점의 품질을 향상시키고 화상이 초점 내에 선명하게 될 때까지 렌즈 모터를 반복적으로 이동시킨다. 자동 초점(362)은 가장자리 강조(340)로부터 가장자리 측정에 의존하는 자동 초점을 나타낸다.

구현(implementation)

양호한 실시예의 화상 파이프라인은 TMS320C549 DSP 상에서 구현되었다. 이러한 시스템은 직접 CCD/CMOS 모듈과 인터페이스로 접속된다. DSP는 센서로부터 데이터를 판독하고, 미처리 센서 데이터(raw sensor data)를 처리하여, SDRAM 외부 메모리에 처리된 데이터를 기록한다. 보드 상의 내장형 NTSC/PAL 인코더 칩은 처리된 화상을 TV 모니터 상에 직접 디스플레이 할 수 있도록 한다. DSP 상에서의 화상 파이프 라인 구현시에, SDRAM 컨트롤러는 화상 데이터를 외부 메모리로부터 온 칩(on-chip) 메모리로 16×16 블록으로 효과적으로 페치한다. JPEG 압축을 포함한 화상 파이프라인의 모든 동작들은 이러한 16×16 픽셀 블록 상에서 C54xDSP에 의해 수행될 수 있고, 이 후 압축된 비트 스트림이 SDRAM으로 출력되어 기록된다.

이러한 시스템에서, 화상 파이프라인 동작은 작은 16×16 화상 블록이 사용되기 때문에 칩 상에서 실행된다. 이러한 동작에 대해서는, TMS320C549가 대규모 온 칩 메모리[32K×16 비트 RAM 및 16K×16 비트 ROM]이기 때문에 가장 적절하다. 이것으로 인해 외부 고속 메모리가 필요없게 된다. 더욱이, 이러한 디바이스는 적은 전력 소모(0.45㎃/MIPS)로도 고성능(100 MIPS)을 제공한다.

표 1은 화상 파이프라인 소프트웨어의 서로 다른 스테이지에 대한 상세한 사이클 카운트를 나타낸다. JPEG을 포함한 C54x 명령 세트 및 구조의 효율성에 기인하여, 전체 화상 파이프라인은 190 대략 cycle/pixel 이다. 그러므로, 1 메가 픽셀 CCD 화상이 100㎒ C54x 상에서 2초 미만으로 처리될 수 있다. 이것은 외부 메모리로부터 온 칩 메모리로의 데이터 이동을 포함한 대략 2초의 샷투샷(shot-to-shot) 지연을 제공한다.

또한, 양호한 실시예의 DCS는 사용자가 카메라의 LCD 스크린 또는 TV 모니터 상에서 포착 화상을 관찰할 수 있도록 한다(TV/LCD 출력용 스케일링(352) 참조). 포착 화상이 JPEG 비트 스트림으로서 컴패트 플래시 메모리 상에 저장되기 때문에, 재생 모드 소프트웨어는 DSP 상에도 제공된다. 이러한 재생 모드 소프트웨어는 JPEG 비트스트림을 디코딩하고, 이 디코딩된 화상이 적절한 공간 해상도로 스케일링되며, LCD 스크린 및/또는 외부 TV 모니터 상에 그것을 디스플레이한다. C54x 재생 모드 소프트웨어는 160 cycles/pixel로 실행된다. 이것은 메가-픽셀 화상의 1.6초 재생을 제공한다.

다운-샘플링

양호한 실시예의 DSC 시스템에서, JPEG 데이터를 디코딩한 후 재생 모드시의 화상은 예를 들어 1 메가 픽셀(1024×1024)의 CCD 센서 해상도를 갖는다. 이러한 화상은 CCD 센서의 해상도에 따라서 보다 커질 수 있다. 그러나, 디스플레이 목적으로는 이와 같이 디코딩된 데이터가 NTSC 인코더로 공급되기 전에 NTSC 해상도(720×480)로 다운-샘플링되어야 한다. 그러므로, DSC는 재생 모드의 말단에서 다운-샘플링 필터를 구현하여야 하므로, 부가적인 DSP 계산을 필요로 하게 된다.

양호한 실시예는 JPEG 압축 해제 모듈의 일부로서 포함되는 DCT-도메인 다운-샘플링에 의한 부가적인 DSP 계산이라는 문제점을 해결한다. JPEG 압축 해제는 본질적으로 3개의 스테이지를 포함한다는 것을 알아야 한다. 즉, 3 스테이지는 엔트로피 디코딩 스테이지, 역 양자화 스테이지, 및 IDCT 스테이지이다. JPEG에서, IDCT는 8×8 픽셀 블록 상에서 수행된다. 양호한 실시예는 단지 최상부의 5×5 DCT 계수(8×8 DCT 계수 블록에서 남겨진)를 사용하여 IDCT 도메인에서 NTSC 해상도(5/8 다운-샘플링)로 메가-픽셀 화상의 샘플을 축소하므로, 한 단계에서 IDCT 및 5/8 다운-샘플링 모두를 효과적으로 달성한다.

분리 가능한 2차원 5-포인트 IDCT는 최상부(낮은 공간 주파수) 5×5 DCT 계수로부터 5×5 화상 픽셀 블록을 얻는데 적용된다. 이러한 저차 IDCT에 의해, 반앨리어싱(anti-aliasing) 필터링과 8대5 축소를 효과적으로 결합할 수 있다. 사용된 반앨리어싱 필터는 보존된 DCT 계수를 스케일링하지 않고 DCT 도메인 내의 5개의 최저 주파수 성분들만을 보존하는 단순 동작에 상응한다. 이러한 단순 필터를 통해 앨리어싱 현상을 효과적으로 축소할 수 있으며, 양호한 실시에는 더 양호한 주파수 응답을 갖는 저역 통과 필터를 구비하여 앨리어싱을 보다 감소시킬 수 있다. 다른 저역 통과의 사용은 스케일링 인자가 각 DCT 계수의 위치인 보존 계수의 스케일링을 이끈다.

DCT 도메인 다운-샘플링 기술이 계산상으로 복잡도를 증가시키지 않는다는 점을 유의한다. 사실, 엔트로피 디코딩 후의 JPEG 디코딩 스테이지들은 최상부 5×5 계수들을 제외하고는 전체적으로 8×8 DCT 계수들을 처리할 필요가 없게 되기 때문에 계산을 감소시킨다. 다른 반앨리어싱 필터들의 사용도 역시 계수 스케일링 연산이 저차 IDCT 연산으로 합쳐지기 때문에 어떠한 복잡도도 증가시키지 않는다. 또한, 이러한 DCT 도메인 다운-샘플링 기술은 다른 CCD 센서 해상도에 대해 n/8 다운-샘플링비(n=1, ..., 7)을 제공할 수 있다.

업-샘플링

화상의 줌(zooming)을 위해 크롭된 화상을 디스플레이하는 것도 역시 업-샘플링 스킴을 사용한다. 다운-샘플링의 역 접근은 양호한 기술을 제공한다. 첫 번째의 경우, 8×8 DCT 계수들은 0들로 (사실상) 수직 및 수평으로 확장되어 N×M 계수 블록(N,M ＞ 8)을 형성한다. 이 블록 상에서 크기가 N×M인 IDCT가 공간 도메인에서 N×M 샘플이 실행된다.

표 1은 C54x 성능을 나타낸다.

표2는 이미지 파이프라인을 처리하고 JPEG 표준으로 화상을 압축하기 위한 프로그램 및 데이터 메모리 요건을 도시한다. 이러한 코드 밀도는 완전한 화상 파이프라인 소프트웨어가 칩 상에 존재할 수 있도록 한다. 칩 상에 완전한 소프트웨어를 갖는 것은 외부 메모리 억세스를 감소시키고 보다 저속의 외부 메모리를 사용할 수 있도록 한다. 이것은 전체 시스템 단가를 낮추고, 보다 전력 소모가 적도록 한다.

표 2는 C54x의 메모리 요건을 나타낸다.

현재, 대부분의 화상 파이프라인 동작은 표준화되어 있지 않다. 프로그램 가능한 DSC 엔진을 구비하는 것은 소프트웨어를 업그레이드 할 수 있게 하므로 새로운 표준을 확립하거나 화상 파이프라인의 품질을 향상시킬 수 있게 된다. 비사용 성능은 인간 인터페이스, 음성 주석, 오디오 기록/압축, 모뎀, 무선 통신 등의 다른 태스크에 전용될 수 있다.

메모리	K 바이트
프로그램	1.7
데이터	4.6

Claims (2)

1. 디지털 스틸 카메라 동작 방법에 있어서,

   (a) 칼라 필터링된 어레이 형식으로 화상을 포착하는 단계;

   (b) 상기 화상을 감마 보정하여 감마 보정된 화상을 형성하는 단계; 및

   (c) 상기 감마 보정된 화상을 칼라 필터링된 어레이 보간하는(color-filtered array interpolating) 단계

   를 포함하는 디지털 스틸 카메라 동작 방법.
2. 삭제

Images