KR20100085862A - 화상 처리 장치 - Google Patents

Abstract

분배기(70a 내지 70d), R, G 및 B 중 어느 하나를 각각이 갖는 복수의 원화소가 베이어 형태로 배열된 원화상을 취득한다. 색 분리계(CS1 및 CS2)는 취득된 생화상에 색 보간 처리를 실시하여, 2개의 색을 각각이 갖는 복수의 보간 화소에 의해 형성된 보간 화상을 작성한다. 줌계(VS1 및 VS2)는 색 분리계(CS1 및 CS2)에 의해 작성된 보간 화상에 줌 처리를 실시하여, R, G 및 B 중 어느 하나를 각각이 갖는 복수의 줌 화소가 베이어 형태에서 배열된 줌 화상을 작성한다.
회로 규모를 억제하면서 줌 화상의 품질을 개선할 수 있다.

Description

화상 처리 장치{IMAGE PROCESSING APPARATUS}

본 발명은 화상 처리 장치에 관한 것으로, 특히 복수색 중 어느 하나를 각각이 갖는 복수의 화소가 기정 형태로 배열된 원화상에 기초하여 원하는 줌 배율을 갖는 줌 화상을 작성하는 화상 처리 장치에 관한 것이다.

이러한 종류의 장치의 일례가 특허문헌 1에 개시되어 있다. 이 배경 기술에 따르면, 줌 키에 의해 지시된 전자 줌 배율에 대응하는 배율 변경 파라미터가 로우(RAW) 데이터용 배율 변경 회로로 설정된다. 로우 데이터용 배율 변경 회로는 A/D 변환기로부터 출력된 로우 데이터에 배율 변경 파라미터에 따른 배율 변경 처리(줌 처리)를 실시한다. 배율 변경 처리가 실시된 로우 데이터는 압축 상태에서 기록 매체에 기록된다.

특허문헌1:일본특허공개제2007-166551호공보

그러나, 배율 변경 처리가 실시되는 데이터는 로우 데이터이므로, 복수의 화소의 각각은 R(Red), G(Green) 및 B(Blue) 중 어느 하나의 색 정보만 갖는다. 또한, 로우 데이터는 원색 베이어(Bayer) 배열에 대응하고 있기 때문에, 인접하는 2개의 화소의 색은 수직 방향 및 수평 방향 중 어디에 있어서도 서로 상이하다. 또한, 배율 변경 처리는 이러한 화소의 색 정보에 가중치 부여 가산을 실시하는 처리이다. 따라서, 배경 기술에서는, 배율 변경 처리가 실시된 로우 데이터의 품질이 열화될 우려가 있다.

그러므로, 본 발명의 주된 목적은, 줌 처리가 실시된 화상의 품질을 개선할 수 있는 화상 처리 장치를 제공하는 것이다.

본 발명에 따른 화상 처리 장치(10: 실시예에서 상당하는 참조 부호. 이하 동일)는 M개(M: 3 이상의 정수)의 색 중 어느 하나를 각각이 갖는 복수의 원화소가 기정 형태로 배열된 원화상을 취득하는 취득 수단(70a 내지 70d), 취득 수단에 의해 취득된 원화상에 색 보간 처리를 실시하여 N개(N: 2 이상이고 또한 M 미만의 정수)의 색을 각각이 갖는 복수의 보간 화소에 의해 형성된 보간 화상을 작성하는 보간 화상 작성 수단(CS1, CS2), 및 보간 화상 작성 수단에 의해 작성된 보간 화상에 줌 처리를 실시하여 M개의 색 중 어느 하나를 각각이 갖는 복수의 줌 화소가 기정 형태로 배열된 줌 화상을 작성하는 줌 화상 작성 수단(VS1, VS2)을 구비한다.

취득 수단은 M개(M: 3 이상의 정수)의 색 중 어느 하나를 각각이 갖는 복수의 원화소가 기정 형태로 배열된 원화상을 취득한다. 보간 화상 작성 수단은 취득 수단에 의해 취득된 원화상에 색 보간 처리를 실시하고, N개(N: 2 이상이고 또한 M 미만의 정수)의 색을 각각이 갖는 복수의 보간 화소에 의해 형성된 보간 화상을 작성한다. 줌 화상 작성 수단은 보간 화상 작성 수단에 의해 작성된 보간 화상에 줌 처리를 실시하여, M개의 색 중 어느 하나를 각각이 갖는 복수의 줌 화소가 기정 형태로 배열된 줌 화상을 작성한다.

보간 화상은 원화상에 대한 색 보간 처리에 의해 작성되므로, 보간 화상은 원화상보다 많은 색 정보를 갖는다. 줌 화상은 이러한 보간 화상에 대한 줌 처리에 의해 작성된다. 이에 의해 줌 화상의 품질이 개선된다.

또한, 줌 화상은 원화상과 같은 색 배열을 갖고, 보간 화상을 형성하는 각 화소는 일부의 색을 갖는다. 보간 화상은 원화상에 대한 색 보간 처리에 의해 작성되고, 줌 화상은 보간 화상에 대한 줌 처리에 의해 작성된다. 이에 의해, 회로 규모를 억제할 수 있다.

바람직하게는, 기정 형태의 배열은 제1 색(R)의 원화소를 간헐적으로 갖는 제1 원화소열과 제2 색(B)의 원화소를 간헐적으로 갖는 제2 화소열이 기정 순서로 할당된 제1 부분 배열을 포함하고, 보간 화상 작성 수단은 제1 색의 보간 화소를 연속적으로 갖는 제1 보간 화소열과 제2 색의 화소를 연속적으로 갖는 제2 보간 화소열이 기정 순서로 할당된 제1 보간 화상을 제1 색의 원화소와 제2 색의 원화소에 기초하여 작성하는 제1 보간 화상 작성 수단(CS1)을 포함한다.

어떤 국면에서는, 줌 화상 작성 수단은 제1 보간 화상 작성 수단에 의해 작성된 제1 보간 화상에 기초하여 제1 부분 배열을 갖는 제1 줌 화상을 작성하는 제1 줌 화상 작성 수단(VS1)을 포함한다.

다른 국면에서는, 기정 형태의 배열은 제3 색(G)의 원화소가 열 방향 및 행 방향에 있어서 간헐적으로 갖는 제2 부분 배열을 포함하고, 보간 화상 작성 수단은 제3 색의 보간 화소가 열 방향 및 행 방향으로 연속적으로 할당된 제2 보간 화상을 제3 색의 원화소에 기초하여 작성하는 제2 보간 화상 작성 수단(CS2)을 더 포함한다.

어떤 실시예에서는, 줌 화상 작성 수단은 제2 보간 화상 작성 수단에 의해 작성된 제2 보간 화상에 기초하여 제2 부분 배열을 갖는 제2 줌 화상을 작성하는 제2 줌 화상 작성 수단(VS2)을 포함한다.

그 밖의 국면에서는, 제1 원화소열 및 제2 원화소열의 각각은 수직 방향으로 연장되는 열에 상당하고, 취득 수단은 수평 방향으로 연속하는 P개(P: 2 이상의 정수)의 원화소를 동시에 취득하고, 줌 화상 작성 수단은 수평 방향으로 연속하는 P개의 보간 화소에 병렬적으로 수평 줌 처리를 실시하는 수평 줌 처리 수단(76, 104a, 104b)을 포함한다.

바람직하게는, 피사계를 포착하는 촬상면을 갖고 원화상을 반복하여 출력하는 촬상 수단(18)이 더 구비된다.

바람직하게는, M개의 색은 3원색에 상당하고, 기정 형태의 배열은 베이어 배열에 상당한다.

바람직하게는, 줌 화상 작성 수단에 의해 작성된 줌 화상을 각 화소가 M개의 색 모두를 갖는 화상으로 변환하는 변환 수단(44)이 더 구비된다.

본 발명에 따르면, 보간 화상은 원화상에 대한 색 보간 처리에 의해 작성되므로, 보간 화상은 원화상보다 많은 색 정보를 갖는다. 줌 화상은 이러한 보간 화상에 대한 줌 처리에 의해 작성된다. 이에 의해, 줌 화상의 품질이 개선된다. 또한, 줌 화상은 원화상과 같은 색 배열을 갖고, 보간 화상을 형성하는 각 화소는 일부의 색을 갖는다. 보간 화상은 원화상에 대한 색 보간 처리에 의해 작성되고, 줌 화상은 보간 화상에 대한 줌 처리에 의해 작성된다. 이에 의해, 회로 규모를 억제할 수 있다.

본 발명의 상술한 목적, 그 밖의 목적, 특징 및 이점은, 도면을 참조하여 행하는 이하의 실시예의 상세한 설명으로부터 한층 명확해질 것이다.

도 1은 본 발명의 일 실시예의 구성을 나타내는 블록도.
도 2는 도 1 실시예에 적용되는 색 필터의 구성의 일례를 나타내는 블록도.
도 3의 (A)는 이미지 센서로부터 출력되는 화상의 해상도의 일례를 도시하는 도해도이고, (B)는 EIS/AF 평가 화상의 해상도의 일례를 도시하는 도해도이며, (C)는 AE/AWB 평가 화상의 해상도의 일례를 도시하는 도해도.
도 4는 줌 처리를 위한 설정 배율과 표시 화상의 배율의 관계의 일례를 나타내는 그래프.
도 5는 도 1 실시예에 적용되는 이미지 센서의 구성의 일례를 나타내는 블록도.
도 6은 도 1 실시예에 적용되는 전처리 회로의 구성의 일례를 나타내는 블록도.
도 7은 도 6 실시예에 적용되는 줌 회로의 구성의 일례를 나타내는 블록도.
도 8의 (A)는 입력 화소의 절취 패턴의 일례를 도시하는 도해도이며, (B)는 입력 화소의 절취 패턴의 다른 일례를 도시하는 도해도이며, (C)는 입력 화소의 절취 패턴의 그 밖의 일례를 도시하는 도해도이고, (D)는 입력 화소의 절취 패턴의 다른 그 밖의 일례를 도시하는 도해도이며, (E)는 G 화소에 대한 색 분리 처리의 일례를 도시하는 도해도이며, (F)는 G 화소에 대한 색 분리 처리의 일례를 도시하는 도해도이며, (G)는 G 화소에 대한 색 분리 처리의 그 밖의 일례를 도시하는 도해도이며, (H)는 G 화소에 대한 색 분리 처리의 다른 그 밖의 일례를 도시하는 도해도이며, (I)는 색 분리에 의해 작성된 보간 G 화소의 일례를 도시하는 도해도이며, (J)는 색 분리에 의해 작성된 보간 G 화소의 다른 일례를 도시하는 도해도이며, (K)는 색 분리에 의해 작성된 보간 G 화소의 그 밖의 일례를 도시하는 도해도이며, (L)은 색 분리에 의해 작성된 보간 G 화소의 다른 그 밖의 일례를 도시하는 도해도.
도 9의 (A)는 입력 화소의 절취 패턴의 일례를 도시하는 도해도이며, (B)는 입력 화소의 절취 패턴의 다른 일례를 도시하는 도해도이며, (C)는 입력 화소의 절취 패턴의 그 밖의 일례를 도시하는 도해도이며, (D)는 입력 화소의 절취 패턴의 다른 그 밖의 일례를 도시하는 도해도이며, (E)는 G 화소에 대한 색 분리 처리의 일례를 도시하는 도해도이며, (F)는 G 화소에 대한 색 분리 처리의 일례를 도시하는 도해도이며, (G)는 G 화소에 대한 색 분리 처리의 그 밖의 일례를 도시하는 도해도이며, (H)는 G 화소에 대한 색 분리 처리의 다른 그 밖의 일례를 도시하는 도해도이며, (I)는 색 분리에 의해 작성된 보간 G 화소의 일례를 도시하는 도해도이며, (J)는 색 분리에 의해 작성된 보간 G 화소의 다른 일례를 도시하는 도해도이며, (K)는 색 분리에 의해 작성된 보간 G 화소의 그 밖의 일례를 도시하는 도해도이며, (L)은 색 분리에 의해 작성된 보간 G 화소의 다른 그 밖의 일례를 도시하는 도해도.
도 10의 (A)는 보간 G 화소의 일부를 도시하는 도해도이며, (B)는 H 줌 G 화소의 일부를 도시하는 도해도이며, (C)는 채널 CH1 및 채널 CH2에 대응하는 HV 줌 G 화소의 일부를 도시하는 도해도이며, (D)는 채널 CH3 및 채널 CH4에 대응하는 HV 줌 G 화소의 일부를 도시하는 도해도.
도 11의 (A)는 입력 화소의 절취 패턴의 일례를 도시하는 도해도이며, (B)는 입력 화소의 절취 패턴의 다른 일례를 도시하는 도해도이며, (C)는 입력 화소의 절취 패턴의 그 밖의 일례를 도시하는 도해도이며, (D)는 입력 화소의 절취 패턴의 다른 그 밖의 일례를 도시하는 도해도이며, (E)는 R 화소에 대한 색 분리 처리의 일례를 도시하는 도해도이며, (F)는 B 화소에 대한 색 분리 처리의 일례를 도시하는 도해도이며, (G)는 R 화소에 대한 색 분리 처리의 다른 일례를 도시하는 도해도이며, (H)는 B 화소에 대한 색 분리 처리의 다른 일례를 도시하는 도해도이며, (I)는 색 분리에 의해 작성된 보간 R 화소의 일례를 도시하는 도해도이며, (J)는 색 분리에 의해 작성된 보간 B 화소의 일례를 도시하는 도해도이며, (K)는 색 분리에 의해 작성된 보간 R 화소의 다른 일례를 도시하는 도해도이며, (L)은 색 분리에 의해 작성된 보간 B 화소의 다른 일례를 도시하는 도해도.
도 12의 (A)는 입력 화소의 절취 패턴의 일례를 도시하는 도해도이며, (B)는 입력 화소의 절취 패턴의 다른 일례를 도시하는 도해도이며, (C)는 입력 화소의 절취 패턴의 그 밖의 일례를 도시하는 도해도이며, (D)는 입력 화소의 절취 패턴의 다른 그 밖의 일례를 도시하는 도해도이며, (E)는 R 화소에 대한 색 분리 처리의 일례를 도시하는 도해도이며, (F)는 B 화소에 대한 색 분리 처리의 일례를 도시하는 도해도이며, (G)는 R 화소에 대한 색 분리 처리의 다른 일례를 도시하는 도해도이며, (H)는 B 화소에 대한 색 분리 처리의 다른 일례를 도시하는 도해도이며, (I)은 색 분리에 의해 작성된 보간 R 화소의 일례를 도시하는 도해도이며, (J)는 색 분리에 의해 작성된 보간 B 화소의 일례를 도시하는 도해도이며, (K)는 색 분리에 의해 작성된 보간 R 화소의 다른 일례를 도시하는 도해도이며, (L)은 색 분리에 의해 작성된 보간 B 화소의 다른 일례를 도시하는 도해도.
도 13의 (A)는 보간 R 화소 및 보간 B 화소의 일부를 도시하는 도해도이며, (B)는 보간 R 화소 및 보간 B 화소의 다른 일부를 도시하는 도해도이며, (C)는 H 줌 R 화소 및 H 줌 B 화소의 일부를 도시하는 도해도이며, (D)는 H 줌 R 화소 및 H 줌 B 화소의 다른 일부를 도시하는 도해도.
도 14의 (A)는 채널 CH1 및 채널 CH2에 대응하는 HV 줌 R 화소 및 HV 줌 B 화소의 일부를 도시하는 도해도이며, (B)는 채널 CH3 및 채널 CH4에 대응하는 HV 줌 R 화소 및 HV 줌 B 화소의 일부를 도시하는 도해도.
도 15의 (A)는 채널 CH1 내지 채널 CH4에 대응하는 HV 줌 G 화소의 일부를 도시하는 도해도이며, (B)는 채널 CH1 내지 채널 CH4에 대응하는 HV 줌 R 화소 및 HV 줌 B 화소의 일부를 도시하는 도해도이며, (C)는 줌 처리가 실시된 로우 데이터의 일부를 도시하는 도해도.

도 1을 참조하여, 본 실시예의 디지털 카메라(10)는 드라이버(20a, 20b 및 20c)에 의해 각각 구동되는 줌 렌즈(12), 포커스 렌즈(14) 및 조리개 유닛(16)을 포함한다. 피사계의 광학상은 이들 부재를 통해 CMOS형의 이미지 센서(18)의 촬상면에 조사된다. 촬상면은 수평 3072화소×수직 1728화소에 상당하는 유효 화소 에리어(area)를 갖고, 또한 도 2에 도시하는 원색 베이어 배열의 색 필터(18f)에 의해 덮여진다. 각 화소에서 생성되는 전하는 R(Red), G(Green) 및 B(Blue) 중 어느 하나의 색 정보를 갖는다.

전원이 투입되면, CPU(36)는 스루 화상 처리를 실행하기 위해 대응하는 명령을 드라이버(20d)에 제공한다. 드라이버(20d)는 SG(Signal Generator)(22)로부터 1/30초마다 발생하는 수직 동기 신호 Vsync에 응답하여 촬상면을 노광하고, 이에 의해 생성된 전하를 촬상면으로부터 판독한다. 이미지 센서(18)는 4개의 채널 CH1 내지 채널 CH4를 갖고, 판독된 전하에 기초하는 생화상 데이터(원화상 데이터)는 채널 CH1 내지 채널 CH4로부터 분산적(병렬적)으로 출력된다.

출력된 생화상 데이터는, 도 3의 (A)에 도시한 바와 같이 수평 3072화소×수직 1728화소의 해상도를 갖는다. 또한, 도 2로부터 알 수 있는 바와 같이, 출력되는 생화상 데이터는 홀수번째의 수평 라인에 교대로 배치된 G 화소 및 B 화소와, 짝수번째의 수평 라인에 교대로 배치된 R 화소 및 G 화소를 갖는다.

전처리 회로(24)는 이미지 센서(18)로부터 출력된 4채널의 생화상 데이터에 병렬적인 4계통의 전처리를 각각 실시한다. 각 계통의 전처리는 노이즈 제거, 축소 줌 및 에지 조정에 의해 구성되고, 이러한 전처리를 거친 생화상 데이터(줌 화상 데이터)는 메모리 제어 회로(40)를 통해 SDRAM(42)의 생화상 에리어(42a)에 기입된다.

또한, 전처리 회로(24)에 있어서의 축소 줌은 줌 회로(24z)에 의해 실행된다. 이하에서는, 줌 회로(24z)에 의해 실행되는 축소 줌을 "로우 줌"이라 정의한다.

전처리 회로(22)에 의해 노이즈 제거가 실시된 생화상 데이터(해상도: 수평 3072화소×수직 1728화소)는 또한 평가 화상 작성 회로(26 및 28)에 제공된다. 평가 화상 작성 회로(26)는 제공된 생화상 데이터에 수직 2화소의 가산 처리 및 수평 2화소의 가산 처리를 실시하고, EIS/AF 평가 화상 데이터를 작성한다. 한편, 평가 화상 작성 회로(28)는 제공된 생화상 데이터에 수평 4화소의 가산 처리를 실시하고, AE/AWB 평가 화상 데이터를 작성한다.

EIS/AF 평가 화상 데이터는, 도 3의 (B)에 도시한 바와 같이 수평 1536화소×수직 864화소의 해상도를 갖는다. AE/AWB 평가 화상 데이터는, 도 3의 (C)에 도시한 바와 같이 수평 768화소×수직 1728화소의 해상도를 갖는다. EIS/AF 평가 화상 데이터는 움직임 검출 회로(30) 및 AF 평가 회로(32)에 제공되고, AE/AWB 평가 화상 데이터는 AE/AWB 평가 회로(34)에 제공된다.

도 3의 (A) 및 도 3의 (B)를 참조하여, 촬상면에는 1개의 추출 에리어(EX)와 9개의 움직임 검출 에리어 MD1 내지 MD9가 할당된다. 추출 에리어(EX)는 수평 1920화소×수직 1080화소에 상당하는 크기를 갖는다. 또한, 움직임 검출 에리어 MD1 내지 MD3은 촬상면의 상단에 수평 방향으로 배열되고, 움직임 검출 에리어 MD4 내지 MD6은 촬상면의 중단에 수평 방향으로 배열되고, 움직임 검출 에리어 MD7 내지 MD9는 촬상면의 하단에 수평 방향으로 배열된다.

움직임 검출 회로(30)는 움직임 검출 에리어 MD1 내지 MD9의 각각에 있어서의 피사계의 움직임을 나타내는 부분 움직임 벡터를 EIS/AF 평가 화상 데이터에 기초하여 검출하고, 검출된 부분 움직임 벡터를 합성하여 전체 움직임 벡터를 작성한다. 부분 움직임 벡터의 검출 처리 및 전체 움직임 벡터의 작성 처리 모두 수직 동기 신호 Vsync가 발생할 때마다 실행된다.

CPU(36)는 광축에 직교하는 방향에 있어서의 촬상면의 움직임이 손떨림 및 팬/틸트 동작 중 어디에 기인하는지를 움직임 검출 회로(30)로부터 출력된 전체 움직임 벡터에 기초하여 판별하고, 촬상면의 움직임이 손떨림에 기인할 때에 전체 움직임 벡터를 따라 추출 에리어(EX)를 이동시킨다. 추출 에리어(EX)의 위치는 손떨림에 기인하는 촬상면의 움직임이 보상(상쇄)되도록 변경된다. 또한, 후술하는 포커스 에리어 FA 및 측광/화이트 밸런스 에리어(EWA)는 추출 에리어(EX)의 이동에 맞추어 이동된다.

후처리 회로(44)는 생화상 에리어(42a)에 저장된 생화상 데이터 중 추출 에리어(EX)에 속하는 부분 생화상 데이터를 메모리 제어 회로(40)를 통해 판독하고, 판독된 부분 생화상 데이터에 색 분리, 화이트 밸런스 조정, YUV 변환, 확대 줌 등의 후처리를 실시한다. 부분 생화상 데이터는 수직 동기 신호 Vsync에 응답하여 생화상 에리어(42a)로부터 판독되고, 후처리도 또한 수직 동기 신호 Vsync에 응답하여 실행된다. 이렇게 하여 생성된 YUV 형식의 화상 데이터는 동화상 출력단 M_OUT로부터 출력되고, 메모리 제어 회로(40)를 통해 SDRAM(42)의 동화상 에리어(42b)에 기입된다.

또한, 후처리 회로(44)에 있어서 색 분리 처리가 실시된 화상 데이터를 형성하는 복수의 화소의 각각은 R, G 및 B의 모든 색 정보를 갖는다. 이러한 화상 데이터의 형식이 YUV 변환에 의해 YUV 형식으로 변환되고, 또한 확대 줌이 실시된다. 또한, 후처리 회로(44)에 있어서의 확대 줌은 줌 회로(44z)에 의해 실행된다. 이하에서는, 후처리 회로(44)에 의해 실행되는 확대 줌을 "YUV 줌"이라 정의한다.

LCD 드라이버(46)는 동화상 에리어(42b)에 저장된 화상 데이터를 반복하여 판독하고, 판독된 화상 데이터에 기초하여 LCD 모니터(48)를 구동한다. 이 결과, 피사계를 나타내는 리얼타임(real time) 동화상(스루 화상)이 모니터 화면에 표시된다.

AE/AWB 평가 회로(34)는 평가 화상 작성 회로(28)로부터 출력된 AE/AWB 평가 화상 데이터 중 도 3의 (C)에 도시하는 측광/화이트 밸런스 에리어(EWA)에 속하는 일부의 AE/AWB 평가 화상 데이터를 수직 동기 신호 Vsync가 발생할 때마다 적분하고, 적분값 즉 AE/AWB 평가값을 출력한다. CPU(36)는 AE/AWB 평가 회로(34)로부터 출력된 AE/AWB 평가값에 기초하여 적정 EV값과 적정 화이트 밸런스 조정 게인을 산출하기 위해 AE/AWB 처리를 실행한다. 산출된 적정 EV값을 정의하는 조리개량 및 노광 시간은 드라이버(20c 및 20d)에 각각 설정되고, 산출된 적정 화이트 밸런스 조정 게인은 후처리 회로(44)에 설정된다. 이 결과, LCD 모니터(48)로부터 출력되는 동화상의 밝기 및 화이트 밸런스가 적절하게 조정된다.

AF 평가 회로(32)는 평가 화상 작성 회로(26)로부터 출력된 EIS/AF 평가 화상 데이터 중 도 3의 (B)에 나타내는 포커스 에리어(FA)에 속하는 일부의 EIS/AF 평가 화상 데이터를 추출하고, 추출된 EIS/AF 평가 화상 데이터의 고주파 성분을 수직 동기 신호 Vsync에 응답하여 적분한다. 산출된 적분값 즉 AF 평가값은 콘티뉴어스(continuous) AF 처리를 위해 CPU(36)에 제공된다. CPU(36)는 제공된 AF 평가값을 참조하여, 소위 힐 클라이밍(Hill Climbing) 처리에 의해 포커싱점을 계속적으로 탐색한다. 포커스 렌즈(14)는 발견된 포커싱점에 배치된다.

키 입력 장치(38) 상의 줌 버튼(38z)이 조작되면, CPU(36)는 현시점의 표시 배율보다 원하는 방향으로 기정량(=미소량)만큼 다른 표시 배율을 목표 표시 배율로서 설정하고, 설정된 목표 표시 배율에 대응하는 광학 줌 배율, 로우 줌 배율 및 YUV 줌 배율을 도 4에 나타내는 그래프를 참조하여 산출한다. 또한, 도 4에 나타내는 그래프에 상당하는 데이터는 그래프 데이터 GRD로서 플래시 메모리(54)에 보존된다.

도 4에 따르면, 광학 줌 배율은 줌 렌즈(12)가 와이드단에 위치할 때에 "1.0"을 나타내고, 줌 렌즈(12)가 텔레단에 위치할 때에 "10.0"을 나타낸다. 광학 줌 배율은 또한 줌 렌즈(12)가 와이드단으로부터 텔레단으로 이동함에 따라서 선형으로 증대하고, 표시 배율이 "16"을 상회하는 범위에 있어서 "10.0"을 유지한다. YUV 줌 배율은 표시 배율이 "16" 이하의 범위에 있어서 "1.0"을 유지하고, 표시 배율이 "16"을 상회하는 범위에 있어서 "10.0"까지 선형으로 증대한다.

로우 줌 배율은 표시 배율=1.0[줌 렌즈(12)=와이드단]에 대응하여 "0.625"를 나타내고, 표시 배율=16[줌 렌즈(12)=텔레단]에 대응하여 "1.0"을 나타낸다. 로우 줌 배율은 또한 표시 배율이 "1.0"으로부터 "16"을 향함에 따라서 선형으로 증대하고, 표시 배율이 "16"을 상회하는 범위에 있어서 "1.0"을 유지한다.

CPU(36)는 계속해서, 줌 처리를 실행하기 위해, 산출된 광학 줌 배율, 로우 줌 배율 및 YUV 줌 배율을 드라이버(20a), 줌 회로(24z) 및 줌 회로(44z)에 각각 설정한다. 이에 의해, 목표 표시 배율을 갖는 스루 화상이 LCD 모니터(48)로부터 출력된다.

CPU(36)는 그 후, 줌 회로(24z)에 설정된 로우 줌 배율에 적합하도록, 움직임 검출 에리어 MD1 내지 MD9, 포커스 에리어(FA) 및 측광/화이트 밸런스 에리어(EWA)의 설정을 변경한다. 이 결과, 손떨림 보정 처리, 콘티뉴어스 AF 처리 및 AE/AWB 처리의 정밀도가 향상된다.

키 입력 장치(38) 상의 무비 버튼(38m)이 조작되면, CPU(36)는 동화상 기록 처리를 개시하기 위해 I/F(50)에 기록 개시 명령을 제공한다. I/F(50)는 기록 매체(52) 내에 동화상 파일을 작성하고, 동화상 에리어(42b)에 저장된 화상 데이터를 주기적으로 판독하고, 그리고 판독된 화상 데이터를 기록 매체(52) 내의 동화상 파일에 기입한다. 무비 버튼(38m)이 다시 조작되면, 기록 정지 명령이 I/F(50)에 제공된다. I/F(50)는 동화상 에리어(42b)로부터의 화상 데이터의 판독을 종료하고, 기입처의 동화상 파일을 클로즈한다. 이에 의해, 동화상 파일이 완성된다.

동화상 기록 처리가 실행되고 있는 도중에 키 입력 장치(38) 상의 셔터 버튼(38s)이 조작되면, CPU(36)는 병렬 정지 화상 기록 처리를 실행하기 위해 정지 화상 추출 명령을 후처리 회로(44)에 제공하고, 정지 화상 기록 명령을 I/F(50)에 제공한다. 후처리 회로(44)는 셔터 버튼(38s)이 조작된 시점의 피사계상을 나타내는 1프레임의 화상 데이터를 정지 화상 출력단 S_OUT로부터 출력한다. 출력된 화상 데이터는 메모리 제어 회로(40)를 통해 SDRAM(42)의 정지 화상 에리어(42b)에 기입된다. I/F(50)는 정지 화상 에리어(42c)에 저장된 화상 데이터를 메모리 제어 회로(40)를 통해 판독하고, 판독된 화상 데이터를 수납한 정지 화상 파일을 기록 매체(52) 내에 작성한다.

한편, 동화상 기록 처리가 중단되어 있는 상태에서 셔터 버튼(38s)이 조작되면, CPU(36)는 단독 정지 화상 기록 처리를 실행하기 위해, 모두 "1.0"을 나타내는 로우 줌 배율 및 YUV 줌 배율을 줌 회로(24z 및 44z)에 설정하고, 또한 정지 화상 처리 명령 및 정지 화상 기록 명령을 전처리 회로(24), 후처리 회로(44) 및 I/F(50)에 각각 제공한다.

이에 의해, 수평 3072화소×1728화소의 해상도를 갖는 1프레임의 생화상 데이터가 전처리 회로(24)로부터 출력되고, SDRAM(42)의 생화상 에리어(42a)에 기입된다.

후처리 회로(44)는 동일한 해상도를 갖는 생화상 데이터를 생화상 에리어(42a)로부터 판독하고, 판독된 생화상 데이터에 기초하는 YUV 형식의 화상 데이터를 정지 화상 출력단 S_OUT로부터 출력한다. 출력된 화상 데이터는 메모리 제어 회로(40)를 통해 SDRAM(42)의 정지 화상 에리어(42c)에 기입된다.

I/F(50)는 정지 화상 에리어(42c)에 저장된 화상 데이터를 메모리 제어 회로(40)를 통해 판독하고, 판독된 화상 데이터를 수납한 정지 화상 파일을 기록 매체(52) 내에 작성한다. 기록이 완료되면, 상술한 스루 화상 처리가 재개된다.

이미지 센서(18)는 도 5에 도시한 바와 같이 구성된다. 피사계상을 나타내는 전하는 매트릭스 형상으로 배치된 복수의 수광 소자(56, 56,…)에 의해 생성된다. 각각의 수광 소자(56)가 상술한 화소에 상당한다. 수직 방향으로 배열되는 수광 소자(56, 56,…)의 각각은 A/D 변환기(58) 및 행 선택 스위치(60)를 통해 공통의 CDS 회로(62)에 접속된다. 수광 소자(56)에서 생성된 전하는 A/D 변환기(58)에 의해 12비트의 디지털 데이터로 변환된다. 수직 주사 회로(66)는 행 선택 스위치(60, 60,…)를 온/오프하는 동작을 래스터 주사 형태로 1화소씩 실행한다. 온 상태의 행 선택 스위치(60)를 거친 화소 데이터에 포함되는 노이즈는 CDS 회로(62)에 의해 제거된다.

열 선택 스위치(641)는 4N+1열째(N: 0, 1, 2, 3,…)의 CDS 회로(62)에 할당되고, 열 선택 스위치(642)는 4N+2열째의 CDS 회로(62)에 할당되고, 열 선택 스위치(643)는 4N+3열째의 CDS 회로(62)에 할당되고, 그리고 열 선택 스위치(644)는 4N+4열째의 CDS 회로(62)에 할당된다.

수평 주사 회로(68)는 4N+1열째의 행 선택 스위치(60)가 온되는 타이밍에서 열 선택 스위치(641)를 온하고, 4N+2열째의 행 선택 스위치(60)가 온되는 타이밍에서 열 선택 스위치(642)를 온하고, 4N+3열째의 행 선택 스위치(60)가 온되는 타이밍에서 열 선택 스위치(643)를 온하고, 그리고 4N+4열째의 행 선택 스위치(60)가 온되는 타이밍에서 열 선택 스위치(644)를 온한다.

이 결과, 4N+1열째의 수광 소자(56)에서 생성된 전하에 기초하는 부분 생화상 데이터가 채널 CH1로부터 출력되고, 4N+2열째의 수광 소자(56)에서 생성된 전하에 기초하는 부분 생화상 데이터가 채널 CH2로부터 출력된다. 또한, 4N+3열째의 수광 소자(56)에서 생성된 전하에 기초하는 부분 생화상 데이터가 채널 CH3으로부터 출력되고, 4N+4열째의 수광 소자(56)에서 생성된 전하에 기초하는 부분 생화상 데이터가 채널 CH4로부터 출력된다.

전처리 회로(24)는 도 6에 도시한 바와 같이 구성된다. 채널 CH1의 부분 생화상 데이터는 LPF(24f1)를 거쳐서 줌 회로(24z)에 제공되고, 채널 CH2의 부분 생화상 데이터는 LPF(24f2)를 거쳐서 줌 회로(24z)에 제공된다. 또한, 채널 CH3의 부분 생화상 데이터는 LPF(24f3)를 거쳐서 줌 회로(24z)에 제공되고, 채널 CH4의 부분 생화상 데이터는 LPF(24f4)를 거쳐서 줌 회로(24z)에 제공된다.

LPF(24f1 내지 24f4)로부터 출력된 4채널의 부분 생화상 데이터는 또한 평가 화상 작성 회로(26 및 28)를 향해 출력된다. 또한, 줌 회로(24z)는 제공된 생화상 데이터 즉 원화상 데이터에 축소 줌을 실시하고, 축소된 크기를 갖는 생화상 데이터 즉 줌 화상 데이터를 출력한다.

줌 회로(24z)로부터 출력된 생화상 데이터 중, 채널 CH1에 대응하는 부분 생화상 데이터는 에지 조정 회로(24e1)에 제공되고, 채널 CH2에 대응하는 부분 생화상 데이터는 에지 조정 회로(24e2)에 제공된다. 또한, 채널 CH3에 대응하는 부분 생화상 데이터는 에지 조정 회로(24e3)에 제공되고, 채널 CH4에 대응하는 부분 생화상 데이터는 에지 조정 회로(24e4)에 제공된다.

에지 조정 회로(24e1 내지 24e4)에 의해 에지 조정이 실시된 생화상 데이터는 그 후, SRAM(24m)에 기입된다. 컨트롤러(24c)는 SRAM(24m)에 저장된 데이터량이 임계값에 도달할 때마다 기입 요구를 메모리 제어 회로(40)를 향해 발행하고, 발행처로부터 승인 신호가 반송되었을 때에 기정량의 생화상 데이터를 메모리 제어 회로(40)를 향해 출력한다.

줌 회로(24z)는 도 7에 도시한 바와 같이 구성된다. 채널 CH1의 생화상 데이터는 분배기(70a)에 제공되고, 채널 CH2의 생화상 데이터는 분배기(70b)에 제공된다. 또한, 채널 CH3의 생화상 데이터는 분배기(70c)에 제공되고, 채널 CH4의 생화상 데이터는 분배기(70d)에 제공된다.

이미지 센서(18)가 상술한 요령으로 구동되는 점에서, 채널 CH1 내지 채널 CH4를 통해 얻어지는 생화상 데이터는, 도 8의 (A) 내지 도 8의 (D), 도 9의 (A) 내지 도 9의 (D)에 나타내는 화소 패턴을 갖는다. 즉, 채널 CH1 및 채널 CH3의 각각의 생화상 데이터는 홀수번째의 수평 라인에 대응하여 B 화소를 갖고, 짝수번째의 수평 라인에 대응하여 G 화소를 갖는다. 또한, 채널 CH2 및 채널 CH4의 각각의 생화상 데이터는 홀수번째의 수평 라인에 대응하여 G 화소를 갖고, 짝수번째의 수평 라인에 대응하여 R 화소를 갖는다.

분배기(70a 및 70c)의 각각은 색 분리계(CS2)를 구성하는 색 분리 회로(74) 및 SRAM(72)에 G 화소를 제공하고, 색 분리계(CS1)를 구성하는 셀렉터(92)에 B 화소를 제공한다. 또한, 분배기(70b 및 70d)의 각각은 색 분리 회로(74) 및 SRAM(72)에 G 화소를 제공하고, 셀렉터(92)에 R 화소를 제공한다.

색 분리 회로(74)는 분배기(70a 내지 70d)로부터 직접적으로 입력되는 2개의 G 화소와 SRAM(72)으로부터 판독되는 2개의 G 화소, 혹은 SRAM(72)으로부터 판독되는 4개의 G 화소에 선형의 색 보간 처리를 실시하고, 이에 의해 작성된 보간 G 화소를 줌계(VS2)를 구성하는 수평 줌 회로(76)를 향해 출력한다.

도 8의 (A)에 도시하는 화소 패턴에 주목할 때는, 도 8의 (E)에 도시하는 8개의 G 화소 중 굵은 선으로 둘러싼 4개의 G 화소가 색 보간 처리의 대상이 되고, 도 8의 (I)에 나타내는 위치에 보간 G 화소가 작성된다. 도 8의 (B)에 나타내는 화소 패턴에 주목할 때는, 도 8의 (F)에 나타내는 8개의 G 화소 중 굵은 선으로 둘러싼 4개의 G 화소가 색 보간 처리의 대상이 되고, 도 8의 (J)에 나타내는 위치에 보간 G 화소가 작성된다.

또한, 도 8의 (C)에 도시하는 화소 패턴에 주목할 때는, 도 8의 (G)에 도시하는 8개의 G 화소 중 굵은 선으로 둘러싼 4개의 G 화소가 색 보간 처리의 대상이 되고, 도 8의 (K)에 나타내는 위치에 보간 G 화소가 작성된다. 도 8의 (D)에 나타내는 화소 패턴에 주목할 때는, 도 8의 (H)에 나타내는 8개의 G 화소 중 굵은 선으로 둘러싼 4개의 G 화소가 색 보간 처리의 대상이 되고, 도 8의 (L)에 나타내는 위치에 보간 G 화소가 작성된다.

또한, 도 9의 (A)에 나타내는 화소 패턴에 주목할 때는, 도 9의 (E)에 나타내는 8개의 G 화소 중 굵은 선으로 둘러싼 4개의 G 화소가 색 보간 처리의 대상이 되고, 도 9의 (I)에 나타내는 위치에 보간 G 화소가 작성된다. 도 9의 (B)에 나타내는 화소 패턴에 주목할 때는, 도 9의 (F)에 나타내는 8개의 G 화소 중 굵은 선으로 둘러싼 4개의 G 화소가 색 보간 처리의 대상이 되고, 도 9의 (J)에 나타내는 위치에 보간 G 화소가 작성된다.

또한, 도 9의 (C)에 나타내는 화소 패턴에 주목할 때는, 도 9의 (G)에 나타내는 8개의 G 화소 중 굵은 선으로 둘러싼 4개의 G 화소가 색 보간 처리의 대상이 되고, 도 9의 (K)에 나타내는 위치에 보간 G 화소가 작성된다. 도 9의 (D)에 나타내는 화소 패턴에 주목할 때는, 도 9의 (H)에 나타내는 8개의 G 화소 중 굵은 선으로 둘러싼 4개의 G 화소가 색 보간 처리의 대상이 되고, 도 9의 (L)에 나타내는 위치에 보간 G 화소가 작성된다.

수평 줌 회로(76)는 색 분리 회로(74)로부터 연속적으로 출력되는 보간 G 화소 즉 G의 색 정보를 갖는 보간 화상 데이터에, CPU(36)에 의해 설정된 로우 줌 배율에 따르는 수평 줌 처리(수평 방향의 선형 보간 처리)를 실시한다. 수평 줌 처리가 실시된 보간 G 화소를 "H 줌 G 화소"라 정의하면, 설정된 로우 줌 배율이 0.75배일 때, H 줌 G 화소는 도 10의 (A)에 나타내는 보간 G 화소에 기초하여 도 10의 (B)에 나타내는 요령으로 작성된다. 수평 줌 회로(76)는 출력측의 채널 CH1 내지 채널 CH4에 대응하여 4병렬로 수평 줌 처리를 실행하고, 수평 방향으로 배열되는 4개의 H 줌 G 화소를 동시에 출력한다.

동시에 출력된 4개의 H 줌 G 화소는 분배기(80)에 제공된다. 분배기(80)는 채널 CH1 및 채널 CH3에 대응하는 H 줌 G 화소를 SRAM(82a)에 기입하고, 채널 CH2 및 채널 CH4에 대응하는 H 줌 G 화소를 SRAM(82b)에 기입한다.

셀렉터(84)는 수직 줌 회로(88a 및 88b)가 짝수번째의 수평 라인에 주목할 때, 출력측의 채널 CH1에 대응하는 3개의 H 줌 G 화소와 출력측의 채널 CH3에 대응하는 3개의 H 줌 G 화소를 SRAM(82a)으로부터 판독한다. 이 중, 채널 CH1에 대응하는 3개의 H 줌 G 화소는 분배기(86b 내지 86d)를 거쳐서 수직 줌 회로(88a)에 입력되고, 채널 CH3에 대응하는 3개의 H 줌 G 화소는 분배기(86b 내지 86d)를 거쳐서 수직 줌 회로(88b)에 입력된다.

셀렉터(84)는 또한 수직 줌 회로(88a 및 88b)가 홀수번째의 수평 라인에 주목할 때, 채널 CH2에 대응하는 3개의 H 줌 G 화소와 채널 CH4에 대응하는 3개의 H 줌 G 화소를 SRAM(82b)으로부터 판독한다. 채널 CH2에 대응하는 3개의 H 줌 G 화소는 분배기(86b 내지 86d)를 거쳐서 수직 줌 회로(88a)에 입력되고, 채널 CH4에 대응하는 3개의 H 줌 G 화소는 분배기(86b 내지 86d)를 거쳐서 수직 줌 회로(88b)에 입력된다.

수평 줌 회로(76)로부터 동시에 출력된 4개의 H 줌 G 화소는 또한 분배기(86a)에 제공된다. 분배기(86a)는 수직 줌 회로(88a 및 88b)가 짝수번째의 수평 라인에 주목할 때, 채널 CH1에 대응하는 1개의 H 줌 G 화소를 수직 줌 회로(88a)에 입력하고, 채널 CH3에 대응하는 1개의 H 줌 G 화소를 수직 줌 회로(88b)에 입력한다. 분배기(86a)는 또한 수직 줌 회로(88a 및 88b)가 홀수번째의 수평 라인에 주목할 때, 채널 CH2에 대응하는 1개의 H 줌 G 화소를 수직 줌 회로(88a)에 입력하고, 채널 CH4에 대응하는 1개의 H 줌 G 화소를 수직 줌 회로(88b)에 입력한다.

수직 줌 회로(88a)는 주목하는 라인이 짝수번째의 수평 라인일 때, 출력측의 채널 CH1에 대응하는 4개의 H 줌 G 화소에, CPU(36)에 의해 설정된 로우 줌 배율을 따르는 수직 줌 처리(수직 방향의 선형 보간 처리)를 실시한다. 수직 줌 회로(88a)는 또한 주목하는 라인이 홀수번째의 수평 라인일 때, 출력측의 채널 CH2에 대응하는 4개의 H 줌 G 화소에 같은 수직 줌 처리를 실시한다. 수직 줌 회로(88a)로부터는, 수직 줌 처리의 대상이 된 4개의 H 줌 G 화소에 기초하는 1개의 HV 줌 G 화소가 출력된다.

수직 줌 회로(88b)도 주목하는 라인이 짝수번째의 수평 라인일 때, 출력측의 채널 CH3에 대응하는 4개의 H 줌 G 화소에, CPU(36)에 의해 설정된 로우 줌 배율에 따르는 수직 줌 처리를 실시한다. 수직 줌 회로(88b)는 또한 주목하는 라인이 홀수번째의 수평 라인일 때, 출력측의 채널 CH4에 대응하는 4개의 H 줌 G 화소에 같은 수직 줌 처리를 실시한다. 수직 줌 회로(88b)로부터도, 수직 줌 처리의 대상으로 된 4개의 H 줌 G 화소에 기초하는 1개의 HV 줌 G 화소가 출력된다.

따라서, 설정된 줌 배율이 0.75배일 때, 수직 줌 회로(88a)에서는, 도 10의 (B)에 나타내는 수평 줌 G 화소에 기초하여 도 10의 (C)에 나타내는 HV 줌 G 화소가 작성된다. 또한, 수직 줌 회로(88b)에서는, 도 10의 (B)에 나타내는 수평 줌 G 화소에 기초하여 도 10의 (D)에 나타내는 HV 줌 G 화소가 작성된다. G의 색 정보를 갖는 줌 화상 데이터는 이렇게 하여 작성된 HV 줌 화소에 의해 형성된다.

도 11의 (A) 내지 도 11의 (D) 및 도 12의 (A) 내지 도 12의 (D)를 참조하여, R 화소는 짝수번째의 수평 라인에 있어서 채널 CH2 및 채널 CH4로부터 검출되고, B 화소는 홀수번째의 수평 라인에 있어서 채널 CH1 및 채널 CH3으로부터 검출된다. 셀렉터(92)는 짝수번째의 수평 라인으로부터 검출된 2개의 R 화소를 셀렉터(94)의 한쪽 입력단 및 SRAM(96)에 제공하고, 홀수번째의 수평 라인으로부터 검출된 2개의 B 화소를 셀렉터(94)의 다른 쪽 입력단 및 SRAM(98)에 제공한다.

셀렉터(94)는 2개의 R 화소가 셀렉터(92)로부터 출력될 때 한쪽 입력단을 선택하고, 2개의 B 화소가 셀렉터(92)로부터 출력될 때 다른 쪽 입력단을 선택한다. 셀렉터(100)는 R 화소의 색 보간 처리에 대응하여 SRAM(96)으로부터 R 화소를 판독하고, B 화소의 색 보간 처리에 대응하여 SRAM(98)으로부터 B 화소를 판독한다.

색 분리 회로(102)는 셀렉터(94)로부터 입력되는 2개의 R 화소와 셀렉터(100)로부터 입력되는 1개의 R 화소, 혹은 셀렉터(100)로부터 입력되는 3개의 R 화소에 선형의 색 보간 처리를 실시하여 보간 R 화소를 작성한다. 색 분리 회로(102)는 또한 셀렉터(94)로부터 입력되는 2개의 B 화소와 셀렉터(100)로부터 입력되는 1개의 B 화소, 혹은 셀렉터(100)로부터 입력되는 3개의 B 화소에 선형의 색 보간 처리를 실시하여 보간 B 화소를 작성한다.

여기서, 보간 R 화소를 작성하기 위한 색 보간 처리 및 보간 B 화소를 작성하기 위한 색 보간 처리는 수평 방향에 있어서 교대로 실행된다. 이 실시예에서는, 보간 R 화소는 도 11의 (A), 도 11의 (C), 도 12의 (A) 및 도 12의 (C)에 나타내는 화소 패턴에 대응하여 작성된다. 한편, 보간 B 화소는 도 11의 (B), 도 11의 (D), 도 12의 (B) 및 도 12의 (D)에 나타내는 화소 패턴에 대응하여 작성된다.

구체적으로 설명하면, 도 11의 (A)에 나타내는 화소 패턴에 대해서는, 도 11의 (E)에 나타내는 4개의 R 화소 중 굵은 선으로 둘러싼 3개의 R 화소가 색 보간 처리의 대상이 되고, 도 11의 (I)에 나타내는 위치에 보간 R 화소가 작성된다. 도 11의 (B)에 나타내는 화소 패턴에 대해서는, 도 11의 (F)에 나타내는 4개의 B 화소 중 굵은 선으로 둘러싼 3개의 B 화소가 색 보간 처리의 대상이 되고, 도 11의 (J)에 나타내는 위치에 보간 B 화소가 작성된다.

또한, 도 11의 (C)에 나타내는 화소 패턴에 대해서는, 도 11의 (G)에 나타내는 4개의 R 화소 중 굵은 선으로 둘러싼 3개의 R 화소가 색 보간 처리의 대상이 되고, 도 11의 (K)에 나타내는 위치에 보간 R 화소가 작성된다. 도 11의 (D)에 나타내는 화소 패턴에 대해서는, 도 11의 (H)에 나타내는 4개의 B 화소 중 굵은 선으로 둘러싼 3개의 B 화소가 색 보간 처리의 대상이 되고, 도 11의 (L)에 나타내는 위치에 보간 B 화소가 작성된다.

또한, 도 12의 (A)에 나타내는 화소 패턴에 대해서는, 도 12의 (E)에 나타내는 4개의 R 화소 중 굵은 선으로 둘러싼 3개의 R 화소가 색 보간 처리의 대상이 되고, 도 12의 (I)에 나타내는 위치에 보간 R 화소가 작성된다. 도 12의 (B)에 나타내는 화소 패턴에 대해서는, 도 12의 (F)에 나타내는 4개의 B 화소 중 굵은 선으로 둘러싼 3개의 B 화소가 색 보간 처리의 대상이 되고, 도 12의 (J)에 나타내는 위치에 보간 B 화소가 작성된다.

도 12의 (C)에 나타내는 화소 패턴에 대해서는, 도 12의 (G)에 나타내는 4개의 R 화소 중 굵은 선으로 둘러싼 3개의 R 화소가 색 보간 처리의 대상이 되고, 도 12의 (K)에 나타내는 위치에 보간 R 화소가 작성된다. 도 12의 (D)에 나타내는 화소 패턴에 대해서는, 도 12의 (H)에 나타내는 4개의 B 화소 중 굵은 선으로 둘러싼 3개의 B 화소가 색 보간 처리의 대상이 되고, 도 12의 (L)에 나타내는 위치에 보간 B 화소가 작성된다.

R의 색 정보를 갖는 보간 화상 데이터는 이렇게 하여 작성된 보간 R 화소에 의해 형성된다. 마찬가지로, B의 색 정보를 갖는 보간 화상 데이터는 이렇게 하여 작성된 보간 B 화소에 의해 형성된다.

홀수번째의 수평 라인에 대응하는 보간 R 화소 및 보간 B 화소는 줌계(VS1)를 구성하는 수평 줌&수평 선별 회로(104a)에 제공된다[도 13의 (A) 참조]. 한편, 짝수번째의 수평 라인에 대응하는 보간 R 화소 및 보간 B 화소는, 수평 줌&수평 선별 회로(104b)에 제공된다[도 13의 (B) 참조].

수평 줌&선별 회로(104a)는, 도 13의 (A)에 나타내는 보간 R 화소 및 보간 B 화소에 CPU(36)에 의해 설정된 로우 줌 배율에 따르는 수평 줌 처리와 1/2 선별 처리를 실시한다. 수평 줌&선별 회로(104b)도, 도 13의 (B)에 나타내는 보간 R 화소 및 보간 B 화소에 같은 수평 줌 처리와 1/2 선별 처리를 실시한다. 이하에서는, 수평 줌 처리 및 1/2 선별 처리가 실시된 R 화소 및 B 화소를 각각 "H 줌 R 화소" 및 "H 줌 B 화소"라 정의한다.

따라서, 설정된 줌 배율이 0.75배이면, 도 13의 (C)에 나타내는 H 줌 R 화소 및 H 줌 B 화소가 수평 줌&선별 회로(104a)로부터 출력되고, 도 13의 (D)에 나타내는 H 줌 R 화소 및 H 줌 B 화소가 수평 줌&선별 회로(104b)로부터 출력된다.

여기서, 수평 줌&선별 회로(104a 및 104b)의 각각은 채널 CH1 내지 채널 CH4에 대응하여 4병렬로 수평 줌 처리 및 1/2 선별 처리를 실행하고, 수평 방향으로 배열되는 4개의 H 줌 R 화소/H 줌 B 화소를 동시에 출력한다.

수평 줌&선별 회로(104a)로부터 동시에 출력된 4개의 H 줌 R 화소/H 줌 B 화소는 셀렉터(106)의 한쪽 입력단에 제공된다. 또한, 수평 줌&선별 회로(104b)로부터 동시에 출력된 4개의 H 줌 R 화소/H 줌 B 화소는 셀렉터(106)의 다른 쪽 입력단에 제공된다. 셀렉터(106)는 채널 CH1 및 채널 CH3에 대응하는 H 줌 B 화소를 SRAM(108a)에 기입하고, 채널 CH2 및 채널 CH4에 대응하는 H 줌 R 화소를 SRAM(108b)에 기입한다.

셀렉터(110)는 수직 줌 회로(114a 및 114b)가 짝수번째의 수평 라인에 주목할 때, 출력측 채널 CH2에 대응하는 2개의 H 줌 R 화소와 출력측 채널 CH4에 대응하는 2개의 H 줌 R 화소를 SRAM(108b)으로부터 판독한다. 이 중, 채널 CH2에 대응하는 2개의 H 줌 R 화소는 분배기(112c 내지 112d)를 거쳐서 수직 줌 회로(114a)에 입력되고, 채널 CH4에 대응하는 2개의 H 줌 R 화소는 분배기(112c 내지 112d)를 거쳐서 수직 줌 회로(114b)에 입력된다.

셀렉터(110)는 또한 수직 줌 회로(114a 및 114b)가 홀수번째의 수평 라인에 주목할 때, 채널 CH1에 대응하는 2개의 H 줌 B 화소와 채널 CH3에 대응하는 2개의 H 줌 B 화소를 SRAM(108a)으로부터 판독한다. 채널 CH1에 대응하는 2개의 H 줌 B 화소는 분배기(112c 내지 112d)를 거쳐서 수직 줌 회로(114a)에 입력되고, 채널 CH3에 대응하는 2개의 H 줌 B 화소는 분배기(112c 내지 112d)를 거쳐서 수직 줌 회로(114b)에 입력된다.

수평 줌&선별 회로(104a)로부터 동시에 출력된 4개의 H 줌 R 화소/H 줌 B 화소는 또한 분배기(112a)에 제공된다. 마찬가지로, 수평 줌&선별 회로(104b)로부터 동시에 출력된 4개의 H 줌 R 화소/H 줌 B 화소는 분배기(112b)에도 제공된다.

분배기(112a 및 112b)의 각각은, 수직 줌 회로(114a 및 114b)가 짝수번째의 수평 라인에 주목할 때, 채널 CH2에 대응하는 1개의 H 줌 R 화소를 수직 줌 회로(114a)에 입력하고, 채널 CH4에 대응하는 1개의 H 줌 R 화소를 수직 줌 회로(114b)에 입력한다. 분배기(112a 및 112b)의 각각은 또한 수직 줌 회로(114a 및 114b)가 홀수번째의 수평 라인에 주목할 때, 채널 CH1에 대응하는 1개의 H 줌 B 화소를 수직 줌 회로(114a)에 입력하고, 채널 CH3에 대응하는 1개의 H 줌 B 화소를 수직 줌 회로(114b)에 입력한다.

수직 줌 회로(114a)는 주목하는 라인이 짝수번째의 수평 라인일 때, 채널 CH2에 대응하는 4개의 H 줌 R 화소에, CPU(36)에 의해 설정된 로우 줌 배율에 따르는 수직 줌 처리(수직 방향의 선형 보간 처리)를 실시한다. 수직 줌 회로(114a)는 또한 주목하는 라인이 홀수번째의 수평 라인일 때, 채널 CH1에 대응하는 4개의 H줌 B 화소에 같은 수직 줌 처리를 실시한다. 수직 줌 회로(114a)로부터는, 수직 줌 처리의 대상이 된 4개의 H 줌 R 화소에 기초하는 1개의 HV 줌 R 화소, 혹은 수직 줌 처리의 대상이 된 4개의 H 줌 B 화소에 기초하는 1개의 HV 줌 B 화소가 출력된다.

수직 줌 회로(114b)도 주목하는 라인이 짝수번째의 수평 라인일 때, 채널 CH4에 대응하는 4개의 H 줌 R 화소에, CPU(36)에 의해 설정된 로우 줌 배율에 따르는 수직 줌 처리를 실시한다. 수직 줌 회로(114b)는 또한 주목하는 라인이 홀수번째의 수평 라인일 때, 채널 CH3에 대응하는 4개의 H 줌 B 화소에 같은 수직 줌 처리를 실시한다. 수직 줌 회로(114b)로부터도, 수직 줌 처리의 대상이 된 4개의 H 줌 R 화소에 기초하는 1개의 HV 줌 R 화소, 혹은 수직 줌 처리의 대상이 된 4개의 H 줌 B 화소에 기초하는 1개의 HV 줌 B 화소가 출력된다.

따라서, 설정된 줌 배율이 0.75배일 때, 수직 줌 회로(114a)에서는 도 13의 (C) 및 도 13의 (D)에 나타내는 H 줌 R 화소 및 V 줌 B 화소에 기초하여 도 14의 (A)에 나타내는 HV 줌 R 화소 및 HV 줌 B 화소가 작성된다. 또한, 수직 줌 회로(114b)에서는, 도 13의 (C) 및 도 13의 (D)에 나타내는 H 줌 R 화소 및 V 줌 B 화소에 기초하여 도 14의 (B)에 나타내는 HV 줌 R 화소 및 HV 줌 B 화소가 작성된다. R의 색 정보를 갖는 줌 화상 데이터는, 이렇게 하여 작성된 HV 줌 R 화소에 의해 형성된다. 마찬가지로, B의 색 정보를 갖는 줌 화상 데이터는 이렇게 하여 작성된 HV 줌 B 화소에 의해 형성된다.

수직 줌 회로(88a 및 88b)로부터 셀렉터(90)에는, 도 15의 (A)에 나타내는 HV 줌 G 화소가 제공된다. 또한, 수직 줌 회로(116a 및 116b)로부터 셀렉터(90)에는, 도 15의 (B)에 나타내는 HV 줌 R 화소 및 HV 줌 B 화소가 제공된다. 셀렉터(90)는 제공된 HV 줌 G 화소, HV 줌 R 화소 및 HV 줌 B 화소를 채널마다 선별한다. 이 결과, 도 15의 (C)에 나타내는 화소 패턴을 갖는 로우 데이터 즉 줌 화상 데이터가 얻어진다.

이상의 설명으로부터 알 수 있는 바와 같이, 분배기(70a 내지 70d)는 R, G 및 B 중 어느 하나를 각각이 갖는 복수의 원화소가 베이어 형태(기정 형태)로 배열된 원화상을 취득한다. 색 분리계(CS1 및 CS2)는 취득된 생화상에 색 보간 처리를 실시하여 2가지의 색을 각각이 갖는 복수의 보간 화소에 의해 형성된 보간 화상을 작성한다. 줌계(VS1 및 VS2)는 색 분리계(CS1 및 CS2)에 의해 작성된 보간 화상에 줌 처리를 실시하여 R, G 및 B 중 어느 하나를 각각이 갖는 복수의 줌 화소가 베이어 형태로 배열된 줌 화상을 작성한다.

보간 화상은 원화상에 대한 색 보간 처리에 의해 작성되므로, 보간 화상은 원화상보다 많은 색 정보를 갖는다. 줌 화상은 이러한 보간 화상에 대한 줌 처리에 의해 작성된다. 이에 의해, 줌 화상의 품질이 개선된다.

또한, 줌 화상은 원화상과 같은 색 배열을 갖고, 보간 화상을 형성하는 각 화소는 일부의 색을 갖는다. 보간 화상은 원화상에 대한 색 보간 처리에 의해 작성되고, 줌 화상은 보간 화상에 대한 줌 처리에 의해 작성된다. 이에 의해, 회로 규모를 억제할 수 있다.

또한, 본 실시예에서는, R, G 또는 B를 각각이 갖는 복수의 화소가 베이어 형태로 배열된 화상을 원화상으로서 상정하고 있다. 그러나, R, G 및 B에 E(에메랄드)를 더한 4색(혹은 이들과 다른 3개 이상의 색)을 각 화소의 색으로서 채용해도 되고, 또한 베이어 형태와 다른 배열을 색 배열로서 채용해도 된다.

또한, 본 실시예에서는, 색 분리계(CS1 및 CS2)의 색 보간 처리에 의해 G 및 R의 2색 또는 G 및 B의 2색을 보간 화상 데이터를 형성하는 각 화소에 할당하도록 하고 있다. 그러나, 색 보간 처리에 의해 각 화소에 할당하는 색의 수는, 2 이상이고 또한 원화상이 채용하는 색의 수를 하회하는 범위에서 적절하게 변경해도 된다. 마찬가지로, 색 보간 처리에 의해 각 화소에 할당하는 색의 종별도 원화상이 채용하는 색의 종별에 따라서 적절하게 변경해도 된다.

또한, 본 실시예에서는, 이미지 센서에 4개의 출력 채널을 설치하고, 수평 방향으로 배열되는 4화소를 동시에 출력하도록 하고 있다. 그러나, 동시에 출력되는 수평 화소의 수는 "2" 이상인 한, "4"와 상이해도 된다.

또한, 본 실시예에서는, 홀수번째의 수평 라인에 대응하는 보간 R 화소 및 보간 B 화소를 수평 줌&수평 선별 회로(104a)에 제공하는 한편, 짝수번째의 수평 라인에 대응하는 보간 R 화소 및 보간 B 화소를 수평 줌&수평 선별 회로(104b)에 제공하도록 하고 있다. 그러나, 이 대신에, 보간 R 화소를 수평 줌&수평 선별 회로(104a)에 제공하는 한편, 보간 B 화소를 수평 줌&수평 선별 회로(104b)에 제공하도록 해도 된다. 단, 이 경우에는 수평 줌&수평 선별 회로(104a 및 104b)의 후단의 구성을 함께 변경할 필요가 있다.

10: 디지털 카메라
16: 이미지 센서
24: 전처리 회로
30: 움직임 검출 회로
32: AF 평가 회로
34: AE/AWB 평가 회로
36: CPU

Claims (9)

1. M개(M: 3 이상의 정수)의 색 중 어느 하나를 각각이 갖는 복수의 원화소가 기정 형태로 배열된 원화상을 취득하는 취득 수단과,
   상기 취득 수단에 의해 취득된 원화상에 색 보간 처리를 실시하여 N개(N: 2 이상이고 또한 M 미만의 정수)의 색을 각각이 갖는 복수의 보간 화소에 의해 형성된 보간 화상을 작성하는 보간 화상 작성 수단, 및
   상기 보간 화상 작성 수단에 의해 작성된 보간 화상에 줌 처리를 실시하여 상기 M개의 색 중 어느 하나를 각각이 갖는 복수의 줌 화소가 상기 기정 형태로 배열된 줌 화상을 작성하는 줌 화상 작성 수단을 구비하는, 화상 처리 장치.
2. 제1항에 있어서, 상기 기정 형태의 배열은 제1 색의 원화소를 간헐적으로 갖는 제1 원화소열과 제2 색의 원화소를 간헐적으로 갖는 제2 화소열이 기정 순서로 할당된 제1 부분 배열을 포함하고,
   상기 보간 화상 작성 수단은 제1 색의 보간 화소를 연속적으로 갖는 제1 보간 화소열과 제2 색의 화소를 연속적으로 갖는 제2 보간 화소열이 상기 기정 순서로 할당된 제1 보간 화상을 상기 제1 색의 원화소와 상기 제2 색의 원화소에 기초하여 작성하는 제1 보간 화상 작성 수단을 포함하는, 화상 처리 장치.
3. 제2항에 있어서, 상기 줌 화상 작성 수단은 상기 제1 보간 화상 작성 수단에 의해 작성된 제1 보간 화상에 기초하여 상기 제1 부분 배열을 갖는 제1 줌 화상을 작성하는 제1 줌 화상 작성 수단을 포함하는, 화상 처리 장치.
4. 제2항 또는 제3항에 있어서, 상기 기정 형태의 배열은 제3 색의 원화소가 열 방향 및 행 방향에 있어서 간헐적으로 갖는 제2 부분 배열을 포함하고,
   상기 보간 화상 작성 수단은 상기 제3 색의 보간 화소가 상기 열 방향 및 상기 행 방향으로 연속적으로 할당된 제2 보간 화상을 상기 제3 색의 원화소에 기초하여 작성하는 제2 보간 화상 작성 수단을 더 포함하는, 화상 처리 장치.
5. 제4항에 있어서, 상기 줌 화상 작성 수단은 상기 제2 보간 화상 작성 수단에 의해 작성된 제2 보간 화상에 기초하여 상기 제2 부분 배열을 갖는 제2 줌 화상을 작성하는 제2 줌 화상 작성 수단을 포함하는, 화상 처리 장치.
6. 제2항 내지 제5항 중 어느 한 항에 있어서, 상기 제1 원화소열 및 상기 제2 원화소열의 각각은 수직 방향으로 연장되는 열에 상당하고,
   상기 취득 수단은 수평 방향으로 연속하는 P개(P: 2 이상의 정수)의 원화소를 동시에 취득하고,
   상기 줌 화상 작성 수단은 상기 수평 방향으로 연속하는 P개의 보간 화소에 병렬적으로 수평 줌 처리를 실시하는 수평 줌 처리 수단을 포함하는, 화상 처리 장치.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 피사계를 포착하는 촬상면을 가지며 상기 원화상을 반복하여 출력하는 촬상 수단을 더 구비하는, 화상 처리 장치.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 M개의 색은 3원색에 상당하고,
   상기 기정 형태의 배열은 베이어(Bayer) 배열에 상당하는, 화상 처리 장치.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 줌 화상 작성 수단에 의해 작성된 줌 화상을 각 화소가 상기 M개의 색의 모두를 갖는 화상으로 변환하는 변환 수단을 더 구비하는, 화상 처리 장치.

Images