KR20080101774A

KR20080101774A - 화상 입력 처리 장치, 촬상 신호 처리 회로, 및 촬상신호의 노이즈 저감 방법

Info

Publication number: KR20080101774A
Application number: KR1020080045551A
Authority: KR
Inventors: 하지메 누마따
Original assignee: 소니 가부시끼 가이샤
Priority date: 2007-05-17
Filing date: 2008-05-16
Publication date: 2008-11-21
Also published as: JP2008288851A; US20080284880A1; JP4341695B2; CN101309360A; CN101309360B; US8054346B2; TW200849978A

Abstract

화상 입력 처리 장치가 개시된다. 처리 장치는: 피사체를 촬상하고, 가시광 성분을 포함하는 제1 촬상 신호와, 근적외광 성분을 포함하는 제2 촬상 신호를 발생하는 촬상 신호 발생부; 상기 가시광 성분과 상기 근적외광 성분 간의 상대적인 크기에 따라 최대 게인값을 변경 가능하게 설정하고, 그 설정된 최대 게인값에서 상기 제1 촬상 신호에 대한 게인을 조정하는 게인 조정부; 및 상기 게인 조정 후의 제1 촬상 신호의 노이즈를 저감하는 노이즈 저감부를 포함한다.

광학 부품, 촬상 디바이스, AFE 회로, A/D 컨버터, 신호 처리부, D/A 컨버터, 비디오 신호, 타이밍 제네레이터, 불휘발성 메모리

Description

화상 입력 처리 장치, 촬상 신호 처리 회로, 및 촬상 신호의 노이즈 저감 방법{VIDEO INPUT PROCESSOR, IMAGING SIGNAL-PROCESSING CIRCUIT, AND METHOD OF REDUCING NOISES IN IMAGING SIGNAL}

본 발명은, 2007년 5월 17일자로 일본 특허청에 제출된 일본 특허 출원

JP2007-131557의 기술 내용을 포함하며, 이하 그 전체 내용이 참조된다.

본 발명은 피사체를 촬상하고, 생성된 촬상 신호의 노이즈 성분을 신호 처리에 의해 억압하는 화상 입력 처리 장치에 관한 것이다. 또한, 본 발명은 촬상 신호 처리 회로 및 촬상 신호의 노이즈 저감 방법에 관한 것이다.

동화상이나 정지 화상을 촬영하는 카메라 장치로, 예를 들면 ISO 감도를 높여서 피사체를 촬상하면, 자동 노광 기능이 작동한다. 이는, 센서(촬상 디바이스)의 노광 시간을 단축시키고, 센서로부터 출력되는 신호의 게인을 증가시킨다. 따라서, 센서 자신이나 주변 IC가 생성하는 노이즈의 영향이 보다 두드러지게 된다. 그 결과, 최종 화상은 신호 대 노이즈비(S/N비)가 낮은 노이지한 화상(noisy image)이 된다.

노이즈는 센서 자신과 관련된 요인 및 주변 IC의 동작 주파수 등과 같은 다 양한 주변으로부터 받는 영향에 의해 발생한다. 또한, 신호원(센서) 자체의 특성 변화나 신호원의 시간 변화의 변동으로 인해 저주파로부터 고주파까지 다양한 노이즈 패턴이 화상에 영향을 미친다.

노이즈를 저감 또는 억압하기 위해서 카메라 장치가 내부에서 행하는 신호 처리로 알려진 기술에는, 노이즈 저감(Noise Reduction)을 위해 탭 수가 큰 필터를 사용하는 회로를 이용한 것이 있다. 해당 회로의 처리에 의해 표시 화상의 S/N비가 향상된다.

그러나, 탭 수가 큰 통상의 로우-패스 필터(예를 들면 가우스 필터)로 처리를 행하면, 이에 수반하여 에지 정보(edge information)가 확산하게 된다. 에지의 급준성(steepness)이 저하하고, 해상감이 낮아진 화상이 출력되게 된다. 이것을 해결하기 위해, 카메라 신호 처리에서, 입력 화상에 대하여 해상도를 유지하면서 필터 처리를 실시하고, S/N비를 향상시키는 노이즈 저감(NR) 방법이 필요하다.

노이즈 저감(NR)에 대한 접근법 중 하나로, 적(R),녹(G), 청(B) 등의 소정의 컬러 필터를 구비하는 촬상 디바이스를 사용하는 것이 있다. 피사체로부터의 광은 불가시 발광 성분(invisible radiation components), 특히 근적외선 영역을 컷하는(cutting) IR(Infrared Radiation) 컷 필터를 통과한다. IR 컷 필터를 투과한 광은 컬러 필터를 구비하는 촬상 디바이스에 의해 수신된다. 해당 촬상 디바이스로부터는 색 재현성이 높은 화상이 출력된다. 또한, 보다 정보량이 많은 화상으로서 IR 컷 필터를 통과시키지 않고 동일 피사체를 촬상한 화상을 취득한다. 해당 IR 컷 필터를 통과시키지 않음으로써 많은 정보량이 유지된 화상으로부터 에지 정 보를 검출한다(예를 들면, JP-A-2006-180269 (특허 문헌 1) 참조).

상기 특허 문헌 1에서, 에지 정보를 취득하기 위한 화상은 불가시광 화상(실시 형태에서는 적외광 화상이라 칭함)이라고 칭해진다. 이 화상은, 화상이 IR 컷 필터를 통과하기 전에 취득한, 저역으로부터 고역까지의 폭넓은 주파수 성분을 포함하는 화상 정보를 유지한다.

상기 특허 문헌 1에서는, 불가시광 화상(적외광 화상)을 하이-패스 필터에 통과시킴으로써 고주파 성분을 추출한다. 한편, 가시광 화상, 즉 IR 컷 필터를 통과시켜서 촬상한 색 재현성이 높은 화상을 게인 조정한다. 그 다음, 화상을 로우-패스 필터로 통과시켜서 노이즈를 제거한다. 그러나, 화상을 로우-패스 필터로 통과시키면 해상도 정보가 확산하여, 에지의 급준성이 저하한다. 따라서, 상기 특허 문헌 1의 기술에서는, 이 로우-패스 필터링 후의 가시광 화상과, 에지 정보를 보유하는 상기 하이-패스 필터 후의 적외광 화상을 합성하고 있다. 이에 의해, 노이즈 저감과 에지 정보 확산(에지의 급준성 저하)의 방지를 동시에 달성한다.

IR 컷 필터에 관해서, 단일의 촬상 디바이스의 컬러 필터층에, 적외광 성분을 선택적으로 투과 및 차단하는 기능을 갖게 할 수 있다.

예를 들면, JP-A-2005-006066(특허 문헌 2)에는, 적(R), 녹(G), 청(B)의 3원색의 투과 필터와, 적외 영역에 감도를 가지며, 적외광을 투과하는 적외 통과 필터로 화소 유닛 각각이 구성되어 있는 컬러 필터가 개시되어 있다. 특허 문헌 2에는, 적외 필터는 백(W)의 필터일 수도 있다는 것이 기재되어 있다.

한편, 화이트 밸런스 조정 동안 수행된 게인 조정, 색 보정, 및 노이즈 저감 에 대해서는, 적외광 성분을 갖는 촬상 신호에 대한 처리가 알려져 있다(JP-A-2001-078204 및 JP-A-2005-303704(특허 문헌 3 및 4) 참조).

특허 문헌 2에 나타내는 촬상 디바이스와 같이, 적(R), 녹(G), 청(B) 및 백(W)의 컬러 필터를 갖는 화소를 2×2의 배열로 배치한다. 이 화소 유닛을 2차원으로 반복 배치한다. 백(W)의 화소에만 적외광(IR)을 투과하는 적외 통과 필터를 설치하는 것이 가능하다. 이에 의해, R/G/B의 가시광 화상과, (W+IR)의 적외광 화상(이하 A(All의 약기) 화상으로 칭함)을 1개의 촬상 디바이스로부터 출력 가능하다.

특허 문헌 1에 기재된 기술은 상수한 바와 같이 얻어진 R/G/B 화상을 가시광 화상(Visible)으로서 이용하고, A 화상을 적외광 화상(infr)으로서 이용하여, 가시광 화상(Visible)에 대한 NR 처리를 행하는 것이 가능하다.

도 13에, 특허 문헌 1에 기재된 화상 처리부의 구성을 도시한다. 도해한 화상 처리부(100)는, 게인 조정부(101), NR 처리부로서의 로우-패스 필터(LPF; 102), 하이-패스 필터(HPF; 103), 및 화상 합성부(104)를 갖는다.

게인 조정부(101)는, 입력되는 가시광 화상의 게인을 조정한다. 이에 의해, 노출 부족으로 인해 어둡게 촬상된 가시광 화상의 화소마다의 계조값(화소값)을 증대하여, 최종 화소값은 적정 노출로 촬상한 화상의 화소값에 접근한다. 게인의 조정 방법으로서는, 가시광 화상의 화소값을 상수배 하는 방법이 있다. 또 다른 방 법으로는, 지수 함수에 기초하는 감마 보정이 있다. 또 다른 방법으로는, 다항식 함수 등에 기초하는 임의의 게인 조정 방법이 있다.

로우-패스 필터(102)는, 에지 검출부를 포함한다. 해당 에지 검출부에서, 보다 정보량이 많은 적외광 화상)으로부터 에지를 검출한다. 노이즈 저감부로서의 로우-패스 필터(102)는, 검출한 에지에서 정보를 보존하면서 로우-패스 필터 처리를 행한다. 따라서, 가시광 화상으로부터 노이즈를 제거한다. 로우-패스 필터는 기초 화상을 화상 합성부(104)에 출력한다.

한편, 하이-패스 필터(103)는, 입력되는 적외광 화상으로부터 에지 근방의 상세 부분을 추출하여, 얻어진 상세 화상(에지 텍스처 정보)을 화상 합성부(104)에 출력한다.

화상 합성부(104)는, 로우-패스 필터(102)로부터의 기초 화상과, 하이-패스 필터(103)로부터의 상세 화상(에지 텍스처 정보)을 합성하여, 출력 화상을 생성한다.

피사체가 어두운 경우, 가시광 화상의 정보량은 적다. 이것을 그대로 로우-패스 필터(102)를 통과시켜서 NR 처리하면, 출력 화상도 어둡게 된다. 따라서, 게인 조정부(101)에 의해 신호 레벨을 증폭하고 나서 로우-패스 필터(102)에 의한 NR 처리를 행한다. 이 때 신호 증폭에 의해 노이즈 레벨도 증폭된다. 그러나, 후속해서 NR 처리를 행하기 때문에, 색 신호 레벨이 증폭된 양만큼, 출력 화상의 S/N비는 향상한다.

한편, 정보량이 많은 적외광 화상으로부터 에지를 검출하고, 그 에지는 국부 적으로 NR 처리를 약하게 실행하는 등의 처리에 의해, 출력 화상의 에지 계조차(gray level differences)를 보존할 수 있다. 그러나, 에지에서 S/N비를 높일 수 없다. 오히려 S/N비가 저하할 수도 있다. 이 때문에, 하이-패스 필터(103)로 에지 부분의 상세 화상을 추출하고, 화상 합성부(104)로 기초 화상과 합성한다. 그 결과, 화면 전체의 S/N비를 높게 할 수 있다.

상술한 특징들로부터, 특허 문헌 1에 기재된 화상 처리부(100)를 이용하면, 적외광의 파장 영역까지 광을 받아들임으로써, 피사체가 어두운 경우에도, 에지의 정보를 보존하면서 화면 전체의 S/N비가 높은 밝은 출력 화상이 취득 가능한 카메라 장치를 달성할 수 있다.

전술한 바와 같이, R/G/B의 가시광 화상과, A 화상으로 이루어지는 적외광 화상을 이용하여, 도 13에 도시하는 화상 처리부(100)로 처리를 행한 경우, A 화상(적외광 화상)에는 가시광 이외의 성분(특히, 많이 비율의 근적외광)이 포함되지만, 근적외광 성분이 A 화상에서 차지하는 비율은, 광원의 차이에 따라 크게 변동한다. 예를 들면, 동일한 태양광에서도 새벽녘, 대낮, 저녁에는, 특히 근적외광이 포함되는 비율이 변동한다. 또한, 옥내 조명에서도 광원의 색 온도가 다르면, 근적외광이 포함된 비율이 다르다. 예를 들면, 전구는 형광등보다 근적외광을 매우 많이 포함한다.

도 14는, 색 온도 3000 K의 전구 혹은 광원과, 형광등 혹은 다른 광원의 광원 분광 특성(spectral characteristics)을 상대적으로 비교하는 그래프이다.

전구를 광원으로 하는 경우, 도시와 같이 적외광 성분을 많이 포함한다. 따 라서, 화면이 어두워 R/G/B의 가시광 화상의 정보량이 적은 경우라도, A 화상의 정보량은 비교적 많다. 또한, A 화상의 S/N비도 비교적 높다. 따라서, 화면이 밝은 경우에는 물론, 화면이 어두운 경우라도 에지 검출의 참조 화상으로서 A 화상을 이용하면, 에지 정보를 보존한 채 R/G/B의 가시광 화상에 대하여, 유효하게 NR을 행할 수 있다.

한편, 형광등을 광원으로 하는 경우, 형광등으로부터의 광은, 도시와 같이 적외광 성분을 거의 포함하지 않는다. 이 경우에서도, 화면이 밝을 때에는, 에지 검출의 참조 화상으로서의 A 화상이 필요한 정보량을 가지고 있다.

그런데, 표시 화면 상의 화상이 점점 어두워지면, A 화상은 에지 검출에 필요한 정보량을 제공하지 못한다. 따라서, R/G/B 화상에 대하여 에지 정보를 보존하면서 NR을 수행할 수 없게 된다. 또한, 화면이 어두우면 R/G/B 화상에 대하여 큰 게인이 걸리기 때문에, 게인이 증가한 후의 R/G/B 화상이 갖는 노이즈 레벨이 극단적으로 커진다. 이 레벨이 큰 노이즈는, NR부(도 13에서는 로우-패스 필터(102))에서는 어느 정도 감쇠되지만 완전하게는 전부 제거되지 않는다. NR 처리 후의 S/N비가 비교적 낮아진다. 그 결과, NR을 행한 후에도 노이지한 화상이 출력되게 된다.

이러한 문제점을 회피하기 위해서는, NR부 앞에서는 무리해서 게인을 증가시키지 않고, NR 처리 후에 표시 화면을 밝게 하기 위해서 게인을 증가시키는 것이 기대된다.

이렇게 NR 처리 전에 무리해서 게인을 증가시키지 않는 쪽이 바람직한 경우 에는, 옥내 광원이 형광등인지 전구인지 여부에 따라 화상이 노이지(noisy)해 질 가능성이 있다. 또한, 시각이나 날씨가 서로 다른 옥외 촬영 조건의 차이에 따라 화상이 노이지해 질 수도 있다. 또한, 옥외와 옥내의 촬영 등, 광원의 분광 특성에 차이가 생기는 다른 요인에 의해 화상이 노이지해 질 수도 있다. 게다가, 피사체의 적외 흡수 특성이 서로 다른 등의 광원 이외의 요인에 의해서도 화상이 노이지해 질 가능성이 있다.

이렇게, 특허 문헌 1에 나타내는 바와 같은 노이즈 저감을 위한 화상 처리부 및 그 화상 처리부를 이용한 카메라 장치는, 적외광 성분이 포함되는 정도에 따라 노이즈 저감의 능력차가 생긴다. 그 결과, 때로는 노이지한 화면이 출력된다. 이는 개선해야할 점으로서 남겨져 있다.

본 발명의 일 실시 형태에 따른 화상 입력 처리 장치는, 촬상 신호 발생부, 게인 조정부, 및 노이즈 저감부를 포함한다.

상기 촬상 신호 발생부는 피사체를 촬상하고, 가시광 성분을 포함하는 제1 촬상 신호와, 근적외광 성분을 포함하는 제2 촬상 신호를 생성한다. 일부 경우에는, 촬상 신호 발생부가 촬상 디바이스이다. 촬상 신호 발생부에 촬상 디바이스와 신호 처리부를 포함하는 경우도 있다. 제1 및 제2 촬상 신호는, 촬상 신호 발생부로부터 게인 조정부에 보내진다.

상기 게인 조정부는 제1 및 제2 촬상 신호를 수신한다. 게인 조정부는, 상기 가시광 성분과 상기 근적외광 성분의 상대적인 크기에 따라서 최대 게인값을 변 경 가능하게 설정한다. 게인 조정부는 설정된 최대 게인값에서 상기 제1 촬상 신호에 대하여 게인 조정을 행한다. 게인 조정 후의 제1 촬상 신호는, 게인 조정부로부터 노이즈 저감부에 보내진다.

상기 노이즈 저감부는, 상기 제1 촬상 신호를 수신하고, 상기 제1 촬상 신호의 노이즈를, 상기 에지 정보에 기초하여 인식되는 화상 개소에서 에지 정보를 보존하면서 색마다 저감한다.

본 발명의 일 실시 형태에 따른 촬상 신호 처리 회로는, 가시광 성분을 포함하는 제1 촬상 신호와, 근적외광 성분을 포함하는 제2 촬상 신호를 수신하는 촬상 신호 처리 회로이다. 촬상 신호 처리 회로는 상기 제1 촬상 신호의 노이즈를 저감한다. 촬상 신호 처리 회로는, 게인 조정부 및 노이즈 저감부를 포함한다. 게인 조정부는 상기 화상 입력 처리 장치와 동일한 기능이다.

본 발명의 일 실시 형태에 따른 촬상 신호의 노이즈 저감 방법은, 가시광 성분을 포함하는 제1 촬상 신호와, 근적외광 성분을 포함하는 제2 촬상 신호를 취득하는 것으로 시작한다. 상기 가시광 성분과 상기 근적외광 성분의 상대적인 크기에 따라서 최대 게인값을 변경 가능하게 설정한다. 상기 설정된 최대 게인값에서 상기 제1 촬상 신호에 대하여 게인 조정을 행한다. 상기 게인 조정 후의 제1 촬상 신호의 노이즈를 저감한다.

본 발명의 실시 형태에서는, 바람직하게, 상기 제2 촬상 신호는, 상기 제1 촬상 신호의 가시광 성분과 등가의 가시광 성분과, 상기 피사체로부터의 근적외광량에 대응하는 근적외광 성분을 포함한다. 상기 게인 조정부는, 상기 촬상 신호 발생부로부터의 상기 제 1 및 제2 촬상 신호에 기초하여, 상기 제1 촬상 신호의 가시광 성분으로부터 얻어지는 제1 비교값과, 제2 비교값과의 상대적인 크기에 관한 파라미터를 산출한다. 제2 비교값은 해당 제1 비교값과 등가의 상기 제2 촬상 신호의 가시광 성분에, 해당 제2 촬상 신호의 가시광 성분에 대응하는 근적외광 성분을 더하여 얻어진다. 게인 조정부는 해당 파라미터의 크기에 기초하여 상기 최대 게인값을 변경 가능하게 설정한다.

또한, 본 발명의 실시 형태에서, 촬상 신호 처리 회로는, 바람직하게, 상기 제2 촬상 신호로부터 에지 정보를 취득하는 에지 정보 취득부를 더 포함한다. 상기 노이즈 저감부는, 상기 제1 촬상 신호의 노이즈를, 상기 에지 정보에 기초하여 인식되는 화상 개소에서 에지 정보를 보존하면서 색마다 저감한다.

상술한 본 발명의 실시 형태의 구성에서는, 제1 및 제2 촬상 신호에 기초하여, 제1 촬상 신호에 대하여 행해지는 게인 조정시의 최대 게인값의 설정이 행해진다. 보다 상세하게는, 제1 비교값과 제2 비교값의 상대적인 크기에 관한 파라미터가 산출된다. 제1 비교값은, 제1 촬상 신호의 가시광 성분으로부터 얻어지고, 해당 가시광 성분의 크기에 관계된다. 제2 비교값은, 제1 비교값과 등가의 제2 촬상 신호의 가시광 성분에, 해당 제2 촬상 신호의 가시광 성분에 대응하는 근적외광 성분을 더하여 얻어진 값에 관계된다.

이 파라미터 K의 값을 크게 하는 것은, 제1 또는 제2 비교값의 한쪽을 다른 쪽보다 상대적으로 크게 하는 것을 의미한다. 반대로, 파라미터의 값을 작게 하는 것은, 제1 또는 제2 비교값의 한쪽을 다른 쪽보다 상대적으로 작게 하는 것을 의미 한다.

본 발명의 실시 형태에서, 노이즈 저감 전에 행해지는 게인 조정으로, 제2 촬상 신호에 포함되는 근적외광 성분이 많은지 적은지는, 예를 들면, 파라미터의 크기에 따라서 결정된다. 그 파라미터의 크기에 따라서, 게인 조정시의 최대 게인값이 설정 또는 제한된다. 본 발명의 실시 형태에서는, 최대 게인값을 상기 파라미터에 따라서 서로 다른 값으로 변화시킬 수 있다.

통상적으로, 노이즈 저감에서는, 입력 다이내믹 레인지에 의해 노이즈 저감의 한계가 존재한다. 그 한계를 초과하면 출력 화상의 노이즈가 급격히 증대한다. 그 한계는, 입력 신호 레벨 외에, 노이즈 레벨의 크기에 의해 변화된다. 촬상으로부터 노이즈 저감까지의 신호 처리 경로에서 신호에 대한 게인이 클수록, 해당 신호에 포함되는 노이즈 레벨은 높아진다. 그러나, 촬상 디바이스에서 생기는 노이즈는 디바이스 내부의 신호 처리로 어느 정도 억압되는 경우가 많다. 따라서, 촬상 디바이스로부터 노이즈 저감 처리까지의 동안에 존재하는 앰프에서 발생하는 노이즈가, 상기 노이즈 저감의 한계를 결정하는 노이즈 레벨을 주로 지배한다.

즉, 노이즈 레벨이 급격히 증대하는 노이즈 레벨의 저감의 한계는, 실제로 노이즈 저감되기 전의 신호 레벨과, 그 신호 레벨로 조정되었을 때의 게인에 관계된다.

본 발명의 일 실시 형태에 따른 상기 화상 입력 처리 장치에서는, 촬상 신호 발생부가, 가시광 성분을 포함하는 제1 촬상 신호와, 근적외광 성분을 포함하는 제2 촬상 신호를 발생할 수 있도록 구성되어 있다. 제1 촬상 신호의 가시광 성분과, 제2 촬상 신호의 근적외광 성분과의 상대적인 크기를 알면, 상기 노이즈 레벨이 급격히 증대하는 노이즈 저감의 한계의 상대적인 크기 관계 정도는 예측될 수 있다. 게인 조정부는, 이 광 성분의 상대적인 크기를, 예를 들면 파라미터로서 산출할 수 있다. 그 결과, 최대 게인값을, 노이즈 저감 능력의 한계를 초과하지 않도록 변경 가능하게 설정할 수 있다.

지금까지 설명한 구성으로부터, 피사체를 촬상할 때의 광원이 서로 다르거나, 혹은, 광원의 색 온도가 변화되는 등의 환경 변화가 발생해도, 게인 저감 처리에서 노이즈 저감 능력이 나빠지지 않는다. 그 결과, 해당 노이즈 저감 처리로부터 항상 고품질의 화상이 출력된다.

본 발명의 실시 형태에 따르면, 적외광 성분이 포함되는 정도에 따라서 노이즈 저감의 능력차가 생기고, 때로는 노이즈 저감 능력을 초과하여, 노이지한 화상이 출력된다는 문제점을 유효하게 방지할 수 있다.

이하, 본 발명의 실시 형태를, 도면을 참조하여 설명한다.

제1 실시 형태

도 1은, 본 발명의 실시 형태에 따른 촬상 신호 처리 회로를 내장한 카메라 장치의 블록도이다. 해당 카메라 장치가, 본 발명의 "화상 입력 처리 장치"의 일 양태에 해당한다. 카메라 장치는 동화상 촬영을 주로 하는 비디오 카메라 또는 정지 화상 촬영을 주로 하는 디지털 스틸 카메라의 어느 것이라도 된다.

도해하는 카메라 장치는, 렌즈나 광학 필터를 포함하는 광학 부품(1), 촬상 디바이스(2), 아날로그의 촬상 신호를 처리하는 아날로그·프론트·엔드(AFE) 회로(3), 아날로그의 촬상 신호를 디지털 신호로 변환하여, 그 디지털 신호를 디지털의 영상 신호로서 각종 신호 처리부에 출력하는 AD 컨버터(ADC)(5), 및 각종 신호 처리가 된 영상 신호를 아날로그 신호로 변환하여, 그 아날로그 신호를 비디오 신호(14)로서 출력하는 DA 컨버터(DAC)(12)를 포함한다.

또한, 광학 부품(1)에 포함되는 광학 필터는, 예를 들면, 앨리어싱 왜곡(aliasing distortion)을 방지하기 위해서, 나이키스트(Nyquist) 주파수 이상의 고주파 성분을 차단하기 위한 것이다. 광학 필터는 적외 컷 필터의 기능을 구비하여도 되고, 구비하지 않아도 된다. 광학 필터가 적외 컷 필터의 기능을 구비하지 않는 경우, 적외 컷 필터의 기능은, 촬상 디바이스(2)의 온 칩·다층 필터가 갖는다.

도 2에, 본 실시 형태에서 이용하는, 온 칩·다층 필터를 구비하는 촬상 디바이스의 출력 분광 특성을 나타낸다. 도 2의 그래프에서, 횡축이 입사광의 파장을 나타내고, 종축이 각 색의 촬상 신호의 출력 레벨의 계조를 나타낸다. 출력 레벨은, 예를 들면, 8비트로 표현된다. 즉, 계조가 0 ~ 1024 값인 것으로 가정할 수 있다.

도 2로부터 알 수 있듯이, 이 촬상 디바이스는, 근적외광 영역의 하한(700 ~ 800[nm], 도시된 예에서는 750[nm])보다 높은 주파수에서, 적(R), 녹(G), 청(B), 및 백(W) 발광에서의 감도를 갖는다.

도해하는 카메라 장치는, ADC(analog-to-digital converter; 5)로부터의 디지털 신호를 처리하는 신호 처리부(4)를 갖는다. 신호 처리부(4)는, 게인 조정부(4A)와 NR부(4B)를 포함하는, 본 발명의 "촬상 신호 처리 회로"의 일 양태이다.

신호 처리부(4)는, 예를 들면, 반도체 칩으로서 IC화되거나, 혹은, 복수의 부품이 실장된 모듈이나 실장 기판으로서 제공된다. 신호 처리부(4)는 해당 카메라 장치에 내장될 수 있다. 신호 처리부(4)는, ADC(5)와 DAC(digital-to-analog converter; 12) 사이에 접속되고, 각종 신호 처리로서, 신호 증폭(즉, 전처리), 노이즈 저감(noise reduction; NR), 휘도 신호와 색 신호의 분리, 휘도 신호 처리, 색 신호 처리를 행한다.

신호 처리부(4)와 DAC(12) 사이에는, 상술한 분리에 의해 얻어진 휘도 신호와 색 신호의 혼합을 위한 혼합 회로(YC_MIX)(9)가 접속되어 있다. 신호 처리부(4)는 또한 혼합 회로(9)를 포함할 수도 있다. 신호 처리부(4)는 IC 또는 모듈이 될 수도 있다.

도 3a에는, 도 1에 도시하는 게인 조정부(4A)와 노이즈 저감부(noise reduction portion; 4B)를 포함하는 신호 처리부(4)의 일부(노이즈 저감부)의 구성예를 도시한다. 게인 조정부(4A)와 노이즈 저감부(4B)는 본 실시 형태의 특징부이다. 도해하는 NR 처리부(54A)는, 제1 촬상 신호와 제2 촬상 신호를 각각 수신한다. 제1 촬상 신호는 가시광 성분을 포함한다. 제2 촬상 신호는 근적외광 성분을 포함한다.

여기에서는 원색의 촬상 신호를 예로 하고 있다. 제1 촬상 신호는 적(R), 녹(G), 청(B)의 화소 각각에 대한 촬상 신호(이하, R, G, B 신호로 표기함)이다. 또한, 제2 촬상 신호는, 상기 제1 촬상 신호의 가시광 성분(R 신호+G 신호+B 신호)과 등가의 가시광 성분으로서의 백(W)의 촬상 신호(이하, W 신호라고 함)와, 근적외광 성분의 촬상 신호(이하, IR 신호라고 함)를 포함한다. 여기에서는, W 신호와 IR 신호를 합한 신호(A 신호 또는 A 화소 신호)로, 제2 촬상 신호를 표기하고 있다.

또한, IR 신호는, 피사체로부터의 광의 근적외선 성분의 대부분을 포함하고 있다. 즉, 도 1에 도시하는 광학 부품(1) 및 촬상 디바이스(2)에는, 적어도, TR 신호를 수광하는 경로에 IR 컷 필터를 가지고 있지 않다. 따라서, 다소의 손실을 제외하면, 피사체로부터의 근적외광 성분의 대부분 전부를 IR 신호가 포함하고 있다.

도 3a에 도시하는 바와 같이, NR 처리부(54A)는, 게인 조정부(4A), 노이즈 저감(NR)부(4B), 및 에지 정보 취득부(4C)를 갖는다. 게인 조정부(4A)는, 적어도 가변 게인 앰프 GA를 포함하며, 이는 공급된 게인값에 따라서 R, G, B 신호를 증폭 또는 감쇠한다. 이는 여기에서 게인 조정이라 칭한다. 게인 조정부(4A)는, 게인 앰프 GA의 최대 게인값 Gmax를 변경 가능하게 설정하는 기능을 갖는다. 이 기능의 상세 내용은 후술한다.

에지 정보 취득부(4C)는, A 화소 신호로부터 에지 정보(예를 들면 근접 화소들 간의 화소값 차분) ED를 취득하고, 이 에지 정보를 NR부(4B)에 출력한다.

NR부(4B)는, 게인 조정 후의 R, G, B 신호에 대하여 노이즈 저감 처리를 실 시한다. 이때, NR부(4B)는, 취득된 에지 정보 ED에 기초하여 인식되는 화상 개소(에지부)에서 에지 계조차를 보존하면서, 에지 이외에서 NR 처리를 실행한다. 에지 계조차를 보존하기 위해, NR부(4B)는 에지에서 노이즈 저감 처리를 거의 행하지 않거나, 혹은, NR 처리를 보다 약하게 실행한다.

보다 바람직하게, 에지 정보 취득부(4C)는, 에지부의 국부 상세 정보(에지·텍스쳐 정보 ET)를 A 화소 신호로부터 추출하는 기능을 구비한다. 추출한 에지·텍스쳐 정보 ET를 R, G, B 신호에 반영시키기 위해, NR 처리부(54A)에는, 에지·텍스쳐 정보 ET를, NR 처리 후의 R, G, B 신호와 합성하는 합성부(4D)가 설치되어 있다.

그 결과, 합성부(4D)로부터의 출력 신호가 나타내는 화상은, 에지 계조가 보존되어 노이즈가 저감되는 고품질 화상이다. 또한, 고품질 화상에서 에지 부분의 화질 저하가 방지된다.

본 실시 형태에서는, 도 3a에 도시하는 NR 처리부(54A) 직전 단계(신호가 처리되는 방향에서 전단(upstream)에 위치)에서의 모든 구성이, 본 발명의 "촬상 신호 발생부"의 일 양태에 해당한다. 즉, 도 1에서는, 신호 처리부(4) 내의, 게인 조정부(4A)보다 전단의 구성, 즉, ADC(5), AFE(analog front-end) 회로(3), 촬상 디바이스(2) 및 광학 부품(1)이, 본 발명의 "촬상 신호 발생부"에 해당한다.

광학 부품(1)은, 렌즈, 조리개 등을 렌즈 케이스에 수납하고 있다. 광학 부품(1)은 초점 제어, 및 노광량 제어를 위한 애퍼처 컨트롤이 가능하다. 광학 부품(1)은 노광 제어를 위한 조리개 구동부, 자동 포커스를 위한 구동부, 및 구동부 에 대한 제어 회로를 포함한다.

촬상 디바이스(2)는 CCD 센서 또는 CMOS 이미지 센서이다. 촬상 디바이스(2)는 카메라 장치 본체 내에 고정되어, 피사체로부터 생성되고 촬상 디바이스에 충돌한(impinging) 광학적 화상이 광학 부품(1)을 통해 촬상 디바이스의 촬상면에 결상된다. 촬상 디바이스(2)는, 광 센서를 매트릭스 형상으로 다수 배치시킨 화소 어레이와, 해당 화소 어레이의 촬상면의 입사측에 다층 필터를 가지고 있다. 다층 필터는 인접한 수 개의 광 센서의 집합(화소 유닛)으로 소정 배열이 되도록 형성된다.

촬상 디바이스(2)가 CCD 센서인 경우, 촬상 디바이스(2)에 타이밍 제너레이터(TG)(13)가 접속되어 있다. 촬상 디바이스(2)는, TG(13)로부터의 클럭 신호, 수직 동기 신호, 수평 동기 신호가 수신할 수 있다. 촬상 디바이스(2)가 CCD인 경우, 수직 동기 신호나 수평 동기 신호와 동기한 전송 펄스도, TG(13)로부터 공급된다.

TG(13)는, 이들 타이밍 제어를 위한 신호를, 마이크로 컴퓨터(10)의 제어 하에, 시스템 클럭 신호(도시되지 않음)로부터 발생하는 회로이다. 촬상 디바이스(2)로, 이들 타이밍 제어를 위한 신호에 의해, 전송 동작이나 셔터 스피드 변경 등의 각종 동작이 제어된다. 또한, 촬상 디바이스(2)가 CMOS 센서인 경우, TG(13)의 기능은 촬상 디바이스(2) 내에 갖게 할 수 있다.

촬상 디바이스(2)는 본 발명의 "촬상 신호 발생부"에 포함된다. "촬상 신호 발생부"는 도 3a에 도시하는 구성의 전 단계들에 있는 구성 모두를 포함하기 때문 에, 촬상 디바이스(2)는 1개이거나 2개일 수 있다.

촬상 디바이스(2)가 1개인 경우에는, 제1 촬상 신호(예를 들면 R, G, B 신호)의 각색 신호를 각각 출력하는 화소와, 제2 촬상 신호(예를 들면 A 화소 신호)를 출력하는 화소가 반복 유닛을 이루는 1개의 화소 유닛에 소정의 배열로 포함된다. 이 배열은, 색 선택과 IR 컷의 기능이 복합화된 다층 필터의 구성에 의해 결정된다.

촬상 디바이스(2)가 2개인 경우에, 그들 중 하나는 상기 제1 촬상 신호를 출력한다. 나머지 하나의 촬상 디바이스는 상기 제2 촬상 신호를 출력한다 이 경우에, 동일한 피사체로부터의 광학적 화상은 다이크로익 프리즘(dichroic prism) 등의 광학 부품에 의해 2방향으로 분기된다(split). 광학적 화상의 두 부분은 2개의 방향을 따라 배치된 2개의 촬상 디바이스에 의해 수신된다.

제1 촬상 신호를 발생시키기 위한 촬상 디바이스에는 색 선택 필터를 설치한다. 그 촬상면과 상기 광학 부품 사이의 광로에 IR 컷 필터를 설치한다. 대안적으로, IR 컷 필터와 색 선택 필터의 기능 모두를 갖는 다층 필터를 촬상 디바이스에 설치할 수도 있다.

한편, 제2 촬상 신호를 발생시키기 위한 촬상 디바이스에는 색 선택 필터, IR 컷 필터가 설치되지 않는다. 따라서, A(=W+IR) 신호의 발생이 가능하다.

도 4a 및 4b에는, 촬상 디바이스(2)의 다층 필터의 색 배열을 갖는 1개의 화소 유닛에 대한 두 예를 나타낸다. 색 배열은, 촬상 디바이스가 1개인 경우에 적합한 것이다. 촬상 디바이스가 2개인 경우, 촬상 디바이스 중 하나로서, 잘 알려 져 있는 "원색 베이어 필터" 혹은 나이트(Knight) 색 배열을 갖는 필터를 이용하면 된다.

색 배열의 유형은 이 두 예에 한정되지 않는다. 이제, 대표적인 예로서, 원색 필터가 설명된다. 색 필터가 원색 필터인 경우, 도시된 배열 이외의 배열이 채택될 수 있다. 대안적으로, 이미 다양하게 제안되어 있듯이, 임의로 선택된 복수의 보색을 규칙적으로 배열한 보색 필터이어도 된다.

다층 필터의 색 선택 층은, 예를 들면 도 4a 또는 4b에 나타내는 색 배열로 되어 있다.

도 4a에 나타내는 색 배열은 "W 체크 무늬"라고 칭해진다. 도 4b에 나타내는 색 배열은 "W 체크 무늬 지그재그"라고 칭해진다. "W 체크 무늬"나 "W 체크 무늬 지그재그" 각각은, G 화소, R 화소, B 화소의 모든 검출 파장 영역을 커버하는 파장 영역에 감도를 갖는 백(W) 화소를 포함한다. 해당 W 화소는 체크 무늬로 배치되어 있다.

한편, 다층 필터의 IR 컷트층은, G 화소, R 화소, B 화소에서 IR(infrared radiation)을 컷트하고, W 화소에서 IR을 투과하도록 구성되어 있다.

일반적으로, 근적외선은, 0.7 ~ 0.8㎛(가시 적색광의 장파장측의 한계)로부터 2.5㎛(또는 1.5 ~ 3㎛)의 파장을 갖는다. 근적외광 성분은, 색이 흰 빛을 띠게 하는(whitish) 등의 폐해가 있기 때문에, 제1 촬상 신호(R, G, B 신호)에서는 근적외광 성분을 제거할 필요가 있다. 그러나, IR 컷 필터에 의해 근적외광 성분을 완전하게 차단하는 것이 어렵다. 통상적으로, 촬상 디바이스의 출력 분광 특성은, 도 2에 나타내는 바와 같이, 근적외광 영역에도 적(R), 녹(G), 청(B), 백(W)에 감도를 갖는다. 파장이 700㎚보다 조금 낮은 파장 영역으로부터 장파장측은, 인간의 시각 감도가 거의 없다. 따라서, 도시한 출력 분광 특성을 갖는 촬상 디바이스(2)는, IR 컷트층(또는 IR 컷 필터)이, 예를 들면, 굵은 일점파선(bold dot-and-dash line)에 의해 나타내는 650㎚ 부근으로부터 장파장측을 억압하도록 설계되어 있다.

도 1로 되돌아가면, 촬상 디바이스(2)로부터의 아날로그 촬상 신호가 입력되는 AFE 회로(3)는, 아날로그 신호에 대하여 행할 처리들, 예를 들면 상관 2중 샘플링에 의한 리세트 노이즈의 제거(CCD인 경우), 그 밖의 노이즈 제거, 증폭 등을 행하는 회로이다.

ADC(5)는, 처리 후의 아날로그 신호를 소정 비트(예를 들면, 8 또는 10비트)의 디지털 신호로 변환한다. 이 디지털 신호는, 화소마다 상기 소정 비트의 계조값을 갖는 화소 신호 열을 포함한다. 즉, ADC(5)로부터 출력되는 디지털 신호에는, A 화소와 다른 색의 화소가 교대하는 화소 신호 열이 포함된다.

신호 처리부(4) 내에, 이미 설명한 도 3a에 도시하는 구성의 NR 처리부(54A)가 포함되어 있다. 단판식(single plate type)인 경우, 촬상 디바이스(2)는, 적(R), 녹(G), 청(B), All(A=W+IR)의 각 화소 신호를, 표시시의 주사 순(scanning order)으로 시계열의 시리얼 신호로서 전달한다. 이 시리얼 신호로부터, 제1 촬상 신호(예를 들면 R, G, B 신호)와 제2 촬상 신호(예를 들면 A 화소 신호)를 분리하는 구성이, 신호 처리부(4) 내의 NR 처리부(54A)의 앞(ahead)에 놓일 필요가 있다.

NR부(4B)는, 분리 후의 제1 촬상 신호(R, G, B 신호)의 각 색을 수신하고, 각 색 및 각 화소에 대한 노이즈를 저감한다. 상세 내용은 후술하지만, 이 때 R, G, B 신호를 구성하는 각 화소 신호가 처리될 때, 처리될 타겟 화소를 순차적으로 변경해서 그 처리를 반복한다. 각 타겟 화소 및 그 주위에 에지가 존재하고 있지 않다고, 에지 정보 취득부(4C)에서 취득된 에지 정보에 기초하여 판단될 때에는, NR부(4B)는 노이즈 저감을 행한다. 각 타겟 화소 및 그 주위에 에지가 존재한다고 판단될 때에는, 노이즈 저감을 유효하게 행하지 않는다.

이러한 처리는, 로우-패스 필터에 의해 실행할 수 있다. 이때, 특히 에지 계조차를 보존하기 위해서는, 크로스 바이레터럴 필터(cross bilateral filter)와 같은 에지 보존 필터가 이용된다. 크로스 바이레터럴 필터에 대해서는, 다음 제2 실시 형태에서 상세히 설명한다.

NR 처리 후의 R, G, B 신호는, 휘도 신호와 색 신호로 분리된다. 분리 후의 각 신호에 소정의 처리가 행해진 후, 신호 처리부(4)로부터 그 신호가 출력된다.

혼합 회로(9)는, 신호 처리부(4)에 의해 처리된 휘도 신호와 색 신호를 혼합하여, 비디오 신호를 생성한다.

DAC(12)는, 비디오 신호를 아날로그 비디오 신호(14)로 변환해서 출력하는 회로이다.

마이크로 컴퓨터(10)는, 촬상 디바이스(2), AFE 회로(3), 신호 처리부(4) TG(timing generator; 13), 및 그 밖의 모든 구성을 제어하는 회로이다. 마이크로 컴퓨터(10)에는, 제어 파라미터 등을 유지하는 재기입 가능한 메모리(이를테면 불휘발성 메모리(NVM); 11)가 접속되어 있다. 또한, 모니터 표시부, 비디오 신 호(14)를 인코드해서 인코드된 신호를 모니터 표시부에 출력하는 회로, 및 음성 신호의 처리 및 출력을 위한 회로는 도 1에 도시되어 있지 않다.

제2 실시 형태

이하, 본 실시 형태의 특징부인 NR 처리부(54A)를 포함하는 보다 상세한 실시 형태를 설명한다. 여기서는 카메라 장치는 단판식의 촬상 디바이스(2)를 갖는 것을 전제로 한다.

[신호 처리부의 구성]

도 5는, 신호 처리부(4)의 일 구성예를 도시하는 블록도이다. 도해하는 신호 처리부(4)는, 소정의 주요 블록들, 즉, 전처리를 행하는 PRE 블록(41), 휘도 신호(Y)를 추출해서 처리하는 Y 블록(42), 색 신호(C)를 추출해서 처리하는 C 블록(43), 표시 화면에서 화상의 밝기를 검출하기 위한 OPD(Optical Detector) 블록(44)으로 구성된다. 각 블록은 페럴렐 인터페이스(PIO)(45)를 통해서, 마이크로 컴퓨터(10)(도 5에서 CPU 블록)에 접속되어 있다. 상기 블록들은 마이크로 컴퓨터(10)의 제어 하에 있다. 이에 따라, PRE 블록에서, 자동 노광(AE), 자동 화이트 밸런스 조정(AWB) 등의 처리가 실행된다.

PRE 블록(41)은, 디지털 자동 게인 제어(AGC) 회로(51), 셰이딩·결함 보정 회로(52), 딜레이 라인부(D)(53), NR(Noise Reduction) 블록(54), 패턴 발생 회로(56), 및 흑 적분 회로(57)를 갖는다.

AGC 회로(51)는, 입력되는 디지털의 촬상 신호의 게인을 조정한다. AGC 회로(51)는, 통상적으로, 이후 단계에서 실행되는 처리에 알맞은 신호 진폭을 얻기 위해서 설치된다. 단일 촬상 신호 전체는 일률적으로 증폭된다. 즉, 가시광 성분과 근적외광 성분에 대하여 일률적으로 증폭이 행해진다.

본 실시 형태에서는, NR 블록(54)에 게인 조정부를 포함하기 때문에, Y 블록(42)이나 C 블록(43)의 처리에 필요한 신호 진폭이 얻어진다. 따라서, NR 블록(54)보다 전단의, 예를 들면 셰이딩·결함 보정 회로(52)에서 입력 진폭이 지나치게 작아서 필요한 처리 정밀도가 얻어지지 않는 것과 같은, 특별한 사정이 없는 한, AGC 회로(51)를 생략 가능하다.

셰이딩·결함 보정 회로(52)는, 센서(촬상 디바이스(2))의 수광면에서 중심부(center portion)와 변부(marginal portion) 간의 수광 위치가 서로 다름으로써 생기는 밝기의 차를 보정하는 셰이딩 보정을 행한다. 또한, 보정 회로(52)는 촬상 디바이스(2)로부터의 촬상 신호의 누락 데이터의 보정을 행한다.

딜레이 라인부(53)는, NR 블록(54)에서의 처리를 위해, 수평 및 수직의 방향으로 소정의 화소수를 갖는 영상 신호 규격의 수 라인들(several lines)(수평 화소 신호 열)에 대응하는 양만큼 신호를 지연하는 회로이다. 예를 들면, NR 블록(54)의 처리에 5라인에 대응하는 지연이 필요한 경우, 1라인 지연부를 4개 직렬 접속할 수 있다. 5라인에 대응하는 화소 신호 열은, 1라인 지연부로부터의 출력들과, 지연시키지 않는 라인(입력을 그대로 출력하는 라인)으로부터의 출력으로부터 병렬로 NR 블록(54)에 입력될 수 있다.

딜레이 라인부(53) 대신, 화상 메모리를 설치할 수도 있다. 필요한 라인 수에 통상적으로 대응하는 데이터를 읽어낼 수도 있다. NR 블록(54)의 구체적인 구 성 및 동작은 후술한다.

여기에서는 도 1에 도시하는 촬상 디바이스(2)가 단판식이며, 도 4a 또는 4b에 나타내는 색 배열이 채택된다. 따라서, 촬상 디바이스(2)로부터 출력되는 촬상 신호로 표시되는 개개의 색들에 대하여, 적(R), 녹(G), 청(B) 중 어느 하나의 색 정보를 갖는 화소 신호와, 백(W)의 화소 신호가 시간 축 상에서 교대로 혼합되어 있다. 따라서, 이 촬상 신호로 표시되는 화상은, 각 색에 대해 모자이크 패턴으로 있다. 이러한 모자이크 형상의 색 배치를 갖는 화상을 "모자이크 화상"이라고 한다.

모자이크 화상을 NR 처리에 그대로 이용하면, 정보의 누락 부분이 있어 정밀도 좋은 처리를 행할 수 없다. 따라서, NR 블록(54) 내부에 모자이크 화상을 디모자이크하는 기능을 갖는다. 어떤 색의 모자이크 화상의 "디모자이크(demosaicking)"는, 특정 색에 관한 정보가 없는 부분의 색 정보를, 특정 색에 관한 정보를 갖는 주변 화소로부터 보간 처리 등에 의해 발생시켜서, 모든 화소 대응 부분에 색 정보를 갖는 "디모자이크 화상"으로 변환하는 처리이다. 디모자이크를 위한 상세한 구성은 도시하지 않는다. 일반적으로, 간이한 선형 보간 처리 혹은 색 추정과 합성을 반복하는 것에 의한 고정밀도 보간 처리를 위한 회로 구성이 채용된다.

패턴 발생 회로(56)는, 촬상 디바이스(2)를 접속하지 않는 상황에서 테스트 패턴을 생성한다. 흑 적분 회로(57)는, 디지털의 촬상 신호의 흑 레벨을 검출한다.

Y 블록(42)은, PRE 블록(41)으로부터 출력되는 디모자이크 촬상 신호 중, 가장 정보량이 많은 A 화소의 디모자이크 촬상 신호를 수신하여 처리한다. Y 블록(42)은, A 화소의 디모자이크 촬상 신호로부터 휘도 신호(Y)를 발생시키는 Y 발생부(61), 휘도 신호(Y)로부터 애퍼처 컨트롤 신호(aperture control signal)를 발생하는 애퍼처 컨트롤 신호 발생부(62)와, 애퍼처 컨트롤 신호에 대한 감마 보정부(63)를 갖는다.

Y 발생부(61)에서 발생한 휘도 신호(Y)는 OPD 블록(44)에 공급된다. 애퍼처 컨트롤 신호 발생부(62)에서는, Y 발생부(61)에서 발생한 휘도 신호(Y)로부터, 화상의 윤곽 부분만을 강조한 휘도 신호(Y)로 수정을 실시한다. 수정 후의 휘도 신호(Y)는 감마 보정부(63)에 공급된다. 감마 보정부(63)는 감마 보정 후의 휘도 신호(Y)를, 도 1의 혼합 회로(9)에 출력한다.

C 블록(43)은, R, G, B 화소의 디모자이크 촬상 신호를 수신하여 처리한다. C 블록(43)은, RGB 매트릭스 회로(71), 화이트 밸런스 조정(WB) 및 감마(γ) 보정 회로(72), 색차 신호 (R-G)와 (B-G)를 변환하는 색차 변환 회로(73), 및 크로마 신호 Cr, Cb를 생성하는 클로마 발생 회로(74)를 갖는다.

RGB 매트릭스 회로(71)는, R, G, B 화소의 디모자이크 촬상 신호를 수신하여, 각 화소 유닛에 대해 동기된 색 신호(R/G/B 신호)를 출력한다. R/G/B 신호는 OPD 블록(44) 및 WB/γ 보정 회로(72)에 출력된다.

WB/γ 보정 회로(72)는, 입력되는 R/G/B 신호로부터, 색마다 게인 밸런스를 취하고, 화이트 밸런스(WB) 조정을 행한다. 이때 OPD 블록(44)으로부터의 밝기 정 보가 참조된다. 화이트 밸런스 후의 R/G/B 신호의 각 화소 강도에 대하여, 색 감마(γ) 보정이 실행된다. 이때, 화상에서 계조의 응답 특성을 나타내기 위해, 감마(γ)라고 하는 수치가 사용된다. 이 수치는, 예를 들면 도 1에 도시하는 불휘발성 메모리(11) 혹은 마이크로 컴퓨터(10) 내의 기억 영역 등에 유지된다. 이 수치는 도 5의 PIO(45)를 통해서 WB/γ 보정 회로(72)에 공급된다. 감마 보정이란, 표시되는 화상의 밝기나 색의 채도를 올바르게 표시하기 위한 처리이다.

색차 변환 회로(73)는, 감마 보정 후의 R/G/B 신호를 색차 신호 (R-G), (B-G)로 변환한다. 크로마 발생 회로(74)는, 색차 변환 회로(73)의 출력 신호로부터, 크로마 신호 Cr, Cb를 발생시킨다. 발생한 크로마 신호 Cr, Cb는, 도 1에 도시하는 혼합 회로(9)에 보내진다.

OPD 블록(44)은, 예를 들면 자동 노광 제어(AE)에 이용되는 휘도 적분값을 발생시키는 휘도 적분 회로(44A)와, 예를 들면 화이트 밸런스 조정에 이용되는 개개의 색에 대한 R/G/B 적분값을 발생시키는 R/G/B 적분 회로(44B)를 포함한다.

휘도 적분 회로(44A)는, 휘도 신호(Y)를, 예를 들면 1 화상 프레임(one frame of image), 적분함으로써 휘도 적분값을 발생시킨다. 휘도 적분값은 마이크로 컴퓨터(10)를 통해서 도 1의 광학 부품(1) 내에 설치되어 있는 애퍼처 컨트롤 회로 및 촬상 디바이스(2)에 내장되어 있는 아날로그 게인 회로에 공급된다.

R/G/B 적분 회로(44B)는, RGB 매트릭스 회로(71)로부터 개개의 색에 대한 R/G/B 신호를, 각 색에 대해, 예를 들면 1 화상 프레임, 적분함으로써 R/G/B 적분값을 발생시킨다. R/G/B적분값은 PIO(45)를 통해서 마이크로 컴퓨터(10)에 공급되 고, 그곳에서 WB 게인을 계산한다. 그 결과는, WB/γ 보정 회로(72)에 공급된다.

이들 적분 회로는, NR 블록(54) 내에 설치되는 각종 적산부(후술됨)로 대체될 수도 있다. 그 경우, OPD 블록(44)을 생략 가능하다.

[NR 블록의 상세]

도 6은, NR 블록(54)의 더욱 상세한 블록도이다. 도해하는 NR 블록(54)은, 분리부(541), 동기 처리부(542), A 디모자이크 처리부(543), RGB 디모자이크 처리부(545), 게인 조정부(4A), NR부(4B), 에지 정보 취득부(4C), 및 합성부(4D)를 포함한다. 이 중, A 디모자이크 처리부(543), RGB 디모자이크 처리부(545), 게인 조정부(4A), NR부(4B), 에지 정보 취득부(4C), 및 합성부(4D)가, 도 3a에 도시하는 NR 처리부(54A)에 포함된다.

분리부(541)는, A(W+IR) 화소의 모자이크 화상을 구성하는 A 화소 신호와, 그 밖의 색의 R, G, B 화소 신호를 분리한다. 동기 처리부(542)는, 분리 후의 A 화소 신호와, R, G, B 화소 신호를 수신하여, 그들을 동기 처리하고 출력한다. A 화소 신호는 A 디모자이크 처리부(543)에 입력된다. R, G, B 화소 신호는 게인 조정부(4A)에 입력된다.

A 디모자이크 처리부(543)는 입력된 A 화소 신호에 디모자이크 처리를 실시하여 디모자이크 A 화상을 발생시킨다. 마찬가지로, RGB 디모자이크 처리부(545)는, 입력된 R, G, B 화소 신호에 대하여 디모자이크 처리를 실시하여 디모자이크 R, G, B 화상을 발생시킨다.

이들 디모자이크 처리 단계들은, 선형 보간법 등의 간단한 디모자이크 처리 일 수도 있다. 보다 바람직하게, 디모자이크 처리는, 예를 들면, 색 추정과 합성을 반복하는 것이 가능한 고정밀도한 보간 처리를 위한 회로에 의해 실행된다. 구체적으로, 보간 처리 전용 회로 외에, DSP(digital signal processor) 등의 컴퓨터 기반 제어부와, 이 제어부를 동작시키는 프로그램의 기능에 의해, 디모자이크 처리를 실현할 수도 있다.

에지 정보 취득부(4C)는, 소정의 방법에 의해 디모자이크 A 화상으로부터 에지 정보 ED를 취득한다. 이때 에지 정보 취득부(4C)는, 타겟 화소를 중심으로, 주변 화소 범위에서 에지 정보를 취득한다. 예를 들어, 주변 화소의 범위는 3×3 또는 5×5 화소 등 수평 및 수직 방향에 있는 임의 수의 화소로 정의된다. 통상적으로, 범위의 수평과 수직 치수(dimensions)는 동일한 홀수의 화소로 이루어진다. 타겟 화소는, NR부(4B)에서 필터 처리에 의해 노이즈 저감이 행해지는 것이다. 타겟 화소는, 입력순으로, 예를 들면 영상 신호의 수평 방향의 한쪽으로 순차 변화된다. 에지 정보 취득부(4C)는, 타겟 화소가 주변 화소 위치로 시프트될 때마다, 변경 후의 타겟 화소가 중심으로 되도록 주변 화소의 범위를 다시 인식한다. 따라서, 에지 정보 취득부(4C)는 에지 정보 취득을 반복한다. 취득된 에지 정보 ED는, 에지 정보 취득부(4C)로부터 NR부(4B)에 공급된다.

에지 정보 취득의 구체적인 방법으로는, 타겟 화소와, 해당 타겟 화소를 중심으로 하는 주변 화소 범위 내의 다른 화소 간의 화소값의 차분을 구하는 것이 있다.

NR부(4B)는, 본 실시 형태에서, 크로스 바이레터럴 필터로 구성된다. 기본 적인 필터 구성은, 잘 알려져 있는 2차원 LPF이다. 예를 들면, 특허 문헌 1에 나타난 LPF 구성을 채용할 수 있다.

이때, 취득된 에지 정보 ED로부터 에지 판정을 행한다. 에지 판정 결과에 기초하여, 에지 계조차를 보다 많이 보존하도록 필터 계수의 변경을 행한다. 이때, 본래의 에지 계조차를 강조하는 것도 가능하다. 변경 후의 필터 계수를, R, G, B 화상의 2차원 필터 처리에 적용한다.

이렇게 A 화소로 이루어지는 디모자이크 후의 화상에 관한 에지 정보 ED로부터 에지 판정을 행한다. 에지 판정 결과를 이용하여 R, G, B 화상의 2차원 필터 처리를 행한다. 그 결과, 화소값 차분에 따른 에지 계조차를 보다 바람직한 결과로 보존할 수 있다. 이러한 필터 처리 대상과 서로 다른 화상 정보를 참조하는 2차원 필터를, 특히 크로스 바이레터럴 필터라고 칭한다. 크로스 바이레터럴 필터 처리의 개요는 후술한다. 에지 검출(즉, 에지 정보 취득과 에지 판정)이 디모자이크 후의 A 화상을 이용하여 행해지기 때문에, 에지 검출 정밀도가 높다. 그 결과, 크로스 바이레터럴 필터의 출력에서 에지 정보가 효과적으로 보존된다. 처리 후의 R, G, B 화소 신호는 합성부(4D)에 출력된다.

에지 정보 취득부(4C)는, A 화소 신호(엄밀하게는, 디모자이크 후의 A 화상의 신호)로부터 에지·텍스쳐 정보 ET를 추출하는 기능을 갖는다. 추출 범위는, 예를 들면, 에지로 판정되고 화소값 차분을 포함하는 주변 화소 영역 모두를 AND 처리에서 하나로 통합(merging)하여 얻어질 수 있다. 에지·텍스쳐 정보 ET는, 에지 정보 취득부(4C)로부터 합성부(4D)에 출력된다.

합성부(4D)는, NR부(4B)로부터 입력되는 R, G, B 화소 신호에 포함된 에지부에 관한 정보를, 에지 정보 취득부(4C)로부터 입력되는 에지·텍스쳐 정보 ET로 치환함으로써 화상 합성(즉, 신호 혼합)을 행한다.

합성부(4D)로부터의 R, G, B 화상은 색 신호 처리를 위해 C 블록(43)에 보내진다. A 디모자이크 처리부(543)로부터의 디모자이크 A 화상 AD는 휘도 신호 처리를 위해 Y 블록(42)에 보내진다.

[게인 조정부의 상세 및 그의 동작]

본 실시 형태의 특징 부분인 게인 조정부(4A)는, 게인 앰프 GA와 적산 블록(58)을 포함한다. 게인 앰프 GA는, RGB 디모자이크 처리부(545)로부터의 디모자이크 R, G, B 화상을 수신하여, 디모자이크 R, G, B 화상을 구성하는 색들의 R, G, B 화소 신호에 게인값 G를 곱해서 신호 진폭을 일률적으로 변화시킨다. 색마다 게인값을 바꿀 수도 있다. 본 실시 형태에서는 색 밸런스 보정을 위한 회로가 후단에 존재하기 때문에, 동일한 게인값 G를 이용한다.

적산 블록(58)은, A 디모자이크 처리부(543)로부터의 디모자이크 A 화상 AD와, RGB 디모자이크 처리부(545)로부터의 디모자이크 R, G, B 화상 RD, GD, BD를 수신하여, 각 색에 대한 소정 기간의 화소 데이터의 적산값을 구한다. 즉, 적산값 A, R, G 및 B를 구한다.

디모자이크 전과 후에는 적산값의 비율은 거의 변화되지 않기 때문에 적산 블록(58)은 동기 처리부(542)의 출력으로부터 상기 4개의 적산값을 산출할 수 있다. 오히려, 이른 단계(early stage)에서 적산값을 산출하기 위해서는, 동기 처리 부(542)의 출력으로부터 적산값을 산출하는 것이 바람직하다.

도 7에 적산 블록(58)의 구성도를 도시한다. 도 7에는, 동기 처리부(542)의 출력으로부터 적산값을 산출하는 경우를 나타낸다.

촬상 디바이스(2)로부터의 촬상 신호가 A/D 변환된 후, 그 신호는 도 5의 PRE 블록(41)에 입력되고, 그 다음 몇 가지의 처리를 거쳐서 NR 블록(54)에 입력된다. NR 블록(54)에서는, 해당 촬상 신호가 최초로, 도 7에 도시하는 바와 같이 분리부(541)에 입력된다. 분리부(541)는, 입력되는 디지털 촬상 신호의 화소값을, 고속 클럭 신호에 동기해서 4 채널의 출력에 순차적으로 할당하는 동작을 행한다. 4 채널의 출력으로부터, A, R, G, 및 B 화소값이 동기 처리부(542)를 거쳐 적산 블록(58)에 각각 입력된다.

적산 블록(58)은, 도 7에 도시하는 바와 같이, 4개의 채널에 대응하는 4개의 개별 적산부(58A, 58R, 58G, 58B)를 구비한다. 각 적산부는, 가산기(581)와 지연 수단(예를 들면 래치 회로(582))를 갖는다. 가산기(581)의 하나의 입력에 동기 처리부(542)로부터의 화소값이 입력될 수 있다. 가산기(581)의 출력이 래치 회로(582)의 입력과 접속되어 있다. 래치 회로(582)의 출력은 가산기(581)의 다른 입력 단말에 접속되어 있다.

적산부의 가산기들(581)은 고속 클럭 신호에 의해 동기한다. 래치 회로(582)는, 임의의 화소값과 다음 화소값이 각각 입력되는 시간 간의 간격에 따른 시간 기간동안 동일 데이터의 유지를 행한다. 이 때문에, 가산기(581)에서 화소값이 적산된다. 다음 입력 간격으로, 다음 화소값이 적산된다. 이 동작을 소정 기 간, 예를 들면 1 화상 프레임의 기간 행한다. 그 결과, A 화소값을 수신하는 적산부(58A)는 "A(W+IR) 적산값 ΣA"를 생성한다. 마찬가지로, R 화소값을 수신하는 적산부(58R)는 "R 적산값 ΣR"을 생성한다. G 화소값을 수신하는 적산부(58G)는 "G 적산값 ΣG"를 생성한다. B 화소값을 수신하는 적산부(58B)는 "B 적산값 ΣB"를 생성한다.

도 6에 도시하는 게인 조정부(4A)는, 마이크로 컴퓨터(10)의 기능의 일부를 포함하고, 상기 4개의 적산값(이하, 적산값 Σ로 표기함)에 기초하여, 파라미터 K를 산출한다. 파라미터 K는, 가시광 성분과 근적외광 성분 간의 상대적인 크기에 따라 변화되는 계수이다. 파라미터 K는, 이하의 수학식 1-1 또는 수학식 1-2에 따라, 마이크로 컴퓨터(10)에 의해 산출된다. 마이크로 컴퓨터(10)는, 본 발명의 "제어부"의 일 양태에 해당한다. 수학식 1-1과 1-2는 단순히 예를 나타낸다. 파라미터 K는, 촬상 화상의 가시광 성분과 근적외광 성분 간의 상대적인 크기에 따라 변화되는 변수이면, 어떤 것이어도 된다.

여기에서 부호 α, β, γ는, 색들에 대한 각각의 보정 계수를 나타낸다. 이 부호들은 1 이하의 임의의 값인 것으로 상정한다.

이들 수학식이 의미하는 바는, 이하와 같다.

A(W+IR) 적산값 ΣA는, A 화소(도 4a 및 4b 참조)로부터 출력되는 A 화소 데 이터의 1 화상 프레임의 합에 의해 얻어진다. 이 적산값은 가시광 성분과 근적외광 성분 둘 다를 포함하는 촬상 신호에 상응하는 방식으로 촬상 화면에 표시된 전체 화상의 밝기를 나타낸다. 한편, R 적산값 ΣR은, R 화소로부터 출력되는 R 화소 데이터의 1 화상 프레임의 합에 의해 얻어지고, R 가시광 성분의 크기를 나타낸다. 마찬가지로, G 적산값 ΣG는 G 가시광 성분의 크기를 나타낸다. B 적산값 ΣB는 B 가시광 성분의 크기를 나타낸다. 따라서, (ΣA+ΣG+ΣB)는 가시광 성분의 크기를 나타낸다. 백(W)의 크기, 즉 W 가시광 성분의 크기를 ΣW로 하면, 통상적으로, 다음과 같은 관계가 성립한다.

(ΣA+ΣG+ΣB)=ΣW

전술한 수학식 1-1은, 근적외광 성분의 1 화상 프레임의 합을 ΣIR, 보정 계수 α, β, γ<1로 하면 다음으로 변형될 수 있다.

K=η1*ΣW+ΣIR(η1<1)

또한, 전술한 수학식 1-2는 다음으로 변형될 수 있다.

K=η2+ΣIR/ΣW(η2<1)

즉, 상기 2개의 수학식은, 가시광 성분 ΣW와, 근적외광 성분 ΣIR의 크기에 따라서 변화되는 파라미터 K를 나타낸다. 그리고, 두 수학식 모두 가시광 성분 ΣIR의 비율이 클수록, 파라미터 K도 큰 것으로 나타난다.

"(ΣA+ΣG+ΣB)"는 본 발명의 "제1 촬상 신호(R, G, B 화소 신호)의 가시광 성분으로부터 얻어지는 "제1 비교값"에 대응한다. "ΣA"는 "제1 비교값(ΣA+ΣG+ΣB)과 등가의 제2 촬상 신호(A 화소 신호)의 가시광 성분(ΣW)에, 해당 가시광 성 분(ΣW)에 대응하는 근적외광 성분(ΣIR)을 더하여 얻은 "제2 비교값"이다. 파라미터 K가 제1 비교값(ΣA+ΣG+ΣB)과 제2 비교값 ΣA의 크기에 관련된다는 것은, 전술한 수학식 1-1과 1-2로부터 분명하다.

지금까지 설명한 바와 같이, 파라미터 K의 값을 크게 한다는 것은, 제1 또는 제2 비교값의 한쪽을 다른 쪽보다 크게 하는 것 및 그 반대를 의미한다.

제어부로서의 마이크로 컴퓨터(10)는 산출한 파라미터 K에 기초하여, 도 3a 또는 도 6에 도시하는 게인 앰프 GA의 최대 게인값 Gmax를 변경 가능하게 설정한다.

그 동작에 대한 제어의 일례를, 도 3b의 그래프에 나타낸다. 전술한 바와 같이 파라미터 K가 클수록 근적외광 성분 ΣIR이 상대적으로 많이 포함되는 것을 의미한다. 따라서, 마이크로 컴퓨터(10)는, 게인 앰프 GA에, 큰 제1 최대 게인값 Gmax1을 설정한다. 반대로, 파라미터 K가 작을수록 근적외광 성분 ΣIR이 상대적으로 적은 것을 의미한다. 마이크로 컴퓨터(10)는, 게인 앰프 GA에, 제1 최대 게인값 Gmax1보다 작은 제2 최대 게인값 Gmax2을 설정한다.

바람직하게는, 제1 최대 게인값 Gmax1의 설정 영역 R1을, 파라미터 K의 제1 기준값 P1보다 크게 설정한다. 제2 최대 게인값 Gmax2의 설정 영역 R2를, 파라미터 K의 제2 기준값 P2(P2<P1)보다 작게 설정한다.

더욱 바람직하게는, 파라미터 K의 제1 기준값 P1과 제2 기준값 P2 사이의 중간 영역 Rm에서, 제1 최대 게인값 Gmax1로부터 제2 최대 게인값 Gmax2까지, 설정할 최대 게인값 Gmax를 선형적(linearly) 혹은 단계적(stepwise manner)으로 변화시킨 다.

중간 영역 Rm이 없으면, 게인값은 제1 최대 게인값 Gmax1과 제2 최대 게인값 Gmax2 사이에서 플립될 수도 있다. 상기한 바와 같이 선형적 또는 단계적으로 최대 게인값 Gmax를 변화시킴으로써, 최대 게인값이 크게 변화되고 빈번히 절환되는 것을 방지한다. 따라서, 표시 화면상의 화상에서의 노이즈감(noisiness felt)이 급격하게 변화하는 것을 방지할 수 있다.

최대 게인값이 빈번히 절환되는 것만을 방지할 필요가 있는 경우라면, 최대 게인값 Gmax에 히스테리시스 특성을 갖게 할 수도 있다.

한편, 게인값 G 자체는, 도 6에 도시하는 바와 같이 제어부로서의 마이크로 컴퓨터(10)로부터 변경 가능하게 공급된다.

게인값 G의 값은, 예를 들면 표시 화면 상의 화상의 밝기 조정에 이용된다. 예를 들면 자동 노광 제어(AE)를, 도 6의 OPD 블록(44)으로부터의 밝기 정보가 아니라, 적산 블록(58)으로부터의 밝기 정보(적산값 Σ)에 기초하여 행한다. 이때, 마이크로 컴퓨터(10)는 어두운 피사체를 밝게 하는 역광 보정을 행한다. 마이크로 컴퓨터는 또한 광원의 색 온도에 의해 가시광 성분이 적을 때에 표시 화면상의 화상 전체를 밝게 하는 색 온도에 따른 밝기 보정을 행한다.

상술한 동작들에 대한 제어의 일례는 이하와 같다. 화면 전체의 밝기는 충분한 데에 화면 내의 합초 위치(focal point)에서의 밝기가 부족한 경우, 마이크로 컴퓨터(10)는, 예를 들면 불휘발성 메모리(11)가 유지하는 역광 보정 테이블을 참조해서 적절한 게인값 G를 판독한다. 또한, 마이크로 컴퓨터(10)는, 근적외광 성 분 ΣIR의 상대적 크기를 나타내는 파라미터 K의 값에 따라, 예를 들면 불휘발성 메모리(11)가 유지하는 색 온도 밝기 보정 테이블을 참조해서 적절한 게인값 G를 판독한다.

판독한 게인값 G는, 마이크로 컴퓨터(10)의 제어 하에 게인 앰프 GA에 설정된다. 예를 들면 표시 화면상의 화상에 관한 밝기 정보가 변화될 때마다, 상기 적절한 게인값 G의 재판독, 게인 앰프 GA의 게인값 G 재설정(갱신)이 반복된다.

이러한 동적인 게인 제어에서, 예를 들면 도 3b에 도시된 최대 게인값 Gmax의 재설정 제어가, 예를 들면 1화면을 최소 단위로 하여 동적으로 반복된다.

본 실시 형태에서, 최대 게인값 Gmax을 동적으로 제어하는 이유는, 이 값이 NR 처리와 밀접하게 관계되기 때문이다.

우선, 크로스 바이레터럴 필터에 의한 NR 처리의 개요를 설명한다. 이 NR 처리는 본 발명의 일 실시 형태에 따른 노이즈 저감 방법의 일례를 포함한다. 그 후, NR 처리와 최대 게인값 제어의 관계에 대해서 설명한다.

[NR 처리 방법을 포함하는 노이즈 저감]

도 8은, 촬상 이후의 처리를 도시하는 플로우차트이다. 이 처리는 에지 판정과 노이즈 저감을 개략적으로 나타낸다.

도 8에 나타내는 스텝 ST0에서, A, R, G, B의 색 화소를 동일 화소 유닛에 포함하는 촬상 디바이스(2)에 의해 피사체의 촬상이 행해진다.

그 후, 얻어진 촬상 신호에 대하여, 도 1에 도시하는 ADC(5)에 의해 A/D 변환이 행해진다(스텝 ST1). 그 후에, 도 6의 A 디모자이크 처리부(543) 및 RGB 디 모자이크 처리부(545)에 의해 디모자이크 처리가 행해진다(스텝 ST2). 또한, AFE 회로(3)에 의한 AFE 처리, 분리부(541)에 의한 분리 처리, 동기 처리부(542)에 의한 동기 처리, 및 그 밖의 처리는 작도의 형편상 도시를 생략한다.

스텝 ST3에서, 도 6에 도시하는 에지 정보 취득부(4C)에 의해 에지 정보 취득이 행해진다. 그 다음, 스텝 ST4에서, 필터 처리가 행해진다. 스텝 ST4의 필터 처리는, 에지 판정(스텝 ST41), LPF 계수의 설정(스텝 ST42), 및 필터링(스텝 ST43)을 포함한다.

스텝 ST3의 개시와 병행되어, 스텝 ST5의 게인 조정 처리가 개시된다. 우선, 스텝 ST3과 ST4를 설명한다.

에지 정보 취득(ST3)은, 예를 들면 에지 정보 취득부(4C)가 갖는 감산기 등의 차분 산출 회로(도시 생략)가, 마이크로 컴퓨터(10)의 제어 하에 실행한다.

이 차분 산출은 마이크로 컴퓨터(10) 자신이 수행할 수도 있다. 하드웨어에 의한 산출의 경우, 차분 연산 회로가 필요하다. 차분 산출 회로는, 도 8의 디모자이크 A 화상 AD로 도시하는 바와 같이, 타겟 A 화소 At를 포함하는, 예를 들면 3×3 화소의 주변 화소의 범위 내에 있는 해당 타겟 A 화소 At 주변에 위치한 주변 A 화소 Ap의 화소값과, 타겟 A 화소 At의 화소값 간의 차분 D를 산출한다.

도 8에는, 디모자이크 후의 3×3의 주변 화소 범위에 상당하는 디모자이크 A 화상 AD 외에, 해당 3×3의 디모자이크 A 화상 AD에 대응하는, 디모자이크 R, G, B 화상 RD, GD, BD도 나타낸다.

3×3 디모자이크 R 화상 RD의 중심 화소가 타겟 R 화소 Rt이다. 마찬가지 로, 3×3 디모자이크 G 화상 GD의 중심 화소가 타겟 G 화소 Gt이다. 3×3 디모자이크 B 화상 BD의 중심 화소가 타겟 B 화소 Bt이다.

이들 4개의 타겟 화소는 통상적으로, 클럭 신호로 규정되는 같은 시각에, 촬상 디바이스(2)의 화소 배열에서, 도 4a 또는 도 4b에 나타내는 동일한 화소 유닛 내에서 항상 얻어진다. 처리 대상이 순차적으로 변화되면, 4개의 타겟 화소가 순차적으로, 예를 들면 수평 방향으로 1화소 분씩 시프트한다. 그 결과, 각 색에 대해 3×3 주변 화소 범위도 동일한 방향으로 1화소 분씩 시프트한다.

차분값 산출 회로는, 디모자이크 A 화상 AD로 나타내는 8방향의 차분diff(px, py)를 산출한다. 좌표(px, py)는, 도시와 같이 취해진 (x, y) 절대 위치 좌표계 - 표시 화면상의 화상에서 화소 어드레스에 대응함 - 내의 국부 상대 좌표를 나타낸다. 좌표(px, py)는 디모자이크 A 화상 AD 내의 타겟 A 화소 At에 대한 상대적인 위치를 나타낸다. 1화소 분의 거리를 "1"로 표시한다.

절대 위치 좌표에서 디모자이크 A 화상 AD의 중심 화소(타겟 A 화소 At)를 A0(x, y)로 했을 때, 주변 화소는 Ap(x-xp, y-yp)로 나타낼 수 있다. 그 차분을 산출하면 diff(px, py)로 된다.

이러한 차분의 8회의 계산에 의해, 도시와 같은 차분의 배열(수치 행렬)이 얻어진다. 얻어진 에지 정보 ED(차분 배열)는, 에지 정보 취득부(4C)로부터 NR부(4B)에 보내지고, 그 정보는 필터 처리된다.

도 9는, 상술한 필터 처리에 포함된 에지 판정(ST41)과 필터링(ST43)의 개념을 설명하기 위한 도면이다. 도 10은, 필터 처리의 LPF 계수 설정(ST42)과 필터링 의 개념을 설명하기 위한 도면이다.

도 9 및 도 10에 도시하는 바와 같이, NR부(4B) 내에, 크로스 바이레터럴 필터의 에지 판정부(544), 필터부(546), 및 필터 계수 설정부(547)를 갖고 있다.

에지 판정부(544)는 하드웨어 전용으로 구성될 수 있다. 대안적으로, 그 처리 수순을, 마이크로 컴퓨터(10)에 의한 소프트웨어 처리로 실현될 수도 있다. 필터부(546)는, X방향 필터부와 Y방향 필터부를 포함하는 하드웨어로 구성된다. 이 X방향 필터부와 Y방향 필터부 각각은 시프트 레지스터, 가산기 및 승산기를 포함한다. 또한, 필터 설정부(547)는, 예를 들면 불휘발성 메모리(11)로부터 기본 필터 계수 세트를 판독하여 이 세트를 변경하도록 동작한다. 그 처리 수순은, 마이크로 컴퓨터(10)에 의한 소프트웨어 처리에서 실현된다.

필터 계수의 설정(ST42)에서, 마이크로 컴퓨터(10)를 이루는 것으로서 필터 설정부(547)가, 기본의 LPF 계수 W0을, 예를 들면 불휘발성 메모리(11)로부터 판독한다. 필터 설정부(547)는, 상기 에지 판정부(544)가 "에지 있음"으로 판정한 경우에, 그 해당 개소에서, 상기 판독한 기본의 LPF 계수 W0를 수정한다.

구체적으로는, 도 10에 나타내는 바와 같이, "에지 있음"의 판정 개소에서, 기본의 LPF 계수 W0을 낮추고, 수정 후의 X방향의 LPF 계수 W(x, px)를 산출한다. 산출한 LPF 계수 W(x, px)로, 기본의 LPF 계수 W0의 대응 부분을 치환한다. 마찬가지로, Y방향의 LPF 계수 W(y, py)를 산출한다. 산출한 LPF 계수 W(y, py)로 기본의 LPF 계수 W0의 대응 부분을 치환한다.

LPF 계수를 낮추는 비율은, 필터 설정부(547)가 미리 결정한 것일 수도 있 다. 계수는 차분값의 크기에 따라 동적으로 제어될 수도 있다.

LPF 계수를 구하는 방법의 일례가, 예를 들여, X방향에서 다음 수학식 2로 표현된다. 또한, Y방향의 연산식은 다음 수학식 2의 "x"를 "y"로 치환하여 얻어진다. 이 연산식에서, 계수를 낮추는 방법은 분산(σ²)에 따라 일의적으로 결정된다.

여기에서 A 화소 데이터의 X방향의 각 계조값을, "edge(x)"로 표기한다(도 9 및 도 10 참조).

필터부(546)는, 도 8의 필터링(ST43)을 행하는 것이다. 예를 들면 도 9에 나타내는 바와 같이 X방향 필터링에서는, R, G, B 화소 데이터(입력 in(x))가 수신되어, 출력 out(x)가 생성된다. 필터부(546)의 입력 in(x)는, 도 6에 도시하는 게인 앰프 GA에 의한 게인 조정 후의 R 화소 데이터, G 화소 데이터, B 화소 데이터 중 어느 하나이기 때문에 노이즈 레벨이 크다. 에지 계조 차가 노이즈에 의해 불명료하게 되어 있다.

한편, A 화소 데이터는, W 화소 데이터(R, G, B 화소 데이터의 합계와 등가)와, 근적외광 성분 IR을 포함한다. 따라서, A 화소 데이터는 원래 대량의 데이터이다. 게인을 조정할 필요가 없다. 따라서, 도 9에 나타내는 바와 같이, S/N비가 높고 에지 계조차가 명료하다. 에지는 필터 입력으로 불명료해 지지만 A 화상에서 는 명료하고, Y방향 필터링의 입력 in(y)와, A 화소 데이터의 Y방향 계조값 edge(y)에서도 동일하다. 이것이, 전술한 LPF 계수의 설정에서 A 화소 신호 데이터를 이용하는 이유이다. 전술한 수학식 2에서, 파선으로 나타내는 부분에서 A 화소 신호 데이터의 차분 정보가 LPF 계수 W에 반영되어 있다는 것을 알 수 있다.

필터부(546)는, 필터 설정부(547)에서 설정된 필터 계수(가중값 부여 계수)를 이용해서 바이레터럴 방향, 즉 X방향과 Y방향의 각각에서, 각 색에 대한 입력 in(x) 또는 입력 in(y)의 타겟 화소값과 그 주변의 8화소값을 가중값 부여하여, 타겟 화소값의 계조값을 변화시켜서 출력하는 회로이다. 필터부(546)가 행하는 처리는, 예를 들어 X방향에서 수학식 3으로 주어진다. Y방향의 연산식은 수학식 3의 "x"를 "y"로 치환하여 얻어진다.

이때 필터 처리부(546)는, 타겟 화소를, 이웃의 화소 위치들에 순서대로 시프트한다. 그 타겟 화소가 변경될 때마다, 필터부는 LPF 계수의 재계산, 시프트, 및 필터링을 행한다. 타겟 화소의 변경은, 에지 정보 취득부(4C)의 동작과 완전하게 동기하고 있다. 임의의 타겟 화소를 중심으로 한 주변 화소 범위에서 상기 수학식 3에 의해 나타내지는 필터링을 행한다. 해당 필터링을 종료하면, 타겟 화소는 다음 화소 위치로 시프트된다. 마찬가지의 처리를, 변경 후의 타겟 화소와 그 주위의 8화소에 대하여 실행한다.

도 8은, 기본의 LPF 계수 W0의 수치를 개념적으로 나타내고 있다. 도 8에서, 계수를 작도의 편의상, 비교적으로 큰 정수로 표기하지만, 실제의 계수의 레벨과 서로 다르다.

"1", "3", 및 "1"의 계수가 컬럼 방향(표시 화소의 수직 방향)으로 배열될 때, 이 컬럼과 주변 컬럼과의 사이의 거의 중간 위치가 에지 중심으로 판정된 경우, 계수 "1", "3", 및 "1"은 낮아진다. 설명의 편의를 위해, 계수는 예를 들면 "0.2"배로 된다. 따라서, 보다 에지가 선명해 지도록 계수가 변경된다. 이렇게 수정 후의 LPF 계수 세트를 이용하여 필터 처리가 실행된다.

통상의 2차원 필터(바이레터럴 필터)로는, 필터링을 행하면 에지 정보가 주변 화소에 확산한다.

한편, 본 실시 형태의 크로스 바이레터럴 필터에서는, 각 에지의 급준성을 보존하기 위해서, A 화소 신호 데이터를 이용한다. 노이즈 제거를 위한 기본의 LPF 계수에 일부 수정을 가한다. 노이즈 제거를 위해서 최적화된 LPF 계수를 변경하면, 노이즈 제거 능력이 저하할 수도 있다. 에지는 표시 화면상의 전체 화상에서 보면 단지 국소적으로 검출된다. 따라서, 이와 같은 에지 판정 개소에서 강하게 NR을 실행하지 않아도 전체의 노이즈 저감은 충분히 가능하다.

이상의 처리를, 임의의 색에 대해서 화소 신호가 입력되는 순, 즉 주사순으로 타겟 화소를 변경하면서 반복한다. 해당 색의 화상은, 그 색 정보를 보존한다. 화상은, 도 9 및 도 10의 X방향에서 출력 out(x)에 의해 나타내는 바와 같이, A 화소 분포에 가깝다. 즉, 완만한 변화는 색 정보로서 유지된다. 그러나, 돌발적 혹 은 랜덤한 변화가 평활화된다. 그 결과, 노이즈 성분이 저감(즉, 제거 또는 억압)된다.

동일한 원리가 Y방향에 대해서도 적용되고, 또한, 다른 나머지 2색에 대해서도 적용된다.

노이즈 저감 후의 R, G, B 신호(즉, 디모자이크 R, G, B 화상 RD, GD, BD의 신호)는, NR부(4B)로부터 합성부(4D)에 보내진다.

한편, 에지 정보 취득부(4C)로부터는 에지·텍스쳐 정보 ET가 합성부(4D)에 출력된다. 해당 에지·텍스쳐 정보 ET에 대응하는, 디모자이크 R, G, B 화상 RD, GD, BD의 일부가, 해당 에지·텍스쳐 정보 ET로 치환되어 화상 합성 처리가 실행된다.

화상 합성 후의 R, G, B 화상은 C 블록(43)에 출력된다. 디모자이크 A 화상 AD는 Y 블록(42)에 출력된다.

도 8에는, 화상 합성 이후의 처리를 나타낸다. 도시와 같이, 화상 합성 후의 화상에 화이트 밸런스, 감마(γ) 보정을 우선 행한다. 감마 보정 후의 R, G, B 화상을, 도 5에 도시하는, Y 처리를 위한 Y 블록(42)과, C 처리를 위한 C 블록(43)에 출력할 수도 있다.

도 11는 게인 조정(ST5)을 상세하게 도시하는 플로우차트이다. 촬상(ST0) 후에 소정의 처리가 실행된다. 우선, 분리, 동시화, RGB 디모자이크를 포함하는 스텝 ST3의 소정의 처리 서브스텝들이 시행된다. 그 처리 서브스텝들은 도 11에서 ST30에서 하나로 통합되어 있다. 그 다음 스텝 ST5가 개시된다.

스텝 ST51에서, 분리 후의 촬상 신호 중, 게인 조정의 대상인 R, G, B 신호로부터 디모자이크에 의해 얻어진 디모자이크 R, G, B 화상 RD, GD, BD의 신호가 게인 조정부(4A)에 입력된다.

계속되는 스텝 ST52에서는, 최대 게인값 Gmax의 설정이 행해진다. 구체적으로는, 도 6의 적산 블록(58)이, A, R, G, B의 색마다, 예를 들면 도 7에 도시하는 회로 구성에 의해, A(W+IR) 적산값 ΣA, R 적산값 ΣR, G 적산값 ΣG, 및 B 적산값 ΣB를, 예를 들면 1 화상 프레임의 화소값 누적 가산에 의해 구한다.

제어부로서의 마이크로 컴퓨터(10)가, 이들 적산값으로부터, 예를 들면, 전술한 수학식 1-1 또는 수학식 1-2 등의 소정의 연산식을 이용하여 파라미터 K를 산출한다. 예를 들면 도 3b에 나타내는, 소정의 관계를 참조하여, 적절한 최대 게인값 Gmax를 구한다. 도 3b의 관계는, 예를 들면 불휘발성 메모리(11)에 테이블로서 보존되어 있다. 마이크로 컴퓨터(10)는, 이 테이블을 참조하여, 구한 파라미터 K에 대응하는 최대 게인값 Gmax를 결정한다. 마이크로 컴퓨터(10)는, 얻어진 최대 게인값 Gmax를, 도 6의 게인 앰프 GA에 게인의 상한값으로서 부여한다.

도 11에서의 스텝 ST53의 게인 조정에서는, 전술한 자동 노광(AE)의 제어가 행해진다. 표시 화면상의 화상의 밝기에 따른 게인값 G가 마이크로 컴퓨터(10)로부터 게인 앰프 GA에 공급된다. 그리고, 통상 증폭 및 감쇠를 포함하는 게인 조정은 주어진 최대 게인값 Gmax에서, 게인 앰프 GA에 의한 입력 신호에 대해 실시된다. 게인 조정 후의 R, G, B 신호는, 스텝 ST43의 필터링을 위해 게인 앰프 GA로부터 NR부(4B)에 출력된다.

이상과 같이, 본 실시 형태에서 노이즈 저감의 필터링(스텝 ST43) 전에 행해지는 게인 조정(ST5) 동안, R, G, B 신호(제2 촬상 신호)에 포함되는 근적외광 성분이 많은지 적은지를, 예를 들면, 파라미터 K의 크기에 따라 결정한다. 그 파라미터 K의 크기에 따라, 게인 조정시의 최대 게인값 Gmax가 설정 또는 제한된다. 본 실시 형태에서는, 최대 게인값 Gmax를 파라미터 K에 따라 서로 다른 값으로 변화시킬 수 있다(도 3b).

노이즈 저감의 필터링(스텝 ST43) 동안, 입력 다이내믹 레인지 등에 의해 노이즈 저감의 한계가 존재한다. 그 한계를 초과하면, 출력 화상(도 9 및 도 10의 필터부(546)의 출력 out)의 노이즈가 급격히 증대한다. 그 한계는, 필터부(546)의 입력 in의 신호 레벨 외에, 노이즈 레벨에 의해 변화된다. 촬상 디바이스로부터 노이즈 저감 처리까지의 신호 처리 경로에서 신호 게인이 클수록, 해당 신호에 포함되는 노이즈 레벨은 높아진다. 그러나, 일반적으로는, 촬상 디바이스에서 생기는 노이즈 저감은 디바이스 내부의 신호 처리로 어느 정도 억압된다. 따라서, 촬상 디바이스로부터 노이즈 저감 처리까지의 동안에 존재하는 앰프(예를 들면 게인 앰프 GA)에서 발생하는 노이즈가, 상기 노이즈 저감의 한계를 결정하는 노이즈 레벨을 주로 지배한다.

즉, 노이즈 레벨이 급격히 증대하는 노이즈 저감의 한계는, 실제로 노이즈 저감되는 신호 레벨과, 신호가 그 신호 레벨로 조정되었을 때의 게인에 관계된다.

본 실시 형태의 카메라 장치(화상 입력 처리 장치)에서는, 촬상 신호 발생부(신호 입력순으로 게인 조정부(4A)보다 전단의 구성)가, 가시광 성분을 포함하는 R, G, B 화상(제1 촬상 신호)과, 근적외광 성분을 포함하는 A 화상(제2 촬상 신호)을 발생할 수 있도록 구성되어 있다. 이 제1 촬상 신호(R, G, B 신호)의 가시광 성분(Σ(R+G+B)≒ΣW)과, 제2 촬상 신호(A 신호)의 근적외광 성분(ΣIR) 간의 상대적인 크기를 알면, 상기 노이즈 레벨이 급격히 증대하는 노이즈 저감의 한계의 상대적인 크기를 예측하는 것이 가능하다. 게인 조정부(4A)는, 이 광 성분의 상대적인 크기를, 예를 들면 파라미터 K로서 산출할 수 있다. 그 결과, 최대 게인값 Gmax를, 노이즈 저감 능력의 한계를 초과하지 않도록 변경 가능하게 설정할 수 있다.

이상으로부터, 피사체를 촬상할 때의 광원이 서로 다르거나, 혹은, 광원의 색 온도가 변화되는 등의 환경 변화가 있어도, 노이즈 저감 동안 노이즈 저감 능력에 약해지지 않는다. 따라서, 해당 노이즈 저감 처리로부터 항상 고품질의 화상이 출력된다.

또한, 에지부의 상세 화상이 에지·텍스쳐 정보 ET로서 추출되어, 합성된다. 따라서, 에지부에서 노이즈 저감의 효과가 얻어지지 않는 경우, 혹은 필터링에 의해 색이 서로 달라지는 경우라도, 본래의 노이즈 레벨 및 색 정보의 보존이 가능하다.

본 발명의 변형예로서, 근적외광 조사부로서의 적외 램프(15)를 도 12에 도시하는 바와 같이, 광학 부품(1)이 장착된 카메라 장치의 전면, 즉, 피사체를 향하는 전면에 설치한다.

이 적외 램프(15)는, 예를 들면, 근적외광 성분(ΣIR)의 레벨이 소정의 기준 레벨보다 적다고 게인 조정부(4A)에서 판단될 때에는, 예를 들면 마이크로 컴퓨터(10)의 제어 하에 점등된다.

이 때문에, 근적외광이 충분히 없는 광원하에서는, 피사체로부터의 촬상 디바이스(2)에 입사되는 광량이 증가될 수 있다. 그 결과, 저 S/N비의 화상에 의한 무리한 처리를 행하지 않기 때문에, 안정된 화질의 고감도 화상을 얻는 것이 가능하게 된다.

이상의 본 실시 형태에 따르면, 상술한 문제(즉, 노이즈 저감의 능력이 적외광 성분이 포함되는 정도에 따라 다르게 되고, 때로는 노이즈 저감의 한계를 초과한 결과, 노이지한 화면이 출력된다)를 유효하게 방지할 수 있다. 또한, 근적외광 성분이 충분한지 아닌지의 검출 결과를 이용하여, 적외광의 양을 늘린다. 그 결과, 고감도 화상을 얻는다. 따라서, 노이즈 저감 처리를 무리없이 행할 수 있게 된다.

당업자라면 첨부된 청구 범위 혹은 그의 등가물의 범위 내에 있는 한, 설계 요구 조건 및 그 외의 요인들에 따라 다양한 변형, 조합, 부-조합 및 변경이 이루어질 수 있다는 것을 이해할 것이다.

도 1은 본 발명의 실시 형태에 따른 촬상 신호 처리 회로를 내장한 카메라 장치의 블록도.

도 2는 본 실시 형태를 설명하는, 도 1에 도시된 촬상 디바이스의 출력 분광 특성을 나타내는 그래프.

도 3a는, 도 1에 도시된 촬상 신호 처리 회로에 포함된 NR부(noise reduction portion)의 블록도.

도 3b는, 파라미터와 최대 게인값과의 관계를 나타내는 그래프.

도 4a와 4b는 다층 필터에서 색 배열의 1화소 유닛을 각각 나타내는 도면.

도 5는 신호 처리부의 블록도.

도 6은 NR 블록의 상세 내용을 도시하는 블록도.

도 7은 적산 블록의 도면.

도 8은 에지 판정과 노이즈 저감을 모식적으로 상세히 나타낸 촬상 이후의 처리 플로우차트.

도 9는 에지 판정과 필터링의 관계를 개념적으로 나타내는 도면.

도 10은 필터 계수 설정과 필터링의 관계를 개념적으로 나타내는 도면.

도 11은 게인 조정의 상세를 나타내는 플로우차트.

도 12는 본 발명의 변형예에 따른 카메라 구성의 일부를 도시하는 개략도.

도 13은 특허 문헌 1에 기재된 화상 처리부의 구성을 도시하는 블록도.

도 14는 광원의 역할을 하는 전구와 형광등의 분광 특성의 차이를 나타내는 그래프.

[도면의 주요 부분에 대한 부호의 설명]

1: 광학 부품

2: 촬상 디바이스

3: AFE 회로

4: 신호 처리부

4A: 게인 조정부

4B: NR부

4C: 에지 정보 취득부

4D: 합성부

5: ADC

9: 혼합 회로

10: 마이크로 컴퓨터

11: 불휘발성 메모리

12: DAC

13: TG

14: 비디오 신호

41: PRE 블록

42: Y 블록

43: C 블록

53: 딜레이 라인부

54: NR 블록

54A: NR 처리부

58: 적산 블록

58A, 58R, 58G, 58B: 적산부

541: 분리부

542: 동기 처리부

543: A 디모자이크 처리부

544: 에지 판정부

545: RGB 디모자이크 처리부

546: 필터부

581: 가산기

582: 래치 회로

G: 게인값

Gmax: 최대 게인값

Σ: 적산값

ET: 에지·텍스쳐 정보

Claims

피사체를 촬상하고, 가시광 성분을 포함하는 제1 촬상 신호와, 근적외광 성분을 포함하는 제2 촬상 신호를 발생하는 촬상 신호 발생부;

상기 가시광 성분과 상기 근적외광 성분 간의 상대적인 크기에 따라 최대 게인값을 변경 가능하게 설정하고, 그 설정된 최대 게인값에서 상기 제1 촬상 신호에 대한 게인을 조정하는 게인 조정부; 및

상기 게인 조정 후의 제1 촬상 신호의 노이즈를 저감하는 노이즈 저감부

를 포함하는 화상 입력 처리 장치.
제1항에 있어서,

상기 제2 촬상 신호는, 상기 제1 촬상 신호의 가시광 성분과 등가의 가시광 성분과, 상기 피사체로부터의 근적외 광량에 대응하는 근적외광 성분을 포함하고,

상기 게인 조정부는, 상기 촬상 신호 발생부로부터의 상기 제 1 및 제2 촬상 신호에 기초하여, 상기 제1 촬상 신호의 가시광 성분으로부터 얻어지는 제1 비교값과, 제1 비교값과 등가의 상기 제2 촬상 신호의 가시광 성분에, 제2 촬상 신호의 가시광 성분에 대응하는 근적외광 성분을 더해 얻어진 제2 비교값 간의 상대적인 크기와 관련된 파라미터를 산출하고, 그 파라미터의 크기에 기초하여 상기 최대 게인값을 변경 가능하게 설정하는 화상 입력 처리 장치.
제1항에 있어서,

상기 게인 조정부는, 상기 상대적인 크기를 나타내는 파라미터를 산출하고, 그 파라미터가 제1 기준값을 초과하고, 근적외광 성분이 비교적 많이 포함되는 영역에서 제1 최대 게인값을 설정하고, 상기 파라미터가 제2 기준값보다 작고, 근적외광 성분이 비교적 적게 포함되는 영역에서 상기 제1 최대 게인값보다 작은 제2 최대 게인값을 설정하고, 상기 파라미터가 상기 제1 기준값보다 작고, 상기 제2 기준값보다 큰 영역에서, 상기 제1 최대 게인값으로부터 상기 제2 최대 게인값까지, 설정할 최대 게인값을 선형 또는 단계적으로 변화시키는 화상 입력 처리 장치.
제2항 또는 제3항에 있어서,

상기 게인 조정부는,

상기 제1 촬상 신호의 가시광 성분과, 상기 제2 촬상 신호의 근적외광 성분에 대하여, 각각 소정 기간의 적산값을 산출하는 복수의 적산부와,

상기 제1 촬상 신호를 수신하고, 수신한 제1 촬상 신호에 대하여 게인을 조정하는 가변 게인 앰프와,

상기 적산부에서 얻어진 적산값으로부터 상기 파라미터를 산출하고, 그 파라미터의 크기에 기초하여 상기 가변 게인 앰프의 최대 게인값을 변경 가능하게 설정하는 제어부

를 포함하는 화상 입력 처리 장치.
제4항에 있어서

상기 복수의 적산부는, 상기 피사체로부터의 광에 대응하는 합계값으로서, 가시광 성분의 크기와 근적외광 성분의 크기의 합계값을, 소정수의 화상 프레임에 걸쳐 적산하여, 촬상 디바이스의 표시 화면상의 화상의 밝기를 검출할 수 있는 노광 적산부(exposure accumulation portion)를 포함하고,

상기 제어부는, 상기 노광 적산부로부터의 적산값에 따라 상기 가변 게인 앰프의 게인값을 제어하는 화상 입력 처리 장치.
제1항에 있어서,

상기 제2 촬상 신호로부터 에지 정보를 취득하는 에지 정보 취득부를 더 포함하며,

상기 노이즈 저감부는, 상기 에지 정보에 기초하여 인식되는 화상 개소에서 에지의 정보를 보존하면서 각 색에 대해 상기 제1 촬상 신호의 노이즈를 저감하는 화상 입력 처리 장치.
제1항에 있어서,

상기 근적외광 성분의 양이 소정의 기준 레벨보다 적다고 상기 게인 조정부에서 판단될 때에는, 상기 피사체에 소정량의 근적외광을 조사하는 근적외광 조사부를 더 포함하는 화상 입력 처리 장치.
가시광 성분을 포함하는 제1 촬상 신호와, 근적외광 성분을 포함하는 제2 촬상 신호를 수신하고, 상기 제1 촬상 신호의 노이즈를 저감하는 촬상 신호 처리 회로로서,

상기 가시광 성분과 상기 근적외광 성분 간의 상대적인 크기에 따라 최대 게인값을 변경 가능하게 설정하여, 설정된 최대 게인값에서 상기 제1 촬상 신호에 대하여 게인을 조정하는 게인 조정부; 및

상기 게인 조정 후의 제1 촬상 신호의 노이즈를 각 색에 대해 저감하는 노이즈 저감부

를 포함하는 촬상 신호 처리 회로.
가시광 성분을 포함하는 제1 촬상 신호와, 근적외광 성분을 포함하는 제2 촬상 신호를 취득하는 단계;

상기 가시광 성분과 상기 근적외광 성분 간의 상대적인 크기에 따라 최대 게인값을 변경 가능하게 설정하는 단계;

상기 설정된 최대 게인값에서 상기 제1 촬상 신호에 대하여 게인을 조정하는 단계; 및

상기 게인 조정 후의 제1 촬상 신호의 노이즈를 저감하는 단계

를 포함하는 촬상 신호의 노이즈 저감 방법.
제9항에 있어서,

상기 근적외광 성분의 레벨이 소정의 기준 레벨보다 적다고 판단될 때에는, 상기 피사체에 소정량의 근적외광을 조사하는 단계를 더 포함하는 촬상 신호의 노이즈 저감 방법.
피사체를 촬상하고, 가시광 성분을 포함하는 제1 촬상 신호와, 근적외광 성분을 포함하는 제2 촬상 신호를 발생하는 촬상 신호 발생부;

상기 가시광 성분과 상기 근적외광 성분 간의 상대적인 크기에 따라 최대 게인값을 변경 가능하게 설정하고, 그 설정된 최대 게인값에서 상기 제1 촬상 신호에 대한 게인을 조정하는 게인 조정부;

상기 게인 조정 후의 제1 촬상 신호의 노이즈를 저감하는 노이즈 저감부; 및

상기 게인 조정부를 제어하기 위해 제어 신호를 생성하는 제어부

를 포함하는 전자 장치.