KR20080101770A

KR20080101770A - 화상 입력 처리 장치 및 그 방법

Info

Publication number: KR20080101770A
Application number: KR1020080045524A
Authority: KR
Inventors: 하지메 누마따
Original assignee: 소니 가부시끼 가이샤
Priority date: 2007-05-18
Filing date: 2008-05-16
Publication date: 2008-11-21
Also published as: TWI358944B; CN101309428A; US20100283866A1; TW200904163A; JP2008289001A; US8018509B2; KR101404298B1; JP4386096B2; CN101309428B

Abstract

화상 입력 처리 장치는, 광학 대역 분리 필터; 2색의 합이 다른 1색과 가시광 영역에서 등가, 또는 3색의 합이 다른 1색의 1배 또는 2배와 가시광 영역에서 등가로 되는 등가성을 갖는 4색 배치의 색필터; 촬상 신호를 발생하는 광센서부; 촬상 신호의 4색 배치에 대응하는 화소 데이터를 4색의 화소 데이터로 분리하는 데이터 분리부; 분리 후의 4색의 화소 데이터 사이에서, 등가성을 이용한 감산에 의해, 적외 분리를 실행하는 적외 분리부; 제1 및 제2 적산부; 제1 및 제2 적산부로부터 어느 적산값이 사용되는지를 결정하는 카메라 제어 처리부를 포함한다.

촬상 디바이스, 색필터, 색적산부, 데이터 분리부, 광학 대역 분리 필터

Description

화상 입력 처리 장치 및 그 방법{IMAGE INPUT PROCESSING APPARATUS AND METHOD}

<관련 출원의 상호 참조>

본 발명은 2007년 5월 18일자 일본특허청에 제출된 일본특허출원 제2007-133246호에 관한 기술 내용을 포함하며, 그 전체 내용은 본 명세서에 참조로서 포함된다.

본 발명은 근적외광 성분을 포함하는 피사체로부터의 광(상)을 촬상하고, 얻어진 촬상 신호의 화상 데이터로부터 근적외광 성분을 분리하는 화상 입력 처리 장치 및 그 방법에 관한 것이다.

사람의 색이나 밝기에 대한 감도(感度) 특성은 가시광 영역에 감도를 갖는다. 가시광 영역은 정의가 다양하지만, 일반적으로는 700 내지 750㎚ 부근(예를 들어, 780㎚)을 상한으로 하고, 400㎚ 보다 약간 작은 것(예를 들어, 380㎚)을 하한으로 하는 전자파의 파장 영역이다. 가시광 영역에 인접한 적외 영역을 근적외 영역이라 하고, 이 영역은 700 내지 800㎚의 하한으로부터 1.5 내지 3㎛(예를 들어, 2.5㎛)의 상한까지의 전자파 파장 영역이다.

다만, 사람의 눈은 약 700㎚보다 장파장 측에서는 거의 감도를 갖지 않는다. 또한, 근적외광은 색재현성을 저하시키는 등의 폐해가 있기 때문에, 통상, 촬상 디바이스에 피사체로부터의 광(상)을 제어하는 광학 부품 내에 적외선 차단 필터(적외선 차단 필터(infrared cut filter))가 설치된다.

촬상 디바이스 자체는 적외광에도 감도를 갖기 때문에, 야간 촬영이나 감시용의 고감도 카메라 장치에서는 가시광으로부터 적외광까지 넓은 대역의 광(상)을 촬상한다.

형광등이나 전구 등의 조명(광원) 차이에 따라, 또한 태양광에서도 시각에 따라 포함되는 적외광이 포함되는 비율이 상이하기 때문에, 그러한 촬영 환경의 변화에 적응하여 적외선을 차단해야 할지의 여부가 결정된다.

이상의 요청에 따라, 촬영 환경을 선택하지 않는 카메라 장치를 실현하기 위해, 입력 광학계에 회전식의 파장 분해 광학계를 사용하고, 가시광과 적외광을 동일한 촬상 소자로 수광하는 기술이 알려져 있다(예를 들어, JP-A-9-166493 참조).

이 기술에 따르면, 예를 들어, 입사 광로에 대한 적외선 차단 필터의 삽입과 추출을 회전 기구 등에 의해 전환시켜 행한다. 적외선 차단 필터를 삽입하고 있을 경우는 근적외광 및 적외광의 영향이 없는 가시광 컬러 화상을, 적외선 차단 필터를 발출하고 있을 경우는 가시광 및 근적외광의 광강도를 가산한 화상을 각각 출력한다.

근적외광이 가산된 화상은 색재현성은 낮지만 물체 인식에 적합한 화상이며, 이 화상을 취득 가능한 기구와 사람의 눈에 보이지 않는 적외광의 조사 기구를 조 합하면, 야간에도 선명한 화상이 얻어지는 감시 카메라 장치를 실현할 수 있다. 감시 카메라 장치에서는, 주간에는 적외선 차단 필터를 입사 광로로부터 떼어내어 이용한다.

한편, 적외선 차단 필터를 이용하지 않고, 근적외광이 입사되었을 때에, 촬상 화상에서 색재현성을 향상시키는 색보정 회로가 알려져 있다(예를 들어, JP-1-2005-354457 참조).

JP-A-2005-354457에 기재된 기술에 따르면, 처리 회로 내에 설치되어 있는 분광 감도 보정 수단이 촬상 신호의 분광 감도 특성을 변화시켜 IR 성분 분리를 행하고, 그 전후 신호의 차분을 취하여 적산함으로써 IR 성분을 추출한다. 분광 감도 보정 수단은 단순히 IR 성분을 제거하는 것만으로는 색재현성이 저하되기 때문에, 색재현성을 개선하기 위해 매트릭스 연산에 의해 IR 분리 후의 적색(R), 녹색(G), 청색(B)의 각색 데이터를 타깃(예를 들어, 정상 색각자의 등색함수)의 색 밸런스에 맞추는 처리를 행하고 있다. 현재의 색과 타깃의 근사성을 알기 위해서는, 최소제곱법 등이 이용된다.

색필터의 색배치에 관한 것으로, 색배치의 반복 단위를 4색의 화소로 구성한 4색 배치의 촬상 디바이스가 알려져 있다(예를 들어, JP-A-2005-006066 참조).

JP-A-2005-006066에는, 적색(R), 녹색(G), 청색(B)의 3원색 투과 필터와, 적외 영역에 감도를 갖고, 적외광을 투과시키는 적외 통과 필터로 반복 최소 단위(화소 유닛)가 구성되어 있는 컬러 필터가 개시되어 있다. 그리고, JP-A-2005-006066에는, 적외 통과 필터는 백색(W)의 필터일 수도 있음이 기재되어 있다.

광의 분광 특성에 있어서, 가시광 성분의 파장 영역과 근적외광 성분의 파장 영역은 주파수로서 연속되고 있기 때문에, 가시광 성분을 변화시키지 않고, 근적외광 성분만 제거하는 것을 저역 통과 필터와 같은 회로적인 수단에 의해 행하는 것은 곤란하다.

JP-A-2005-354457에는, IR 성분의 제거를 "분광 감도 보정 수단"에 의해 행하고, 그 전후에서 IR 성분의 크기를 검출하여, 적외 투시 촬영이 행해지고 있는지를 검출하는 것이다.

이 방법에 의해 검출된 IR 성분의 크기는 상기 주파수가 연속되고 있다는 이유 때문에 정확하지는 않지만, 적외 투시 촬영의 검출 목적으로는 충분하다고 생각된다.

백색 밸런스 보정이나 노출 제어에 이용하는 화면의 밝기를 검출하는 검출기가 카메라 장치에는 통상 구비되어 있다.

이 검출기는 입력 화소 신호를 색마다, 예를 들어, 1화면분 적산(적분)하는 회로이며, 휘도 신호와 색 신호로 분리하기 전 또는 후의 소정의 처리 회로내 위치에 설치된다. 예를 들어, 신호 처리 회로 내의 흑색 레벨 보정부의 뒤 등에 검출기가 설치된다. 그리고, 검출기로부터 출력되는 색마다의 1화면분의 적산값을 이용하여 백색 밸런스 보정을 행하거나, 또는 전색을 맞춘 1화면분의 적산값을 이용하여 노출 보정을 행한다.

그러나, 이 적산값을 구한 신호는 가시광 성분 이외에 IR 성분을 포함하기 때문에, 그 적산값에서 차지하는 IR 성분의 크기 또는 비율을 알 수 없으면, 일반적으로는 정확한 백색 밸런스 보정이나 노출 제어는 불가능하다.

그러한 IR 성분의 크기를 알 수 있는 수단으로서, JP-A-2005-354457에 기재된 방법 및 수단을 적용 가능하다.

그러나, JP-A-2005-354457에 기재된 방법 및 수단에서는, 적외 투사 촬영의 유무를 아는 등의 목적으로 대략 IR 성분의 크기를 검출하는데는 유용하지만, 백색 밸런스 보정이나 노출 제어 등 정확한 제어를 위한 밝기에 관한 데이터를 필요로 하는 카메라 제어 처리에 대해서는, 구한 IR 성분의 크기가 정확성이 결여되어 있다는 이유 때문에 비실용적이다.

JP-A-2005-354457에 기재된 "분광 감도 보정 수단"이 어떻게 IR 성분을 제거하는지가 불분명하다. 다만, 가시광 영역과 근적외광 영역의 경계보다 단파장 측을 통과시키는 필터를 이용하는 것이 일반적이며, 이것을 이용한다고 하면, 가시광 영역과 근적외광 영역이 연속되어 있기 때문에 가시광의 일부까지 제거하는 것 뿐만 아니라 IR 성분이 잔존하는 경우가 생긴다. 따라서, IR 성분 제거도 용이하지 않다. 따라서, 정확한 IR 성분의 크기는 비율을 구하는 것이 곤란하다.

따라서, 간단한 연산에 의해 화소 데이터로부터 IR 성분의 분리를 정확하고 직접적으로 실행하고, IR 성분의 크기 또는 IR 성분이 제거된 색 성분의 크기를 정확하게 찾을 필요가 있는지 여부에 따라서, 적산값을 적응적으로 검출하여 소정의 카메라 제어 처리를 정밀하게 실행할 수 있는 화상 입력 처리 장치를 실현하고자 하는 것이다.

본 발명의 일 실시예에 따른 화상 입력 처리 장치는 광학 대역 분리 필터와, 색필터와, 광센서부와, 데이터 분리부와, 적외 분리부와, 제1 적산부와, 제2 적산부와, 카메라 제어 처리부를 갖는다.

광학 대역 분리 필터는 근적외광의 소정 파장 대역을 차단하고, 해당 소정 파장 대역의 단파장 측 및 장파장 측의 대역을 통과시킨다.

광센서부는 광학 대역 분리 필터 및 상기 색필터를 투과하여 온 피사체로부터의 광(상)을 촬상하고, 촬상 신호를 발생한다. 이 색필터(의 반복 기본 단위)는 2색의 합이 다른 1색과 가시광 영역에서 등가, 또는 3색의 합이 다른 1색의 1배 또는 2배와 가시광 영역에서 등가로 되는 등가성을 갖는 4색 배치로 되어 있다.

데이터 분리부는 촬상 신호의 상기 4색 배치에 대응하는 화소 데이터를 4색의 색마다로 분리한다.

적외 분리부는 분리 후의 4색의 화소 데이터 사이에서, 4색 배치에 기초한 가시광 영역의 등가성을 이용한 감산에 의해, 광학 대역 분리 필터에 의해 분리된 장파장측 대역의 근적외광 성분을 화소 데이터로부터 분리한다.

제1 적산부는 데이터 분리부로부터 출력되어 적외 분리부로 입력되기 전의 복수의 화소 데이터를 색마다 적산한다. 제2 적산부는 적외 분리부로부터 출력되는 복수의 화소 데이터를 색마다 적산한다.

카메라 제어 처리부는 제1 적산부로부터의 색마다의 제1 적산값과 제2 적산 부로부터의 색마다의 제2 적산값의 크기를 비교하고, 비교 결과에 기초하여, 적외광 성분이 상대적으로 많은 화상과 적은 화상에 각각 적합한 카메라 제어 처리를 실행한다.

본 발명의 다른 실시예에 따르면, 바람직하게는, 제1 및 제2 적산부는 색적산값을 색마다 구하는 색적산부를 포함하고, 제2 적산부는 색적산값을 색마다 구하는 색적산부와 적외 분리부에서 추출된 근적외광 성분의 적산값(IR 적산값)을 구하는 IR 적산부를 포함한다.

본 발명의 다른 실시예에 따르면, 바람직하게는, 카메라 제어 처리부는, IR 적산값에 기초하여 근적외광 성분의 크기, 또는 화소 데이터에 포함되는 근적외광 성분의 비율에 관계되는 파라미터를 산출하고, 해당 파라미터의 크기에 따라, 카메라 제어 처리에 이용하는 색적산값을 제1 적산부 및 제2 적산부 중 어느쪽으로부터 얻을지를 결정한다. 이때, 카메라 제어 처리부는 제1 및 제2 적산부로부터 얻어지는 2개의 색적산값을 파라미터의 크기에 따른 비율로 혼합하고, 혼합 후의 색적산값을 카메라 제어 처리에 이용하는 색적산값으로서 이용할 수도 있다.

이상의 구성에 있어서, 본 발명의 화상 입력 처리 장치는 광학 대역 분리 필터를 구비하며, 광학 대역 분리 필터는 입사광에 대하여 근적외광의 소정 파장 대역을 차단하고, 해당 소정 파장 대역의 단파장 측 및 장파장 측의 대역을 통과시킨다.

광센서부로부터 출력되는 촬상 신호의 색분광 특성에서는, 통상 근적외광이 있는 파장으로부터 장파장 측에서 색이 상이하더라도 등가의 감도 특성으로 된다. 이것은 디바이스의 반도체 재료, 필터 재료의 물성적 한계(예를 들어, 포화성)에 기인한다고 생각된다.

한편, 사람의 눈은 근적외광 영역에서도 약 700㎚ 이상에서는 거의 감도를 갖지 않는다. 상기한 색이 상이하더라도 등가의 감도 특성으로 되는 주파수 하한은 700㎚보다 크고, 양자 사이의 주파수 영역은 색마다 감도가 상이하다.

본 발명의 실시예에서, 광학 대역 분리 필터는, 예를 들어, 이와 같이 사람의 눈에서는 거의 감도를 갖지 않지만 색마다 감도가 상이한 특정 파장 대역을 차단시키고, 해당 소정 파장 대역의 단파장 측 및 장파장 측의 대역을 통과시킴으로써, 입사광을 2개의 대역으로 분리한다. 그 대역 분리 기능을 잘 이용하면, 광학 대역 분리 필터 통과 후의 장파장 측의 대역에서 색 사이의 근적외광 성분이 등가로 된다.

광학 대역 분리 필터 통과 후의 광은 촬상 디바이스의 색필터에 입사된다. 색필터는 상술한 바와 같은 4색 배치를 갖고 있다. 색필터를 투과한 광이 광센서부에서 광전 변환되어, 촬상 신호가 출력된다. 촬상 신호는 데이터 분리부에서 색마다의 4색 화소 데이터로 분리된 후, 적외 분리부에 입력된다.

적외 분리부는 해당 4색의 화소 데이터 사이에서 연산을 행한다. 이때, 적외 분리부는 상기 색필터의 4색 배치의 특징, 즉, "2색의 합이 다른 1색과 가시광 영역에서 등가, 또는 3색의 합이 다른 1색의 1배 또는 2배와 가시광 영역에서 등가로 되는 등가성"과, 분리 후의 2대역의 장파장 측에서 근적외광 성분을 등가로 할 수 있는 구성을 이용하는 감산을 행함으로써, 화소 데이터로부터 장파장측 대역의 근적외광 성분을 분리한다.

적외 분리부는 근적외광 성분을 분리하여 출력할 수도 있고, 근적외광 성분을 제거한 3원색 데이터를 출력할 수도 있다.

근적외광 성분의 분리는 상기 등가성을 나타내는 2개 색의 세트(1색과 2색, 1색과 3색의 조합) 사이에서 행하는 감산에 의해 등가의 가시광 성분이 상쇄됨으로써 달성할 수 있다. 근적외광 성분을 제거한 3원색 데이터는 1색과, 2색 또는 3색에서 가시광 성분이 상쇄되도록 감산을 행함으로써 달성할 수 있다.

이렇게 하여 연산에 의해 정확히 근적외광 성분이 분리된 화소 데이터는 제2 적산부에서 적산되어, 제2 적산부로부터 제2 적산값이 출력된다.

한편, 적외 분리 전의 근적외광 성분을 포함하기 전의 화소 데이터는 제1 적산부에서 적산되어, 제1 적산부로부터 제1 적산값이 출력된다.

제1 및 제2 적산값은 카메라 제어 처리부에 입력되어, 색마다 비교된다(여기서, 최저 1색에서의 비교일 수도 있다).

그리고, 카메라 제어 처리부는 비교 결과에 기초하여 제1 및 제2 적산값 중 어느 한쪽을 결정하고(또는, 소정의 비율로 혼합한 새로운 적산값을 산출하고), 결정(또는 산출)된 적산값에 기초하여 소정의 카메라 제어 처리를 실행한다.

본 발명의 다른 실시예에 따른 화상 입력 처리 장치는, 색필터가 상기 등가성을 갖지 않는 보색계 4색(Ye, Cy, Mg, G)의 색필터이다. 이 경우, 적외 분리부는 분리 후의 4색의 화소 데이터 사이에서 감산을 행함으로써 상기 광학 대역 분리 필터에 의해 분리된 장파장측 대역의 근적외광 성분을 화소 데이터로부터 분리한 다. 제1 및 제2 적산부, 카메라 제어 처리부의 동작은 상기와 동일하다.

본 발명의 일 실시예에 따른 화상 입력 처리 방법은, 입사광에 대하여 근적외광의 소정 파장 대역을 차단하고, 소정 파장 대역의 단파장 측 및 장파장 측의 대역을 통과시키는 단계와, 2색의 합이 다른 1색과 가시광 영역에서 등가, 또는 3색의 합이 다른 1색의 1배 또는 2배와 가시광 영역에서 등가로 되는 등가성을 갖는 4색 배치의 색필터에 의해 입사광의 색을 선택하고, 색이 선택된 광을 색마다의 화소로 촬상하는 단계와, 촬상에 의해 얻어진 촬상 신호를 색마다의 화소 데이터로 분리하는 단계와, 색마다로 분리된 화소 데이터를 색마다 적산하는 제1 적산 단계와, 색마다의 화소 데이터 사이의, 4색 배치에 기초한 가시광 영역의 등가성을 이용한 감산에 의해 장파장측 대역의 근적외광 성분을 분리하는 단계와, 적외광 분리 후의 화소 데이터를 색마다 적산하는 제2 적산 단계와, 제1 적산 단계에서 얻어진 색마다의 제1 적산값과 제2 적산 단계에서 얻어진 색마다의 제2 적산값의 크기를 비교하는 단계와, 비교의 결과에 기초하여, 적외광 성분이 상대적으로 많은 화상과 적은 화상에 각각 적합한 카메라 제어 처리를 실행하는 단계를 포함한다.

본 발명의 실시예에 따르면, 근적외광 성분이 제거된 색성분(또는 근적외광 성분 자체)의 크기를 정확히 알 필요가 있는 경우와 없는 경우 등에서 적응적으로 그들의 적산값을 검출하고, 양호한 정밀도에 의해 소정의 카메라 제어 처리를 할 수 있다는 이익이 얻어진다.

이하, 본 발명의 실시형태를 도면을 참조하여 설명한다.

우선, 본 발명의 실시형태의 전제로 되는 고정밀도 적외 분리에 대해서 설명한다. 또한, 적외 분리에서는 입력 신호(촬상 신호)로부터 근적외광 성분(IR 성분)을 제거하는, IR 성분을 추출하여 출력하는 그 양쪽, 즉, IR 성분이 제거된 신호와 IR 성분의 양쪽을 출력할 수 있다.

상세 내용은 후술하지만, 본 발명의 특징 중 하나는 적외 분리부의 신호 입력측과 출력측의 각각에 적산부를 설치하고 있는 것이다. 구체적인 설명을 위해, 적외 분리에 의해 색보정을 행할 수 있는 카메라 장치에 대해서 먼저 이하에 설명하고, 그 후, 적외 분리부에 대한 적산부의 접속과 동작에 대해서 설명한다.

다만, 적외 분리를 행하는 목적은 다양하게 존재한다. 발명의 적용 범위는 색보정만을 위해 적외 분리부를 설치한다는 것에 한정되지 않는다.

<적외 분리의 기능을 갖는 카메라 장치>

도 1a 및 도 1b은 본 발명의 실시예에 따른 화소 신호 처리 회로를 내장한 카메라 장치의 블록도이다.

카메라 장치는 본 발명의 일 실시예의 "화상 입력 처리 장치"의 일 형태에 해당된다. 카메라 장치는 동영상 촬영을 주체로 한 비디오 카메라, 정지 영상을 주체로 한 디지털 스틸 카메라, 비디오 카메라 또는 디지털 스틸 카메라의 기능을 구비하는 다른 전자 기기 중 어느 것일 수도 있다.

도시된 카메라 장치는, 렌즈와 광학 필터를 포함하는 광학 부품(1); 촬상 디바이스(2); 아날로그의 화소 신호를 처리하는 아날로그 프런트 앤드(analog front end; AFE) 회로(3); 아날로그의 화소 신호를 디지털 신호로 A/D 변환하고, 디지털의 영상 신호로서 각종 신호 처리부에 출력하는 AD 컨버터(ADC)(5); 신호 처리부(4); 혼합 회로(YC_MIX)(9); 및 각종 신호 처리가 실행된 영상 신호를 아날로그 신호로 D/A 변환하고, 비디오 신호(14)로서 출력하는 DA 컨버터(DAC)(12)를 갖는다.

광학 부품(1)은 렌즈, 조리개 등을 렌즈 배럴(barrel)에 수납시키고 있는 부품이다. 광학 부품(1)은 초점 제어 및 노광량 제어를 위한 조리개 제어가 가능하다. 노광 제어를 위한 조리개 구동부, 자동 포커싱을 위한 구동부, 그들의 제어 회로도 광학 부품(1) 내에 포함된다.

촬상 디바이스(2)는 CCD 센서 또는 CMOS 이미지 센서이다. 촬상 디바이스(2)는 광학 부품(1)을 통하여 입사된 피사체로부터의 광(상)을 자체가 갖는 촬상면에 결상할 수 있도록 카메라 장치 본체 내에 고정되어 있다. 또한, 촬상 디바이스(2)는 광센서의 화소를 매트릭스 형상으로 다수 배치시킨 화소 어레이와, 해당 화소 어레이의 촬상면의 광입사 측에 인접한 몇 개의 광센서 집합(화소 유닛)에 의해 일정한 배열로 되도록 형성된 색필터(2A) 또는 온칩(on-chip) 및 다층 필터(2B)를 갖고 있다.

도 1a 및 도 1b에 나타낸 카메라 장치는 광학 대역 분리 필터를 포함한다.

광학 대역 분리 필터는 근적외광의 소정 파장 대역을 차단하고, 해당 소정 파장 대역의 단파장 측 및 장파장 측의 대역을 통과시키는 대역 분광 특성을 갖는다.

도 1a에 나타낸 바와 같이, 광학 대역 분리 필터(1A)를 촬상 디바이스(2)와는 별도로, 예를 들어 광학 부품(1) 내에 설치할 수 있다. 이 경우, 촬상 디바이스(2)의 수광부의 광입사 측에 색필터(2A)가 형성되어 있다.

또는, 도 1b에 나타낸 바와 같이, 촬상 디바이스(2)의 수광부의 광입사 측에 형성되어 있는 온칩 및 다층 필터(2B)에 색필터와 함께 광학 대역 분리 필터를 일체로 형성할 수도 있다.

도 2(a)에 백색(W) 화소를 포함하는 원색계 CCD 디바이스의 분광 특성을 나타낸다. 또한, 도 2(b)에 백색(W) 화소를 포함하는 보색계 CCD 디바이스의 분광 특성을 나타낸다. 이들 그래프는 횡축이 입사광의 파장을 나타내고, 종축이 백색(W) 화소 출력의 피크를 "1"로 한 경우의 상대적인 투과율을 나타낸다.

촬상 디바이스는, 근적외광 영역의 하한(700∼800㎚)보다 주파수가 높은 영역에서도 적색(R), 녹색(G), 청색(B) 및 백색(W)의 각각에서 감도를 갖는 것을 도 2(a) 및 도 2(b)로부터 알 수 있다. 근적외광 영역의 정의는 변할 수 있지만, 일반적으로는 750∼780㎚ 부근 이상이 근적외광 영역으로 된다.

도 2(a)에 분광 특성을 나타내는 원색계 CCD 디바이스는 파장이 800㎚를 조금 초과하는 부근으로부터 장파장 측, 예를 들어 820㎚ 이상에서 적색(R), 녹색(G), 청색(B) 및 백색(W)의 감도가 거의 일치하게 된다.

이것에 대하여, 도 2(b)에 분광 특성을 나타내는 보색계 CCD 디바이스는 파장이 850㎚ 부근으로부터 장파장 측에서 Ye(황색), Cy(청록색), Mg(자홍색), G(녹색) 및 W(백)의 감도가 거의 일치하게 된다.

이렇게 촬상 디바이스에서 색감도가 장파장 측에서 일치하는 것은 반도체의 물성에 기인하지만, 색이 일치하는 영역의 하한의 파장은 도시한 바와 같이 원색계나 보색계의 장치, 또한 촬상 디바이스의 종류에 따라 상이하다.

일반적으로는, 촬상 디바이스의 광입사 측의 광학 부품으로서 적외선 차단 필터가 배치된다. 사람의 눈이 거의 감도를 갖지 않는 700㎚ 부근 이상의 가시광 영역과 근적외광 영역의 경계를 포함하는 파장 범위를 거의 투과율 0 부근까지 감쇠시키기 위해, 적외선 차단 필터의 차단 파장은 650㎚ 부근으로 설정된다.

본 실시예에서는 그러한 적외선 차단 필터를 이용하지 않고, 도 1a에 나타낸 바와 같이 광학 대역 분리 필터(1A) 등을 이용한다.

도 3a에 광학 부품 중의 하나로서 촬상 디바이스(2)와는 별도로 설치되어 있는 광학 대역 분리 필터(1A)(도 1a)의 분광 특성을 나타낸다. 또한, 도 3b에 촬상 디바이스(2)의 온칩 및 다층 필터(2B)에 포함되는 광학 대역 필터(도 1b)의 분광 특성을 나타낸다.

이들 그래프는 횡축을 파장(㎚), 종축을 투과율(1을 100% 투과로 한다)로 잡은 것이다.

광학 부품인 광학 대역 분리 필터(1A)의 경우, 도 3a에 나타낸 바와 같이, 투과율이 1로부터 20∼30% 저하된 개소에서 차단 파장을 정의하면, 차단 대역이 약 650∼820㎚의 파장 범위로 된다. 이 차단 대역보다도 단파장 측이 가시광의 통과 대역이고, 장파장 측이 근적외광의 통과 대역으로 되어 있다. 이 분광 특성의 광학 대역 분리 필터(1A)를 통과한 광을 실제로 촬상 디바이스(2)에서 수광하면, 차 단 대역 폭의, 예를 들어 700㎚ 부근으로부터 820㎚ 부근의 광이 차단된다.

이 차단 대역의 파장 범위는, 도 2(a)에 나타낸 원색계 CCD 디바이스의 색 사이에서 감도가 일치하는 장파장 영역의 하한(820㎚)에 대응한 것이다.

한편, 온칩 및 다층 필터의 경우, 도 3b에 나타낸 바와 같이, 다층막의 영향에 의해 주기적인 변동이 크고, 또한 급준한 차단 대역을 형성하기 어렵다. 통상 온칩 및 다층 필터에서는 장파장 측의 제어가 곤란하며, 도시한 바와 같이, 장파장 측의 차단 대역이 900㎚ 부근으로 되어 있다. 다만, 이 분광 특성의 광학 대역 분리 필터(1A)를 통과한 광을 실제로 촬상 디바이스(2)에서 수광하면, 차단 대역 폭보다 내측의, 예를 들어 700㎚ 부근으로부터 850㎚ 부근의 광이 차단된다. 즉, 이 차단 대역의 파장 범위는 도 2(b)에 나타낸 보색계 CCD 디바이스의 색 사이에서 감도가 일치하는 장파장 영역의 하한(850㎚)에 대응한 것이다.

이들 도 3a 및 도 3b의 분광 특성은 사용하는 촬상 디바이스에 대응하여 설계되어 있다. 즉, 도 2(a)와 도 2(b)에 나타낸 촬상 디바이스의 분광 특성에서, 820㎚ 부근 이상 또는 850㎚ 부근 이상의 장파장 측에서 색 사이의 감도가 거의 일치하는 점에 주목하여, 실제 디바이스에서 820㎚ 부근 이상 또는 850㎚ 부근 이상의 근적외광 성분이 통과할 수 있도록 필터 분광 특성이 설계되어 있다.

또한, 도 2(a), 2b, 3a 및 도 3b는 일례이며, 디바이스의 분광 특성이 바뀌면, 그에 적합한 광학 대역 통과 필터의 특성으로 되도록 변경을 가할 수도 있다. 또한, 색필터의 색배치의 상세 내용은 후술하지만, 원색계 화소와 보색계 화소가 혼재할 경우에는, 색이 일치하는 파장 하한이 보다 큰 보색계 화소에 대응하는 850 ㎚ 부근 이상에서 근적외광 성분이 통과할 수 있도록 필터 분광 특성이 설계된다.

촬상 디바이스(2)가 CCD 센서인 경우, 도 1에 나타낸 바와 같이, 촬상 디바이스(2)에 타이밍 제너레이터(TG)(13)가 접속되어 있다. 촬상 디바이스(2)는 TG(13)로부터의 클록 신호, 수직 동기 신호, 수평 동기 신호를 입력할 수 있게 되어 있다. 촬상 디바이스(2)가 CCD인 경우, 수직 동기 신호나 수평 동기 신호와 동기한 전송 펄스도 TG(13)로부터 공급된다.

TG(13)는 이들 타이밍 제어를 위한 신호를 마이크로컴퓨터(10)의 제어를 받아 시스템 로킹(locking) 신호로부터 발생시키는 회로이다. 촬상 디바이스(2)는 이들 타이밍 제어를 위한 신호에 의해 전송 동작이나 셔터 스피드 변경 등의 각종 동작이 제어된다.

또한, 촬상 디바이스(2)가 CMOS 센서인 경우, TG(13)의 기능은 촬상 디바이스(2) 내에 부여할 수 있다.

색필터(2A)는 적어도 4색의 색이 광센서(화소)마다 할당되어 있다. 본 발명의 실시형태에서는 화소 어레이의 반복 기본 단위로 되는, 인접한 몇 개의 화소 집합을 화소 유닛이라 칭한다. 본 실시형태에서는 4색 이상의 색이 1화소 유닛에 배치되어 있다. 후술하는 적외 분리의 연산을 위해서는, 적어도 4색이 필요하기 때문에 4색 이상을 요건으로 하지만, 불필요하게 색이 많으면 화소 유닛의 점유 면적이 커서 해상도가 저하되기 때문에, 4색 배치가 바람직하다. 이하, 4색 배치를 전제로 한다. 또한, 색의 조합과 색 데이터의 사용법(연산 방법)에 대해서는 상세하게 후술한다.

촬상 디바이스(2)로부터의 화소 신호(아날로그 신호)가 입력되는 AFE 회로(3)는 아날로그 신호에 대하여 행해야 할 처리, 예를 들어 상관 2중 샘플링에 의한 리세트 노이즈의 제거(CCD의 경우), 그 밖의 노이즈 제거, 증폭 등을 행하는 회로이다.

ADC(5)는 처리 후의 아날로그 신호를 소정 비트, 예를 들어 8, 10비트 등의 디지털 신호로 변환한다. 이 디지털 신호는 화소마다 상기 소정 비트의 계조값을 갖는 화소 신호 열이 포함된다. 예를 들어, ADC(5)로부터 출력되는 디지털 신호에는 A화소 신호와 다른 색의 화소 신호가 번갈아 배치된 화소 신호 열이 포함된다.

신호 처리부(4)는, ADC(5)로부터의 디지털 촬상 신호를 처리하는 부분으로서, 데이터 분리부(541)와 적외 분리부(548)를 포함한다.

데이터 분리부(541)는 디지털 촬상 신호의 4색 배치에 대응하는 화소 데이터를 4색의 색마다로 분리하는 회로이다.

적외 분리부(548)는, 분리 후의 4색의 화소 데이터 사이에서, 4색 배치에 기초한 감산에 의해, 광학 대역 분리 필터에 의해 분리된 장파장측 대역의 근적외광 성분을 화소 데이터로부터 분리하는 회로이다.

데이터 분리부(541)와 적외 분리부(548)의 보다 상세한 기능 및 동작에 대해서는 후술한다.

신호 처리부(4)는, 예를 들어 반도체 칩으로서 IC로 형성되거나, 또는 복수의 부품이 실장된 모듈이나 실장 기판으로서 제공되고, 해당 카메라 장치에 내장될 수도 있다. 신호 처리부(4)는 ADC(5)와 DAC(12) 사이에 접속되고, 상술한 데이터 분리나 적외 분리 이외에 각종 신호 처리를 행한다. 각종 신호 처리로서는, 신호 증폭, 노이즈 저감(NR) 처리, 휘도 신호와 색 신호의 분리, 휘도 신호 처리, 색 신호 처리 등을 예시할 수 있다. 신호 처리부(4)와 DAC(12) 사이에 처리 후의 휘도 신호와 색 신호의 혼합 회로(9)가 접속되어 있다. 신호 처리부(4)와 혼합 회로(9)를 포함시켜 신호 처리부(4)로 할 수도 있고, 또한 IC화 또는 모듈화를 할 수도 있다.

다음으로, 4색 배치의 색의 조합과 그 조합마다 적외 분리부(548)가 행하는 연산의 내용에 대해서 설명한다.

후술하는 바와 같이, 적외 분리부(548)는 감산을 포함하는 간단한 연산을 실행할 뿐이며, 마이크로컴퓨터(10)와 프로그램의 기능으로부터 실현할 수도 있고, 전용 회로일 수도 있다. 다만, 마이크로컴퓨터(10)의 처리 부담이 증가하면 바람직하지 않고, 마이크로컴퓨터(10)에서 행할 경우는 인터럽트 처리이므로 처리 동기를 취하기 어렵다. 따라서, 감산기 등을 포함하는 논리 회로에 의해 적외 분리부(548)를 실현하는 것이 바람직하다. 적외 분리부(548)의 회로는 간단한 (가산 및) 감산을 행할 뿐이기 때문에, 이하의 설명에서는 회로도를 도시하지 않고 연산식에 의해 구성도의 대용으로 한다.

도 4에 4색 배치에서의 색의 조합을 분류한 도표를 나타낸다. 도 5는 색분리를 위한 처리 순서를 나타낸 플로차트이다.

도 5에 나타낸 단계 ST1에서, 도 1a의 광학 대역 분리 필터(1A), 또는 도 1b의 온칩 및 다층 필터(2B) 내의 광학 대역 분리 필터에 의해 피사체로부터의 광 (상)을 저파장 측의 가시광 대역과 장파장 측의 근적외광 대역으로 분리한다(도 3a 및 도 3b 참조).

이어서, 도 5에 나타낸 단계 ST2에서, 4색 배치의 색필터(2A)(도 1a) 또는 온칩 및 다층 필터(2B) 내의 4색 배치의 색필터에 의해, 색분리를 위한 색 필터링을 행하여 촬상 디바이스(2)의 수광부에서 촬상한다.

촬상에 의해, 상기 4색 배치에 대응하는 순서로 화소 데이터를 포함하는 촬상 신호가 촬상 디바이스(2)로부터 출력된다.

그 후, 촬상 신호에 대하여 도 1a에 나타낸 AFE 회로(3)에서 소정의 아날로그 신호 처리가 실시되고, ADC(5)에서 디지털 촬상 신호(소정 비트의 계조값을 나타내는 직렬 부호)로 변환되어, 신호 처리부(4)에 입력된다.

신호 처리부(4)에서는, 필요한 처리가 행해진 후에, 도 5에 나타낸 단계 ST3에서, 데이터 분리부(541)(도 1a)에 의해 디지털 촬상 신호가 색마다의 화소 데이터로 분리된다. 즉, 4색 배치에서는 4개의 색마다의 화소 데이터가 해당 데이터 분리부(541)로부터 병렬로 출력된다.

도 5에 나타낸 단계 ST4에서, 4개의 색마다의 화소 데이터 사이에서 소정의 연산을 실행하여 적외 분리를 행한다. "적외 분리"는 화소 데이터로부터 근적외광 성분(IR 성분)을 추출하여 "IR 성분만 출력하는", "IR 성분이 제거된 색 데이터만 출력하는", "그 양쪽을 출력하는"의 3가지 의미를 포함한다. 그 어느 쪽의 의미인지는 적외 분리 후의 데이터를 이용하는 처리 내용에 의존한다. 예를 들어, IR 성분의 크기를 알기 위해 해당 적외 분리를 행할 경우는, IR 성분만을 출력한다. 한 편, 예를 들어 IR 성분을 제거하여 색보정을 행할 경우는, IR 성분이 제거된 색 데이터만을 출력한다. 또한, 예를 들어 색보정 이외에, IR 성분을 다른 목적으로 이용할 경우에는, IR 성분과 IR 성분이 제거된 색 데이터를 각각 별도로 출력한다.

상기 처리 방법에 있어서, 단계 ST2에서 행하는 색 필터링에서는 도 4에 나타낸 바와 같은 다양한 색의 조합을 생각할 수 있다.

여기서, 화소 신호에 포함되는 IR 성분은 엄밀하게는 색마다 상이하지만, 상술한 바와 같이 광학 대역 분리 필터에 의해 분리된 근적외광 대역에서는 거의 동일하다(등가)고 간주할 수 있고, 화소 신호에 포함되는 이 등가의 IR 성분을 "(ir)"로 표기한다. 또한, 보색은 Ye, Cy, Mg 중의 어느 하나를 가리킨다.

도 4의 색의 조합에서는, 보색계 "Ye, Cy, Mg, G"를 제외한 모두가 "2색의 합이 다른 1색과 가시광 영역에서 등가, 또는 3색의 합이 다른 1색의 1배 또는 2배와 가시광 영역에서 등가로 된다"는 정의의 등가성을 충족시킨다. 이하, 도 4에 열거한 색의 조합과 등가성, 및 그 색의 조합에서의 적외 분리 시의 연산에 대해서 차례로 설명한다.

<1보색, 2원색 및 백색>

1개의 보색과, 2개의 원색과, 1개의 백색(W)에 의해 4색 배치가 구성된다. 구체적으로는, 도 4에 나타낸 바와 같이, "Ye, R, G, W", "Cy, B, G, W", "Mg, B, R, W"의 3가지가 있다.

예를 들어, "Ye, R, G, W"에서는, 화소 데이터 분리 후의 (R+(ir)) 데이터와 (G+(ir)) 데이터의 세트와 (Ye(=R+G)+(ir)) 데이터가 "2색의 합이 다른 1색과 가시 광 영역에서 등가라는 요건에 합치되기" 때문에, 상술한 등가성을 충족시킨다. 마찬가지로, 다른 2가지도 이 요건을 충족시켜 등가성을 만족한다.

도 6a에 촬상 디바이스(2)의 "1보색, 2원색 및 백색"의 4색 배열 예("Ye, R, G, W")를 나타낸다.

여기서 중요한 것은 색의 조합이며, 어느 색성분을 가장 많이 배치하는가는 상관없다. 다만, 백색(W) 데이터는 3원색 데이터의 합(=R+G+B)과 등가이기 때문에 정보량이 가장 많아 고감도 화소 신호로서, 예를 들어 에지 검출이나 휘도 신호의 발생에 유용하다. 따라서, 가장 고감도 화소로 되는 색을 보다 많이 배치하는 것이 바람직하다. 또한, 보다 고감도로 하기 위해서는, 백색(W) 화소 데이터만은 등가 IR 성분(ir)을 제거하지 말고 다음 단계의 처리에 공급하는 것이 바람직하다.

도 6b에 해당 "Ye, R, G, W"의 색필터를 온칩 및 다층 필터(2B) 내에 갖는 촬상 디바이스(2)(도 1b)로부터의 촬상 신호의 색분광 특성을 나타낸다.

도시한 색분광 특성의 촬상 신호는 광학 대역 분리 필터와 색필터를 투과하여 촬상(광전 변환)함으로써 얻어진 것이다. 다만, 온칩 및 다층 필터(2B)의 분광 특성은 촬상 디바이스(2)에 적층하는 것이 가능한 막 재료, 막 두께, 적층 방법 등의 제한 때문에 도 3b에 나타낸 바와 같이 차단 대역(파장; 650∼850㎚)에서 완전한 차단 특성이 얻어지지 않는다. 따라서, 도 6b에 나타낸 바와 같이, 촬상 신호에서의 색분광 특성에서, 파장 700∼800㎚ 부근에서는 G(녹색)와 다른 색의 감도가 다소 상이하다. 그러나, 800㎚ 부근 이상의 파장에서는, 도 3b에 나타낸 바와 같이 투과율을 상승시켜 도 2(a) 및 도 2(b)에 나타낸 색 사이의 감도가 일치하는 촬 상 디바이스의 특성을 잘 반영시킴으로써, 색 사이의 감도 편차를 거의 없앤 특성을 실현할 수 있다.

본 실시예에서는, 이 점에 주목하여 화소 데이터 사이에서 다음과 같이 하여 IR 광성분의 캔슬을 행한다.

도 1a에 나타낸 데이터 분리부(541)가 촬상 디바이스(2)로부터의 촬상 신호를 색마다의 화소 데이터로 분리한 후, 적외 분리부(548)가 다음 식 (1-1)∼(1-3)에 나타낸 감산을 실행한다.

(Ye+(ir))-(G+(ir))=R … (1-1)

(Ye+(ir))-(R+(ir))=G … (1-2)

(W+(ir))-(Ye+(ir))=B … (1-3)

이 식으로부터 알 수 있듯이, 단순히 2색 사이의 감산에 의해 등가 IR 성분(ir)이 캔슬된다.

한편, 등가 IR 성분(ir)을 추출하고 싶을 경우는, 화소 데이터 (R+(ir))로부터 상기 (1-1)에서 구한 R 데이터를 감산하거나, 또는 화소 데이터 (G+(ir))로부터 상기 (1-2)에서 구한 G 데이터를 감산한다.

도 7에 적외 분리 연산 후의 3원색 데이터의 색분광 특성을 나타낸다.

도 7로부터, 특히 800㎚ 이상에서는 IR 광성분이 거의 완전하게 캔슬되고, 700∼800㎚의 경계 영역에서도 색 사이의 편차는 충분히 억제되고 있다. 이 경계 영역에서 사람의 색감도는 거의 없어, 색의 편차를 직접 인식할 수 없다. 또한, IR 광성분이 거의 캔슬되고 있기 때문에, 색에 오프셋이 작용하여 전체가 흰빛을 띠게 되는 효과적으로 방지된 색보정이 실행된다.

그런데, 도 2(b)에 특성을 나타낸 온칩 및 다층 필터(2B)(도 1b)는, 일반적으로 생산 로트(lot), 반도체 기판 상의 촬상 디바이스(2)의 위치, 촬상 디바이스(2) 내의 화소 위치 등에 의존하여 변동되는 것이 알려져 있다. 또한, 온칩 및 다층 필터(2B)가 형성된 촬상 디바이스(2)의 특성, 화소의 특성에 따라서도 얻어지는 촬상 신호의 특성이 다소나마 변동된다. 그러나, 1매의 웨이퍼에 형성된 1개의 촬상 디바이스(2) 내에서 인접하는 화소의 편차는 무시할 수 있을 정도로 작다. 따라서, 화소 유닛 내에서의 4색 배치의 화소간의 데이터 사이에서는 상술한 식 (1-1)∼(1-3)에 나타낸 연산이 항상 유효하게 된다.

도 8(a)에 저색온도(3000K)의 광원 하에서의 촬상에서 얻은 촬상 신호의 색분광 특성을 나타내며, 8b에 도 8(a)에 나타낸 특성의 촬상 신호를 데이터 분리하고, 상기 식 (1-1)∼(1-3)에 따른 감산을 행한 후의 화소 데이터의 색분광 특성을 나타낸다.

또한, 도 9(a)에 LED 조명에 의한 촬상에서 얻은 촬상 신호의 색분광 특성을 나타내며, 도 9(b)에 도 9(a)에 나타낸 특성의 촬상 신호를 데이터 분리하고, 상기 식 (1-1)∼(1-3)에 따른 감산을 행한 후의 화소 데이터의 색분광 특성을 나타낸다.

도 8(a), 도 8(b), 도 9(a) 및 도 9(b)로부터, 광원의 종류에 따라 가시광의 감도가 크게 상이하고, 근적외광에서도 감도 레벨이 상이하지만, 상기 도면에서 파선의 타원에 의해 나타낸 바와 같이, 광원을 막론하고 약 800㎚ 이상의 IR 성분을 캔슬할 수 있음을 알 수 있다.

도 8(a) 및 도 8(b)의 광원 하에서의 촬상 시에, 도 9(a) 및 도 9(b)에 나타낸 보조 조명을 이용하여 피사체를 조명하고, 가시광에서의 감도를 증대시켜 신호의 고감도화를 도모하는 응용이 가능하다. 이 경우에도, 도 8(a), 도 8(b), 도 9(a) 및 도 9(b)로부터, IR 성분의 캔슬이 효과적으로 기능하는 것을 용이하게 유추할 수 있다.

이상은 도 4의 도표에서의 최초의 "1보색, 2원색 및 백색"의 예로서 "Ye, R, G, W"에 대한 처리와 그 효과에 대한 기술인데, 연산식이 상이하지만 처리의 기본과 IR 성분 캔슬의 이유는 다른 색 조합에서도 공통된다. 또한, 광원을 선택하지 않고 IR 성분의 캔슬이 가능한 것, LED 보조 조명을 행하여도 IR 성분 캔슬이 효과적으로 기능하는 것은 색의 조합을 막론하고 동일하다. 따라서, 이하, 도 4의 그 밖의 색 조합에 대해서 주로 색 조합이 등가성을 만족하는 것과 연산식을 열거하고, 몇 개의 색 조합에 대해서는 연산 전후의 특성 그래프를 나타낸다.

<2보색, 1원색 및 백색>

2개의 보색과, 1개의 원색과, 1개의 백색(W)에 의해 4색 배치가 구성된다. 구체적으로는, 도 4에 나타낸 바와 같이, "Ye, Cy, R, W", "Ye, Cy, B, W", "Ye, Mg, G, W", "Ye, Mg, B, W", "Cy, Mg, R, W", "Cy, Mg, G, W"의 6가지가 있다.

예를 들어 "Ye, Cy, R, W"에서는, 화소 데이터 분리 후의 (Cy(=B+G)+(ir)) 데이터와 (R+(ir)) 데이터의 세트와 (W(=R+G+B)+(ir)) 데이터가 "2색의 합이 다른 1색과 가시광 영역에서 등가라는 요건에 합치되기" 때문에, 상술한 등가성을 충족 시킨다. 마찬가지로, 다른 5가지도 이 요건을 충족시켜 등가성을 만족한다.

연산식은 다음 식 (2-1)∼(2-3)에 나타낸 것을 이용하고, 이 연산 과정에서 3원색 데이터를 구할 때에 등가 IR 성분(ir)을 캔슬한다. 구한 원색 데이터를 사용하여 등가 IR 성분(ir)을 구하기 위해서는 다음 식 (2-4)를, 원색 데이터를 구하지 않고 처음부터 등가 IR 성분(ir)을 구할 경우는 등가성을 이용한 다음 식 (2-5)를 각각 이용한다.

(W+(ir))-(Cy+(ir))=R … (2-1)

(Cy+(ir))-(R+(ir))=G … (2-2)

(W+(ir))-(Ye+(ir))=B … (2-3)

(R+(ir))-R=(ir) … (2-4)

{(Cy+(ir))+(R+(ir))}-(W+(ir))=(ir) … (2-5)

<3보색 및 백색>

3개의 보색과 1개의 백색(W)에 의해 4색 배치가 구성된다. 구체적으로는, 도 4에 나타낸 바와 같이, "Ye, Cy, Mg, W"의 1가지가 있다.

"Ye, Cy, Mg, W"에서는, 화소 데이터 분리 후의 (Ye(=R+G)+(ir)) 데이터와 (Cy(=B+G)+(ir)) 데이터와 (Mg(=B+R)+(ir)) 데이터의 세트와 (W(=R+G+B)+(ir)) 데이터가 "3색의 합이 다른 1색의 2배와 가시광 영역에서 등가라는 요건에 합치되기" 때문에, 상술한 등가성을 충족시킨다.

연산식은 다음 식 (3-1)∼(3-3)을 이용하고, 3원색 데이터를 구할 때에 등가 IR 성분(ir)을 캔슬한다. 원색 데이터를 구하지 않고 처음부터 등가 IR 성분(ir)을 구할 경우는 등가성을 이용한 다음 식 (3-4)를 이용한다.

(W+(ir))-(Cy+(ir))=R … (3-1)

(W+(ir))-(Mg+(ir))=G　 … (3-2)

(W+(ir))-(Ye+(ir))=B … (3-3)

[{(Ye+(ir))+(Cy+(ir))+(Mg+(ir))}-(W+(ir))]/2=(ir) … (3-4)

<3원색 및 백색>

3개의 원색과 1개의 백색(W)에 의해 4색 배치가 구성된다. 구체적으로는, 도 4에 나타낸 바와 같이, "R, G, B, W"의 1가지가 있다.

"R, G, B, W"에서는，화소 데이터 분리 후의 (R+(ir)) 데이터와 (G+(ir)) 데이터와 (B+(ir)) 데이터의 세트와 (W(=R+G+B)+(ir)) 데이터가 "3색의 합이 다른 1색의 1배와 가시광 영역에서 등가라는 요건에 합치되기" 때문에, 상술한 등가성을 충족시킨다.

이 색 조합에서는, 우선 등가 IR 성분(ir)을 구하고 나서, 그 후에, 등가 IR 성분(ir)을 캔슬하는 제1 방법과, 3원색 데이터를 (3보색+G)의 보색계 데이터로 변환하고 나서, 통상의 보색계로부터 원색 신호를 구하는 방법에 의해 등가 IR 성분(ir)이 캔슬된 3원색 데이터를 구하는 제2 방법을 채용할 수 있다. 제1 방법은 후술하는 제2 실시형태에서 설명하기 때문에, 여기서는 제2 방법을 특성 그래프를 적절히 이용하면서 설명한다.

제2 방법에서는 최초로 보색계 데이터를 구하지만, 이때, 3보색 데이터(Ye, Cy, Mg)에 대해서는 다음 식 (4-1)∼(4-3)을 이용한다. 이들 식으로부터, 구해진 3보색 데이터(Ye, Cy, Mg)로부터 등가 IR 성분(ir)이 캔슬되는 것을 용이하게 알 수 있다.

(W+(ir))-(B+(ir))=Ye … (4-1)

(W+(ir))-(R+(ir))=Cy … (4-2)

(W+(ir))-(G+(ir))=Mg … (4-3)

다음으로, 등가 IR 성분(ir)을 포함하지 않는 3보색 데이터(Ye, Cy, Mg)를 이용하여, 보색계 데이터의 나머지 녹색(G) 데이터를 다음 식 (5)에 의해 구한다.

(Ye+Cy-Mg)/2=G … (5)

도 10(a)와 도 10(b)에 상기 식 (4-1)∼(4-3) 및 식 (5)에 의한 연산 전후에서의 화소 데이터의 색분광 특성을 나타낸다. 다만, 이 특성이 얻어졌을 때의 입사광은 광학 부품으로서 배치되어 있는 광학 대역 분리 필터(1A)로부터의 광이다. 즉, 대역 분리 특성은 도 3a에 나타낸 것이 사용된다.

이들 도면으로부터, 양호한 대역 분리 특성을 반영하여, 약 700㎚ 부근 이상은 거의 제로(zero)로 동일해져 등가 IR 성분(ir)이 캔슬되고 있음을 알 수 있다.

다음으로, 구한 보색계 4데이터로부터 3원색을 다음 식 (6-1)∼(6-3)에 의한 연산으로 구한다.

(Ye+(ir))-(G+(ir))=R … (6-1)

(Cy+(ir))-(G+(ir))=B … (6-2)

(Ye+(ir))-R=G … (6-3)

이 식으로부터 알 수 있듯이 2색 사이의 감산에 의해 등가 IR 성분(ir)이 캔슬된다.

한편, 등가 IR 성분(ir)을 추출하고 싶을 경우는, 화소 데이터 (G+(ir))로부터 상기 식 (6-3)에서 구한 G 데이터를 감산한다.

도 11(a) 및 도 11(b)에 상기 식 (6-1)∼(6-3)에 의한 연산 전후에서의 화소 데이터의 색분광 특성을 나타낸다. 이때, 대역 분리 특성은 도 3a에 나타낸 것이 사용된다.

이들 도면으로부터, 양호한 대역 분리 특성을 반영하여, 약 700㎚ 부근 이상은 거의 제로로 동일해져 등가 IR 성분(ir)이 캔슬되고 있음을 알 수 있다.

얻어진 3원색 데이터를 이용하여 등가 IR 성분(ir)을 추출하기 위해서는, 도 12(a1)에 나타낸, 데이터 분리 후의 {R+(ir), G+(ir), B+(ir)} 데이터로부터 도 12(a2)에 나타낸, 상기 식 (6-1)∼(6-3)에 의해 구한 (R, G, B) 데이터를 적어도 1색 감산한다. 이것에 의해, 도 12(b)에 나타낸 바와 같이 등가 IR 성분(ir)만의 추출이 가능하다.

이상이 백색(W)을 4색 배치에 포함하는 바람직한 경우의 설명이다.

다음으로, 도 4에 나타낸 백색(W)을 포함하지 않는 다른 색의 조합에 대해서 간단하게 설명한다.

<1보색 및 3원색>

이 색의 조합은 도 4에 나타낸 3가지가 있으며, 예를 들어 "Ye, R, G, B"에서는，(R+(ir)) 데이터와 (G+(ir)) 데이터의 세트와 (Ye(=R+G)+(ir)) 데이터가 "2색의 합이 다른 1색과 가시광 영역에서 등가라는 요건에 합치되기" 때문에, 상술한 등가성을 충족시킨다.

연산은, 예를 들어 상술한 식 (1-1)과 (1-2)로부터 R과 G를 구하고, {(R+(ir)+(G+(ir)) 데이터와 (Ye+(ir)) 데이터의 차분(差分)으로부터 (ir)을 구하여, 이것을 (B+(ir)) 데이터로부터 뺌으로써 B 데이터를 구한다.

<2보색 및 2원색>

이 색의 조합은 도 4에 나타낸 바와 같이, 예를 들어 "Ye, Cy, G, R"이 있으며, 이 예에서는 (R+(ir)) 데이터와 (G+(ir)) 데이터의 세트와 (Ye(=R+G)+(ir)) 데이터가 "2색의 합이 다른 1색과 가시광 영역에서 등가라는 요건에 합치되기" 때문에, 상술한 등가성을 충족시킨다.

연산은, 예를 들어 {(G+(ir))+(B+(ir))}-(Cy+(ir))의 식으로부터 (ir)을 구하는 방법과, <1보색 및 3원색>과 마찬가지로 G 데이터와 R 데이터를 먼저 구하고 나서 (ir)을 추출하는 방법이 있다.

<보색계>

이것은 식 (6-1)∼(6-3)에서 구할 수 있고, 등가 IR 성분(ir)의 추출도 마찬가지로 가능하다.

다만, 처음부터 색필터가 보색계일 경우는, 앞서 기술한 등가성은 만족하지 않는다.

본 실시형태에서는, 도 2(a) 및 도 2(b)에 나타낸 촬상 디바이스의 분광 특성으로부터, 각 색성분의 분광에 대해서 어느 일정 파장 이상의 분광 곡선이 거의 등가의 분포 형상으로 되는 것을 이용하여 R, G, B의 원색 데이터를 구하는 연산을 행할 때에, 근적외의 누설 광성분을 캔슬할 수 있다. 이때, "근적외 영역의 각 컬러 필터의 감도가 등가가 아닌 파장 영역(예를 들어, 650∼850㎚)을 차단하고, 그 단파장측 대역과 장파장측 대역을 통과시키는 광학 대역 분리 필터와 상술한 등가성을 유지한 4색 배치의 색필터를 조합하여 이용함으로써, 매우 간단한 연산에서도 효율적으로 정확하게 IR 성분을 제거한 3원색 데이터의 출력이 가능하다.

또한, 본 실시형태에서는 IR 성분을 포함한 촬상 신호로부터 상기 적외 분리 처리에서 취출한 가시광 성분을 감산함으로써, IR 성분만으로 이루어지는 화상도 취득 가능해져 "가시광", "IR 화상"을 1매의 촬상 디바이스에 의해 분리하여 취득하는 것이 가능한 카메라 장치를 제공할 수 있다.

도 1a에 나타낸 카메라 장치의, 예를 들어 신호 처리부(4) 내에는, 특별히 도시하지 않지만, 소정의 카메라 제어 처리를 위해 촬상 화면의 밝기 정보를 검출하는 수단이 설치되어 있다. 소정의 카메라 제어 처리로서는, 적외 분리에 의해 색보정이 실행된 R, G, B 원색 데이터 사이에서 행하는 백색 밸런스 보정, 또는 광학 부품(1)의 조리개 및 그 제어 회로에서 행하는 노출 제어를 예시할 수 있다.

이하, 촬상 화면의 밝기를 검출하고, 마이크로컴퓨터(10)의 제어에 의해, 색 마다 화소 데이터의 값을, 예를 들어 1화면분 적산하는 적산값에 대해서 설명한다.

<데이터 분리 후에서의 색성분 검출>

도 13(c)는 도 1에 나타낸 데이터 분리부(541)로부터 적외 분리부(548) 사이의 화소 데이터를 검출하고, 색성분마다 적산하는 구성을 나타낸다. 도 13(a) 및 도 13(b)는 화소 데이터에서 차지하는 IR 광량 성분비가 상이한 경우를 광원의 색온도 5000K와 2400K에서 비교하여 나타낸 색분광 특성의 그래프이다.

이하, 도 13(a) 및 도 13(b)를 이용하여 데이터 적산 개소가 단일할 경우의 검출과 그 문제점을 설명한다. 이 때문에, 도 13(c)에 나타낸 바와 같이 색필터의 구성(색배치)을 "R, G1, G2, B"라고 하고 있다. 본 실시형태에서의 색필터는 상술한 도 4에 나타낸 4색 배치이지만, 여기서는 "R, G1, G2, B"의 색배치를 편의상 해당 데이터 적산 개소의 설명에 한하여 이용한다.

도 13(c)에 나타낸 적산부(제1 적산부)(61)는 색마다의 적산부(여기서는 4개의 적산부)로 이루어지고, 데이터 분리부(541)에 의해 분리된 색마다의 화소 데이터를 각각 대응하는 적산부에서, 예를 들어 1화면분 적산한다. 이 각 적산부에 입력되는 화소 데이터는 적외 분리 전이기 때문에, IR 성분을 포함한다. 제1 적산부(61)로부터의 색마다의 적산값(제1 적산값)은 카메라 제어 처리부(도시 생략)에 출력되어, 해당 처리(예를 들어 노출 제어나 백색 밸런스 보정)에 제공된다.

각 적산부에 입력되는 화소 데이터는 적외 분리 전이기 때문에, IR 성분을 포함하고, IR 성분비는 촬상하는 피사체에 따라, 또는 촬상 환경(특히, 광원의 색온도 등)에 따라 크게 변화된다.

구체적으로는, 도 13(a)에 나타낸 색온도 5000K의 광원 하에서는 IR 성분이 포함되는 비율은 25% 정도로 낮지만, 도 13(b)에 나타낸 색온도 2400K의 광원 하에서는 IR 성분이 포함되는 비율이 73%에나 도달한다. 또한, 도 13(a)와 도 13(b)는 도 1a에 나타낸 광학 대역 분리 필터(1A) 등에 의해 파장 700∼800㎚에서 대역 커트되고 있지만, 제1 적산부(61)는 전파장에서의 적산값을 산출하기 때문에, 동일한 값의 적산값에서도 IR 성분비는 환경에 따라 커지는 경우가 있다.

카메라 제어 처리가 노출 제어라고 하면, 촬상 디바이스(2)로의 입력 화상의 밝기(광량)를 어느 적정 값으로 하도록 카메라의 노출이 조리개 등에 의해 제어된다. 그때 입력 화면의 밝기는, 예를 들어 4개의 적산부의 합성값이 이용된다.

따라서, 노출 제어가 제1 적산부(61)로부터의 적산값에만 기초하여 행해지면, 그 후에, 적외 분리부(548)(도 1a)에 의해 가시광과 IR광이 분리된 경우, 광원에 IR광을 매우 많이 포함한 조건 하에서 촬상이 실행되고 있으면(저색온도 시 등이 해당됨), 가시광 성분은 적정 값보다 매우 적은 것으로 되기 때문에, 표시 화면이 어두워지게 된다.

화면이 어두울 때는 게인 조정하는 기능이 통상의 카메라 장치에 구비된다. 이 게인 조정이 기능하면, 비교적 적은 가시광 성분에 대하여 큰 증폭율(게인)이 작용하여 적정 출력 신호 레벨까지 끌어 올린다. 그 경우, S/Ｎ비가 매우 낮은 결과를 초래하게 된다.

한편, 카메라 제어 처리가 백색 밸런스 보정일 경우, 백색 밸런스 때문에, 색마다의 게인 앰프의 제어량(색 게인값)을 결정할 필요가 있다. 이 색 게인값은, 도 13(c)에 나타낸 제1 적산부(61)를 구성하는 색마다의 적산부 출력비에 기초하여, 예를 들어 마이크로컴퓨터(10)에 의해 결정된다.

그러나, 제1 적산부(61)가 구하는 적산값은 IR 성분을 일정 오프셋으로서 포함하는 것이기 때문에, 색마다의 적산값 비율은 적정 비율로 동일해지지 않는다.

구체적인 예에 의해 설명하면, 예를 들어 광원의 색온도가 5000K일 때에(도 13(a)), 가시광 성분에서 본 경우, G기준으로 청색(B) 및 적색(R)의 화소 데이터에 작용되어야 할 색 게인값은 1.33(B), 1.25(R)로 한다.

그러나, IR 성분을 포함한 화소 데이터의 적산값으로부터 색 게인을 구하게 되면, 상기 색 게인값이 실제로는 각각 1.22(B), 1.13(R)으로 되어, 적정 게인값과 어긋나게 된다. 따라서, 백색 밸런스 보정을 행하여도, 백색이어야 할 화상 개소가 무채색의 백색으로 되지 않는 문제점이 있다.

IR 성분이 더 많으면, 특히 출력 정보량이 많은 특정 색의 화소에서 광센서부가 포화되기 쉬워진다. 색이 포화되면, IR 성분을 포함하는 화소 데이터만으로의 밝기 검출(적분값 취득)에서는, 정확한 적분값이 얻어지지 않기 때문에 카메라 제어 처리를 양호한 정밀도에 의해 행할 수 없게 된다.

이상의 문제점을 방지하기 위해, 본 실시형태의 카메라 장치에서는, 신호 처리부(4) 내에 제1 적산부(61) 외에 추가로 또 하나의 제2 적산부(62)를 적외 분리부(548)의 출력 측에 설치하고 있다.

도 14에 2개의 적산부(제1 적산부(61) 및 제2 적산부(62))의 구성과 적외 분리부(548)의 접속 관계를 나타낸다.

제1 적산부(61)는 적외 분리부(548)의 전단에 설치되고, R1 데이터를 적산하는 색적산부(58R), G1 데이터를 적산하는 색적산부(58G), B1 데이터를 적산하는 색적산부(58B), 및 W 데이터를 적산하는 색적산부(58W)를 구비한다. 여기서, 입력 데이터는 도시한 바와 같이 (R, G, B, W) 4색 배치의 촬상 디바이스(2)로부터 출력되고, 소정의 처리를 거쳐 도 1a의 분리부(541)에 의해 분리된 4개의 (R1, G1, B1, W) 데이터이다.

제1 적산부(61)는 IR 성분과 가시광 성분의 분리 처리 전의 데이터를 입력으로 하기 때문에, IR 성분과 가시광 성분을 포함하는 전파장의 수광 성분 크기를 검출하고, 적산값 ΣR1, ΣG1, ΣB1 및 ΣW(이하, 이들을 제1 적분값이라고 한다)를 출력한다.

제2 적산부(62)는 적외 분리부(548)의 후단에 설치되고, R1 데이터를 적외 분리하여 얻어진 R2 데이터를 적산하는 색적산부(58R), G1 데이터를 적외 분리하여 얻어진 G2 데이터를 적산하는 색적산부(58G), B1 데이터를 적외 분리하여 얻어진 B2 데이터를 적산하는 색적산부(58B), 및 적외 분리에서 얻어진 IR 데이터를 적산하는 IR 적산부(58IR)를 구비한다. 여기서, 입력 데이터는 도시한 바와 같이 (R, G, B, W) 데이터를 기초로 IR 성분을 제거한 3원색의 (R2, G2, B2) 데이터와 IR 데이터이다.

제2 적산부(62)는 분리 후의 IR 성분 또는 가시광 성분의 크기를 검출하고, 적산값 ΣR2, ΣG2, ΣB2 및 ΣIR(이하, 이들을 제2 적분값이라고 한다)을 출력한다.

도 15에 이 제1 적산부(61) 및 제2 적산부(62)를 이용하여 행하는 카메라 제어 처리의 우선도 결정 방법을 모식적으로 나타낸다.

카메라 제어 처리부 내의 마이크로컴퓨터(10)가 산출된 제1 및 제2 적분값을 이용하여 파라미터 K를 산출한다. 파라미터 K는 IR 성분의 크기와 가시광 성분의 크기에 관계되는 변수이며, IR 성분 비율이 클수록 커지거나 작아지도록 변동하는 관계식에 기초하면, 정의는 임의적이다. 여기서는 IR 성분 비율 100%의 IR 성분만의 경우에 "1"을 취하고, 반대로 가시광 성분만의 경우에 "0"을 취하는 변수로서 파라미터 K가 정의되어 있다.

도 15의 횡축에 파라미터 K를 취하고, 종축에 제1 적산부(61)와 제2 적산부(62) 중 어느 쪽의 출력을 우선적으로 이용할지를 나타내는 지표를 취하고 있다. 이 지표는, 여기서는 "후단 검출기 우선도"라 불리며, 그 값이 "1"일 때에 제2 적산부(62)로부터의 제2 적산값을 제어에 이용하고, 그 값이 "0"일 때에 제1 적산부(61)로부터의 제1 적산값을 제어에 이용한다.

이 도면으로부터 알 수 있듯이, 대부분의 경우, 가시광 우선으로 (노출 등의) 제어를 행한다. 즉, 제1 적산부(61)로부터의 제1 적분값을 이용하여 카메라 제어를 실행한다.

파라미터 K가 약간 작은 "k1"을 초과하면, 입력광의 대부분이 IR 성분으로 간주되어 IR 우선의 노출 등의 제어를 행한다. 구체적으로는, IR 데이터를 이용한 노출 제어를 행하거나, 또는 IR 성분과 등가로 간주되는 입력 화소 데이터를 이용한 노출 등의 제어를 행한다.

예를 들어, 제1 적산부(61)에서 구해진 값(입력)과 제2 적산부(62)에서 구해진 값의 비(IR 성분비)를 계산하여, 만일 입력과 IR 성분의 비가 "1"에 가까울 경우는, 촬영 대상이 IR 성분의 광만을 포함하게 되기 때문에, IR 화상의 촬영을 행하도록 IR 우선에서의 노출 제어를 행한다.

파라미터 K가 "k2(<k1)" 미만으로 되면, 가시광 우선의 제어로 되돌린다.

예를 들어, 반대로 입력에 대하여 IR 성분의 값이 작을 경우는, 적외를 포함하지 않고 가시광이 충분히 밝은 피사체를 조명하고 있다고 상정할 수 있기 때문에, IR/가시광 분리 처리 후의 가시광 성분을 적정한 밝기로 하도록 노출 제어를 행하는 것이 가시광 촬영에는 바람직하다.

이렇게 제어에 히스테리시스를 마련하고 있는 것은 제어 모드가 빈번하게 전환되는 것을 방지하기 위함이다.

<고주파 성분 검출>

이상의 구성 외에 추가로, 본 실시형태에서는 고주파 성분을 검출할 수 있도록 제2 적산부(62) 측에 변경을 가하는 것이 가능하다.

안개나 연기 등이 많은 환경 하의 촬영에서는, 지금까지는 사용자 오퍼레이션에 의해 촬영 모드(예를 들어, AE 프로그램 모드)의 전환이 실행되었다.

"가시광"에서는 안개나 연기에 가려져 그 안쪽의 풍경이나 도로 등의 물체가 보이지 않을 경우에도, "IR광"이 많은 환경 하, 또는 적외선을 의도적으로 조사하면, 안개나 연기를 투과하여 그 안쪽이 보이기 쉽다.

풍경이나 도로 등의 물체가 보이고 있을 때는 보다 많은 에지가 포함되기 때 문에 고주파 성분이 상대적으로 많아지고, 보이고 있지 않을 때는 고주파 성분도 적어진다.

이 성질을 이용할 경우, 가시광 성분과 IR 성분의 각각에서 고주파 성분비를 구하여, 그 차이가 있으면, 즉, IR 데이터에서의 고주파 성분비가 가시광 데이터에서의 고주파 성분비보다 크면, 안개나 연기가 자욱한 환경이라고 하여 IR 우선의 제어로 자동적으로 전환하는 것이 가능하다.

본 변경 예는 자동적인 전환 제어를 위한 구성과 동작에 관한 것이다.

도 16a에 고주파 성분 검출을 위한 구성을 나타낸다. 이 도면에서 도 14와 공통되는 구성은 동일한 부호를 첨부한다.

제2 적산부(62)와 적외 분리부(548) 사이에 색마다, 및 IR에 1개씩 고주파 검출부로서의 고역 통과 필터(HPF)(63)를 접속시키고 있다. 이 때문에, 제2 적산부(62)를 구성하는 색적산부(58R, 58G, 58B)와 IR 적산부(58IR)는 각각 입력 데이터의 고주파 성분을, 예를 들어 1화면분 적산하여 제2 적산값으로서 출력한다. 제2 적산값은 도시하지 않은 마이크로컴퓨터(10)에 보내져 마이크로컴퓨터(10)가 모드 전환을 판단한다.

HPF(63)는 예를 들어 라플라시안 필터로 구성할 수 있고, 그 경우의 필터 계수 세트의 예를 도 16b에 나타낸다.

도 17a에 안개가 발생한 경우의 차량 탑재 카메라 장치가 모니터하고 있는 가시광 화상 예를 나타내고, 도 17b에 동일한 가시광 화상을 고주파 검출했을 때의 모니터 화상 예를 나타낸다. 또한, 도 17c에 안개가 있을 경우에 시정계 값이 20m 와 50m, 더 나아가서는, 안개가 없는 경우와 가시광, 근적외, 원적외에서의 시정(보이는 거리)을 비교하여 나타낸다.

도 17c에 나타낸 바와 같이, 안개가 있을 경우에, 가시광보다 근적외광에서는 시정이 2배약으로부터 3배강 정도 커진다. 이것은, 안개가 발생한 경우, 가시광에서는 보이기 어려워지기 때문에 고주파 성분은 적어지지만, 적외선은 안개 속에서도 투과성이 높아 적외 카메라에는 보이고 있기 때문에 적외 성분에서 HPF를 작용시키면 화상이 출력된다.

도 18은 제어 예를 나타낸다.

횡축에 고주파 성분의, 가시광에 대한 IR광의 성분비를 취하고, 종축에 가시광과 IR광의 적산값의 이용 우선도를 나타낸다. 이용 우선도는 촬영 모드의 차이로 생각할 수도 있다.

여기서는 IR의 고주파 성분과 가시광의 고주파 성분의 비를 구하고 있으며, 그 비에서 IR 성분이 많고, 가시광 성분이 적을 경우는 안개 촬영 상태로 판정하여, IR 촬영(IR 성분을 이용한 밝기 판정)으로 전환을 행하도록 되어 있다. 다만, 이러한 상태는 야간에서 IR의 조명을 행한 경우도 마찬가지로 되기 때문에, 필요하다면, "가시광이 밝지만, 고주파 성분이 없다 + IR은 고주파 성분이 많다"는 조건으로 할 수도 있다.

이상의 구성에 의해, 가시광, IR광의 각각 필요한 쪽을 적정 노출에 의해 촬영하는 것이 가능해진다.

당업자라면, 첨부된 특허청구범위 또는 그 균등물의 범위를 벗어나지 않고 설계 요구 및 다른 인자에 따라서 다양한 수정, 조합, 부조합 및 변형이 가능하다는 것을 이해해야 할 것이다.

도 1a 및 도 1b는 본 발명의 일 실시에 따른 화소 신호 처리 회로를 내장한 카메라 장치의 블록도.

도 2(a)는 백색(W) 화소를 포함하는 원색계 CCD 디바이스의 분광 특성을 나타낸 그래프.

도 2(b)는 백색(W) 화소를 포함하는 보색계 CCD 디바이스의 분광 특성을 나타낸 그래프.

도 3a 및 도 3b는 각각 광학 부품으로서, 및 온칩(on-chip)으로서 설치되는 광학 대역 분리 필터 특성 예를 나타낸 그래프.

도 4는 4색 배치에서의 색의 조합을 분류한 도표.

도 5는 실시형태에 따른 화상 입력 처리 방법의 순서를 나타낸 플로차트.

도 6a는 4색 배열 예("Ye, R, G, W")를 나타낸 모식도.

도 6b는 "Ye, R, G, W"의 4색 배치 색필터를 통과시켜 얻어진 촬상 신호의 색분광 특성을 나타낸 그래프.

도 7은 적외 분리 연산 후의 3원색 데이터의 색분광 특성을 나타낸 그래프.

도 8(a)는 저색온도(3000[K])의 광원 하에서의 촬상에서 얻은 촬상 신호의 색분광 특성을 나타낸 그래프.

도 8(b)는 도 8(a)에 나타낸 특성의 촬상 신호를 데이터 분리하고, 감산한 후의 색분광 특성을 나타낸 그래프.

도 9(a) 및 도 9(b)는 각각 도 8(a) 및 도 8(b)에 대응하는, LED 조명에 의 한 촬상에서 얻은 촬상 신호의 색분광 특성을 나타낸 그래프.

도 10(a) 및 도 10(b)는 다른 색 조합에서의 연산 전과 후의 색분광 특성을 나타낸 그래프.

도 11(a) 및 도 11(b)는 보색계 데이터로부터 원색계 데이터를 구하는 연산 전과 후의 색분광 특성을 나타낸 그래프.

도 12(a1)은 데이터 분리 후 분광 특성을 도시하는 그래프.

도 12(a2)는 연산에 의해 얻어진 원색계의 분광 특성을 도시하는 그래프.

도 12(b)는, 도 12a1로부터 도 12a2를 감사함으로써 추출된 등가 IR 성분(ir)의 분광 특성을 도시하는 그래프.

도 13(a) 및 도 13(b)는 광원의 색온도 5000K와 2400K의 색분광 특성을 나타낸 그래프.

도 13(c)는 적외 분리의 전단에 설치하는 제1 적산부의 구성도.

도 14는 제1 적산부(61) 및 제2 적산부(62)의 배치와 구성을 나타낸 도면.

도 15는 제1 및 제2 적산부(61 및 62)를 이용하여 행하는 카메라 제어 처리의 우선도 결정 방법을 모식적으로 나타낸 도면.

도 16a는 고주파 성분 검출을 위한 구성을 나타낸 도면.

도 16b는 필터 계수 예를 나타낸 도면.

도 17a 및 도 17b는 안개가 발생한 경우의 가시광 화상과 고주파 검출 화상의 예를 나타낸 도면.

도 17c는 안개의 유무 및 시정계 값과 시정의 관계를 나타낸 도표.

도 18은 고주파 검출을 포함하는 카메라 제어 처리의 우선도 결정 방법을 모식적으로 나타낸 도면.

<도면의 주요 부분에 대한 부호의 설명>

1 : 광학 부품

1A : 광학 대역 분리 필터

2 : 촬상 디바이스

2A : 색필터

3 : AFE 회로

4 : 신호 처리부

5 : ADC

9 : 혼합 회로

10 : 마이크로컴퓨터

11 : 불휘발성 메모리

12 : DAC

13 : TG

14 : 비디오 신호

58R, 58G, 58B, 58W : 적산부

61 : 제1 적산부

62 : 제2 적산부

63 : HPF

541 : 데이터 분리부

548 : 적외 분리부

Claims

근적외광의 소정 파장 대역을 차단하고, 상기 소정 파장 대역의 단파장 측 및 장파장 측의 대역을 통과시키는 광학 대역 분리 필터와,

2색의 합이 다른 1색과 가시광 영역에서 등가이거나, 또는 3색의 합이 다른 1색의 1배 또는 2배로 가시광 영역에서 등가로 되는 등가성을 갖는 4색 배치의 색필터와,

상기 광학 대역 분리 필터 및 상기 색필터를 통과해 파장 대역이 분리되어 색이 선택된 광을 화소 단위로 하여 색마다 수광하고, 촬상 신호를 발생하는 광센서부와,

상기 촬상 신호의 상기 4색 배치에 대응하는 화소 데이터를 4색의 화소 데이터로 분리하는 데이터 분리부와,

상기 분리 후의 4색의 화소 데이터 사이에서, 상기 4색 배치에 기초한 가시광 영역의 상기 등가성을 이용한 감산에 의해, 상기 광학 대역 분리 필터에 의해 분리된 장파장측 대역의 근적외광 성분을 상기 화소 데이터로부터 분리하는 적외 분리부와,

상기 데이터 분리부로부터 출력되어 상기 적외 분리부로 입력되기 전의 복수의 화소 데이터를 색마다 적산하는 제1 적산부와,

상기 적외 분리부로부터 출력되는 복수의 화소 데이터를 색마다 적산하는 제2 적산부와,

상기 제1 적산부로부터의 색마다의 제1 적산값과 상기 제2 적산부로부터의 색마다의 제2 적산값을 비교하고, 비교 결과에 기초하여, 적외광 성분이 상대적으로 많은 화상 및 적은 화상에 각각 적합한 카메라 제어 처리를 실행하는 카메라 제어 처리부

를 포함하는 화상 입력 처리 장치.
제1항에 있어서,

상기 제1 및 제2 적산부는 각각 색적산값을 색마다 구하는 색적산부를 포함하고,

상기 제2 적산부는 색적산값을 색마다 구하는 색적산부와, 상기 적외 분리부에서 추출된 근적외광 성분의 적산값(IR 적산값)을 구하는 IR 적산부를 포함하는 화상 입력 처리 장치.
제1항에 있어서,

상기 제1 및 제2 적산부는 각각 색적산값을 색마다 구하는 색적산부를 포함하고,

상기 카메라 제어 처리부는 소정의 색에서 상기 제1 적산값과 상기 제2 적산값의 차분으로부터 근적외광 성분의 적산값을 산출하는 화상 입력 처리 장치.
제2항 또는 제3항에 있어서,

상기 카메라 제어 처리부는, 상기 IR 적산값에 기초하여, 근적외광 성분의 크기 또는 상기 화소 데이터에 포함되는 근적외광 성분의 비율에 관계되는 파라미터를 산출하고, 상기 파라미터에 따라, 카메라 제어 처리에 이용하는 색적산값을 상기 제1 적산부 및 상기 제2 적산부 중 어느 쪽으로부터 얻을지를 결정하는 화상 입력 처리 장치.
제2항 또는 제3항에 있어서,

상기 카메라 제어 처리부는, 상기 IR 적산값에 기초하여 근적외광 성분의 크기 또는 상기 화소 데이터에 포함되는 근적외광 성분의 비율에 관계되는 파라미터를 산출하고, 상기 제1 및 제2 적산부로부터 얻어지는 2개의 상기 색적산값을 상기 파라미터에 따른 비율로 혼합하며, 혼합 후의 색적산값을 카메라 제어 처리에 이용하는 색적산값으로서 이용하는 화상 입력 처리 장치.
제1항에 있어서,

상기 제2 적산부의 색마다의 색적산부와 상기 적외 분리부 사이 각각에 고주파 성분 추출부를 설치하고, 근적외광 성분이 제거된 화소 데이터의 고주파 성분을 상기 색적산부에 의해 색마다 적산하는 화상 입력 처리 장치.
제1항에 있어서,

상기 제2 적산부의 색마다의 색적산부와 상기 적외 분리부 이, 및 상기 IR 적산부와 상기 적외 적산부 사이에 각각 고주파 성분 추출부를 설치하며, 근적외광 성분이 제거된 상기 화소 데이터의 고주파 성분을 상기 색적산부에 의해 색마다 적산하고, 상기 적외광 성분을 상기 IR 적산부에 의해 적산하는 화상 입력 처리 장치.
제4항에 있어서,

상기 카메라 제어 처리부는 상기 색적산부로부터의 색적산값 및 상기 IR 적산부로부터의 IR 적산값을 감시하여, 상기 IR 적산값이 소정의 레벨 또는 전체 적산값에 대한 소정의 비율을 초과했을 때, 상기 파라미터에 관계없이, 상기 카메라 제어 처리에 이용하는 색적산값을 상기 제2 적산부로부터 얻도록 결정하는 화상 입력 처리 장치.
제5항에 있어서,

상기 카메라 제어 처리부는 상기 색적산부로부터의 색적산값과 상기 IR 적산부로부터의 IR 적산값을 감시하여, IR 적산값이 소정의 레벨 또는 전체 적산값에 대한 소정의 비율을 초과했을 때, 상기 파라미터에 관계없이, 상기 카메라 제어 처리에 이용하는 색적산값을 상기 제2 적산부으로부터만 얻도록 적산값 혼합의 상기 비율을 결정하는 화상 입력 처리 장치.
근적외광의 소정 파장 대역을 차단하고, 상기 소정 파장 대역의 단파장 측 및 장파장 측의 대역을 통과시키는 광학 대역 분리 필터와,

보색계 4색(Ye, Cy, Mg, G)의 색필터와,

상기 광학 대역 분리 필터 및 상기 색필터를 통과해 파장 대역이 분리되어 색이 선택된 광을 화소를 단위로 하여 색마다 수광하고, 촬상 신호를 발생하는 광센서부와,

상기 촬상 신호의 상기 보색계 4색에 대응하는 화소 데이터를 색마다 분리하는 데이터 분리부와,

상기 분리 후의 4색의 화소 데이터 사이에서 감산을 행함으로써, 상기 광학 대역 분리 필터에 의해 분리된 장파장측 대역의 근적외광 성분을 상기 화소 데이터로부터 분리하는 적외 분리부와,

상기 데이터 분리부로부터 출력되어 상기 적외 분리부로 입력되기 전의 복수의 화소 데이터를 색마다 적산하는 제1 적산부와,

상기 적외 분리부로부터 출력되는 복수의 화소 데이터를 색마다 적산하는 제2 적산부와,

상기 제1 적산부로부터의 색마다의 제1 적산값과 상기 제2 적산부로부터의 색마다의 제2 적산값을 비교하고, 비교 결과에 기초하여, 적외광 성분이 상대적으로 많은 화상과 적은 화상에 각각 적합한 카메라 제어 처리를 실행하는 카메라 제어 처리부를 포함하는 화상 입력 처리 장치.
입사광에 대하여 근적외광의 소정 파장 대역을 차단하고, 상기 소정 파장 대 역의 단파장 측 및 장파장 측의 대역을 통과시키는 단계와,

2색의 합이 다른 1색과 가시광 영역에서 등가이거나, 또는 3색의 합이 다른 1색의 1배 또는 2배로 가시광 영역에서 등가로 되는 등가성을 갖는 4색 배치의 색필터에 의해 입사광의 색을 선택하고, 색이 선택된 광을 색마다의 화소로 촬상하는 단계와,

상기 촬상에 의해 얻어진 촬상 신호를 색마다의 화소 데이터로 분리하는 단계와,

색마다로 분리된 화소 데이터를 색마다 적산하는 단계와,

상기 색마다의 화소 데이터 사이의, 상기 4색 배치에 기초한 가시광 영역의 상기 등가성을 이용한 감산에 의해, 상기 장파장측 대역의 근적외광 성분을 분리하는 단계와,

적외광 분리 후의 화소 데이터를 색마다 적산하는 단계와,

상기 분리에 의해 얻어진 색의 화소 데이터를 적산하는 단계에서 얻어진 색마다의 제1 적산값과, 상기 적외광 분리가 행해진 화소 데이터를 적산하는 단계에서 얻어진 색마다의 제2 적산값을 비교하는 단계와,

상기 비교의 결과에 기초하여, 적외광 성분이 상대적으로 많은 화상 및 적은 화상에 각각 적합한 카메라 제어 처리를 실행하는 단계

를 포함하는 화상 입력 처리 방법.
근적외광의 소정 파장 대역을 차단하고, 상기 소정 파장 대역의 단파장 측 및 장파장 측의 대역을 통과시키는 광학 대역 분리 필터와,

2색의 합이 다른 1색과 가시광 영역에서 등가이거나, 또는 3색의 합이 다른 1색의 1배 또는 2배와 가시광 영역에서 등가로 되는 등가성을 갖는 4색 배치의 색필터와,

상기 광학 대역 분리 필터 및 상기 색필터를 통과해 파장 대역이 분리되어 색이 선택된 광을 화소 단위로 하여 색마다 수광하고, 촬상 신호를 발생하는 광센서부와,

상기 촬상 신호의 상기 4색 배치에 대응하는 화소 데이터를 4색의 화소 데이터로 분리하는 데이터 분리부와,

상기 분리 후의 4색의 화소 데이터 사이에서, 상기 4색 배치에 기초한 가시광 영역의 상기 등가성을 이용한 감산에 의해, 상기 광학 대역 분리 필터에 의해 분리된 장파장측 대역의 근적외광 성분을 상기 화소 데이터로부터 분리하는 적외 분리부와,

상기 데이터 분리부로부터 출력되어 상기 적외 분리부로 입력되기 전의 복수의 화소 데이터를 색마다 적산하는 제1 적산부와,

상기 적외 분리부로부터 출력되는 복수의 화소 데이터를 색마다 적산하는 제2 적산부와,

상기 제1 적산부로부터의 색마다의 제1 적산값과 상기 제2 적산부로부터의 색마다의 제2 적산값을 비교하고, 비교 결과에 기초하여, 적외광 성분이 상대적으로 많은 화상 및 적은 화상에 각각 적합한 카메라 제어 처리를 실행하는 카메라 제 어 처리부를 포함하는 전자 장치.