KR20150138082A

KR20150138082A - 화이트 밸런스 제어를 행하는 촬상장치 및 그 제어 방법

Info

Publication number: KR20150138082A
Application number: KR1020150075644A
Authority: KR
Inventors: 히로아키 쿠치키
Original assignee: 캐논 가부시끼가이샤
Priority date: 2014-05-30
Filing date: 2015-05-29
Publication date: 2015-12-09
Also published as: CN105306916B; GB201509171D0; GB2527674B; DE102015006984A1; GB2527674A; GB201719751D0; KR101830202B1; JP6494181B2; CN105306916A; US20150350620A1; JP2015228546A; US9402063B2

Abstract

화상의 화이트 밸런스를 적절하게 제어 가능한 촬상장치. 촬상된 화상은 영역들로 분할되고, 색 평가 값은 각 영역으로부터 취득된다. 상기 화상의 영역에 관련하여 정의된 피사체의 각 영역으로부터 적외선이 검출된다. 색공간에서 설정된 백색의 검출 범위에 포함되는 색 평가 값을 사용해서 산출된 제1 WB 보정값과, 각각 적외선량이 소정량보다 많은 영역들로부터 취득되고 색공간에서 설정된 백색과 다른 소정의 색의 검출 범위에 포함된 색 평가 값을 사용해서 산출된 제2 WB 보정값을 혼합하여서 산출된, 혼합 WB 보정값을 사용하여 상기 화상에 화이트 밸런스 보정을 행한다.

Description

화이트 밸런스 제어를 행하는 촬상장치 및 그 제어 방법{IMAGE PICKUP APPARATUS THAT PERFORMS WHITE BALANCE CONTROL AND METHOD OF CONTROLLING THE SAME}

본 발명은, 화이트 밸런스 제어를 행하는 촬상장치 및 그 제어 방법에 관한 것으로서, 특히, 촬상장치에 있어서 행해진 화이트 밸런스 처리에 관한 것이다.

최근, 촬상장치에 있어서 행해진 오토 화이트 밸런스 처리에서는, 소위 ＴＴＬ(ＴｈｒｏｕｇｈＴｈｅＬｅｎｓ)방식이 널리 이용되고 있다. ＴＴＬ방식에 의한 오토 화이트 밸런스 처리에 있어서는, 촬영하여 얻어진 화상에 따라 광원의 빛의 색을 추정하고 있다. 또한, 화이트 밸런스 보정값(이하, ＷＢ보정값이라고 한다)을 산출하기 위해서, 화상에 있어서 광원으로부터의 광의 색과 피사체 색을 정확하게 구별할 필요가 있다.

예를 들면, 색신호의 평가 값을 판정하는 백색변화 범위를 촬영 조건 및 피사체 조건에 따라 변화시켜서, 휘도신호 레벨에 의존하지 않는 정확한 색온도 검출과 화이트 밸런스 제어를 행하도록 한 촬상장치가 있다(일본국 공개특허공보 특개평11-262029호 참조).

한층 더, 화이트 추출 범위에 포함되어 무채색으로 하는 작용이 일하는 녹색의 피사체(예를 들면, 응달등의 어두운 장소에서 녹색의 초목 또는 잔디를 촬영할 경우)에 대해서 적절한 화이트 밸런스 제어를 행하도록 구성된 촬상장치가 제안되어 있다(일본국 공개특허공보 특개2006-174281호 참조). 이 촬상장치에서는, 조도, 녹색의 양, 및 R게인을 좌표축으로 하는 3차원 좌표계의 데이터 분포에 의거하여, 광원으로서 옥내의 형광등을 사용하여 옥내에서 촬상하였는지 또는 옥외의 태양/응달에서 촬상하였는지를 판정하여서, 화이트 밸런스를 제어한다.

이제, 수은등과 같은 광원의 광 자체의 색이 녹색이고, 촬영하여서 얻어진 전체 화상이 푸른빛을 띠는 씬(제1 씬)을 촬영했다고 가정한다. 또한, 응달 등의 어두운 장소에서 녹색의 초목 또는 잔디가 많은 씬(제2 씬)을 촬영했다고 한다. 이러한 경우, 상기의 일본국 공개특허공보 특개평 11-262029호 및 일본국 공개특허공보 특개 2006-174281호에 기재된 촬상장치에 있어서는, 제1 씬과 제2 씬을 구별하는 것이 어렵다.

즉, 일본국 공개특허공보 특개평 11-262029호에 기재된 촬상장치에 있어서는, 제1 씬 및 제2 씬 양쪽의 피사체의 밝기 및 색의 평가 값은 같은 값이 되므로, 제1 씬 및 제2 씬의 ＷＢ보정값이 서로 같을 가능성이 높다.

한층 더, 일본국 공개특허공보 특개 2006-174281호에 기재된 촬상장치에 있어서도, 광원의 빛의 색의 영향에 의해 화상전체가 푸른빛을 띠어버리므로, 녹색의 양과 R게인을 사용했다고 한들, 제1 씬과 제2 씬을 구별하는 것이 곤란하다.

제1 씬의 광원의 빛에 의해 채색된 녹색은 무채색으로 변환되는 것이 바람직하지만, 제2 씬의 경우에는 피사체의 녹색을 선명하게 하는 것이 바람직하다. 따라서, 제1 씬과 제2 씬을 구별하고, 그 씬에 따라 ＷＢ보정값을 변경하는 것이 바람직하다.

본 발명은, 같은 색이 많이 검출되는 화상에 대해서, 그 검출된 색이 광원의 빛의 색인가 또는 피사체의 색인가를 판별하여서, 적절하게 화이트 밸런스 제어를 행할 수 있는 촬상장치를 제공한다.

본 발명의 제1 국면의 촬상장치는, 촬상소자; 상기 촬상소자에 의해 행해진 촬상으로 얻어진 화상을 복수의 영역으로 분할하고, 각 영역으로부터 색 평가 값을 취득하는 취득 유닛; 상기 화상의 영역에 관련하여 정의된 피사체의 각 영역으로부터 적외선을 검출하는 적외선 센서; 상기 화상으로부터 취득한 복수의 색 평가 값을 사용해서 화이트 밸런스 보정값을 산출하는 산출 유닛; 및 상기 산출 유닛에서 산출된 혼합 화이트 밸런스 보정값을 사용해서 상기 화상에 화이트 밸런스 보정처리를 행하는 처리 유닛을 구비하고, 상기 산출 유닛은, 상기 복수의 색 평가 값 중, 색공간에서 설정된 백색의 검출 범위에 포함되는 색 평가 값을 사용해서 제1 화이트 밸런스 보정값을 산출하는 제1 화이트 밸런스 보정값 산출부와, 상기 복수의 색 평가 값 중, 각각 적외선량이 소정량보다도 많은 영역으로부터 취득되고, 색공간에서 설정된 백색과 다른 소정의 색의 검출 범위에 포함되는 색 평가 값을 사용해서 제2 화이트 밸런스 보정값을 산출하는 제2 화이트 밸런스 보정값 산출부와, 상기 제1 화이트 밸런스 보정값과 상기 제2 화이트 밸런스 보정값을 혼합함으로써 혼합 화이트 밸런스 보정값을 산출하는 혼합 화이트 밸런스 보정값 산출부를 구비한다.

본 발명의 제2 국면의 촬상장치는, 촬상소자; 상기 촬상소자에 의해 행해진 촬상으로 얻어진 화상을 복수의 영역으로 분할하고, 각 영역으로부터 색 평가 값을 취득하는 취득 유닛; 상기 화상의 영역에 관련하여 정의된 피사체의 각 영역으로부터 적외선을 검출하는 적외선 센서; 상기 적외선 센서에 의해 영역마다 행해진 적외선량의 검출 결과에 근거하여, 상기 화상으로부터 취득한 복수의 색 평가 값을 사용해서 화이트 밸런스 보정값을 산출하는 산출 유닛; 및 상기 산출 유닛에 의해 산출된 상기 화이트 밸런스 보정값을 사용해서 상기 화상에 화이트 밸런스 보정처리를 행하는 처리 유닛을 구비한다.

본 발명의 제3 국면의 촬상소자를 구비한 촬상장치의 제어방법은, 촬상소자를 구비하는 촬상장치를 제어하는 방법으로서, 상기 촬상소자에 의해 행해진 촬상으로 얻어진 화상을 복수의 영역으로 분할하고, 각 영역으로부터 색 평가 값을 취득하는 단계; 상기 화상의 영역에 관련하여 정의된 피사체의 각 영역으로부터 적외선을 검출하는 단계; 상기 화상으로부터 취득한 복수의 색 평가 값을 사용해서 화이트 밸런스 보정값을 산출하는 단계; 및 상기 산출단계에서 산출된 혼합 화이트 밸런스 보정값을 사용해서 상기 화상에 화이트 밸런스 보정처리를 행하는 단계를 포함하고, 상기 산출단계는, 상기 복수의 색 평가 값 중, 색공간에서 설정된 백색의 검출 범위에 포함되는 색 평가 값을 사용해서 제1 화이트 밸런스 보정값을 산출하는 것과, 상기 복수의 색 평가 값 중, 각각 적외선량이 소정량보다도 많은 영역으로부터 취득되고, 색공간에서 설정된 백색과 다른 소정의 색의 검출 범위에 포함되는 색 평가 값을 사용해서 제2 화이트 밸런스 보정값을 산출하는 것과, 상기 제1 화이트 밸런스 보정값과 상기 제2 화이트 밸런스 보정값을 혼합함으로써 혼합 화이트 밸런스 보정값을 산출하는 것을 포함한다.

본 발명에 의하면, 화상내의 색이 광원의 빛의 색인가 또는 피사체의 색인가를 판별하여서, 적절하게 화이트 밸런스 제어를 행하는 것이 가능하다.

본 발명의 또 다른 특징들은, (첨부도면을 참조하여) 이하의 실시예들의 설명으로부터 명백해질 것이다.

도 1은, 본 발명의 제1실시예에 따른 화상처리장치로서 디지털 카메라의 블록도다.
도 2는, 도 1에 나타내는 촬상장치에 구비된 화이트 밸런스 제어부의 블록도다.
도 3은, 도 1에 나타낸 디지털 카메라에서 행해지는 촬영 처리의 흐름도다.
도 4는, 도 3의 촬영 처리의 단계에서 행해진 ＷＢ보정값 연산 처리의 흐름도다.
도 5는, 도 2에 나타내는 화이트 판정부에서 행해진 판정 처리를 설명하는데 유용한 도면이다.
도 6은, 도 4에서 상기 ＷＢ보정값 연산 처리의 단계에서 행해진 화이트 기반 ＷＢ보정값 신뢰도 산출 처리의 흐름도다.
도 7a∼7h는, 도 2에 나타내는 ＷＢ화이트 밸런스 제어부에서 행해지는 신뢰도 산출에 사용된 테이블을 설명하는데 유용한 도면이고, 도 7a는 비율 기반 신뢰도의 산출에 사용하기 위한 테이블을 도시한 도면, 도 7b는 거리 기반 신뢰도의 산출에 사용하기 위한 테이블을 도시한 도면, 도 7c는 색 신뢰도의 산출에 사용하기 위한 테이블을 도시한 도면, 도 7d는 휘도 기반 신뢰도의 산출에 사용하기 위한 테이블을 도시한 도면, 도 7e는 적외선 기반 신뢰도의 산출에 사용하기 위한 테이블의 일례를 도시한 도면, 도 7f는 적외선 기반 신뢰도의 산출에 사용하기 위한 테이블의 다른 예를 도시한 도면, 도 7g는 녹색 신뢰도의 산출에 사용하기 위한 테이블을 도시한 도면, 도 7h는 저녁 경치 색 신뢰도의 산출에 사용하기 위한 테이블을 도시한 도면이다.
도 8a 및 8b는, 도 4의 ＷＢ보정값 연산 처리의 단계에서 행해진 적외선 판정에 근거한 녹색검출에 유용한 도면이고, 도 8a는 ＲＡＷ데이터가 나타내는 화상의 일례를 도시한 도면, 도8b는 도 8a에 나타내는 화상을 소정의 수의 블록으로 분할한 상태를 도시한 도면이다.
도 9는, 도 4의 ＷＢ보정값 연산 처리의 단계에서 행해진 적외선 판정 기반 녹색 검출 처리의 흐름도다.
도 10a∼10d는 도 2에 나타내는 화이트 밸런스 제어부에서 행해진 ＷＢ보정값의 산출을 설명하는 유용한 도면이고, 도 10a는 적외선 판정에 근거하여 녹색검출을 설명하는데 유용한 도면이고, 도 10b는 녹색검출에 근거하여 색온도 추정을 설명하는데 유용한 도면이고, 도 10c는 색온도 추정에 근거하여 ＷＢ보정값의 산출을 설명하는데 유용한 도면이고, 도 10d는 화이트 기반 ＷＢ보정값 및 적외선 기반 ＷＢ보정값에 근거하여 최종적인 ＷＢ보정값의 산출을 설명하는데 유용한 도면이다.
도 11은, 도 4의 ＷＢ보정값 연산 처리의 단계에서 행해진 녹색검출 기반 색온도 추정 처리의 흐름도다.
도 12는, 도 4의 ＷＢ보정값 연산 처리의 단계에서 행해진 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값의 가산 처리의 흐름도다.
도 13은, 본 발명의 제2실시예에 따른 촬상장치에서 행해지는 ＷＢ보정값의 연산 처리의 흐름도다.
도 14a∼14d는, 도 13에 나타낸 저녁 경치 색 검출 처리를 설명하는데 유용한 도면이고, 도 14a는 저녁 경치를 촬영한 화상의 일례를 도시한 도면, 도 14b는 도 14a에 나타내는 화상을 소정수의 블록으로 분할한 상태를 도시한 도면, 도 14c는 체육관내를 촬영한 화상의 일례를 도시한 도면, 도 14d는 도 14c에 나타내는 화상을 소정수의 블록으로 분할한 상태를 도시한 도면이다.
도 15는, 도 13의 ＷＢ보정값 연산 처리의 단계에서 행해진 저녁 경치 색 검출 처리의 흐름도다.
도 16a∼16d는, 제2실시예에 따른 촬상장치의 화이트 밸런스 제어부에서 행해진 ＷＢ보정값의 산출을 설명하는데 유용한 도면이고, 도 16a는 적외선 판정에 근거하여 저녁 경치 색 검출을 설명하는데 유용한 도면, 도 16b는 저녁 경치 색 검출에 근거하여 색온도 추정 처리를 설명하는데 유용한 도면, 도 16c는 색온도 추정에 근거하여 ＷＢ보정값의 산출 처리를 설명하는데 유용한 도면, 도 16d는 화이트 기반 ＷＢ보정값 및 적외선 기반 ＷＢ보정값에 근거하여 최종적인 ＷＢ보정값의 산출을 설명하는데 유용한 도면이다.
도 17은, 도 13의 ＷＢ보정값 연산 처리의 단계에서 행해진 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값의 가산 처리의 흐름도다.

이하, 본 발명을 실시예를 나타내는 첨부도면을 참조하여 상세히 설명한다.

도 1은, 본 발명의 제1실시예에 따른 촬상장치의 블록도다.

촬상장치는, 예를 들면 디지털 카메라(이하, 간단히 카메라라고 한다)이지만, 예를 들면 디지털 비디오카메라이어도 된다. 한층 더, 촬상장치는, 카메라 기능 부착 휴대전화기 또는 카메라 부착 컴퓨터 등의 카메라 기능을 갖는 전자기기이어도 된다.

도 1의 참조부호 100으로 나타낸 카메라는, 렌즈, 셔터 및 조리개로 이루어진 광학계(101)를 가지고 있다. 광학계(101)를 통해 피사체상(광학상)이 촬상소자(102)에 결상한다. 이때, 광학계(101)로부터 초점거리, 셔터 속도, 및 조리개 값 등의 광학계 정보가 중앙연산장치(ＣＰＵ)(103)에 보내진다.

촬상소자(102)는, 예를 들면, ＣＣＤ이미지센서 또는 ＣＭＯＳ이미지센서이며, 복수의 화소가 2차원 매트릭스 모양으로 배열되어 있다. 또한, 이것들 화소에는 입사광을 R(적색), G(녹색), B(청색)의 색성분으로 분리하는 칼라필터가, 베이어 배열로 배열되어 있다. 촬상소자(102)는, 광학상을 화소마다의 휘도정보를 나타내는 아날로그 신호로 변환한다.

촬상소자(102)의 출력인 아날로그 신호는 아날로그 대 디지털 변환기(도시 생략)에 의해 디지털 화상신호로 변환된다. 이 디지털 화상신호는 현상 처리전의 ＲＡＷ데이터이며, ＣＰＵ(103)에 의해 일차기억장치(104)에 기억된다. 또한, 촬상소자(102)의 전기 이득(이하, ＩＳＯ감도라고 한다)은 ＣＰＵ(103)에 의해 설정된다.

측광 센서(105)는 복수의 측광영역을 구비하고 있고(예를 들면, 12(수평)×8(수직)으로 이루어진 총 96개의 측광영역), 광학계(101)를 통해 입사한 광량에 따라 측광영역마다 피사체 휘도를 검출한다. 그리고, 그 검출된 피사체 휘도는 아날로그 대 디지털 변환기(도시 생략)에 의해 디지털 휘도신호로 변환되어서 ＣＰＵ(103)에 보내진다.

또한, 측광 센서(105)의 측광영역의 수에 관해서는 정수이면 좋고, 상기의 예에는 한정되지 않는다.

적외선 센서(106)는, 측광 센서(105)의 측광영역과 동일한 수의 영역으로 분할되어 있고, 광학계(101)를 통해 입사한 광량에 따라 각 영역으로부터의 적외선량을 검출한다. 그리고, 그 검출된 적외선량은 아날로그 대 디지털 변환기(도시 생략)에 의해 디지털 적외선신호로 변환되어서, ＣＰＵ(103)에 보내진다.

ＣＰＵ(103)는 카메라(100) 전체 동작을 제어하고, 미리 기억된 프로그램에 따라 카메라(100)를 제어한다. 이하의 설명에 있어서, ＣＰＵ(103)가 연관 프로그램을 실행해서 실현하는 기능의 적어도 일부는, ＡＳＩＣ(Application-Specific Integrated Circuit)등의 전용 하드웨어에 의해 실현되어도 좋다.

일차기억장치(104)는, 예를 들면, ＲＡＭ등의 휘발성 기억장치이며, ＣＰＵ(103)의 작업용 에어리어로서 사용된다. 또한, 일차기억장치(104)에 기억된 데이터 및 정보는, 107로 나타낸 화상처리장치(107)에 의해 이용되고, 또한, 기록 매체 드라이브 장치(108)에 세트된 기록 매체 108M에 기록된다.

이차기억장치(109)는, ＥＥＰＲＯＭ등의 비휘발성 기억장치다. 이차기억장치(109)에는, 카메라(100)를 제어하기 위한 프로그램(펌웨어) 및 각종의 설정 정보가 기억되어서, ＣＰＵ(103)에 의해 사용된다.

기록 매체 드라이브 장치(108)에 착탈 가능하게 세트되는 기록 매체 108M에는, 일차기억장치(104)에 기억된 화상 데이터 등이 기록된다. 기록 매체 108M은, 예를 들면 반도체 메모리 카드다. 또한, 기록 매체 108M에 기록된 화상 데이터 등은, 퍼스널 컴퓨터 등의 다른 기기로 판독될 수 있다.

표시부(110)에는, 촬영 전에 뷰 파인더 화상이 표시되고, 촬영하여 얻어진 촬영 화상이 표시된다. 또한, 표시부(110)에는 대화적인 조작을 위한 ＧＵＩ화상이 표시된다.

조작부(111)는, 유저의 조작으로 입력된 정보를 접수해서 ＣＰＵ(103)에 보내는 입력 디바이스 군이다. 조작부(111)에는, 버튼, 레버 및 터치패널 등이 구비되어 있다. 또한, 조작부(111)는, 음성 및 시선을 사용한 입력 기기이어도 된다. 또한, 조작부(111)에는 촬영 시작을 행하는 릴리즈 버튼이 구비되어 있다.

도 1에 나타낸 카메라(100)에는, 화상처리장치(107)에 의해 행해지는 화상처리의 모드가 복수 구비하고, 이것들 화상처리 모드 중 1개를 선택해서 촬상 모드로서 조작부(111)에 설정할 수 있다.

화상처리장치(107)는, 촬영하여 얻어진 화상 데이터에 대하여, 소정의 화상처리를 행한다. 예를 들면, 화상처리장치(107)는 화이트 밸런스 처리, ＲＧＢ베이어 배열의 신호를 적색, 녹색 및 청색의 3개의 플레인 신호로 변환하기 위한 색보간처리, 감마 보정처리, 채도 보정처리, 및 색상(color phase) 보정처리등의 현상 처리라고 불리는 화상처리를 행한다.

도시된 예에서는, 후술하는 바와 같이, 화상처리장치(107)가 화이트 밸런스 제어를 위한 산술연산을 행하지만, 화상처리장치(107)의 이것들의 기능의 적어도 하나 또는 일부를, ＣＰＵ(103)가 소프트웨어로 실현하여도 좋다.

도 2는, 도 1에 나타내는 화상처리장치(107)에 구비된 화이트 밸런스 제어부(200)(이하, ＷＢ제어부(200)라고 한다)의 블록도다.

ＷＢ제어부(200)는 화이트 밸런스 처리를 행한다. ＷＢ제어부(200)는, 화이트로서 추정된 화소에 근거하여 산출된 ＷＢ보정값(이하, 화이트 기반 ＷＢ보정값이라고 한다)과 적외선량에 근거하여 산출된 ＷＢ보정값(이하, 적외선 기반 ＷＢ보정값이라고 한다)에 따라 혼합ＷＢ보정값을 산출한다.

도 2에 나타내는 바와 같이, ＷＢ제어부(200)는, 블록 분할부(201), 화이트 판정부(202), 화이트 기반 ＷＢ보정값 산출부(203), 화이트 기반 ＷＢ보정값 신뢰도 산출부(204), 색판정부(205), 휘도판정부(206), 적외선량 판정부(207), ＲＧＢ값 가산부(208), 광원색 추정부(209), 적외선 기반 ＷＢ보정값 산출부(210), 적외선 기반 ＷＢ보정값 신뢰도 산출부(211), ＷＢ보정값 가산 비율 산출부(212), 및 혼합ＷＢ보정값 산출부(213)를 구비하고 있다. 각 블록에서 실행된 처리에 관해서는 후술한다.

도 3은, 도 1에 나타내는 카메라(100)로 행해지는 촬영 처리의 흐름도다.

이때, 전술한 릴리즈 버튼은 2단계로 조작된다. 이하의 설명에 있어서, 조작부(111)에 있어서의 ＳＷ1은 릴리즈 버튼이 반가압될 때에 ＯＮ이 되는 스위치를 나타내고, 조작부(111)에 있어서의 ＳＷ2는 릴리즈 버튼이 완전 가압될 때에 ＯＮ이 되는 스위치를 나타낸다. 또한, 도 3의 촬영 처리는, ＣＰＵ(103)의 제어하에서 행해진다.

촬영 처리를 시작하면, ＣＰＵ(103)는, 조작부(111)로부터 유저 입력을 접수한다(단계S301: 조작부의 제어). 그리고, ＣＰＵ(103)는, 유저 입력에 따라 광학계(101)의 초점거리, 셔터 속도, 및 조리개 값등의 설정을 조절한다(단계S302: 광학계의 제어).

그리고, ＣＰＵ(103)는, 유저 입력에 따라 측광 센서(105)에 있어서의 측광영역을 조절한다(단계S303: 측광 센서의 제어). 한층 더, ＣＰＵ(103)는, 유저 입력에 따라 적외선 센서(106)에 있어서의 측광영역을 조절한다(단계S304: 적외선 센서의 제어). 그리고, ＣＰＵ(103)는, 유저 입력에 따라 촬상소자(102)의 ＩＳＯ감도등의 설정을 조절한다(단계S305: 촬상소자의 제어).

그 후, ＣＰＵ(103)는, 단계S302∼S305에 있어서 변경된 설정에 있어서의 변경 정보를 표시부(109)에 표시한다(단계S306: 표시부의 제어). 또한, 단계S302∼S305의 처리순서는, 도시된 예에 한정하지 않고, 처리순서를 변경하여도 좋다.

다음에, ＣＰＵ(103)는 조작부(111)에 있어서 ＳＷ1이 온 또는 오프인지를 판정한다(단계S307). ＳＷ1이 오프이면(단계S307에 있어서, ＯＦＦ), ＣＰＵ(103)는 단계S301의 처리에 되돌아간다. 한편, ＳＷ1이 온이면(단계S307에 있어서, ＯＮ), ＣＰＵ(103)는 측광 센서(105)에 의해 피사체의 밝기를 계측한다(단계S308). 한층 더, ＣＰＵ(103)는 자동노출(ＡＥ)모드일 때는, 셔터 속도, 조리개 값, 및 ＩＳＯ감도에 따라 노출을 조절한다.

그리고, ＣＰＵ(103)는, 적외선 센서(106)에 의해 측광 센서(105)와 동일한 영역의 각 영역으로부터 적외선량을 검출한다(단계S309). 그리고, ＣＰＵ(103)는, 자동 포커스(ＡＦ)모드가 설정되어 있을 경우에는, 측거 센서(도시 생략)에 의해 초점을 조절한다(단계S310). 또한, 단계S308∼S310의 처리순은, 도면에 나타내는 것의 예에 한하지 않고 처리순을 변경하는 하여도 좋다.

다음에, ＣＰＵ(103)는, 조작부(111)의 ＳＷ2가 온 또는 오프인지를 판정한다(단계S311). ＳＷ2가 오프이면(단계S311에 있어서, ＯＦＦ), ＣＰＵ(103)는 단계S301에 되돌아간다. 한편, ＳＷ2가 온이면(단계S311에 있어서, ＯＮ), ＣＰＵ(103)는 셔터를 제어해서 촬상소자(102)를 노광하고, 일차기억장치(104)에 ＲＡＷ데이터를 기억한다(단계S312).

계속해서, ＣＰＵ(103)는, 화상처리장치(107)를 제어하고, 후술한 것처럼 일차기억장치(104)에 기억된 ＲＡＷ데이터의 ＷＢ보정값을 산출한다(단계S313). 그리고, ＣＰＵ(103)는, 일차기억장치(104)에 기억된 ＲＡＷ데이터를, ＷＢ보정값(혼합ＷＢ보정값)에 의해 보정해서(즉, 현상해서) 화상 데이터를 얻는다(단계S314).

그 후에, ＣＰＵ(103)는, 현상후의 화상 데이터에 대응한 화상을 표시부(110)에 표시한다(단계S315). ＣＰＵ(103)는, 기록 매체 108M에 상기 현상후의 화상 데이터를 기록하고 나서(단계S316), 촬영 처리를 종료한다. 또한, 단계S315 및 S316의 처리순서는, 도시된 예에 한정하지 않고 처리순서를 변경하여도 좋다.

도 4는, 도 3의 촬영 처리의 단계S313에서 실행된 ＷＢ보정값 연산 처리의 흐름도다.

도 2 및 도 4를 참조하여, 블록 분할부(201)는, 일차기억장치(104)에 기억된 ＲＡＷ데이터를 수신하고, ＲＡＷ데이터가 나타내는 화상을 소정의 수(예를 들면, 12(수평)×8(수직)의 합계 96개)의 블록 영역(이하, 간단히 블록이라고 부른다)으로 분할한다. 그리고, 블록 분할부(201)는 블록마다의 R, G 및 B신호 값의 적분값을 산출한다.

또한, 블록의 분할 수는 상기의 예에 한정하지 않고, 블록 분할 수는 정수이면 된다. 또한, 이 예에서는, 블록의 분할 수 및 그 영역은, 측광 센서(105) 및 적외선 센서(106) 각각의 영역의 분할 수 및 영역에 대응한다.

그리고, 블록 분할부(201)는, 블록마다 그 Ｒ, G 및 B신호 값의 각각의 적분값에 의거하여 비율R/G 및 비율B/G를 산출한다. 그리고, 화이트 판정부(202)는, 후술한 것처럼, 가로축이 비율R/G를 의미하고 세로축이 비율B/G를 의미하는 Ｒ/G-B/G좌표평면에 설정한 백색영역에 포함되는 블록을 결정하고, 그 블록의 각각의 Ｒ, G 및 B의 신호 값을 적분하고, 적분값Ｒｉｎｔｅｇ, Ｇｉｎｔｅｇ, 및 Ｂｉｎｔｅｇ을 얻는다(단계S401: 화이트 검출).

도 5는, 도 2에 나타내는 화이트 판정부(202)로 행해지는 판정 처리를 설명하는데 유용한 도면이다.

도 5를 참조하면, 가로축은 비율R/G를 나타내고, 세로축은 비율G/B를 나타낸다. 도 5에서는, 흑체 복사 궤적이 참조번호 501로 표시되어 있다. 태양광(양지와 응달의 각각의 경우), 텅스텐 광, 수은등 광, 형광등 광, 또는 플래쉬 광 등의 여러 가지 광을 각각을 사용하여 촬영한 무채색 피사체의 모든 색의 각(R/G, B/G) 좌표(즉, 한 쌍의 Ｒ/G값과 B/G값)가 그 영역내에 존재하도록 백색영역(502)이 설정된다.

도 5에 있어서는, R/G-B/G좌표 평면을 사용해서 피사체로부터 무채색인 듯한 화소를 추출해서 광원의 빛의 색을 추정함으로써 ＷＢ보정값을 연산했지만, 다른 적저한 방법으로 피사체로부터 무채색인 듯한 화소를 추출해서 ＷＢ보정값을 연산하여도 좋다.

다시 도 2 및 도 4를 참조하여, 화이트 기반 ＷＢ보정값 산출부(203)는, 백색영역(502)내의 블록에 대해서 산출한 Ｒ, G 및 B 적분값Ｒｉｎｔｅｇ, Ｇｉｎｔｅｇ 및 Ｂｉｎｔｅｇ에 따라, 하기의 식(1A)∼(1C)를 사용해서 ＷＢ보정값(화이트 기반 ＷＢ보정값)을 산출한다(단계S402):

화이트 기반 ＷＢ보정값의 Ｒ게인

W_ＷＢ_Ｒｇａｉｎ=Ｇｉｎｔｅｇ/Ｒｉｎｔｅｇ ...(1A)

화이트 기반 ＷＢ보정값의 Ｇ게인

W_ＷＢ_Ｇｇａｉｎ=Ｇｉｎｔｅｇ/Ｇｉｎｔｅｇ ...(1B)

화이트 기반 ＷＢ보정값의 Ｂ게인

W_ＷＢ_Ｂｇａｉｎ=Ｇｉｎｔｅｇ/Ｂｉｎｔｅｇ ...(1C)

그리고, 화이트 기반 ＷＢ보정값 신뢰도 산출부(204)는, 후술하는 것처럼, 화이트 기반 ＷＢ보정값의 신뢰도를 산출한다(단계S403).

도 6은, 도 4에 나타내는 ＷＢ보정값 연산 처리의 단계S403에서 행해진 화이트 기반 ＷＢ보정값 신뢰도 산출 처리의 흐름도다.

화이트 기반 ＷＢ보정값 신뢰도 산출부(204)는, 도 4의 단계S401에 있어서 추출된 화이트 블록의 수의 전체 블록 수(즉, 화상전체의 블록수)에 대한 비율(백색의 검출 범위에 색 평가값이 포함되는 영역의 화상 전체에 대한 비율)에 따라 비율 기반 신뢰도Ｔｒａｔｉｏ를 산출한다(단계S601).

도 7a∼7h는, 도 2에 나타낸 ＷＢ제어부(200)로 행해지는 신뢰도 산출에 사용된 테이블을 설명하는데 유용한 도면이고, 도 7a는 비율 기반 신뢰도의 산출에 사용하기 위한 테이블을 나타내는 도면이고, 도 7b는 거리 기반 신뢰도의 산출에 사용하기 위한 테이블을 나타내는 도면이고, 도 7c는 색 신뢰도의 산출에 사용하기 위한 테이블을 나타내는 도면이고, 도 7d는 휘도 기반 신뢰도의 산출에 사용하기 위한 테이블을 나타내는 도면이고, 도 7e는 적외선 기반 신뢰도의 산출에 사용하기 위한 테이블의 일례를 나타내는 도면이고, 도 7f는 적외선 기반 신뢰도의 산출에 사용하기 위한 테이블의 다른 예를 나타내는 도면이다. 덧붙여, 도 7g는 녹색 신뢰도의 산출에 사용하기 위한 테이블을 나타내는 도면이고, 도 7h는 저녁 경치 색 신뢰도의 산출에 사용하기 위한 테이블을 나타내는 도면이다.

비율 기반 신뢰도Ｔｒａｔｉｏ를 산출할 때는, 화이트 기반 ＷＢ보정값 신뢰도 산출부(204)는 도 7a에 나타낸 테이블(비율 기반 신뢰도 테이블)을 참조하여, 비율 기반 신뢰도Ｔｒａｔｉｏ(％)를 산출한다.

도 7a에 있어서, 가로축은 화이트 블록의 수를 나타내고, 세로축은 비율 기반 신뢰도Ｔｒａｔｉｏ(％)를 나타낸다. 또한, 도시된 예에서는, 블록 전체의 수는 예시로만 나타낸 96개이지만, 블록 전체의 수는 도시된 예에 한정되지 않는다. 즉, 화이트 블록의 비율이 클수록, 비율 기반 신뢰도Ｔｒａｔｉｏ(％)가 높아지도록 비율 기반 신뢰도 테이블을 설정하도록 하면 좋다.

계속해서, 화이트 기반 ＷＢ보정값 신뢰도 산출부(204)는, 단계S402에서 산출된 화이트 기반 ＷＢ보정값의 Ｒ게인 W_ＷＢ_Ｒｇａｉｎ 및 B게인 W_ＷＢ_Ｂｇａｉｎ에 따라, 하기의 식(2A)와 (2B)에 의해, 도 5에 나타낸 Ｒ/G-B/G좌표 평면에 있어서의 좌표(503)의 점을 구한다:

화이트 기반 ＷＢ보정값에 대응하는 Ｒ/G=1/W_ＷＢ_Ｒｇａｉｎ ...(2A)

화이트 기반 ＷＢ보정값에 대응하는 Ｂ/G=1/W_ＷＢ_Ｂｇａｉｎ ...(2B)

그리고, 화이트 기반 ＷＢ보정값 신뢰도 산출부(204)는, 화이트 기반 ＷＢ보정값에 대응한 (Ｒ/G, B/G)좌표(503)의 점과 흑체 복사 궤적(501)과의 최단 거리(504)에 따라, 도 7b에 나타내는 테이블(거리 기반 신뢰도 테이블)로부터 거리 기반 신뢰도Ｔｄｉｓｔ(％)을 산출한다(단계S602).

도 7b에 있어서, 가로축은 화이트 기반 ＷＢ보정값에 대응한 (Ｒ/G, B/G)좌표(503)의 점과 흑체 복사 궤적(501)과의 최단 거리(504)를 나타내고, 세로축은 흑체 복사 궤적(501)에 의존한 거리 기반 신뢰도Ｔｄｉｓｔ를 나타낸다. 거리 기반 신뢰도 테이블은, 거리 기반 신뢰도Ｔｄｉｓｔ는, 화이트 기반 ＷＢ보정값에 대응한 (Ｒ/G, B/G)좌표(503)의 점과 흑체 복사 궤적(501)과의 최단 거리가 가까울수록, 거리 기반 신뢰도Ｔｄｉｓｔ가 높아지게 되도록 구성하면 좋다. 도 7b에 있어서의 최소거리Ｄｍｉｎ과 최대거리Ｄｍａｘ는 임의로 설정한다. 그 (Ｒ/G, B/G)좌표(503)의 점이 흑체 복사 궤적(501)에 가까울수록, 수은등으로부터의 광 아래가 아니고 자연광 아래의 무채색이 검출될 가능성이 높은 것을 나타낸다.

다음에, 화이트 기반 ＷＢ보정값 신뢰도 산출부(204)는, 식(3)에 의해 비율 기반 신뢰도Ｔｒａｔｉｏ와 거리 기반 신뢰도Ｔｄｉｓｔ를 승산하여서, 화이트 기반 ＷＢ보정값의 신뢰도Ｔｗｈｉｔｅ를 산출한다(단계S603):

Ｔｗｈｉｔｅ=Ｔｒａｔｉｏ×Ｔｄｉｓｔ/100 ...(3)

그리고, 화이트 기반 ＷＢ보정값 신뢰도 산출부(204)는, 화이트 기반 ＷＢ보정값의 신뢰도 산출을 종료하고, ＣＰＵ(103)는 도 4의 ＷＢ보정값 연산 처리에 되돌아간다.

다음에, ＣＰＵ(103)는 화이트 기반 ＷＢ보정값의 신뢰도Ｔｗｈｉｔｅ의 판정을 행한다(단계S404). 이 단계에서는, ＣＰＵ(103)는, 화이트 기반 ＷＢ보정값의 신뢰도Ｔｗｈｉｔｅ가 소정의 역치이상이면, 자연광하에서 무채색이 검출되어 있다고 판정하여, 신뢰도Ｔｗｈｉｔｅ는 고 신뢰도라고 한다. 한편, ＣＰＵ(103)는, 화이트 기반 ＷＢ보정값의 신뢰도Ｔｗｈｉｔｅ가 소정의 역치미만이면, 신뢰도Ｔｗｈｉｔｅ는 저 신뢰도라고 한다.

신뢰도Ｔｗｈｉｔｅ가 고 신뢰도이면(단계S404에 있어서, 고 신뢰도), ＣＰＵ(103)는 ＷＢ보정값 연산처리를 종료하고, 도 3에 나타내는 단계S314에 진행된다. 그리고, ＣＰＵ(103)는, 화상처리장치(107)를 제어해서 화이트 기반 ＷＢ보정값에 따라, 일차기억장치(104)에 기억된 ＲＡＷ데이터를 화상 데이터로 변환한다.

한편, 신뢰도Ｔｗｈｉｔｅ가 저 신뢰도이면(단계S404에 있어서, 저 신뢰도), ＣＰＵ(103)는, 색판정부(205), 휘도판정부(206), 적외선량 판정부(207), ＲＧＢ값 가산부(208), 및 적외선 기반 ＷＢ보정값 신뢰도 산출부(211)를 제어해서 이후에 기재된 처리들을 행한다.

이 처리들에서는, 우선, ＣＰＵ(103)의 제어하에서, 적외선 판정에 의거하여 녹색의 검출이 이루어진다(단계S405). 보다 구체적으로, 일차기억장치(104)에 기억된 ＲＡＷ데이터가 나타내는 화상이, 블록 분할부(201)의 처리와 같은 방법으로 소정의 블록으로 분할된다. 다음에, 적외선 센서(106)에 있어서 동일한 영역(즉, 블록)으로부터 검출된 적외선량에 의거하여, 녹색이라고 판정된 블록의 색이 수은등등의 광원에 영향을 받는 색인가 또는 피사체의 색인가가 판별된다. 그리고, 피사체의 색이라고 판별된 녹색만이 후술의 녹색 검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ산출이 되는 피사체로 설정된다.

도 8a 및 8b는, 도 4의 ＷＢ보정값 연산 처리의 단계S405에서 행해진 적외선 판정 기반 녹색 검출을 설명하는데 유용한 도면이다. 도 8a는 ＲＡＷ데이터가 나타내는 화상의 일례를 나타내는 도면이고, 도 8b는 도 8a에 나타내는 화상을 소정의 수의 블록으로 분할한 상태를 나타내는 도면이다.

도 8b를 참조하면, 녹색의 잔디의 블록을 참조번호 801로 나타내고, 푸른 하늘의 블록을 참조번호 802로 나타낸다. 또한, 흰 간판의 블록을 참조번호 803으로 나타낸다. 지금, 도 8a에 나타내는 화상이 자연광하에서 촬영하여서 얻어진다고 하면, 태양광은 적외선을 포함하므로, 녹색의 잔디의 블록(801)은 적외선을 그 블록으로부터 반사하기 때문에 피사체의 색을 나타낸다고 판별되므로, 그 블록(801)은 녹색 검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ산출이 되는 피사체로 설정된다. 또한, 푸른 하늘의 블록(802) 및 흰 간판의 블록(803)은 녹색이 아니기 때문에, 이들 블록은 녹색검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ산출이 되는 피사체로 설정되지 않는다.

한편, 도 8a에 나타내는 화상이 야간에 수은등 아래에서 촬영하여 얻어진다고 하면, 흰 간판의 블록(803)은, 수은등의 광의 색의 영향을 받고, 종종 녹색이라고 판별된다. 또한, 녹색의 잔디의 블록(801)도 수은등의 광의 색의 영향을 받으므로, 본래의 녹색과 다른 색이 된다. 이 경우, 수은등의 광은 적외선을 포함하지 않으므로, 녹색의 잔디의 블록(801) 및 흰 간판의 블록(803)은 수은등의 광의 영향에 의한 색이라고 판별된다. 이 결과, 이들 블록이 녹색이지만, 이들 블록은 녹색검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ산출이 되는 피사체로 설정되지 않는다.

도 9는, 도 4의 ＷＥＢ보정값 연산 처리의 단계S405에서 행해진 적외선 판정 기반 녹색검출 처리의 흐름도다.

색판정부(205)는, 미리 설정된 녹색검출 영역(색 검출 프레임)에 포함된 색을 추출하고, 도 7c에 나타낸 테이블(색 신뢰도 테이블)을 참조해서 색 신뢰도Ｔｃｏｌｏｒ를 산출한다(단계S901).

도 7c에 있어서, 가로축은 블록마다의 색에 대응한 (Ｒ/G, B/G)좌표를 나타내고, 세로축은 색 신뢰도Ｔｃｏｌｏｒ를 나타낸다. 도 7c에서는, 후술하는 바와 같이, 녹색검출 영역(도 10a도 참조)의 내측에 색 신뢰도가 100%인 영역(1002)(도 10a 참조)이 설정되고, 녹색검출 영역(1001)에 블록이 포함되지 않을 경우에는 그 블록의 색 신뢰도는 0%로 설정된다. 또한, 녹색검출 영역(1001)에 블록이 포함되고, 또 색 신뢰도 100%인 영역(1002)에도 블록이 포함될 경우에는, 그 블록의 색 신뢰도는 100%로 설정된다. 또한, 블록이 녹색검출 영역(1001)에 포함되지만 색 신뢰도가 100%인 영역(1002)에는 블록이 포함되지 않는 경우에는, 선형보간에 의해, 적외선량에 따라 서서히 색 신뢰도Ｔｃｏｌｏｒ가 변화되도록 산출된다.

또한, 녹색검출 영역(1001)의 내측에 색 신뢰도 100%이 되는 영역(1002)을 설정하는 것은 일례이며, 이것에 한정되는 것은 아니다. 즉, 색 신뢰도Ｔｃｏｌｏｒ는, 녹색검출 영역(1001)의 중심부에 블록이 가까울수록, 높게 설정되어도 된다. 이렇게, 색 신뢰도Ｔｃｏｌｏｒ를 고려함으로써, 색의 변동에 의한 ＷＢ보정값의 극단적인 차이를 억제할 수 있다.

다음에, 휘도판정부(206)는, 측광 센서(105)로 검출된 피사체 휘도에 의거하여, 색 신뢰도Ｔｃｏｌｏｒ를 산출하기에 피사체의 색이 충분히 밝은지를 판정하도록, 도 7d에 나타내는 테이블(휘도 기반 신뢰도 테이블)을 참조해서 휘도 기반 신뢰도Ｔｌｕｍｉ를 산출한다(단계S902).

도 7d에 있어서, 가로축은 블록마다의 피사체 휘도에 대응한 (Ｒ/G, B/G)좌표를 나타내고, 세로축은 휘도 기반 신뢰도Ｔｌｕｍｉ를 나타낸다. 도 7d의 휘도 기반 신뢰도 테이블은, 휘도 기반 신뢰도Ｔｌｕｍｉ는, 피사체 휘도가 높을수록, 높게 되도록 구성된다. 이렇게, 휘도 기반 신뢰도Ｔｌｕｍｉ를 고려함으로써, 매우 어두운 야경 씬등의 화상이 자연광하에서 촬영된 것으로서 판정된 잘못된 판정을 확실하게 방지하는 것이 가능하다.

그리고, 적외선량 판정부(207)는, 적외선 센서(106)로 검출된 적외선량에 의거하여 도 7e에 나타낸 테이블(적외선 기반 신뢰도 테이블)을 참조해서 적외선 기반 신뢰도Ｔｉｒ를 산출한다(단계S903). 적외선 기반 신뢰도Ｔｉｒ는, 예를 들면 무채색의 피사체가 수은등등의 녹색의 광원하에서 촬영되었는지 또는 초목의 녹색이 자연광하에서 촬영되었는지의 어느 쪽의 가능성이 높은지를 나타내는 신뢰도다.

또한, 적외선량은, 측광 센서(105)에 의해 검출된 피사체 휘도로 적외선량을 정규화하고, 피사체 휘도에 대한 적외선량의 비율을 사용함으로써, 밝기 변화에 의해 생긴 변동을 억제할 수 있다.

도 7e를 참조하면, 최소값Ｉｍｉｎ보다도 적외선량이 적을 경우에는, 그 블록의 색은 광원의 광의 영향을 받는 것으로서 간주하는 반면에, 최대값Ｉｍａｘ보다도 적외선량이 많을 경우에는, 그 블록의 색은 피사체의 색으로서 간주한다. 또한, 적외선량이 최소값Ｉｍｉｎ과 최대값Ｉｍａｘ의 사이에 있는 경우에, 선형보간에 의해, 적외선량에 따라 서서히 적외선 기반 신뢰도Ｔｉｒ가 변화되도록 설정된다.

다음에, ＲＧＢ값 가산부(208)는, 처리 대상 블록의 Ｒ, G 및 B의 신호 값 각각에 대하여, 색 신뢰도Ｔｃｏｌｏｒ, 휘도 기반 신뢰도Ｔｌｕｍｉ, 및 적외선 기반 신뢰도Ｔｉｒ에 따라, 식(4A)∼(4C)에 의해 가중 적분을 행한다(단계S904):

ＲｉｎｔｅｇＡ=ＲｉｎｔｅｇＡ+Ｒｉj×(Ｔｃｏｌｏｒ/100×Ｔｌｕｍｉ/100×Ｔｉｒ/100) ...(4A)

ＧｉｎｔｅｇＡ=ＧｉｎｔｅｇＡ+Ｇｉj×(Ｔｃｏｌｏｒ/100×Ｔｌｕｍｉ/100×Ｔｉｒ/100) ...(4B)

ＢｉｎｔｅｇＡ=ＢｉｎｔｅｇＡ+Ｂｉj×(Ｔｃｏｌｏｒ/100×Ｔｌｕｍｉ/100×Ｔｉｒ/100) ...(4C)

여기서, Ｒｉj는, i 및 j번째의 블록내의 Ｒ신호 값의 적분값, Ｇｉj는, i 및 j번째의 블록내의 Ｇ신호 값의 적분값이며, Ｂｉj는, i 및 j번째의 블록내의 Ｂ신호 값의 적분값이다. 또한, i는 수평방향의 각 블록의 블록 번호(0∼11 중 임의의 번호)이며, j는 수직방향의 각 블록의 블록 번호(0∼7 중 임의의 번호)이다.

이렇게 하여 가중 적분에 의해 산출된 적분값(즉, 가산 값)이, 각각, 전술의 녹색검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ이다. 또한, 녹색검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ는 최초의 블록을 처리하기 전에 한번만 0으로 초기화 된다.

도 10a∼10d는, 도 2에 나타내는 ＷＢ제어부(200)에서 행해지는 ＷＢ보정값의 산출을 설명하는데 유용한 도면이고, 도 10a는 적외선 판정에 근거하여 녹색검출을 설명하는데 유용한 도면이고, 도 10b는 녹색검출에 근거하여 색온도 추정을 설명하는데 유용한 도면이고, 도 10c는 색온도 추정에 근거하여 ＷＢ보정값의 산출을 설명하는데 유용한 도면이고, 도 10d는 화이트 기반 ＷＢ보정값 및 적외선 기반 ＷＢ보정값에 근거하여 최종적인 ＷＢ보정값의 산출을 설명하는데 유용한 도면이다.

도 10a를 참조하면, 가로축이 비율R/G를 나타내고 세로축이 비율B/G를 나타내는 (Ｒ/G, B/G)좌표평면이 표시되고, 좌표평면상의 색간의 위치 관계를 쉽게 파악하기 위해서 흑체 복사 궤적(501)이 도시되어 있다. 전체 신뢰도가 높은 색의 (Ｒ/G, B/G)좌표평면상의 위치의 예를 참조번호 1003으로 나타낸다. 녹색검출 영역(1001)에는 포함되어 있지만, 색 신뢰도가 100%가 되는 영역 1002에는 포함되지 않는, 즉 색 신뢰도Ｔｃｏｌｏｒ가 낮은 색의 (Ｒ/G, B/G)좌표평면상의 위치의 예를 참조번호 1004로 나타낸다. 또한, 휘도 기반 신뢰도Ｔｌｕｍｉ 또는 적외선 기반 신뢰도Ｔｉｒ가 낮은 색의 (Ｒ/G, B/G)좌표평면상의 위치의 예를 참조번호 1005로 나타내고, 녹색검출 영역(1001)에 포함되지 않는 색의 (Ｒ/G, B/G)좌표평면상의 위치의 예를 참조번호 1006으로 나타낸다. 또한, 녹색검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ에 대응한 (Ｒ/G, B/G)좌표의 위치, 즉 (ＲｉｎｔｅｇＡ/ＧｉｎｔｅｇＡ, ＢｉｎｔｅｇＡ/ＧｉｎｔｅｇＡ)좌표의 위치를 참조번호 1007로 나타낸다.

우선, 위치 1003에서 전체 신뢰도가 높은 색은 모든 필요 조건을 충족시키고 있으므로, 그 색 값이 그대로 가산된다. 한편, 위치 1004에서의 색은, 색 신뢰도Ｔｃｏｌｏｒ가 낮으므로, 그 색의 수치에 예를 들면 0.5의 가산 비율을 승산한 값이 가산된다. 또한, 그 색의 가산 비율은, 녹색검출 영역(1001)내이지만 색 신뢰도 100%이 되는 영역(1002)외에 있는 영역에 있어서의 그 색의 위치에 따라, (R/G, B/G)좌표평면에서, 결정된다.

다음에, 위치 1005에 대응하는 휘도 기반 신뢰도Ｔｌｕｍｉ 또는 외선 기반 신뢰도Ｔｉｒ가 낮은 색은, 양쪽 신뢰도 Ｔｌｕｍｉ와 Ｔｉｒ가 소정의 역치이상이면, 그 색의 값을 소정의 가산 비율과 승산한 값이 가산되지만, 이들 신뢰도 중 적어도 한쪽의 신뢰도가 소정의 역치보다 낮으면, 색(1005)이 녹색검출 영역(1001)에 포함되어 있을 때에도 그 색의 값이 가산되지 않는다. 최후에, 위치(1006)에 대응하는 녹색검출 영역(1001)에 포함되지 않는 위치(1006)에 대응한 색은, 휘도 기반 신뢰도Ｔｌｕｍｉ 및 적외선 기반 신뢰도Ｔｉｒ의 쌍방이 높은 경우도 가산되지 않는다, 즉 적분되지 않는다.

다시 도 9를 참조하면, ＣＰＵ(103)는, 녹색검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ및 ＢｉｎｔｅｇＡ 중 적어도 1개가 갱신되어 있는지를 판정한다(단계S905). 녹색검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ 중 적어도 1개가 갱신되어 있으면(단계S905에 있어서, ＹＥＳ), ＣＰＵ(103)는 그 블록의 색이 피사체의 색이라고 판정한다. 그리고, 적외선 기반 ＷＢ보정값 신뢰도 산출부(211)는, 피사체의 색을 검출한 블록에 있어서의 평균 적외선량을 산출하기 위해서, 해당 블록의 휘도로 정규화된 후의 적외선량ＩＲｉj를, 하기의 식(5)에 의해 누계 적외선량ＩＲｔｏｔａｌ에 가산한다(단계S906):

ＩＲｔｏｔａｌ=ＩＲｔｏｔａｌ+ＩＲｉj ...(5)

여기서, ＩＲｉj는 i 및 j번째의 블록내의 상기 블록의 검출된 휘도값으로 정규화된 후의 적외선량이다. 또한, 상기한 바와 같이, i는 수평방향의 각 블록의 블록 번호(0∼11 중 임의의 번호)이며, j는 수직방향의 각 블록의 블록 번호(0∼7 중 임의의 번호)이다.

또한, 이 단계에서 행해진 정규화 처리는, 블록의 적외선량을 해당 블록에서의 적외선량을 측광 센서(105)로 검출한 휘도값으로 제산하는 처리다. 또한, 누계 적외선량ＩＲｔｏｔａｌ은 최초의 블록을 처리하기 전에 한번만 0으로 초기화된다.

다음에, 적외선 기반 ＷＢ보정값 신뢰도 산출부(211)는, 피사체의 색을 검출한 블록의 수의 화상전체의 블록의 수에 대한 비율을 산출하기 위해서, 하기의 식(6)에 의해 누계 녹색 블록수Ｎｔｏｔａｌ을 카운트한다(단계S907):

Ｎｔｏｔａｌ=Ｎｔｏｔａｌ+1 ...(6)

이때, 누계 녹색 블록수Ｎｔｏｔａｌ은 최초의 블록을 처리하기 전에 한번만 0으로 초기화된다.

계속해서, ＣＰＵ(103)는, 분할된 전체 블록에 대해서 확인을 행한 것인가 아닌가를 판정한다(단계S908). 또한, 녹색검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ 중 적어도 하나가 갱신되지 않고 있으면(단계S905에 있어서, ＮＯ), ＣＰＵ(103)는 피사체의 색이 검출되어 있지 않다고 판정하고, 단계S908에 진행된다.

전체 블록에 대해서 확인되어 있지 않으면(단계S908에 있어서, ＮＯ), ＣＰＵ(103)는 다음 블록에 처리를 이동해서(단계S909), 단계S901에 되돌아간다. 한편, 전체 블록에 대해서 확인하면(단계S908에 있어서, ＹＥＳ), 적외선 기반 ＷＢ보정값 신뢰도 산출부(211)는, 누계 적외선량ＩＲｔｏｔａｌ과 누계 녹색 블록수Ｎｔｏｔａｌ에 따라, 하기의 식(7)에 의해 피사체의 색을 검출한 블록의 평균 적외선량ＩＲａｖｅ를 산출한다(단계S910). 그 후, ＣＰＵ(103)는 도 4의 ＷＢ보정값 연산 처리에 되돌아간다.

ＩＲａｖｅ=ＩＲｔｏｔａｌ/Ｎｔｏｔａｌ ...(7)

상기의 처리에 의해 산출된 피사체의 색이라고 판별된 블록의 Ｒ, G 및 B적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ, 다음 식(8)으로 산출되는 피사체의 색이라고 판별된 블록의 수의 화상전체의 블록의 수에 대한 비율Ｎｒａｔｉｏ, 그리고, 피사체의 색이라고 판별된 블록의 평균 적외선량ＩＲａｖｅ를 사용하여, 도 12를 참조하여 후술한 것처럼, 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값의 가산 처리가 행해진다.

Ｎｒａｔｉｏ=Ｎｔｏｔａｌ/합계 블록수×100 ...(8)

여기에서, 합계 블록수는, 도시된 예에서, 12×8=96이다.

다시 도 4를 참조하면, 광원색 추정부(209)는, 녹색검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ에 대응하는 도 10b에 있어서의 위치 1007의 좌표에 의거하여 촬영시의 광원의 광, 즉, 자연광의 색온도를 추정한다(단계S406).

도 11은, 도 4의 ＷＢ보정값 연산 처리의 단계S406에서 행해진 녹색검출 기반 색온도 추정 처리의 흐름도다.

도 10b 및 도 11을 참조하여, 도 10b에 있어서는, 도 10a와 같이, 가로축이 비율R/G를 나타내고, 세로축이 비율B/G를 나타내는 (Ｒ/G, B/G)좌표 평면이 표시되고, 좌표평면상의 색간의 위치 관계를 쉽게 파악하기 위해서 흑체 복사 궤적(501)이 도시되어 있다. 녹색검출 영역(1001)의 코너에서의 점을 참조번호 1008∼1011로 나타내고, 각각은, 광원의 광의 역 색온도를 유지하는 것으로 가정한다. 또한, 점 1008과 점 1010은 저 색온도 영역에 있고, 점 1009와 점 1011은 고 색온도 영역에 있다.

색온도 추정 처리를 시작하면, 광원색 추정부(209)는, 저 색온도영역의 점 1008에 대응하는 광원의 광의 역 색온도와 고 색온도영역의 점 1009에 대응하는 광원의 광의 역 색온도를 사용해서 선형보간함으로써, 녹색검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ의 Ｒ/G성분에 대응하는 점 1012에 있어서의 광원의 광의 역 색온도를 산출한다(단계S1101).

그리고, 광원색 추정부(209)는, 저 색온도 영역의 점 1010에 대응하는 광원의 광의 역 색온도와 고 색온도 영역의 점 1011에 대응하는 광원의 광의 역 색온도를 사용해서 선형보간함으로써, 녹색검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ의 Ｒ/G성분에 대응하는 점 1013에 있어서의 광원의 광의 역 색온도를 산출한다(단계S1102).

광원색 추정부(209)는, 점 1012에 대응하는 광원의 광의 역 색온도와 점 1013에 대응하는 광원의 광의 역 색온도를 사용해서 선형보간함으로써, 녹색검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ의 Ｂ/G성분에 대응하는 광원의 광의 역 색온도를 산출한다(단계S1103).

그리고, 광원색 추정부(209)는, 단계S1103에서 산출한 광원의 광의 역 색온도를 색온도로 변환한다(단계S1104). 그리고, 광원색 추정부(209)는 색온도 추정 처리를 종료하고, ＣＰＵ(103)는, 도 4의 ＷＢ보정값 연산 처리에 되돌아간다.

상기의 색온도 추정 처리에 의해 얻어진 녹색검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ에 대응하는 좌표의 점 1007에서의 광원의 광의 색온도를 사용하여, 이후에 설명된 처리가 행해진다.

도 4 및 도 10c를 참조하여, 적외선 기반 ＷＢ보정값 산출부(210)는, 단계S406에 있어서 추정된 광원의 광의 색온도에 대응하는 ＷＢ보정값(적외선 기반 ＷＢ보정값)을 산출한다(단계S407).

도 10c에 있어서는, 도 10a 및 10b와 마찬가지로, 가로축이 비율R/G를 나타내고, 세로축이 비율B/G를 나타내는 (Ｒ/G, B/G)좌표평면이 표시되고, 색간의 좌표평면상의 위치 관계를 쉽게 파악하기 위해서 흑체 복사 궤적(501)이 도시되어 있다. 여기에서는, 적외선을 포함하는 녹색의 피사체가 검출되므로 그 피사체가 자연광하에서의 촬영이라고 판정할 수 있다고 상정하고, 적외선 기반 ＷＢ보정값 산출부(210)는, 흑체 복사 궤적(501)상의 색온도에 대응하는 점의 (ＲＧｇ, ＢＧｇ)좌표를 산출한다. 그리고, 적외선 기반 ＷＢ보정값 산출부(210)는, 식(9A)∼(9C)을 사용해서 그 산출된 좌표에 대응하는 적외선 기반 ＷＢ보정값(1014)을 산출한다:

적외선 기반 ＷＢ보정값의 Ｒ게인

ＩＲ_ＷＢ_Ｒｇａｉｎ=1/ＲＧｇ ...(9A)

적외선 기반 ＷＢ보정값의 Ｇ게인

ＩＲ_ＷＢ_Ｇｇａｉｎ=1 ...(9B)

적외선 기반 ＷＢ보정값의 Ｂ게인

ＩＲ_ＷＢ_Ｂｇａｉｎ=1/ＢＧｇ ...(9C)

전술한 바와 같이 산출된 적외선 기반 ＷＢ보정값(1014)과 화이트 기반 ＷＢ보정값을 사용하여, 다음 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값과의 가산 처리가 행해진다. 여기에서는, ＷＢ보정값 가산 비율 산출부(212) 및 혼합ＷＢ보정값 산출부(213)에 의해, 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값을 소정의 비율로 가산해서, 최종적인 ＷＢ보정값(혼합ＷＢ보정값)이 산출된다(단계S408).

도 12는, 도 4의 ＷＢ보정값 연산 처리의 단계S408에서 실행된 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값의 가산 처리의 흐름도다.

도 10d 및 도 12를 참조하면, 도 10d에 있어서는, 도 10a∼10c와 마찬가지로, 가로축이 비율R/G를 나타내고, 세로축이 비율B/G를 나타내는 (Ｒ/G, B/G)좌표평면이 표시되고, 색간의 좌표평면상의 위치 관계를 쉽게 파악하기 위해서 흑체 복사 궤적(501)이 도시되어 있다. 가산 처리를 시작하면, ＷＢ보정값 가산 비율 산출부(212)는, 단계S405에 있어서 피사체의 색(녹색)이라고 판정된 블록의 평균 적외선량ＩＲａｖｅ에 의거하여 적외선 기반 신뢰도Ｔｉｒ2를 산출한다(단계S1201).

또한, 적외선 기반 신뢰도Ｔｉｒ2는, 도 7f에 나타낸 테이블(적외선 기반 신뢰도 테이블)을 참조해서 산출된다. 그렇지만, 해당 테이블은 도 7e에 나타내는 테이블과 같으므로, 여기에서는 설명을 생략한다.

그리고, ＷＢ보정값 가산 비율 산출부(212)는, 단계S405에 있어서 피사체의 색(녹색)이라고 판정된 블록들의 수에 대한 비율Ｎｒａｔｉｏ에 의거하여 녹색 신뢰도Ｔｇｒｅｅｎ을 산출한다(단계S1202).

또한, 녹색 신뢰도Ｔｇｒｅｅｎ은, 도 7g에 나타내는 테이블(녹색 신뢰도 테이블)을 참조해서 산출된다. 그렇지만, 해당 테이블은 도 7a에 나타낸 테이블과 같으므로, 여기에서는 설명을 생략한다. 또한, 도 7g에 나타내는 테이블에 있어서, 가로축의 수치는 일례를 나타낸 것이며, 녹색 블록의 수는 이에 한정되는 것이 아니다. 즉, 녹색 신뢰도 테이블은, 피사체의 색(녹색)이라고 판정된 블록의 수의 비율이 높을수록, 녹색 신뢰도Ｔｇｒｅｅｎ이 높아지도록 구성하면 좋다.

다음에, ＷＢ보정값 가산 비율 산출부(212)는, 적외선 기반 신뢰도Ｔｉｒ2와 녹색 신뢰도Ｔｇｒｅｅｎ에 의거하여, 아래의 식(10)에 의해 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값과의 가산 비율Ｒａｔｉｏ_W_ＩＲ를 산출한다(단계S1203):

Ｒａｔｉｏ_W_ＩＲ=Ｔｉｒ2×Ｔｇｒｅｅｎ/100 ...(10)

또한, 단계S1203에서는, 전술의 단계S403에서 산출된 화이트 기반 ＷＢ보정값의 신뢰도를 고려하여, 가산 비율Ｒａｔｉｏ_W_ＩＲ를 산출하여도 좋다. 또한, 신뢰도에 따라서는, 화이트 기반 ＷＢ보정값 및 적외선 기반 ＷＢ보정값의 한쪽을 사용하도록 가산 비율Ｒａｔｉｏ_W_ＩＲ를 설정해도 좋다.

다음에, 혼합ＷＢ보정값 산출부(213)는, 가산 비율Ｒａｔｉｏ_W_ＩＲ에 의거하여 식(11)에 의해 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값을 가산하여서 ＷＢ보정값(혼합ＷＢ보정값)ＷＢ_Ｒｍｉｘ를 산출한다(단계S1204):

ＷＢ_Ｒｍｉｘ=(ＷＢ_Ｒｗ×(100-Ｒａｔｉｏ_W_ＩＲ)

+ＷＢ_Ｒｉｒ×Ｒａｔｉｏ_W_ＩＲ)/100 ...(11)

여기서, 화이트 기반 ＷＢ보정값의 Ｒ게인을 ＷＢ_Ｒｗ로 나타내고, 적외선 기반 ＷＢ보정값의 Ｒ게인을 ＷＢ_Ｒｉｒ로 나타내고, 혼합ＷＢ보정값의 Ｒ게인을 ＷＢ_Ｒｍｉｘ로 나타낸다.

또한, 혼합ＷＢ보정값의 Ｇ게인 및 B게인에 관해서도 R게인을 산출하기 위한 식과 같은 식을 사용해서 산출한다. 그리고, ＣＰＵ(103)는, 도 4의 ＷＢ보정값 연산 처리에 되돌아간다.

도 10d에 있어서, 적외선 기반 ＷＢ보정값에 대응한 (Ｒ/G, B/G)좌표의 점을 참조번호 1014로 나타내고, 화이트 기반 ＷＢ보정값에 대응한 (Ｒ/G, B/G)좌표의 점을 참조번호 1015로 나타낸다. 또한, 혼합ＷＢ보정값에 대응한 (Ｒ/G, B/G)좌표의 점을 참조번호 1016으로 나타낸다.

좌표점 1014와 좌표점 1015를 연결시키는 직선을, 가산 비율Ｒａｔｉｏ_W_ＩＲ에 따라 분할한 점의 좌표를, 혼합ＷＢ보정값에 대응한 점 1016의 (Ｒ/G, B/G)좌표로 설정한다. 이 처리에 의해, 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값과의 천이를 매끄럽게 할 수 있다.

그리고, 전술한 바와 같이 얻어진 혼합ＷＢ보정값에 의해, 일차기억장치(104)에 기억된 ＲＡＷ데이터가 화상 데이터로 변환된다.

상술한 것처럼, 본 발명의 제1 실시예에서는, 유사한 색이 많이 검출되는 화상에 대하여, 그 화상의 색이 광원으로부터의 광의 색인지 또는 피사체의 색인지를 판정한다. 이것에 의해, 화이트 밸런스 제어를 적절하게 행할 수 있다.

다음에, 본 발명의 제2실시예에 따른 촬상장치로서의 카메라에 관하여 설명한다.

제2실시예에 따른 촬상장치로서의 카메라의 구성은 도 1에 나타내는 카메라와 같고, 또한, 화상처리장치에 구비된 화이트 밸런스 제어부의 구성은 도 2에 나타낸 것과 같다. 한층 더, 제2실시예에 따른 카메라에서 행해지는 촬영 처리는, ＷＢ보정값 연산 처리를 제외하고, 도 3에 나타내는 촬영 처리와 같다.

제2실시예에서는, 형광등 광 아래의 적색 피사체와 저녁 경치를 구별해서 화이트 밸런스 제어를 행하는 예에 관하여 설명한다.

도 13은, 제2실시예에 따른 촬상장치에서 행해지는 ＷＢ보정값 연산 처리의 흐름도다.

또한, 도 13에 나타낸 ＷＢ보정값 연산 처리는 ＣＰＵ(103)의 제어하에 행해진다. 또한, 도 13에 나타낸 ＷＢ보정값 연산 처리에 있어서, 도 4에 나타내는 ＷＢ보정값 연산 처리의 단계와 동일한 단계는 동일한 참조 부호를 부착하고, 그에 대한 설명을 생략한다.

단계S404에 있어서, 신뢰도Ｔｗｈｉｔｅ가 저 신뢰도라고 판정되면, ＣＰＵ(103)는, 색판정부(205), 휘도판정부(206), 적외선량 판정부(207), ＲＧＢ값 가산부(208) 및 적외선 기반 ＷＢ보정값 신뢰도 산출부(211)를 제어해서 적외선 판정에 근거하여 저녁 경치 색 검출을 행한다(단계S1305). 이 단계에서는, 일차기억장치(104)에 기억된 ＲＡＷ데이터로 나타낸 화상이 소정수의 블록으로 분할된다. 그리고, 저녁 경치와 동일한 색(이하, 저녁 경치 색이라고 한다)이라고 판정된 블록이 적색 피사체의 색인지 또는 석양에 의해 빨갛게 물들고 있는 하늘의 색인지가 판정된다. 그리고, 석양에 의해 빨갛게 물들고 있는 하늘의 색이라고 판정된 저녁 경치 색의 블록만의 신호 값이 적분된다.

도 14a∼14d는, 도 13에 나타내는 저녁 경치 색 검출 처리를 설명하는데 유용한 도면이다. 도 14a는 저녁 경치를 촬영한 화상의 일례를 나타내는 도면이고, 도 14b는 도 14a에 나타내는 화상을 소정수의 블록으로 분할한 상태를 나타내는 도면이다. 도 14c는 체육관내를 촬영한 화상의 일례를 나타내는 도면이고, 도 14d는 도 14c에 나타내는 화상을 소정수의 블록으로 분할한 상태를 나타내는 도면이다.

도 14b를 참조하면, 석양에 의해 빨갛게 물들고 있는 하늘의 블록을 참조번호 1401로 나타내고, 석양에 비춰진 푸른 바다의 블록을 참조번호 1402로 나타낸다. 도 14a에 나타낸 예에서는, 석양이 적외선을 방출하므로, 석양에 의해 빨갛게 물들고 있는 하늘의 블록(1401)은 적외선성분을 포함한다. 이 때문에, 그 블록(1401)이 저녁 경치 색이라고 판정되어서, 그 신호 값은 적분대상이 된다. 석양에 비춰진 푸른 바다의 블록(1402)은 저녁 경치 색이 아니고, 그 신호 값은 적분되지 않는다.

도 14d를 참조하면, 체육관의 나무 바닥을 참조번호 1403로 나타낸다. 도 14c에 나타내는 예에서는, 형광등에 비춰진 체육관의 나무 바닥의 색이 저녁 경치 색과 유사 색인 경우, 저녁 경치 색이라고 오판정되는 경우가 있다. 그러나, 형광등등의 광원은 적외선을 방출하지 않으므로, 본 실시예에서는 체육관의 나무 바닥을 적색 피사체라고 판정하고, 바닥재의 신호 값은 적분되지 않는 값이다.

도 15는, 도 13에 나타내는 ＷＢ보정값 연산 처리의 단계S1305에서 행해진 저녁 경치 색 검출 처리의 흐름도다.

저녁 경치 색 검출 처리를 시작하면, 도 9에 나타낸 적외선 판정 기반 녹색 검출 처리의 단계S901과 같은 방법으로, 색판정부(205)는 미리 설정된 저녁 경치 색 검출 영역에 포함되는 색을 추출한다. 그리고, 색판정부(205)는, 도 7c에 나타내는 테이블을 참조해서 색 신뢰도Ｔｃｏｌｏｒ를 산출한다(단계S1501).

그리고, 도 9에 나타내는 단계S902와 같이, 휘도판정부(206)는, 측광 센서(105)로 검출된 피사체 휘도에 의거하여, 도 7d에 나타낸 테이블을 참조해서 휘도 기반 신뢰도Ｔｌｕｍｉ를 산출한다(단계S1502). 그리고, 적외선량 판정부(207)는, 적외선 센서(106)로 검출된 적외선량에 의거하여 적외선 기반 신뢰도Ｔｉｒ를 산출한다(단계S1503). 여기에서는, 적외선 기반 신뢰도Ｔｉｒ는, 예를 들면 체육관등의 옥내에 있어서 적색 피사체를 촬영했을 가능성과, 석양에 의해 빨갛게 물들고 있는 하늘을 촬영했을 가능성 중 어느 쪽이 높은지를 나타내는 신뢰도다.

또한, 적외선량에 대해서는, 제1실시예와 같이, 측광 센서(105)로 검출된 피사체 휘도에 의해 상기 적외선량을 정규화하고, 피사체 휘도에 대한 적외선량의 비율을 사용함으로써, 밝기의 변화에 의해 생긴 적외선량의 변동을 억제할 수 있다.

적외선 기반 신뢰도Ｔｉｒ를 산출할 때에 도 7e에 나타내는 테이블을 사용하지만, 본 실시예에서는, 상기 제1실시예와 달리, 최소값Ｉｍｉｎ보다도 적외선량이 적을 경우에는, 그 블록을 피사체의 색이라고 판정한다. 또한, 최대값Ｉｍａｘ보다도 적외선량이 많을 경우에는, 그 블록을 광원의 광의 영향에 의한 색이라고 판정한다.

저녁 경치 색도 넓은 의미에서는 피사체의 색이지만, 해가 기울면, 햇볕이 긴 공기층을 지나게 되어서, 주파수가 높은 파랑계통의 광이 보다 많이 분산된 결과, 저녁 경치는 빨개진다. 따라서, 본 실시예에서는, 적색 피사체의 색과 저녁 경치 색을 구별하기 위해서, 저녁 경치 색을 광원의 광의 영향에 의한 색이라고 판정한다.

또한, 적외선량이 최소값Ｉｍｉｎ과 최대값Ｉｍａｘ 사이일 경우에는, 선형보간에 의해 적외선량에 따라 서서히 적외선 기반 신뢰도Ｔｉｒ가 변화된다.

그 후, 도 9에 나타내는 단계S904와 같은 방법으로, ＲＧＢ값 가산부(208)는, 단계S1501∼S1503에서 산출된 신뢰도에 의거하여 상기의 식(4A)∼(4C)에 의해 저녁 경치 색 검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ를 산출한다(단계S1504).

도 16a∼16d는, 제2실시예에 있어서 ＷＢ제어부에서 행해지는 ＷＢ보정값의 산출을 설명하는데 유용한 도면이다. 도 16a는 적외선 판정에 근거하여 저녁 경치 색 검출을 설명하는데 유용한 도면이고, 도 16b는 저녁 경치 색 검출에 근거하여 색온도 추정을 설명하는데 유용한 도면이다. 또한, 도 16c는 색온도 추정에 근거하여 ＷＢ보정값의 산출을 설명하는데 유용한 도면이고, 도 16d는 화이트 기반 ＷＢ보정값 및 적외선 기반 ＷＢ보정값에 근거하여 최종적인 ＷＢ보정값의 산출을 설명하는데 유용한 도면이다.

도 16a를 참조하면, 도 10a∼10d와 같이, 가로축이 비율R/G를 나타내고, 세로축이 비율B/G를 나타내는 (Ｒ/G, B/G)좌표평면이 표시되고, 색간의 좌표평면상의 위치 관계를 쉽게 파악하기 위해서 흑체 복사 궤적(501)이 도시되어 있다. 저녁 경치 색 검출 영역 1601의 내측에 색 신뢰도 100%가 되는 영역 1602가 설정되어 있고, 이 영역 1602는 도 10a에 나타내는 녹색 검출 영역(1001)내에 설정된 색 신뢰도 100%가 되는 영역 1002와 동일하다.

전체 신뢰도가 높은 색의 (R/G, B/G)좌표평면상의 위치의 예를 참조번호 1603으로 나타낸다. 저녁 경치 색 검출 영역 1601에는 포함되어 있지만, 색 신뢰도가 100%가 되는 영역 1602에는 포함되지 않는, 즉 색 신뢰도Ｔｃｏｌｏｒ가 낮은 색의 (Ｒ/G, B/G)좌표평면상의 위치의 예를 참조번호 1604로 나타낸다. 또한, 휘도 기반 신뢰도Ｔｌｕｍｉ 또는 적외선 기반 신뢰도Ｔｉｒ가 낮은 색의 (Ｒ/G, B/G)좌표평면상의 위치의 예를 참조번호 1605로 나타내고, 저녁 경치 색 검출 영역 1601에 포함되지 않는 색의 (Ｒ/G, B/G)좌표평면상의 위치의 예를 참조번호 1606으로 나타낸다. 또한, 저녁 경치 색 검출 적분값 ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ에 대응한 (Ｒ/G, B/G)좌표의 위치, 즉 (ＲｉｎｔｅｇＡ/ＧｉｎｔｅｇＡ, ＢｉｎｔｅｇＡ/ＧｉｎｔｅｇＡ)좌표의 위치를 참조번호 1607로 나타낸다.

색들의 (Ｒ/G, B/G)좌표평면상의 위치 1603∼1606 및 (ＲｉｎｔｅｇＡ/ＧｉｎｔｅｇＡ, ＢｉｎｔｅｇＡ/ＧｉｎｔｅｇＡ)좌표의 위치 1607은, 도 10a에 나타내는 색들의 (Ｒ/G, B/G)좌표평면상의 위치 1003∼1006 및 (ＲｉｎｔｅｇＡ/ＧｉｎｔｅｇＡ, ＢｉｎｔｅｇＡ/ＧｉｎｔｅｇＡ)좌표의 위치 1007과 같으므로, 그에 대한 설명을 생략한다.

그리고, 도 9에 나타내는 단계S905와 같은 방법으로, ＣＰＵ(103)는 저녁 경치 색 검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ 중 적어도 하나가 갱신되어 있는지를 판정한다(단계S1505). 저녁 경치 색 검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ 중 적어도 하나가 갱신되어 있으면(단계S1505에 있어서, ＹＥＳ), 즉, 해당 블록이 저녁 경치 색이라고 판정되면, 도 9에 나타내는 단계S906과 같은 방법으로, 적외선 기반 ＷＢ보정값 신뢰도 산출부(211)는, 저녁 경치 색을 검출한 블록의 평균 적외선량을 산출하기 위해서, 해당 블록의 휘도로 정규화된 후의 적외선량ＩＲｉj를, 식(5)에 의해 누계 적외선량ＩＲｔｏｔａｌ에 가산한다(단계S1506). 또한, 이 단계에서 행해진 정규화처리는, 블록의 적외선량을 해당 블록의 검출된 측광 센서(105)의 휘도값으로 제산하는 처리다.

계속해서, 도 9에 나타내는 단계S907의 처리와 같은 방법으로, 적외선 기반 ＷＢ보정값 신뢰도 산출부(211)는, 저녁 경치 색을 검출한 블록의 수의 화상전체의 블록의 수에 대한 비율Ｎｒａｔｉｏ을 산출하기 위해서, 식(6)에 의해 누계 저녁 경치 블록수Ｎｔｏｔａｌ로 카운트한다(단계S1507). 그리고, 도 9에 나타내는 단계S908의 처리와 같은 방법으로, ＣＰＵ(103)는 전체 블록에 대해서 확인한 것인가 아닌가를 판정한다(단계S1508).

전체 블록에 대해서 확인하지 않은 경우에는(단계S1508에 있어서, ＮＯ), ＣＰＵ(103)는 다음 블록에 처리를 이동하고(단계S1509), 단계S1501에 되돌아간다. 또한, 저녁 경치 색 검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ가 갱신되어 있지 않으면(단계S1505에 있어서, ＮＯ), ＣＰＵ(103)는 단계S1508에 진행된다.

전체 블록에 대해서 확인되면(단계S1508에 있어서, ＹＥＳ), 도 9에 나타내는 단계S910과 같은 방법으로, 적외선 기반 ＷＢ보정값 신뢰도 산출부(211)는, 누계 적외선량ＩＲｔｏｔａｌ과 누계 저녁 경치 블록수Ｎｔｏｔａｌ에 따라, 식(7)에 의해 저녁 경치 색을 검출한 블록의 평균 적외선량ＩＲａｖｅ를 산출한다(단계S1510). 그 후에, ＣＰＵ(103)는 도 13에 나타내는 ＷＢ보정값 연산 처리에 되돌아간다.

상기의 처리에 의해 산출된 저녁 경치 색이라고 판별된 블록의 Ｒ, G 및 B적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ, 상기 식(8)로 산출된 저녁 경치 색이라고 판별된 블록의 화상 전체에 대한 비율Ｎｒａｔｉｏ, 그리고, 저녁 경치 색이라고 판별된 블록의 평균 적외선량ＩＲａｖｅ를 사용하여, 도 17을 참조하여 후술하는 것처럼, 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값과의 가산 처리가 행해진다.

다시 도 13을 참조하여, 도 4에 나타내는 단계S406과 같은 방법으로, 광원색 추정부(209)는, 저녁 경치 색 검출 적분값ＲｉｎｔｅｇＡ, ＧｉｎｔｅｇＡ 및 ＢｉｎｔｅｇＡ에 대응하는 위치 1607의 좌표에 의거하여 저녁 경치 색의 색온도를 추정한다(단계S1306).

단계S1306에서 저녁 경치 색 검출에 근거한 색온도 추정은, 도 11의 색온도 추정 처리와 같은 방법으로 행해지므로, 그에 대한 설명을 생략한다.

도 16b에서는, 도 16a와 마찬가지로, 가로축이 비율R/G를 나타내고, 세로축이 비율B/G를 나타내는 (Ｒ/G, B/G)좌표평면이 표시되고, 색간의 좌표평면상의 위치 관계를 쉽게 파악하기 위해서 흑체 복사 궤적(501)이 도시되어 있다. 도 16b에 나타낸 예는, 도 10b에 나타낸 예와 같고, 색들의 (Ｒ/G, B/G)좌표평면상의 위치 1608∼1613은 도 10b에서 색들의 (Ｒ/G, B/G)좌표평면상의 위치 1008∼1013에 대응하므로, 그에 대한 설명을 생략한다.

그 후, 도 4에 나타내는 단계S407과 같이, 적외선 기반 ＷＢ보정값 산출부(210)는, 단계S1306에서 추정된 저녁 경치 색의 색온도에 대응하는 ＷＢ보정값(적외선 기반 ＷＢ보정값)을 산출한다(단계S1307).

도 16c에 있어서는, 도 16a 및 16b와 같이, 가로축이 비율R/G를 나타내고, 세로축이 비율B/G를 나타내는 (Ｒ/G, B/G)좌표평면이 표시되고, 색간의 좌표평면상의 위치 관계를 쉽게 파악하기 위해서 흑체 복사 궤적(501)이 도시되어 있다. 도 16c에 나타낸 예는, 도 10c에 나타내 예와 같고, 참조번호 1614로 나타낸 적외선 기반 ＷＢ보정값은 적외선 기반 ＷＢ보정값(1014)에 대응하므로, 그에 대한 설명을 생략한다.

다음에, ＷＢ보정값 가산 비율 산출부(212) 및 혼합ＷＢ보정값 산출부(213)는 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값을 소정의 비율로 가산한다(단계S1308). 그리고, 가산으로 얻어진 ＷＢ보정값을 소정의 값만큼 쉬프트시켜서, 최종적인 ＷＢ보정값이 산출된다.

도 17은, 도 13에 나타내는 ＷＢ보정값 연산 처리의 단계S1308에서 실행된 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값과의 가산 처리의 흐름도다.

도 16d 및 도 17을 참조하면, 도 16d에 있어서는, 도 16a∼16c와 마찬가지로, 가로축이 비율R/G를 나타내고, 세로축이 비율B/G를 나타내는 (Ｒ/G, B/G)좌표평면이 표시되고, 색간의 좌표평면상의 위치 관계를 쉽게 파악하기 위해서 흑체 복사 궤적(501)이 도시되어 있다. 가산 처리를 시작하면, ＷＢ보정값 가산 비율 산출부(212)는, 단계S1305에 있어서 저녁 경치 색이라고 판정된 블록들의 평균 적외선량ＩＲａｖｅ에 의거하여 적외선 기반 신뢰도Ｔｉｒ2를 산출한다(단계S1701).

적외선 기반 신뢰도Ｔｉｒ2는, 도 7f에 나타내는 테이블(적외선 기반 신뢰도 테이블)을 참조해서 산출되지만, 이 테이블은 도 7e에 나타내는 테이블과 같으므로, 그에 대한 설명을 생략한다.

그리고, ＷＢ보정값 가산 비율 산출부(212)는, 단계S1305에 있어서 저녁 경치 색이라고 판정된 블록의 수의 전체 블록의 수에 대한 비율Ｎｒａｔｉｏ에 의거하여 저녁 경치 색 신뢰도Ｔｅｖｅｎｉｎｇ을 산출한다(단계S1702).

또한, 저녁 경치 색 신뢰도Ｔｅｖｅｎｉｎｇ는, 도 7h에 나타내는 테이블(저녁 경치 색 신뢰도 테이블)을 참조해서 산출되지만, 이 테이블은 도 7a에 나타내는 테이블과 같으므로, 그에 대한 설명을 생략한다. 또한, 도 7h에 나타낸 테이블에 있어서, 가로축의 수치는 일례로 나타내지만, 저녁 경치 색 블록의 수는 이것들에 한정되지 않는다. 즉, 저녁 경치 색이라고 판정된 블록의 수의 비율이 높을수록, 저녁 경치 색 신뢰도Ｔｅｖｅｎｉｎｇ이 높아지도록 구성하면 좋다.

다음에, ＷＢ보정값 가산 비율 산출부(212)는, 적외선 기반 신뢰도Ｔｉｒ2와 저녁 경치 색 신뢰도Ｔｅｖｅｎｉｎｇ에 의거하여, 아래의 식(12)에 의해 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값과의 가산 비율Ｒａｔｉｏ_W_ＩＲ를 산출한다(단계S1703):

Ｒａｔｉｏ_W_ＩＲ=Ｔｉｒ2×Ｔｅｖｅｎｉｎｇ/100 ...(12)

또한, 단계S1703에서는, 상술한 단계S1303에서 산출된 화이트 기반 ＷＢ보정값의 신뢰도를 고려하여, 가산 비율Ｒａｔｉｏ_W_ＩＲ를 산출하여도 좋다. 또한, 신뢰도에 따라서, 화이트 기반 ＷＢ보정값 및 적외선 기반 ＷＢ보정값의 한쪽을 사용하도록 가산 비율Ｒａｔｉｏ_W_ＩＲ를 설정해도 좋다.

다음에, 혼합ＷＢ보정값 산출부(213)는, 가산 비율Ｒａｔｉｏ_W_ＩＲ를 사용한 상기의 식(11)에 의해 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값을 함께 가산하여서 ＷＢ보정값(혼합ＷＢ보정값)ＷＢ_Ｒｍｉｘ를 산출한다(단계S1704). 그 후에, 혼합ＷＢ보정값 산출부(213)는 혼합ＷＢ보정값을 미리 설정된 소정의 값만큼 붉은 광을 강조하는 방향으로 쉬프트시켜서, 붉은 광을 강조하는 ＷＢ보정값(저녁 경치 색 기반 ＷＢ보정값)을 산출한다(단계S1705). 그리고, ＣＰＵ(103)는 도 13에 나타내는 ＷＢ보정값 연산 처리에 되돌아간다.

도 16d에 있어서, 적외선 기반 ＷＢ보정값에 대응한 (Ｒ/G, B/G)좌표의 점을 참조번호 1614로 나타내고, 화이트 기반 ＷＢ보정값에 대응한 (Ｒ/G, B/G)좌표의 점을 참조번호 1615로 나타낸다. 또한, 혼합ＷＢ보정값에 대응한 (Ｒ/G, B/G)좌표의 점을 참조번호 1616로 나타내고, 저녁 경치 색 기반 ＷＢ보정값에 대응한 (Ｒ/G, B/G)좌표의 점을 참조번호 1617로 나타낸다.

좌표점 1614와 좌표점 1615를 연결시키는 직선을 가산 비율Ｒａｔｉｏ_W_ＩＲ에 따라 분할한 점의 좌표는, 혼합ＷＢ보정값에 대응한 점 1616의 (Ｒ/G, B/G)좌표로 설정된다. 그리고, 소정의 값만큼 흑체 복사 궤적(501)을 따라 고 색온도측으로 상기 점 1616을 쉬프트시켜서 도달된 점의 좌표는, 저녁 경치 색 기반 ＷＢ보정값에 대응하는 점 1617의 (Ｒ/G, B/G)좌표로 설정된다.

상기의 처리에 의해, 화이트 기반 ＷＢ보정값과 적외선 기반 ＷＢ보정값과의 천이를 매끄럽게 할 수 있고, 저녁 경치가 되는 붉은 광으로 강조된 색의 색조를 갖는 화상을 얻을 수 있다.

그리고, 전술한 바와 같이 해서 얻어진 저녁 경치 색 기반 ＷＢ보정값을 사용하여, 일차기억장치(104)에 기억된 ＲＡＷ데이터가 화상 데이터로 변환된다.

그 밖의 실시예

또한, 본 발명의 실시예(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령어들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 주문형 반도체(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령어를 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)^TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.

본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

본 출원은, 여기서 전체적으로 참고로 포함된, 2014년 5월 30일에 출원된 일본국 특허출원번호 2014-112589의 이점을 청구한다.

Claims

촬상소자;
상기 촬상소자에 의해 행해진 촬상으로 얻어진 화상을 복수의 영역으로 분할하고, 각 영역으로부터 색 평가 값을 취득하는 취득 유닛;
상기 화상의 영역에 관련하여 정의된 피사체의 각 영역으로부터 적외선을 검출하는 적외선 센서;
상기 화상으로부터 취득한 복수의 색 평가 값을 사용해서 화이트 밸런스 보정값을 산출하는 산출 유닛; 및
상기 산출 유닛에서 산출된 혼합 화이트 밸런스 보정값을 사용해서 상기 화상에 화이트 밸런스 보정처리를 행하는 처리 유닛을 구비하고,
상기 산출 유닛은,
상기 복수의 색 평가 값 중, 색공간에서 설정된 백색의 검출 범위에 포함되는 색 평가 값을 사용해서 제1 화이트 밸런스 보정값을 산출하는 제1 화이트 밸런스 보정값 산출부와,
상기 복수의 색 평가 값 중, 각각 적외선량이 소정량보다도 많은 영역으로부터 취득되고, 색공간에서 설정된 백색과 다른 소정의 색의 검출 범위에 포함되는 색 평가 값을 사용해서 제2 화이트 밸런스 보정값을 산출하는 제2 화이트 밸런스 보정값 산출부와,
상기 제1 화이트 밸런스 보정값과 상기 제2 화이트 밸런스 보정값을 혼합함으로써 혼합 화이트 밸런스 보정값을 산출하는 혼합 화이트 밸런스 보정값 산출부를 구비하는, 촬상장치.
제 1 항에 있어서,
상기 산출 유닛에서 산출된 제1 화이트 밸런스 보정값의 신뢰도를 산출하는 신뢰도 산출 유닛을 더 구비하고,
상기 처리 유닛은, 상기 제1 화이트 밸런스 보정값의 신뢰도가 소정값보다도 높을 경우에는, 상기 혼합 화이트 밸런스 보정값 대신에 상기 제1 화이트 밸런스 보정값을 사용해서 상기 화상에 화이트 밸런스 보정을 행하는, 촬상장치.
제 2 항에 있어서,
상기 신뢰도 산출 유닛은, 상기 백색의 검출 범위에 각각 색 평가 값이 포함되는 영역의 화상 전체에 대한 비율에 의거하여 상기 제1 화이트 밸런스 보정값의 신뢰도를 산출하는, 촬상장치.
제 2 항에 있어서,
상기 신뢰도 산출 유닛은, 상기 제1 화이트 밸런스 보정값에 대응하는 색공간의 위치와 흑체 복사 궤적간의 거리에 의거하여 상기 제1 화이트 밸런스 보정값의 신뢰도를 산출하는, 촬상장치.
제 1 항에 있어서,
상기 산출 유닛은, 상기 제2 화이트 밸런스 보정값을 산출할 때, 소정의 색의 검출 범위에 포함되는 색 평가 값을, 해당 색 평가 값이 검출된 영역에서의 적외선량에 따라 각 색 평가 값을 가중해서 적산하고, 적산 후의 색 평가 값을 사용해서 제2 화이트 밸런스 보정값을 산출하는, 촬상장치.
제 5 항에 있어서,
상기 산출 유닛은, 적외선량이 많은 영역일수록, 해당 영역의 가중을 크게 해서 색 평가 값을 적산하고, 적산 후의 색 평가 값을 사용해서 제2 화이트 밸런스 보정값을 산출하는, 촬상장치.
제 1 항에 있어서,
상기 화상의 영역에 관련하여 정의된 상기 피사체의 각 영역으로부터 휘도를 검출하는 휘도검출 유닛을 더 구비하고,
상기 산출 유닛은, 휘도값이 높은 영역일수록, 해당 영역의 가중을 크게 해서 색 평가 값을 적산하고, 적산 후의 색 평가 값을 사용해서 제2 화이트 밸런스 보정값을 산출하는, 촬상장치.
제 1 항에 있어서,
상기 화상의 각 영역의 색이, 해당 영역으로부터 검출된 적외선량에 의거하여 광원의 광의 색인지 또는 피사체의 색인지를 판별하는 판별 유닛을 더 구비하는, 촬상장치.
제 1 항에 있어서,
상기 산출 유닛은, 각각 적외선량이 소정양보다도 많은 영역의 화상 전체에 대한 비율이 클수록, 상기 제1 화이트 밸런스 보정값에 대한 상기 제2 화이트 밸런스 보정값의 비율이 커지도록, 상기 제1 화이트 밸런스 보정값과 상기 제2 화이트 밸런스 보정값을 혼합하여서, 상기 혼합 화이트 밸런스 보정값을 산출하는, 촬상장치.
제 1 항에 있어서,
상기 산출 유닛은, 각각 적외선량이 소정양보다도 많은 영역에 있어서의 평균 적외선량이 많을수록, 상기 제1 화이트 밸런스 보정값에 대한 상기 제2 화이트 밸런스 보정값의 비율이 커지도록, 상기 제1 화이트 밸런스 보정값과 상기 제2 화이트 밸런스 보정값을 혼합하여서, 혼합 화이트 밸런스 보정값을 산출하는, 촬상장치.
촬상소자;
상기 촬상소자에 의해 행해진 촬상으로 얻어진 화상을 복수의 영역으로 분할하고, 각 영역으로부터 색 평가 값을 취득하는 취득 유닛;
상기 화상의 영역에 관련하여 정의된 피사체의 각 영역으로부터 적외선을 검출하는 적외선 센서;
상기 적외선 센서에 의해 영역마다 행해진 적외선량의 검출 결과에 근거하여, 상기 화상으로부터 취득한 복수의 색 평가 값을 사용해서 화이트 밸런스 보정값을 산출하는 산출 유닛; 및
상기 산출 유닛에 의해 산출된 상기 화이트 밸런스 보정값을 사용해서 상기 화상에 화이트 밸런스 보정처리를 행하는 처리 유닛을 구비하는, 촬상장치.
촬상소자를 구비하는 촬상장치를 제어하는 방법으로서,
상기 촬상소자에 의해 행해진 촬상으로 얻어진 화상을 복수의 영역으로 분할하고, 각 영역으로부터 색 평가 값을 취득하는 단계;
상기 화상의 영역에 관련하여 정의된 피사체의 각 영역으로부터 적외선을 검출하는 단계;
상기 화상으로부터 취득한 복수의 색 평가 값을 사용해서 화이트 밸런스 보정값을 산출하는 단계; 및
상기 산출단계에서 산출된 혼합 화이트 밸런스 보정값을 사용해서 상기 화상에 화이트 밸런스 보정처리를 행하는 단계를 포함하고,
상기 산출단계는,
상기 복수의 색 평가 값 중, 색공간에서 설정된 백색의 검출 범위에 포함되는 색 평가 값을 사용해서 제1 화이트 밸런스 보정값을 산출하는 것과,
상기 복수의 색 평가 값 중, 각각 적외선량이 소정량보다도 많은 영역으로부터 취득되고, 색공간에서 설정된 백색과 다른 소정의 색의 검출 범위에 포함되는 색 평가 값을 사용해서 제2 화이트 밸런스 보정값을 산출하는 것과,
상기 제1 화이트 밸런스 보정값과 상기 제2 화이트 밸런스 보정값을 혼합함으로써 혼합 화이트 밸런스 보정값을 산출하는 것을 포함하는, 촬상장치의 제어 방법.