KR20140077098A - 촬상 장치 및 촬상 방법 - Google Patents

Abstract

본 발명은 촬상 장치 및 촬상 방법에 관한 것으로, 본 발명의 일 실시 예에 따른 촬상 장치는 플래시 혼합률에 기초하여 피사체 영역을 선택하고, 피사체 영역) 내에서 컬러 밸런스를 산출하여 플래시 광과 정상 광의 컬러 밸런스를 최적화함으로써, 바운스 촬영시나 외부 부착된 플래시를 사용한 경우 등 플래시 광의 화이트 밸런스 게인이 미리 판명되지 않은 경우에서도 적절한 화이트 밸런스 게인을 산출할 수 있다.

Description

촬상 장치 및 촬상 방법{Photographing apparatus and method}

본 발명은 촬상 장치 및 촬상 방법에 관한 것이다.

디지털 스틸 카메라(Digital Still Camera) 등의 전자적 촬상 장치에 있어서, 백색의 밸런스를 보정하는 화이트 밸런스(White Balance) 보정 처리가 널리 알려져 있다. 종래의 화이트 밸런스 보정 처리는 모든 화소에 같은 화이트 밸런스 게인(White Balance Gain)을 적용하는 처리이다.

예를 들면 정상 광이 어두운 씬(Scene)에서는, 노광 부족을 해소하기 위해 플래시(Flash)를 발광시켜 촬영을 행하는데, 이때 정상 광과 플래시 광이 혼합되어 있는 씬에서의 화이트 밸런스 게인은 플래시의 발광량 등에 따라 산출하게 된다. 그때, 디지털 스틸 카메라에 가까운 거리에 있는 피사체는 플래시 광의 의존도가 높기 때문에 적절한 화이트 밸런스로 할 수 있다. 하지만, 디지털 스틸 카메라로부터 떨어진 먼 거리에 있는 피사체는 정상 광의 의존도가 높아진다. 이 경우, 정상 광이 형광등 등의 경우라면 플래시 광과의 색 온도차가 커지기 때문에, 흰 피사체가 노랗게 비치는 등 부적절한 화이트 밸런스가 되는 문제가 발생한다.

이러한 문제점들을 해결하기 위해 다음과 같은 종래기술들이 있다. 화상 전체를 적절한 화이트 밸런스로 하기 위해 플래시 발광 화상과 플래시 비발광 화상을 비교함으로써 플래시 혼합률을 산출하고, 그 플래시 혼합률로부터 최적의 화이트 밸런스 게인을 화소 단위로 산출하여 적용하는 기술이 알려져 있다. 여기서, 플래시 광의 광원 색과 정상 광의 광원 색을 플래시 혼합률로 선형 보간하여 화이트 밸런스 게인을 산출한다. 플래시 광의 광원 색은 사전에 측정한 플래시 광이 100% 피사체에 비치는 경우의 값을 사용함으로써, 플래시 혼합률에 따라 화이트 밸런스 게인을 산출하고 있다.

또한, 플래시 발광 화상과 플래시 비발광 화상을 화소 마다의 휘도 값에 기초하여 소정의 문턱값, 소정의 합성 비율에 따라 합성하여 화상을 생성하거나, 플래시 발광 화상과 플래시 비발광 화상의 휘도를 비교하고, 그 휘도 차가 미리 정해진 문턱값을 넘는 플래시 발광 화상 중의 영역의 화상 데이터에 기초하여 피사체에 대한 화이트 밸런스 게인을 산출하거나, 화이트 밸런스 게인이 원활하게 변화하는 피사체나 휘도값이 급격하게 변화하는 피사체이어도 정확하게 화이트 밸런스 게인을 산출하는 기술들이 있다.

본 발명의 일 실시 예는 외부 부착된 플래시를 사용하는 경우 또는 바운스 발광 등 직접 플래시 광을 피사체에 조사하지 않는 경우 등 플래시의 화이트 밸런스 게인이 불명해지는 경우이어도 적정한 화이트 밸런스 게인을 산출하는 것이 가능한 촬상 장치 및 촬상 방법을 제공하는 것이다.

상기 과제를 해결하기 위해, 본 발명의 일 실시 예에 따른 촬상 장치는 플래시 비발광시에 촬상된 제1 화상의 노광 제어값과 플래시 발광시에 촬상된 제2 화상의 노광 제어값의 차분으로부터 노광 차분값을 산출하는 노광 차분값 산출부와, 상기 노광 차분값을 곱셈한 상기 제2 화상의 신호값과, 상기 제1 화상의 신호값의 비교로부터 소정의 블록 단위로 제1 플래시 혼합률을 산출하는 플래시 혼합률 산출부와, 상기 제1 플래시 혼합률이 최대값이 되는 블록을 선택하고, 상기 선택한 블록 및 상기 최대값과 소정의 문턱값의 사이에 상기 제1 플래시 혼합률이 속하는 블록으로 이루어지는 영역을 선택하는 피사체 영역 선택부와, 플래시 발광시의 상기 제2 화상 중에서 상기 선택한 상기 영역의 컬러 밸런스를 산출하는 플래시 광 컬러 밸런스 산출부와, 상기 플래시 혼합률의 상기 최대값을 1로 하는 계수를 산출하고, 그 계수를 모든 블록의 상기 제1 플래시 혼합률에 곱셈하여 제2 플래시 혼합률을 산출하는 플래시 혼합률 보정부와, 상기 제2 플래시 혼합률, 상기 플래시 광 컬러 밸런스 산출부가 산출한 상기 컬러 밸런스, 정상 광의 컬러 밸런스에 기초하여 상기 블록 단위로 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함한다.

상기 구성에 따르면, 제1 플래시 혼합률의 최대값과 소정의 문턱값의 사이에 제1 플래시 혼합률이 들어가는 블록으로 이루어지는 영역이 선택되어, 그 영역의 플래시 발광시의 제2 화상의 컬러 밸런스와 정상 광의 컬러 밸런스에 제2 플래시 혼합률을 적용하여 화이트 밸런스 게인을 산출할 수 있기 때문에, 플래시에 의한 화이트 밸런스 게인이 불명한 경우이어도 적정한 화이트 밸런스 게인을 산출할 수 있다.

또한, 상기 블록은 1화소로 이루어지고, 상기 플래시 혼합률 산출부는 화소마다 상기 제1 플래시 혼합률을 산출하며, 상기 화이트 밸런스 게인 산출부는 화소마다 상기 화이트 밸런스 게인을 산출한다. 이 구성에 따르면, 화소마다 화이트 밸런스 게인을 산출할 수 있기 때문에 화소마다 화이트 밸런스를 제어할 수 있다.

또한, 상기 블록은 복수의 화소로 구성되는 특정 영역이고, 상기 플래시 혼합률 산출부는 상기 특정 영역마다 상기 제1 플래시 혼합률을 산출하며, 상기 화이트 밸런스 게인 산출부는 상기 특정 영역마다 상기 화이트 밸런스 게인을 산출한다. 이 구성에 따르면, 특정 영역마다 화이트 밸런스 게인을 산출할 수 있기 때문에 특정 영역마다 화이트 밸런스를 제어할 수 있다.

또한, 상기 화이트 밸런스 게인을 상기 제2 화상에 상기 블록마다 적용하는 화이트 밸런스 게인 제어부를 더 포함한다. 이 구성에 따르면, 산출한 화이트 밸런스 게인이 제2 화상에 블록마다 적용되기 때문에 화이트 밸런스를 최적으로 제어할 수 있다.

또한, 플래시 발광시의 상기 제2 화상 중에서 상기 선택한 영역의 상기 컬러 밸런스와, 플래시 비발광시의 상기 제1 화상의 상기 컬러 밸런스를 상기 제2 플래시 혼합률에 기초하여 선형 보간하여 블록 단위로 컬러 밸런스를 산출하는 추정 광원색 산출부를 더 포함하고, 상기 화이트 밸런스 게인 산출부는 상기 블록 단위로 산출된 상기 컬러 밸런스에 기초하여 상기 블록 단위로 상기 화이트 밸런스 게인을 산출한다. 이 구성에 따르면, 플래시 발광시의 제2 화상 중에서 선택한 영역의 컬러 밸런스와, 플래시 비발광시의 제1 화상의 컬러 밸런스가 제2 플래시 혼합률에 기초하여 선형 보간되어 블록 단위로 컬러 밸런스가 산출되기 때문에, 플래시 발광에 의한 화이트 밸런스 게인이 불명한 경우이어도 블록 단위로 컬러 밸런스를 고정밀도로 산출할 수 있다.

상기 다른 과제를 해결하기 위해, 본 발명의 다른 관점에 따르면, 플래시 비발광시에 촬상된 제1 화상의 노광 제어값과 플래시 발광시에 촬상된 제2 화상의 노광 제어값의 차분으로부터 노광 차분값을 산출하는 단계와, 상기 노광 차분값을 곱셈한 상기 제2 화상의 신호값과, 상기 제1 화상의 신호값의 비교로부터 소정의 블록 단위로 제1 플래시 혼합률을 산출하는 단계와, 상기 제1 플래시 혼합률이 최대값이 되는 블록을 선택하고, 상기 선택한 블록 및 상기 최대값과 소정의 문턱값의 사이에 상기 제1 플래시 혼합률이 속하는 블록으로 이루어지는 영역을 선택하는 단계와, 플래시 발광시의 상기 제2 화상 중에서 상기 선택한 영역의 컬러 밸런스를 산출하는 단계와, 상기 플래시 혼합률의 상기 최대값을 1로 하는 계수를 산출하고, 상기 산출한 계수를 모든 블록의 상기 제1 플래시 혼합률에 곱셈하여 제2 플래시 혼합률을 산출하는 단계와, 상기 제2 플래시 혼합률, 상기 컬러 밸런스를 산출하는 단계에서 산출한 상기 컬러 밸런스, 정상 광의 컬러 밸런스에 기초하여 상기 블록 단위로 화이트 밸런스 게인을 산출하는 단계를 포함한다.

상기 구성에 따르면, 제1 플래시 혼합률의 최대값과 소정의 문턱값의 사이에 제1 플래시 혼합률이 속하는 블록으로 이루어지는 영역이 선택되어, 그 영역의 플래시 발광시의 제2 화상의 컬러 밸런스와 정상 광의 컬러 밸런스에 제2 플래시 혼합률을 적용하여 화이트 밸런스 게인을 산출할 수 있기 때문에, 플래시에 의한 화이트 밸런스 게인이 불명한 경우이어도 적정한 화이트 밸런스 게인을 산출할 수 있다.

또한, 상기 블록은 1화소의 영역이고, 상기 제1 플래시 혼합률을 산출하는 단계에서 화소마다 상기 제1 플래시 혼합률을 산출하며, 상기 화이트 밸런스 게인을 산출하는 단계에서 화소마다 상기 화이트 밸런스 게인을 산출한다. 이 구성에 따르면, 화소마다 화이트 밸런스 게인을 산출할 수 있기 때문에 화소마다 화이트 밸런스를 제어할 수 있다.

또한, 상기 블록은 복수의 화소로 구성되는 특정 영역이고, 상기 제1 플래시 혼합률을 산출하는 단계에서 상기 특정 영역마다 상기 제1 플래시 혼합률을 산출하며, 상기 화이트 밸런스 게인을 산출하는 단계에서 상기 특정 영역마다 상기 화이트 밸런스 게인을 산출한다. 이 구성에 따르면, 특정 영역마다 화이트 밸런스 게인을 산출할 수 있기 때문에 특정 영역마다 화이트 밸런스를 제어할 수 있다.

또한, 상기 화이트 밸런스 게인을 상기 제2 화상에 상기 블록마다 적용하는 단계를 더 구비한다. 이 구성에 따르면, 산출한 화이트 밸런스 게인이 제2 화상에 블록마다 적용되기 때문에 화이트 밸런스를 최적으로 제어할 수 있다.

또한, 플래시 발광시의 상기 제2 화상 중에서 상기 선택한 영역의 상기 컬러 밸런스와, 플래시 비발광시의 상기 제1 화상의 컬러 밸런스를 상기 제2 플래시 혼합률에 기초하여 선형 보간하여 블록 단위로 컬러 밸런스를 산출하는 단계를 더 구비하고, 상기 화이트 밸런스 게인을 산출하는 단계에 있어서, 상기 블록 단위로 산출된 상기 컬러 밸런스에 기초하여 상기 블록 단위로 상기 화이트 밸런스 게인을 산출한다. 이 구성에 따르면, 플래시 발광시의 제2 화상 중에서 선택한 영역의 컬러 밸런스와, 플래시 비발광시의 제1 화상의 컬러 밸런스가 제2 플래시 혼합률에 기초하여 선형 보간되어 블록 단위로 컬러 밸런스가 산출되기 때문에, 플래시 발광에 의한 화이트 밸런스 게인이 불명한 경우이어도 블록 단위로 컬러 밸런스를 고정밀도로 산출할 수 있다.

본 발명의 일 실시 예에 따른 촬상 장치 및 촬상 방법은 외부 부착된 플래시를 사용하는 경우 또는 바운스 발광 등 직접 플래시 광을 피사체에 조사하지 않는 경우 등 플래시의 화이트 밸런스 게인이 불명해지는 경우이어도 적정한 화이트 밸런스 게인을 산출하는 것이 가능하다.

도 1은 본 발명의 일 실시형태에 관한 촬상 장치의 화상 처리 구성을 도시한 블록도이다.
도 2는 화이트 밸런스 게인의 산출 처리를 도시한 흐름도이다.
도 3은 플래시 비발광 촬영에 의해 촬상되는 화상을 도시한 설명도이다.
도 4는 플래시 발광 촬영에 의해 촬상되는 화상을 도시한 설명도이다.
도 5는 베이어 배열을 갖는 촬상 소자를 도시한 설명도이다.
도 6은 피사체 영역 선택부에 의해 선택되는 영역을 도시한 예시도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하에 첨부 도면을 참조하면서 본 발명의 적합한 실시형태에 대해 상세하게 설명한다. 또, 본 명세서 및 도면에 있어서 실질적으로 동일한 기능 구성을 갖는 구성요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.

이하의 실시형태에서는, 촬상 장치의 일례로서 디지털 스틸 카메라를 예로 들어 본 실시형태에 관한 촬상 장치에서 실시되는 화상 처리 블록에 대해 도 1을 참조하면서 간단하게 설명한다.

본 실시 형태에 관한 촬상 장치(10)는, 도 1에 도시된 바와 같이 촬상부(101), 신호 처리부(102), 전처리부(103), 화상 메모리(104), 적정 AE 산출부(105), 멀티 AWB 처리부(106), 후처리부(107), RGB-YCC 변환부(108), 데이터 압축부(109), 메모리 카드 인터페이스(110) 및 메모리 카드(111)를 포함한다.

촬상부(101)는, 도 1에 도시된 바와 같이 피사체로부터의 광을 집광하는 렌즈(121), 조리개(122), 셔터(123), CCD 이미지 센서나 CMOS 이미지 센서 등의 촬상 소자(124), 노광 제어부(125), 플래시(126)를 포함한다.

렌즈(121)를 투과한 광은, 조리개(122) 및 셔터(123)의 동작 타이밍에 맞추어 촬상 소자(124)에 결상하고, 촬상 소자(124)의 각 화소로부터 결상한 광에 관한 출력 신호가 출력된다. 또한, 노광 제어부(125)는 조리개(122), 셔터(123), 촬상 소자(124) 및 플래시(126)의 동작 타이밍을 제어하고 있고, 플래시(126)를 발광시키면서 피사체를 촬상하거나 플래시(126)를 발광시키지 않고 피사체를 촬상하는 제어를 수행한다.

신호 처리부(102)는, 촬상부(101)의 촬상 소자(124)로부터 출력된 출력 신호에 대해 신호 처리를 수행한다. 신호 처리부(102)는, 출력 신호에 대해 색 분리 처리를 하는 색 분리부(131)와, 출력 신호에 대해 A/D 변환 처리를 하는 A/D 변환부(132)를 포함한다. 색 분리부(131)와 A/D 변환부(132)는 서로 연동하여 출력 신호에 대해 신호 처리를 수행한다. 이들 처리가 행해짐으로써, 촬상 소자(124)로부터 출력된 출력 신호는 RGB 화상 신호가 얻어진다.

전처리부(103)는, 신호 처리부(102)로부터 출력된 RGB 화상 신호에 대해 전처리를 실시한다. 전처리부(103)는, 도 1에 도시된 바와 같이 흑 레벨 보정부(141), 결함 화소 보정부(142), 셰이딩 보정부(143) 및 AE 평가값 산출부(144)를 포함한다. 신호 처리부(102)로부터 출력된 RGB 화상 신호는 흑 레벨 보정부(141)에 의한 흑 레벨 보정 처리에 의해 흑 레벨이 일정해지도록 보정되고, 결함 화소 보정부(142)에 의해 화소 결함이 RGB 화상 신호 중에 존재하는 경우에 화소 결함 주변의 정보에 기초하여 정보가 보간된다. 또한, 신호 처리부(102)로부터 출력된 RGB 화상 신호는, 셰이딩 보정부(143)에 의해 화상의 주변 등에 발생하는 휘도 누락 등에 기인하는 화상의 휘도 차가 보정된다. AE 평가값 산출부(144)는, 이들 보정이 행해진 RGB 화상 신호에 기초하여 AE 평가값을 산출한다. AE 평가값 산출부(144)에 의해 산출된 AE 평가값은 적정 AE 산출부(105)에 출력된다. 또한, 상술한 보정이 행해진 RGB 화상 신호는 화상 메모리(104) 및 후 처리부(107)에 출력된다.

화상 메모리(104)는, 전처리부(103)에 의한 각종 전처리가 실시된 RGB 신호를 기억하는 기억부의 일례이다. 이 화상 메모리(104)는, 플래시 비발광시에 촬상된 촬상 화상을 기억하는 제1 촬상 기억부(151)와, 플래시 발광시에 촬상된 촬상 화상을 기억하는 제2 촬상 기억부(152)를 포함한다. 후술하는 멀티 AWB(오토 화이트 밸런스) 처리부(106) 및 후처리부(107)는, 이러한 화상 메모리(104)가 기억하고 있는 각 촬상 화상을 이용하여 각각의 처리부에서의 처리를 수행한다.

적정 AE 산출부(105)는, 전처리부(103)의 AE 평가값 산출부(144)로부터 출력된 AE 평가값에 기초하여 촬상 조건에 적합한 AE값을 산출한다. 적정 AE 산출부(105)는, 산출한 AE값을 촬상부(101)의 노광 제어부(125) 및 멀티 AWB 처리부(106)에 출력한다. 이에 의해, 노광 제어부(125)는 취득한 AE값에 기초하여 조리개(122), 셔터(123), 촬상 소자(124) 및 플래시(126)의 노광 제어를 행하는 것이 가능해진다.

멀티 AWB 처리부(106)는, 적정 AE 산출부(105)가 산출한 AE값과 화상 메모리(104)에 기억되어 있는 플래시 비발광시에 촬상된 촬상 화상 및 플래시 발광시에 촬상된 촬상 화상을 이용하여 화이트 밸런스 보정 처리에 이용되는 화이트 밸런스 게인을 산출하는 처리부이다. 멀티 AWB 처리부(106)는, 산출한 화이트 밸런스 게인을 후술하는 후처리부(107)의 화이트 밸런스 제어부(176)에 출력한다.

멀티 AWB 처리부(106)는, 도 1에 도시된 바와 같이 노광 차분값 산출부(161), 플래시 혼합률 산출부(162), 피사체 영역 선택부(163), 플래시 광의 컬러 밸런스 산출부(164), 플래시 혼합률 보정부(165), 추정 광원색 산출부(166) 및 화이트 밸런스 게인 산출부(167)를 포함한다. 여기서, 멀티 AWB 처리부(106)는 전술한 구성들을 모두 포함하는 것으로 설명하지만, 이에 한정되지 않고, 생략하여 실시할 수도 있다.

멀티 AWB 처리부(106)에서 실시되는 화이트 밸런스 게인의 산출 처리에 대해서는 이하에서 다시 상세하게 설명한다.

후처리부(107)는, 전처리부(103)에 의해 전처리가 실시된 RGB 화상 신호에 대해 각종 후처리를 실시하는 처리부이다. 후처리부(107)는, RGB 화상 신호에 대해 디모자이크 처리(베이어 색 보간 처리)를 실시하는 디모자이크 처리부(171)와, RGB 화상 신호에 대해 엣지 강조 처리를 실시하는 엣지 강조 처리부(172)와, RGB 화상 신호에 대해 색보정 처리를 실시하는 색보정 처리부(173)와, RGB 화상 신호에 대해 감마 보정을 실시하는 감마 보정 처리부(174)와, RGB 화상 신호의 노이즈 리덕션 처리(노이즈 저감 처리)를 실시하는 노이즈 리덕션 처리부(175)와, RGB 화상 신호에 대해 화이트 밸런스 보정 처리를 실시하는 화이트 밸런스 제어부(176)를 더 포함한다. 여기서, 화이트 밸런스 제어부(176)에는 본 실시형태에 관한 멀티 AWB 처리부(106)에 의해 산출된 화이트 밸런스 게인이 입력되고, 화이트 밸런스 제어부(176)는 산출된 화이트 밸런스 게인을 이용하여 RGB 화상 신호에 대해 화이트 밸런스 보정 처리를 실시한다.

이들 처리부에 의해 각종 후처리가 실시된 RGB 화상 신호는 RGB-YCC 변환부(108)에 출력된다. RGB-YCC 변환부(108)는, RGB 화상 신호를 YCC 화상 신호로 변환하는 처리부이다. 이러한 변환 처리에 의해, 촬상된 화상의 색공간이 RGB 색공간에서 YCC(YCrCb) 색공간으로 변환된다. 변환 후의 YCC 화상 신호는 데이터 압축부(109)로 출력된다.

데이터 압축부(109)는, YCC 화상 신호를 필요에 따라 JPEG 등의 각종 압축 형식으로 압축하는 처리부이다. 필요에 따라 압축된 YCC 화상 신호는 메모리 카드 인터페이스(110)를 개재하여 메모리 카드(111)에 기록된다.

이상, 도 1을 참조하면서 본 실시형태에 관한 촬상 장치(10)의 화상 처리 블록에 대해 간단하게 설명하였다.

다음에, 본 실시형태에 관한 멀티 AWB 처리부(106)에서 실시되는 화이트 밸런스 게인의 산출 처리에 대해 상세하게 설명한다. 도 2는 화이트 밸런스 게인의 산출 처리를 도시한 흐름도이다.

먼저, 단계 S10에서는, 플래시 비발광시의 화상을 취득한다. 여기서는, 플래시 비발광시에 행하는 제1 촬영에 의해, 도 3에 도시된 바와 같이 플래시 발광 전의 정상 광으로 조사되어 있는 RGB 화상 신호가 되는 제1 화상을 취득한다. 다음 단계 S12에서는, 제1 화상이 화상 메모리(104)의 제1 촬상 기억부(151)에 기억된다.

다음에, 단계 S14에서는, 플래시 발광시의 화상을 취득한다. 여기서는, 플래시 발광시의 제2 촬상에 의해, 도 4와 같은 플래시 발광 후의 RGB 화상 신호가 되는 제2 화상을 취득한다. 다음 단계 S16에서는, 제2 화상이 화상 메모리(104)의 제2 촬상 기억부(152)에 기억된다.

다음 단계 S18에서는, 화소 단위로 플래시 혼합률을 산출한다. 단계 S18에서는, 제1 화상과 제2 화상의 노광 제어값의 차분을 산출하고, 차분에 기초하여 플래시 혼합률을 산출한다. 다음 단계 S20에서는 모든 화소의 플래시 혼합률을 산출하였는지를 판정하고, 모든 화소의 플래시 혼합률의 산출이 완료된 경우는 단계 S22로 진행된다. 한편, 모든 화소의 플래시 혼합률을 산출하지 않은 경우는 단계 S18로 되돌아가 화소 단위로의 플래시 혼합률의 산출을 계속해서 행한다.

단계 S22에서는, 모든 화소에서 산출한 플래시 혼합률에 대해 그 최대값을 구한다. 다음 단계 S24에서는, 단계 S20에서 구한 최대값과 최대값보다 작은 소정의 문턱값의 사이에 플래시 혼합률을 갖는 화소를 선택한다.

다음 단계 S26에서는, 단계 S24에서 선택한 선택 화소만으로 플래시 광원색을 산출한다. 다음 단계 S28에서는, 플래시 혼합률의 최대값을 100%로 하여 화소 단위로 보정값을 산출하고, 플래시 혼합률에 보정값을 곱셈하여 새로운 플래시 혼합률을 산출한다. 다음 단계 S30에서는 보정값의 곱셈이 모든 화소에 대해 종료되었는지를 판정하고, 모든 화소에 대해 종료된 경우는 단계 S32로 진행된다. 한편, 보정값의 곱셈이 모든 화소에 대해 종료되지 않은 경우는 단계 S28로 되돌아가 화소 단위의 새로운 보정값의 곱셈을 계속해서 행한다.

다음 단계 S32에서는, 플래시 광과 정상 광의 추정 광원색을 선형 보간한다. 다음 단계 S34에서는, 화소 단위로 화이트 밸런스 게인을 산출한다. 다음 단계 S36에서는 화소 단위로의 화이트 밸런스 게인의 산출이 모든 화소에 대해 종료되었는지를 판정하고, 모든 화소에 대해 종료된 경우는 처리를 종료한다. 한편, 화이트 밸런스 게인의 산출이 모든 화소에 대해 종료되지 않은 경우는 단계 S32 이후의 처리를 다시 행한다.

다음에, 도 2의 처리에 대해 상세하게 설명한다. 우선, 도 3, 도 4 및 도 5를 참조하면서 멀티 AWB 처리부(106)에 입력되는 촬상 화상 및 그 촬상 화상에서의 화소의 취급에 대해 간단하게 설명한다. 도 3은 플래시 비발광 촬영에 의해 촬상되는 화상을 도시한 설명도이고, 도 4는 플래시 발광 촬영에 의해 촬상되는 화상을 도시한 설명도이다. 도 5는 베이어형 배열을 갖는 촬상 소자를 도시한 설명도이다.

본 실시형태에 관한 멀티 AWB 처리부(106)에는, 입력 신호로서 제1 촬상 화상의 일례인 플래시 비발광시에 촬상된 촬상 화상(이하, 플래시 비발광 촬상 화상이라고도 함)과 제2 촬상 화상의 일례인 플래시 발광시에 촬상된 촬상 화상(이하, 플래시 발광 촬상 화상이라고도 함)이 입력된다. 여기서, 도 3에 도시된 바와 같은 플래시 비발광 촬상 화상은, 라이브 뷰 화상과 같이 솎아냄 처리 등에 따라 도 4에 도시된 바와 같은 플래시 발광 촬상 화상보다 화상 크기가 작은 화상일 수도 있다.

또한, 멀티 AWB 처리부(106)는, 후술하는 바와 같이 입력된 촬상 화상의 화상 신호로부터 추정 광원 색을 산출하는데, 멀티 AWB 처리부(106)는 이러한 처리에 있어서 플래시 비발광 촬상 화상의 RGB 화상 신호를 RGB별(색별)로 모든 화면 적분하고, 플래시가 발광하지 않은 정상 광만의 경우의 추정 광원색(R/G, B/G)을 산출한다. 또한, 멀티 AWB 처리부(106)는, 플래시 발광 촬상 화상의 RGB 화상 신호를 플래시 혼합률이 최대값부터 소정의 문턱값의 범위 내의 영역에서 RGB별(색별)로 해당 영역 내에서 적분하고, 플래시 혼합률이 최대값부터 소정의 문턱값의 범위 내의 영역의 추정 광원색(R/G, B/G)을 산출한다.

여기서, 본 실시형태에 관한 멀티 AWB 처리부(106)에서는, 화소 단위마다 화이트 밸런스 게인이 산출된다. 이때, 멀티 AWB 처리부(106)는, 플래시 발광 촬상 화상 및 플래시 비발광 촬상 화상에 있어서, 도 5에 도시된 바와 같이 R, G, G, B의 4개의 화소(21)를 1 세트로 한 베이어 유닛(23)을 1화소로 간주하거나, 베이어 색보간(디모자이크) 처리에 의해 베이어 화상에서의 R, G, G, B의 4개의 화소로부터 각 색(R, G, B) 하나씩의 화소를 생성할 수도 있다.

도 1에서, 멀티 AWB 처리부(106)에의 입력 값은 화상 메모리(104)로부터 입력되는 플래시 비발광시의 RGB 화상 신호와 플래시 발광시의 RGB 화상 신호이다. 멀티 AWB 처리부(106)로부터의 출력값의 화이트 밸런스 게인은 모든 화소수의 화이트 밸런스 게인이고, 화소 단위가 화이트 밸런스 게인을 적용하는 블록이 된다.

도 2의 단계 S18에서는, 제1 촬상 기억부(151)에 기억된 플래시 비발광시의 RGB 화상 신호와 제2 촬상 기억부(152)에 기억된 플래시 발광시의 RGB 화상 신호에 기초하여 플래시 혼합률의 계산을 행한다. 도 2에서는 플래시 혼합률의 계산을 화소마다 행하고 있고, 이하의 설명에서도 플래시 혼합률의 계산을 화소 단위로 행하는 것으로 하지만, 상술한 바와 같이 플래시 혼합률의 계산은 복수의 화소로 이루어지는 블록 단위로 행할 수도 있다. 예를 들면, 플래시 혼합률의 계산은, 도 5에 도시된 바와 같이 R, G, G, B의 4화소를 1세트로 한 베이어 유닛(23)을 1화소로서 행할 수 있고, Bayer 색보간(De-mosaic) 처리에 의해 주변 화소로부터 보간하여 얻어지는 1화소(R, G, B)로서 행할 수도 있다.

도 3에 도시된 바와 같은 플래시 비발광 촬상 화상을 촬상할 때의 노광 제어값과, 도 4에 도시된 바와 같은 플래시 발광 촬상 화상을 촬상할 때의 노광 제어값이 일치하지 않는 경우에는, 노광 차분값 산출부(161)는 각 노광 제어값의 차분을 고려한다. 여기서, 노광 제어값에는 이하의 식 101에 나타내는 관계가 있는 것이 알려져 있다. 여기서, 이하의 수학식 1의 식 101에서 TV는 셔터 스피드를 나타내고, AV는 조리개 값을 나타내며, SV는 감도를 나타내고, BV는 피사체 휘도를 나타내고 있다.

노광 차분값 산출부(161)는, 각 촬상 화상의 노광 제어값이 다른 경우에는 이하의 수학식 2의 식 102 및 식 103을 이용하여 피사체 휘도를 산출한다. 여기서, 이하에 나타낸 식 102는 플래시 비발광 촬상 화상의 피사체 휘도값(BV_l)을 산출하기 위한 식이고, 이하에 나타낸 식 103은 플래시 발광 축소 화상의 피사체 휘도값(BV_S)을 산출하기 위한 식이다.

노광 차분값 산출부(161)는, 식 102 및 식 103에 기초한 피사체 휘도값의 산출을 종료하면, 얻어진 산출 결과를 이용하여 이하의 수학식 3의 식 104에 기초하여 차분(BV_diff)을 산출한다. 이때, 플래시 비발광 촬상 화상의 노광 제어값과 플래시 발광 촬상 화상의 노광 제어값이 일치하는 경우에는, 이하의 식 104에 나타내는 차분(BV_diff)의 값은 0이 된다.

노광 차분값 산출부(161)는, 차분(BV_diff)을 산출하면, 이어서 이하의 수학식 4의 식 105를 이용하여 노광 차분값(Lf)을 산출한다.

노광 차분값 산출부(161)는, 노광 차분값(Lf)을 산출하면, 얻어진 산출 결과를 플래시 혼합률 산출부(162)에 출력한다.

플래시 혼합률 산출부(162)는, 플래시 비발광 촬상 화상의 신호값과 노광 차분값을 곱셈한 플래시 발광 축소 화상의 신호값에 기초하여 화소 단위로 제1 플래시 혼합률(Ratio)을 산출한다. 이 제1 플래시 혼합률(Ratio)은 플래시 비발광 촬상 화상에서의 정상 광량을 1로 했을 때의 상대값으로서 산출되는 것으로, 신호값으로서 휘도값을 이용한 경우에는 이하의 수학식 5의 식 106으로 나타난다.

여기서, 식 106에서 Y_l은 플래시 비발광 촬상 화상에서의 각 화소의 휘도값이고, Y_S는 플래시 발광 축소 화상에서의 각 화소의 휘도값이다.

또한, 색 신호값의 하나인 G(녹색) 신호값은 휘도값(Y)과 거의 같은 값이 되기 때문에, 플래시 혼합률 산출부(162)는 상기 식 106에서 휘도값(Y) 대신에 G신호값을 이용하여 제1 플래시 혼합률을 산출해도 된다. 또한, 플래시 혼합률 산출부(162)는 산출한 제1 플래시 혼합률을 0.0 내지 1.0의 사이에서 고정된다.

또한, 플래시 혼합률 산출부(162)는, 노이즈 또는 플래시 비발광 화상과 플래시 발광 화상의 위치 어긋남을 고려하여 제1 플래시 혼합률을 산출한다. 제1 플래시 혼합률은, 플래시 혼합률 산출부(162)로부터 피사체 영역 선택부(163)로 보내진다.

도 6은 피사체 영역 선택부(163)에 의해 선택되는 영역을 도시한 예시도이다. 피사체 영역 선택부(163)는, 화소 단위로 산출된 제1 플래시 혼합률 중에서 가장 큰 값인 플래시 혼합률의 최대값(Ratio_MAX)을 선택하고, 도 6의 사선부의 영역(A1)과 같이 플래시 혼합률의 최대값이 위치하는 블록(B)을 중심으로 플래시 혼합률이 최대값부터 소정의 문턱값(T)까지의 범위 내에 존재하는 블록을 선택한다. 이때, 모든 화상 내에서 제1 플래시 혼합률이 최대값부터 문턱값(T)까지의 범위 내에 존재하는 모든 블록을 선택해도 되고, 플래시 혼합률이 최대값부터 문턱값(T)까지의 범위 내에 존재하는 블록 중에서 최대값의 블록으로부터 연속되어 있는 블록만을 선택해도 된다. 예를 들면, 문턱값(T)으로서는 최대값을 100%로 한 경우에 최대값에서 10%~20% 감소시킨 값, 즉 문턱값(T)으로서 최대값의 80%~90%의 값을 이용할 수 있다.

다음에, 플래시 광 컬러 밸런스 산출부(164)는, 피사체 영역 선택부(163)에 의해 선택된 영역(도 6에 도시된 사선부의 영역(A1))에서 플래시 발광시의 컬러 밸런스(CB)를 산출한다. 플래시 광 컬러 밸런스 산출부(164)는, 영역(A1) 내의 화소를 R, G, B마다 적산하고 R/G(=CB_fr), B/G(CB_fb)를 계산한다. 여기서, 화이트 밸런스 게인(White Balance Gain)은 G/R, G/B인데, 컬러 밸런스(CB)는 화이트 밸런스 게인의 역수가 되기 때문에, 플래시 광 컬러 밸런스 산출부(164)는 R/G, B/G를 산출한다.

플래시 광 컬러 밸런스 산출부(164)에 의한 컬러 밸런스의 산출 방법은 오토 화이트 밸런스의 Gray World Assumption에 의거한 알고리즘에 의한 것인데, 다른 화이트 밸런스 게인의 산출 수법을 이용해도 된다. 예를 들면, 영역(A1) 내의 블록(Block)의 컬러 밸런스로부터 색을 판단하여 유채색이라고 생각되는 블록을 선택으로부터 제외함으로써, 광원 색에 가까운 블록만을 선택해도 된다. 이에 의해, 유채색의 영향을 배제하여 보다 정확한 컬러 밸런스를 산출할 수 있다.

플래시 광 컬러 밸런스 산출부(164)가 산출한 컬러 밸런스는 플래시 혼합률 보정부(165)로 보내진다. 플래시 혼합률 보정부(165)는, 이하의 수학식 6의 식 107에 의해 피사체 영역 선택부(163)에서 구한 플래시 혼합률의 최대값을 100%로 하기 위한 계수(1/Ratio_MAX)를 산출하고, 모든 블록의 제1 플래시 혼합률(Ratio)에 곱셈함으로써 제2 플래시 혼합률(Ratio′)을 산출한다.

플래시 혼합률 보정부(165)가 산출한 제2 플래시 혼합률(Ratio′)은 추정 광원색 산출부(166)로 보내진다. 추정 광원색 산출부(166)는, 플래시 광 컬러 밸런스 산출부(164)에서 산출한 플래시 광의 추정 광원색(CBf)과 정상 광의 추정 광원색(CBs)을 선형 보간하고, 이하의 수학식 7의 식 108 및 식 109에 의해 화소의 추정 광원색(CB)을 구한다. 또, 정상 광의 추정 광원색(컬러 밸런스)은 미리 촬상 장치(10)가 취득하여 기억해 둘 수 있다. 여기서, 추정 광원색(CB)은 R, B 각각에서 개별로 구한다. 이에 의해, R의 추정 광원색(CB_r)과 G의 추정 광원색(CB_b)이 산출된다.

식 108에서 구한 R과 G의 추정 광원 색은, 추정 광원색 산출부(166)로부터 화이트 밸런스 게인 산출부(167)로 보내진다. 화이트 밸런스 게인 산출부(167)는, 이하의 수학식 8의 식 110 및 식 111에 의해 대상 화소의 화이트 밸런스 게인(WBGain_R, WBGain_B)을 산출한다.

그리고, 화이트 밸런스 게인 산출부(167)는 식 110, 식 111의 연산을 모든 화소에 대해 행함으로써, 플래시 광과 정상 광이 혼합(Mix)되어 있는 씬에 대해 적절한 화이트 밸런스 게인을 화소 단위로 구할 수 있다.

화이트 밸런스 게인 산출부(167)가 화소 단위로 구한 화이트 밸런스 게인은 후처리부(107)의 화이트 밸런스 제어부(176)로 보내진다. 화이트 밸런스 제어부(176)는, 이하의 수학식 9의 식 112 및 식 113에 의해 화소 단위로 구해진 화이트 밸런스 게인을 각 화소값에 대해 곱셈한다. 이에 의해, 화이트 밸런스 제어부(176)는, 플래시 광과 정상 광이 혼재되어 있는 촬상 환경 하에서 촬상된 촬상 화상에 대해서도 적절한 화이트 밸런스 보정 처리를 실시하는 것이 가능해진다.

이상 설명한 바와 같이, 플래시 광의 컬러 밸런스가 불명한 경우에 있어서 종래는 플래시 광의 컬러 밸런스를 사용하였기 때문에 부적절한 화이트 밸런스 게인이 산출되는 문제가 있었다. 본 실시 예에 따르면, 플래시 혼합률에 기초하여 피사체 영역(A1)을 선택하고, 피사체 영역(A1) 내에서 컬러 밸런스를 산출하여 제2 플래시 혼합률로 플래시 광과 정상 광의 컬러 밸런스를 최적화함으로써, 바운스 촬영시나 외부 부착된 플래시를 사용한 경우 등 플래시 광의 화이트 밸런스 게인이 미리 판명되지 않은 경우에서도 적절한 화이트 밸런스 게인을 산출하는 것이 가능해진다.

본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.

본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

161: 노광 차분값 산출부
162: 플래시 혼합률 산출부
163: 피사체 영역 선택부
164: 플래시 광 컬러 밸런스 산출부
165: 플래시 혼합률 보정부
167: 화이트 밸런스 게인 산출부

Claims (15)

1. 플래시 비발광시에 촬상된 제1 화상의 노광 제어값과 플래시 발광시에 촬상된 제2 화상의 노광 제어값의 차분으로부터 노광 차분값을 산출하는 노광 차분값 산출부;
   상기 노광 차분값을 곱셈한 상기 제2 화상의 신호 값과, 상기 제1 화상의 신호 값의 비교로부터 소정의 블록 단위로 제1 플래시 혼합률을 산출하는 플래시 혼합률 산출부;
   상기 제1 플래시 혼합률이 최대값이 되는 블록을 선택하고, 상기 선택한 블록 및 상기 최대값과 소정의 문턱값의 사이에 상기 제1 플래시 혼합률이 속하는 블록으로 이루어지는 영역을 선택하는 피사체 영역 선택부;
   상기 플래시 발광시의 상기 제2 화상 중에서 상기 선택한 영역의 컬러 밸런스를 산출하는 플래시 광 컬러 밸런스 산출부;
   상기 최대값을 1로 하는 계수를 산출하고, 상기 산출한 계수를 상기 제1 플래시 혼합률에 곱셈하여 제2 플래시 혼합률을 산출하는 플래시 혼합률 보정부; 및
   상기 제2 플래시 혼합률, 상기 플래시 광 컬러 밸런스 산출부가 산출한 상기 컬러 밸런스 및 정상 광의 컬러 밸런스에 기초하여, 상기 블록 단위로 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함하는 것을 특징으로 하는 촬상 장치.
2. 제1항에 있어서,
   상기 블록은 1 화소로 이루어지고,
   상기 플래시 혼합률 산출부는 상기 1 화소마다 상기 제1 플래시 혼합률을 산출하며,
   상기 화이트 밸런스 게인 산출부는 상기 1 화소마다 상기 화이트 밸런스 게인을 산출하는 것을 특징으로 하는 촬상 장치.
3. 제1항에 있어서,
   상기 블록은 복수의 화소로 구성되는 특정 영역이고,
   상기 플래시 혼합률 산출부는 상기 특정 영역마다 상기 제1 플래시 혼합률을 산출하며,
   상기 화이트 밸런스 게인 산출부는 상기 특정 영역마다 상기 화이트 밸런스 게인을 산출하는 것을 특징으로 하는 촬상 장치.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 화이트 밸런스 게인을 상기 제2 화상에 상기 블록마다 적용하는 화이트 밸런스 게인 제어부를 더 포함하는 것을 특징으로 하는 촬상 장치.
5. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 플래시 발광시의 상기 제2 화상 중에서 상기 선택한 영역의 상기 컬러 밸런스와, 상기 플래시 비발광시의 상기 제1 화상의 컬러 밸런스를 상기 제2 플래시 혼합률에 기초하여 선형 보간하여 블록 단위로 컬러 밸런스를 산출하는 추정 광원색 산출부를 더 포함하고,
   상기 화이트 밸런스 게인 산출부는,
   상기 블록 단위로 산출된 상기 컬러 밸런스에 기초하여 상기 블록 단위로 상기 화이트 밸런스 게인을 산출하는 것을 특징으로 하는 촬상 장치.
6. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 신호 값은 휘도 값인 것을 특징으로 하는 촬상 장치.
7. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 신호 값은 녹색 픽셀 값인 것을 특징으로 하는 촬상 장치.
8. 플래시 비발광시에 촬상된 제1 화상의 노광 제어값과 플래시 발광시에 촬상된 제2 화상의 노광 제어값의 차분으로부터 노광 차분값을 산출하는 단계;
   상기 노광 차분값을 곱셈한 상기 제2 화상의 신호값과, 상기 제1 화상의 신호값의 비교로부터 소정의 블록 단위로 제1 플래시 혼합률을 산출하는 단계;
   상기 제1 플래시 혼합률이 최대값이 되는 블록을 선택하고, 상기 선택한 블록 및 상기 최대값과 소정의 문턱값의 사이에 상기 제1 플래시 혼합률이 속하는 블록으로 이루어지는 영역을 선택하는 단계;
   상기 플래시 발광시의 상기 제2 화상 중에서 상기 선택한 영역의 컬러 밸런스를 산출하는 단계;
   상기 플래시 혼합률의 상기 최대값을 1로 하는 계수를 산출하고, 상기 산출한 계수를 상기 제1 플래시 혼합률에 곱셈하여 제2 플래시 혼합률을 산출하는 단계; 및
   상기 제2 플래시 혼합률, 상기 컬러 밸런스를 산출하는 단계에서 산출한 상기 컬러 밸런스, 정상 광의 컬러 밸런스에 기초하여, 상기 블록 단위로 화이트 밸런스 게인을 산출하는 단계를 포함하는 특징으로 하는 촬상 방법.
9. 제8항에 있어서,
   상기 블록은 1 화소의 영역이고,
   상기 제1 플래시 혼합률을 산출하는 단계에서 상기 1 화소마다 상기 제1 플래시 혼합률을 산출하며,
   상기 화이트 밸런스 게인을 산출하는 단계에서 상기 1 화소마다 상기 화이트 밸런스 게인을 산출하는 것을 특징으로 하는 촬상 방법.
10. 제8항에 있어서,
    상기 블록은 복수의 화소로 구성되는 특정 영역이고,
    상기 제1 플래시 혼합률을 산출하는 단계에서 상기 특정 영역마다 상기 제1 플래시 혼합률을 산출하며,
    상기 화이트 밸런스 게인을 산출하는 단계에서 상기 특정 영역마다 상기 화이트 밸런스 게인을 산출하는 것을 특징으로 하는 촬상 방법.
11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 화이트 밸런스 게인을 상기 제2 화상에 상기 블록마다 적용하는 단계를 더 포함하는 것을 특징으로 하는 촬상 방법.
12. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 플래시 발광시의 상기 제2 화상 중에서 상기 선택한 영역의 상기 컬러 밸런스와, 상기 플래시 비발광시의 상기 제1 화상의 컬러 밸런스를 상기 제2 플래시 혼합률에 기초하여 선형 보간하여 블록 단위로 컬러 밸런스를 산출하는 단계를 더 포함하고,
    상기 화이트 밸런스 게인을 산출하는 단계에 있어서, 상기 블록 단위로 산출된 상기 컬러 밸런스에 기초하여 상기 블록 단위로 상기 화이트 밸런스 게인을 산출하는 것을 특징으로 하는 촬상 방법.
13. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 신호 값은 휘도 값인 것을 특징으로 하는 촬상 방법.
14. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 신호 값은 녹색 픽셀 값인 것을 특징으로 하는 촬상 방법.
15. 플래시 비발광시에 촬상된 제1 화상의 노광 제어값과 플래시 발광시에 촬상된 제2 화상의 노광 제어값의 차분으로부터 노광 차분값을 산출하는 노광 차분값 산출부;
    상기 노광 차분값을 곱셈한 상기 제2 화상의 신호 값과, 상기 제1 화상의 신호 값의 비교로부터 소정의 블록 단위로 제1 플래시 혼합률을 산출하는 플래시 혼합률 산출부;
    상기 제1 플래시 혼합률이 최대값이 되는 블록을 선택하고, 상기 선택한 블록 및 상기 최대값과 소정의 문턱값의 사이에 상기 제1 플래시 혼합률이 속하는 블록으로 이루어지는 영역을 선택하는 피사체 영역 선택부;
    상기 플래시 발광시의 상기 제2 화상 중에서 상기 선택한 영역의 컬러 밸런스를 산출하는 플래시 광 컬러 밸런스 산출부; 및
    상기 플래시 광 컬러 밸런스 산출부가 산출한 상기 컬러 밸런스 및 정상 광의 컬러 밸런스에 기초하여, 상기 블록 단위로 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함하는 것을 특징으로 하는 촬상 장치.

Images