KR101710630B1

KR101710630B1 - 촬상 장치, 촬상 방법 및 기록매체

Info

Publication number: KR101710630B1
Application number: KR1020100127875A
Authority: KR
Inventors: 타카히코 요시다
Original assignee: 삼성전자주식회사
Priority date: 2009-12-24
Filing date: 2010-12-14
Publication date: 2017-02-27
Also published as: JP2011135378A; KR20110074443A; JP5566680B2

Abstract

본 발명은 촬상 장치, 촬상 방법 및 기록매체에 관한 것으로, 본 발명의 일 실시 예에 따른 촬상 장치는 피사체로부터 수광한 광에 기초하여 플래시를 발광하지 않고 촬영하여 취득되는 제1 화상에 대한 제1 노광 제어값과, 플래시를 발광하고 촬영하여 취득되는 제2 화상에 대한 제2 노광 제어값을 산출하는 노광 제어값 산출부, 제1 노광 제어값에 따라 촬영하여 제1 화상을 취득하고, 제2 노광 제어값에 따라 촬영하여 제2 화상을 취득하는 촬상부, 제1 노광 제어값과 제2 노광 제어값과의 차분인 노광 제어값 차분을 산출하는 노광 제어값 차분 산출부, 취득된 제1 화상에 대해서 제1 피사체 휘도를 산출하고, 취득된 제2 화상에 대해서 제2 피사체 휘도를 산출하는 피사체 휘도 산출부, 노광 제어값 차분, 제1 피사체 휘도 및 제2 피사체 휘도를 이용하여 피사체 휘도 차분을 산출하는 피사체 휘도 차분 산출부, 피사체 휘도 차분으로부터 플래시 반사량을 산출하는 플래시 반사량 산출부 및 플래시 반사량으로부터 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함한다.

Description

촬상 장치, 촬상 방법 및 기록매체{Photographing apparatus, photographing method and recording medium}

본 발명은 촬상 장치, 촬상 방법 및 기록매체에 관한 것이다.

디지털 스틸 카메라 등 전자적 촬상 장치에서 종래의 화이트 밸런스 보정 처리는 하나의 화이트 밸런스 게인을 화상 전체에 일률적으로 적용하는 처리이다.

예를 들면 조명광(환경광)이 어두운 씬에서는 노광 부족을 해소하기 위해 플래시를 발광하여 촬영한다. 플래시를 발광하여 촬영했을 때 화이트 밸런스 게인은 플래시의 발광량 등에 따라 산출된다. 그 때 환경광과 플래시광이 혼합되어 있는 씬으로 촬영한 경우 디지털 스틸 카메라에 가까운 거리에 있는 피사체는 적절한 화이트 밸런스로 할 수 있다. 그러나 먼 거리에 있는 피사체는 플래시광보다도 환경광의 의존도가 높아진다. 따라서 환경광이 형광등인 경우 환경광과 플래시광의 색온도차가 커진다. 그 결과 화이트 밸런스 보정 처리를 화상 전체에 적용하면 먼 거리에 있는 흰 피사체가 노랗게 되는 부적절한 화이트 밸런스가 되는 문제가 발생한다.

본 발명의 일 실시 예는 플래시 비발광 화상을 적정 노광의 화상으로 이용함으로써 불필요한 촬영을 하지 않고 플래시 발광시의 화상 전체를 적절한 화이트 밸런스로 할 수 있는 촬상 장치, 촬상 방법 및 기록매체를 제공하는 것이다.

상기 기술적 과제를 달성하기 위한, 본 발명의 일 실시 예에 따른 촬상 장치는 피사체로부터 수광한 광에 기초하여 플래시를 발광하지 않고 촬영하여 취득되는 제1 화상에 대한 제1 노광 제어값과, 상기 플래시를 발광하고 촬영하여 취득되는 제2 화상에 대한 제2 노광 제어값을 산출하는 노광 제어값 산출부; 상기 제1 노광 제어값에 따라 촬영하여 상기 제1 화상을 취득하고, 상기 제2 노광 제어값에 따라 촬영하여 상기 제2 화상을 취득하는 촬상부; 상기 제1 노광 제어값과 상기 제2 노광 제어값과의 차분인 노광 제어값 차분을 산출하는 노광 제어값 차분 산출부; 상기 취득된 제1 화상에 대해서 제1 피사체 휘도를 산출하고, 상기 취득된 제2 화상에 대해서 제2 피사체 휘도를 산출하는 피사체 휘도 산출부; 상기 노광 제어값 차분, 상기 제1 피사체 휘도 및 상기 제2 피사체 휘도를 이용하여 피사체 휘도 차분을 산출하는 피사체 휘도 차분 산출부; 상기 피사체 휘도 차분으로부터 플래시 반사량을 산출하는 플래시 반사량 산출부; 및 상기 플래시 반사량으로부터 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함한다.

상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 화이트 밸런스 제어부를 더 포함하는 것을 특징으로 한다.

상기 제1 노광 제어값과 상기 제2 노광 제어값은 상기 노광 제어값 산출부에 의해 개별적으로 산출되며 상기 제1 노광 제어값과 상기 제2 노광 제어값이 동일한 것을 특징으로 한다.

상기 제1 노광 제어값과 상기 제2 노광 제어값은 상기 노광 제어값 산출부에 의해 개별적으로 산출되며 상기 제1 노광 제어값과 상기 제2 노광 제어값이 서로 다른 것을 특징으로 한다.

상기 촬상부는 상기 노광 제어값 산출부에 의해 산출된 상기 제1 노광 제어값 중 조리개값을 일치시킨 상기 제2 노광 제어값으로 촬영하여 상기 제2 화상을 취득하는 것을 특징으로 한다.

상기 촬상 장치는 상기 플래시 반사량 산출부에 의해 산출된 상기 플래시 반사량에 기초하여 환경광의 컬러 밸런스와 플래시광의 컬러 밸런스를 선형 보간하고 대상 화소의 컬러 밸런스를 산출하는 컬러 밸런스 산출부를 더 포함하고,

상기 화이트 밸런스 게인 산출부는 상기 산출한 컬러 밸런스에 기초하여 상기 화이트 밸런스 게인을 산출하는 것을 특징으로 한다.

상기 제1 노광 제어값은 상기 제1 화상의 밝기가 적정해지는 노광 제어값이고, 상기 제2 노광 제어값은 상기 제2 화상의 밝기가 적정해지는 노광 제어값인 것을 특징으로 한다.

상기 피사체 휘도 산출부는 상기 취득된 제1 화상의 전화소에 대해서 제1 피사체 휘도를 산출하고, 상기 취득된 제2 화상의 전화소에 대해서 제2 피사체 휘도를 산출하고,

상기 피사체 휘도 차분 산출부는 상기 노광 제어값 차분, 화소별 상기 제1 피사체 휘도, 화소별 상기 제2 피사체 휘도와의 차분인 피사체 휘도 차분을 전화소에 대해서 산출하는 것을 특징으로 한다.

상기 반사량 산출부는 상기 피사체 휘도 차분으로부터 화소 단위로 플래시 반사량을 산출하고,

상기 화이트 밸런스 게인 산출부는 상기 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출하는 것을 특징으로 한다.

상기 다른 기술적 과제를 달성하기 위한, 본 발명의 다른 실시 예에 따른 촬상 방법은 피사체로부터 수광한 광에 기초하여 플래시를 발광하지 않고 촬영하여 취득되는 제1 화상에 대한 제1 노광 제어값과, 상기 플래시를 발광하고 촬영하여 취득되는 제2 화상에 대한 제2 노광 제어값을 산출하는 단계; 상기 제1 노광 제어값에 따라 촬영하여 상기 제1 화상을 취득하고, 상기 제2 노광 제어값에 따라 촬영하여 상기 제2 화상을 취득하는 단계; 상기 제1 노광 제어값과 상기 제2 노광 제어값과의 차분인 노광 제어값 차분을 산출하는 단계; 상기 취득된 제1 화상에 대해서 제1 피사체 휘도를 산출하고, 상기 취득된 제2 화상에 대해서 제2 피사체 휘도를 산출하는 단계; 상기 노광 제어값 차분, 상기 제1 피사체 휘도 및 상기 제2 피사체 휘도를 이용하여 피사체 휘도 차분을 산출하는 단계; 상기 피사체 휘도 차분으로부터 플래시 반사량을 산출하는 단계; 및 상기 플래시 반사량으로부터 화이트 밸런스 게인을 산출하는 단계를 포함한다.

상기 촬상 방법은 상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 단계를 더 포함하는 것을 특징으로 한다.

상기 피사체 휘도 산출 단계는 상기 취득된 제1 화상의 전화소에 대해서 제1 피사체 휘도를 산출하고, 상기 취득된 제2 화상의 전화소에 대해서 제2 피사체 휘도를 산출하고,

상기 피사체 휘도 차분 산출 단계는 상기 노광 제어값 차분, 화소별 상기 제1 피사체 휘도, 화소별 상기 제2 피사체 휘도와의 차분인 피사체 휘도 차분을 전화소에 대해서 산출하는 것을 특징으로 한다.

상기 반사량 산출 단계는 상기 피사체 휘도 차분으로부터 화소 단위로 플래시 반사량을 산출하고,

상기 화이트 밸런스 게인 산출 단계는 상기 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출하는 것을 특징으로 한다.

상기 촬상 방법은 산출된 상기 플래시 반사량에 기초하여 환경광의 컬러 밸런스와 플래시광의 컬러 밸런스를 선형 보간하는 단계; 및 대상 화소의 컬러 밸런스를 산출하는 단계를 더 포함하는 것을 특징으로 한다.

상기 또 다른 기술적 과제를 달성하기 위한, 본 발명의 또 다른 실시 예에 따른 상기 촬상 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.

본 발명의 일 실시 예 따른 촬상 장치는 플래시 비발광시의 화상과 플래시 발광시의 화상을 화소 단위로 비교함으로써 플래시 반사광량을 구하여 화소 단위로 적절한 화이트 밸런스 게인을 산출하는데 있어서, 플래시 비발광 화상을 적정 노광의 화상으로 이용함으로써 불필요한 촬영을 하지 않고 플래시 발광시의 화상 전체를 적절한 화이트 밸런스로 할 수 있다.

도 1은 본 발명의 일 실시 예에 관한 촬상 장치를 도시한 블록도다.
도 2는 도 1에 도시된 촬상 장치(100)의 화이트 밸런스 게인의 산출 동작을 도시한 흐름도이다.
도 3은 베이어 유닛을 도시한 설명도이다.
도 4는 플래시 발광 촬영으로 취득되는 화상을 도시한 설명도이다.
도 5는 플래시 비발광 촬영으로 취득되는 화상을 도시한 설명도이다.
도 6은 플래시 비발광 화상에 대해 노광 제어값 차분을 적용한 화상을 도시한 설명도이다.
도 7은 피사체 휘도 차분의 산출 처리 개념을 도시한 설명도이다.
도 8은 피사체 휘도 차분의 산출 처리 개념을 도시한 설명도이다.
도 9는 피사체 휘도 차분의 산출 처리 개념을 도시한 설명도이다.
도 10은 본 발명의 다른 실시 예에 관한 촬상 장치의 촬영 동작을 도시한 타임 차트이다.
도 11은 종래의 촬상 장치의 촬영 동작을 도시한 타임 차트이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시 예에 관한 촬상 장치(100)의 블록도이다. 도 2는 본 실시 예에 관한 촬상 장치(100)의 화이트 밸런스 게인의 산출 동작을 도시한 흐름도이다.

렌즈(102)를 통과한 광은 CCD이미지 센서(108) 또는 CMOS이미지 센서 등의 촬상 소자에 결상된다. 그 결과 CCD이미지 센서(108)로부터 신호 처리부(110)를 거쳐 RGB화상 신호를 얻을 수 있다. 신호 처리부(110)는 CCD이미지 센서(108)로부터의 신호에 대해 색분리 처리, A/D변환 등을 한다.

신호 처리부(110)에서 얻어진 RGB화상 신호는 전처리부(112)에 의한 결함 화소 보정, 블랙 레벨 보정, 셰이딩 보정 등의 처리가 실시된다. 전처리부(112)는 AE평가값 산출부(124)를 가지고 RGB화상 신호에 기초하여 AE평가값을 산출한다. AE평가값은 적정AE 산출부(150)에 보내진다. 실제로 촬영이 이루어지면 적정AE 산출부(150)에서 산출된 AE값에 기초하여 노광 제어부(152)는 조리개(104), 셔터(106)를 조정한다.

또 전처리부(112)에서 처리된 화상 신호는 후처리부(114)에 의한 화이트 밸런스 보정 처리, 베이어 색보간(디모자이크) 처리, 색보정 처리, 엣지 강조 처리, 감마 보정 처리, 노이즈 저감 처리 등 여러가지 화상 처리가 실시된다. 그 후 RGB/YCC변환부(116)에서 RGB신호가 YCC신호로 변환되고 데이터 압축부(118)에서 JPEG 등의 형식으로 압축 처리된다. 그리고 인터페이스인 메모리 카드 접속부(120)를 통해 메모리 카드(122)에 화상 데이터가 기록된다.

본 실시 예는 플래시(160)를 발광하여 촬영함으로써 취득되는 플래시 발광 화상에 대해 화소 단위로 적절한 화이트 밸런스 게인을 산출하는 것을 특징으로 한다.

이하, 본 실시 예에 관한 촬상 장치(100)의 촬영 동작에 대해서 설명하기로 한다. 사용자에 의해 셔터 버튼이 누름으로써 촬영이 개시된다. 이하에서는 노광 조건에 의해 플래시 발광이 필요한 경우에 대해서 설명하기로 한다. 플래시 발광이 필요한 노광 조건의 경우, 1회의 촬영은 플래시(160)를 발광하지 않는 플래시 비발광 촬영과 플래시(160)를 발광하는 플래시 발광 촬영을 한다.

우선 플래시(160)를 발광하지 않고 촬영하여 플래시 비발광시의 화상을 취득한다(단계S101). 촬영전에 적정AE 산출부(150)에 의해 감도(SV), 셔터 스피드(TV), 조리개(AV)의 제어에 의해 플래시가 발광되지 않는 조명 등 환경광뿐인 경우의 적정한 제1 노광 제어값이 결정된다. 여기에서 결정된 제1 노광 제어값으로 플래시(160)를 발광하지 않고 촬영한다(제1 촬상). 그 결과, 예를 들면 도 5와 같은 화상이 취득된다.

제1 촬상 기억부(132)에 의해 플래시 발광 전의 환경광의 RGB화상 신호가 취득되어 화상 메모리(130) 등의 기억 수단에 저장된다(단계S102).

계속해서 적정AE 산출부(150)에 의해 플래시 발광시에 적정하고, 또한 제1 노광 제어값에서의 조리개값을 일치시킨 제2 노광 제어값이 결정된다. 그리고 제2 노광 제어값으로 플래시(160)를 발광하여 촬영한다(제2 촬상)(단계S103). 그 결과 도 4와 같은 플래시 발광 후의 화상이 취득된다.

제2 촬상 기억부(134)에 의해 플래시 발광 촬영에 의한 RGB화상 신호가 화상 메모리(130) 등의 기억 수단에 저장된다.

제2 촬상에서 제1 촬상과 조리개값을 일치시키는 것은 조리개값의 차이에 따라 화상 주변 광량에 변화가 생기기 때문이며, 플래시 발광 화상과 플래시 비발광 화상에 플래시 광량 이외의 광량의 차이를 없애기 위함이다. 단, 조리개값의 차이에 의해 화상 주변 광량에 변화가 없는 경우는 이에 한정되지 않는다.

노광 조건을 결정할 때 노광 제어값은 다음 수학식 1의 관계를 따른다. 여기에서 TV는 셔터 스피드, AV는 조리개값, SV는 감도, BV는 피사체 휘도가 되고 각각 APEX값으로 표현되어 있다. 하기 수학식 1에 의하면, 도 6에 도시한 플래시 비발광 화상을 촬영할 때의 노광 제어값과, 도 5에 도시한 플래시 발광 화상을 촬영할 때의 노광 제어값이 일치하지 않는 경우에 각 노광 제어값의 차분을 고려할 수 있다.

여기에서 TV, AV, SV는 적정AE 산출부(150)에 의해 기지의 것이므로 BV를 구하는 수학식 2로 변형된다. 피사체 휘도BV는 촬상 장치(100)로 촬영하는 피사체가 가지고 있는 휘도값이다.

플래시 비발광시의 TV, AV, SV에서 산출되는 피사체 휘도값BV를 제1 노광 제어값BVl, 플래시 발광시의TV, AV, SV에서 산출되는 피사체 휘도값BV를 제2 노광 제어값BVs로 하고, 각각 수학식 2에 의해 구한다. 플래시 비발광시에는 각각 TVl, AVl, SVl으로 하여 수학식 3과 같이 되고, 플래시 발광시에는 TVs, AVs, SVs로 하여 수학식 4와 같이 된다.

다음으로 수학식 3과 수학식 4로부터 구한 BVl과 BVs의 차분을 산출하는 수학식 5에 의해 노광 제어값 차분 산출부(141)가 제1 노광 제어값BVl과 제2 노광 제어값BVs의 차분BVdiff를 산출한다(단계S104).

차분BVdiff는 제1 노광 제어값BVl과 제2 노광 제어값BVs가 일치하면 차분이 0이 된다.

멀티AWB 처리부(140)에서 컬러 밸런스 산출부(145)가 플래시 비발광 화상의 RGB화상 신호를 색별(RGB별)로 전화면분 곱하여 플래시(160)가 발광되지 않는 환경광뿐인 경우의 컬러 밸런스CBer(=R/G), CBeb(=B/G)를 산출한다. 동시에 환경광이 없고 플래시광만으로 촬상한 경우의 컬러 밸런스CBfr, CBfb를 기지의 값으로 하여 ROM에 사전에 저장해 놓은 것을 ROM에서 독출한다.

다시 도 1을 참조하면 입력값은 플래시 비발광시의 RGB화상 신호와, 플래시 발광시의 RGB화상 신호로 되어 있으며, 출력값의 화이트 밸런스 게인은 전화소수분의 화이트 밸런스 게인이 된다. 화이트 밸런스 제어부(126)가 전화소에서 화소 단위로 화이트 밸런스 게인을 적용한다.

우선은 입력값이 되는 화상 메모리(130) 등의 기억 수단에 저장된 플래시 비발광시의 RGB화상 신호와 플래시 발광시의 RGB화상 신호를 토대로 화소 단위의 피사체 휘도를 산출한다. 화소 단위의 피사체 휘도의 산출은, 도 3과 같이 R,G,G,B의 4개의 화소(12)를 1조로 한 베이어 유닛(14)을 1화소로 간주하거나, 베이어 색보간(디모자이크) 처리에 의해 베이어 화상에서의 R,G,G,B의 4개의 화소로부터 각 색(R,G,B) 하나씩의 화소를 생성하여 수행한다.

플래시 비발광 화상, 플래시 발광 화상의 각 화소에 대해서 피사체 휘도 산출부(142)에 의해 화소 단위의 피사체 휘도값을 산출한다. 산출식은 이하와 같다. 수학식 6, 수학식 7에서 Y는 각 화소의 휘도Y이다. 아울러 G의 신호값을 휘도Y 대신에 사용할 수도 있다. AE는, 노출 제어값을 산출하는 적정AE 산출부(150)가 목표로 하고 있는 목표 휘도 신호값이다. 상기 수학식 6과 수학식 7을 사용한 계산으로 화소 단위로 플래시 비발광 화상의 제1 피사체 휘도값BVlp와, 플래시 발광 화상의 제2 피사체 휘도값BVsp를 구한다(단계S105, S106). 여기에서 BVlp와 BVsp는 대수로 표현한 신호값으로서 APEX값으로 단위계를 정렬시켰다.

이와 같이 하여 구한 화소 단위의 플래시 비발광 화상의 제1 피사체 휘도값BVlp와 노광 제어값의 차분BVdiff를 고려하여 플래시 비발광 피사체 휘도 차분BVlpdiff를 구한다(단계S107). 도 5의 적정 노광으로 촬영된 플래시 비발광 화상에 대해 식 8의 계산을 적용하면 도 6과 같은 화상이 된다.

화소 단위의 플래시 발광 화상의 제2 피사체 휘도값BVsp와, 화소 단위의 플래시 비발광 피사체 휘도 차분BVlpdiff와의 차분을, 다음 수학식 9에 의해 피사체 휘도 차분 산출부(143)가 화소 단위의 플래시 발광 화상 피사체 휘도 차분BVdiffp를 산출한다(단계S107).

수학식 8, 수학식 9의 개념도를 도 7, 도 8, 도 9에 도시한다. 도 7은 피사체에 환경광은 닿지 않고 플래시광만 닿은 경우를 도시하여 도 4의 A위치에서의 개념도로 되어 있다. 도 4의 A에서는, 화소 단위의 플래시 발광 화상 피사체 휘도 차분BVdiffp가 높아져 플래시 반사량이 많다는 것을 알 수 있다.

마찬가지로, 도 8은 피사체에 플래시광과 환경광이 혼재된 경우를 도시하여 도 4의 B위치에서의 개념도로 되어 있다. 도 4의 B에서는, 화소 단위의 플래시 발광 화상 피사체 휘도 차분BVdiffp가 그리 높지 않아 플래시 반사량이 거의 없다는 것을 알 수 있다.

도 9는 피사체에 환경광만 영향을 미치는 경우, 즉 플래시광이 닿지 않은 경우를 도시하여 도 4의 C위치에서의 개념도로 되어 있다. 도 4의 C에서는, 화소 단위의 플래시 발광 화상 피사체 휘도 차분BVdiffp가 0으로서 플래시가 닿지 않는다는 것, 즉 플래시의 영향이 없다는 것을 알 수 있다.

상기 수학식 9에서 구한 BVdiffp로부터 플래시 반사량 산출부(144)가 각 화소의 플래시 반사량을 구한다(단계S108). 플래시 발광 화상의 광량Lf는 수학식 10과 같이 된다.

플래시 발광 화상의 광량Lf로부터 플래시 비발광 화상에서의 환경광량을 1이라고 했을 때의 각 화소의 플래시 반사량(Ratio)을 구하면 다음 수학식 11과 같이 된다.

이 각 화소의 플래시 반사량(Ratio)을 토대로 컬러 밸런스 산출부(145)가 플래시광의 컬러 밸런스(CBf)와 환경광의 컬러 밸런스(CBe)를 선형 보간하여 대상 화소의 컬러 밸런스(CB)를 구한다(단계S109). 컬러 밸런스CB는 R, B 각각 개별적으로 구한다.

수학식 12에서 구한 R과 B의 컬러 밸런스CB로부터 수학식 13에 의해 화이트 밸런스 게인 산출부(146)가 대상 화소의 화이트 밸런스 게인(WBGainR, WBGainB)을 산출한다(단계S110).

상기 수학식 3에서 수학식 13까지를 전화소에 대해서 수행함으로써(단계S111), 플래시 비발광 화상과 플래시 발광 화상의 노광 제어값이 다른 경우에도 플래시광과 환경광이 혼재된 씬에 대해서 적절한 화이트 밸런스 게인을 화소 단위로 구할 수 있다.

모든 화소의 화이트 밸런스 게인을 산출한 후에 화이트 밸런스 제어부(126)가 플래시 발광 화상의 해당 화소에 화이트 밸런스 게인을 적용함으로써 적절한 화이트 밸런스 처리를 수행할 수 있다.

종래에는 플래시 비발광 화상을 적정 노광으로 할 수 없는 문제가 있었으나, 본 실시 예에서는 적정 노광의 플래시 비발광 화상과 플래시 발광 화상과의 노광 제어값의 차분을 산출한다. 그 결과 플래시 발광 화상에서 환경광과 플래시광이 혼재된 씬에 대해서도 화소 단위로 적절한 화이트 밸런스 게인을 산출할 수 있다.

또 플래시 비발광 화상이 적정 노광이 되기 때문에 화상에 위화감이 없어플래시 비발광 화상을 라이브뷰 화상에 사용할 수 있다. 즉, 플래시 비발광 화상을 라이브뷰 화상에 사용할 경우에는, 도 10에 도시한 것처럼 라이브뷰 화상의 독출을 위한 노광 조건의 변경이 불필요하여 라이브뷰 화상을 위한 노광이 불필요해진다. 그 결과 플래시 비발광 촬영후에 즉시 플래시 발광 촬영이 가능하므로 셔터에서 화상 취득까지의 간격(Release Time Lag)을 없앨 수 있다.

종래에는 도 11에 도시한 것처럼 플래시 비발광 촬영 후 라이브뷰 화상의 독출을 위해서도 노광 조건을 변경하여 라이브뷰 화상을 위한 노광이 필요하였지만, 플래시 비발광 화상이 라이브뷰 화상인 경우에 본 발명에서는 도 10과 같은 타임 차트가 되기 때문에 도 11에 도시한 종래 기술보다도 2 프레임분의 시간을 단축할 수 있다.

또 플래시 비발광 화상이 캡쳐 화상인 경우에는 종래 기술에서는 적정 노광이 아니어서 사용할 수 없었던 화상도 기록할 수 있어, 본 발명에 의한 보정 후의 플래시 발광 화상과 함께 플래시 발광과 플래시 비발광의 2장 촬영 모드를 실현할 수 있다.

이상 첨부 도면을 참조하여 본 발명의 바람직한 실시 예에 대해서 상세로 설명하였으나 본 발명은 상기 예로 한정되지 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 기술적 사상의 범주내에서 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명백하고 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.

본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

100 촬상 장치
102 렌즈
104 조리개
106 셔터
108 CCD이미지 센서
110 신호 처리부
112 전처리부
114 후처리부
116 RGB→YCC변환부
118 데이터 압축부
120 메모리 카드 접속부
122 메모리 카드
124 AE평가값 산출부
126 화이트 밸런스 제어부
130 화상 메모리
132 제1 촬상 기억부
134 제2 촬상 기억부
140 멀티AWB 처리부
141 노광 제어값 차분 산출부
142 피사체 휘도 산출부
143 피사체 휘도 차분 산출부
144 플래시 반사량 산출부
145 컬러 밸런스 산출부
146 화이트 밸런스 게인 산출부
150 적정AE 산출부
152 노광 제어부
160 플래시

Claims

피사체로부터 수광한 광에 기초하여 플래시를 발광하지 않고 촬영하여 취득되는 제1 화상에 대한 제1 노광 제어값과, 상기 플래시를 발광하고 촬영하여 취득되는 제2 화상에 대한 제2 노광 제어값을 산출하는 노광 제어값 산출부;
상기 제1 노광 제어값에 따라 촬영하여 상기 제1 화상을 취득하고, 상기 제2 노광 제어값에 따라 촬영하여 상기 제2 화상을 취득하는 촬상부;
상기 제1 노광 제어값과 상기 제2 노광 제어값과의 차분인 노광 제어값 차분을 산출하는 노광 제어값 차분 산출부;
상기 취득된 제1 화상에 대해서 제1 피사체 휘도를 산출하고, 상기 취득된 제2 화상에 대해서 제2 피사체 휘도를 산출하는 피사체 휘도 산출부;
상기 노광 제어값 차분, 상기 제1 피사체 휘도 및 상기 제2 피사체 휘도를 이용하여 피사체 휘도 차분을 산출하는 피사체 휘도 차분 산출부;
상기 피사체 휘도 차분으로부터 플래시 반사량을 산출하는 플래시 반사량 산출부; 및
상기 플래시 반사량으로부터 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함하는 촬상 장치.
제 1 항에 있어서,
상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 화이트 밸런스 제어부를 더 포함하는 것을 특징으로 하는 촬상 장치.
제 1 항 또는 제 2 항에 있어서,
상기 제1 노광 제어값과 상기 제2 노광 제어값은 상기 노광 제어값 산출부에 의해 개별적으로 산출되며 상기 제1 노광 제어값과 상기 제2 노광 제어값이 동일한 것을 특징으로 하는 촬상 장치.
제 1 항 또는 제 2 항에 있어서,
상기 제1 노광 제어값과 상기 제2 노광 제어값은 상기 노광 제어값 산출부에 의해 개별적으로 산출되며 상기 제1 노광 제어값과 상기 제2 노광 제어값이 서로 다른 것을 특징으로 하는 촬상 장치.
제 1 항 또는 제 2 항에 있어서,
상기 촬상부는 상기 노광 제어값 산출부에 의해 산출된 상기 제1 노광 제어값 중 조리개값을 일치시킨 상기 제2 노광 제어값으로 촬영하여 상기 제2 화상을 취득하는 것을 특징으로 하는 촬상 장치.
제 1 항 또는 제 2 항에 있어서,
상기 플래시 반사량 산출부에 의해 산출된 상기 플래시 반사량에 기초하여 환경광의 컬러 밸런스와 플래시광의 컬러 밸런스를 선형 보간하고 대상 화소의 컬러 밸런스를 산출하는 컬러 밸런스 산출부를 더 포함하고,
상기 화이트 밸런스 게인 산출부는,
상기 산출한 컬러 밸런스에 기초하여 상기 화이트 밸런스 게인을 산출하는 것을 특징으로 하는 촬상 장치.
제 1 항 또는 제 2 항에 있어서,
상기 제1 노광 제어값은 상기 제1 화상의 밝기가 적정해지는 노광 제어값이고,
상기 제2 노광 제어값은 상기 제2 화상의 밝기가 적정해지는 노광 제어값인 것을 특징으로 하는 촬상 장치.
제 1 항 또는 제 2 항에 있어서,
상기 피사체 휘도 산출부는,
상기 취득된 제1 화상의 전화소에 대해서 제1 피사체 휘도를 산출하고, 상기 취득된 제2 화상의 전화소에 대해서 제2 피사체 휘도를 산출하고,
상기 피사체 휘도 차분 산출부는,
상기 노광 제어값 차분, 화소별 상기 제1 피사체 휘도, 화소별 상기 제2 피사체 휘도와의 차분인 피사체 휘도 차분을 전화소에 대해서 산출하는 것을 특징으로 하는 촬상 장치.
제 8 항에 있어서,
상기 반사량 산출부는,
상기 피사체 휘도 차분으로부터 화소 단위로 플래시 반사량을 산출하고,
상기 화이트 밸런스 게인 산출부는,
상기 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출하는 것을 특징으로 하는 촬상 장치.
피사체로부터 수광한 광에 기초하여 플래시를 발광하지 않고 촬영하여 취득되는 제1 화상에 대한 제1 노광 제어값과, 상기 플래시를 발광하고 촬영하여 취득되는 제2 화상에 대한 제2 노광 제어값을 산출하는 단계;
상기 제1 노광 제어값에 따라 촬영하여 상기 제1 화상을 취득하고, 상기 제2 노광 제어값에 따라 촬영하여 상기 제2 화상을 취득하는 단계;
상기 제1 노광 제어값과 상기 제2 노광 제어값과의 차분인 노광 제어값 차분을 산출하는 단계;
상기 취득된 제1 화상에 대해서 제1 피사체 휘도를 산출하고, 상기 취득된 제2 화상에 대해서 제2 피사체 휘도를 산출하는 단계;
상기 노광 제어값 차분, 상기 제1 피사체 휘도 및 상기 제2 피사체 휘도를 이용하여 피사체 휘도 차분을 산출하는 단계;
상기 피사체 휘도 차분으로부터 플래시 반사량을 산출하는 단계; 및
상기 플래시 반사량으로부터 화이트 밸런스 게인을 산출하는 단계를 포함하는 촬상 방법.
제 10 항에 있어서,
상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 단계를 더 포함하는 것을 특징으로 하는 촬상 방법.
제 10 항에 있어서,
상기 피사체 휘도 산출 단계는,
상기 취득된 제1 화상의 전화소에 대해서 제1 피사체 휘도를 산출하고, 상기 취득된 제2 화상의 전화소에 대해서 제2 피사체 휘도를 산출하고,
상기 피사체 휘도 차분 산출 단계는,
상기 노광 제어값 차분, 화소별 상기 제1 피사체 휘도, 화소별 상기 제2 피사체 휘도와의 차분인 피사체 휘도 차분을 전화소에 대해서 산출하는 것을 특징으로 하는 촬상 방법.
제 10 항에 있어서,
상기 반사량 산출 단계는,
상기 피사체 휘도 차분으로부터 화소 단위로 플래시 반사량을 산출하고,
상기 화이트 밸런스 게인 산출 단계는,
상기 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출하는 것을 특징으로 하는 촬상 방법.
제 10 항에 있어서,
상기 산출된 상기 플래시 반사량에 기초하여 환경광의 컬러 밸런스와 플래시광의 컬러 밸런스를 선형 보간하는 단계; 및
대상 화소의 컬러 밸런스를 산출하는 단계를 더 포함하는 것을 특징으로 하는 촬상 방법.
제 10 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.