KR102068164B1 - 촬상 장치 촬상 방법 및 촬상 프로그램 - Google Patents

Abstract

본 발명에 따른 촬상 장치는 플래시 발광 영상 및 플래시 비발광 영상에 기초하여 플래시광 혼합비율을 산출하는 플래시광 혼합비율 산출부(145a)와 주 피사체의 영역의 플래시광 혼합비율을 선택하는 주 피사체광 혼합비율 선택부(145b)와 화이트 밸런스의 조정에 이용되는 예비 화이트 밸런스 계수를 결정하는 예비 화이트 밸런스 계수 결정부와 주 피사체의 광 혼합비율 및 예비 화이트 밸런스 계수에 기초하여 플래시광 혼합비율의 유효범위의 상한값 및 하한값을 각각 산출하는 혼합비율 유효범위 산출부(145c)와 산출된 유효범위 내가 되도록 플래시광 혼합비율을 재설정하는 플래시광 혼합비율 재설정부와 재설정된 플래시광 혼합비율에 기초하여 최종 화이트 밸런스 계수를 산출하는 최종 화이트 밸런스 계수 산출부(145c)를 갖는다.

Description

촬상 장치 촬상 방법 및 촬상 프로그램 { Imaging device imaging method and imaging program thereof }

본 발명은 촬상 장치 촬상 방법 및 촬상 프로그램에 관한 것이다.

종래 환경광(ambient light)(외광)이나 카메라 등의 플래시광을 포함하는 다양한 광원의 하에서 촬상하여 얻어진 영상(畵像)에 있어서 백색을 자연스럽게 표현하기 위해 화이트 밸런스를 조정하는 것이 알려져 있다. 화이트 밸런스를 조정함으로써 다양한 광원에 영향을 받는 피사체의 색 온도의 차이를 조정하고 영상마다 광원에 맞춰 자연스럽게 적절한 색조를 표현하고 있다. 이러한 기능을 자동 화이트 밸런스(Auto White Balance:AWB) 기능이라고 한다.

이에 관련된 기술로서 AWB 기능으로 인해 산출한 화이트 밸런스 계수값(이하 예비 WB 계수값이라고 한다)을 기초로 플래시광이 화소값에 기여하는 정도를 나타내는 플래시광 혼합비율을 감안하여 최종적인 WB 계수값(이하 최종 WB 계수값이라고 한다)을 구하는 기술이 있다(예를 들면 특허문헌 1). 이 기술에서는 우선 피사체에 플래시광을 조사하지 않고 촬상된 영상(이하 플래시 비발광 영상이라고 한다)에 대해 AWB 기능에 의해 플래시광을 사용하지 않는 경우의 외광만에 관한 외광용 예비 WB 계수값이 획득된다. 또한 외광을 포함하지 않는 플래시광만에 관한 플래시광용 예비 WB 계수값에는 장치 사양이나 실측값 등에 기초하는 값이 이용된다.

다음으로 플래시광 혼합비율이 산출된다. 플래시광 혼합비율은 플래시 비발광 영상 및 피사체에 플래시광을 조사하여 촬상된 영상(이하 플래시 발광 영상이라고 한다)의 대응하는 화소를 비교함으로써 산출할 수 있다. 손떨림이나 외광의 변화 등이 발생하면 프래시 발광 영상과 플래시 비발광 영상과의 대응화소에 불일치가 발생하여 잘못된 플래시 혼합비율이 산출되는 경우가 있다.

여기서 특허문헌 1의 기술은 화소마다의 플래시광 혼합비율에 LPF(Low Pass Filter)를 적용한다. 화소마다 LPF를 적용하기 때문에 손떨림이나 외광의 변화 등에 기인하여 플래시광 혼합비율의 값이 비정상적으로 되는 화소가 있는 경우라도 주변 화소의 플래시광 혼합비율과의 대비에 있어서 플래시광 혼합비율의 변화가 완만해지도록 조정된다. 즉 영상 전체에 걸쳐서 플래시광 혼합비율의 급준(急峻)한 변화가 억제된다.

마지막으로 변화가 완만해지도록 조정된 플래시광 혼합비율을 이용하여 최종 WB 계수값이 산출된다. 이렇게 함으로써 플래시광의 기여도에 대응한 적절한 최종 WB 계수값을 얻을 수 있고 화소 사이의 최종 WB 계수값의 화소 내에 있어서의 변화를 원활하게 한다. 이 최종 WB 계수값을 화이트 밸런스 조정을 이용하면 화소 사이에서 급격히 변화하는 플래시광 혼합비율이 이용됨에 따른 화소 위치 어긋남(out of color registration)을 저감할 수 있다.

하지만, 특허문헌 1에 기재된 기술과 같이 플래시광 혼합비율에 LPF를 적용하여 플래시광 혼합비율의 급준한 변화를 완만해지도록 억제하는 것만으로는 불충분한 경우가 있다. 왜냐면 플래시광 혼합비율의 변화가 완만해도 플래시광 혼합비율의 값의 상하한이 설정되어 있지 않다. 따라서 손떨림 등에 의해 대응하는 화소의 위치가 밀려서 잘못된 플래시광 혼합비율이 산출됨으로써 비정상적으로 높거나 또는 낮은 플래시광 혼합비율이 산출되어 버리는 경우가 있다. 지금까지 비정상적인 값의 플래시광 혼합비율에 기초하여 산출하는 최종 WB 계수값도 적절해지지 않게 되어 이 최종 WB 계수값을 이용하여 화이트 밸런스 조정했다고 해도 결국 화소위치 어긋남이 발생한다는 문제점이 있다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 영상의 내용을 고려하여 플래시광 혼합비율의 수치 유효범위를 한정하여 최적의 최종 WB 계수값을 산출할 수 있는 촬상 장치 촬상 방법 및 촬상 프로그램을 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 촬상 장치는, 플래시광을 이용하여 촬상되는 플래시 발광 영상 및 플래시광을 이용하지 않고 외광에 의해 촬상되는 플래시 비발광 영상을 획득하는 획득부, 상기 획득부에 의해 획득된 상기 플래시 발광 영상 및 상기 플래시 비발광 영상에 기초하여 플래시광이 상기 플래시 발광 영상의 화소값에 기여하는 정도를 나타내는 플래시광 혼합비율을 산출하는 플래시광 혼합비율 산출부, 상기 플래시 발광 영상 및 상기 플래시 비발광 영상의 대응하는 일부의 영역에 대한 상기 플래시광 혼합비율을 국소 플래시광 혼합비율로서 선택하는 국소 플래시광 혼합비율 선택부, 화이트 밸런스의 조정을 위해 상기 플래시광 및 외광용 예비 화이트 밸런스 계수를 결정하는 예비 화이트 밸런스 계수 결정부, 선택된 상기 국소 플래시광 혼합비율 및 결정된 상기 예비 화이트 밸런스 계수에 기초하여 상기 플래시광 혼합비율의 유효범위의 상한값 및 하한값을 각각 산출하는 혼합비율 유효범위 산출부, 산출된 상기 유효범위 내가 되도록 상기 플래시광 혼합비율 산출부에 의해 산출된 상기 플래시광 혼합비율을 재설정하는 플래시광 혼합비율 재설정부 및, 재설정된 상기 플래시광 혼합비율에 기초하여 상기 플래시 발광 영상에 적용하는 최종 화이트 밸런스 계수를 산출하는 최종 화이트 밸런스 계수 산출부를 포함한다.

또한, 상기 혼합비율 유효범위 산출부는, 상기 국소 플래시광 혼합비율을 상기 상한값으로서 설정할 수 있다.

또한, 상기 혼합비율 유효범위 산출부는, 상기 플래시광용 예비 화이트 밸런스 계수를 상기 외광용 예비 화이트 밸런스 계수에 의해 제산(除算)하여 얻어진 잠정값에 기초하여 상기 플래시광 혼합비율의 하한값을 산출할 수 있다.

한편, 본 발명의 일 실시 예에 따른 촬상 방법은, (a) 플래시광을 이용하여 촬상되는 플래시 발광 영상 및 플래시광을 이용하지 않고 외광에 의해 촬상되는 플래시 비발광 영상을 획득하는 단계, (b) 획득된 상기 플래시 발광 영상 및 상기 플래시 비발광 영상에 기초하여 플래시광이 상기 플래시 발광 영상의 화소값에 기여하는 정도를 나타내는 플래시광 혼합비율을 산출하는 단계, (c) 상기 플래시 발광 영상 및 상기 플래시 비발광 영상의 대응하는 일부의 영역에 대한 상기 플래시광 혼합비율을 국소 플래시광 혼합비율로서 선택하는 단계, (d) 화이트 밸런스의 조정을 위해 상기 플래시광 및 외광용 예비 화이트 밸런스 계수를 결정하는 단계, (e) 선택된 상기 국소 플래시광 혼합비율 및 결정된 상기 예비 화이트 밸런스 계수에 기초하여 상기 플래시광 혼합비율의 유효범위의 상한값 및 하한값을 각각 산출하는 단계, (f) 산출된 상기 유효범위 내가 되도록 산출된 상기 플래시광 혼합비율을 재설정하는 단계 및 (g) 재설정된 상기 플래시광 혼합비율에 기초하여 상기 플래시 발광 영상에 적용하는 최종 화이트 밸런스 계수를 산출하는 단계를 포함한다.

또한, 상기 (c) 단계에서 선택된 상기 국소 플래시광 혼합비율은, 상기 (e)단계에 있어서 산출되는 상기 플래시광 혼합비율의 상한값으로서 설정될 수 있다.

또한, (h) 상기 플래시광용 예비 화이트 밸런스 계수를 상기 외광용 예비 화이트 밸런스 계수에 의해 제산하여 잠정값을 획득하는 단계 및, (i) 상기 잠정값에 기초하여 상기 플래시광 혼합비율의 하한값을 산출하는 단계를 더 포함할 수 있다.

또한, 본 발명의 일 실시 예에 따른 컴퓨터로 실행가능한 프로그램 코드를 저장하는 비일시적 판독 가능 매체에 있어서, 상기 프로그램 코드에 의해 실행되는 방법은, (a) 플래시광을 이용하여 촬상되는 플래시 발광 영상 및 플래시광을 이용하지 않고 외광에 의해 촬상되는 플래시 비발광 영상을 획득하는 단계, (b) 획득된 상기 플래시 발광 영상 및 상기 플래시 비발광 영상에 기초하여 플래시광이 상기 플래시 발광 영상의 화소값에 기여하는 정도를 나타내는 플래시광 혼합비율을 산출하는 단계, (c) 상기 플래시 발광 영상 및 상기 플래시 비발광 영상의 대응하는 일부의 영역에 대한 상기 플래시광 혼합비율을 국소 플래시광 혼합비율로서 선택하는 단계, (d) 화이트 밸런스의 조정을 위해 상기 플래시광 및 외광용 예비 화이트 밸런스 계수를 결정하는 단계, (e) 선택된 상기 국소 플래시광 혼합비율 및 결정된 상기 예비 화이트 밸런스 계수에 기초하여 상기 플래시광 혼합비율의 유효범위의 상한값 및 하한값을 각각 산출하는 단계, (f) 산출된 상기 유효범위 내가 되도록 산출된 상기 플래시광 혼합비율을 재설정하는 단계 및 (g) 재설정된 상기 플래시광 혼합비율에 기초하여 상기 플래시 발광 영상에 적용하는 최종 화이트 밸런스 계수를 산출하는 단계를 포함한다.

또한, 상기 (c) 단계에서 선택된 상기 국소 플래시광 혼합비율은, 상기 (e) 단계에서 산출되는 상기 플래시광 혼합비율의 상한값으로서 설정될 수 있다.

또한, 상기 프로그램 코드에 의해 실행되는 방법은, (h) 상기 플래시광용 예비 화이트 밸런스 계수를 상기 외광용 예비 화이트 밸런스 계수에 의해 제산하여 잠정값을 획득하는 단계 및, (i) 상기 잠정값에 기초하여 상기 플래시광 혼합비율의 하한값을 산출하는 단계를 더 포함할 수 있다.

본 발명에 의하면 영상의 내용을 고려하여 플래시광 혼합비율의 수치 유효범위를 한정하여 최적의 최종 WB 계수값을 산출할 수 있다.

도 1은 본 발명의 일 실시형태에 따른 촬상 장치의 구성을 나타내는 블록도이다.
도 2는 본 실시형태에 따른 WB 보정 처리부의 구성을 나타내는 블록도이다.
도 3은 본 실시형태에 따른 WB 보정 처리부의 처리의 방법을 나타내는 흐름도이다.
도 4는 본 실시형태에 따른 WB 보정 처리부에 의한 플래시광 혼합비율의 상한값 및 하한값을 획득하기 위한 처리 방법을 나타내는 흐름도이다.
도 5는 본 실시형태에 따른 WB 보정 처리부에 의해 최종적인 WB 계수값을 산출하기 위한 처리 방법을 나타내는 흐름도이다.

이하 본 발명의 실시형태를 첨부한 도면을 참조하여 설명한다.

도 1은 본 발명의 일 실시 예에 따른 촬상 장치의 구성을 나타내는 블록도이다. 도 1에 도시하는 바와 같이 디지털 스틸 카메라 등을 포함하는 촬상 장치(1)는 주로 렌즈(2), 조리개(4), 셔터(6), CCD／CMOS(Charge Coupled Devise／Comprementary Metal Oxide Semiconductor)(8), 신호 처리 회로(10), 전처리 회로(12), 후처리 회로(14), 변환 회로(16), 데이터 압축 회로(18), 메모리카드 인터페이스(20), 메모리카드(22), AWB 처리부(23), AE(Automatic Exposure) 처리부(26), 노광 제어 회로(28) 및 플래시 발광부(30)를 포함한다. 이들의 구성에 대해 이하 상세히 설명한다.

렌즈(2)는 피사체로부터의 빛을 수광한다. 조리개(4)는 렌즈(2)를 통해 입광한 빛을 제한한다. 셔터(6)는 촬상 노광 시간에 맞춰 조리개(4)를 통해 입광한 빛을 받아들인다.

CCD／CMOS(8)는 광신호를 전기적인 신호로 변환하는 촬상판이다. 즉 획득부로서의 CCD／CMOS(8)는 렌즈(2) 조리개(4) 및 셔터(6)를 통해 입광한 피사체로부터의 빛을 수광하고 수광한 빛을 광전 변환한다. CCD／CMOS(8)는 광전 변환하여 얻어진 촬상 영상 데이터로서의 전기적 신호를 신호 처리 회로(10)로 송신한다.

또한 본 실시 형태에 있어서 피사체란 CCD／CMOS(8)에 의해 광전 변환하여 생성된 촬상 영상 내의 주 피사체 및 배경을 포함하는 모든 물체를 가리키고 주 피사체란 피사체 중 중심적인 촬상 대상으로서 유저가 의도한 사람이나 물건 등을 가리킨다.

또 본 실시 형태에서는 한 번의 촬상 동작에서 2개의 촬상 영상의 영상 데이터가 획득되는 것으로 한다. 이 중 하나의 촬상 영상은 플래시(30)를 이용하여 촬상되는 플래시 발광 영상이며 또 하나의 촬상 영상은 플래시(30)를 이용하지 않고 촬상되는 플래시 비발광 영상이다. 이들의 영상은 극단시간만 두고 거의 동시에 촬상된다.

신호 처리 회로(10)는 색분별 회로(101) 및 A／D(Analog／Degital) 변환부(102)를 가지고 화소마다의 전기적 신호를 적색(R), 청색(B), 및 녹색(G)으로 분리하거나 A／D 변환을 실행하거나 한다.

전처리 회로(12)는 블랙 레벨 보정부(121), 결함화소 보정부(122), 셰이딩 보정부(123), AE 평가 산출부(124) 및, AWB 평가 산출부(125)를 포함한다.

블랙 레벨 보정부(121)은 화소 내의 가장 어두운 부분(블랙 레벨)이 일정해지도록 보정함으로써 정확한 색이나 휘도를 표현한다.

결함화소 보정부(122)는 CCD／CMOS(8)의 결함 등에 의해 화소값이 정상이 아닌 화소에 대해 주변 화소의 화소값에 기초하여 화소값을 보정한다.

셰이딩 보정부(123)는 촬상 영상이 전체적으로 균일한 명도를 갖도록 보정하여 휘도 불균형을 해소한다.

AE 평가 산출부(124)는 촬상 영상 내의 소정 영역에 있어서의 휘도값을 적산(積算)함으로써 밝기를 나타내는 AE 평가값을 산출한다. 산출한 AE 평가값은 AE 처리부(26)에 출력된다.

AE 처리부(26)는 AE 평가 산출부(124)에 의해 산출된 AE 평가값에 기초하여 셔터 속도 조리개나 ISO 감도 등의 파라미터를 결정하고 이들의 파라미터를 노광 제어 회로(28)로 송신한다. 노광 제어 회로(28)는 수신한 파라미터에 기초하여 조리개(4), 셔터(6), CCD／CMOS(8), 및 플래시(30)를 각각 제어한다.

AWB 평가 산출부(125)는 R G 및 B에 관한 각 신호를 적분하여 AWB 평가값을 산출하고 산출한 AWB 평가값을 AWB 처리부(23)로 송신한다. 특히 AWB 평가 산출부(125)는 플래시 비발광 영상에 대한 AWB 평가값을 산출한다.

AWB 처리부(23)는 예비 화이트 밸런스 계수 결정부로서 촬상 영상에 대해 AWB 처리를 실시하기 위한 예비 WB 계수값을 결정한다. 구체적으로는 AWB 처리부(23)는 플래시 비발광 영상에 대해 상술한 AWB 평가 산출부(125)에 의해 산출된 AWB 평가값에 기초하여 예비 WB 계수값을 산출하고 산출하여 얻은 값을 외광용 WB 계수값으로서 결정한다.

한편 AWB 처리부(23)는 촬상 장치(1)의 사양에 기초하는 규정값 또는 플래시광에 대한 실측값을 플래시광용 예비 WB 계수값으로서 결정한다. 이들의 규정값 또는 실측값은 미리 AWB 처리부(23)에 의해 보유 저장되어 있다. 외광용 예비 WB 계수값 및 플래시광용 예비 WB 계수값으로서 결정된 값은 최종적인 WB 계수값을 산출하기 위해 후술하는 WB 보정 처리부(145)로 송신된다.

전처리 회로(12)에 의해 처리된 촬상 영상 데이터는 적절히 영상 메모리(13)에 저장된다. 또 영상 메모리(13)는 예를 들면 촬상 영상의 노이즈 저감 처리를 위해 통계적으로 분석되는 국소 영상 패턴군 등을 저장한다.

후처리 회로(14)는 전처리 회로(12)로부터 송신된 촬상 영상 데이터를 수신하고 또는 영상 메모리(13)에 저장된 촬상 영상 데이터를 읽어서 전처리 완료된 촬상 영상의 영상 데이터에 후처리를 실행한다. 도 1에 도시한 바와 같이 후처리 회로(14)는 디모자이킹(Demosaicing) 처리부(141) 에지 강조 처리부(142) 색보정 처리부(143) 감마 보정 처리부(144), WB 보정 처리부(145), 및 노이즈 저감 처리부(146)를 포함한다.

디모자이킹 처리부(141)는 각 화소에 있어서의 영상 데이터로부터 주변 화소와 비교하여 부족한 R, G 또는 B의 색을 추정하고 주변 화소에 있어서의 색으로부터 부족분을 추정하여 보정한다.

에지 강조 처리부(142)는 촬상 영상 데이터 내의 윤곽을 검출하고 윤곽에 있어서의 색 변화의 기울기를 급준하게 함으로써 보다 샤프(sharp)한 영상을 형성한다.

색보정 처리부(143)는 촬상 영상 내의 각 화소의 색을 보정한다.

감마 보정 처리부(144)는 사용자 확인용으로 촬상 신(scene)을 비추는 소형 디스플레이(미도시)나 외부 접속된 디스플레이 등에 있어서 보다 충실한 휘도로 표시시키기 위해 촬상 영상 데이터의 화소값을 보정한다.

WB 보정 처리부(145)는 상술한 AWB 처리부(23)로부터 송신된 예비 WB 계수값을 보다 적절한 값으로 보정한다. 자세한 설명은 도 2 내지 도 5를 참조하여 후술한다.

노이즈 저감 처리부(146)는 상술한 CCD／CMOS(8)의 발열 등에 기인한 촬상 영상 내의 영상 데이터 노이즈를 저감한다.

변환 회로(16)는 후처리 회로(14)에 의해 후처리된 촬상 영상 데이터를 수신하고 RGB 색 공간으로부터 YCbCr 색 공간에 영상 데이터를 변환한다.

변환 회로(16)에 의해 변환된 영상 데이터는 데이터 압축 회로(18)에 의해 압축되고 메모리카드 인터페이스(20)를 통해 메모리카드(22)에 저장된다.

또한, 촬상 장치(1)의 상술한 각 부는 CPU(Central Processing Unit)가 플래시 메모리 등의 저장부에 저장된 프로그램을 실행함으로써 각 기능을 발휘한다.

다음으로 WB 보정 처리부(145)의 기능 구성을 자세히 설명하도록 한다.

도 2는 본 실시형태에 따른 WB 보정 처리부의 구성을 나타내는 블록도이다.

도 2에 도시하는 바와 같이 WB 보정 처리부(145)는 플래시광 혼합비율 산출부(145a), 주 피사체 혼합비율 선택부(145b), 혼합비율 유효범위 산출부(145c), WB 계수 산출부(145d) 및 WB 조정부(145e)를 포함한다.

플래시광 혼합비율 산출부(145a)는 전처리 회로(12)에 의해 전처리된 촬상 영상 데이터를 획득한다. 상술한 바와 같이 플래시 발광 영상과 플래시 비발광 영상은 한번에 촬상되고 양 영상에 대한 영상 데이터가 영상 데이터 A 및 영상 데이터 B로서 플래시광 혼합비율 산출부(145a)에 의해 획득된다.

플래시광 혼합비율 산출부(145a)는 영상 데이터 A와 영상 데이터 B를 비교하여 플래시광이 플래시 발광 영상의 화소값에 기여하는 정도를 나타내는 플래시광 혼합비율을 산출한다. 구체적으로는 영상 데이터 A 및 영상 데이터 B를 대응하는 영역으로 구분하고 영역마다 화소값의 평균을 산출하고 영상 데이터 A의 평균값과 영상 데이터 B의 평균값과의 비율에 기초하여 플래시광 혼합비율을 산출한다. 영역마다의 플래시광 혼합비율의 산출에 대해 상세하게는 수학식 1을 참조하면서 후술한다.

주 피사체 혼합비율 선택부(145b)는 촬상 영상 내의 주 피사체에 있어서의 플래시광 혼합비율을 설정한다. 주 피사체 혼합비율 선택부(145b)는 국소 플래시광 혼합비율 선택부로서 주 피사체를 나타내는 영역에 관한 정보를 획득하고 주 피사체의 영역에 있어서의 플래시광 혼합비율을 주 파시체 혼합비율로서 선택한다. 또한 주 피사체의 영역은 예를 들면 터치 패널 등의 입력부(미도시)에 있어서 유저가 지정한 영역 추미(追尾)하도록 유저 설정된 피사체의 영역 자동 포커스 기능에 의해 포커스된 영역이다.

본 실시 형태에서는 주 피사체의 영역을 유저 선택에 의해 특정하기 때문에 주 피사체 영역의 플래시광 혼합비율을 산출할 수 있다. 구체적으로는 영상 데이터 A 및 영상 데이터 B의 대응하는 주 피사체 영역 내의 화소값의 평균으로부터 주 피사체의 플래시광 혼합비율을 산출하여 산출값을 주 피사체 혼합비율로 한다. 영역마다의 플래시광 혼합비율의 산출에 대해 상술하게는 수학식 1을 참조하면서 후술한다.

혼합비율 유효범위 산출부(145c)는 플래시광 혼합비율의 수치 유효범위(상한값 및 하한값)를 산출한다. 구체적으로는 혼합비율 유효범위 산출부(145c)는 AWB 처리부(23)로부터 획득된 외광용 예비 WB 계수값 및 플래시광용 예비 WB 계수값 및 주 피사체 혼합비율 선택부(145b)에 의해 선택된 주 피사체 혼합비율에 기초하여 플래시광 혼합비율의 상한값 및 하한값을 산출한다. 상한값 및 하한값의 산출방법의 상세는 후술한다. 또한 본 실시형태에 있어서 외광이란 조명기기의 빛이나 태양광 등 촬상시의 환경 하에 있어서의 플래시광 이외의 광이다.

WB 계수 산출부(145d)는 AWB 처리부(23)로부터 플래시 비발광 영상을 위한 외광용 예비 WB 계수값과 플래시광의 WB 계수값인 플래시광용 예비 WB 계수값을 획득한다. 또한 WB 계수 산출부(145d)는 플래시광 혼합비율 재설정부 및 최후 화이트 밸런스 계수 산출부로서 상술한 플래시광 혼합비율 산출부(145a)로부터 플래시광 혼합비율을 획득하고 혼합비율 유효범위 산출부(145c)로부터 플래시광 혼합비율의 상한값 및 하한값을 획득한다. WB 계수 산출부(145d)는 획득한 이들의 값에 기초하여 플래시 발광 영상에 있어서 최적으로 화이트 밸런스를 조정하기 위해 최종적인 WB 계수값(최후 WB 계수값)을 산출한다. 상세하게는 도 3 내지 5를 참조하면서 후술한다.

WB 조정부(145e)는 WB 계수 산출부(145d)로부터 획득된 최종 WB 계수값을 플래시 발광 영상의 각 화소의 화소값에 승산함으로써 플래시 발광 영상의 화이트 밸런스를 조정한다.

다음으로 도 3 내지 도 5를 참조하여 본 실시형태에 따른 WB 보정 처리부(145)의 동작 형태에 대해 상세히 설명한다. 도 3은 본 실시형태에 따른 WB 보정 처리부의 처리 방법을 나타내는 흐름도, 도 4는 본 실시형태에 따른 WB 보정 처리부에 의한 플래시광 혼합비율의 상한값 및 하한값을 획득하기 위한 처리의 방법을 나타내는 흐름도, 도 5는 본 실시형태에 따른 WB 보정 처리부에 의해 최종적인 WB 계수값을 산출하기 위한 처리의 방법을 나타내는 흐름도이다. 또한 도 3 내지 도 5에 도시된 처리는 플래시(30)를 이용한 촬상마다 실행될 수 있다. 최종적인 WB 계수값은 이하 단순히 최종 WB 계수값이라 칭한다.

도 3에 도시하는 바와 같이 우선 플래시광 혼합비율 산출부(145a)는 영상 데이터를 획득한다(단계 S1). 이 단계에서는 플래시광 혼합비율 산출부(145a)는 플래시(30)를 이용하여 촬상한 플래시 발광 영상의 영상 데이터(영상 데이터 A)와 플래시(30)를 이용하지 않고 촬상한 플래시 비발광 영상의 영상 데이터(영상 데이터 B)를 획득한다.

이어서 WB 계수 산출부(145d)는 외광용 예비 WB 계수값을 획득한다(단계 S2). 이 단계에서 획득되는 WB 계수값은 플래시 비발광 영상에 대해 AWB 기능에 의해 산출되고 외광용 예비 WB 계수값으로서 결정된 값이다. 플래시 비발광 영상에 대한 예비 WB 계수값의 산출은 주지의 방법에 기초하여 설명을 생략한다.

이어서 WB 계수 산출부(145d)는 플래시광용 예비 WB 계수값을 획득한다(단계 S3). 이 단계에서 획득되는 WB 계수값은 상술한 바와 같이 AWB 처리부(23)에 의해 플래시광용 예비 WB 계수값으로서 결정된 값이다.

이어서 플래시광 혼합비율 산출부(145a)는 플래시광 혼합비율을 산출한다(단계 S4). 이 단계에서는 플래시광 혼합비율 산출부(145a)는 단계 S1에서 획득된 플래시 발광 영상 및 플래시 비발광 영상에 기초하여 플래시광 혼합비율을 산출한다.

구체적으로는, 플래시광 혼합비율 산출부(145a)는 플래시 발광 영상 및 플래시 비발광 영상을 각각 균등한 영역에 동일하게 분할하고 영역마다 플래시광 혼합비율을 산출한다. 예를 들면 플래시광 혼합비율 산출부(145a)는 플래시 발광 영상 및 플래시 비발광 영상을 2×2의 영역에 4 분할한다.

또한, 플래시광 혼합비율 산출부(145a)는 플래시 발광 영상 및 플래시 비발광 영상의 대응하는 영역마다 녹색의 화소에 있어서의 화소값의 평균값을 산출한다. 플래시 발광 영상의 영상 데이터 A로부터 산출한 녹색의 평균 화소값 G_A 및 플래시 비발광 영상의 영상 데이터 B로부터 산출한 녹색의 평균 화소값 G_B로부터 하기 수학식 1을 이용하여 플래시광 혼합비율(Ratio)을 산출한다.

영역마다 산출된 플래시광 혼합비율(Ratio)은 주 피사체 혼합비율 선택부(145b)에 출력된다. 또한 해당 플래시광 혼합비율(Ratio)은 나중의 단계 S7에 있어서 영역마다 최종적인 플래시광 혼합비율로 재설정된다.

이어서 주 피사체 혼합비율 선택부(145b)는 촬상 영상 내의 주 피사체에 있어서의 플래시광 혼합비율을 주 피사체 혼합비율로서 설정한다(단계 S5). 구체적으로는 상술한 바와 같이 선택된 주 피사체 영역에 포함되는 화소의 화소값(또는 그 평균값)과 수학식 1을 이용함으로써 주 피사체 혼합비율을 산출한다. 여기서, 산출된 주 피사체 혼합비율은 다음의 단계 S6에 있어서 플래시 발광 영상에 대한 플래시광 혼합비율의 유효범위 산출을 위해 혼합비율 유효범위 산출부(145c)로 출력된다.

이어서 혼합비율 유효범위 산출부(145c)는 플래시광 혼합비율 유효범위를 산출한다(단계 S6). 이 단계에서는 혼합비율 유효범위 산출부(145c)는 플래시 발광 영상에 대한 플래시광 혼합비율의 수치 유효범위(상한값 및 하한값)를 산출한다. 해당 플래시광 혼합비율의 상한값 및 하한값은 단계 S2 및 S3에서 각각 획득된 외광용 예비 WB 계수값 및 플래시광용 예비 WB 계수값 및 단계 S5에서 설정된 주 피사체 혼합비율에 기초하여 산출된다. 플래시광 혼합비율의 유효범위의 설정의 상세에 대해서는 도 4를 참조하면서 후술한다.

이어서 혼합비율 유효범위 산출부(145c)는 플래시광 혼합비율을 클리핑한다(단계 S7). 이 단계에서는 혼합비율 유효범위 산출부(145c)는 플래시광 혼합비율 산출부(145a)에 의해 산출된 2×2의 영역마다의 플래시광 혼합비율을 단계 S6에서 구한 플래시광 혼합비율의 상한값 및 하한값 사이의 유효범위 내의 값이 되도록 클리핑한다. 즉 각 영역의 플래시광 혼합비율에 대해 플래시광 혼합비율이 상한값 및 하한값의 사이가 되도록 재설정된다. 예를 들면 플래시 혼합비율이 상한값보다 큰 경우는 상한값으로 설정되고 하한값보다 작은 경우는 하한값으로 설정된다. 플래시광 혼합비율이 유효범위 내인 경우는 값은 그대로 변경되지 않는다. 이렇게 하여 구해진 유효범위 내의 최종적인 플래시광 혼합비율의 값은 최종 WB 계수값의 산출을 위해 WB 계수 산출부(145d)로 출력된다.

이어서 WB 계수 산출부(145d)는 최종 WB 계수값을 산출한다(단계 S8). 이 단계에서는 단계 S2 및 S3에서 획득한 예비 WB 계수값 및 단계 S7에서 재설정된 플래시광 혼합비율에 기초하여 WB 계수 산출부(145d)는 영역마다 최종 WB 계수값을 산출한다. 최종 WB 계수값의 산출의 상세에 대해서는 도 5를 참조하여 후술한다.

이어서 WB 조정부(145e)는 플래시 발광 영상에 대해 화이트 밸런스를 조정한다(단계 S9). 이 단계에서는 WB 조정부(145e)는 전 단계 S8에서 산출된 영역마다의 최종 WB 계수값을 플래시 발광 영상의 대응하는 영역에 있어서의 각 화소의 화소값에 승산함으로써 플래시 발광 영상의 화이트 밸런스를 조정한다. 화이트 밸런스 조정 완료된 플래시 발광 영상은 WB 조정부(145e)로부터 출력된다. 그 후 WB 보정 처리부(145)에 의한 처리는 종료된다.

이하 도 4 및 도 5를 참조하여 본 실시형태에 따른 플래시광 혼합비율의 상한값 및 하한값의 획득방법(단계 S6) 및 최종 WB 계수값의 산출방법(단계 S8)에 대해 상세히 설명한다.

우선 도 4를 참조하여 플래시광 혼합비율의 상한값 및 하한값의 획득방법을 설명한다.

도 4에 도시하는 바와 같이 우선 혼합비율 유효범위 산출부(145c)는 플래시광 혼합비율의 상한값을 설정한다(단계 S11). 이 단계에서는 혼합비율 유효범위 산출부(145c)는 상기 단계 S5에서 설정된 주 피사체 혼합비율을 플래시광 혼합비율의 상한값(UU)으로서 설정한다.

이어서 혼합비율 유효범위 산출부(145c)는 플래시광 혼합비율의 하한값(LL)을 산출한다. 그 때문에 우선 혼합비율 유효범위 산출부(145c)은 잠정값 r g 및 b를 산출한다(단계 S12). 잠정값 r g b는 RGB 각 색에 대해 단계 S2에서 획득된 외광용 예비 WB 계수값(WB_E)에 대한 단계 S3에서 획득된 플래시광용 예비 WB 계수값(WB_F)의 비율이다. 잠정값은 하기 수학식 2에 의해 산출된다.

여기서 WBR_F WBG_F 및 WBB_F는 RGB 각 색의 플래시광용 예비 WB 계수값이며 WBR_E WBG_E 및 WBB_E는 각 색의 외광용 예비 WB 계수값이다.

이어서 혼합비율 유효범위 산출부(145c)는 주 피사체에 대한 WB 계수값을 산출한다(단계 S13). 이 단계에서는 주 피사체에 대한 적절한 WB 계수값을 얻기 위해 주 피사체의 플래시광 혼합비율(즉 플래시광 혼합비율의 상한값(UU))에 대응하는 WB 계수값을 산출한다. 구체적으로는 플래시광 혼합비율의 상한값(UU)에 대응하는 적색 및 청색의 WB 계수값(WBR_UU 및 WBB_UU)을 하기의 수학식 3에 의해 산출한다.

또한 본 실시형태와 같이 녹색을 기준으로 적색 및 청색에 의해 화이트 밸런스를 조정하는 경우에는 플래시 발광 영상 및 플래시 비발광 영상에 대한 녹색의 WB 계수값은 WBG_F＝WBG_E가 되도록 보정될 수 있다.

이어서 혼합비율 유효범위 산출부(145c)는 WB 계수값의 최대값 및 최소값을 산출한다(단계 S14). 이 단계에서는 상기 수학식 2를 이용하여 산출된 잠정값 r g 및 b의 대소관계에 기초하여 외광용 예비 WB 계수값 플래시광용 예비 WB 계수값 및 플래시광 혼합비율의 상한값(UU)에 대응하는 WB 계수값 각각에 대해 최대값 및 최소값을 결정한다. 즉 외광용 예비 WB 계수값 WBR_E WBB_E WBG_E 중 최대값 MAX_E 및 최소값 MIN_E 플래시광용 예비 WB 계수값 WBR_F WBB_F WBG_F 중 최대값 MAX_F 및 최소값 MIN_F 상기 수학식 2에서 산출한 WBR_UU WBB_UU WBG_UU 중 최대값 MAX_UU 및 최소값 MIN_UU를 하기 수학식 4로부터 결정한다.

이어서 혼합비율 유효범위 산출부(145c)는 채도차의 임계값을 설정한다(단계 S15). 이 단계에서는 플래시광 혼합비율의 상기 상한값(UU)에 대한 하한값(LL)을 설정하기 위해 혼합비율 유효범위 산출부(145c)는 채도차(S)의 임계값(S_Lim)을 설정한다. 여기서 후술하는 바와 같이 채도차(S)는 주 피사체 플래시광 혼합비율의 상하한값에 대응하는 WB 계수값의 불규칙함을 나타내는 값이다. 후술하는 바와 같이 이 채도차(S)에 임계값(S_Lim)을 설정함으로써 해당 WB 계수값의 불규칙함을 제한할 수 있다.

채도차의 임계값(S_Lim)은 예를 들면 "0.35" 등의 값으로 미리 설정되어 저장 부 등에 저장되고 혼합비율 유효범위 산출부(145c)에 의해 독출될 수 있다. 해당 임계값은 당연 그 때마다 유저에 의해 설정되는 값일 수 있다.

여기서 채도차(S)란 플래시광 혼합비율의 하한값(LL)에 대응하는 WB 계수값(WB_LL)에 대한 주 피사체 플래시광 혼합비율의 상한값(UU)에 대응하는 WB 계수값(WB_UU)의 비율에 기초하는 값이다. 환언하면 채도차(S)는 주 피사체 플래시광 혼합비율의 상하한값에 대응하는 WB 계수값의 불규칙함을 나타낸다. 그 상세한 정의는 하기 수식 5 및 6에 나타내는 바와 같다.

여기서 r, g, b는 수학식 6에 의해 나타내어지는 값이며 MAX(r, g, b)는 r, g, b 중 최대값 MIN(r, g, b)는 r, g, b 중 최소값이다.

또한 이 단계에서는 플래시광 혼합비율의 하한값(LL)에 대응하는 WB 계수값(WB_LL)은 미지수이며 따라서 채도차(S)도 미지이지만 이하에 서술하는 바와 같이 채도차(S)의 임계값(S_Lim)을 이용함으로써 하한값(LL)을 산출한다.

이어서 혼합비율 유효범위 산출부(145c)는 플래시광 혼합비율의 하한값을 산출한다(단계 S16). 이 단계에서는 상기 수학식 4에서 구한 플래시광용 WB 계수값 외광용 WB 계수값 주 피사체의 WB 계수값 중의 최대값(MAX) 및 최소값(MIN) 및 채도차의 임계값(S_Lim)을 이용하여 하기 수학식 7에 의해 플래시 혼합비율의 하한값(LL)을 산출한다.

이와 같이 본 실시 형태에서는 플래시광 혼합비율의 상한값(UU)(즉 주 피사체 플래시광 혼합비율)에 대응하는 WB 계수값을 우선 산출한다.

또한, 해당 WB 계수값을 포함하는 예비 WB 계수값과 플래시광 혼합비율의 불규칙함을 제한하도록 작용하는 채도차 임계값을 이용하여 플래시광 혼합비율의 하한값(LL)을 산출한다. 즉, 플래시광 혼합비율의 유효범위를 구할 수 있다. 주 피사체의 플래시광 혼합비율에 기초하여 플래시광 혼합비율의 유효범위를 구하기 때문에 주 피사체를 기준으로 한 플래시광 혼합비율의 재설정할 수 있다.

그 후 상술한 단계 S7로 처리가 진행된다.

다음으로 상기 단계 S8의 최종 WB 계수값을 산출하는 처리 방법에 대해 설명한다.

도 5에 도시한 바와 같이 우선 WB 계수 산출부(145d)는 컬러 밸런스값을 산출한다(단계 S21). 이 단계에서는 WB 계수 산출부(145d)는 외광 및 플래시광에 대해 단계 S2 및 3에서 각각 결정된 예비 WB 계수값을 역수로 한다. 이렇게 함으로써 플래시광의 광원색의 예비 컬러 밸런스값(CB_F)과 외광의 예비 컬러 밸런스값(CB_E)을 RGB 각 색에 대해 산출한다.

이어서 WB 계수 산출부(145d)는 각 색의 혼합 컬러 밸런스값을 산출한다(단계 S22). 이 단계에서는 WB 계수 산출부(145d)는 단계 S7에서 획득된 최종적인 플래시광 혼합비율(Ratio') 및 단계 S21에서 산출한 예비 컬러 밸런스값(CB_F) 및 (CB_E)에 기초하여 혼합 컬러 밸런스값(CB_Mix)을 산출한다. 구체적으로는 WB 계수 산출부(145d)는 하기 수학식 8에 의해 외광 및 플래시광의 컬러 밸런스를 감안한 혼합 컬러 밸런스값(CB_Mix)을 RGB 각 색에 대해 산출한다.

여기서, i 및 j는 촬상 영상 내의 영역을 특정하기 위한 자연수의 변수이다.

이어서, WB 계수 산출부(145d)는 최종 WB 계수를 산출한다(단계 S23). 이 단계에서는 WB 계수 산출부(145d)는 단계 S22에서 산출한 각 색의 혼합 컬러 밸런스값(CB_Mix)을 역수로 함으로써 각 영역에 있어서의 최종 WB 계수값을 산출한다. 구체적으로는, 최종 WB 계수값(WB_Mix)은 하기 수학식 9에 의해 산출된다.

이어서, WB 계수 산출부(145d)는 최종 WB 계수값을 정규화한다(단계 S24). 이 단계에서는 단계 S23에서 산출한 모든 영역 및 색에 관한 WB 계수값의 최소값이 1.0이 되도록 WB 계수값을 정규화한다. 정규화된 WB 계수값은 WB 계수 보정부(145e)로 출력된다.

그 후, 상기의 단계 S9로 처리가 진행된다.

이상과 같이 본 실시 형태에 의하면 플래시광 혼합비율의 수치 유효범위를 주 피사체의 영역(영상 전체 중 일부의 영역)에 의해 산출한 국소 플래시광 혼합비율을 고려하여 설정한다. 따라서 손떨림이나 외광의 변화 등에 의해 실제로는 괴리된 플래시광 혼합비율을 얻을 수 있는 경우라도 적어도 수치 유효범위 내에 클리핑할 수 있고 플래시광 혼합비율이 적절한 값이 된다.

이와 같은 플래시광 혼합비율을 이용함으로써 최종 WB 계수값도 적절해지고 화소위치 어긋남(out of color registration)을 효과적으로 경감할 수 있다. 특히 주 피사체 영역을 고려한 플래시광 혼합비율의 상한값과 하한값이 설정되기 때문에 주 피사체에 대한 플래시광 혼합비율을 손상시키지 않고 주 피사체를 기준으로 한 최종 WB 계수값을 산출할 수 있으며 주 피사체에 있어서 최적의 화이트 밸런스 조정을 보장할 수 있다.

결과적으로 사용자가 만족할 수 있는 영상을 얻을 수 있다. 상기와 같은 실시 예에 따르면 주 피사체에 대한 화이트 밸런스 조정을 최적화함과 동시에 영상 전체에 걸쳐 최적의 화이트 밸런스 조정이 가능해진다.

이상 본 발명을 적용한 실시형태를 설명했으나 그 외에 본원의 특허청구범위에 기재한 기술사상의 범위 내에서 다양한 변형형태가 가능한 것은 물론이다.

예를 들면, 플래시광 혼합비율은 2×2로 분할된 영역마다 산출된다고 서술했으나 이에 한정되지 않는다. 분할 영역은 임의의 영역일 수도 있으며, 또는 영역마다가 아니라 CFA(Color Filter Array) 단위일 수도 있다.

또한, 단계 S12에 있어서 플래시광 혼합비율의 하한값(LL)을 산출했으나 플래시광 혼합비율의 상한값(UU)에 대응하는 WB 계수(WB_UU)를 산출한 바와 같이 해당 하한값(LL)에 대응한 WB 계수값(WB_LL)을 산출할 수도 있다. 구체적으로는, 산출된 하한값(LL)을 수학식 2의 우변에 있어서 UU 대신에 LL을 대입함으로써 하한값에 대응한 WB 계수값(WB_LL)을 추가적으로 산출할 수 있다. 이로 인해 수학식 5 및 수학식 6을 이용하여 확인 등을 위해 채도차(S)를 산출할 수도 있다.

또한 RGB 각 색의 예비 WB 계수값 또는 최종 WB 계수값은 어떻게도 설정할 수 있다. 예를 들면, 플래시 발광 영상 및 플래시 비발광 영상에 있어서 녹색의 WB 계수값 WBG를 1.0로 고정하여 R 및 B를 변경하여 화이트 밸런스를 조정해도 좋다.

상술한 본 발명의 다양한 실시 예에 따른 촬상 장치에 있어서의 각종 처리를 수행하는 수단 및 방법은 전용의 하드웨이 회로 또는 프로그램된 컴퓨터 중 적어도 하나에 의해서도 실현하는 것이 가능하다. 상기 프로그램은 예를 들면, 메모리 스틱 및 CD―ROM 등의 컴퓨터로 판독 가능한 기록매체에 의해 제공도될 수 있으며 인터넷 등의 네트워크를 통해 온라인으로 제공되어도 좋다. 이 경우 컴퓨터로 판독 가능한 기록매체에 기록된 프로그램은 통상 하드디스크 등의 저장부에 전송되어 저장된다. 또 상기 프로그램은 단독의 애플리케이션 소프트로서 제공될 수도 있으며, 촬상 시스템의 일 기능으로서 그 장치의 소프트웨어에 포함될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

1: 촬상 장치 2: 렌즈
4: 조리개 6: 셔터
8: CCD／CMOS(획득부) 10: 신호 처리 회로
101: 색분별 회로 102: A／D 변환부
12: 전처리 회로 121: 블랙 레벨 보정부
122: 결함화소 보정부 123: 셰이딩 보정부
124: AE 평가 산출부 125: AWB 평가 산출부
13: 영상 메모리 14: 후처리 회로
141: 디모자이킹 처리부 142: 에지 강조 처리부
143: 색보정 처리부 144: 감마 보정 처리부
145: WB 보정 처리부 145a: 플래시광 혼합비율 산출부
145b: 주 피사체 혼합비율 선택부(국소 플래시광 혼합비율 선택부)
145c: 혼합비율 유효범위 산출부
145d: WB 계수 산출부(플래시광 혼합비율 재설정부 최종 화이트 밸런스 계수 산출부)
145e: 화이트 밸런스 조정부 146: 노이즈 저감 처리부
16: 변환 회로 18: 데이터 압축 회로
20: 메모리카드 인터페이스 22: 메모리카드
23: AWB 처리부(예비 화이트 밸런스 계수 결정부)
26: AE 처리부 28: 노광 제어 회로
30: 플래시

Claims (9)

1. 플래시광을 이용하여 촬상되는 플래시 발광 영상 및 플래시광을 이용하지 않고 외광에 의해 촬상되는 플래시 비발광 영상을 획득하는 획득부;
   상기 획득부에 의해 획득된 상기 플래시 발광 영상 및 상기 플래시 비발광 영상에 기초하여 플래시광이 상기 플래시 발광 영상의 화소값에 기여하는 정도를 나타내는 플래시광 혼합비율을 산출하는 플래시광 혼합비율 산출부;
   상기 플래시 발광 영상 및 상기 플래시 비발광 영상의 대응하는 일부의 영역에 대한 상기 플래시광 혼합비율을 국소 플래시광 혼합비율로서 선택하는 국소 플래시광 혼합비율 선택부;
   화이트 밸런스의 조정을 위해 상기 플래시광 및 외광용 예비 화이트 밸런스 계수를 결정하는 예비 화이트 밸런스 계수 결정부;
   선택된 상기 국소 플래시광 혼합비율 및 결정된 상기 예비 화이트 밸런스 계수에 기초하여 상기 플래시광 혼합비율의 유효범위의 상한값 및 하한값을 각각 산출하는 혼합비율 유효범위 산출부;
   산출된 상기 유효범위 내가 되도록 상기 플래시광 혼합비율 산출부에 의해 산출된 상기 플래시광 혼합비율을 재설정하는 플래시광 혼합비율 재설정부; 및
   재설정된 상기 플래시광 혼합비율에 기초하여 상기 플래시 발광 영상에 적용하는 최종 화이트 밸런스 계수를 산출하는 최종 화이트 밸런스 계수 산출부;를 포함하고,
   상기 혼합비율 유효범위 산출부는,
   상기 플래시광용 예비 화이트 밸런스 계수를 상기 외광용 예비 화이트 밸런스 계수에 의해 제산(除算)하여 얻어진 잠정값에 기초하여 상기 플래시광 혼합비율의 하한값을 산출하는 것을 특징으로 하는 촬상 장치.
2. 제1항에 있어서,
   상기 혼합비율 유효범위 산출부는,
   상기 국소 플래시광 혼합비율을 상기 상한값으로서 설정하는 것을 특징으로 하는 촬상 장치.
3. 삭제
4. (a) 플래시광을 이용하여 촬상되는 플래시 발광 영상 및 플래시광을 이용하지 않고 외광에 의해 촬상되는 플래시 비발광 영상을 획득하는 단계;
   (b) 획득된 상기 플래시 발광 영상 및 상기 플래시 비발광 영상에 기초하여 플래시광이 상기 플래시 발광 영상의 화소값에 기여하는 정도를 나타내는 플래시광 혼합비율을 산출하는 단계;
   (c) 상기 플래시 발광 영상 및 상기 플래시 비발광 영상의 대응하는 일부의 영역에 대한 상기 플래시광 혼합비율을 국소 플래시광 혼합비율로서 선택하는 단계;
   (d) 화이트 밸런스의 조정을 위해 상기 플래시광 및 외광용 예비 화이트 밸런스 계수를 결정하는 단계;
   (e) 선택된 상기 국소 플래시광 혼합비율 및 결정된 상기 예비 화이트 밸런스 계수에 기초하여 상기 플래시광 혼합비율의 유효범위의 상한값 및 하한값을 각각 산출하는 단계;
   (f) 산출된 상기 유효범위 내가 되도록 산출된 상기 플래시광 혼합비율을 재설정하는 단계;
   (g) 재설정된 상기 플래시광 혼합비율에 기초하여 상기 플래시 발광 영상에 적용하는 최종 화이트 밸런스 계수를 산출하는 단계
   (h) 상기 플래시광용 예비 화이트 밸런스 계수를 상기 외광용 예비 화이트 밸런스 계수에 의해 제산하여 잠정값을 획득하는 단계; 및
   (i) 상기 잠정값에 기초하여 상기 플래시광 혼합비율의 하한값을 산출하는 단계;를 포함하는 것을 특징으로 하는 촬상 방법.
5. 제4항에 있어서,
   상기 (c) 단계에서 선택된 상기 국소 플래시광 혼합비율은,
   상기 (e)단계에 있어서 산출되는 상기 플래시광 혼합비율의 상한값으로서 설정되는 것을 특징으로 하는 촬상 방법.
6. 삭제
7. 컴퓨터로 실행가능한 프로그램 코드를 저장하는 비일시적 판독 가능 매체에 있어서, 상기 프로그램 코드에 의해 실행되는 방법은,
   (a) 플래시광을 이용하여 촬상되는 플래시 발광 영상 및 플래시광을 이용하지 않고 외광에 의해 촬상되는 플래시 비발광 영상을 획득하는 단계;
   (b) 획득된 상기 플래시 발광 영상 및 상기 플래시 비발광 영상에 기초하여 플래시광이 상기 플래시 발광 영상의 화소값에 기여하는 정도를 나타내는 플래시광 혼합비율을 산출하는 단계;
   (c) 상기 플래시 발광 영상 및 상기 플래시 비발광 영상의 대응하는 일부의 영역에 대한 상기 플래시광 혼합비율을 국소 플래시광 혼합비율로서 선택하는 단계;
   (d) 화이트 밸런스의 조정을 위해 상기 플래시광 및 외광용 예비 화이트 밸런스 계수를 결정하는 단계;
   (e) 선택된 상기 국소 플래시광 혼합비율 및 결정된 상기 예비 화이트 밸런스 계수에 기초하여 상기 플래시광 혼합비율의 유효범위의 상한값 및 하한값을 각각 산출하는 단계;
   (f) 산출된 상기 유효범위 내가 되도록 산출된 상기 플래시광 혼합비율을 재설정하는 단계;
   (g) 재설정된 상기 플래시광 혼합비율에 기초하여 상기 플래시 발광 영상에 적용하는 최종 화이트 밸런스 계수를 산출하는 단계;
   (h) 상기 플래시광용 예비 화이트 밸런스 계수를 상기 외광용 예비 화이트 밸런스 계수에 의해 제산하여 잠정값을 획득하는 단계; 및
   (i) 상기 잠정값에 기초하여 상기 플래시광 혼합비율의 하한값을 산출하는 단계;를 포함하는 비일시적 판독 가능 매체.
8. 제7항에 있어서
   상기 (c) 단계에서 선택된 상기 국소 플래시광 혼합비율은,
   상기 (e) 단계에서 산출되는 상기 플래시광 혼합비율의 상한값으로서 설정되는 것을 특징으로 하는 비일시적 판독 가능 매체.
9. 삭제

Images