KR20160078922A

KR20160078922A - 촬상 방법

Info

Publication number: KR20160078922A
Application number: KR1020150186338A
Authority: KR
Inventors: 야스시 사코; 츠토무 오쿠노
Original assignee: 어큐트로직 가부시키가이샤
Priority date: 2014-12-25
Filing date: 2015-12-24
Publication date: 2016-07-05
Also published as: JP5849150B1; US9479707B2; KR101660654B1; JP2016122989A; CN105744248A; CN105744248B; US20160191881A1

Abstract

2개의 발광원은, 출사광의 광량비를 가변 제어 가능하다. 예비 촬상되는 피사체의 촬상 화상에 의거해, 환경광에 의한 광량과 2개의 발광원에 의한 합계 광량의 관계를 나타내는 광량 정보를 취득한다. 환경광에 관한 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제1 직선을, 2개의 발광원으로부터의 출사광의 색에 대응하는 xy 색도 좌표 상의 2개의 좌표를 연결하는 선분과 소정의 각도로 교차하도록 긋는 것으로 한다. 이 경우에 있어서의 상기 제1 직선과 상기 선분의 교점과, 상기 광량 정보에 의거해, 2개의 발광원으로부터의 출사광의 각 광량이 상기 교점과 일치하거나, 또는, 상기 교점에 가까운 xy 색도 좌표 상의 소정의 점에 대응하도록, 2개의 발광원으로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상한다. 상기 소정의 점과 상기 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제2 직선 상의 1점이며 상기 광량 정보에 대응하는 1점의 좌표에 관해, 화이트 밸런스 조정용 보정치를 취득한다.

Description

촬상 방법{IMAGING METHOD}

본 발명은, 촬상 방법, 특히, 촬상된 화상에 화이트 밸런스 조정을 실시하는 촬상 방법에 관한 것이다.

종래, 촬상된 화상에 화이트 밸런스 조정을 실시할 때에, 플래시광의 색과 환경광의 색이 상이하다는 점으로부터, 촬상 화상의 어느 영역에 의거해 화이트 밸런스를 조정하면 좋은지와 같은 문제가 발생하는 경우가 있다. 예를 들면, 거리가 가까운 피사체와 거리가 먼 피사체에서는, 피사체에 조사되는 환경광에 대한 플래시광의 비율이 상이하다. 이 때문에, 촬상 화상에 있어서의 어느 피사체 영역에 의거해 화이트 밸런스를 조정하는지에 따라서 화이트 밸런스의 조정 결과가 상이하다. 따라서, 이 경우, 어느 피사체 영역에 맞추어 화이트 밸런스를 조정하는지가 문제가 된다.

이와 같은 문제에 대한 대처법의 하나로서, 플래시광의 색을 환경광의 색에 가능한 한 가깝게 하는 것을 생각할 수 있다. 플래시광의 색과 환경광의 색이 일치하면, 어느 피사체 영역에 맞추어도 화이트 밸런스의 결과가 상이해지는 일이 없어지기 때문이다. 그리고, 플래시광의 색을 환경광의 색에 가깝게 하기 위한 구체적인 방법으로서, 플래시광을 1개의 발광원으로부터 출사시키는 것이 아니라 복수의 발광원으로부터 출사시킴으로써, 복수의 발광원으로부터 출사되는 광에 의한 혼색을 1개의 발광원으로부터 출사시키는 경우보다도 환경광의 색에 가깝게 하는 것이 이루어지고 있다. 일본국 특허 제5311963호는, 2개의 발광원을 이용하여 플래시광 전체를 환경광에 가깝게 하는 것이다. 일본국 특허 공개 2012-141445호 공보 및 일본국 특허 제5007523호는, 3개의 발광원을 이용하여 플래시광 전체를 환경광에 가깝게 하는 것이다.

복수의 발광원을 사용하여 플래시광 전체를 환경광에 가깝게 하는 경우, 발광원으로부터의 출사광의 색이 발광원끼리 상이할수록, 조정 가능한 범위가 넓어진다. 이 때문에, 다양한 환경광에 대응할 수 있다. 이 관점에서는, 특허 문헌 1과 같이 2개의 발광원을 이용하는 것보다도, 특허 문헌 2, 3과 같이 3개의 발광원을 이용하는 것이, 다양한 환경광에 대응하기 쉽다. 2개의 발광원으로 조정할 수 있는 범위는 1차원적으로 확대되는데 반해, 3개의 발광원으로 조정할 수 있는 범위는 2차원적으로 확대되기 때문이다.

그러나, 발광원을 2개에서 3개로 하면, 혼색에 의해서 플래시광의 색을 환경광의 색에 가깝게 할 때, 2개끼리의 조정이 3개끼리의 조정이 되므로, 발광원의 미묘한 제어가 어려워진다. 또, 예를 들면, 각 발광원에 있어서의 개체차를 저감하는 조정을 행하는 경우, 2개의 발광원보다도 3개의 발광원에 관해서 조정하는 것이 어려워진다.

한편, 발광원을 2개로 하면, 플래시광의 색과 환경광의 색을 일치시키기 어려워지므로, 상기한 바와 같이, 화이트 밸런스를 적절하게 조정하기 어려워질 우려가 있다.

본 발명의 목적은, 발광원의 제어나 조정을 행하기 쉽게 하면서, 화이트 밸런스를 적절하게 조정하기 쉬운 촬상 방법을 제공하는 데 있다.

본 발명의 촬상 방법은, 출사광의 색 온도가 서로 상이함과 더불어 서로의 출사광의 광량비를 가변 제어 가능한 2개의 발광원으로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 방법으로서, 환경광에 대응하는 광원색을 취득하는 광원색 취득 단계와, 2개의 발광원으로부터 발광시키지 않고 피사체를 촬상하는 발광이 없는 단계 및 2개의 발광원으로부터 발광시키면서 피사체를 촬상하는 발광이 있는 단계를 포함하는 예비 촬상 단계와, 상기 예비 촬상 단계에 있어서 촬상되는 피사체의 촬상 화상에 의거해, 환경광에 의한 광량과 상기 2개의 발광원에 의한 합계 광량의 관계를 나타내는 광량 정보를 취득하는 발광원 광량 취득 단계와, 상기 광원색 취득 단계에 있어서 취득된 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제1 직선을, 상기 2개의 발광원으로부터의 출사광의 색에 대응하는 xy 색도 좌표 상의 2개의 좌표를 연결하는 선분과 소정의 각도로 교차하도록 그은 경우에 있어서의 상기 제1 직선과 상기 선분의 교점과, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 의거해, 상기 2개의 발광원으로부터의 출사광의 각 광량이 상기 교점과 일치하거나, 또는, 상기 교점에 가까운 xy 색도 좌표 상의 소정의 점에 대응하도록, 상기 2개의 발광원으로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 단계와, 상기 소정의 점과 상기 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제2 직선 상의 1점이며, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 대응하는 1점의 좌표에 관해서 취득된 화이트 밸런스 조정용 보정치에 의거해, 상기 촬상 단계에 있어서 촬상된 화상에 화이트 밸런스 조정을 실시하는 화이트 밸런스 조정 단계를 구비하고 있고, 상기 발광이 없는 단계에 있어서의 촬상 화상으로부터 얻어지는 R신호, G신호 및 B신호를 G신호로 정규화한 색 성분비를 P0_r, P0_g 및 P0_b로 하고, 상기 발광이 있는 단계에 있어서의 촬상 화상으로부터 얻어지는 R신호, G신호 및 B신호와 상기 발광이 없는 단계에 있어서의 촬상 화상으로부터 얻어지는 R신호, G신호 및 B신호의 차분을 G신호로 정규화한 색 성분비를 P1_r, P1_g 및 P1_b로 하고, 상기 2개의 발광원으로부터의 출사광에 의한 혼색의 R성분, G성분 및 B성분을 G성분으로 정규화한 색 성분비를 P2_r, P2_g 및 P2_b로 할 때, 환경광의 광원색의 R성분, G성분 및 B성분을 G성분으로 정규화한 Pe_r, Pe_g 및 Pe_b를 이하의 수학식 1에 의거해 산출한다.

(수학식 1) Pe_i=P0_i*P2_i/P1_i(i=r, i=g 및 i=b의 각각에 관한 것임)

다른 관점에 의하면, 본 발명의 촬상 방법은, 출사광의 색 온도가 서로 상이함과 더불어 서로의 출사광의 광량비를 가변 제어 가능한 2개의 발광원으로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 방법으로서, 환경광에 대응하는 광원색을 취득하는 광원색 취득 단계와, 2개의 발광원으로부터 발광시키지 않고 피사체를 촬상하는 발광이 없는 단계 및 2개의 발광원으로부터 발광시키면서 피사체를 촬상하는 발광이 있는 단계를 포함하는 예비 촬상 단계와, 상기 예비 촬상 단계에 있어서 촬상되는 피사체의 촬상 화상에 의거해, 환경광에 의한 광량과 상기 2개의 발광원에 의한 합계 광량의 관계를 나타내는 광량 정보를 취득하는 발광원 광량 취득 단계와, 상기 광원색 취득 단계에 있어서 취득된 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제1 직선을, 상기 2개의 발광원으로부터의 출사광의 색에 대응하는 xy 색도 좌표 상의 2개의 좌표를 연결하는 선분과 직교하도록 그은 경우에 있어서의 상기 제1 직선과 상기 선분의 교점과, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 의거해, 상기 2개의 발광원으로부터의 출사광의 각 광량이 상기 교점과 일치하거나, 또는, 상기 교점에 가까운 xy 색도 좌표 상의 소정의 점에 대응하도록, 상기 2개의 발광원으로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 단계와, 상기 소정의 점과 상기 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제2 직선 상의 1점이며, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 대응하는 1점의 좌표에 관해서 취득된 화이트 밸런스 조정용 보정치에 의거해, 상기 촬상 단계에 있어서 촬상된 화상에 화이트 밸런스 조정을 실시하는 화이트 밸런스 조정 단계를 구비하고 있다.

또 다른 관점에 의하면, 본 발명의 촬상 방법은, 출사광의 색 온도가 서로 상이함과 더불어 서로의 출사광의 광량비를 가변 제어 가능한 2개의 발광원으로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 방법으로서, 상기 2개의 발광원에 관한 적어도 2개의 실측치에 의거해, 상기 2개의 발광원에 관한 혼색광의 색 정보를 나타내는, 상기 실측치와는 상이한 값으로 이루어지는 상기 실측치의 수보다 많은 값을 보정하는 보정 단계와, 환경광에 대응하는 광원색을 취득하는 광원색 취득 단계와, 상기 2개의 발광원으로부터 발광시키지 않고 피사체를 촬상하는 발광이 없는 단계 및 상기 2개의 발광원으로부터 발광시키면서 피사체를 촬상하는 발광이 있는 단계를 포함하는 예비 촬상 단계와, 상기 예비 촬상 단계에 있어서 촬상되는 피사체의 촬상 화상에 의거해, 환경광에 의한 광량과 상기 2개의 발광원에 의한 합계 광량의 관계를 나타내는 광량 정보를 취득하는 발광원 광량 취득 단계와, 상기 광원색 취득 단계에 있어서 취득된 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제1 직선을, 상기 2개의 발광원으로부터의 출사광의 색에 대응하는 xy 색도 좌표 상의 2개의 좌표를 연결하는 선분과 소정의 각도로 교차하도록 그은 경우에 있어서의 상기 제1 직선과 상기 선분의 교점과, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보와, 상기 보정 단계에 있어서 보정된 상기 색 정보를 나타내는 값에 의거해, 상기 2개의 발광원으로부터의 출사광의 각 광량이 상기 교점과 일치하거나, 또는, 상기 교점에 가까운 xy 색도 좌표 상의 소정의 점에 대응하도록, 상기 2개의 발광원으로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 단계와, 상기 소정의 점과 상기 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제2 직선상의 1점이며, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 대응하는 1점의 좌표에 관해서 취득된 화이트 밸런스 조정용 보정치에 의거해, 상기 촬상 단계에 있어서 촬상된 화상에 화이트 밸런스 조정을 실시하는 화이트 밸런스 조정 단계를 구비하고 있다.

본 발명에 있어서는, 상기 보정 단계가, 상기 2개의 실측치와 상기 선분 상의 복수의 좌표치를 기억하는 기억 수단의 기억 내용에 의거해, 상기 2개의 실측치에 따라서 상기 좌표치를 보정하는 좌표치 보정 단계를 포함하고 있는 것이 바람직하다.

또 다른 관점에 의하면, 본 발명의 촬상 방법은, 출사광의 색 온도가 서로 상이함과 더불어 서로의 출사광의 광량비를 가변 제어 가능한 2개의 발광 다이오드로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 방법으로서, 환경광에 대응하는 광원색을 취득하는 광원색 취득 단계와, 2개의 발광 다이오드로부터 발광시키지 않고 피사체를 촬상하는 발광이 없는 단계 및 2개의 발광 다이오드로부터 발광시키면서 피사체를 촬상하는 발광이 있는 단계를 포함하는 예비 촬상 단계와, 상기 예비 촬상 단계에 있어서 촬상되는 피사체의 촬상 화상에 의거해, 환경광에 의한 광량과 상기 2개의 발광 다이오드에 의한 합계 광량의 관계를 나타내는 광량 정보를 취득하는 발광원 광량 취득 단계와, 상기 광원색 취득 단계에 있어서 취득된 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제1 직선을, 상기 2개의 발광 다이오드로부터의 출사광의 색에 대응하는 xy 색도 좌표 상의 2개의 좌표를 연결하는 선분과 소정의 각도로 교차하도록 그은 경우에 있어서의 상기 제1 직선과 상기 선분의 교점과, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 의거해, 상기 2개의 발광 다이오드로부터의 출사광의 각 광량이 상기 교점과 일치하거나, 또는, 상기 교점에 가까운 xy 색도 좌표 상의 소정의 점에 대응하도록, 상기 2개의 발광 다이오드로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 단계와, 상기 소정의 점과 상기 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제2 직선상의 1점이며, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 대응하는 1점의 좌표에 관해서 취득된 화이트 밸런스 조정용 보정치에 의거해, 상기 촬상 단계에 있어서 촬상된 화상에 화이트 밸런스 조정을 실시하는 화이트 밸런스 조정 단계를 구비하고 있고, 상기 발광원 광량 취득 단계가, 상기 예비 촬상 단계에 있어서의 촬상 화상으로부터 얻어지는 화상 신호에 의거해, 화상 신호에 있어서의 거리 정보 D(m, n)을, 이하의 수학식 2에 따라서 취득하는 단계와, 거리 정보 D(m, n)에 의거해, 주 피사체에 대응하는 영역을 상기 촬상 화상으로부터 취득하는 단계와, 상기 주 피사체에 대응하는 영역에 관해서 상기 광량 정보를 취득하는 단계를 포함하고 있다.

(수학식 2) D(m, n)=(LV0-LOG₂(Y1(m, n)/Y0(m, n)-1))/2

또한, (m, n)은, 촬상 화상에 있어서의 종방향 및 횡방향에 관한 위치를 나타내고, LV0는, 상기 2개의 발광 다이오드의 합계 플래시광의 광량을 APEX치로 나타내고, Y0(m, n)은, 발광이 없는 단계에 있어서의 촬상 화상으로부터 얻어지는 (m, n)에 있어서의 휘도치를 나타내고, Y1(m, n)은, 발광이 있는 단계에 있어서의 촬상 화상으로부터 얻어지는 (m, n)에 있어서의 휘도치를 나타내고, LOG_x는, 밑 x의 로그이다.

본 발명에 있어서는, 2개의 발광원을 이용함으로써 발광원으로부터의 발광색을 환경광의 광원색에 가깝게 하는 것으로 했다. 이 때문에, 3개의 발광원을 이용하는 경우에 비해, 발광원의 가변 제어나 개체차 조정을 행하기 쉽다.

또 본 발명에서는, 출사광의 색 온도가 상이한 2개의 발광원을 이용하는 것으로 했다. 그리고, xy 색도 좌표에 있어서, 환경광에 대응하는 광원색의 좌표를 지나는 제1 직선을, 2개의 발광원에 대응하는 2개의 좌표를 연결하는 선분과 소정의 각도로 교차하도록 그은 경우에, 2개의 발광원의 혼색 광량을, 제1 직선과 상기 선분의 교점에 의거하여 결정하는 것으로 했다. 이에 의해, 2개의 발광원의 혼색을, 2개의 발광원에 대응하는 2개의 좌표를 연결하는 선분 상의 범위에서 환경광의 광원색에 가깝게 할 수 있도록 했다. 즉, 플래시광을 적어도 색 온도에 관해서 환경광에 가깝게 할 수 있도록 했다.

또한, 본 발명에서는, 피사체의 촬상 화상에 의거해 환경광의 광량과 2개의 발광원에 의한 합계 광량의 관계를 나타내는 광량 정보를 취득한다. 그리고, 이러한 정보에 의거해, 상기 교점에 일치하거나, 또는, 교점에 가까운 선분 상의 1점과 광원색에 대응하는 좌표를 지나는 제2 직선 상의 1점을, 상기 광량 정보에 대응하도록 취득함과 더불어, 취득된 1점에 관해서 화이트 밸런스 조정을 화상에 실시하는 것으로 했다. 따라서, 예를 들면, 피사체 영역으로부터 주 피사체와 배경을 분리한 다음, 필요한 영역에 한정하여 그 영역에 필요한 발광량을 조정할 수 있음과 더불어, 플래시광과 환경광의 광량비에 의거해 화이트 밸런스를 조정할 수 있다.

이상과 같이, 본 발명은, 발광원의 가변 제어를 행하기 쉽게 하면서 플래시광의 색을 환경광에 가깝게 함과 더불어, 플래시광의 색과 환경광의 색이 상이한 경우라도, 필요한 영역에 주목하면서 화이트 밸런스를 적절하게 조정하기 쉽게 되어 있다. 또한, 광량 정보는, 예를 들면, 환경광의 광량에 대한 2개의 발광원의 합계 광량의 비여도 되고, 환경광과 2개의 발광원의 합계 광량에 대한 2개의 발광원의 합계 광량의 비여도 된다. 또, 환경광의 광량과 2개의 발광원의 합계 광량의 각각을 나타내는 정보를 포함하는 것이어도 되고, 환경광과 2개의 발광원의 합계 광량과 2개의 발광원의 합계 광량의 각각을 나타내는 정보를 포함하는 것이어도 된다. 이와 같이, 광량 정보는, 환경광에 의한 광량과 2개의 발광원에 의한 합계 광량의 관계를 나타내는 정보이면, 어떠한 정보여도 된다.

또, 본 발명에 있어서, 2개의 발광원에 관한 적어도 2개의 실측치에 의거해 2개의 발광원으로부터의 출사광에 의한 혼색광의 색 정보를 보정하고 있는 경우에는, 모든 색 정보에 관해서 미리 실측할 필요가 없다. 또, 적어도 2개의 실측치에 따라서 좌표치를 보정하는 경우에는, 미리 모든 좌표치를 실측해둘 필요가 없다.

또, 본 발명에 있어서, 환경광의 광원색의 R성분, G성분 및 B성분을 G성분으로 정규화한 Pe_r, Pe_g 및 Pe_b를 상기 수학식 1에 의거해 산출하는 경우에는, 발광원으로부터의 출사광이 피사체에 반사한 반사광이 촬상 화상에 반영되어 있으면, 환경광에 대응하는 광원색을 취득할 수 있다. 또, 예를 들면, 이 취득 방법을 광원색 취득 단계에서의 다른 산출 방법과 조합하여 이용하는 경우에는, 2개의 방법을 상보적으로 이용함으로써, 보다 정밀도가 높은 광원색 추정이 가능하게 된다.

또, 본 발명에 있어서, 화상 신호에 있어서의 거리 정보 D(m, n)을, 상기 수학식 2에 따라서 취득하는 경우에는, 예비 촬상 단계에 있어서의 촬상 결과로부터 각 화소 위치의 거리 정보를 적절하게 취득함과 더불어, 주 피사체에 주목하여 적절하게 광량 정보를 취득할 수 있다. 따라서, 피사체 영역으로부터 주 피사체와 배경을 분리한 다음, 필요한 영역에 한정하여 그 영역에 필요한 발광량을 조정할 수 있다.

또 다른 관점에 의하면, 본 발명에 따른 상기 방법을 컴퓨터에 실행시키는 프로그램으로서 본 발명이 실현되어도 된다. 이 프로그램은, 플렉시블 디스크 등의 자기 기록 매체, DVD-ROM 등의 광학 기록 매체, 하드 디스크나 USB 메모리 등의 컴퓨터 판독 가능한 기록 장치 등에 기록하여 배포 가능한 외에, 인터넷을 통한 다운로드 등에 의해 배포 가능하다.

본 발명은, 발광원의 제어나 조정을 행하기 쉽게 하면서, 화이트 밸런스를 적절하게 조정하기 쉬운 촬상 방법을 제공할 수 있다.

도 1은, 본 발명의 일 실시형태에 따른 촬상 장치의 구성을 나타내는 기능 블럭도이다.
도 2는, 2개의 LED 발광부로의 공급 전압과 그에 따라 2개의 발광부로부터 피사체에 조사되는 2색의 플래시광에 의한 혼색의 관계를 나타내는 표이다.
도 3a는, 도 2에 나타낸 2색의 플래시광에 의한 혼색의 CIE xy색 좌표도이며, 개체 불균일의 평균 부근에 위치하는 LED 개체의 전형품에 대해 모든 혼색 패턴을 실측한 개체차 조정치의 기준치이다. 도 3b는, 임의의 2개의 LED 개체를 각각 단독 발광시킨 경우에 얻어지는 2개의 실측치와, 도 3a에 나타내는 기준치의 좌표를 선분의 양단의 2점 사이에 좌표 변화한 근사치를 나타내는 CIE xy색 좌표도이다. 도 3b에 있어서, 선분의 양단의 2개의 좌표가 2개의 실측치에 대응하여, 선분 상의 혼색 패턴의 좌표가 근사치에 대응한다.
도 4a는 촬영 씬의 일례이다. 도 4b는, 도 4a에 나타내는 촬영 씬의 촬상 화상을 복수의 블록으로 분할한 경우에 있어서의, 피사체까지의 거리에 관한 블록의 분포를 나타내는 그래프이다.
도 5a 및 도 5b는 환경광의 광원색(Pe), LED 발광부로부터의 발광에 의한 혼색을 나타내는 CIE xy색도 좌표도이다.
도 6은, 2개의 LED 발광부에 있어서의 각 광량과 본 촬영에 필요한 합계 발광량의 관계를 나타내는 그래프이다.
도 7은, 촬상 장치에 의한 촬영 동작에 있어서의 일련의 동작의 흐름을 나타내는 흐름도이다.

본 발명의 일 실시형태에 따른 촬상 장치(1)에 대해서, 도면을 참조하면서 설명한다. 촬상 장치(1)는, 도 1에 나타내는 바와 같이, 촬상 광학계(2), 촬상 소자(3), 촬상 제어부(10), LED 발광부(11 및 12), 사용자 인터페이스부(20), 촬영 조건 기억부(30), 개체차 보정부(40), 및, 화상 처리부(100)를 갖고 있다. 촬상 광학계(2)는, 조리개, 및, 포커스 렌즈를 포함하는 각종의 렌즈를 갖고, 피사체로부터의 광을 촬상 소자(3)로 인도해, 촬상 소자(3)에 있어서 결상시킨다. 촬상 소자(3)는, CMOS(Complementary Metal Oxide Semiconductor) 방식이 채용된 이미지 센서이다. 촬상 소자(3)는, 소정의 배열 방식으로 배열된 컬러 필터와, 각 컬러 필터를 통해서 수광한 광의 강도에 따른 아날로그 신호를 출력하는 광전 변환 소자와, 광전 변환 소자로부터의 아날로그 신호의 이득을 변환하는 이득 변환부와, 그 아날로그 신호를 디지털 신호로 변환하는 AD 변환부를 구비하고 있다. 또한, 촬상 소자(3)로서, CCD(Charge Coupled Device) 방식이 채용된 이미지 센서가 이용되어도 된다. 이 경우, 촬상 소자(3)로부터의 아날로그 신호의 이득을 변환하는 이득 변환부와, 그 아날로그 신호를 디지털 신호로 변환하는 AD 변환부가 별도 설치되면 된다. 컬러 필터의 배열 방식은 어느 것이 채용되어도 되지만, 예를 들면, 베이어(Bayer) 배열 방식이 채용되어도 된다. 베이어 배열은, R(빨강) 및 G(초록)가 횡방향으로 번갈아 늘어선 행과 G(초록) 및 B(파랑)가 횡방향으로 번갈아 늘어선 행이 종방향으로 번갈아 늘어선 배열이다. 촬상 소자(3)는, 컬러 필터의 배열 방식에 따라서 각 화소가 늘어선 화상을 나타내는 화상 신호를 출력한다.

LED 발광부(11 및 12)는 각각 LED 발광 소자(발광 다이오드)로 이루어진다. LED 발광부(11)와 LED 발광부(12)는 서로 색 온도가 상이한 플래시광을 피사체를 향해서 출사한다. LED 발광부(11 및 12)에 설치된 각 LED 발광 소자에는, 전압 공급부로부터 발광량 제어용 전압이 공급된다. 이 공급 전압의 크기가 변경됨으로써, LED 발광부(11 및 12)의 각각으로부터의 발광량이 복수 단계에서 이산적으로 조정된다. 예를 들면, 최대의 발광량으로 발광시킬 때의 공급 전압을 100%로 할 때, 공급 전압을 0%로 함으로써 발광이 없는 것으로 할 수 있고, 공급 전압을 20, 40, 60, 80또는 100%로 함으로써 단계적으로 발광량을 크게 하면서 LED 발광 소자로부터 발광시킬 수 있다. LED 발광부(11 및 12)로부터 출사된 광이 동시에 피사체에 조사됨으로써, 피사체에는, 2개의 발광부로부터의 2색의 플래시광에 의한 혼색의 광이 조사되게 된다. 도 2는, 2개의 발광부로의 공급 전압과, 그에 따라 2개의 발광부로부터 피사체에 조사되는 2색의 플래시광에 의한 혼색의 관계를 나타내고 있다. 도 2의 예에 의하면, 2개의 발광부의 각각에 있어서 발광량을 6단계로 변경할 수 있으므로, 합계로 36패턴의 혼색이 실현 가능하다.

촬상 광학계(2), 촬상 소자(3) 및 LED 발광부(11 및 12)는, 후술하는 바와 같이 촬상 제어부(10)에 의해서 제어됨으로써, 피사체를 촬상하는 촬영 동작을 실행한다. 촬영 동작의 모드에는, LED 발광부(11 및 12)로부터의 발광 없음(플래시 없음)으로 피사체를 촬상하는 모드와, LED 발광부(11 및 12)로부터의 발광 있음(플래시 있음)으로 피사체를 촬상하는 모드가 있다. 이하에 있어서는, 주로, 후자의 플래시가 있는 촬상에 관한 구성을 설명한다. 플래시가 있는 촬영 동작은, 최종 출력용 촬상 화상을 취득하기 위한 본 촬영 동작과, 본 촬영의 촬영 조건을 취득하기 위한 예비 촬영 동작을 포함한다. 예비 촬영 동작에서는, LED 발광부(11 및 12)로부터의 발광 없음으로 피사체가 촬영된 후, LED 발광부(11 및 12)로부터의 플래시광이 조사되면서 피사체가 촬영된다. 이하, 예비 촬영 동작에 있어서의 플래시광의 발광을 「예비 발광」이라고 한다.

사용자 인터페이스부(20)는, 터치 패널을 갖는 디스플레이나 각종 버튼 스위치 등을 갖고 있다. 사용자는, 디스플레이에 표시된 정보에 따라서 터치 패널이나 버튼 스위치 등을 조작한다. 사용자에 의한 조작 내용을 나타내는 신호는, 촬상 제어부(10)나 화상 처리부(100)로 송신된다.

촬영 조건 기억부(30)는, LED 발광부(11 및 12), 촬상 광학계(2) 및 촬상 소자(3)를 제어하기 위해서 필요한 제어 정보를 기억하고 있다. 이하에 있어서, 주로, LED 발광부(11 및 12)를 제어하기 위해서 촬영 조건 기억부(30)가 기억하고 있는 정보(이하, 「발광부 제어 정보」라고 한다)에 대해서 설명한다. 발광부 제어 정보는 예비 촬영 동작에 있어서의 제어 정보 A와, 본 촬영 동작에 있어서의 제어 정보 B를 포함하고 있다. 예비 촬영 동작에 있어서의 제어 정보 A는, LED 발광부(11 및 12)로의 각 공급 전류를 나타내는 정보를 포함하고 있음과 더불어, LED 발광부(11 및 12)의 합계 플래시광의 광량 LV0(APEX치), LED 발광부(11 및 12)의 합계 플래시광의 혼색의 CIE xy색 좌표, 및, LED 발광부(11 및 12)의 합계 플래시광의 혼색의 RGB 색 성분비를 나타내는 정보를, LED 발광부(11 및 12)로의 각 공급 전류와 관련지으면서 포함하고 있다. 본 촬영 동작에 있어서의 제어 정보 B는, LED 발광부(11 및 12)로의 각 공급 전류를 나타내는 정보를 포함하고 있음과 더불어, LED 발광부(11 및 12)의 합계 플래시광의 광량 LV1(APEX치), LED 발광부(11 및 12)의 합계 플래시광의 혼색의 CIE xy색 좌표(이하, 단순히 「색도 좌표」라고 한다), 및, LED 발광부(11 및 12)의 합계 플래시광의 혼색의 RGB 색 성분비를 나타내는 정보를, LED 발광부(11 및 12)로의 각 공급 전류와 관련지으면서 포함하고 있다.

또, 발광부 제어 정보의 색도 좌표는, LED 발광 소자의 전형품으로서, 불균일의 평균에 위치하는 한 제품에 관해서 측정된 것이다. 도 3a는, 이러한 전형품의 색도 좌표점 p1~p5를 나타내고 있다. 점 p1~p5는, 점 p1 및 p5를 연결하는 거의 선분 L1 상에 분포하고 있다. 도 3a의 점 p1은, LED 발광부(11)만을 발광시킨 경우에 피사체에 조사되는 광의 색에 대응하고 있다. 즉, 점 p1은, LED 발광부(11)의 발광색 그 자체를 나타내고 있다. 점 p5는, LED 발광부(12)만을 발광시킨 경우에 피사체에 조사되는 광의 색에 대응하고 있다. 즉, 점 p5는, LED 발광부(12)의 발광색 그 자체를 나타내고 있다. 점 p2~p4는, LED 발광부(11 및 12)의 양방을, 이들로부터 출사되는 플래시 광량을 다양하게 변경하면서 발광시켰을 때에 있어서의, 피사체에 조사되는 2색의 플래시광에 의한 혼색을 나타내고 있다. LED 발광부(11)로부터의 출사광의 광량에 대한 LED 발광부(12)로부터의 출사광의 광량의 비는, 점 p1로부터 떨어진 위치의 점일수록 커진다. 또한, 도 2의 표에는 36패턴의 혼색이 포함된다. 이 때문에, 색도 좌표 상에는 36개의 점이 나타난다. 이들 점은, 모두 거의 선분 L1 상에 분포하게 된다. 도 3a는 간단함을 위해, 36개 중, 점 p1~p5의 5개만을 나타내고 있다.

개체차 보정부(40)는, 촬영 조건 기억부(30)에 기억된 발광부 제어 정보의 일부에 대해, LED 발광부(11 및 12)의 개체차에 기인하는 어긋남을 억제하기 위한 보정을 실시한다. 보정 대상이 되는 정보는, 상기한 바와 같이, 한 전형품에 관해서 측정된 정보이다. 상기 한 전형품과는 상이한 LED 발광 소자는, 상기한 제품의 특성과 상이한 특성을 갖고 있는(개체차가 있는) 경우가 있다. 그래서, 개체차 보정부(40)는, 자기(自機)에 탑재된 LED 발광 소자의 특성을 나타내는 특성치를 기억하고 있는 특성치 기억부(42)와, 이 특성치에 의거해 촬영 조건 기억부(30)의 기억 정보를 보정하는 정보 보정부(41)를 구비하고 있다. 특성치 기억부(42)가 특성치로서 기억하고 있는 것은, LED 발광부(11)의 발광색을 나타내는 색도 좌표 상의 좌표치와 LED 발광부(12)의 발광색을 나타내는 색도 좌표 상의 좌표치이다. 이들 좌표치는, 촬상 장치(1)의 제조 공정에 있어서 제품마다 실측되고, 특성치 기억부(42)(EEPROM 등)에 기입되어 있다. 따라서, 이들 좌표치는, 보정 전의 발광부 제어 정보보다도, 그 제품에 탑재된 LED 발광 소자의 특성치를 정확하게 반영하고 있다. 도 3b의 점 q1 및 q2는, 특성치 기억부(42)(EEPROM 등)에 기입된 특성치의 일례에 대응한다. 도 3b에 나타내는 바와 같이, 보정 전의 발광부 제어 정보가 나타내는 점 p1 및 점 p5는, 실측에 의해서 취득된 점 q1 및 q2로부터 어긋나 있다. 따라서, 점 p1 및 점 p5 사이에 위치하는 점 p2~p4 등의 다른 점에 대해서도 마찬가지로, 실제의 값으로부터 어긋나 있는 것이라고 추측된다.

정보 보정부(41)는, 특성치 기억부(42)(EEPROM 등)에 기입된 특성치에 의거해, 촬영 조건 기억부(30)에 기억된 좌표치에 대응하는 점 p1~p5를 포함하는 36개의 점을, 예를 들면 아핀 변환 등의 좌표 변화 처리에 의해서, 변환 후의 점 p1' 및 점 p5'가 점 q1 및 q2에 거의 일치하도록, 점 p1'~p5'를 포함하는 36개의 새로운 점으로 변환한다. 변환 후의 36개의 점은, 점 p1' 및 점 p5'를 연결하는 선분 L1' 상에 거의 분포하게 된다. 예를 들면 아핀 변환에서는, 좌표의 확대·축소, 회전, 평행 이동을 행한다. 변환 후의 좌표치는, 보정 후의 발광부 제어 정보로서, 촬영 조건 기억부(30)에 기억된다. 촬영 조건 기억부(30)에 기억된 이들 보정 후의 발광부 제어 정보는, 화상 처리부(100) 및 촬상 제어부(10)에 의해서 사용된다. 또한, 개체차 보정부(40)에 의한 보정 처리는, 촬상 장치(1)의 전원 투입시 등, 촬영 동작에 앞서 행해진다.

화상 처리부(100)는, 촬상 소자(3)로부터 출력된 디지털 화상 신호에 소정의 신호 처리를 실시함으로써, 피사체 상에 대응하는 화상 데이터를 생성한다. 화상 처리부(100)가 생성한 화상 데이터는, 화상을 표시하는 디스플레이에, 표시해야 할 화상에 관련된 화상 신호로서 출력되거나, 컴퓨터 판독 가능한 기록 매체로 출력되거나 한다.

촬상 제어부(10)는, 촬상 광학계(2)의 셔터나 조리개의 구동을 제어함으로써 노출을 조정하거나, 촬상 광학계(2)의 포커스 렌즈의 구동을 제어함으로써 초점 맞춤을 행하거나, 촬상 소자(3)의 감도나 구동을 제어하거나 한다. 또한, 촬상 제어부(10)는, LED 발광부(11 및 12)로부터의 플래시 광량을 제어하거나 한다. 이와 같은 제어에 필요한 조리개나 셔터 스피드, 감도, 가이드 넘버 등의 각종의 조건치는, 화상 처리부(100)에 있어서 연산된 결과에 의거해 촬상 제어부(10)가 연산한다.

촬상 제어부(10)는, 상기 제어를 적절하게 조합함으로써, 촬상 광학계(2), 촬상 소자(3) 및 LED 발광부(11 및 12)에 피사체를 촬영하는 촬영 동작을 실행시킨다. 촬상 제어부(10)는, 화상 처리부(100)가 연산한 예비 촬영 동작용 촬영 조건치에 의거해, 촬상 광학계(2), 촬상 소자(3) 및 LED 발광부(11 및 12)에 예비 촬영 동작을 실행시킨다. 예비 촬영 동작 후에, 촬상 제어부(10)는, 촬상 광학계(2), 촬상 소자(3) 및 LED 발광부(11 및 12)에 본 촬영 동작을 실행시킨다. 촬상 제어부(10)는, 화상 처리부(100)가 연산한 제어치 등에 의거해 LED 발광부(11 및 12) 등에 본 촬영 동작을 실행시킨다.

촬상 제어부(10), 촬영 조건 기억부(30), 개체차 보정부(40), 사용자 인터페이스부(20) 및 화상 처리부(100)의 기능은, CPU, 메모리 등의 기억용 디바이스, 각종 인터페이스 등으로 이루어지는 하드웨어와, 기억부에 기억된 프로그램 데이터 등의 각종 데이터로 이루어지는 소프트웨어가 서로 협동함으로써 실현되고 있다.

또, 촬상 제어부(10), 촬영 조건 기억부(30), 개체차 보정부(40), 사용자 인터페이스부(20) 및 화상 처리부(100)의 기능은, 이와 같은 하드웨어 및 소프트웨어의 협동에 의한 기능에 ASIC 등의 전용 회로의 기능이 조합됨으로써 실현되어도 된다.

이하, 화상 처리부(100)에 대해서 보다 상세하게 설명한다. 이하의 설명은 주로, LED 발광부(11 및 12)의 제어치를 연산하거나, 화상에 보정을 실시하거나 하는 처리에 관련된다. 화상 처리부(100)는, 그 외의 제어치를 연산하거나 그 외의 처리를 화상에 실시하거나 해도 된다. 화상 처리부(100)는, 발광량 취득부(101), 광원 취득부(102), 제어치 취득부(103), 보정계수 취득부(104) 및 화상 보정부(105)를 갖고 있다.

발광량 취득부(101)는, 본 촬영시에 필요한 LED 발광부(11 및 12)의 합계 발광량을 산출한다. 발광량 취득부(101)는, 예비 발광 없음으로 피사체가 촬영되었을 때에 촬상 소자(3)로부터 출력되는 디지털 화상 신호로부터 휘도 신호를 산출함과 더불어, 예비 발광 있음으로 피사체가 촬영되었을 때에 촬상 소자(3)로부터 출력되는 디지털 화상 신호로부터 휘도 신호를 산출한다. 그리고, 발광량 취득부(101)는, 예비 발광이 없을 때의 휘도 신호와 예비 발광이 있을 때의 휘도 신호의 차를 분석해, 그 분기 결과에 의거해, 본 촬영시에 필요한 LED 발광부(11 및 12)의 합계 발광량을 산출한다.

광원 취득부(102)는, 촬상 소자(3)로부터의 디지털 화상 신호에 의거해, 제1의 환경광의 광원색을 추정 산출한다. 본 실시형태에서는, 촬상 장치(1)의 전원이 투입되어 장치가 기동하면, 장치의 동작 모드가, 플래시 없음으로 피사체의 동화상에 대응하는 디지털 화상 신호가 촬상 소자(3)로부터 출력되는 모드로 이행한다. 동화상에 대응하는 디지털 화상 신호는, 정지 화상에 대응하는 화상 신호를 1프레임으로 할 때, 소정의 시간 간격으로 촬상 소자(3)로부터 연속적으로 출력된 복수의 프레임을 포함하고 있다. 광원 취득부(102)는, 1프레임마다, 피사체에 있어서의 흰색으로 추정되는 영역에 관한 RGB 화소 신호의 평균치를, 환경광의 추정치로서 산출한다. 또한, 광원 취득부(102)가, 1프레임의 화상 신호에 의거해, 피사체에 있어서의 반사광 중, 경면 반사광의 성분과 확산 반사광을 분리함과 더불어, 경면 반사광에 대응하는 신호 성분으로부터 환경광의 광원색을 추정해도 된다. 광원 취득부(102)는, 이와 같이 추정 산출한 제1의 환경광의 광원색을, 제어치 취득부(103)로 출력한다. 또한, 제1의 환경광의 광원색은, 플래시 없음으로 촬영이 행해지는 경우에 있어서, 화이트 밸런스 계수 및 색 재현 계수를 산출할 때에 이용된다. 이에 대해서는 설명을 생략한다.

또, 광원 취득부(102)는, 예비 촬영 동작에 있어서의 예비 발광이 있을 때의 디지털 화상 신호와 예비 촬영 동작에 있어서의 예비 발광이 없을 때의 디지털 화상 신호에 의거해, 이하와 같이, 제2의 환경광의 광원색을 산출한다.

광원 취득부(102)는, 우선, 예비 발광 없음으로 피사체가 촬영되었을 때에 촬상 소자(3)로부터 출력되는 디지털 화상 신호에 의거해, 휘도 분포 정보 Y0(m, n)을 생성한다. (m, n)은, 화상 내를 수평 방향과 수직 방향의 각각에 대해서 소정 화소수로 이루어지는 블록으로 분할한 경우에 있어서, 수평 방향으로 m번째, 수직 방향으로 n번째의 블록(이하, 「블록 (m, n)」이라고 한다)을 나타낸다. 이와 같이, 화상을 복수 화소로 이루어지는 블록으로 분할하고, 각 블록에 관해 연산함으로써, 각 화소에 관해서 연산하는 경우에 비해 연산량이 감소한다. 또한, 화소마다 연산이 이루어져도 된다. Y0(m, n)은, 예비 발광 없음으로 피사체가 촬영되었을 때의 블록 (m, n)의 휘도치를 나타낸다. 또, 광원 취득부(102)는, 예비 발광 없음으로 피사체가 촬영되었을 때에 촬상 소자(3)로부터 출력되는 디지털 화상 신호에 의거해, 색 분포 정보 C0_r(m, n), C0_g(m, n) 및 C0_b(m, n)을 생성한다. 이들은, 블록 (m, n) 내에 포함되는 화소에 있어서의 R신호, G신호 및 B신호의 각 평균치에 대응한다. 또한, 평균치가 아니라, 블록 (m, n) 내의 화소치의 적산치나 이들 화소치 중 어느 것이어도 된다.

다음에, 광원 취득부(102)는, 예비 촬영 동작에 있어서, 예비 발광 있음으로 피사체가 촬영되었을 때에 촬상 소자(3)로부터 출력되는 디지털 화상 신호에 의거해, 휘도 분포 정보 Y1(m, n)을 생성한다. Y1(m, n)은, 예비 발광 있음으로 피사체가 촬영되었을 때의 블록 (m, n)의 휘도치를 나타낸다. 또, 광원 취득부(102)는, 예비 발광 있음으로 피사체가 촬영되었을 때에 촬상 소자(3)로부터 출력되는 디지털 화상 신호에 의거해, 색 분포 정보 C1_r(m, n), C1_g(m, n) 및 C1_b(m, n)을 생성한다. 이들은, 블록 (m, n) 내에 포함되는 화소에 있어서의 R신호, G신호 및 B신호의 각 평균치에 대응한다. 또한, 평균치가 아니라, 블록 (m, n) 내의 화소치의 적산치나 이들 화소치 중 어느 것이어도 된다.

다음에, 광원 취득부(102)는, Y1과 Y0의 차분(=Y1(m, n)-Y0(m, n))의 크기로부터, 각 블록에 있어서의 광원 평가상의 신뢰도를 나타내는 웨이트 분포 Wt(m, n)을 취득한다. Wt(m, n)은, Y1과 Y0의 차분의 크기에 따라서 단조롭게 증대하는 값으로 설정된다. 예를 들면, Wt(m, n)은, Y1과 Y0의 차분의 크기에 따라서 복수 단계로 커지는 값을 취해도 되고, Y1과 Y0의 차분과 1개의 역치의 대소 관계에 따라 2치 중 어느 것을 취해도 된다. Y1과 Y0의 차분은, LED 발광부(11 및 12)에 의한 플래시광의 반사량에 대응한 크기가 된다. 따라서, Wt(m, n)은, 플래시광의 반사량의 크기에 따른 값을 받게 된다.

다음에, 광원 취득부(102)는, 각 블록에 관해서 이하의 수학식에 대응하는 연산을 행함으로써 색 분포 정보를 G신호에 관해서 정규화한다. 이에 의해서, 광원 취득부(102)는, 블록 (m, n)에 관한 색 성분비 P0_r(m, n), P0_g(m, n) 및 P0_b(m, n), 및, 색 성분비 P1_r(m, n), P1_g(m, n) 및 P1_b(m, n)을 취득한다.

P0_i(m, n)=C0_i(m, n)/C0_g(m, n)(i=r, g 및 b의 각각에 관한 것임)

P1_i(m, n)=(C1_i(m, n)-C0_i(m, n))/(C1_g(m, n)-C0_g(m, n))(i=r, g 및 b의 각각에 관한 것임)

다음에, 광원 취득부(102)는, 이하의 수학식에 대응하는 연산을 행함으로써, 플래시광에 관련된 색 성분비 P2_r, P2_g 및 P2_b를 취득한다. 또한, F_r, F_b 및 F_g는, 예비 발광시에 LED 발광부(11 및 12)로부터 출사되는 양방의 플래시광에 의한 혼색의 R성분, G성분 및 B성분이다. 이들 값은, 촬영 조건 기억부(30)에 기억된 발광부 제어 정보 A로부터 취득된다. 또한, F_r, F_b 및 F_g는, 미리 G성분에 관해서 정규화되어 있다. 즉, F_g=1이다.

P2_i=F_i(i=r, g 및 b의 각각에 관한 것임)

다음에, 광원 취득부(102)는, 상기한 바와 같이 취득된 색 성분비에 의거해, 각 블록에 관해서 이하의 수학식에 대응하는 연산을 행함으로써, 블록 (m, n)에 관한 환경광의 색을 나타내는 색 성분비 Pe_r(m, n), Pe_g(m, n) 및 Pe_b(m, n)을 취득한다.

Pe_i(m, n)=P0_i(m, n)*P2_i/P1_i(m, n)(i=r, g 및 b의 각각에 관한 것임)

다음에, 광원 취득부(102)는, 웨이트 Wt(m, n)을 이용하여 Pe_i(m, n)의 하중 평균치 <Pe_r>, <Pe_g> 및 <Pe_b>를 이하와 같이 산출한다. 또한, ∑X는, X를 모든 블록 (m, n)에 관해서 모두 더하는 것을 의미한다.

<Pe_r>=∑(Pe_r(m, n)*Wt(m, n))/∑Wt(m, n)

<Pe_g>=∑(Pe_g(m, n)*Wt(m, n))/∑Wt(m, n)

<Pe_b>=∑(Pe_b(m, n)*Wt(m, n))/∑Wt(m, n)

또한, 이상과 같은 연산은, G성분을 기준으로 하여 정규화되어 있다. 따라서, P0_g, P1_g, P2_g 및 <Pe_g>의 어느 값도 1이다. 따라서, 이들 G성분의 요소가 최초부터 모두 1로 설정됨과 더불어, R성분 및 B성분에 관해서만, 연산이 이루어져도 된다.

광원 취득부(102)는, 이와 같이 하여, 제2의 환경광의 광원색을 나타내는 <Pe_r>, <Pe_g> 및 <Pe_b>를 취득한다. 이들 값은, 각 블록의 신뢰도를 나타내는 웨이트 Wt(m, n)을 이용한 가중 평균으로부터 취득된다. 이 때문에, 플래시광의 반사량이 크게 신뢰도가 높은 블록에 있어서의 색 성분비가, 플래시광의 반사량이 작고 신뢰도가 낮은 블록에 있어서의 색 성분비에 비해 산출 결과에 반영되기 쉽다. 따라서, 환경광의 광원색이 적절하게 산출되기 쉽다. 또한, 제2의 환경광의 광원색을 이상과 같이 산출할 수 있는 이유에 대해서는 후술한다. 광원 취득부(102)는 <Pe_r>, <Pe_g> 및 <Pe_b>를 제어치 취득부(103)로 출력한다.

제어치 취득부(103)는, 예비 촬영 동작에 있어서 촬상 소자(3)로부터 출력되는 디지털 화상 신호에 의거해, 본 촬영 동작에 있어서 사용되는 각종의 조건치를, 이하와 같이 연산한다.

우선, 제어치 취득부(103)는, 예비 촬영 동작에 있어서 피사체가 촬영되었을 때의 디지털 화상 신호에 의거해, 화상 내의 각 위치에 관한 촬상 장치(1)로부터의 거리 정보를 취득한다. 예를 들면, 이 거리 정보는, 화상 내의 각 위치에 관한 휘도에 관한, 예비 발광이 있는 것과 예비 발광이 없는 것 사이의 차에 의거해 취득된다. 제어치 취득부(103)는, 일례로서, 광원 취득부(102)가 취득한 Y0(m, n) 및 Y1(m, n)으로부터, 블록 (m, n)에 있어서의 거리 정보 D(m, n)을 이하와 같이 연산한다. LV0는, 촬영 조건 기억부(30)의 발광부 제어 정보 A로부터 취득된다. logx는, 밑 x의 로그이다.

D(m, n)=(LV0-LOG2(Y1(m, n)/Y0(m, n)-1))/2

다음에, 제어치 취득부(103)는, D(m, n)과 사용자 인터페이스부(20)를 통한 사용자 입력에 의거해, 화상 영역을 주 피사체에 대응하는 영역과 그 이외의 영역으로 분리한다. 제어치 취득부(103)는, D(m, n)에 의거해, 거리에 관한 블록의 분포 정보를 생성한다. 예를 들면, 도 4a의 촬영 씬에 관해서 도 4b의 분포 정보가 생성된 것으로 한다. 도 4b에 나타내는 바와 같이, 블록의 분포에는 복수의 피크가 표시된다. 이들 복수의 피크 중, 거리가 가장 큰 곳에 표시된 피크와, 거리가 다음으로 큰 곳에 표시된 피크 사이의 거리 정보치 d를 경계로 했을 때, D(k1, l1)가 거리 정보치 d보다 큰 블록(k1, l1)은 배경 영역에 속한다고 파악된다. 또, D(k2, l2)가 거리 정보치 d 이하의 피크에 상당하는 블록(k2, l2)은, 도 4a의 B1~B3에 나타내는 피사체의 영역에 속한다고 파악된다. 피사체 B1~B3 중 어느 하나는, 사용자가 가장 중요한 촬영 대상으로서 의도한 피사체(이하, 「주 피사체」라고 한다)이다. 여기서, 제어치 취득부(103)는, 도 4a의 화상을 디스플레이에 표시함과 더불어, 주 피사체가 어느 것인지를 사용자에게 선택시키도록, 사용자 인터페이스부(20)에 지시한다. 이 때, 제어치 취득부(103)는, D(m, n)과 도 4b에 나타내는 분포 정보로부터, 화상 내의 각 블록이 피사체 B1~B3 및 배경의 어느 영역에 속하는지를 나타내는 정보를 생성한다. 그리고, 제어치 취득부(103)는, 상기 정보에 의거해 피사체의 선택 상황을 사용자에게 지시하는 지시 화상(예를 들면, 도 4a의 화살표 C)을 디스플레이에 표시하도록, 사용자 인터페이스부(20)에 지시한다. 사용자는, 디스플레이에 표시된 지시 화상을 참조하면서, 버튼 등을 통해, 스스로가 주 피사체라고 정하는 것을 피사체 B1~B3로부터 선택한다. 제어치 취득부(103)는, 사용자에 의한 선택 결과에 의거해, 각 블록을 주 피사체의 영역에 속하는 것과 주 피사체의 영역 외에 속하는 것으로 분별한다. 또한, 제어치 취득부(103)가, 사용자 입력에 상관없이, 거리 정보 D(m, n)에 의거해 주 피사체 영역을 자동으로 분별해도 된다. 예를 들면, 피사체 B1~B3 중, 가장 가까운 것을 주 피사체로서 선택해도 된다.

다음에, 제어치 취득부(103)는, 상기한 바와 같이 주 피사체의 영역을 그 밖의 영역으로부터 분리한 결과와 블록에 관한 휘도 분포 정보에 의거해, 이하와 같이 환경광 및 플래시광 전체 광량에 대한 플래시 광량의 비(이하, 「플래시 광량비」라고 한다)를 연산한다. 우선, 제어치 취득부(103)는, 주 피사체 영역과 그 이외의 영역에서 각각 웨이트 α,β를 취하는 웨이트 분포 Wc(m, n)을 생성한다. 웨이트 α 및 β는, 주 피사체 영역에 있어서의 환경광 및 플래시광의 밸런스를 그 이외의 영역에 대해 중시하는지 아닌지 등의 기준에 따라 α와 β의 상대적인 대소 관계를 조정함으로써 결정된다.

또, 제어치 취득부(103)는, Y0(m, n) 및 Y1(m, n)으로부터, 플래시 광량비의 산출 기준이 되는 블록 (m, n)에 관한 기준치 r(m, n)을 이하와 같이 산출한다. LV0 및 LV1은, 촬영 조건 기억부(30)로부터 취득된다.

r(m, n)=log2[(Y1(m, n)-Y0(m, n))/Y0(m, n)]+(LV1-LV0)

그리고, 제어치 취득부(103)는, 플래시 광량비 R(광량 정보)를 이하와 같이 산출한다. 플래시 광량비 R은, 본 촬영에 필요한 전체 광량(환경광과 플래시광의 합성광의 광량)에 대한 플래시 광량의 비를 나타낸다.

R=(A/(A+1))

A=2＾(∑(r(m, n)*Wc(m, n))/Wc(m, n))

다음에, 제어치 취득부(103)는, 플래시 광량비 R과, 광원 취득부(102)가 취득한 환경광의 색과, 촬영 조건 기억부(30)의 기억 내용에 의거해, 본 촬영 동작시에 있어서의 환경광과 플래시광의 합성광의 색을 이하와 같이 산출한다. 여기서 말하는 촬영 조건 기억부(30)의 기억 내용이란, 구체적으로는, 개체차 보정부(40)가 보정한 후의 혼색의 좌표에 관한 정보(도 3b의 점 p1'~p5'의 좌표를 포함하는 정보)이다.

우선, 제어치 취득부(103)는, 광원 취득부(102)가 산출한 제1의 환경광의 광원색과 제2의 환경광의 광원색 중 어느 하나를 선택한다. 상술한 제1의 환경광의 광원색의 추정 방법에 의하면, 피사체에 있어서 흰색 영역이 비교적 작은 경우나, 피사체로부터의 반사광에 포함되는 경면 반사광의 성분이 비교적 작은 경우에는, 광원색을 적절하게 취득할 수 없을 우려가 있다. 그래서, 제어치 취득부(103)는, 피사체에 있어서 흰색 영역이 비교적 작은 경우나, 피사체로부터의 반사광에 포함되는 경면 반사광의 성분이 비교적 작은 경우에는, 제2의 환경광의 광원색을 선택한다. 한편, 제어치 취득부(103)는, 피사체에 있어서 흰색 영역이 비교적 큰 경우나, 피사체로부터의 반사광에 포함되는 경면 반사광의 성분이 비교적 큰 경우에는, 제1의 환경광의 광원색을 선택한다. 피사체에 있어서 흰색 영역이 비교적 작은지 아닌지나, 피사체로부터의 반사광에 포함되는 경면 반사광의 성분이 비교적 작은지 아닌지는, 흰색 영역의 면적이나 경면 반사광과 소정의 역치의 비교에 의해서 판정되어도 된다. 이하, 제1 및 제2의 환경광의 광원색 중, 선택된 광원색의 색 성분비를 Pr, Pg 및 Pb로 한다. 제1의 환경광의 광원색이 선택된 경우, Pr, Pg 및 Pb는, 제1의 환경광의 광원색에 있어서의 R성분, G성분 및 B성분을 G성분으로 정규화한 값이 된다. 제2의 환경광의 광원색이 선택된 경우, Pr=<Pe_r>, Pg=<Pe_g>, Pb=<Pe_b>가 된다.

제어치 취득부(103)는, 도 5a에 나타내는 색도 좌표에 있어서의 좌표 q3을 산출한다. 좌표 q3은, LED 발광부(11)의 발광색에 대응하는 좌표 p1'와 LED 발광부(12)의 발광색에 대응하는 좌표 p5'를 연결하는 선분 L1'와, 상기 선분 L1'와 직교하고 또한 환경광의 색에 대응하는 좌표 Pe를 지나는 직선 L2를 그은 경우에, 선분 L1'와 직선 L2의 교점의 좌표에 상당한다. 따라서, 좌표 q3은, 선분 L1' 상의 점 중에서, 좌표 Pe로부터 가장 가까운 점에 해당하게 된다. 좌표 Pe는, Pr, Pg 및 Pb가 나타내는 색에 대응한다.

다음에, 제어치 취득부(103)는, LED 발광부(11 및 12)의 발광색에 의한 혼색에 대응하는 선분 L1' 상의 36개의 점(개체차 보정부(40)에 의한 보정 후의 점) 중, 색도 좌표 상, 좌표 q3에 가까운 점 중에서, 본 촬영시의 플래시 광량에 가까운 것을 추출한다. 36개의 점은 선분 L1' 상에서 이산적으로 배치하고 있기 때문에, 반드시 좌표 q3과 일치한다고는 할 수 없기 때문이다. 또한, 36개의 점 중에서 좌표 q3에 일치하는 것이 있으면, 좌표 q3에 일치하는 그 점이 추출되어도 된다. 도 5a의 예에서는, 점 ps'가 추출된다. 점 ps'의 추출 방법은, 이하와 같이, 2개의 단계를 포함하고 있다. 우선, 제1 추출 단계로서, 발광량 취득부(101)가 취득한 본 촬영시에 필요한 발광량에 의거해, 36개의 점 중, 본 촬영시의 플래시 광량에 가까운 복수의 점이 추출된다. 도 6은, 한 추출예를 나타낸다. 도 6의 횡축 X는 LED 발광부(11)로의 공급 전압이 0, 20, 40, 60, 80 및 100%일 때의 LED 발광부(11)의 발광량 Fa, Fb, Fc, Fd 및 Fe를 나타낸다. 도 6의 종축 Y는 LED 발광부(12)로의 공급 전압이 0, 20, 40, 60, 80 및 100%일 때의 LED 발광부(12)의 발광량 Ff, Fg, Fh, Fi 및 Fj를 나타낸다. 파선은, X=Fa, X=Fb, X=Fc, X=Fd, X=Fe, Y=Ff, Y=Fg, Y=Fh, Y=Fi, 및, Y=Fj의 각 직선을 나타낸다. 도 6의 곡선은, 본 촬영에 필요한 합계 발광량과, LED 발광부(11 및 12)의 각각에 있어서의 발광량의 관계를 나타낸다. 이 때, 제어치 취득부(103)는, 파선 및 좌표축으로 이루어지는 격자 상의 격자점이며, 곡선보다도 +Y측에 위치하는 점 중, 곡선에 가장 가까운 점을, X=0, Fa, Fb, Fc, Fd 및 Fe의 각각에 대해서 추출한다. 도 6에 나타내는 6개의 검은 점은, 추출된 점을 나타낸다. 제2 추출 단계로서, 제1 추출 단계에서 추출된 복수의 점 중에서, 색도 좌표 상에 있어서 좌표 q3에 대응하는 발광량의 비에 가장 가까운 것이, 점 ps'에 대응하는 발광량의 비를 나타내는 점으로서 추출된다. 예를 들면, 도 6에 나타내는 6개의 점 중, 좌표 q3에 대응하는 발광량의 비에 가장 가까운 1개의 점이 추출된다.

이와 같이 하여 추출된 점 ps'는, 도 2에 나타내는 36개의 혼색 중 어느 1색을 나타낸다. 따라서, LED 발광부(11 및 12)에 있어서의 각 발광량이 ps'에 대응하는 것으로 결정한다. 이와 같이, LED 발광부(11 및 12)에 있어서의 각 발광량을 결정하는 점 ps'를 추출하는 것이, 본 발명에 있어서의 「제1 직선과 선분의 교점에 가까운 xy 색도 좌표 상의 소정의 점」을 취득하는 것에 대응한다.

촬상 제어부(10)는, 본 촬영 동작에 있어서, 제어치 취득부(103)가 취득한 점 ps'에 대응하는 발광량으로 발광하도록 LED 발광부(11 및 12)를 제어한다. 구체적으로는, 촬상 제어부(10)는, 점 ps'에 대응하는 발광량이 되는 전압을 LED 발광부(11 및 12)에 각각 공급하도록 전압 공급부를 제어한다.

또한, 제어치 취득부(103)는, 본 촬영시에 있어서의 플래시광 및 환경광의 합성광(촬영광)의 색을 나타내는 좌표 t를 취득한다. 좌표 t는, 점 Ps' 및 점 Pe의 양방을 지나는 직선 L2' 상의 좌표이며, P4'-Pe간의 거리:t-Pe간의 거리가 1:R이 되는 좌표이다.

보정계수 취득부(104)는, 제어치 취득부(103)가 산출한 좌표 t에 의거해, 본 촬영에 있어서 취득되는 디지털 화상 신호를 보정하기 위한 화이트 밸런스 계수 및 색 재현 매트릭스를 이하와 같이 취득한다. 화이트 밸런스 계수는 3개의 실수치로 이루어진다. 3개의 실수치는, 화상 데이터의 각 화소에 있어서의 R신호, G신호 및 B신호에 각각 곱해진다. 색 재현 매트릭스는, 화상 데이터의 각 화소에 있어서의 R신호, G신호 및 B신호의 3요소로 이루어지는 벡터에 곱하는 3행 3열로 이루어지는 행렬이다. 보정계수 취득부(104)는, 복수 종류의 기준 광원의 광원색과 관련지어, 화이트 밸런스 계수의 기준치 및 색 재현 매트릭스의 기준치를 유지하고 있다. 보정계수 취득부(104)는, 좌표 t에 대응하는 색과 가까운 광원색의 기준 광원을 복수 추출한다. 그리고, 보정계수 취득부(104)는, 추출한 복수의 기준 광원에 관련지어 유지하고 있는 복수의 기준치에, 추출한 기준 광원의 광원색과 좌표 t에 대응하는 색의 차에 따른 보간 연산을 실시함으로써, 디지털 화상 신호를 보정하기 위한 화이트 밸런스 계수 및 색 재현 매트릭스를 취득한다.

다음에, 화상 보정부(105)는, 보정계수 취득부(104)가 좌표 t에 관해서 취득한 화이트 밸런스 계수 및 색 재현 매트릭스에 의거해, 본 촬영시에 촬상 소자(3)로부터 출력된 디지털 화상 신호에 화이트 밸런스 보정 처리 및 색 재현 처리를 실시한다. 구체적으로는, 본 촬영시에 촬상 소자(3)로부터 출력된 디지털 화상 신호에 포함되는 각 화소의 R신호, G신호 및 B신호에 화이트 밸런스 계수 및 색 재현 매트릭스를 곱한다. 본 촬영 동작에 있어서는, 상기한 바와 같이, 촬상 제어부(10)가, 점 ps'에 대응하는 광량으로 LED 발광부(11 및 12)로부터 플래시광을 피사체에 조사시킨다. 즉, 플래시광 및 환경광의 양방에 의해서, 피사체에 조사되는 촬영광이, 주 피사체(도 5a의 피사체 B2)에 관해서 좌표 t에 대응하는 색이 된다. 따라서, 본 촬영시에 촬상 소자(3)로부터 출력된 디지털 화상 신호에, 보정계수 취득부(104)가 좌표 t에 관해서 취득한 화이트 밸런스 계수 및 색 재현 매트릭스에 의거해 화이트 밸런스 보정 처리 및 색 재현 처리를 실시하면, 상기 디지털 화상 신호가, 피사체 본래의 색에 가까운 색을 나타내는 신호로 보정된다.

이하, 촬상 장치(1)에 의한 촬영 동작에 있어서의 일련의 동작의 흐름에 대해서, 도 7에 따라서 설명한다. 기동 후, 촬상 장치(1)의 동작 모드는, 플래시 발광 없음으로 촬상 소자(3)로부터 동화상에 대응하는 디지털 화상 신호가 출력되는 모드가 된다(단계 S1). 다음에, 화상 처리부(100)가, 촬상 소자(3)로부터 출력된 동화상의 1프레임마다, RGB 화소 신호를 취득한다(단계 S2). 다음에, 광원 취득부(102)가, 1프레임마다의 RGB 화소 신호에 의거해 제1의 환경광의 광원색을 추정 연산한다(단계 S3). 다음에, 플래시 있음으로 촬영하는지 어떤지가 판정된다(단계 S4). 플래시 있음으로 촬영하지 않는다고 판정된 경우(단계 S4, No), 단계 S1이 실행된다. 플래시 있음으로 촬영한다고 판정된 경우(단계 S4, Yes), 촬상 제어부(10)가, 촬상 광학계(2) 및 촬상 소자(3)에 예비 발광이 없는 예비 촬영 동작을 실시시킨다(단계 S5). 화상 처리부(100)는, 이 때에 촬상 소자(3)로부터 출력되는 디지털 화상 신호에 의거해 휘도 분포 정보 Y0(m, n) 등의 휘도 정보나 RGB 화소 신호를 취득한다(단계 S6). 다음에, 촬상 제어부(10)가, 촬상 광학계(2), 촬상 소자(3) 및 LED 발광부(11 및 12)에, 예비 발광이 있는 예비 촬영 동작을 실시시킨다(단계 S7). 화상 처리부(100)는, 이 때에 촬상 소자(3)로부터 출력되는 디지털 화상 신호에 의거해 휘도 분포 정보 Y1(m, n) 등의 휘도 정보나 RGB 화소 신호를 취득한다(단계 S8). 다음에, 발광량 취득부(101)가, 단계 S6 및 S8에 있어서 취득된 휘도 신호에 의거해, 본 촬영시에 필요한 LED 발광부(11 및 12)의 합계 발광량을 산출한다(S9). 다음에, 광원 취득부(102)가, 단계 S6 및 S8에 있어서 취득된 휘도 정보에 의거해, 제2의 환경광의 광원색을 산출한다(단계 S10).

다음에, 제어치 취득부(103)가, 단계 S6 및 S8에 있어서 취득된 휘도 분포 정보 Y0(m, n) 및 Y1(m, n)에 의거해 거리 정보 D(m, n)을 취득한다(단계 S11). 다음에, 제어치 취득부(103)가, 단계 S11에 있어서 취득된 거리 정보 D(m, n)에 의거해, 플래시 광량비 R을 취득한다(단계 S12). 다음에, 제어치 취득부(103)가, 플래시광 및 환경광의 합성광(촬영광)의 색을 나타내는 좌표 t를 취득한다(단계 S13). 단계 S13에서는, 우선, 단계 S9에 있어서 취득된 필요 발광량과, 촬영 조건 기억부(30)에 기억되어 있는 발광부 제어 정보에 의거해, LED 발광부(11 및 12)의 각 발광량에 대응하는 색도 좌표 상의 점 ps'가 취득된다. 그리고, 단계 S12에 있어서 취득된 플래시 광량비 R과, 단계 S3 및 단계 S10에 있어서 취득된 제1 및 제2의 환경광의 광원색 중 어느 한쪽(Pr, Pg, Pb)에 대응하는 색도 좌표 Pe와, 점 ps'에 의거해, 좌표 t가 취득된다. 다음에, 보정계수 취득부(104)가, 단계 S13에 있어서 취득된 좌표 t에 의거해, 보정계수(화이트 밸런스 계수 및 색 재현 매트릭스)를 취득한다(단계 S14). 다음에, 촬상 제어부(10)가, 단계 S13에 있어서 취득된 점 ps'와 촬영 조건 기억부(30)에 기억되어 있는 발광부 제어 정보 등에 의거해, 촬상 광학계(2), 촬상 소자(3) 및 LED 발광부(11 및 12)에 본 촬영 동작을 실행시킨다(단계 S15). 다음에, 화상 보정부(105)가, 단계 S14에 있어서 취득된 보정계수에 의거해, 단계 S15에 있어서 실행된 본 촬영 동작시에 촬상 소자(3)로부터 출력된 디지털 화상 신호에 보정 처리(화이트 밸런스 조정 처리 및 색 재현 처리)를 실시한다(단계 S16). 그리고, 처리가 모두 종료되었다고 판정하면(단계 S17, Yes), 촬상 장치(1)는, 처리를 종료한다. 처리가 아직 종료되지 않았다고 판정하면(단계 S17, No), 촬상 장치(1)는, 단계 S1의 처리로 되돌아온다.

이상 설명한 본 실시형태에 의하면, LED 발광부(11 및 12)의 2개의 발광원을 이용하는 것으로 했다. 이 때문에, 3개의 발광원을 이용하는 경우에 비해 발광원의 제어나 조정을 행하기 쉽게 하면서, 2개의 발광부에 의해서 플래시광의 색을 환경광의 색에 가깝게 할 수 있다.

또 본 실시형태에서는, LED 발광부(11 및 12)로부터의 출사광의 색 온도가 상이하다. 그리고, 색도 좌표에 있어서, 환경광에 대응하는 광원색의 좌표를 지나는 직선 L2를 선분 L1'와 직교하도록 그은 경우에, 2개의 발광원으로부터의 광량을, 선분 L1'와 직선 L2의 교점 q3에 의거해서 결정하는 것으로 했다. 이에 의해, 2개의 발광원의 혼색을 선분 L1' 상의 범위에서 조정할 수 있도록 했다. 즉, 플래시광을 적어도 색 온도에 관해서 환경광에 가까워지도록 했다.

또한, 본 실시형태에서는, LED 발광부(11 및 12)로부터의 발광에 의한 36패턴의 혼색 중 어느 하나에 대응하는 선분 상의 1점 ps'를 취득함과 더불어, ps'와 환경광의 광원색에 대응하는 좌표 Pe를 지나는 직선 L2' 상의 좌표 t를, 플래시 광량비 R에 대응하도록 취득한다. 그리고, 취득된 좌표 t에 관해서 화이트 밸런스 조정을 화상에 실시하는 것으로 했다. 따라서, 주 피사체 영역에 주목하여 밸런스를 취한 플래시광과 환경광의 광량비에 의거해 화이트 밸런스를 조정할 수 있다.

이상과 같이, 본 발명은, 발광원의 제어나 조정을 행하기 쉽게 하면서 플래시광의 색을 환경광에 가깝게 함과 더불어, 플래시광의 색과 환경광의 색이 상이한 경우라도, 주 피사체 영역에 주목하여 화이트 밸런스를 적절하게 조정하기 쉽게 되어 있다.

또, 본 실시형태에 있어서는, 특성치 기억부(42)에 기억된 LED 발광부(11 및 12)의 발광색의 실측치에 의거해, 이들 발광에 의한 혼색의 좌표치가 보정된다. 실측치는 2개인데 반해, 혼색의 좌표치는 36개이다. 즉, 좌표치보다 수가 적은 실측치에 의거해 모든 좌표치를 보정하도록 하고 있다. 이 때문에, 촬상 장치(1)의 제조시에 있어서, 발광량을 바꾸면서 모든 발광량에 대해서 LED 발광부(11 및 12)의 발광에 의한 혼색을 실측하거나 할 필요가 없다. 따라서, 제조 공정을 간이하게 할 수 있다.

이하, 광원 취득부(102)에 있어서, 제2의 환경광의 광원색을 상술한 바와 같이 산출할 수 있는 이유에 대해서 설명한다. 이하의 설명에 있어서 이용되는 각 변수는 하기와 같다.

AV:조리개값[APEX값]=LOG2(FNo^2)

TV:노광 시간[APEX값]=LOG2(1/시간[SEC])

SV:ISO 감도[APEX값]=LOG2(ISO/3.125)

DV:피사체와의 거리[APEX값]=LOG2(거리[m]/1[m])

RV:피사체의 반사율[APEX값]=LOG2(반사율[%]/18[%])

BV:환경광의 휘도치[APEX값]

LV:LED광의 휘도치[APEX값]

Ytrg:적정 노출시의 휘도 목표치

Ynon:예비 촬영시의 휘도 평가치(예비 발광 없음=환경광)

Ypre:예비 촬영시의 휘도 평가치(예비 발광 있음=환경광+LED광)

AVa:예비 촬영시에 사용한 AV치

TVa:예비 촬영시에 사용한 TV치

SVa:예비 촬영시에 사용한 SV치

LVa:예비 촬영시에 사용한 LV치

BVa:예비 촬영시의 환경광의 휘도치[APEX치]

RVa:예비 촬영시의 피사체의 반사율[APEX치]=LOG2(반사율[%]/18[%])

DVa:예비 촬영시의 피사체와의 거리[APEX치]=LOG2(거리[m]/1[m])

적정 노광시의 노출의 일반식은, 이하의 식으로 나타내는 것이 알려져 있다. 환경광의 휘도치 BV, LED광의 휘도치 LV는 이하와 같다.

BV=AV+TV-SV...(a0)

LV=AV+2*DV+(TV-5)+(5-SV)...(a1)

식 (a0), (a1)에 피사체의 반사율 RV와의 관계를 더한 식이, 이하의 식 (a2), (a3)으로 표시된다.

BV+RV=AV+TV-SV...(a2)

LV+RV=AV+2*DV+(TV-5)+(5-SV)...(a3)

예비 촬영시에 취득되는 각 휘도 평가치는, 이상의 일반식으로부터, 하기와 같이 표시된다. Ynon은, 환경광 BV의 식으로 표시할 수 있으므로, 이하와 같이 표시할 수 있다.

Ynon=Ytrg*2＾((BVa+RVa)-(AVa+TVa-SVa))...(b0)

예비 촬영시에 있어서의 예비 발광이 있을 때의 휘도 평가치 Ypre는, 환경광BV와 LED광 LV를 가산한 식으로 표시할 수 있으므로, 이하와 같이 표시할 수 있다.

Ypre=Ytrg*2＾((BVa+RVa)-(AVa+TVa-SVa))+Ytrg*2＾((LVa+RVa-2*DVa)-(AVa+TVa-SVa))...(b1)

예비 촬영시에 얻어지는 색 평가치는, 상기 휘도식에 RGB 색 성분비를 더해 표시할 수 있다. 환경광, LED광, 피사체 반사율의 색 성분비를 하기와 같이 정의한다. 또한, 2개의 LED 발광부에 의한 발광의 경우, 이하의 LED광은 2개의 발광부로부터의 발광의 합성광이다.

·환경광색의 RGB 색 성분비:(Penv_r, Penv_g, Penv_b)

·LED광색의 RGB 색 성분비:(Pled_r, Pled_g, Pled_b)

·피사체색의 RGB 색 성분비:(Ptrg_r, Ptrg_g, Ptrg_b)

그러한 경우, 예비 발광이 없을 때의 색 평가치 Cnon_r, Cnon_g 및 Cnon_b는, 식 (b0)과 RGB 색 성분비로부터, 이하의 식으로 표시할 수 있다. 이하, 변수가 "X_i"와 같이 인덱스 i를 이용하여 표시되는 수학식은, i=r, g 및 b의 각각에 관해서 성립하는 것을 나타내는 것으로 한다.

Cnon_i=Ptrg_i*Penv_i*Ytrg*2＾((BVa+RVa)-(AVa+TVa-SVa))...(d0)

예비 발광이 있을 때의 색 평가치 Cpre_r, Cpre_g 및 Cpre_b는, 식 (b1)과 RGB 색 성분비로부터, 이하의 식으로 표시할 수 있다.

Cpre_i=Ptrg_i*Penv_i*Ytrg*2＾((BVa+RVa)-(AVa+TVa-SVa))+Ptrg_i*Pled_i*Ytrg*2＾((LVa+RVa-2*DVa)-(AVa+TVa-SVa))...(d1)

또, 예비 발광이 있는 색 평가치 Cpre_i로부터 예비 발광이 없는 색 평가치 Cnon_i를 감산함으로써, 예비 발광이 있는 색 평가치 Cpre_i로부터 환경광의 성분을 제거함으로써, LED 광원에 의한 색 평가치 Cdif_i의 식이 얻어진다.

Cdif_i=(Cpre_i-Cnon_i)=Ptrg_i*Pled_i*Ytrg*2＾((LVa+RVa-2*DVa)-(AVa+TVa-SVa))...(d2)

예비 촬영시에 얻어지는 색 평가치의 식을, 이하와 같이 G기준으로 정규화하고, 색 성분비의 식으로 변환한다. 예비 발광이 없을 때의 평가치의 색 성분비Pnon_r, Pnon_g, Pnon_b는, 식 (d0)으로부터, 이하의 식으로 표시할 수 있다. 또한, G기준의 정규화에 의해, Ptrg_g=Penv_g=Pled_g=1이다.

Pnon_i=Cnon_i/Cnon_g=Ptrg_i*Penv_i*A/((Ptrg_g*Penv_g)*A)=Ptrg_i*Penv_i...(e0)

A=Ytrg*2＾((BVa+RVa)-(AVa+TVa-SVa))

LED광만일 때의 평가치의 색 성분비 Pdif_r, Pdif_g, Pdif_b는, 식 (d2)로부터, 이하의 식으로 표시할 수 있다.

Pdif_i=Cdif_i/Cdif_g=Ptrg_i*Pled_i*B/((Ptrg_g*Pled_g)*B)=Ptrg_i*Pled_i...(e1)

B=Ytrg*2＾((LVa+RVa-2*DVa)-(AVa+TVa-SVa))

LED광색의 RGB 색 성분비는 기지의 값이다. 이 때문에, 광원색과 피사체색의 혼합비인 평가치의 색 성분비 Pnon_i, Pled_i로부터, 환경광의 광원색을 이하와 같이 산출할 수 있다. 식 (e1)로부터, 피사체색의 RGB 색 성분비 Ptrg_i를 산출할 수 있다.

Ptrg_i=Pdif_i/Pled_i...(f0)

피사체색의 RGB 색 성분비 Ptrg_i를 산출할 수 있으므로, 식 (e0)으로부터, 환경광색의 RGB 색 성분비 Penv_i를 산출할 수 있다. 이 방법에 의하면, 예비 촬영시에 있어서 LED 발광부(11 및 12)로부터의 출사광이 피사체에 반사한 반사광이 촬상 화상에 반영되어 있으면, 환경광에 대응하는 광원색을 취득할 수 있다.

Penv_i=Pnon_i/Ptrg_i...(f1)

[변형예]

이하, 상술한 실시형태에 따른 변형예에 대해서 설명한다. 상술한 실시형태에서는, 제1 및 제2의 환경광의 광원색 중 어느 한쪽이 선택되고 있다. 그러나, 피사체에 있어서의 흰색 영역의 대소나, 피사체로부터의 반사광에 포함되는 경면 반사광의 성분의 대소에 따른 웨이트에 따라서, 제1의 환경광의 광원색과 제2의 환경광의 광원색의 가중 평균을 취한 값이 환경광의 광원색으로서 이용되어도 된다.

또, 상술한 실시형태에 있어서는, LED 발광부(11 및 12)에 있어서의 각 발광색의 실측치에 의거해, 이들 발광부로부터의 발광에 의한 혼색을 나타내는 좌표치를 보정하고 있다. 이에 의해, LED 발광 소자의 개체차에 의거하는 설정치의 어긋남이 보정되고 있다. 이에 관한 일 변형예로서, LED 발광 소자에 있어서의 발광색의 개체차에 의거하는 불균일을 복수의 그룹으로 분류하고, 그룹을 나타내는 식별치를 특성치 대신에 각 촬상 장치에 기억시켜 두어도 된다. 그리고, 이러한 식별치에 의거해, 불균일에 따른 보정 방법에 따라서 좌표치가 보정되어도 된다. 이 경우에도, 식별치는 좌표치의 수로부터 줄일 수 있으므로, 장치의 제조시에 있어서 모든 좌표치를 실측할 필요가 없다.

또, 상술한 실시형태에서는, 선분 L1'와 직교하는 직선 L2에 의거해 LED 발광부(11 및 12)의 발광량 등이 결정된다. 그러나, 90도 이외의 각도로 선분 L1'와 교차하는 직선에 의거해 LED 발광부(11 및 12)의 발광량 등이 결정되어도 된다. 예를 들면, 선분 L1'에 대해, 환경광의 광원색과 색 온도가 동일해지는 각도로 그은 직선에 의거해 LED 발광부(11 및 12)의 발광량 등이 결정되어도 된다. 이 경우, 이러한 직선과 선분 L1'의 교점은 환경광의 광원색과 동일한 색 온도가 된다. 그리고, 이러한 교점에 따라 플래시광의 혼색이 결정되므로, LED 발광부(11 및 12)로부터의 발광에 의한 혼색을 색 온도에 관해서 환경광의 광원색에 가장 가깝게 할 수 있다. 이와 같이 색 온도를 동일하게 하는 관점에서 선분 L1'와 직선의 각도를 설정하는 것 이외에, 그 밖의 관점에 의거해 각도를 설정해도 된다.

Claims

출사광의 색 온도가 서로 상이함과 더불어 서로의 출사광의 광량비를 가변 제어 가능한 2개의 발광원으로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 방법으로서,
환경광에 대응하는 광원색을 취득하는 광원색 취득 단계와,
2개의 발광원으로부터 발광시키지 않고 피사체를 촬상하는 발광이 없는 단계 및 2개의 발광원으로부터 발광시키면서 피사체를 촬상하는 발광이 있는 단계를 포함하는 예비 촬상 단계와,
상기 예비 촬상 단계에 있어서 촬상되는 피사체의 촬상 화상에 의거해, 환경광에 의한 광량과 상기 2개의 발광원에 의한 합계 광량의 관계를 나타내는 광량 정보를 취득하는 발광원 광량 취득 단계와,
상기 광원색 취득 단계에 있어서 취득된 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제1 직선을, 상기 2개의 발광원으로부터의 출사광의 색에 대응하는 xy 색도 좌표 상의 2개의 좌표를 연결하는 선분과 소정의 각도로 교차하도록 그은 경우에 있어서의 상기 제1 직선과 상기 선분의 교점과, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 의거해, 상기 2개의 발광원으로부터의 출사광의 각 광량이 상기 교점과 일치하거나, 또는, 상기 교점에 가까운 xy 색도 좌표 상의 소정의 점에 대응하도록, 상기 2개의 발광원으로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 단계와,
상기 소정의 점과 상기 광원색에 대응하는 xy색도 좌표 상의 좌표를 지나는 제2 직선 상의 1점이며, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 대응하는 1점의 좌표에 관해서 취득된 화이트 밸런스 조정용 보정치에 의거해, 상기 촬상 단계에 있어서 촬상된 화상에 화이트 밸런스 조정을 실시하는 화이트 밸런스 조정 단계를 구비하고 있고,
상기 발광이 없는 단계에 있어서의 촬상 화상으로부터 얻어지는 R신호, G신호 및 B신호를 G신호로 정규화한 색 성분비를 P0_r, P0_g 및 P0_b로 하고, 상기 발광이 있는 단계에 있어서의 촬상 화상으로부터 얻어지는 R신호, G신호 및 B신호와 상기 발광이 없는 단계에 있어서의 촬상 화상으로부터 얻어지는 R신호, G신호 및 B신호의 차분을 G신호로 정규화한 색 성분비를 P1_r, P1_g 및 P1_b로 하고, 상기 2개의 발광원으로부터의 출사광에 의한 혼색의 R성분, G성분 및 B성분을 G성분으로 정규화한 색 성분비를 P2_r, P2_g 및 P2_b로 할 때, 환경광의 광원색의 R성분, G성분 및 B성분을 G성분으로 정규화한 Pe_r, Pe_g 및 Pe_b를 이하의 수학식 1에 의거해 산출하는 것을 특징으로 하는 촬상 방법.
(수학식 1) Pe_i=P0_i*P2_i/P1_i(i=r, i=g 및 i=b의 각각에 관한 것함)
출사광의 색 온도가 서로 상이함과 더불어 서로의 출사광의 광량비를 가변 제어 가능한 2개의 발광원으로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 방법으로서,
환경광에 대응하는 광원색을 취득하는 광원색 취득 단계와,
2개의 발광원으로부터 발광시키지 않고 피사체를 촬상하는 발광이 없는 단계 및 2개의 발광원으로부터 발광시키면서 피사체를 촬상하는 발광이 있는 단계를 포함하는 예비 촬상 단계와,
상기 예비 촬상 단계에 있어서 촬상되는 피사체의 촬상 화상에 의거해, 환경광에 의한 광량과 상기 2개의 발광원에 의한 합계 광량의 관계를 나타내는 광량 정보를 취득하는 발광원 광량 취득 단계와,
상기 광원색 취득 단계에 있어서 취득된 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제1 직선을, 상기 2개의 발광원으로부터의 출사광의 색에 대응하는 xy 색도 좌표 상의 2개의 좌표를 연결하는 선분과 직교하도록 그은 경우에 있어서의 상기 제1 직선과 상기 선분의 교점과, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 의거해, 상기 2개의 발광원으로부터의 출사광의 각 광량이 상기 교점과 일치하거나, 또는, 상기 교점에 가까운 xy 색도 좌표 상의 소정의 점에 대응하도록, 상기 2개의 발광원으로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 단계와,
상기 소정의 점과 상기 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제2 직선 상의 1점이며, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 대응하는 1점의 좌표에 관해서 취득된 화이트 밸런스 조정용 보정치에 의거해, 상기 촬상 단계에 있어서 촬상된 화상에 화이트 밸런스 조정을 실시하는 화이트 밸런스 조정 단계를 구비하고 있는 것을 특징으로 하는 촬상 방법.
출사광의 색 온도가 서로 상이함과 더불어 서로의 출사광의 광량비를 가변 제어 가능한 2개의 발광원으로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 방법으로서,
상기 2개의 발광원에 관한 적어도 2개의 실측치에 의거해, 상기 2개의 발광원에 관한 혼색광의 색 정보를 나타내는, 상기 실측치와는 상이한 값으로 이루어지는 상기 실측치의 수보다도 많은 값을 보정하는 보정 단계와,
환경광에 대응하는 광원색을 취득하는 광원색 취득 단계와,
상기 2개의 발광원으로부터 발광시키지 않고 피사체를 촬상하는 발광이 없는 단계 및 상기 2개의 발광원으로부터 발광시키면서 피사체를 촬상하는 발광이 있는 단계를 포함하는 예비 촬상 단계와,
상기 예비 촬상 단계에 있어서 촬상되는 피사체의 촬상 화상에 의거해, 환경광에 의한 광량과 상기 2개의 발광원에 의한 합계 광량의 관계를 나타내는 광량 정보를 취득하는 발광원 광량 취득 단계와,
상기 광원색 취득 단계에 있어서 취득된 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제1 직선을, 상기 2개의 발광원으로부터의 출사광의 색에 대응하는 xy 색도 좌표 상의 2개의 좌표를 연결하는 선분과 소정의 각도로 교차하도록 그은 경우에 있어서의 상기 제1 직선과 상기 선분의 교점과, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보와, 상기 보정 단계에 있어서 보정된 상기 색 정보를 나타내는 값에 의거해, 상기 2개의 발광원으로부터의 출사광의 각 광량이 상기 교점과 일치하거나, 또는, 상기 교점에 가까운 xy 색도 좌표 상의 소정의 점에 대응하도록, 상기 2개의 발광원으로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 단계와,
상기 소정의 점과 상기 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제2 직선 상의 1점이며, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 대응하는 1점의 좌표에 관해서 취득된 화이트 밸런스 조정용 보정치에 의거해, 상기 촬상 단계에 있어서 촬상된 화상에 화이트 밸런스 조정을 실시하는 화이트 밸런스 조정 단계를 구비하고 있는 것을 특징으로 하는 촬상 방법.
청구항 3에 있어서,
상기 보정 단계가, 상기 2개의 실측치와 상기 선분 상의 복수의 좌표치를 기억하는 기억 수단의 기억 내용에 의거해, 상기 2개의 실측치에 따라서 상기 좌표치를 보정하는 좌표치 보정 단계를 포함하고 있는 것을 특징으로 하는 촬상 방법.
출사광의 색 온도가 서로 상이함과 더불어 서로의 출사광의 광량비를 가변 제어 가능한 2개의 발광 다이오드로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 방법으로서,
환경광에 대응하는 광원색을 취득하는 광원색 취득 단계와,
2개의 발광 다이오드로부터 발광시키지 않고 피사체를 촬상하는 발광이 없는 단계 및 2개의 발광 다이오드로부터 발광시키면서 피사체를 촬상하는 발광이 있는 단계를 포함하는 예비 촬상 단계와,
상기 예비 촬상 단계에 있어서 촬상되는 피사체의 촬상 화상에 의거해, 환경광에 의한 광량과 상기 2개의 발광 다이오드에 의한 합계 광량의 관계를 나타내는 광량 정보를 취득하는 발광원 광량 취득 단계와,
상기 광원색 취득 단계에 있어서 취득된 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제1 직선을, 상기 2개의 발광 다이오드로부터의 출사광의 색에 대응하는 xy 색도 좌표 상의 2개의 좌표를 연결하는 선분과 소정의 각도로 교차하도록 그은 경우에 있어서의 상기 제1 직선과 상기 선분의 교점과, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 의거해, 상기 2개의 발광 다이오드로부터의 출사광의 각 광량이 상기 교점과 일치하거나, 또는, 상기 교점에 가까운 xy 색도 좌표 상의 소정의 점에 대응하도록, 상기 2개의 발광 다이오드로부터 피사체를 향해서 광을 출사시키면서 피사체를 촬상하는 촬상 단계와,
상기 소정의 점과 상기 광원색에 대응하는 xy 색도 좌표 상의 좌표를 지나는 제2 직선 상의 1점이며, 상기 발광원 광량 취득 단계에서 취득된 상기 광량 정보에 대응하는 1점의 좌표에 관해서 취득된 화이트 밸런스 조정용 보정치에 의거해, 상기 촬상 단계에 있어서 촬상된 화상에 화이트 밸런스 조정을 실시하는 화이트 밸런스 조정 단계를 구비하고 있고,
상기 발광원 광량 취득 단계가,
상기 예비 촬상 단계에 있어서의 촬상 화상으로부터 얻어지는 화상 신호에 의거해, 화상 신호에 있어서의 거리 정보 D(m, n)을, 이하의 수학식에 따라서 취득하는 단계와,
거리 정보 D(m, n)에 의거해, 주 피사체에 대응하는 영역을 상기 촬상 화상으로부터 취득하는 단계와,
상기 주 피사체에 대응하는 영역에 관해서 상기 광량 정보를 취득하는 단계를 포함하고 있는 것을 특징으로 하는 촬상 방법.
(수학식) D(m, n)=(LV0-LOG₂(Y1(m, n)/Y0(m, n)-1))/2
또한, (m, n)은, 촬상 화상에 있어서의 종방향 및 횡방향에 관한 위치를 나타내고, LV0은, 상기 2개의 발광 다이오드의 합계 플래시광의 광량을 APEX치로 나타내고, Y0(m, n)은, 발광이 없는 단계에 있어서의 촬상 화상으로부터 얻어지는 (m, n)에 있어서의 휘도치를 나타내고, Y1(m, n)은, 발광이 있는 단계에 있어서의 촬상 화상으로부터 얻어지는 (m, n)에 있어서의 휘도치를 나타내고, LOG_x는, 밑 x의 로그이다.