KR20120025415A

KR20120025415A - 화상처리장치 및 화상처리방법

Info

Publication number: KR20120025415A
Application number: KR1020110088297A
Authority: KR
Inventors: 유스케 시미즈
Original assignee: 캐논 가부시끼가이샤
Priority date: 2010-09-02
Filing date: 2011-09-01
Publication date: 2012-03-15
Also published as: EP2426928A2; US20150116536A1; CN102387373B; RU2491760C2; KR101388130B1; JP5761946B2; CN102387373A; US8941756B2; US9438875B2; JP2012054827A; US20120057045A1; EP2426928B1; EP2426928A3; RU2011136503A

Abstract

본 발명은, 제1 광원에 대응한 제1 화이트 밸런스 보정값을 사용해서 화상 데이터를 보정해서 제1 현상 화상 데이터를 생성하고, 제2 광원에 대응한 제2 화이트 밸런스 보정값을 사용해서 화상 데이터를 보정해서 제2 현상 화상 데이터를 생성하며, 화상 데이터의 각 화소의 색 평가값을 분할된 각 블록에 대해서 가산 및 평균하여 각 블록의 색 평가값을 산출하고, 산출된 각 블록의 색 평가값과 제2 광원 하의 백색의 색 평가값과의 차분에 의거하여 합성 비율을 산출하며, 산출된 합성 비율에 따라 제1 현상 화상 데이터와 제2 현상 화상 데이터를 합성한다.

Description

화상처리장치 및 화상처리방법{IMAGE PROCESSING APPARATUS　AND IMAGE PROCESSING METHOD}

본 발명은 촬상장치에 의해 촬영된 화상의 화이트 밸런스 보정에 관한 것이다.

일반적으로, 디지털 카메라와 디지털 비디오 카메라 등, 촬상소자를 사용하는 촬상장치는, 촬영 동작에 의해 촬영된 화상의 색조를 조정하는 화이트 밸런스 제어 기능을 갖고 있다. 이 화이트 밸런스 제어에는, 미리 백색 피사체를 촬상해서 화이트 밸런스 계수를 취득하고, 산출한 화이트 밸런스 계수를 화면 전체에 적용하는 메뉴얼 화이트 밸런스 제어가 있다. 또한, 화이트 밸런스 제어에는 촬상한 화상으로부터 백색이라고 생각되는 부분을 자동 검출하고, 화면 전체의 각 색 성분의 평균값으로부터 화이트 밸런스 계수를 산출하며, 산출한 화이트 밸런스 계수를 화면 전체에 적용하는 오토 화이트 밸런스 제어도 있다.

여기에서, 종래의 오토 화이트 밸런스 제어 방법에 관하여 설명한다. 촬상소자로부터 출력된 아날로그 신호는 A/D(analog/digital) 변환에 의해 디지털 신호로 변환되어, 도 3에 나타나 있는 바와 같이 복수의 블록으로 분할된다. 각 블록은 적색(R), 녹색(G), 청색(B)의 색 화소로 구성되어 있고, 블록마다, 예를 들면 이하의 식(1)에 의해, 색 평가값(Cx[i], Cy[i])이 산출된다.

[식 1]

(이 식에서, i는 블록의 번호를 나타내고, R[i], G[i], 및 B[i]는 각각 블록 i에 포함된 RGB 화소의 평균값을 나타내며,

.)

그리고, 산출한 색 평가값(Cx[i], Cy[i])이 미리 설정한 백색 검출 범위에 포함되는 경우에는, 그 블록이 백색 블록이라고 판정된다. 그리고, 그 블록에 포함되는 색 화소의 적분값(SumR, SumG, SumB)이 산출되어서, 이하의 식(2)에 의해 화이트 밸런스 계수(WBCo_R, WBCo_G, WBCo_B)이 산출된다.

[식 2]

(이 식에서,

.)

그렇지만, 이러한 오토 화이트 밸런스 제어는 이하의 문제가 있다. 촬상장치는, 화상 내에 서로 다른 복수의 광원이 존재하는 씬(scene)에서도, 상기 산출한 화이트 밸런스 계수를 화면 전체에 적용해서 화이트 밸런스 제어를 행한다. 이 때문에, 각 광원 모두에 대해서 적정한 컬러 틴트(color tint)을 달성하도록 화이트 밸런스 제어를 행하는 것이 곤란하다. 예를 들면, 촬상장치가 높은 색 온도를 갖는 광원인 플래시 광을 발광하고 있는 씬에서, 환경 광에 전구색 광원과 같은 낮은 색 온도 광원이 존재할 경우, 플래시 광에 의거해서 화이트 밸런스가 제어되면, 환경 광의 낮은 색 온도 광원에 화이트 밸런스가 맞지 않게 된다. 한편, 환경 광의 낮은 색 온도 광원에 의거해서 화이트 밸런스가 제어되면, 플래시 광에 화이트 밸런스가 맞지 않게 된다. 또한, 촬상장치가 양쪽 광원의 중간에 화이트 밸런스를 맞춰서 화이트 밸런스 제어를 행하더라도, 양쪽 광원에 화이트 밸런스가 맞지 않아, 플래시 광이 조사된 영역은 푸른 빛을 띠고, 낮은 색 온도 광원이 조사된 영역은 붉은빛을 띠게 된다.

따라서, 이러한 문제를 해결하기 위해서, 예를 들면 일본국 특허 제3540485호에 기재된 기술은, 플래시 발광 화상과 플래시 비발광 화상을, 임의의 피사체 영역마다 비교해서 데이터의 비를 산출하고, 산출한 비의 값에 의거해 플래시 광의 기여도를 판정한다. 그리고, 이 기술은 기여도에 따라 플래시 발광해서 노광시켰을 때의 영상 데이터에 대하여 영역마다 화이트 밸런스 제어 값을 선택해서, 화이트 밸런스 제어를 행하고 있다.

그렇지만, 일본국 특허 제3540485호에 개시된 종래의 기술은, 플래시 광을 발광했을 때 촬영된 화상의 화이트 밸런스 제어에 사용되도록 설계되어 있으며, 플래시 광을 발광하지 않는 경우에 촬영된 화상에는 적용될 수 없다. 또한, 이 종래의 기술은 화이트 밸런스 제어 값을 영역마다 가변시킨 후에 현상 처리를 행하기 때문에, 색의 재현 등 그 밖의 제어가 화이트 밸런스 제어 값에 대하여 적정하지 않게 되는 경우가 있다. 이 때문에, 이 종래의 기술은, 적정한 틴트(tint)를 충분하게 재현할 수 없다.

본 발명은 전술의 문제점을 해결하기 위해서, 일 국면에 있어서, 복수의 광원이 있는 경우에도, 적정한 컬러 틴트를 달성하는 화상을 생성하는 것을 지향한다.

본 발명의 일 국면에 의하면, 화상처리장치는, 씬(scene) 화상 데이터로부터, 씬의 제1 광원에 대응한 제1 화이트 밸런스 보정값을 이용하여 상기 씬 화상 데이터를 보정해서 제1 현상 화상 데이터를 생성하고, 씬의 제2 광원에 대응한 제2 화이트 밸런스 보정값을 이용하여 상기 씬 화상 데이터를 보정해서 제2 현상 화상 데이터를 생성하는 보정수단과, 상기 씬 화상 데이터를 복수의 블록으로 분할하는 분할 수단과, 상기 분할 수단에 의해 분할된 각 블록에 대해서 상기 씬 화상 데이터에 있어서의 각 화소의 값을 가산 및 평균하여 상기 각 블록의 색 평가값을 산출하는 색 평가값 산출 수단과, 상기 색 평가값 산출 수단에 의해 산출되는 각 블록의 색 평가값과, 상기 제2 광원 하에서의 백색의 색 평가값과의 차분에 의거하여 합성 비율을 산출하는 합성 비율 산출 수단과, 상기 합성 비율에 따라 상기 보정수단에 의해 생성된 상기 제1 현상 화상 데이터와 상기 제2 현상 화상 데이터를 합성하는 합성 수단을 구비한다.

본 발명의 국면은, 여기에서 기술한 방법 중 어느 것인가를 수행하고 및/또는 여기에서 기술한 장치 특징 중 어느 것인가를 구현하는 컴퓨터 프로그램 및 컴퓨터 프로그램 제품과, 여기에서 기술한 방법 중 어느 것인가를 수행하고 및/또는 여기에서 기술한 장치 특징 중 어느 것인가를 구현하는 프로그램이 기억된 컴퓨터 판독매체도 제공할 수 있다. 본 발명의 국면은 실질적으로 도면을 참조하여 여기에서 설명한 것처럼 방법, 장치 및/또는 용도로 확장된다. 본 발명의 일 국면에 있어서의 어떤 특징은 어떤 적절한 결합으로 본 발명의 다른 국면에도 적용될 수 있다. 특히, 방법 국면의 특징은 장치 국면에도 적용되고 그 반대로도 적용될 수 있다. 또한, 하드웨어에 있어서의 특징 구현은 일반적으로 소프트웨어로 구현될 수 있고, 그 반대로 구현될 수도 있다. 따라서 여기에서는 소프트웨어 및 하드웨어 특징을 참조해야 한다. 본 발명의 추가의 바람직한 특징 및 국면은 첨부도면을 참조하여 예로서 설명할 것이다.

도 1은 본 발명의 실시예에 따른 디지털 카메라의 구성 예를 나타낸 블럭도다.
도 2는 화상을 합성하는 처리 순서의 일례를 나타내는 플로차트다.
도 3은 R, G, B의 색 화소로 각각 구성되어 있는 블록을 도시한 도면이다.
도 4a 및 4b는 백색 검출을 행하기 위한 색 평가값의 관계의 일례를 나타내는 특성도다.
도 5는 제1 ＷＢ 보정값을 결정하는 처리의 일례를 나타낸 플로차트다.
도 6은 합성 비율의 산출에 사용하는 색 평가값의 관계의 일례를 도시한 도면이다.
도 7은 합성 비율의 산출에 사용하는 색 평가값의 관계의 다른 일례를 도시한 도면이다.
도 8은 낮은 색 온도를 갖는 광원을 사용해 화상을 촬영했을 경우의 색 평가값의 관계의 일례를 도시한 도면이다.
도 9는 낮은 색 온도를 갖는 광원을 이용해 화상을 촬영했을 경우의 입력과 출력과의 관계를 나타내는 특성 차트다.

본 발명의 다양한 예시적인 실시예, 특징 및 국면은 첨부도면을 참조하여 이하에 상세히 설명한다.

이하에, 본 발명의 바람직한 실시예에 대해서, 첨부의 도면에 의거하여 상세하게 설명한다. 도 1은, 본 실시예에 따른 디지털 카메라(100)의 구성 예를 나타내는 블럭도다. 도 1에 있어서, 고체촬상소자(101)는 ＣＣＤ(charge coupled device)나 ＣＭＯＳ(complementary metal oxide semiconductor)등으로 구성되는 촬상소자이다. 고체촬상소자(101)의 표면은 예를 들면 베이어(Bayer) 배열과 같은 ＲＧＢ 칼라 필터로 덮여 있어, 컬러 촬영이 가능하다. 피사체 화상이 고체촬상소자(101)위에서 결상되면, 고체촬상소자(101)는 메모리(102)에 기억되는, 화상 데이터(화상 신호)를 생성한다.

제어부(114)는, 화상 전체가 밝아지는 셔터 속도 및 조리개 값을 계산하는 동시에, 포커싱 영역 내에 있는 피사체에 포커싱하도록 포커스 렌즈의 구동량을 계산한다. 그리고, 제어부(114)에 의해 계산된 정보, 즉 노출 값(셔터 속도 및 조리개 값) 및 포커스 렌즈의 구동량이 촬영제어회로(113)에 전달되고, 각 값에 의거하여 각각 대응하는 유닛 및 부분이 제어된다. 화이트 밸런스(ＷＢ) 제어부(103)는, 메모리(102)에 기억된 화상 신호에 의거하여 ＷＢ 보정값을 산출하고, 산출한 ＷＢ 보정값을 사용하여, 메모리(102)에 기억된 화상 신호에 대하여 ＷＢ 보정을 행한다. 한편, 이 ＷＢ 제어부(103)의 상세한 구성 및 ＷＢ 보정값의 산출 방법에 대해서는, 후술한다.

색 변환 매트릭스 회로(104)는, ＷＢ 제어부(103)에 의해 ＷＢ 보정된 화상신호를, 화상 신호가 최적의 색으로 재현될 수 있도록 색 게인을 화상 신호에 곱해서 색차 신호 R-Y/B-Y로 변환한다. 로우 패스 필터(ＬＰＦ) 회로(105)는, 색차 신호 R-Y/B-Y의 대역을 제한하기 위한 회로다. ＣＳＵＰ(Chroma Suppress) 회로(106)는, ＬＰＦ 회로(105)에 의해 대역이 제한되는 화상신호 중, 포화 부분의 의사(false) 색 신호를 제거하기 위한 회로다.

한편, ＷＢ 제어부(103)에 의해 ＷＢ 보정된 화상 신호는, 휘도신호 생성회로(111)에도 출력된다. 휘도신호 생성회로(111)는, 입력된 화상 신호로부터 휘도신호 Y를 생성한다. 에지 강조회로(112)는, 생성된 휘도신호 Y에 대하여 에지 강조 처리를 행한다.

ＲＧＢ 변환 회로(107)는, ＣＳＵＰ 회로(106)로부터 출력되는 색차 신호 R-Y/B-Y와, 에지 강조회로(112)로부터 출력되는 휘도신호 Y를 ＲＧＢ 신호로 변환한다. 감마 보정회로(108)는, 변환된 ＲＧＢ 신호에 대하여 계조 보정을 행한다. 그 후에, 색 휘도 변환 회로(109)는, 계조 보정된 ＲＧＢ 신호를 ＹＵＶ 신호로 변환한다. 한층 더, JPEG(Joint Photographic Experts Group) 압축 회로(110)는, ＪＰＥＧ 방식 등에 의해 변환된 ＹＵＶ 신호를 압축하고, 압축된 데이터를 외부 또는 내부의 기록 매체(115)에 화상 신호로서 기록한다.

다음에, ＷＢ 제어부(103)에 의한 ＷＢ 보정값의 산출 방법에 대해서 상세하게 서술한다. 도 5는, ＷＢ 제어부(103)가 제1 화이트 밸런스 보정값(제1 ＷＢ 보정값)을 결정하는 처리 순서의 일례를 나타내는 플로차트다. 여기에서, 제1 ＷＢ 보정값이란, 제1 광원 하에 촬영된 화상에 대한 통상의 화이트 밸런스 제어에 의해 산출되는 보정값이다.

우선, 스텝 S501에 있어서, ＷＢ 제어부(103)는, 메모리(102)에 기억된 화상 신호를 판독하고, 그 화상 공간을 임의의 ｍ개의 블록으로 분할한다. 그리고, 스텝 S502에 있어서, m개의 블록마다, ＷＢ 제어부(103)는 화소값을 각 색에 가산해서 평균하여 색 평균값(R[i], G[i], B[i])을 산출한다. 그리고, WB 제어부(103)는 이하의 식(3)을 사용해서 한층 더 색 평가값(Cx[i], Cy[i])을 산출한다.

[식 3]

(이 식에서,

.)

다음에, 스텝 S503에 있어서, WB 제어부(103)는 백색 검출을 행하여, 색 평가값이 백색 검출 범위 내에 있는지의 여부를 판단한다. 여기에서, 백색 검출 방법에 관하여 설명한다.

도 4a 및 4b는, 백색 검출에 사용하는 색 평가값의 관계를 나타내는 특성도다. 도 4a에 있어서, x축(Cx)의 부（－）방향은, 높은 색 온도 피사체의 백색을 촬영했을 때의 색 평가값을 나타내고, x축의 정(+) 방향은 낮은 색 온도 피사체의 백색을 촬영했을 때의 색 평가값을 의미한다. 또한, y 좌표(Cy)는 광원의 녹색 성분의 정도를 나타낸다. 이 값이 y축의 부（－）방향으로 증가함에 따라, 녹색 성분이 커지는데, 이것은 광원이 형광등인 것을 나타낸다. 스텝 S503에서는, ＷＢ 제어부(103)는, 스텝 S502에서 산출한 ｉ번째의 블록의 색 평가값(Cx[i], Cy[i])이, 도 4a에 나타낸 미리 설정한 백색 검출 범위(401)에 포함되는지 아닌지를 판단한다.

도 4a에 나타낸 백색 검출 범위(401)는, 미리 상이한 광원 하에서 백색 화상을 촬영하고 산출한 색 평가값을 흑체 방사축에 따라 플롯(plot)함으로써 정의된다. 한편, 이 백색 검출 범위(401)는 촬영 모드에 의존해 상이한 범위를 갖도록 설정될 수 있다. 산출한 색 평가값(Cx[i], Cy[i])이 이 백색 검출 범위(401)에 포함될 경우에는(스텝 S503에서 ＹＥＳ), ＷＢ 제어부(103)는, 그 블록이 백색이라고 판단한다. 그리고나서, 스텝 S504에 있어서, ＷＢ 제어부(103)는, 그 블록의 색 평균값(R[i], G[i], B[i])을 가산해서 산출한다. 한편, 산출한 색 평가값이 백색 검출 범위(401)에 포함되지 않는 경우에는(스텝 S503에서 ＮＯ), 그 블록의 색 평균값을 가산하지 않고 처리가 스텝 S505로 진행된다. 이 스텝 S504의 산출 처리에서는, ＷＢ 제어부(103)는, 이하의 식(4)을 사용해서 색 평균값(R[i], G[i], B[i])을 가산한다.

[식 4]

이 식(4)에 있어서, 색 평가값(Cx[i], Cy[i])이 백색 검출 범위(401)에 포함되는 경우에는 Sw[i]을 1로 설정하고, 색 평가값(Cx[i], Cy[i])이 백색 검출 범위(401)에 포함되지 않을 경우에는 Sw[i]을 0으로 설정한다. 이에 따라 Sw[i]을 설정하면 WB 제어부(103)가 색 평가값(R[i], G[i], B[i])의 가산 처리를 행하거나 행하지 않게 할 수 있다.

다음에, 스텝 S505에 있어서, WB 제어부(103)는 색 평가값이 모든 블록에 대해서 색 검출 범위(401) 내에 있는지 아닌지를 판단하는 처리를 행할 것인지 아닌지를 판단한다. 이 스텝 S505에 있어서의 판단의 결과, 미처리의 블록이 있는 경우에는(스텝 S505에서 NO), 처리가 스텝 S502로 돌아간다. 모든 블록의 처리가 완료한 경우는(스텝 S505에서 YES), 처리가 다음 스텝 S506으로 진행된다. 이렇게, WB 제어부(103)가 모든 블록의 처리를 종료한 경우에는, 식(4)에 나타내는 적분값(SumR1, SumG1, SumB1)이 결정된다.

다음에 스텝 S506에 있어서, ＷＢ 제어부(103)는, 결정된 색 평가값의 적분값(SumR1, SumG1, SumB1)으로부터, 이하의 식(5)을 사용하여, 제1 ＷＢ 보정값(WBCol_R1, WBCol_G1, WBCol_B1)을 산출한다.

(식 5)

(이 식에서,

. )

또한, 플래시 광을 발광할 때에는, ＷＢ 제어부(103)는, 도 4b에 나타나 있는 바와 같이 플래시 광에 대응하는 백색 검출 범위(402)를 사용하여, 상기의 ＷＢ 보정값 산출 방법과 마찬가지로 제1 ＷＢ 보정값을 산출한다. 이것은 플래시 광이 공지의 광원이므로, 백색 검출 범위를 한정할 수 있기 때문이다. 여기에서, 플래시 광을 발광할 때에는, 공지의 값을 제1 ＷＢ 보정값으로서 플래시 광의 ＷＢ 보정값으로 미리 설정해도 된다.

다음에, 제2 광원에 대한 제2 화이트 밸런스 보정값(제2 ＷＢ 보정값)의 결정 방법에 관하여 설명한다. ＷＢ 제어부(103)는 광원마다 미리 결정된 값을 사용해서 제2 ＷＢ 보정값을 결정한다. 이 값은, 미리 각 광원 하에서 백색 화상을 촬영하고, 보정 값을 산출해서 얻은 값이다. 우선, 광원을 추정하기 위해서 씬 판별을 행한다. 예를 들면, 씬 판별의 결과, 광원을 수은등으로서 판별했을 경우에는, ＷＢ 제어부(103)는 수은등에 대해서 미리 정해져 있는 ＷＢ 보정값을 제2 ＷＢ 보정값으로서 사용한다. 여기에서, 복수의 종류의 광원이 있는 경우에는, 광원의 종류에 따라 제2 ＷＢ 보정값을 가변해도 된다. 예를 들면, 수은등에 2개의 종류가 있는 경우에는, 각각의 수은등에 따라 ＷＢ 보정값을 가변한다.

또한, 플래시 광을 발광할 때 배경에 전구색 광원과 같은 낮은 색 온도 광원이 조사되는 경우에, 틴트(tint)를 유지해서 씬의 분위기를 보존하도록 제2 ＷＢ 보정값을 산출해도 된다. 예를 들면, 도 9에 나타낸 관계와 같이, 입력된 화상을 색 온도가 다른 화상으로서 출력하도록 색 온도의 관계가 설정된다. 이렇게, 제2 ＷＢ 보정값의 색 온도가 낮은 경우에 틴트를 유지하도록 화이트 밸런스를 제어하면, 예를 들면, 전구색 광원의 붉은빛을 보존하는 화상을 생성할 수 있다.

계속해서, 화상 합성 처리에 대해서 도 2에 나타낸 플로차트를 참조하면서 설명한다. 도 2는, ＷＢ 제어부(103)에 의해 화상을 합성하는 처리 순서의 일례를 나타내는 플로차트다. 우선, ＷＢ 제어부(103)는, 스텝 S201에 있어서, 메모리(102)에 기억된 화상 신호로부터 씬을 판별하고, 광원 판별이 가능한지 아닌지 판단한다. 이 판단의 결과, 광원을 판별할 수 없는 경우에는(스텝 S201에서 NO), 처리가 스텝 S208로 진행되어서, ＷＢ 제어부(103)가 화상합성처리를 행하지 않고, 도 5에 나타낸 순서에 의해 산출된 제1 ＷＢ 보정값을 사용해서 통상의 화이트 밸런스 제어를 행한다. 한편, 스텝 S201의 판단의 결과, 광원이 판별 가능한 경우에는(스텝 S201에서 YES), ＷＢ 제어부(103)가 화상합성처리를 행하는 스텝 S202로 처리가 진행된다.

다음에, 스텝 S202에 있어서, ＷＢ 제어부(103)는, 메모리(102)에 기억되어 있는 화상 신호에 대하여, 상기 제1 ＷＢ 보정값을 사용해서 화이트 밸런스 보정을 행하고, 제1 현상 화상 데이터로서 현상 화상 신호 Yuv1을 생성한다. 그리고, 스텝 S203에 있어서, ＷＢ 제어부(103)는, 마찬가지로 화상 신호에 대하여, 상기 제2 ＷＢ 보정값을 사용해서 화이트 밸런스 보정을 행하고, 제2 현상 화상 데이터로서 현상 화상 신호 Yuv2을 생성한다. 다음에, 스텝 S204에 있어서, ＷＢ 제어부(103)는, 메모리(102)에 기억되어 있는 화상 신호, 현상 화상 신호 Yuv1, 및 현상 화상 신호 Yuv2을 각각 n개의 블록으로 분할한다.

다음에, 스텝 S205에 있어서, WB 제어부(103)는 메모리(102)에 기억되어 있는 화상 신호에서, 블록마다 화소값을 각 색에 가산해서 평균하여 색 평균값(R[i], G[i], B[i])을 산출한다. 또, ＷＢ 제어부(103)는, 전술한 식(3)을 사용해서 한층 더 색 평가값(Cx[i], Cy[i])을 산출한다. 한편, ＷＢ 제어부(103)는 스텝 S501에서 산출한 색 평가값(Cx[i], Cy[i])을 어떤 추가 처리를 행하는 일 없이 사용해도 된다. 이때, 포화(saturated) 화소가 존재하는 경우에는, ＷＢ 제어부(103)는 그 포화 화소의 화소값과 그 포화 화소에 대응하는 또 다른 색의 화소의 화소값을 가산 처리로부터 제외시켜도 된다. 예를 들면, Ｒ 화소가 포화 화소일 경우에는, ＷＢ 제어부(103)는, R 화소의 화소값과 그 Ｒ 화소에 대응하는 Ｇ 화소의 화소값 및 B 화소의 화소값을 가산 처리로부터 제외시킨다.

다음에, 스텝 S206에 있어서, ＷＢ 제어부(103)는, 각 광원에 따라 평가 프레임을 설정하고, 상기의 제2 ＷＢ 보정값과 각 블록의 색 평가값과의 차분에 근거해 블록마다의 합성 비율을 산출한다. 예를 들면, 광원으로서 수은등을 사용한 씬에서는, 도 6에 나타나 있는 바와 같이, ＷＢ 제어부(103)는, 제2 ＷＢ 보정값으로서 미리 결정된 수은등 아래에서 취득된 백색의 색 평가값을 중심으로 한 수은등에 대한 평가 프레임(601)을 설정한다. 그리고, ＷＢ 제어부(103)는, 미리 결정된 수은등 아래에서 취득된 백색의 색 평가값과 각 블록의 색 평가값과의 거리에 근거해서 각 블록의 합성 비율을 산출한다. 한편, 평가 프레임(601)은 미리 수은등 아래에서 백색 피사체를 촬영해 그 색 평가값을 산출함으로써 준비된 색 평가값에 근거해 설정된다.

우선, 블록의 색 평가값이 수은등 아래에서 취득된 백색의 색 평가값과의 작은 차분을 갖고, 도 6에 나타낸 내부 프레임(602) 내에 존재하는 경우, ＷＢ 제어부(103)는, 이 블록의 합성 비율 α[i]로서 1을 설정한다. 한편, 도 6에 나타낸 내부 프레임(602)과 평가 프레임(601)과의 사이의 영역에 블록의 색 평가값이 존재하는 경우에는, ＷＢ 제어부(103)는, 아래와 같이 이 블록의 합성 비율α[i]을 산출하고; ＷＢ 제어부(103)는, 내부 프레임(602)이 합성 비율 α[i]=1을 나타내고, 평가 프레임(601)이 합성 비율α[i]=0을 나타내도록, 내부 프레임(602)으로부터 평가 프레임(601)을 향해서 합성 비율을 선형적으로 감소시켜, 해당 블록의 합성 비율α[i]을 산출한다. 또, 평가 프레임(601)의 외부에 블록의 색 평가값이 존재하는 경우에는, ＷＢ 제어부(103)는, 이 블록의 합성 비율α[i]로서 0을 설정한다.

여기에서, 평가 프레임(601)과 내부 프레임(602)은 4변형의 형상 대신에 임의의 형상을 가져도 된다. 예를 들면, 도 7에 나타나 있는 바와 같이, 평가 프레임(601)이 타원형(원형) 형상을 갖도록 설정되어 있어도 된다. 또한, 예를 들면, 전구색 광원과 같은 낮은 색 온도 광원을 사용한 씬의 경우에도, 도 8 에 나타나 있는 바와 같이, 평가 프레임(601) 및 내부 프레임(602)을 설정하는 것으로 이 방법을 적용하는 것도 가능하다. 이 경우에, 수은등을 광원으로서 사용해서 한 씬에 있어서의 합성 비율 산출 방법과 같은 처리에 의해 합성 비율을 산출할 수 있다.

다음에, 스텝 S207에 있어서, ＷＢ 제어부(103)는, 블록마다의 합성 비율α[i]을 사용해서 현상 화상 신호 Yuv1과 현상 화상 신호 Yuv2를 합성하여, 합성 화상 신호 Yuv3을 생성한다. 합성 화상 신호 Yuv3의 색 평가값(Y3[i], u3[i], v3[i])을, 현상 화상 신호 Yuv1의 색 평가값(Y1[i], u1[i], v1[i])과 현상 화상 신호 Yuv2의 색 평가값(Y2[i], u2[i], v2[i])을 사용해서 산출한다. 즉, 이하의 식(6)에 의해 합성 화상 신호 Yuv3의 색 평가값(Y3[i], u3[i], v3[i])을 산출한다.

(식 6)

여기에서, ＷＢ 제어부(103)는, 블록의 경계부분에 발생하는 틴트 변동(tint variation)을 줄이기 위해서, 스텝 S207에서 한층 더 화소 보간 처리를 행함으로써, 각 블록의 합성 비율α[i]로부터 각 화소의 합성 비율α'[j]을 산출해도 된다. 예를 들면, ＷＢ 제어부(103)는, 화소 보간 처리로서 바이리니어(bilinear) 보간을 사용하여, 각 블록의 합성 비율α[i]로부터 각 화소의 합성 비율α'[j]을 산출한다. 이때, 스텝 S207에서는, 각 화소의 합성 비율α'[j]을 사용해서 현상 화상 신호 Yuv1과 현상 화상 신호 Yuv2를 합성하여, 합성 화상 신호 Yuv3을 생성한다. 합성 화상 신호 Yuv3의 색 평가값(Y3[j], u3[j], v3[j])을, 현상 화상 신호 Yuv1의 색 평가값(Y1[j], u1[j], v1[j])과 현상 화상 신호 Yuv2의 색 평가값(Y2[j], u2[j], v2[j])을 사용해서 산출한다. 즉, 이하의 식(7)에 의해 합성 화상 신호 Yuv3의 색 평가값(Y3[j], u3[j], v3[j])을 산출한다.

(식 7)

또한, ＷＢ 제어부(103)는, 회로의 계산량을 줄이기 위해서, 색 성분인 ｕ성분 및 v성분만을 합성해도 된다. 예를 들면, 화상합성처리에 있어서, 합성 화상신호 Yuv3의 색 평가값(Y3[i], u3[i], v3[i])을 이하의 식(8)에 의해 산출한다.

(식 8)

또한, 전술한 화상합성처리는 현상 화상 신호에 대해서 Ｙｕｖ 형식을 사용했지만, 예를 들면, 화상 형식으로서 ＲＧＢ 형식을 사용해도 된다. 이 경우, ＷＢ 제어부(103)는, 스텝 S207에 있어서 사용한 식(6) 대신에, 이하의 식(9)을 사용한다. 즉, ＷＢ 제어부(103)는, 우선, 제1 ＷＢ 보정값을 사용해서 현상한 현상 화상 신호 RGB1의 색 평가값(R1[i], G1[i], B1[i])과, 제2 ＷＢ 보정값을 사용해서 현상한 현상 화상 신호 RGB2의 색 평가값(R2[i], G2[i], B2[i])을 산출한다. 그리고, ＷＢ 제어부(103)는, 합성 화상 신호 RGB3의 색 평가값(R3[i], G3[i], B3[i])을 식(9)에 의해 산출한다.

(식 9)

또한, 전술한 화상합성처리에서는, ＷＢ 제어부(103)는 광원이 2종류 이상 존재할 경우에, 2매 이상의 현상 화상을 생성해서 합성해도 된다. 예를 들면, 수은등을 사용한 씬에 있어서 플래시 광을 발광할 때에는, ＷＢ 제어부(103)는, 상기 제1 ＷＢ 보정값 및 제2 ＷＢ 보정값에 더해서, 상기 제2 ＷＢ 보정값을 결정하는 방법과 마찬가지로, 플래시 광에 대응한 제3 ＷＢ 보정값을 결정한다. 그리고, ＷＢ 제어부(103)는, 3개의 ＷＢ 보정값을 각각 사용해서 3매의 화상을 현상해서 화상합성처리를 행한다. 3개의 WB 보정값의 각각에 대한 합성 비율은 3개의 광원의 광량 간의 비에 의해 결정된다.

이상과 같이, 본 실시예의 화상처리에 의하면, 상이한 복수의 광원이 있는 씬에 있어서도, 주 피사체와 배경을 모두 적정한 컬러 틴트라고 하는 화상을 생성함으로써, 유저에 있어서 바람직한 화상을 제공할 수 있다.

그 외의 실시예

본 발명의 실시예들은, 상술한 실시예(들)의 기능들을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행하는 시스템 또는 장치의 컴퓨터(또는 CPU 혹은 MPU와 같은 디바이스)에 의해서도 실현될 수 있고, 또 예를 들면 상술한 실시예의 기능을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 행해지는 방법의 스텝들에 의해 실현될 수 있다. 이 목적을 위해서, 이 프로그램을, 예를 들면 메모리 디바이스(예를 들면, 컴퓨터 판독가능한 매체)로서 기능을 하는 다양한 형태의 기록매체로부터 또는 네트워크를 통해서 컴퓨터에 제공한다.

본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.

Claims

씬 화상 데이터로부터, 씬의 제1 광원에 대응한 제1 화이트 밸런스 보정값을 이용하여 상기 씬 화상 데이터를 보정해서 제1 현상 화상 데이터를 생성하고, 씬의 제2 광원에 대응한 제2 화이트 밸런스 보정값을 이용하여 상기 씬 화상 데이터를 보정해서 제2 현상 화상 데이터를 생성하는 보정수단과,
상기 씬 화상 데이터를 복수의 블록으로 분할하는 분할 수단과,
상기 분할 수단에 의해 분할된 각 블록에 대해서 상기 씬 화상 데이터에 있어서의 각 화소의 값을 가산 및 평균하여 상기 각 블록의 색 평가값을 산출하는 색 평가값 산출 수단과,
상기 색 평가값 산출 수단에 의해 산출되는 각 블록의 색 평가값과, 상기 제2 광원 하에서의 백색의 색 평가값과의 차분에 의거하여 합성 비율을 산출하는 합성 비율 산출 수단과,
상기 합성 비율에 따라 상기 보정수단에 의해 생성된 상기 제1 현상 화상 데이터와 상기 제2 현상 화상 데이터를 합성하는 합성 수단을 구비하는, 화상처리장치.
제 1 항에 있어서,
상기 씬 화상 데이터로부터 상기 제1 광원에 대응한 상기 제1 화이트 밸런스 보정값을 결정하는 제1 결정 수단과,
상기 씬 화상 데이터로부터 상기 제2 광원에 대응한 상기 제2 화이트 밸런스 보정값을 결정하는 제2 결정 수단을 더 구비하는, 화상처리장치.
제 2 항에 있어서,
상기 제1 결정 수단은 흑체 방사축을 이용한 화이트 밸런스 제어에 의거하여 상기 제1 화이트 밸런스 보정값을 결정하는, 화상처리장치.
제 2 항 또는 제 3 항에 있어서,
상기 제2 결정 수단은, 광원마다 미리 결정된 값을 이용해서 상기 제2 화이트 밸런스 보정값을 결정하는, 화상처리장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 합성 수단은, 상기 씬 화상 데이터의 광원을 판별할 수 없는 경우에는, 상기 합성을 행하지 않는, 화상처리장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 합성 비율 산출 수단은, 보간 처리에 의해 화소마다의 합성 비율을 산출하는, 화상처리장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 색 평가값 산출 수단은, 포화 화소가 존재할 경우에는, 상기 포화 화소의 화소값과 상기 포화 화소에 대응한 또 다른 색의 화소의 화소값을, 색 평균값의 산출로부터 제외시키는, 화상처리장치.
제 4 항에 있어서,
상기 제2 결정 수단은, 광원의 틴트를 보존하도록 상기 제2 화이트 밸런스 보정값을 결정하는, 화상처리장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 합성 수단은, 상기 제1 현상 화상 데이터 및 상기 제2 현상 화상 데이터의 색 성분만을 합성하는, 화상처리장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 보정 수단은 씬의 제3 광원에 대응한 제3 화이트 밸런스 보정값을 이용하여 상기 씬 화상 데이터를 보정해서 제3 현상 화상 데이터를 생성하고, 상기 합성 수단은 제1, 제2, 및 제3 현상 화상 데이터를 합성하는, 화상처리장치.
제 10 항에 있어서,
광원마다 미리 결정된 값을 이용해서, 상기 씬 화상 데이터로부터 상기 제2 및 제3 광원에 대응한 상기 제2 및 제3 화이트 밸런스 보정값을 결정하도록 구성된 제2 결정수단을 포함하는, 화상처리장치.
씬 화상 데이터로부터, 제1 씬 광원에 대응한 제1 화이트 밸런스 보정값을 이용하여 상기 씬 화상 데이터를 보정해서 제1 현상 화상 데이터를 생성하고, 상기 제2 씬 광원에 대응한 제2 화이트 밸런스 보정값을 이용하여 상기 씬 화상 데이터를 보정해서 제2 현상 화상 데이터를 생성하는 단계와,
상기 씬 화상 데이터를 복수의 블록으로 분할하는 단계와,
상기 씬 화상 데이터의 각 화소의 값을 분할된 각 블록에 대해서 가산 및 평균하여 상기 각 블록의 색 평가값을 산출하는 단계와,
상기 산출된 각 블록의 색 평가값과 상기 제2 씬 광원 하에 있는 백색의 색 평가값과의 차분에 의거하여 합성 비율을 산출하는 단계와,
상기 산출된 합성 비율에 따라 상기 보정에 의해 생성된 상기 제1 현상 화상 데이터와 상기 제2 현상 화상 데이터를 합성하는 단계를 포함하는, 화상처리방법.
제 12 항에 있어서,
상기 씬 화상 데이터로부터 상기 제1 씬 광원에 대응한 상기 제1 화이트 밸런스 보정값을 결정하는 단계와,
상기 씬 화상 데이터로부터 상기 제2 씬 광원에 대응한 상기 제2 화이트 밸런스 보정값을 결정하는 단계를 더 포함하는, 화상처리방법.