KR101710629B1

KR101710629B1 - 촬상 장치 및 촬상 방법

Info

Publication number: KR101710629B1
Application number: KR1020100127097A
Authority: KR
Inventors: 타카히코 요시다
Original assignee: 삼성전자주식회사
Priority date: 2009-12-24
Filing date: 2010-12-13
Publication date: 2017-02-27
Also published as: KR20110074440A; JP2011135377A; JP5566679B2

Abstract

플래시 비발광시의 화상에서 다운샘플링 된 화소에 대해서 적절하게 보간하여 화상 전체를 적절한 화이트 밸런스로 조정할 수 있는 촬상 장치 및 촬상 방법을 제공한다. 본 발명의 일 실시예에 따르면, 화소수가 적은 플래시 비발광시의 제1 화상의 제1 피사체 휘도를 산출하고, 플래시 발광시의 제2 화상이 제1 화상의 사이즈와 동일해지도록 다운샘플링된 제3 화상의 제2 피사체 휘도를 산출하고, 화소별 제1 및 제2 피사체 휘도와의 피사체 휘도 차분에 기초한 제1 플래시 반사량에 대해 제3 화상의 화소 단위의 휘도값으로부터 제1 화상과 제3 화상의 위치 어긋남의 영향을 줄이는 보간을 하여 제2 플래시 반사량을 산출하고, 제2 화상의 화소 단위의 휘도값으로부터 제2 플래시 반사량에 대해 제3 화상을 제2 화상의 사이즈로 확대하는 보간을 하여 제3 플래시 반사량을 산출하고, 제3 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출한다.

Description

촬상 장치 및 촬상 방법{Image pickup apparatus and image pickup method}

본 발명은 촬상 장치 및 촬상 방법에 관한 것이다.

디지털 스틸 카메라 등의 전자적 촬상 장치에서 종래의 화이트 밸런스 보정 처리는 하나의 화이트 밸런스 게인을 화상 전체에 일률적으로 적용하는 처리이다.

예를 들어 조명광(주변광)이 어두운 씬에서는 노광 부족을 해소하기 위해 플래시를 발광하여 촬영한다. 플래시를 발광하여 촬영했을 때 화이트 밸런스 게인은 플래시의 발광량 등에 따라 산출된다. 이 때 주변광과 플래시광이 혼합된 씬으로 촬영한 경우 디지털 스틸 카메라에 가까운 거리에 있는 피사체는 적절한 화이트 밸런스로 조절할 수 있다. 그러나 먼 거리에 있는 피사체는 플래시광보다 주변광의 의존도가 높아진다. 따라서 주변광이 형광등 등인 경우 주변광과 플래시광의 색온도차가 커진다. 그 결과 화이트 밸런스 보정 처리를 화상 전체에 적용하면, 먼 거리에 있는 흰 피사체가 노랗게 되는 등 부적절한 화이트 밸런스가 발생하는 문제가 발생한다.

따라서 화상 전체를 적절한 화이트 밸런스로 하기 위해 플래시 발광 화상과 플래시 비발광 화상을 비교함으로써 플래시 반사량을 산출하고, 그 플래시 반사량으로부터 최적의 화이트 밸런스 게인을 화소 단위로 산출하여 적용하는 기술이 개시되어 있다.

특허문헌 1에는, 플래시 발광 화상과 플래시 비발광 화상의 화상 사이즈가 다른 경우에 보간함으로써 최적의 화이트 밸런스 게인을 산출하는 기술이 개시되어 있다. 플래시 발광 화상과 플래시 비발광 화상 전체를 여러 개의 블럭으로 분할하여 대응하는 블럭의 비교에 의해 화이트 밸런스 게인을 구하고, 그것을 해당 블럭의 중심 화소에 대한 화이트 밸런스 게인으로 한다. 비중심 화소의 화이트 밸런스 게인은 인접한 블럭의 중심 화소로부터의 거리에 의해 보간하여 구한다.

또 특허문헌 2에는 특허문헌 1과 다른 방식으로 보간하는 방법이 개시되어 있다. 다운샘플링을 하여 화소수를 줄인 플래시 비발광 화상과 플래시 발광 화상을 취득하고 화소 단위로 색온도 조건을 산출한다. 플래시 비발광 화상이 다운샘플링된 화상인 경우, 다운샘플링된 화소를 보간함으로써 화이트 밸런스 게인을 구하였다. 보간 대상 화소의 색온도 조건은 보간 대상 화소에 가까운 3화소를 선택하고, 보간 대상 화소의 휘도값에 가까운 화소의 색온도 조건을 보간 대상 화소의 색온도 조건으로 한다. 이 색온도 조건으로부터 보간 대상 화소의 화이트 밸런스 게인을 구한다.

[선행기술문헌]

[특허문헌]

[특허문헌 1] 일본특개2005-347811호 공보

[특허문헌 2] 일본특개2002-369211호 공보

그런데 특허문헌 1에는, 엣지 등의 경계가 있는 피사체에서 그 경계에서 색온도가 크게 변화될 경우, 중심 화소로부터의 거리를 이용한 보간으로는 경계 부근에서 부적절한 화이트 밸런스 게인이 도출되는 문제가 있다.

또 특허문헌 2에는, 엣지 등의 경계가 있는 피사체에서는 적절하게 보간되었으나, 화이트 밸런스 게인이 빈번하게 변화되는 피사체에서는 단차가 발생하여 자연스럽지 않게 보간되는 문제가 있다.

라이브뷰 화상 등 플래시 발광 화상보다 화소수가 적은 플래시 비발광 화상을 사용한 경우, 다운샘플링된 화소는 보간에 의해 화이트 밸런스 게인을 구해야 한다. 이와 같은 방법에서 화소간의 거리에 의한 보간, 또는 근방 화소의 값을 그대로 이용하는 보간으로는 적절한 화이트 밸런스 게인을 구할 수 없다는 문제가 있다.

본 발명은 상기 문제를 감안하여 이루어진 것으로서, 본 발명의 실시예들은 화소수가 적은 플래시 비발광시의 화상과 화소수가 많은 본 촬영 화상인 플래시 발광시의 화상을 비교하여 화소 단위로 화이트 밸런스 게인을 산출하는 방법에서, 다운샘플링된 화소에 대해서 적절하게 보간을 수행함으로써 화상 전체를 적절한 화이트 밸런스로 조정할 수 있는 신규 및 개량된 촬상 장치 및 촬상 방법을 제공하기 위한 것이다.

상기 과제를 해결하기 위해 본 발명의 일 측면에 의하면, 다운샘플링 처리에 의해 화소수가 적은 플래시 비발광시의 제1 화상을 취득하고, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 촬상부; 상기 제2 화상이 상기 제1 화상의 사이즈와 동일해지도록 상기 제2 화상에 대해 다운샘플링 처리하여 제3 화상을 취득하는 다운샘플링부; 취득된 상기 제1 화상의 전화소에 대해 제1 피사체 휘도를 산출하고, 취득된 상기 제3 화상의 전화소에 대해서 제2 피사체 휘도를 산출하는 피사체 휘도 산출부; 화소별 상기 제1 피사체 휘도와 화소별 상기 제2 피사체 휘도와의 차분인 피사체 휘도 차분을 전화소에 대해서 산출하는 피사체 휘도 차분 산출부; 상기 피사체 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 플래시 반사량 산출부; 상기 제3 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제1 플래시 반사량에 대해 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 제1 플래시 반사량 보간부; 상기 제2 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제2 플래시 반사량에 대해, 상기 제3 화상의 사이즈로부터 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여 제3 플래시 반사량을 산출하는 제2 플래시 반사량 보간부; 및 상기 제3 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함하는 촬상 장치가 제공된다. 그 결과 다운샘플링된 화소에 대해서 적절하게 보간이 이루어지기 때문에 화상 전체를 적절한 화이트 밸런스로 조정할 수 있다.

상기 촬상 장치는, 상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 화이트 밸런스 제어부를 더 포함할 수 있다. 이 구성에 의해 화이트 밸런스 게인이 제2 화상의 전화소에 화소 단위로 적용되어 화소 단위로 화이트 밸런스가 제어된다.

상기 촬상 장치는, 상기 제1 화상에 대한 제1 노광 제어값과, 상기 제2 화상에 대한 제2 노광 제어값을 산출하는 노광 제어값 산출부; 및 상기 제1 노광 제어값과 상기 제2 노광 제어값과의 차분인 노광 제어값 차분을 전화소에 대해서 산출하는 노광 제어값 차분 산출부를 더 포함하고, 상기 촬상부는 상기 제1 노광 제어값에 기초하여 촬영하여 상기 제1 화상을 취득하고, 상기 제2 노광 제어값에 기초하여 촬영하여 상기 제2 화상을 취득할 수 있다.

상기 제1 노광 제어값과 상기 제2 노광 제어값은 상기 노광 제어값 산출부에 의해 서로 독립적으로 산출될 수 있다. 상기 제1 노광 제어값과 제2 노광 제어값은 일치할 필요가 없다.

상기 촬상부는 상기 노광 제어값 산출부에 의해 산출된 상기 제1 노광 제어값 중 조리개값을 일치시킨 상기 제2 노광 제어값으로 촬영하여 상기 제2 화상을 취득할 수 있다.

상기 촬상 장치는, 상기 플래시 반사량 산출부에 의해 산출된 상기 제1 플래시 반사량에 기초하여 주변광의 컬러 밸런스와 플래시광의 컬러 밸런스를 선형 보간하고 대상 화소의 컬러 밸런스를 산출하는 컬러 밸런스 산출부를 더 포함하고, 상기 화이트 밸런스 게인 산출부는 상기 컬러 밸런스에 기초하여 상기 화이트 밸런스 게인을 산출할 수 있다.

상기 제1 플래시 반사량 보간부는 중심에 위치하는 보간 대상이 되는 화소의 상하좌우의 보간원 화소의 휘도값과 상기 제1 플래시 반사량에 기초하여 상기 제2 플래시 반사량을 산출할 수 있다.

상기 제1 플래시 반사량 보간부는 중심에 위치하는 보간 대상이 되는 화소와, 상하 방향, 좌우 방향 각각의 보간원 화소와의 거리는 일정할 수 있다.

본 발명의 일 실시예의 다른 측면에 따르면, 다운샘플링 처리에 의해 화소수가 적은 플래시 비발광시의 제1 화상을 취득하고, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 단계; 상기 제2 화상이 상기 제1 화상의 사이즈와 동일해지도록 상기 제2 화상에 대해 다운샘플링 처리하여 제3 화상을 취득하는 단계; 취득된 상기 제1 화상의 전화소에 대해서 제1 피사체 휘도를 산출하고, 취득된 상기 제3 화상의 전화소에 대해 제2 피사체 휘도를 산출하는 단계; 화소별 상기 제1 피사체 휘도와 화소별 상기 제2 피사체 휘도와의 차분인 피사체 휘도 차분을 전화소에 대해 산출하는 단계; 상기 피사체 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 단계; 상기 제3 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제1 플래시 반사량에 대해 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 단계; 상기 제2 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제2 플래시 반사량에 대해, 상기 제3 화상의 사이즈로부터 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여 제3 플래시 반사량을 산출하는 단계; 및 상기 제3 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출하는 단계를 포함하는 촬상 방법이 제공된다.

본 발명의 일 실시예의 다른 측면에 따르면, 화소수가 적은 플래시 비발광시의 제1 화상과, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 촬상부; 상기 제2 화상을 상기 제1 화상의 사이즈로 다운샘플링하여 제3 화상을 생성하는 다운샘플링부; 상기 제1 화상과 상기 제3 화상의 휘도 차분을 산출하는 휘도 차분 산출부; 기 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 플래시 반사량 산출부; 및 상기 제1 플래시 반사량에 기초하여, 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함하는, 촬상 장치가 제공된다.

상기 촬상 장치는, 상기 제1 플래시 반사량에 대해, 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 제1 플래시 반사량 보간부를 더 포함하고, 상기 화이트 밸런스 게인 산출부는, 상기 제2 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출할 수 있다.

상기 촬상 장치는, 상기 제2 화상의 각 화소의 휘도값을 이용하여, 상기 제2 플래시 반사량에 대해 상기 제3 화상의 화상 사이즈에서 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여, 제3 플래시 반사량을 산출하는 제2 플래시 반사량 보간부를 더 포함하고, 상기 화이트 밸런스 게인 산출부는, 상기 제3 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출할 수 있다.

또한, 상기 촬상 장치는은, 상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 화이트 밸런스 제어부를 더 포함할 수 있다.

본 발명의 일 실시예의 다른 측면에 따르면, 화소수가 적은 플래시 비발광시의 제1 화상과, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 단계; 상기 제2 화상을 상기 제1 화상의 사이즈로 다운샘플링하여 제3 화상을 생성하는 단계; 상기 제1 화상과 상기 제3 화상의 휘도 차분을 산출하는 단계; 기 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 단계; 및 기 제1 플래시 반사량에 기초하여, 화이트 밸런스 게인을 산출하는 단계를 포함하는, 촬상 방법이 제공된다.

상기 촬상 방법은, 상기 제1 플래시 반사량에 대해, 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 단계를 더 포함하고, 상기 화이트 밸런스 게인을 산출하는 단계는, 상기 제2 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출할 수 있다.

상기 촬상 방법은, 상기 제2 화상의 각 화소의 휘도값을 이용하여, 상기 제2 플래시 반사량에 대해 상기 제3 화상의 화상 사이즈에서 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여, 제3 플래시 반사량을 산출하는 단계를 더 포함하고, 상기 화이트 밸런스 게인을 산출하는 단계는, 상기 제3 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출할 수 있다.

또한, 상기 촬상 방법은, 상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 단계를 더 포함할 수 있다.

본 발명의 실시예들에 따르면 화소수가 적은 플래시 비발광시의 화상과, 화소수가 많은 본 촬영 화상인 플래시 발광시의 화상을 비교하여 화소 단위로 화이트 밸런스 게인을 산출하는 방법에서, 다운샘플링된 화소에 대해 적절하게 보간함으로써 화상 전체를 적절한 화이트 밸런스로 조절할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 촬상 장치의 구조의 구조를 도시한 블럭도이다.
도 2A는 본 발명의 일 실시예에 따른 촬상 장치(100)의 화이트 밸런스 게인의 산출 동작을 도시한 흐름도이다.
도 2B는 본 발명의 일 실시예에 따른 촬상 장치(100)의 화이트 밸런스 게인의 산출 동작을 도시한 흐름도이다.
도 3은 베이어 유닛을 설명하기 위한 도면이다.
도 4는 다운샘플링 처리를 설명하기 위한 도면이다.
도 5는 플래시 발광 촬영으로 취득되는 화상의 일 예를 나타낸 도면이다.
도 6은 플래시 비발광 촬영으로 취득되는 화상의 일 예를 나타낸 도면이다.
도 7은 플래시 비발광 화상에 대해 노광 제어값 차분을 적용한 화상의 일 예를 나타낸 도면이다.
도 8은 보간 대상 화소 및 보간원 화소를 설명하기 위한 도면이다.
도 9는 보간 처리를 설명하기 위한 도면이다.
도 10은 보간 처리를 설명하기 위한 도면이다.
도 11은 보간 대상 화소 및 보간원 화소를 설명하기 위한 도면이다.

이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.

하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성 요소에 대해서는 동일 부호를 붙임으로써 중복 설명을 생략한다.

또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

도 1은, 본 발명의 일 실시예에 따른 촬상 장치(100)에서의 화상 처리 파이프 라인의 블럭도를 도시한다. 도 2A 및 도 2B는, 본 발명의 일 실시예에 따른 촬상 장치(100)의 화이트 밸런스 게인의 산출 동작을 도시한 흐름도이다.

렌즈(102)를 통과한 광은 CCD 이미지 센서 또는 CMOS 이미지 센서 등의 촬상 소자(108)에 결상된다. 그 결과 촬상 소자(108)로부터 신호 처리부(110)을 거쳐 RGB 화상 신호가 얻어진다. 신호 처리부(110)는 촬상 소자(108)로부터의 신호에 대해 색분리 처리, A/D변환 등을 수행한다.

신호 처리부(110)에서 얻어진 RGB 화상 신호는 전처리부(112)에 의한 결함 화소 보정, 그레이 레벨 보정, 셰이딩 보정 등의 처리가 실시된다. 전처리부(112)는 AE 평가값 산출부(124)를 포함하여, RGB 화상 신호에 기초하여 AE 평가값을 산출한다. AE 평가값은 AE 산출부(150)에 보내진다. 실제로 촬영이 이루어지면 AE 산출부(150)에서 산출된 AE값에 기초하여 노광 제어부(152)는 조리개(104), 셔터(106)를 조정한다.

또 전처리부(112)에서 처리된 화상 신호는 후처리부(114)에 의한 화이트 밸런스 보정 처리, 베이어 색보간(디모자이크) 처리, 색보정 처리, 엣지 강조 처리, 감마 보정 처리, 노이즈 저감 처리 등 여러가지 화상 처리가 실시된다. 그 후 RGB-YCC변환부(116)에서 RGB신호가 YCC신호로 변환되고 데이터 압축부(118)에서 JPEG 등의 형식으로 압축 처리된다. 그리고 메모리 카드 접속부(120)를 통해 메모리 카드(122)에 화상 데이터가 기록된다. 메모리 카드 접속부(120)는 메모리 카드(122)와 촬상 장치(100) 사이의 인터페이스 역할을 한다.

본 실시예에 따르면, 플래시(160)를 발광하여 촬영함으로써 취득되는 플래시 발광 화상에 대해 화소 단위로 적절한 화이트 밸런스 게인을 산출하는 것을 특징으로 한다. 이하, 본 실시예에 따른 촬상 장치(100)의 촬영 동작에 대해서 설명하기로 한다.

사용자에 의해 셔터 버튼이 눌림으로써 촬영이 개시된다. 이하에서는 노광 조건에 의해 플래시 발광이 필요한 경우에 대해서 설명하기로 한다. 플래시 발광이 필요한 노광 조건의 경우, 플래시(160)를 발광하지 않는 플래시 비발광 촬영과 플래시(160)를 발광하는 플래시 발광 촬영을 수행함으로써, 1회의 촬영이 이루어 진다.

우선 플래시(160)를 발광하지 않고 촬영하여 플래시 비발광시의 화상을 취득한다(단계S101). 플래시(160)를 발광시키지 않고 촬상된 제1 촬상은, 도 6과 같은 플래시 발광전의 주변광만에 의한 RGB화상 신호로 이루어진다. 제1 화상은 화상 메모리(130)의 제1 촬상 기억부(132) 등의 기억 수단에 저장된다(단계S102). 상기 제1 화상은 라이브뷰 화상과 같이 다운샘플링 처리 등에 의해, 본 촬영 화상의 사이즈보다 화상 사이즈가 작은 화상이다.

계속해서 플래시(160)를 발광하는 촬영인 제2 촬상에 의해, 도 5와 같은 플래시 발광 후의 RGB화상 신호로 이루어진 제2 화상이 취득된다(단계S103). 제2 화상은, 화상 메모리(130)의 제2 촬상 기억부(134) 등의 기억 수단에 저장된다(단계S104).

멀티AWB 처리부(140)의 컬러 밸런스 산출부(144)는 입력된 화상 신호로부터 컬러 밸런스를 산출한다. 컬러 밸런스 산출부(144)는 플래시 비발광 화상의 RGB 화상 신호에 대해, 색상 성분 별로, 즉, R, G, B 별로, 플래시(160)가 발광되지 않는 주변광뿐인 경우의 컬러 밸런스 CBer(=R/G)과 CBeb(=B/G)을 산출한다. 동시에 주변광이 없는 플래시광으로만 촬상한 경우의 컬러 밸런스 CBfr, CBfb를 기본값으로 하여, ROM에 사전에 저장해놓은 데이터를 ROM으로부터 독출한다.

도 1은, 본 발명의 실시형태에 관한 촬상 장치(100)에서의 화상 처리 파이프 라인의 블럭도를 도시한다. 멀티AWB 처리부(140)의 입력값은 플래시 비발광시의 RGB화상 신호와 플래시 발광시의 RGB화상 신호를 포함하며, 출력값은 화이트 밸런스 게인으로서, 전화소 각각의 화이트 밸런스 게인을 포함한다. 화이트 밸런스 제어부(126)는 전화소에 대해 화소 단위로 화이트 밸런스 게인을 적용한다.

우선, 화상 메모리(130) 등의 기억 수단에 저장된 플래시 비발광시의 RGB화상 신호와 플래시 발광시의 RGB화상 신호에 기초하여, 화소 단위의 피사체 휘도가 산출된다. 화소 단위의 피사체 휘도의 산출은, 도 3과 같이 R,G,G,B의 4개의 화소(12)를 1조로 한 베이어 유닛(14)을 1화소로 간주하거나, 베이어 색보간(디모자이크) 처리에 의해 베이어 화상에서의 R,G,G,B의 4개의 화소로부터 각 색 성분(R,G,B)으로부터 하나씩의 화소를 생성하여 수행한다.

다음으로 플래시 발광 화상인 제2 화상이 플래시 비발광 화상인 제1 화상과 동일 사이즈로 변경된다(단계S105). 제1 화상 사이즈로의 변경은, 상기 제2 화상에 화상 다운샘플링 처리를 하여, 제3 화상이 산출함으로써 수행된다. 도 4는 다운샘플링 처리를 설명하기 위한 도면이다. 도 4의 왼쪽 그림이 다운샘플링 전의 화상을 도시한다. 본 실시예에서 다운샘플링 처리란, 다운샘플링 전의 화상을 종횡 2분의 1로 다운샘플링할 경우, 4개의 화소로 이루어지는 픽셀 그룹(PG)에서 하나의 화소만을 추출하여, 작은 사이즈의 화상으로 변환하는 처리를 의미한다. 예를 들면, 도 4에 도시된 바와 같이, 하나의 픽셀 그룹(PG)에서 왼쪽 위의 화소(22)만을 뽑아내어 오른쪽 도면과 같은 화상으로 변환하는 것을 의미한다. 다운샘플링 처리는 다운샘플링 전의 화상을 종횡 3분의 1, 4분의 1의 사이즈로 다운샘플링하는 경우에도 유사하게 수행된다.

제2 화상에 대해 다운샘플링 처리를 할 때, 플래시 비발광 화상인 제1 화상이 어떻게 다운샘플링되는지에 따라 다운샘플링 방법을 변경되는 것도 가능하다. 도 4에서는 픽셀 그룹(PG) 내의 하나의 화소(예를 들면, 왼쪽 위의 화소(22))를 남기는 다운샘플링를 수행하였으나, 제2 화상의 다운샘플링 방법은, 제1 화상의 다운샘플링 방법에 따라 달라질 수 있다. 예를 들면, 제1 화상의 다운샘플링 방법이 도 4의 픽셀 그룹(PG) 내의 모든 화소의 평균값으로 하는 다운샘플링일 경우에는, 제2 화상에 대한 다운샘플링 처리도, 픽셀 그룹(PG) 내의 화소들의 평균값을 산출하여 제3 화상의 화소들을 산출하는 방법을 이용할 수 있다.

다음으로, 제1 화상 및 제3 화상의 각 화소에 대해서 멀티 AWB 처리부(140)가 화소 단위의 피사체 휘도값을 산출한다. 수학식 1 및 수학식 2에서 Y는 각 화소의 휘도값이다. 일예로서, G의 신호값은 휘도값Y와 거의 같은 값이 되기 때문에 휘도값Y 대신에 G의 신호값을 사용할 수도 있다. AE는 노출 제어값을 산출하는 AE 산출부(150)가 목표로 하는 목표 휘도 신호값이다. 이 계산으로 화소 단위로 제1 화상의 제1 피사체 휘도값(BVlp)와, 제3 화상의 제2 피사체 휘도값(BVsp)을 구한다. 여기에서 BVlp와 BVsp는 로그로 표현한 신호값으로서 APEX값으로 단위계를 정렬시켰다.

이 때 도 6에 도시한 제1 화상을 촬영할 때의 노광 제어값과, 도 5에 도시한 제2 화상을 촬영할 때의 노광 제어값이 일치하지 않는 경우에는 각 노광 제어값의 차분을 고려한다. 노광 제어값은 수학식 3의 관계를 갖는다. 여기에서 TV는 셔터 스피드, AV는 조리개값, SV는 감도, BV는 피사체 휘도가 되어 각각 APEX값으로 표현되어 있다.

플래시 비발광시의 TV, AV, SV에서 산출되는 피사체 휘도값 BV인 제1 노광 제어값(BVl)과, 플래시 발광시의 TV, AV, SV에서 산출되는 피사체 휘도값 BV인 제2 노광 제어값(BVs)을 각각 수학식 3을 이용해 구한다. 제1 화상의 경우 각각 제1 화상에 대한 노광 제어값들인 TVl, AVl, SVl을 이용하여 수학식 4와 같이 제1 노광 제어값(BVl)을 구하고, 제2 화상의 경우 각각 제2 화상에 대한 노광 제어 값들인 TVs, AVs, SVs을 이용하여 수학식 5와 같이 제2 노광 제어값(BVs)을 구한다.

다음으로, 수학식 4와 수학식 5로부터 구한 BVl과 BVs의 차분값(BVdiff)를 수학식 6에 의해 구한다. 이 때 제1 화상과 제2 화상의 노광 제어값이 일치할 경우에는 차분값(BVdiff)는 0이 된다.

이와 같이 하여 구한 화소 단위의 제1 화상의 제1 피사체 휘도값(BVlp)과, 노광 제어값의 차분값(BVdiff)을 고려하여 플래시 비발광 피사체 휘도 차분값(BVlpdiff)를 수학식 7에 의해 구한다. 도 6의 적정 노광으로 촬영된 플래시 비발광 화상에 대해 수학식 7의 계산을 적용하면, 도 7과 같이 화상 전체가 적정한 밝기가 된 화상이 된다.

멀티 AWB 처리부(140)가 수학식 8에 의해 화소 단위로, 제3 화상의 제2 피사체 휘도값(BVsp)과 플래시 비발광 피사체 휘도 차분값(BVlpdiff)과의 차분값인 플래시 발광 화상 피사체 휘도 차분값(BVdiffp)을 구한다.

수학식 8에서 구한 플래시 발광 화상 피사체 휘도 차분값(BVdiffp)으로부터 플래시 반사량 산출부(141)가 플래시 발광 화상인 제3 화상의 각 화소의 제1 플래시 반사량을 구한다(단계S106). 제3 화상의 광량(Lf)은 수학식 9와 같다.

제3 화상의 광량(Lf)으로부터, 플래시 비발광 화상인 제1 화상에서의 주변광량을 1로 했을 때의 제1 플래시 반사량(Ratio)을 구하면, 수학식 10과 같이 된다. 그리고 제3 화상의 모든 화소에 대해서 제1 플래시 반사량을 산출한다(단계S107).

제3 화상의 각 화소의 휘도값과, 수학식 10에서 구한 제1 플래시 반사량에 기초하여 제1 플래시 반사량 보간부(142)가 보간을 하고 제3 화상의 각 화소에 대해서 제2 플래시 반사량을 구한다(단계S108, S109). 일예로서, 각 화소의 G의 신호값은 휘도값과 거의 같은 값이 되기 때문에 휘도값 대신에 G의 신호값을 사용할 수도 있다. 제1 플래시 반사량 보간부(142)가 보간을 하여 제2 플래시 반사량을 산출하는 목적은, 애당초 제1 화상과 제3 화상은 촬상의 타이밍이 동시는 아니기 때문에 카메라 흔들림 등의 영향에 의해 어긋날 가능성이 있고, 그 어긋남에 의해 잘못된 제1 플래시 반사량을 산출할 가능성이 있기 때문이다. 본 발명의 일 실시예에 따르면, 제1 플래시 반사량 보간부(142)가 주변 화소의 값으로부터 보간 대상 화소를 보간함으로써, 어긋남의 영향을 줄일 수 있다.

여기에서 도 8에서 제3 화상에서의 보간 대상 화소를 C55라고 하면 상하좌우의 화소 C15, C95, C51, C59를 보간원의 화소라고 한다. 도 8의 실시예에서는, 보간 대상 화소(C55)로부터 1 화소 떨어진 화소를 보간원의 화소라고 하였으나, 보간원 화소는 다양하게 결정될 수 있다. 예를 들면, 보간원 화소는 상하좌우의 인접한 화소들(C35, C75, C53, C57)이거나, 상하좌우의 2 화소 이상 떨어진 화소들일 수 있다.

수학식 10 등을 참조하면, 보간원 화소의 휘도값 Y1, Y2와 제1 플래시 반사량 Ratio1, Ratio2가 이미 알려진 값이고, 또한 보간 대상 화소의 휘도값 Y도 이미 알려진 값이다. 이들 값으로부터 수학식 11에서 제3 화상의 보간 대상 화소의 제2 플래시 반사량을 구한다. 이러한 보간의 개념도는 도 9와 같다.

수학식 11은 2점간의 보간이 되기 때문에 상하 방향의 플래시 반사량(Ratio_v)과 좌우 방향의 플래시 반사량(Ratio_h)을 각각 수학식 11에 의해 구하고, 제2 플래시 반사량(Ratio_result)을 수학식 12와 같이 평균값으로서 산출한다.

또한, 수학식 12와 같이 평균값을 산출하는 것이 아니라 전화소에 대해서 상하 방향의 보간을 한 후에 좌우 방향의 보간을 하도록 상하 방향과 좌우 방향의 보간을 분리해도 좋다.

상기와 같은 보간 계산을 하면, 도 10과 같이 보간 대상 화소 A, B, C, D, 및 E가 보간원 화소 1, 2사이에 여러 개 있고 보간 대상 화소의 휘도값이 빈번하게 변화되는 경우, 및/또는 피사체에 엣지가 있어 색온도차에 큰 경계가 발생할 경우에도 적절하게 보간하여 플래시 반사량을 적절하게 산출할 수 있다.

이어서 제3 화상의 화상 사이즈에서 제2 화상의 화상 사이즈로 확대한다. 도 11과 같이 상하좌우 방향의 화소를 참조하여 제2 화상에 기초하여 이미 알려진 다운샘플링 된 화소의 휘도값으로부터, 수학식 11 및 수학식 12를 사용하여 제2 플래시 반사량 보간부(143)가 보간을 한다(단계S110). 이와 같이 하여 제2 화상의 화상 사이즈의 전화소에 대해서 보간을 하여 제3 플래시 반사량을 산출한다(단계S111).

이 제3 플래시 반사량을 토대로 컬러 밸런스 산출부(144)가 플래시광의 컬러 밸런스(CBf)와 주변광의 컬러 밸런스(CBe)를 선형 보간하여 대상 화소의 컬러 밸런스(CB)를 구한다(단계S112). 컬러 밸런스 CB는 R, B 각각 개별적으로 구한다.

수학식 13에서 구한 R과 B의 컬러 밸런스로부터 수학식 14에 의해 화이트 밸런스 게인 산출부(145)가 대상 화소의 화이트 밸런스 게인(WBGainR, WBGainB)을 산출한다(단계S113).

수학식 13 및 수학식 14의 처리를 전화소에 대해서 수행함으로써(단계S114), 플래시 비발광 화상과 플래시 발광 화상의 화상 사이즈가 다른 경우에도 플래시광과 주변광이 혼재되는 씬에 대해서 적절한 화이트 밸런스 게인을 화소 단위로 구할 수 있다.

모든 화소의 화이트 밸런스 게인을 산출한 후에 화이트 밸런스 제어부(126)에 의해 플래시 발광 화상의 해당 화소에 화이트 밸런스 게인을 적용함으로써 적절한 화이트 밸런스 처리를 할 수 있다.

종래에는 플래시 비발광 화상과 플래시 발광 화상의 화상 사이즈가 다른 경우에 적정한 화이트 밸런스 게인을 산출할 수 없다는 문제가 있었다. 한편 본 실시형태에서는 화상 사이즈가 다른 플래시 비발광 화상이라도 화소의 휘도값을 토대로 보간함으로써 주변광과 플래시광이 혼재된 씬에 대해서도 화소 단위로 적절한 화이트 밸런스 게인을 산출할 수 있게 된다.

즉, 라이브뷰 화상 등 화소수가 적은 플래시 비발광시의 화상과, 화소수가 많은 풀사이즈의 본 촬영 화상인 플래시 발광시의 화상을 비교하여 화소 단위로 적절한 화이트 밸런스 게인을 산출하는 방법에서, 다운샘플링 된 화소에 대해서 적절하게 보간함으로써 화상 전체를 적절한 화이트 밸런스로 조정할 수 있다.

이상, 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해서 상세히 설명하였으나, 본 발명은 상기 예로 한정되지 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 특허청구범위에 기재된 기술적 사상의 범주내에서 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명백하고 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

100 촬상 장치
102 렌즈
104 조리개
106 셔터
108 촬상 소자
110 신호 처리부
112 전처리부
114 후처리부
116 RGB-YCC변환부
118 데이터 압축부
120 메모리 카드 접속부
122 메모리 카드
124 AE 평가값 산출부
126 화이트 밸런스 제어부
130 화상 메모리
132 제1 촬상 기억부
134 제2 촬상 기억부
140 멀티 AWB 처리부
141 플래시 반사량 산출부
142 제1 플래시 반사량 보간부
143 제2 플래시 반사량 보간부
144 컬러 밸런스 산출부
145 화이트 밸런스 게인 산출부
150 AE 산출부
152 노광 제어부
160 플래시

Claims

다운샘플링 처리에 의해 화소수가 적은 플래시 비발광시의 제1 화상을 취득하고, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 촬상부;
상기 제2 화상이 상기 제1 화상의 사이즈와 동일해지도록 상기 제2 화상에 대해 다운샘플링 처리하여 제3 화상을 취득하는 다운샘플링부;
취득된 상기 제1 화상의 전화소에 대해 제1 피사체 휘도를 산출하고, 취득된 상기 제3 화상의 전화소에 대해서 제2 피사체 휘도를 산출하는 피사체 휘도 산출부;
화소별 상기 제1 피사체 휘도와 화소별 상기 제2 피사체 휘도와의 차분인 피사체 휘도 차분을 전화소에 대해서 산출하는 피사체 휘도 차분 산출부;
상기 피사체 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 플래시 반사량 산출부;
상기 제3 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제1 플래시 반사량에 대해 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 제1 플래시 반사량 보간부;
상기 제2 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제2 플래시 반사량에 대해, 상기 제3 화상의 사이즈로부터 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여 제3 플래시 반사량을 산출하는 제2 플래시 반사량 보간부; 및
상기 제3 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함하는 촬상 장치.
제1항에 있어서, 상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 화이트 밸런스 제어부를 더 포함하는 촬상 장치.
제1항 또는 제2항에 있어서, 상기 촬상 장치는,
상기 제1 화상에 대한 제1 노광 제어값과, 상기 제2 화상에 대한 제2 노광 제어값을 산출하는 노광 제어값 산출부; 및
상기 제1 노광 제어값과 상기 제2 노광 제어값과의 차분인 노광 제어값 차분을 전화소에 대해서 산출하는 노광 제어값 차분 산출부를 더 포함하고,
상기 촬상부는 상기 제1 노광 제어값에 기초하여 촬영하여 상기 제1 화상을 취득하고, 상기 제2 노광 제어값에 기초하여 촬영하여 상기 제2 화상을 취득하는, 촬상 장치.
제3항에 있어서, 상기 제1 노광 제어값과 상기 제2 노광 제어값은 상기 노광 제어값 산출부에 의해 서로 독립적으로 산출되는, 촬상 장치.
제3항에 있어서, 상기 촬상부는 상기 노광 제어값 산출부에 의해 산출된 상기 제1 노광 제어값 중 조리개값을 일치시킨 상기 제2 노광 제어값으로 촬영하여 상기 제2 화상을 취득하는, 촬상 장치.
제1항 또는 제2항에 있어서, 상기 촬상 장치는,
상기 플래시 반사량 산출부에 의해 산출된 상기 제1 플래시 반사량에 기초하여 주변광의 컬러 밸런스와 플래시광의 컬러 밸런스를 선형 보간하고 대상 화소의 컬러 밸런스를 산출하는 컬러 밸런스 산출부를 더 포함하고,
상기 화이트 밸런스 게인 산출부는 상기 컬러 밸런스에 기초하여 상기 화이트 밸런스 게인을 산출하는 촬상 장치.
제1항 또는 제2항에 있어서, 상기 제1 플래시 반사량 보간부는 중심에 위치하는 보간 대상이 되는 화소의 상하좌우의 보간원 화소의 휘도값과 상기 제1 플래시 반사량에 기초하여 상기 제2 플래시 반사량을 산출하는 촬상 장치.
제7항에 있어서, 상기 제1 플래시 반사량 보간부는 중심에 위치하는 보간 대상이 되는 화소와, 상하 방향, 좌우 방향 각각의 보간원 화소와의 거리는 일정한 촬상 장치.
다운샘플링 처리에 의해 화소수가 적은 플래시 비발광시의 제1 화상을 취득하고, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 단계;
상기 제2 화상이 상기 제1 화상의 사이즈와 동일해지도록 상기 제2 화상에 대해 다운샘플링 처리하여 제3 화상을 취득하는 단계;
취득된 상기 제1 화상의 전화소에 대해서 제1 피사체 휘도를 산출하고, 취득된 상기 제3 화상의 전화소에 대해 제2 피사체 휘도를 산출하는 단계;
화소별 상기 제1 피사체 휘도와 화소별 상기 제2 피사체 휘도와의 차분인 피사체 휘도 차분을 전화소에 대해 산출하는 단계;
상기 피사체 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 단계;
상기 제3 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제1 플래시 반사량에 대해 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 단계;
상기 제2 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제2 플래시 반사량에 대해, 상기 제3 화상의 사이즈로부터 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여 제3 플래시 반사량을 산출하는 단계; 및
상기 제3 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출하는 단계를 포함하는 촬상 방법.
화소수가 적은 플래시 비발광시의 제1 화상과, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 촬상부;
상기 제2 화상을 상기 제1 화상의 사이즈로 다운샘플링하여 제3 화상을 생성하는 다운샘플링부;
상기 제1 화상과 상기 제3 화상의 휘도 차분을 산출하는 휘도 차분 산출부;
상기 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 플래시 반사량 산출부; 및
상기 제1 플래시 반사량에 기초하여, 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함하는, 촬상 장치.
제10항에 있어서,
상기 촬상 장치는, 상기 제1 플래시 반사량에 대해, 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 제1 플래시 반사량 보간부를 더 포함하고,
상기 화이트 밸런스 게인 산출부는, 상기 제2 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출하는, 촬상 장치.
제11항에 있어서,
상기 촬상 장치는, 상기 제2 화상의 각 화소의 휘도값을 이용하여, 상기 제2 플래시 반사량에 대해 상기 제3 화상의 화상 사이즈에서 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여, 제3 플래시 반사량을 산출하는 제2 플래시 반사량 보간부를 더 포함하고,
상기 화이트 밸런스 게인 산출부는, 상기 제3 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출하는, 촬상 장치.
제12항에 있어서,
상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 화이트 밸런스 제어부를 더 포함하는 촬상 장치.
화소수가 적은 플래시 비발광시의 제1 화상과, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 단계;
상기 제2 화상을 상기 제1 화상의 사이즈로 다운샘플링하여 제3 화상을 생성하는 단계;
상기 제1 화상과 상기 제3 화상의 휘도 차분을 산출하는 단계;
상기 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 단계; 및
상기 제1 플래시 반사량에 기초하여, 화이트 밸런스 게인을 산출하는 단계를 포함하는, 촬상 방법.
제14항에 있어서,
상기 촬상 방법은, 상기 제1 플래시 반사량에 대해, 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 단계를 더 포함하고,
상기 화이트 밸런스 게인을 산출하는 단계는, 상기 제2 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출하는, 촬상 방법.
제15항에 있어서,
상기 촬상 방법은, 상기 제2 화상의 각 화소의 휘도값을 이용하여, 상기 제2 플래시 반사량에 대해 상기 제3 화상의 화상 사이즈에서 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여, 제3 플래시 반사량을 산출하는 단계를 더 포함하고,
상기 화이트 밸런스 게인을 산출하는 단계는, 상기 제3 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출하는, 촬상 방법.
제16항에 있어서,
상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 단계를 더 포함하는 촬상 방법.