KR20110074417A - 촬상 장치와 이를 이용한 촬상 방법 및 프로그램 - Google Patents

Abstract

본 발명은, 플래시를 발광시켜 촬영을 할 때에 화질을 열화시키지 않고 주피사체를 포함하는 화상 전체를 원하는 휘도로 촬영할 수 있도록 하는 촬상 장치와 이를 이용한 촬상 방법 및 프로그램에 관한 것이다. 본 발명은, 플래시를 발광하여 촬영하는 제1 촬영과 상기 플래시를 발광하지 않고 촬영하는 제2 촬영에 대하여 주피사체 영역의 휘도차를 산출하는 주피사체 휘도차 산출부; 상기 제1 촬영과 상기 제2 촬영에 대하여 각 화소의 휘도차에 해당하는 화소 휘도차를 산출하는 화소 휘도차 산출부; 상기 주피사체 영역의 휘도차와 상기 각 화소의 화소 휘도차에 기초하여 상기 각 화소의 휘도 증폭량을 산출하는 증폭량 산출부;를 구비하는 촬상 장치를 제공한다.

Description

촬상 장치와 이를 이용한 촬상 방법 및 프로그램{Image taking device and method and program for taking image therewith}

본 발명은 촬상 장치와 이를 이용한 촬상 방법 및 프로그램에 관한 것으로서, 보다 상세하게는 어두운 환경에서도 원하는 적정 휘도로 촬영을 수행할 수 있는 촬상 장치와 이를 이용한 촬상 방법 및 프로그램에 관한 것이다.

어두운 환경에서 촬영을 하는 경우에는 슬로우 싱크로(slow synchro) 촬영 방법에 의하여 촬영을 수행할 수 있다. 슬로우 싱크로 촬영 방법에 의하면, 주피사체에 대해서는 플래시 발광에 의하여 노출을 적정하게 하고, 배경에 대해서는 장시간 노광에 의하여 적정하게 노출할 수 있다.

이때, 슬로우 싱크로 촬영에 의하는 경우, 삼각대를 이용하여 촬상 장치를 고정하지 않으면 상이 흔들리는, 이른바 손떨림 화상이 촬영될 수 있다. 또한, 슬로우 싱크로 촬영에서는, 장시간 노광을 행하기 때문에 피사체가 움직이고 있는 경우는 피사체 떨림 화상이 촬영될 수 있다.

한편, 특허문헌 1(일본특허공개 제2004-32681호)에는, 노광 중 플래시 발광 후에 장시간 노광으로 얻어지는 광량을 게인(Gain)으로 보충함으로써, 셔터 속도를 빠르게 설정하여 손떨림 화상이나 피사체 떨림 화상이 촬영되는 것을 막는 방법이 개시되어 있다.

또한, 특허문헌 2(일본특허공개 평7-222049호)에는, 노광 시간과 플래시의 발광량을 줄이고, 노광 후에 부족한 광량을 게인으로 보충함으로써, 떨림 화상을 막으면서 주피사체와 배경의 밝기를 적정하게 하는 방법이 개시되어 있다.

특허문헌 1에 기재된 기술에서는, 노광 중에 게인을 증가시킴으로써, 장시간 노광 시와 같은 광량을 얻을 수 있도록 한다. 하지만, 실제로는 노광 후에 전송된 화상 데이터에 대하여 게인을 증가시키게 되므로, 원래의 화상에는 게인의 증가가 반영되지 않을 수 있다. 따라서, 종전에 비하여 셔터 속도만 빨라질 뿐이고, 여전히 배경은 어둡게 촬영될 수 있는 문제가 있다.

또한, 특허문헌 2에 기재된 기술에서는, 플래시 광이 닿지 않는 배경을 노광 후에 게인을 증가시켜 보충하는데, 게인을 증가시킴으로써 주피사체를 포함하는 화상 전체의 잡음이 많아질 수 있다. 또한, 주피사체에 노출을 맞춘 채로 게인을 증가시키면, 주피사체에 대해서는 노출이 오버될 수 있으므로, 플래시 발광량을 적정 발광량보다도 줄인 상태로 촬영해야 한다. 따라서, 결과적으로 플래시의 성능을 최대한으로 이끌어 낼 수 없게 되는 문제가 있다.

본 발명은, 플래시를 발광시켜 촬영을 할 때에 화질을 열화시키지 않고 주피사체를 포함하는 화상 전체를 원하는 휘도로 촬영할 수 있도록 하는 촬상 장치와 이를 이용한 촬상 방법 및 프로그램을 제공하는 것을 목적으로 한다.

본 발명은, 플래시를 발광하여 촬영하는 제1 촬영과 상기 플래시를 발광하지 않고 촬영하는 제2 촬영에 대하여 주피사체 영역의 휘도차를 산출하는 주피사체 휘도차 산출부; 상기 제1 촬영과 상기 제2 촬영에 대하여 각 화소의 휘도차에 해당하는 화소 휘도차를 산출하는 화소 휘도차 산출부; 상기 주피사체 영역의 휘도차와 상기 각 화소의 화소 휘도차에 기초하여 상기 각 화소의 휘도 증폭량을 산출하는 증폭량 산출부;를 구비하는 촬상 장치를 제공한다.

상기 주피사체 영역은, 상기 제1 촬영과 상기 제2 촬영에서의 휘도차가 최대인 화소를 포함하는 소정의 영역이 될 수 있다.

상기 증폭량 산출부는, 상기 주피사체 영역의 휘도차와 상기 각 화소의 상기 화소 휘도차의 차분으로부터 얻어지는 각 화소의 필요 광량에 기초하여 상기 휘도 증폭량을 산출할 수 있다.

상기 증폭량 산출부는, 상기 각 화소의 필요 광량을 상기 각 화소의 휘도에 따른 계수로 보정하는 보정부를 포함할 수 있다.

적정 노광량에 해당하는 적정 AE 평가값을 산출하는 적정 AE 산출부; 상기 적정 AE 평가값에 의하여 피사체 영역이 설정된 기준 휘도보다도 저휘도라고 판정된 경우는 플래시가 발광하도록 플래시 발광을 제어하고, 상기 적정 AE 평가값에 의하여 상기 피사체 영역이 상기 기준 휘도보다도 고휘도라고 판정된 경우는 상기 플래시가 발광하지 않도록 상기 플래시 발광을 제어하는 플래시 제어부;를 구비할 수 있다.

피사체에 플래시 광이 도달하는지를 판정하는 조광 센서부를 더 구비하고, 상기 플래시 제어부는, 상기 적정 AE 산출부에 의하여 상기 피사체 영역이 상기 기준 휘도보다 저휘도라고 판정되고, 상기 조광 센서부에 의해 상기 피사체에 플래시 광이 도달한다고 판정되는 경우는, 플래시가 발광하도록 상기 플래시 발광을 제어하며, 상기 적정 AE 산출부에 의해 상기 피사체 영역이 상기 기준 휘도보다 고휘도라고 판정되고, 상기 조광 센서부에 의해 상기 피사체에 플래시 광이 도달하지 않는다고 판정되는 경우는, 상기 플래시가 발광하지 않도록 상기 플래시 발광을 제어할 수 있다.

본 발명의 다른 측면은, 플래시를 발광하여 촬영하는 제1 촬영과 상기 플래시를 발광하지 않고 촬영하는 제2 촬영에서의 주피사체 영역의 휘도차를 산출하는 단계; 상기 제1 촬영과 상기 제2 촬영에서의 각 화소의 휘도차를 산출하는 단계; 상기 주피사체 영역의 휘도차와 상기 각 화소의 화소 휘도차에 기초하여 각 화소의 휘도 증폭량을 산출하는 단계;를 구비하는 촬상 방법을 제공한다.

본 발명의 또 다른 측면은, 플래시를 발광하여 촬영하는 제1 촬영과 상기 플래시를 발광하지 않고 촬영하는 제2 촬영에서의 주피사체 영역의 휘도차를 산출하는 수단; 상기 제1 촬영과 상기 제2 촬영에서의 각 화소의 휘도차를 산출하는 수단; 상기 주피사체 영역의 휘도차와 상기 각 화소의 화소 휘도차에 기초하여 각 화소의 휘도 증폭량을 산출하는 수단;을 구비하는 수단으로서 컴퓨터를 기능시키기 위한 프로그램을 제공한다.

본 발명에 따른 촬상 장치와 이를 이용한 촬상 방법 및 프로그램에 의하면, 플래시를 발광시켜 촬영을 할 때에 화질을 열화시키지 않고 주피사체를 포함하는 화상 전체를 원하는 휘도로 촬영할 수 있다.

도 1은 본 발명의 일 실시예에 의한 촬상 장치의 구성을 보여주는 블록도이다.
도 2는 도 1의 촬상 장치에 의하여 구현되는 화상을 개략적으로 도시한 도면이다.
도 3a는 도 1의 촬상 장치에 의하여 각각의 화소에서 게인을 산출하는 게인 산출법을 설명하기 위한 도면이다.
도 3b는 도 1의 촬상 장치에 의하여 각각의 화소에서 주피사체 영역에 대하여 게인을 산출하는 게인 산출법을 설명하기 위한 도면이다.
도 3c는 도 1의 촬상 장치에 의하여 각각의 화소에서 중거리 피사체에 대하여 게인을 산출하는 게인 산출법을 설명하기 위한 도면이다.
도 3d는 도 1의 촬상 장치에 의하여 각각의 화소에서 원거리 피사체에 대하여 게인을 산출하는 게인 산출법을 설명하기 위한 도면이다.
도 4는 게인을 보정하기 위한 계수 참조 테이블을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 촬상 방법을 보여주는 흐름도이다.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다. 본 명세서 및 도면에 있어서 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 부여하고, 이들에 대한 중복 설명을 생략한다.

도 1에는 본 발명의 일 실시예에 의한 촬상 장치(100)의 내부 구성을 보여주는 블록도가 도시되어 있다. 도 1에는 본 발명의 촬상 장치(100)의 일 실시 형태가 되는 디지털 스틸 카메라(Digital Still Camera)에 있어서 주로 화상 처리 파이프라인(pipeline)에 관계된 블록도를 도시하고 있다.

도면을 참조하면, 본 발명의 일 실시예에 따른 촬상 장치(100)는 줌렌즈(군)(102), 조리개 겸용 셔터(104), 포커스 렌즈(군)(108), 촬상 소자로서의 CCD(Charge Coupled Devices) 소자(110), 앰프 일체형의 CDS(Correlated Double Sampling) 회로(112), A/D변환기(114), 화상 입력 콘트롤러(116), AE 평가값 산출 회로(118), 화상 처리 회로(120), 압축 처리부(122), LCD(Liquid Crystal Display)드라이버(124), LCD(126), 타이밍 발생기(128), 화소 증폭부(130), CPU(Central Processing Unit)(150), 메모리(134), VRAM(Video Random Access Memory)(136), 미디어 콘트롤러(138), 기록 미디어(140), 모터(142), 드라이버(144), 조광 센서(160), 플래시(170)를 구비할 수 있다.

줌렌즈(102), 조리개 겸용 셔터(104) 및 포커스 렌즈(108)는, 각각의 드라이버(144)에 의해 제어되는 액추에이터에 해당하는 모터(142)에 의하여 구동된다. 줌렌즈(102)는, 광축 방향으로 전후하여 이동되고, 초점 거리를 연속적으로 변화시키는 렌즈이다. 조리개 겸용 셔터(104)는, 화상을 촬상할 때 CCD소자(110)의 노광 시간을 제어함과 동시에, CCD소자(110)에 입사하는 광량의 조절을 한다. 포커스 렌즈(108)는, 광축 방향에 대하여 전방 또는 후방으로 이동되고, CCD소자(110)에 결상된 피사체의 화상의 초점을 조절하는 것이다.

CCD 소자(110)는 줌 렌즈(102), 조리개 겸용 셔터(104) 및 포커스 렌즈(108)를 통과하여 입사한 광을 전기 신호로 변환하기 위한 소자이다.

또, 본 실시예에서는 촬상 소자로서 CCD 소자(110)를 이용하고 있으나, 본 발명은 이러한 예에 한정되지 않으며, CCD 소자(110) 대신에 CMOS(Complementary Metal Oxide Semiconductor) 소자를 이용할 수 있으며, 그 밖의 다른 이미지 센서를 이용해도 된다. CMOS 소자는, CCD 소자보다도 고속으로 피사체의 영상 광을 전기 신호로 변환할 수 있으므로, 피사체를 촬상하고 나서 화상의 합성 처리를 할 때까지의 시간을 단축할 수 있다.

CDS 회로(112)는, CCD 소자(110)로부터 출력된 전기 신호의 잡음을 제거하는 샘플링 회로의 일종인 CDS회로와, 잡음을 제거한 후에 전기 신호를 증폭하는 앰프가 일체가 된 회로이다. 본 실시 형태에서는 CDS 회로와 앰프가 일체가 된 회로를 이용하고 있는데, CDS 회로와 앰프를 각각의 회로로 구성할 수 있다.

A/D 변환기(114)는, CCD 소자(110)에서 생성된 전기 신호를 디지털 신호로 변환하여 화상의 로우 데이터(화상 데이터)를 생성하는 것이다. 화상 입력 콘트롤러(116)는, A/D 변환기(114)에서 생성된 화상의 로우 데이터(화상 데이터)의 메모리(134)로의 입력을 제어하는 것이다.

AE 평가값 산출 회로(118)는, CCD 소자(110)로부터 출력된 화상의 데이터로부터 노광량 정보로서의 AE 평가값을 산출한다. 또한, 화상 처리 회로(120)는, CCD 소자(110)로부터 출력된 화상의 데이터에 대해 광량의 게인 보정, 화상의 에지 처리(윤곽 강조 처리), 화이트 밸런스의 조정 등을 포함한 화상 처리를 수행한다.

압축 처리부(122)는, CCD 소자(110)로부터 출력된 화상의 데이터를 적절한 형식의 화상 데이터로 압축하는 압축 처리를 한다. 화상의 압축 형식은 가역 형식 또는 비가역 형식이 될 수 있다. 적절한 형식의 예로는 JPEG(Joint Photographic Experts Group)형식이나 JPEG2000형식이 될 수 있다.

LCD(126)는, 촬상 조작을 하기 전의 라이브 뷰 표시나 촬상 장치(100)의 각종 설정 화면이나 촬상한 화상의 표시 등을 수행한다. 화상 데이터나 촬상 장치(100)의 각종 정보가 LCD 드라이버(124)를 통하여 LCD(126)에 표시될 수 있다.

타이밍 발생기(128)는, CCD 소자(110)에 타이밍 신호를 입력한다. 즉, 타이밍 발생기(128)로부터의 타이밍 신호에 의해 CCD 소자(110)의 구동이 제어될 수 있다. 타이밍 발생기(128)는, CCD 소자(110)가 구동하는 시간 내에 피사체로부터의 영상 광을 입사시킴으로써, CCD 소자(110)에 전자 셔터의 기능을 갖게 할 수도 있다.

메모리(134)는 촬상한 화상을 일시적으로 기억하는 것이다. 메모리(134)는 복수의 화상을 기억할 수 있는 만큼의 기억 용량을 가질 수 있다. 화상 입력 콘트롤러(116)에 의하여 메모리(134)에 화상을 판독 및/또는 기입하는 것이 제어될 수 있다.

화소 증폭부(130)는 화소의 증폭량과 관계되는 게인을 산출하는 구성 요소이다. 화소 증폭부(130)는 플래시(170)를 발광시키는 제1 촬영과 플래시(170)를 발광시키지 않는 제2 촬영의 결과로부터 각 화소의 휘도 증폭량을 산출한다. 화소 증폭부(130)는, 주피사체 휘도 차 산출부(131), 화소 휘도 차 산출부(132), 및 증폭량 산출부(133)를 구비할 수 있다.

주피사체 휘도 차 산출부(131)는 제1 촬영과 제2 촬영에 대하여 주피사체 영역의 휘도 차를 산출한다. 화소 휘도 차 산출부(132)는 각 화소의 휘도 차에 해당하는 화소 휘도차를 산출한다. 증폭량 산출부(133)는 산출한 주피사체 영역의 휘도 차와 각 화소의 화소 휘도 차에 기초하여 각 화소의 휘도 증폭량을 산출한다.

따라서, 플래시 발광 시의 촬영 화상에 대해 각각의 화소 별로 적절한 게인(Gain)을 산출함으로써, 플래시(170)에 의하여 광이 닿지 않는 피사체에 대해서도 원하는 휘도로의 촬영을 가능하게 할 수 있다.

이때, 주피사체 영역은 제1 촬영과 제2 촬영에서의 휘도 차가 최대인 화소를 포함하는 소정의 영역이 될 수 있다. 이때, 주피사체 영역은 제1 촬영과 제2 촬영에서의 휘도 차가 최대인 화소를 기준으로 미리 설정된 크기 및 위치에 해당하는 영역이 될 수 있다.

증폭량 산출부(133)는 산출한 주피사체 영역의 휘도 차와 각 화소의 화소 휘도 차에 기초하여 각 화소의 휘도 증폭량에 해당하는 증폭 게인을 산출할 수 있다.

증폭량 산출부(133)는 주피사체 영역의 휘도 차와 각 화소의 화소 휘도차의 차분으로부터 얻어지는 각 화소의 필요 광량에 기초하여 휘도 증폭량을 산출하고, 산출된 휘도 증폭량에 딸 증폭 게인이 결정될 수 있다.

이때, 각 화소의 필요 광량은 각 화소의 휘도에 따른 계수로 보정될 수 있다. 이때, 증폭량 산출부(133)는 각 화소의 필요 광량을 각 화소의 휘도에 따른 계수로 보정하는 보정부를 포함할 수 있다.

VRAM(136)은 LCD(126)에 표시하는 내용을 유지하는 것으로, LCD(126)의 해상도나 최대 발색수는 VRAM(136)의 용량에 의존한다. 기록 미디어(140)는 촬상한 화상을 기록하는 것이다. 기록 미디어(140)에의 입출력은, 미디어 콘트롤러(138)에 의해 제어된다. 기록 미디어(140)로서는, 플래시 메모리에 데이터를 기록하는 카드형 기억장치인 메모리 카드가 사용될 수 있다.

CPU(150)는, CCD 소자(110)나 CDS 회로(112) 등에 대하여 신호계의 지령을 행하거나, 조작부 및/또는 셔터 버튼의 조작에 대한 조작계의 지령을 할 수 있다. 본 실시형태에서는 CPU를 하나만 포함하고 있는데, 신호계의 명령과 조작계의 명령을 각각의 CPU에서 행할 수 있다.

또한, CPU(150)는 적정 AE 산출부(152)와 플래시 제어부(154)를 포함하여 구성될 수 있다. 적정 AE 산출부(152)는 적정 노광량 정보로서의 적정 AE 평가값을 산출할 수 있다. 이때, 적정 AE 평가값은 자동 노광을 위한 EV(Exposure Value) 평가값이 될 수 있다.

이때, 적정 AE 산출부(152)에서 적정 AE 평가값을 산출하기 위한 AE 평가값은 AE 평가값 산출 회로(118)에서 산출 및/또는 조광 센서(160)의 검출값으로부터 산출될 수 있다.

일 실시예로서, AE 평가값은 CCD 소자(110)로부터 얻어진 화상 신호로부터 AE 평가값 산출 회로(118)에서 산출할 수 있다. 다른 실시예로서, AE 평가값은 조광 센서(160)의 검출값에 따라 산출할 수도 있다.

즉, 적정 AE 산출부(152)는 CCD 소자(110)로부터 얻어진 화상 신호로부터 적정 노광량 정보로서의 적정 AE 평가값을 산출할 수 있다. 적정 AE 산출부(152)는 촬영한 화상의 적정 AE(Auto Exposure; 자동 노광) 평가값을 산출할 수 있다.

플래시 제어부(154)는, 적정 AE 산출부(152)에서 산출한 적정 AE 평가값에 기초하여 플래시(170)의 발광을 제어할 수 있다. 이를 위하여, 적정 AE 산출부(152)에서 산출한 적정 AE 평가값에 기초하여 피사체 영역을 고휘도 또는 저휘도로 판정될 수 있다.

플래시 제어부(154)는 피사체 영역이 기준 휘도보다도 저휘도라고 판정된 경우는 플래시가 발광하도록 플래시 발광을 제어하고, 피사체 영역이 기준 휘도보다도 고휘도라고 판정된 경우는 플래시가 발광하지 않도록 플래시 발광을 제어할 수 있다. 이때, 기준 휘도는 미리 설정되거나 촬영 조건 및/또는 환경에 따라 적응적으로 결정될 수 있다.

적정 AE 산출부(152)에서 산출된 적정 AE 평가값에 기초하여 피사체를 촬영할 때의 조리개 값, 셔터 속도가 결정될 수 있다. 드라이버(144)는, 결정된 조리개 값, 셔터 속도에 기초하여 제어되고, 모터(142)를 구동한다. 이에 의해, 렌즈 광학계가 구비하는 조리개 겸용 셔터(140)가 구동될 수 있다.

조광 센서(160)는, 피사체에 플래시(170)에 의한 플래시 광이 도달하는지를 판정할 수 있다. CPU(150)는, 적정 AE 산출부(152)에 의하여 피사체 영역이 특정 휘도 예를 들어 기준 휘도보다 저휘도라고 판정되고, 조광 센서(160)에 의해 피사체에 플래시 광이 도달한다고 판정된 경우는, 플래시 제어부(154)의 제어에 의해 플래시부(170)를 발광시킬 수 있다. 한편, CPU(150)는, 적정 AE 산출부(152)에 의해 피사체 영역이 특정 휘도보다도 저휘도라고 판정되고, 조광 센서(160)에 의해 피사체에 플래시 광이 도달하지 않는다고 판정된 경우는, 플래시 제어부(154)의 제어에 의해 플래시부(170)를 발광시키지 않을 수 있다.

도 1에 도시된 CCD, CMOS 등의 촬상 소자(110)를 포함하는 AFE(Analog front end)로부터 얻어진 RGB(Red Green Blue) 화상 신호는, 주로 화상 처리 회로(120)에서 결함 화소 보정, 흑 레벨(Level) 보정 등의 이미지 프론트 프로세스(Image front process) 처리가 행해지고, 화이트 밸런스(White Balance) 보정 처리, 베이어(Bayer) 색보간(Demosaic) 처리, 색보정 처리, 감마(Gamma) 보정 처리 등의 전자적 처리를 하여 화상 기록이 행해진다.

또한, 도 1에 도시된 각 기능 블록은 회로(하드웨어) 또는 CPU(150)와 이를 기능시키기 위한 프로그램(소프트웨어)에 의해 구성할 수 있고, 그 프로그램은 촬상 장치(100)가 구비하는 메모리 또는 외부로부터 접속되는 메모리 등의 기록매체에 저장될 수 있다.

본 실시형태에서는, 플래시 발광 시의 촬영 화상에 대해 화소 별로 적절한 게인(Gain)을 산출함으로써, 플래시부(170)에 의한 광이 닿지 않는 피사체에 대해서도 원하는 휘도로의 촬영을 가능하게 할 수 있다.

도 2에는 도 1의 촬상 장치(100)에 의하여 구현되는 화상의 일 실시예가 도시되어 있다. 도 2에 도시된 화면은 해질녘 등 「하늘」이 어두워진 상태에서의 경치를 나타내고 있다.

도면을 참조하면, 도 2의 왼쪽 위에 위치되는 도면은 육안으로 보이는 경치를 나타내고 있다. 이와 같이, 육안으로는 해질녘이라도 우측의 앞에 위치하는 인물과 그 안의 배경의「잔디밭」, 「수목」은 비교적 휘도가 높은 것으로서 인식된다.

도 2의 왼쪽 아래의 도면은 장시간 노광을 하는 플래시 촬영에 의한 화상을 나타내고 있다. 이 경우, 우측의 「사람」은 플래시가 조사되기 때문에, 그 휘도가 높은 상태로 촬영된다. 또한, 배경의 「잔디밭」, 「수목」은 플래시 광은 충분히 닿지 않지만, 장시간 노광에 의해 그 휘도가 높은 상태로 촬영된다.

도 2의 오른쪽 위의 도면은, 장시간 노광을 하지 않은 플래시 촬영에 의한 화상을 나타내고 있다. 이 경우, 우측의 「사람」은 플래시가 조사되기 때문에, 그 휘도가 높은 상태로 촬영된다. 하지만, 배경의 「잔디밭」, 「수목」은 플래시 광이 닿지 않기 때문에, 그 휘도가 매우 낮은 상태로 촬영된다.

따라서, 장시간 노광을 하지 않은 플래시 촬영에 의한 화상에서는, 배경의 대부분이 어두워지고, 「잔디밭」, 「수목」 등을 인식할 수 없는 화상이 될 수 있다.

도 2의 오른쪽 아래의 도면은, 본 발명의 바람직한 일 실시예에 의한 장시간 노광을 하지 않은 플래시 촬영에 의한 화상을 나타내고 있다. 이와 같이, 본 실시예에서는, 플래시 발광 시의 촬영 화상에 대해 각각의 화소별로 적절한 게인을 산출함으로써, 플래시 광이 닿지 않는 피사체에 대해서도 장시간 노광을 한 경우와 동등한 원하는 휘도로의 촬영이 가능하게 된다.

이하에서, 본 발명의 일 실시예에 따른 촬영 장치(100)에 의하여, 각 화소 별로 게인을 산출하는 방법을 도 3a 내지 3d에 기초하여 설명한다.

도 3a는 도 1의 촬상 장치에 의하여 각각의 화소에서 게인을 산출하는 게인 산출법을 설명하기 위한 도면이다. 도 3a에는 도 2에서 설명한 피사체를 촬영하는 경우에 3b, 3c, 3d는 각각 도 3b, 도 3c, 도 3d에서 설명되는 영역을 나타낸다. 도 3b 내지 도 3d에는 본 실시예에 따라 화소에서의 휘도의 증폭량에 해당하는 게인을 산출하는 화소 증폭부(130)의 처리를 도식화한 도면이 도시되어 있다.

도 3b에는 영역 3b에 대하여 각각의 화소에서 주피사체 영역에 대하여 게인을 산출하는 게인 산출법을 설명하기 위한 도면이 도시되어 있다. 도 3c에는 영역 3c에 대하여 각각의 화소에서 중거리 피사체에 대하여 게인을 산출하는 게인 산출법을 설명하기 위한 도면이 도시되어 있다. 도 3d에는 영역 3d에 대하여 각각의 화소에서 원거리 피사체에 대하여 게인을 산출하는 게인 산출법을 설명하기 위한 도면이 도시되어 있다.

먼저, 적정 AE 산출부(152)에서 촬상 소자(110)로부터 얻어진 화상 신호에 따른 AE 평가값에 기초하여 적정 AE 평가값을 산출하고, 그에 따라 광량 부족이라고 판단되는 경우에는, 셔터(Shutter) 속도가 손떨림·피사체 떨림이 발생하지 않는 정도로 설정되도록 할 수 있다.

플래시 제어부(154)는 화상 전체에 대해 적정 노출이 되는 플래시 광량을 결정한다. 그리고, 플래시 제어부(154)는, 결정된 플래시 광량에 기초하여 플래시(170)를 발광시킨다. 이에 의해, 플래시를 발광하여 촬영하는 제1 촬영이 행해진다.

다음에, 상기 노광 조건으로 플래시를 발광하지 않고 촬영하는 제2 촬영을 한다. 또한, 상기 제1 촬영과 상기 제2 촬영에서 얻은 로우 데이터(Raw Data)로부터 플래시 반사량의 차가 최대가 되는 화소를 특정한다.

여기서, 제1 촬영에서의 어떤 특정 화소의 휘도를 An으로 하고, 제2 촬영에서의 어떤 특정 화소의 휘도를 Bn으로 한다. 또한, 아래의 수학식 1에 나타내는 바와 같이, An(대수 변환한 값)과 Bn(대수 변환한 값)의 차를 ΔYn으로 한다. 여기서, n은 픽셀(Pixel)마다 변화하는 값으로 한다. 픽셀수가 100인 로우 데이터(Raw Data)의 경우, n은 0 내지 99까지 변화한다.

제1 촬영의 로우 데이터로부터 ΔYn이 최대값이 되는 화소를 중심 좌표로 한 영역을 M1으로 하고, 이하의 수학식 2에 의해 영역 M1 내의 각 화소의 휘도를 평균하여 제1 평균 휘도인 YA1을 구한다. 여기서, 영역 M1의 폭을 w로 하고, 높이를 h로 한다. 또한, 영역 M1의 크기(Size)는 특별히 한정되는 것은 아니지만, 일례로서 5×5=25픽셀 정도의 값으로 할 수 있다.

제2 촬영의 로우 데이터로부터 ΔYn이 최대값이 되는 화소를 중심 좌표로 한 영역을 M2로 하고, 영역 M2로부터 제2 평균 휘도인 YA2를 구한다. 또한, 영역 M2의 크기(size)는 수학식 2에와 같은 크기가 되도록 설정되고, 영역 M1과 M2는 동일 영역이다.

여기서, 이하의 수학식 4 및 수학식 5에와 같이, 산출한 YA1을 대수 변환한 값을 YF로 하고, 마찬가지로 YA2를 대수 변환한 값을 YN으로 한다.

여기서, 도 3b의 주피사체 영역의 도면에 도시된 바와 같이, 플래시 발광시의 휘도(YN)에 대해 플래시 발광시의 휘도(YF)는 플래시의 발광분만큼 광량이 증가한다.

다음에, 수학식 4와 수학식 5에서 구한 YN과 YF로부터 제1 촬영과 제2 촬영의 피사체 휘도차(YG)를 이하의 수학식 6으로부터 구한다. 또한, 이 때의 조건을 YF>YN으로 하여 이 조건이 진실인 경우는 수학식 6이 성립하고, 거짓인 경우는 YG=0으로 한다.

도 3b에 도시된 바와 같이, YG의 값은 플래시에 따라 증가한 광량에 상당하고, 이 값이 기준이 된다. 이상과 같은 피사체 휘도차(YG)의 산출은, 화소 증폭부(130)의 주피사체 휘도차 산출부(131)에서 행해진다.

다음에, 모든 화소에 대해 제1 촬영과 제2 촬영에 의한 휘도값을 구한다. 여기서 산출하는 제1 촬영의 특정 화소의 휘도값을 P1으로 하고, 이 값을 대수 변환한 값을 PF로 한다. 또한, 제2 촬영의 특정 화소의 휘도값을 P2로 하고, 이 값을 대수 변환한 값을 PN으로 한다.

다음에, 수학식 7과 수학식 8에서 구한 PF와 PN으로부터 특정 화소의 제1 촬영과 제2 촬영의 화소 휘도차를 구한다. 이 화소 휘도차를 PG로 하고, 이하의 수학식 9로부터 구한다. 또한, 이 때의 조건을 PF>PN으로 하여 진실인 경우는 수학식 9가 성립하고, 거짓인 경우는 PG=0으로 한다.

PG의 값은 모든 화소 각각에 대해 산출한다. 화소 휘도차(PG)의 산출은, 화소 증폭부(130)의 화소 휘도차 산출부(132)에서 행해진다. 모든 화소에 대해 화소 휘도차(PG)가 구해지면, 다음에 수학식 6과 수학식 9로부터 특정 화소의 필요 광량을 구한다. 여기서 산출하는 특정 화소의 필요 광량을 FG로 하고, 이하의 수학식 10으로부터 구한다. 또한, 이 때의 조건을 YG>PG로 하여 진실인 경우는 수학식 10이 성립하고, 거짓인 경우는 FG=0으로 한다.

여기서, 상술한 바와 같이, PG의 값은 각 화소마다 구해진 값이고, 한편, YG의 값은 주피사체 영역에 대해 구해진 값이다. 따라서, YG와 PG의 차분인 FG는 주피사체 영역 이외의 영역에 대해 광량의 부족분을 나타내고 있다.

도 3a에 기초하여 설명하면, 주피사체(우측의 인물의 얼굴)보다도 좌측의 배경에 보이는 영역 3c의 「수목」에는 플래시 광이 다소 닿기 때문에, 이 피사체는 플래시 광이 다소 닿는 중거리의 피사체이다. 이러한 피사체에 대응하는 화소에 대해서는, 도 3c에 도시된 바와 같이, 플래시 비발광시의 휘도(PN), 플래시 발광시의 휘도(PF)는 모두 주피사체 영역의 휘도(YN, YF)보다도 저하되고, 플래시 발광에 의한 휘도의 증가량(화소 휘도차(PG))도 YG에 비해 저하된다.

따라서, YG와 PG의 차분을 취함으로써 중거리의 피사체의 필요광량(FG)을 구할 수 있고, 이에 기초하여 중거리의 피사체에 대응하는 화소의 증폭량(게인)을 구할 수 있다. 그리고, 이 게인에 기초하여 중거리의 피사체의 화소의 휘도를 보정함으로써, 중거리의 피사체의 휘도를 주피사체 영역의 휘도와 동등까지 높일 수 있다.

원거리의 피사체에 대응하는 화소에 대해서도 동일한 처리가 행해진다. 도 3a에 도시된 화상에서, 주피사체(우측의 인물의 얼굴)보다도 오른쪽 위의 안에 보이는 영역 3d의 「구름」에는 플래시 광이 전혀 닿지 않기 때문에, 이 피사체는 플래시 광이 전혀 닿지 않는 원거리의 피사체이다.

이러한 피사체에 대응하는 화소에 대해서는, 도 3d에 도시된 바와 같이, 플래시 비발광시의 휘도(PN), 플래시 발광시의 휘도(PF)는 모두 주피사체 영역의 휘도(YN, YF)보다도 저하되고, 플래시 광이 전혀 닿지 않기 때문에, 플래시 발광에 의해 휘도의 증가량(화소 휘도차(PG))은 0이 된다.

따라서, YG와 PG(=0)의 차분을 취함으로써 원거리의 피사체의 필요 광량(FG)에 대응하는 게인을 구할 수 있으며, 이에 기초하여 원거리의 피사체의 화소의 휘도를 보정함으로써 원거리의 피사체의 휘도를 주피사체 영역의 휘도와 동등까지 높일 수 있다.

이상과 같이, 주피사체 휘도차에 기초하여 각 화소의 필요광량(FG)을 구하고, 필요광량(FG)에 대응하는 게인으로 각 화소의 휘도를 보정함으로써, 중거리, 원거리의 피사체에 대해서도 주피사체와 동등한 휘도를 확보할 수 있다. 또한, 필요 광량(FG)의 산출, 필요 광량(FG)에 대응하는 게인의 산출은 화소 증폭부(130)의 증폭량 산출부(133)에서 행해진다. 따라서, 도 2에서 설명한 바와 같이 주피사체 영역 이외의 영역에서도 휘도를 높게 하는 것이 가능하게 된다.

도 4에는 게인을 보정하기 위하여 사용되는 계수 참조 테이블의 일 실시예가 도시되어 있다.

각 화소에 대해 필요 광량(FG)에 기초하여 휘도를 보정한 경우, 원래 「흑」에 가까운 어두운 휘도의 화소에서는 게인을 증가하여 휘도를 높게 하면, 화상이 부자연스러워지는 것이 상정된다.

따라서, 도 4에 도시된 테이블에 의해 저휘도 화소와 적정 게인의 밸런스를 조정하는 계수(k)를 구하고, 화소 증폭부(130)에 의한 최종적인 증폭을 위한 승수인 최종 게인(Final Gain)을 이하의 수학식 11로부터 구한다. 또한, 이 때의 조건을 FG>0으로 하여 이 조건(G)이 진실인 경우는 수학식 11이 성립하고, 거짓인 경우는 k=1로 한다.

그리고, 제1 촬영에서 얻어진 화상 신호의 모든 화소에 대해 수학식 11에서 구한 최종 게인을 화소 증폭부(130)에 의해 적용함으로써, 최적의 밝기의 화상을 얻는 것이 가능하게 된다. 계수(k)를 이용한 게인의 보정은, 증폭량 산출부(133)가 구비하는 보정부에서 행해진다.

도 5에는 본 발명의 일 실시예에 의한 촬상 방법을 보여주는 흐름도가 도시되어 있다. 도 5에 도시된 촬상 방법은 도 1의 촬상 장치(100)에서 수행될 수 있는 것으로, 도 1 내지 도 4에서 설명된 사항은 도 5의 촬상 방법에도 적용될 수 있으며, 동일한 사항에 대해서는 자세한 설명은 생략한다.

도면을 참조하면, 먼저, 단계 S10에서는 사용자에 의해 셔터 동작이 행해졌는지를 판정하고, 셔터 동작이 행해진 경우는 단계 S12로 진행한다. 셔터 동작이 행해지지 않은 경우는 단계 S10에서 대기한다.

다음에, 단계 S12에서는 적정 AE 산출부(152)에서 손떨림, 피사체 떨림이 발생하지 않는 셔터 속도를 설정한다. 다음에, 단계 S14에서는 플래시(170)를 발광시켜 제1 촬영을 수행한다. 다음에, 단계 S16에서는 플래시(172)를 발광시키지 않고 제2 촬영을 수행한다.

다음에, 단계 S18에서는, 제1 촬영과 제2 촬영으로부터 플래시 반사량이 최대가 되는 화소를 검출한다. 이때, 앞에서 설명된 바와 같이, 모든 화소에 대하여 ΔYn을 산출하고, ΔYn이 최대가 되는 화소를 찾아낸다. 다음에, 단계 S20에서는, 단계 S18에서 검출한 화소를 중심으로 하는 화소 영역으로부터 주피사체 휘도차(YG)를 산출한다.

다음에, 단계 S22 내지 S32의 루프를 모든 화소에 대해 처리한다. 우선, 단계 S24에서는, 특정 화소에 대해 제1 촬영과 제2 촬영에서의 화소 휘도차(PG)를 산출한다. 다음의 단계 S26에서는, 주피사체 휘도차(YG)와 화소 휘도차(PG)로부터 이 특정 화소의 필요 광량(FG)을 산출한다.

다음의 단계 S28에서는, 필요 광량(FG)을 게인으로 변환한다. 여기서는, 상술한 수학식 11로부터 최종 게인을 산출한다. 다음의 단계 S30에서는, 단계 S28에서 구한 최종 게인을 이 특정 화소의 휘도값에 승산하여 화소 증폭을 실시한다. 하나의 화소에 대해 단계 S22 내지 S32의 루프 처리가 완료되면, 다음의 특정 화소에 대해 루프 처리를 실시하고, 모든 화소에 대해 화소 증폭을 할 수 있다.

이상 설명한 바와 같이, 본 실시형태에 따르면, 손떨림·피사체 떨림이 발생하지 않는 셔터 속도로 촬영을 함으로써 장시간 노광에 의한 손떨림·피사체 떨림을 해소하는 것이 가능하게 된다.

또한 플래시의 발광과 비발광 화상의 주피사체의 휘도차와 각 화소의 휘도차를 구하여, 각각의 화소마다 적절한 휘도가 되는 게인(Gain)값을 산출하여 적용함으로써, 배경이 어둡게 촬영되는 문제를 해소하는 것이 가능하게 된다.

또한, 본 실시형태에 따르면, 플래시의 성능을 손상시키지 않고, 주피사체 이외에 산출한 게인이 적용됨으로써 주피사체의 화질을 떨어뜨리지 않고 촬영하는 것이 가능하게 되고, 주피사체와 배경의 밝기가 적절해지는 화상을 제공할 수 있다.

본 발명에 따르면, 플래시를 발광시켜 촬영을 할 때에 화질을 열화시키지 않고 주피사체를 포함하는 화상 전체를 원하는 휘도로 촬영할 수 있게 된다.

이때, 본 발명에서는 플래시 발광 시의 촬영 화상에 대해 각각의 화소 별로 적절한 게인(Gain)을 산출함으로써, 플래시부(170)에 의한 광이 닿지 않는 피사체에 대해서도 원하는 휘도로의 촬영을 가능하게 할 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

100 촬상 장치, 130 화소 증폭부,
131 주피사체 휘도차 산출부, 132 화소 휘도차 산출부,
133 증폭량 산출부, 150: CPU,
152: 적정 AE 산출부, 154: 플래시 제어부.

Claims (8)

1. 플래시를 발광하여 촬영하는 제1 촬영과 상기 플래시를 발광하지 않고 촬영하는 제2 촬영에 대하여 주피사체 영역의 휘도차를 산출하는 주피사체 휘도차 산출부;
   상기 제1 촬영과 상기 제2 촬영에 대하여 각 화소의 휘도차에 해당하는 화소 휘도차를 산출하는 화소 휘도차 산출부;
   상기 주피사체 영역의 휘도차와 상기 각 화소의 화소 휘도차에 기초하여 상기 각 화소의 휘도 증폭량을 산출하는 증폭량 산출부;를 구비하는 촬상 장치.
2. 제1항에 있어서,
   상기 주피사체 영역은, 상기 제1 촬영과 상기 제2 촬영에서의 휘도차가 최대인 화소를 포함하는 소정의 영역인 촬상 장치.
3. 제1항에 있어서,
   상기 증폭량 산출부는, 상기 주피사체 영역의 휘도차와 상기 각 화소의 상기 화소 휘도차의 차분으로부터 얻어지는 각 화소의 필요 광량에 기초하여 상기 휘도 증폭량을 산출하는 촬상 장치.
4. 제3항에 있어서,
   상기 증폭량 산출부는, 상기 각 화소의 필요 광량을 상기 각 화소의 휘도에 따른 계수로 보정하는 보정부를 포함하는 촬상 장치.
5. 제1항에 있어서,
   적정 노광량에 해당하는 적정 AE 평가값을 산출하는 적정 AE 산출부;
   상기 적정 AE 평가값에 의하여 피사체 영역이 설정된 기준 휘도보다도 저휘도라고 판정된 경우는 플래시가 발광하도록 플래시 발광을 제어하고,
   상기 적정 AE 평가값에 의하여 상기 피사체 영역이 상기 기준 휘도보다도 고휘도라고 판정된 경우는 상기 플래시가 발광하지 않도록 상기 플래시 발광을 제어하는 플래시 제어부;를 구비하는 촬상 장치.
6. 제5항에 있어서,
   피사체에 플래시 광이 도달하는지를 판정하는 조광 센서부를 더 구비하고,
   상기 플래시 제어부는,
   상기 적정 AE 산출부에 의하여 상기 피사체 영역이 상기 기준 휘도보다 저휘도라고 판정되고, 상기 조광 센서부에 의해 상기 피사체에 플래시 광이 도달한다고 판정되는 경우는, 플래시가 발광하도록 상기 플래시 발광을 제어하며,
   상기 적정 AE 산출부에 의해 상기 피사체 영역이 상기 기준 휘도보다 고휘도라고 판정되고, 상기 조광 센서부에 의해 상기 피사체에 플래시 광이 도달하지 않는다고 판정되는 경우는, 상기 플래시가 발광하지 않도록 상기 플래시 발광을 제어하는 촬상 장치.
7. 플래시를 발광하여 촬영하는 제1 촬영과 상기 플래시를 발광하지 않고 촬영하는 제2 촬영에서의 주피사체 영역의 휘도차를 산출하는 단계;
   상기 제1 촬영과 상기 제2 촬영에서의 각 화소의 휘도차를 산출하는 단계;
   상기 주피사체 영역의 휘도차와 상기 각 화소의 화소 휘도차에 기초하여 각 화소의 휘도 증폭량을 산출하는 단계;를 구비하는 촬상 방법.
8. 플래시를 발광하여 촬영하는 제1 촬영과 상기 플래시를 발광하지 않고 촬영하는 제2 촬영에서의 주피사체 영역의 휘도차를 산출하는 수단;
   상기 제1 촬영과 상기 제2 촬영에서의 각 화소의 휘도차를 산출하는 수단;
   상기 주피사체 영역의 휘도차와 상기 각 화소의 화소 휘도차에 기초하여 각 화소의 휘도 증폭량을 산출하는 수단;을 구비하는 수단으로서 컴퓨터를 기능시키기 위한 프로그램.

Images