KR20110014071A

KR20110014071A - 촬상장치 및 촬상방법

Info

Publication number: KR20110014071A
Application number: KR1020100001910A
Authority: KR
Inventors: 사또시 호리우치
Original assignee: 삼성테크윈 주식회사
Priority date: 2009-08-03
Filing date: 2010-01-08
Publication date: 2011-02-10
Also published as: KR101408359B1; JP2011035740A; JP5268823B2

Abstract

본 발명은 촬상장치 및 촬상방법에 관한 것으로, 제1 화상을 본 촬상하고 제2 화상을 촬영하는 촬상부와, 제1 화상을 본 촬상하기 전에 제2 화상을 화면에 표시하는 표시부와, 언더 노출에 의한 촬영의 필요성 여부를 판단하는 노출 판단부와, 언더 노출에 의한 촬영이 필요하다고 판단되었을 때 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 휘도 분포의 저휘도측 분포에 기초하여 제1 노출 보정값을 산출하는 제1 노출 산출부와, 제1 노출 보정값에 기초하여 언더 노출에 의한 제2 화상의 촬영이 이루어졌을 때의 휘도 분포의 고휘도측 분포에 기초하여 제2 언더 노출 보정값을 산출하는 제2 노출 산출부를 포함하고, 촬상부는 적정 노출값과 제2 노출 보정값에 기초하여 언더 노출에 의한 제1 화상을 본 촬상하는 것을 특징으로 한다.

Description

촬상장치 및 촬상방법{Imaging apparatus and imaging method}

본 발명은 촬상장치 및 촬상방법에 관한 것이다.

디지털 스틸 카메라 등의 전자적 촬상장치에서 촬상 소자의 성능에 따라서는 다이나믹 레인지가 좁은 경우가 있다. 이 경우, 저휘도에서 고휘도까지의 명암차가 있는 피사체 등을 촬영하면, 이른바 「흰색 날림」이 촬영 화상에 발생한다.

그래서 다이나믹 레인지를 확대하는 기술로서, 노출을 언더 또는 오버로 설정하여 연속 촬영한 화상을 합성하는 방법이 알려져 있다. 그러나 이 기술에서는 여러번의 촬영을 필요로하므로 촬영 시간이 길어진다는 문제가 있다.

따라서 특허문헌 1에서는 본 촬상시에 최적 노출보다도 노출을 언더로 설정하여 1회 촬영하고 광(廣)다이나믹 레인지용 γ변환 테이블을 사용하여 계조 변환 처리를 한다. 이로써 인물 촬영시에 촬영 화상의 화질이 열화(劣化)되는 것을 방지하는 기술이 개시되어 있다.

또 특허문헌 2에서는, 디지털 카메라에 마련된 표시부에 영상을 표시할 때(라이브뷰시)에 적정 노출보다도 언더/오버로 촬영한 저해상도 화상을 여러 장 저장해 둔다. 그리고 저해상도 화상의 히스토그램을 본 촬상 화상과 합성함으로써 외견상의 다이나믹 레인지를 향상시키는 방법이 개시되어 있다.

특허문헌1: 일본특허공개 2007-027967호 공보

특허문헌2: 일본특허공개 2008-294524호 공보

그러나 특허문헌 1에서는 광다이나믹 레인지용 γ변환 테이블을 사용한 계조 변환 처리를 수행하기 위한 언더 노출값을 구하는 방법이 언급되어 있지 않다. 또 실시예에서도 노출값은 고정값으로 되어 있기 때문에 피사체의 휘도 분포에 따라서는 노출값의 설정이 부적절해지는 경우가 있어 적절한 화상 처리가 불가능하다는 문제가 있다.

또 특허문헌 2에서는, 라이브뷰시의 저해상도 화상의 노출값을 바꿔 여러 개의 히스토그램을 취득하는데, 적정 노출이 아닌 라이브뷰시의 화상은 표시에 사용되지 않는다. 따라서 라이브뷰 표시에 사용할 수 있는 화상수는 감소되기 때문에 라이브뷰 표시 프레임 레이트가 저하된다는 문제가 있다. 또한 특허문헌 2에서는, 여러 개의 화상의 위치를 맞춰 합성하는 것 등이 복잡하여 처리하는데 부담이 있다. 또 합성에 의한 화질의 열화를 초래할 우려가 있다는 문제가 있다.

그래서 본 발명은 상기 문제를 감안하여 이루어진 것으로서 본 발명의 목적으로 하는 부분은, 촬영 시간을 늘릴필요 없이 피사체의 휘도 분포에 따라 고화질의 화상을 신속하게 취득할 수 있는 신규 및 개량된 촬상장치 및 촬상방법을 제공하는 데 있다.

상기 과제를 해결하기 위해 본 발명의 일 관점에 의하면, 제1 화상을 본 촬상하고 제1 화상과 해상도가 다른 제2 화상을 촬영하는 촬상부와, 제1 화상을 본 촬상하기 전에 제2 화상을 화면에 표시하는 표시부와, 제2 화상의 휘도 분포를 취득하는 휘도 분포 취득부와, 제2 화상의 피사체 휘도에 기초하여 적정 노출값을 산출하는 적정 노출 산출부와, 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 휘도 분포의 고휘도측 분포에 기초하여 언더 노출에 의한 촬영의 필요성 여부를 판단하는 노출 판단부와, 언더 노출에 의한 촬영이 필요하다고 판단되었을 때 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 휘도 분포의 저휘도측 분포에 기초하여 제1 노출 보정값을 산출하는 제1 노출 산출부와, 제1 노출 보정값에 기초하여 언더 노출에 의한 제2 화상의 촬영이 이루어졌을 때의 휘도 분포의 고휘도측 분포에 기초하여 제2 언더 노출 보정값을 산출하는 제2 노출 산출부를 포함하고, 촬상부는 적정 노출값과 제2 노출 보정값에 기초하여 언더 노출에 의한 제1 화상을 본 촬상하는 것을 특징으로 하는 촬상장치가 제공된다.

이 구성에 의해, 제1 화상을 본 촬상하기 전에 촬상되는 제2 화상을 언더 노출로 촬상하여 고휘도측 분포 정보를 평소보다도 많이 취득할 수 있다. 그 결과, 본 촬상시에 적절한 노출 보정을 하여 적응적으로 흰색 날림을 억제할 수 있다.

상기 적정 노출값과 제2 노출 보정값에 기초하여 언더 노출에 의한 제1 화상을 본 촬상했을 때 제2 노출 보정값에 기초하여 계조 변환 특성을 결정하고, 계조 변환 특성에 기초하여 제1 화상을 계조 변환한다. 이로써 적절한 노출 보정이 이루어진 본 촬상 화상에 대해 계조 변환을 함으로써 적응적으로 흰색 날림을 억제할 수 있다.

상기 언더 노출에 의한 제2 화상의 촬영이 이루어졌을 때 제2 화상을 휘도 보정하는 휘도 보정부를 더 포함하고, 표시부는 휘도 보정된 제2 화상을 표시한다. 이로써 언더 노출로 촬상된 제2 화상도 라이브뷰 표시할 수 있어 프레임수를 줄이지 않고 유지할 수 있다.

상기 제1 노출 산출부는, 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 휘도 분포에서 저휘도측 분포가 적을수록 더욱 언더 노출이 되도록 제1 노출 보정값을 산출한다. 이로써 언더의 노출 보정값을 피사체상에 따라 적응적으로 결정할 수 있다.

상기 언더 노출에 의한 제2 화상의 촬영이 이루어졌을 때의 휘도 분포의 고휘도측 분포가 클 때, 촬상부는 언더 노출에 의한 본 촬상을 하지 않고 적정 노출값에 기초하여 적정 노출에 의한 본 촬상을 한다. 이로써 역광이 강할 때에는 언더 노출에 의해 저휘도측 정보를 손상시키지 않고 촬상 화상을 취득할 수 있다.

또 상기 과제를 해결하기 위해 본 발명의 다른 관점에 의하면, 촬영부가 제1 화상을 본 촬상하기 전에 표시부가 화면에 표시하는 제1 화상과 해상도가 다른 제2 화상의 휘도 분포를 취득하는 단계와, 제2 화상의 피사체 휘도에 기초하여 적정 노출값을 산출하는 단계와, 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 휘도 분포의 고휘도측 분포에 기초하여 언더 노출에 의한 촬영의 필요성 여부를 판단하는 단계와, 언더 노출에 의한 촬영이 필요하다고 판단되었을 때 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 휘도 분포의 저휘도측 분포에 기초하여 제1 노출 보정값을 산출하는 단계와, 제1 노출 보정값에 기초하여 언더 노출에 의한 제2 화상의 촬영이 이루어졌을 때의 휘도 분포의 고휘도측 분포에 기초하여 제2 언더 노출 보정값을 산출하는 단계와, 촬상부가 적정 노출값과 제2 노출 보정값에 기초하여 언더 노출에 의한 제1 화상을 본 촬상하는 단계를 포함하는 것을 특징으로 하는 촬상방법이 제공된다.

또 상기 과제를 해결하기 위해 본 발명의 다른 관점에 의하면, 제1 화상을 본 촬상하고 제1 화상과 해상도가 다른 제2 화상을 촬영하는 촬상부와, 제1 화상을 본 촬상하기 전에 제2 화상을 화면에 표시하는 표시부와, 제2 화상의 휘도 분포를 취득하는 휘도 분포 취득부와, 제2 화상의 피사체 휘도에 기초하여 적정 노출값을 산출하는 적정 노출 산출부와, 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 휘도 분포에 기초하여 언더 노출에 의한 촬영의 필요성 여부를 판단하는 노출 판단부와, 언더 노출에 의한 촬영이 필요하다고 판단되었을 때 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 휘도 분포에 기초하여 제1 노출 보정값을 산출하는 제1 노출 산출부와, 제1 노출 보정값에 기초하여 언더 노출에 의한 제2 화상의 촬영이 이루어졌을 때의 휘도 분포에 기초하여 제2 언더 노출 보정값을 산출하는 제2 노출 산출부를 포함하는 것을 특징으로 하는 촬상장치가 제공된다.

본 발명에 의하면, 촬영 시간을 늘릴필요 없이 피사체의 휘도 분포에 따라 고화질의 화상을 신속하게 취득할 수 있다.

도 1은 본 발명의 일 실시예에 따른 촬상장치의 구성 및 동작을 도시한 상관도이다.
도 2는 동 실시예에 따른 촬상장치를 도시한 블럭도이다.
도 3은 동 실시예에 따른 촬상장치의 동작을 도시한 흐름도이다.
도 4는 적정 노출에 의한 촬영시의 휘도 히스토그램 정보를 도시한 설명도이다.
도 5는 적정 노출에 의한 촬영시의 휘도 히스토그램 정보를 도시한 설명도이다.
도 6은 휘도 분포 해석 동작을 도시한 흐름도이다.
도 7은 Yb의 산출을 도시한 흐름도이다.
도 8은 라이브뷰시의 프레임 처리를 도시한 개념도이다.
도 9는 라이브뷰 화면 표시용의 휘도 변환예를 도시한 그래프이다.
도 10은 언더 노출 보정에 의해 취득된 휘도 히스토그램을 도시한 개념도이다.
도 11은 언더 노출 보정에 의해 취득된 휘도 히스토그램을 도시한 개념도이다.
도 12는 본 촬상 노출의 산출 동작을 도시한 흐름도이다.
도 13은 계조 변환 특성을 도시한 그래프이다.
도 14는 Yb와 노출 보정값 Ecmp의 관계, Yb와 휘도값 Ps의 관계를 나타내는 표(표 1)이다.
도 15는 휘도비 Rs와 본 촬상 노출 보정값 Ecmp_m의 관계를 나타내는 표(표 2)이다.

이하에 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대해서 상세히 설명하기로 한다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성 요소에 대해서는 동일 부호를 붙임으로써 중복되는 설명을 생략한다.

(1. 촬상장치(100)의 구성)

우선, 본 발명의 일실시예에 따른 촬상장치(100)의 구성에 대해서 설명하기로 한다. 도 2는, 본 실시예에 따른 촬상장치(100)를 도시한 블럭도이다. 촬상장치(100)는, 예를 들면 콤팩트 디지털 스틸 카메라이나, 본 실시예의 촬상장치는 이에 한정되지 않으며 정지화상을 촬영할 수 있는 비디오 카메라 등이어도 좋다.

촬상장치(100)는, 예를 들면 광학계(2)와, 드라이버(13~16)와, CCD 이미지 센서(20)와, 아날로그 처리부(30)와, CPU(40)와, 타이밍 제너레이터(42)와, LCD(44)와, RAM(46)과, ROM(48)과, 신호 처리부(50)와, 조작부(62)와, 셔터 버튼(64)과, 매체 제어부(66)와, 기록 매체(68) 등을 포함한다. 촬상장치(100)는, 광학계(2)와 CCD 이미지 센서(20)를 통해 피사체상이 입력된다. 피사체상의 화상을 확인하기 위해 LCD(44)에 라이브뷰 화상을 표시한다. 그리고 사용자가 원하는 타이밍에 셔터 버튼(64)을 누름으로써 본 촬상을 수행하여 신호 처리부(50)에 의해 화상 처리를 한 후, 촬상한 화상 데이터를 기록 매체(68)에 저장한다. 본 실시예에서는 A/D변환 후의 휘도의 계조폭은 10bit, γ변환 처리 후의 휘도의 계조폭은 8bit로 한다.

광학계(2)는, 예를 들면 줌렌즈(3), 초점 렌즈(4), 조리개(5), 메카니컬 셔터(6) 등을 포함한다. 광학계(2)는, 외부의 광정보를 CCD 이미지 센서(20)에 결상시키는 광학계 시스템으로서, 피사체로부터의 광을 CCD 이미지 센서(20)까지 투과시킨다. 줌렌즈(3)는 초점 거리를 변화시켜 화각을 바꾸는 렌즈이다. 초점 렌즈(4)는, 광축 방향으로 이동함으로써 CCD 이미지 센서(20)의 촬상면에 피사체상을 합초(合焦)시킨다. 조리개(5)는, 투과하는 광량을 조절하는 기구로서, 모터에 의해 구동된다. 메카니컬 셔터(6)는 CCD 이미지 센서(20)의 노광 시간을 제어하기 위해 비촬영시에 광을 차단하고 촬영시에만 광이 닿도록 구동한다. 줌렌즈(3), 초점 렌즈(4), 조리개(5), 메카니컬 셔터(6)는 각각 드라이버(13~16)로부터 구동 신호를 받아 구동된다.

CCD(charge coupled device) 이미지 센서(20)는 광전 변환 소자의 일례로서, 광학계(2)를 투과하여 입사된 광정보를 전기 신호로 변환하는 광전 변환이 가능한 여러 개의 소자로 구성된다. 각 소자는 수광한 광에 따른 전기 신호를 생성한다. 아울러 CCD 이미지 센서(20) 대신에 CMOS(complementary metal oxide semiconductor) 센서 등의 촬상 소자를 적용할 수도 있다.

셔터는 메카니컬 셔터(6)로 한정되지 않으며 전자 셔터(미도시)를 적용해도 좋다. 아울러 메카니컬 셔터(6) 또는 전자 셔터의 동작은, CPU(40)에 접속된 셔터 버튼(64)의 스위치에 의해 이루어진다.

아날로그 처리부(30)는 또한 CDS부(32)와 AMP부(34)와 A/D변환부(36)를 포함한다. CDS(상관 이중 샘플링 회로(correlated double sampling))부(32)는 CCD 이미지 센서(20)에서 출력된 전기 신호에 포함되는 저주파 노이즈를 제거하고, AMP부(34)는 증폭기(amplifier)로서 전기 신호를 임의의 레벨까지 증폭한다. A/D변환부(Analog/Digital converter)(36)는 AMP부(36)에서 출력된 전기 신호를 디지털 변환하여 디지털 신호를 생성한다. A/D변환부(36)는 생성한 디지털 신호를 신호 처리부(50)로 출력한다.

CPU(40)는 프로그램에 의해 연산 처리장치 및 제어장치로서 기능하여 촬상장치(100) 안에 설치된 각 구성 요소의 처리를 제어한다. CPU(40)는, 예를 들면 초점 제어나 노출 제어 기능에 기초하여 드라이버(13~16)로 신호를 출력하여 광학계(2)를 구동시킨다. 또 CPU(40)는 조작부(62)로부터의 신호에 기초하여 촬상장치(100)의 각 구성 요소를 제어한다. 아울러 본 실시예에서는 CPU(40)가 하나로만 이루어진 구성이지만, 신호계의 명령과 조작계의 명령을 각각 별도의 CPU에서 수행하는 등 여러 개의 CPU로 구성되어도 좋다.

CPU(40)는 CCD 이미지 센서(20)에서 수광한 피사체상에 따른 화상 신호의 색정보에 기초하여 WB(White Balance) 제어값을 산출한다. CPU(40)는, 예를 들면 피사체에 따른 적정한 화이트 밸런스(WB)를 얻을 수 있도록 WB 제어값을 산출한다. CPU(40)는 산출한 WB 제어값을 신호 처리부(50)에 전송한다.

CPU(40)는, 신호 처리부(50)에서 산출된 AF(auto focus:자동 초점) 평가값에 기초하여 초점 렌즈(4)의 합초 위치를 산출한다. AF 평가값은 화상 신호의 휘도값에 기초하여 신호 처리부(50)에서 산출된 것이다. AF 평가값은, 예를 들면 화상의 콘트라스트(contrast)값으로서, 콘트라스트값이 피크가 되었을 때 피사체상이 CCD 이미지 센서(20)의 촬상면에서 합초되어 있다고 판단한다(콘트라스트 검출 방식).

CPU(40)는 초점 제어 개시 조작 신호를 수신하면 초점 렌즈(4)를 한 방향으로 이동시키는 제어 신호를 생성하고 생성한 제어 신호를 드라이버(14)로 출력한다. 드라이버(14)는 CPU(40)로부터 수신한 제어 신호에 기초하여 구동 신호를 생성한다.

CPU(40)는 신호 처리부(50)에서 산출된 AE(auto exposure:자동 노광) 평가값에 기초하여 조리개(5)의 조리개량이나 메카니컬 셔터(6)의 셔터 속도를 산출한다. AE 평가값은 화상 신호의 휘도값에 기초하여 신호 처리부(50)에서 산출된 것이다. CPU(40)는 취득한 조리개량을 제어 신호로서 드라이버(15)에 출력한다.

타이밍 제너레이터(42)는 CCD 이미지 센서(20)나 아날로그 처리부(30)로 타이밍 신호를 출력하고, CCD 이미지 센서(20)를 구성하고 있는 각 화소의 노광 기간을 제어하거나 전하의 독출을 제어한다.

LCD(Liquid Crystal Display)(액정 디스플레이)(44)는 표시부의 일례로서, 촬상장치(100) 본체에 마련된다. LCD(44)가 표시하는 화상은, 예를 들면 촬영 전의 화상(라이브뷰 표시), 촬상장치(100)의 각종 설정 화면이나, 본 촬상을 수행하여 기록된 본 촬상 화상 등이다. 표시부는 LCD(44)로 한정되지 않으며, 예를 들면 유기EL 디스플레이 등이어도 좋다.

RAM(46)은 화상 표시용 메모리로서 여러 개의 채널을 가진다. RAM(46)은 SDRAM(미도시)으로부터의 화상 표시용 화상 데이터의 입력과, LCD드라이버(미도시)로의 화상 데이터의 출력을 동시에 실행할 수 있다. LCD(44)의 해상도나 최대 발색수는 RAM(46)의 용량에 의존한다. ROM(48)은 CPU(40)의 동작 프로그램을 저장한다.

신호 처리부(50)는 또한 AE 처리부(51), AF 처리부(52), AWB 처리부(53), 화상 보정 처리부(54), 계조 변환 처리부(55), γ변환 처리부(56) 등을 포함한다. 신호 처리부(50)는 아날로그 처리부(30)로부터 화상 신호를 수신하여 WB 제어값, 윤곽 강조 제어값, 계조 변환 특성값, γ값 등에 기초하여 화상 처리된 화상 신호를 생성한다. 신호 처리부(50)는 화상 신호에 기초하여 AE 평가값 및 AF 평가값을 산출하고 각각을 CPU(40)로 전송한다.

조작부(62)는, 예를 들면 촬상장치(100)에 설치된 상하좌우 키, 전원 스위치, 모드 다이얼 등이다. 조작부(62)는 사용자에 의한 조작에 기초하여 조작 신호를 CPU(40) 등에 전송한다.

셔터 버튼(64)은 사용자에 의한 반누름(하프 셔터), 완전누름, 해제가 가능하다. 셔터 버튼(64)은 반누름(S1조작)되었을 때 초점 제어 개시 조작 신호를 출력하고 반누름 해제로 초점 제어가 종료된다. 또 셔터 버튼(64)은 완전 누름(S2조작)되었을 때 촬영 개시 조작 신호를 출력한다.

매체 제어부(66)는 기록 매체(68)로의 화상 데이터의 기입, 또는 기록 매체(68)에 기록된 화상 데이터나 설정 정보 등의 독출을 제어한다. 기록 매체(68)는, 예를 들면 광디스크(CD, DVD, 블루레이 디스크 등), 광자기 디스크, 자기 디스크, 반도체 기억 매체 등으로서, 촬영된 화상 데이터를 기록한다. 매체 제어부(66), 기록 매체(68)는 촬상장치(100)로부터 착탈 가능하게 구성되어도 좋다.

아울러 촬상장치(100)에서의 일련의 처리는 하드웨어에서 처리해도 좋고 컴퓨터상의 프로그램에 의한 소프트웨어 처리로 실현해도 좋다.

(2. 촬상장치(100)의 동작)

도 1은, 본 실시예에 관한 촬상장치의 구성 및 동작을 도시한 상관도이다.

촬상장치(100)는 라이브뷰 등 본 촬상 전에 연속하여 촬상되는 화상을 노출 언더로 촬상하여 하이라이트 측의 휘도 히스토그램 정보를 평소보다도 많이 저장해 놓는다. 그 결과, 촬영 시간을 지연시키지 않고 본 촬상시에 적절한 노출 보정을 하여 계조 변환을 함으로써 적응적으로 흰색 날림을 억제할 수 있다. 또 언더 노출로 촬상된 라이브뷰 화상은 휘도 변환 처리를 하여 표시함으로써 프레임을 유지할 수 있다.

[라이브뷰 표시에 대해서]

촬상부(112)에 의해 촬상된 라이브뷰 화상은 휘도 분포 취득부(126)에 입력되어 휘도 분포 취득부(126)에 의해 휘도 히스토그램 정보가 취득된다. 취득된 휘도 히스토그램 정보는 휘도 분포 기억부(134)에 기억된다. 휘도 분포 해석부(128)는 취득된 휘도 히스토그램 정보를 분석하여 흰색 날림 유무와 그 정도를 판정한다.

노출 산출부(132)는 흰색 날림 유무의 결과와 섀도우 측의 휘도 히스토그램 정보에 따라 라이브뷰 화상 촬상을 위한 가노출 보정값을 산출한다. 노출 산출부(132)는 언더 노출이 필요한 때에는 다음 라이브뷰 화상 촬상을 위한 언더 노출 보정값을 결정한다. 또 노출 산출부(132)는 라이브뷰 화상의 피사체 휘도에 기초하여 적정 노출값을 산출한다. (BV+SV)=(AV+TV)가 성립하는 경우를 적정 노출이라고 할 수 있다. BV는 피사체 휘도, SV는 촬상 감도, AV는 조리개값, TV는 셔터 속도이다.

언더 노출이 필요할 때에는 노출 보정이 되어 있지 않은 적정 노출값이나 라이브뷰 화상 촬상을 위한 가노출 보정값을 적정 노출 기억부(136)에 기억해둔다. 그 후, 언더 노출로 촬상하도록 노출 제어부(114)가 지시되고 촬상부(112)는 언더 노출에 의해 라이브뷰 화상을 촬상한다. 그 결과, 라이브뷰 화상의 휘도가 변화된다.

언더 노출에 의해 촬영된 라이브뷰 화상은 라이브뷰 화상 휘도 보정부(122)에 의해 적정 노출 상당의 휘도 레벨로 보정되고, 보정된 화상이 라이브뷰 화상 표시부(124)에 의해 화면에 표시된다.

촬상 장치(100)가 라이브뷰 표시 상태에 있을 때에는 상기 처리가 반복된다.

[본 촬상에 대해서]

셔터 버튼의 반누름(하프 셔터) 등에 의해 본 촬상(capture) 동작의 요구가 발생했을 때에는, 휘도 분포 기억부(134)로부터 휘도 히스토그램 정보를 취득하고, 적정 노출 기억부(136)로부터 적정 노출값이나 가노출 보정값을 취득한다. 그리고 본 촬상 노출 산출부(138)가 본 촬상시의 본 노출 보정값을 산출한다.

계조 변환 특성 산출부(142)는, 상기에 의해 취득된 휘도 히스토그램 정보와 본 노출 보정값에 기초하여 이후에 촬상되는 본 촬상 화상에 대한 계조 변환 특성을 산출한다. 계조 변환 특성 기억부(154)는 계조 변환 특성을 기억한다.

그 후 언더 노출이 필요할 때에는 본 노출 보정값에 기초하여 촬상하도록 노출 제어부(114)가 지시되고, 촬상부(112)는 본 촬상시의 노출을 설정하여 본 촬상 화상을 취득한다. 본 촬상이 수행된 화상에 대해서는 계조 변환부(152)가 계조 변환 특성 기억부(154)에 기록되어 있는 계조 변환 특성을 사용하여 계조성을 변환한다.

다음으로 본 실시예에 따른 촬상장치(100)의 동작에 대해서 더욱 상세히 설명하기로 한다. 도 3은, 본 실시예에 따른 촬상장치(100)의 동작을 도시한 흐름도이다.

[휘도 분포 취득]

우선, 피사체 휘도에 기초하여 적정 노출값이 산출된다(단계S11).

다음으로 촬상부(112)가 라이브뷰 화상을 취득하고(단계S12), 나아가 휘도 분포 취득부(126)가, 도 4에 도시한 것과 같은 해당 라이브뷰 화상의 휘도 히스토그램 정보를 취득한다(단계S13). 도 4는, 적정 노출에 의한 촬영시의 휘도 히스토그램 정보를 도시한 설명도이다. 예를 들면, 촬상장치(100)의 화면 중앙에서 80% 면적의 직사각형 영역을 유효 평가 영역으로 한다. 휘도 히스토그램 정보는, 취득한 라이브뷰 화상의 유효 평가 영역에 대해, 가로축이 화상중의 각 화소가 취할 수 있는 휘도값(10bit의 화소값)을, 세로축이 각 휘도값의 발생 빈도를 나타내고 있다. 아울러 가로축의 휘도값은 일정 범위의 휘도값으로 해도 좋다.

취득된 휘도 히스토그램 정보는, 기록에 적합한 형식으로 변환되어 휘도 분포 기억부(134)에 기억된다(단계S14). 이 때, 본 실시예에 의한 언더 노출 보정이 이루어져 있으면 그 노출 보정값도 동시에 기록된다. 기억되는 휘도 히스토그램 정보와 노출 보정값의 개수는 각각 최신의 2개분으로 한다. 2개로 하는 이유는, 후술하는 것처럼 언더 노출 보정이 필요한 경우 적정 노출과 노출 보정에 의한 촬상이 번갈아 발생하기 때문이다.

[휘도 분포 해석]

도 6은, 휘도 분포 해석 동작을 도시한 흐름도이다.

(흰색 날림 유무의 판단)

휘도 분포 해석부(128)는 상기에 의해 취득된 휘도 히스토그램 정보를 분석하여 흰색 날림 유무를 판단한다(단계S15, 단계S41∼단계S43).

우선 노출 보정이 불필요해져 적정 노출에 의한 촬영이 되는 경우를 고려하여 노출 보정값 Ecmp=0으로 설정한다(단계S41).

다음으로 도 5와 같이, 휘도 히스토그램의 휘도 최대값(1023)에서 흰색 날림 판정의 문턱값으로서 설정된 휘도값 Yw까지의 휘도값의 범위에 대해서, 하기의 수학식 1에 기초하여 출현 빈도를 적분하고 그 면적 Sw를 구한다. 도 5는, 적정 노출에 의한 촬영시의 휘도 히스토그램 정보를 도시한 설명도이다. 또 수학식 2에 기초하여 유효 평가 영역 전체의 휘도 면적 Sall을 구한다(단계S42). 그리고 면적 Sw의 값이 유효 평가 영역 전체의 휘도 면적 Sall에 대해 5% 이상의 비율을 차지할 경우에 흰색 날림이 발생한다고 판단한다(단계S43).

F(y)는 히스토그램에서 휘도 y의 출현 빈도를 의미한다.

(섀도우 영역의 비중 산출)

다음으로 흰색 날림이 발생한다고 판단된 경우에는 과도한 언더 노출 보정에 의해 섀도우 영역의 계조를 잃는 것을 줄이기 위해 섀도우 영역의 비중을 산출한다. 도 5의 휘도 히스토그램에서 휘도 0으로부터의 빈도값을 적분해 나가고, 그 면적 Sb를 가산해 나간다. Sb가 전휘도 면적 Sall에 대해 3% 이상의 비율을 차지할 때의 최소 휘도값 Yb를 구한다(단계S44).

수학식 3을 사용하여 Sb/Sall≥0.03이 되는 Yb를 구한다.

도 7은, Yb의 산출을 도시한 흐름도이다.

우선, 섀도우 면적 Sb=0, 휘도 y=0부터 시작하여(단계S51), y=0일 때의 히스토그램에서의 휘도 y의 출현 빈도 F(0)를 산출한다(단계S52). 다음으로 y를 증가(increment)시켜(단계S53) Sb/Sall≥0.03을 판단한다(단계S54).

Sb/Sall≥0.03을 만족할 경우에는, 그 때의 y의 값(y=1)을, Sb가 전휘도 면적 Sall에 대해 3% 이상의 비율을 차지할 때의 최소 휘도값 Yb로서 결정한다(단계S55). 한편, 단계S54에서 Sb/Sall<0.03이라고 판단되었을 때에는 단계S52로 되돌아와 y=1일 때의 히스토그램에서의 휘도 y의 출현 빈도 F(1)을 산출한다(단계S52). 이하와 같이 Sb/Sall≥0.03을 만족할 때까지 반복되어 최소 휘도값 Yb를 결정한다.

[라이브뷰 노출 산출]

노출 산출부(132)는 전회의 노출(취득된 라이브뷰 화상이 노광되었을 때의 노출)이 적정 노출인 경우에는 우선 적정 노출값을 산출하고 그 값을 적정 노출 기억부(136)에 기록한다.

적정 노출을 하여 흰색 날림이 발생한다고 판단된 경우(단계S15)에는 적정 노출보다도 언더의 노출 보정값을 산출한다(단계S16). 그리고 적정 노출값과 언더의 노출 보정값이 저장된다(단계S17). 노출 보정값 Ecmp는 휘도 분포 해석부(128)에 의해 산출된 Yb의 값에 따라, 도 14에 도시한 표 1과 같이 결정한다(단계S45). 도 14는, Yb와 노출 보정값 Ecmp의 관계, Yb와 휘도값 Ps의 관계를 나타내는 표(표 1)이다.

아울러 노출 보정값 Ecmp는 라이브뷰시에 휘도 히스토그램 정보를 취득하기 위한 가보정값으로서, 본 촬상시의 노출 보정값은 후술하는 방법으로 별도로 산출한다. 산출된 노출 보정값 Ecmp는 노출 제어부(114)에 지시되어 다음 프레임의 촬상 노출이 설정된다(단계S18).

Yb의 값이 높으면 저휘도측에 휘도 분포가 적다. 따라서 표 1에 도시한 것처럼, 노출 보정값 Ecmp는 Yb의 값이 높은 경우 검게 뭉개지지 않기 때문에 언더 노출로 설정하는 값을 넉넉하게 설정할 수 있다. 이와 같이 흰색 날림으로 판정된 경우에 후술하는 확장 휘도 히스토그램 정보를 취득하기 위한 언더 노출 값을 섀도우 영역의 비중에 의해 동적으로 결정함으로써 피사체에 따른 적절한 노출 보정값 Ecmp를 얻을 수 있다.

또 전회의 노출이 언더로 보정되어 있어 적정 노출이 아닌 언더 노출이 된 경우에는, 다음 노출은 적정 노출 기억부(136)에 기록되어 있는 적정 노출을 사용한다. 그리고 산출된 적정 노출은 노출 제어부(114)에 지시되어 다음 프레임의 촬상 노출이 설정된다. 이로써 라이브뷰 화상은 항상 적정 노출이거나, 도 8에 도시한 것과 같은 적정 노출과 언더 노출을 번갈아 수행하여 노광된다. 도 8은, 라이브뷰시의 프레임 처리를 도시한 개념도이다.

[라이브뷰 표시]

라이브뷰 화상을 LCD(44)에 표시할 경우에는, 적정 노출 화상(프레임)에 대해서는 통상의 방법으로 라이브뷰 화상 표시부(124)에 표시한다. 한편, 노출 보정된 화상인 경우에는 라이브뷰 화상 휘도 보정부(122)에 의해, 예를 들면 도 9(1Ev 언더 노출시의 예)와 같이 언더 노출을 위해서 휘도가 부족한 만큼 게인 보정한 후 라이브뷰 화상 표시부(124)에 표시한다(단계S19). 도 9는, 라이브뷰 화면 표시용 휘도 변환예를 도시한 그래프이다.

[본 촬상 노출의 산출]

하프 셔터 처리 요구가 발생하면(단계S20), 본 촬상 노출 산출부(138)에 의해 본 촬상시의 노출 보정값을 산출한다(단계S61).

본 촬상 노출 산출부(138)는 휘도 분포 기억부(134)로부터 직전 2프레임분의 휘도 히스토그램 정보와 그 때의 노출 보정값 Ecmp를 취득한다.

이 때 노출 보정값 Ecmp의 값이 2개 모두 0이면, 흰색 날림이 발생하지 않는 상황이므로 본 촬상 노출 보정값은 적정 노출과 동일하게 하여 본 노출 보정값 Ecmp_m=0으로 한다.

한편, 2개의 노출 보정값 Ecmp의 값에 0 이외의 값이 있는 경우에는 언더 노출되었을 때의 휘도 히스토그램 정보를 이용하여 이하에 나타내는 방법으로 본 촬상용의 본 노출 보정값 Ecmp_m을 산출한다.

이하에 본 노출 보정값 Ecmp_m의 산출 방법을 설명하기로 한다. 도 10은, 언더 노출 보정에 의해 취득된 휘도 히스토그램을 도시한 개념도이다. 도 12는, 본 촬상 노출의 산출 동작을 도시한 흐름도이다. 우선, 본 촬상시의 노출 보정값 Ecmp_m=0으로 설정한다(단계S12).

휘도값 Ps 이상의 휘도값의 히스토그램 정보가, 언더 노출 보정에 의해 하이라이트의 계조가 확대된 부분이다. 이 휘도값 Ps 이상의 범위를 추출하여 별도의 그래프로 한 것이 도 11이다. 도 11은, 언더 노출 보정에 의해 취득된 휘도 히스토그램을 도시한 개념도로서, 도 10의 휘도값 Ps 이상의 범위를 추출한 것이다. 여기에서 휘도값 Ps의 값은, 표 1에서 보정값의 값에 따라 도출된다. 즉, Yb의 값이 높을수록 더욱 언더 노출이 가능하기 때문에 추출하는 범위를 넓힐 수 있다.

도 11의 휘도 히스토그램에서 휘도값 Ps로부터의 빈도값을 적분해 나가고, 하기의 수학식 4와 같이 그 면적 Sst를 가산해 나간다. 또 하기의 수학식 5와 같이 휘도값 Ps에서 휘도 최대값(1023)까지의 빈도값을 적분하여 휘도 면적 Sext를 산출한다. 그리고 면적 Sst가 휘도 면적 Sext에 대해 95% 이상의 비율을 차지할 때의 최소 휘도값 Pt를 구한다(단계S62∼단계S66).

이로써 휘도값 Pt 이상의 휘도 영역은 노출 보정 후에도 흰색 날림이 더 있다고 판단하여 이 영역은 본 촬상시에는 보정 범위 외로 한다. 불필요한 과도한 언더 보정을 줄임으로써 섀도우부의 계조를 최대한 유지할 수 있다. 따라서 본 촬상용의 본 노출 보정값 Ecmp_m은 Ecmp보다도 작은 값이 된다.

수학식 4 및 수학식 5를 사용하여 Sst/Sext≥0.95가 되는 휘도값 Pt를 구한다. 여기에서 휘도값 Pt와 휘도값 Ps의 휘도비 Rs를 수학식 6에 의해 산출한다(단계S68).

휘도비 Rs의 값이 최적의 본 촬상의 본 노출 보정값이 된다. 그러나 개개의 노출에 대응한 계조 변환 특성의 결정을 용이하게 하기 위해, 도 15에 도시한 표 2를 사용하여 휘도비 Rs의 값을 4종류의 본 노출 보정값 Ecmp_m으로 클리핑(clipping)해도 좋다(단계S69). 그리고, 본 노출 보정값 Ecmp_m에 따라서, 정의된 계조 변환 특성을 선택하도록 한다. 도 15는, 휘도비 Rs와 본 촬상 노출 보정값 Ecmp_m의 관계를 나타내는 표(표 2)이다.

[역광시의 본 촬상 노출 보정값 Ecmp_m에 대해서]

아울러 극도의 역광시 등 언더 보정에 의해서도 흰색 날림의 상태가 거의 변하지 않는 경우에는 섀도우측의 계조를 잃는 것만으로도 보정이 역효과가 된다. 이것을 방지하기 위해 흰색 날림의 문턱값으로서 설정된 휘도값 Pw에서 휘도 최대값까지의 하기의 수학식 7에서 산출되는 면적 Sw2에 대해 Sst≤Sw2일 때에는 Ecmp_m=0으로 한다(단계S67).

본 촬상시의 노출은, 적정 노출에 본 노출 보정값 Ecmp_m을 가산함으로써 구해진다.

[계조 변환 특성 산출]

계조 변환 특성 산출부(142)는, 도 15의 표 2를 사용하여 결정한 본 촬상시의 본 노출 보정값 Ecmp_m의 값에 따라서, 도 13에 도시한 것과 같은 계조 변환 특성을 선택한다(단계S22). 도 13은, 계조 변환 특성을 도시한 그래프이다. 계조 변환 특성 기억부(154)는 선택된 계조 변환 특성을 기억한다.

계조 변환 특성은 노출 목표 휘도 T 부근의 출력 휘도값이 본 노출 보정량과 상관 없이 일정해지도록 하여 노출 언더 보정에 의해 생기는 휘도차를 보완할 수 있다.

아울러 보다 적절한 계조 보정을 하기 위해 도 13에 도시한 본 노출 보정값별로 정의된 계조 변환 특성을 동작시에 선형 보완해두어도 좋다. 그리고, 도 15의 표 2와 같은 휘도비 Rs의 클리핑은 수행하지 않고 본 노출 보정값 Ecmp_m=Rs로 하여, 본 노출 보정값 Ecmp_m(=Rs)에 대해 무(無)단계로 계조 변환 특성을 결정할 수 있도록 해도 좋다(도 12의 단계S69).

[본 촬상·계조 변환]

이상에 의해 본 촬상 노출이 설정되면(단계S23), 하프 셔터 상태에서도 라이브뷰 표시가 유효하기 때문에 라이브뷰 화상의 촬상에 상기 본 촬상 노출과 계조 변환 특성을 적용함으로써 셔터 전에 본 촬상 화상의 화질 이미지를 확인할 수 있도록 해도 좋다(단계S24).

마지막으로 셔터 처리 요구가 발생하면(단계S25, 단계S26), 본 촬상시의 노출이 노출 제어부(114)에 지시되고 촬상장치에 의해 본 촬상 화상을 취득할 수 있다(단계S27). 본 촬상된 화상에 대해서는 계조 변환부(152)가 계조 변환 특성 기억부(154)에 기록되어 있는 계조 변환 특성을 사용하여 계조성을 변환한다(단계S28). 그리고 계조 보정 후의 화상이 기록 매체(68) 등에 출력된다(단계S29).

(3. 본 실시예의 효과)

이상 설명한 대로 본 실시예는 촬영 시간을 연장하지 않고 촬영 화상의 흰색 날림을 그 정도에 따라 적응적으로 보정할 수 있다. 또 화상 합성 등을 사용한 방법에 비해 간단한게 구성할 수 있기 때문에 종래의 계조 보정 방식보다도 고속의 촬상장치를 제공할 수 있다.

촬영 화상의 흰색 날림을 줄이기 위해 (1)피사체의 휘도 분포에 따라 적절한 계조 보정을 하는 것, (2)화질을 열화시키지 않고 간이한 방법으로 계조 보정을 하는 것, (3)라이브뷰시의 프레임 레이트를 떨어뜨리지 않고 광범위한 히스토그램을 취득하여 계조 보정에 이용하는 것의 요구가 있다.

상기 (1),(2)의 요구를 충족시키기 위해 라이브뷰 화상을 이용하여 광범위한 휘도 분포를 취득해 두고, 그 정보를 이용하여 본 촬상 화상의 계조 변환 특성을 변화시키는 수법을 생각할 수 있다. 그러나 이 수법으로는 흰색 날림 부분의 계조 정보는 본 촬상 화상에서는 소실되기 때문에 흰색 날림의 억제에는 효과가 없다는 문제가 있다.

또 상기 (3)의 요구를 충족시키기 위해 평소보다도 고속의 프레임 레이트로 라이브뷰를 수행하는 것을 생각할 수 있는데, 이 방법에서는 보다 고성능의 하드웨어 장치가 필요하다는 문제가 있다.

한편 본 실시예에 의하면, 프레임 레이트를 유지한 채 라이브뷰 화상 등의 본 촬상전에 취득되는 여러 개의 화상의 휘도 분포 정보를 이용하여 본 촬상시의 흰색 날림을 억제하고 적응적인 계조 보정을 고속으로 또한 간단하게 수행할 수 있다.

이상, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대해서 상세히 설명하였으나, 본 발명은 상기 예로 한정되지 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 특허청구범위에 기재된 기술적 사상의 범주 내에서 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명백하며, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

Claims

제1 화상을 본 촬상하고 상기 제1 화상과 해상도가 다른 제2 화상을 촬영하는 촬상부;
상기 제1 화상을 본 촬상하기 전에 상기 제2 화상을 화면에 표시하는 표시부;
상기 제2 화상의 휘도 분포를 취득하는 휘도 분포 취득부;
상기 제2 화상의 피사체 휘도에 기초하여 적정 노출값을 산출하는 적정 노출 산출부;
상기 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 상기 휘도 분포의 고휘도측 분포에 기초하여 언더 노출에 의한 촬영의 필요성 여부를 판단하는 노출 판단부;
상기 언더 노출에 의한 촬영이 필요하다고 판단되었을 때, 상기 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 상기 휘도 분포의 저휘도측 분포에 기초하여 제1 노출 보정값을 산출하는 제1 노출 산출부; 및
상기 제1 노출 보정값에 기초하여 상기 언더 노출에 의한 상기 제2 화상의 촬영이 이루어졌을 때의 상기 휘도 분포의 고휘도측 분포에 기초하여 제2 언더 노출 보정값을 산출하는 제2 노출 산출부;를 포함하고,
상기 촬상부는 상기 적정 노출값과 상기 제2 노출 보정값에 기초하여 상기 언더 노출에 의한 상기 제1 화상을 본 촬상하는 것을 특징으로 하는 촬상장치.
제1항에 있어서,
상기 적정 노출값과 상기 제2 노출 보정값에 기초하여 상기 언더 노출에 의한 상기 제1 화상을 본 촬상 했을 때, 상기 제2 노출 보정값에 기초하여 계조 변환 특성을 결정하고, 상기 계조 변환 특성에 기초하여 상기 제1 화상을 계조 변환하는 것을 특징으로 하는 촬상장치.
제1항에 있어서,
상기 언더 노출에 의한 상기 제2 화상의 촬영이 이루어졌을 때 상기 제2 화상을 휘도 보정하는 휘도 보정부를 더 포함하고,
상기 표시부는 휘도 보정된 상기 제2 화상을 표시하는 것을 특징으로 하는 촬상장치.
제1항에 있어서,
상기 제1 노출 산출부는, 상기 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 상기 휘도 분포에서 저휘도측 분포가 적을수록 더욱 언더 노출이 되도록 상기 제1 노출 보정값을 산출하는 것을 특징으로 하는 촬상장치.
제1항에 있어서,
상기 언더 노출에 의한 상기 제2 화상의 촬영이 이루어졌을 때의 상기 휘도 분포의 고휘도측 분포가 클 때, 상기 촬상부는 언더 노출에 의한 본 촬상을 하지 않고 상기 적정 노출값에 기초하여 적정 노출에 의한 본 촬상을 하는 것을 특징으로 하는 촬상장치.
촬상부가 제1 화상을 본 촬상하기 전에 표시부가 화면에 표시하는, 상기 제1 화상과 해상도가 다른 제2 화상의 휘도 분포를 취득하는 단계;
상기 제2 화상의 피사체 휘도에 기초하여 적정 노출값을 산출하는 단계;
상기 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 상기 휘도 분포의 고휘도측 분포에 기초하여 언더 노출에 의한 촬영의 필요성 여부를 판단하는 단계;
상기 언더 노출에 의한 촬영이 필요하다고 판단되었을 때, 상기 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 상기 휘도 분포의 저휘도측 분포에 기초하여 제1 노출 보정값을 산출하는 단계;
상기 제1 노출 보정값에 기초하여 상기 언더 노출에 의한 상기 제2 화상의 촬영이 이루어졌을 때의 상기 휘도 분포의 고휘도측 분포에 기초하여 제2 언더 노출 보정값을 산출하는 단계; 및
상기 촬상부가 상기 적정 노출값과 상기 제2 노출 보정값에 기초하여 상기 언더 노출에 의한 상기 제1 화상을 본 촬상하는 단계;
를 포함하는 것을 특징으로 하는 촬상방법.
제1 화상을 본 촬상하고 상기 제1 화상과 해상도가 다른 제2 화상을 촬영하는 촬상부;
상기 제1 화상을 본 촬상하기 전에 상기 제2 화상을 화면에 표시하는 표시부;
상기 제2 화상의 휘도 분포를 취득하는 휘도 분포 취득부;
상기 제2 화상의 피사체 휘도에 기초하여 적정 노출값을 산출하는 적정 노출 산출부;
상기 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 상기 휘도 분포에 기초하여 언더 노출에 의한 촬영의 필요성 여부를 판단하는 노출 판단부;
상기 언더 노출에 의한 촬영이 필요하다고 판단되었을 때, 상기 적정 노출값에 기초하여 적정 노출에 의한 촬영이 이루어졌을 때의 상기 휘도 분포에 기초하여 제1 노출 보정값을 산출하는 제1 노출 산출부; 및
상기 제1 노출 보정값에 기초하여 상기 언더 노출에 의한 상기 제2 화상의 촬영이 이루어졌을 때의 상기 휘도 분포에 기초하여 제2 언더 노출 보정값을 산출하는 제2 노출 산출부;를 포함하는 것을 특징으로 하는 촬상장치.