KR20080035981A - 화상처리장치, 촬상장치, 화상처리방법 및 컴퓨터 프로그램 - Google Patents

화상처리장치, 촬상장치, 화상처리방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20080035981A
KR20080035981A KR1020070105411A KR20070105411A KR20080035981A KR 20080035981 A KR20080035981 A KR 20080035981A KR 1020070105411 A KR1020070105411 A KR 1020070105411A KR 20070105411 A KR20070105411 A KR 20070105411A KR 20080035981 A KR20080035981 A KR 20080035981A
Authority
KR
South Korea
Prior art keywords
exposure
image data
luminance
image
value
Prior art date
Application number
KR1020070105411A
Other languages
English (en)
Inventor
마사후미 와카조노
나오야 카토오
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20080035981A publication Critical patent/KR20080035981A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Abstract

입력 화상 데이터를 처리하는 화상처리장치는, 상기 입력 화상 데이터의 촬상시에 있어서의 노출 제어값에 대해 복수 단계의 노출 보정값을 취득하는 노출 보정값 취득부와, 상기 입력 화상 데이터에 근거하여 조명 성분을 생성하는 조명 성분 생성부와, 각각의 복수의 가중계수와, 상기 가중계수에 대응하는 상기 노출 보정값에 따른 승산계수를 승산하고, 각 승산값을 가산함으로써, 게인량을 산출하는 게인량 산출부와, 상기 게인량 산출부에 의해 산출된 상기 게인량을 상기 입력 화상 데이터에 각 화소에 대해 인가하는 게인 인가부를 포함한다.
Figure P1020070105411
화상, 촬상, 데이터, 처리, 게인

Description

화상처리장치, 촬상장치, 화상처리방법 및 컴퓨터 프로그램{IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM}
본 발명은 2006년 10월 19일, 일본 특허청에 출원된 일본 특개 JP 2006-285108에 관한 주제를 포함하고, 그 모든 내용은 여기에 참조로 인용된다.
본 발명은 입력 화상 데이터를 처리하는 화상처리장치, 화상처리장치의 기능을 갖춘 촬상장치, 화상처리방법 및 컴퓨터 프로그램에 관한 것으로, 특히, 비교적 휘도 레인지가 넓은 장면이 촬상된 화상 데이터의 처리에 적합한 화상처리장치, 촬상장치, 화상처리방법 및 컴퓨터 프로그램에 관한 것이다.
고체촬상소자를 사용한 디지털 스틸 카메라(ＤＳＣ)에서는, 촬상에 의해 취득한 화상을, 디지털 화상 데이터로서 플래시 메모리 등의 기록 매체에 기록할 수 있다. 기록된 디지털 화상 데이터에 근거하여 그 화상을 모니터에 표시하거나, 프린터로 인쇄할 수 있다.
이러한 ＤＳＣ로의 촬상시에는, ＤＳＣ의 촬상화상에 ＡＥ(Auto Exposure) 처리, ＡＷＢ(Auto White Balance) 처리, 계조 보정 처리 등을 실행함으로써 원하는 화질을 가지는 화상 데이터를 얻을 수 있다. ＡＥ처리를 실행할 경우에는, 예를 들면 촬상화상의 화각을 복수의 에어리어로 분할하고, 각 에어리어에 있어서의 가중 평균 휘도를 피사체의 휘도로 하거나, 포커스 점의 휘도값을 피사체의 휘도로 하는 방법으로, 피사체의 휘도를 측정한다. 그 측정 결과에 근거하여 노광 시간, 조리개의 개구, ＩＳＯ(International Standards Organization) 게인을 조절함으로써, 노출량을 결정한다.
그러나, 화각 내의 휘도 레인지가 넓은 장면에서는, ＡＥ처리의 정밀도가 떨어져, 화각 내의 주요 피사체가 빛에 지나치게 노출되어, 화상에 흰 공백이 생기거나, 빛에 충분히 노출되지 않아, 노이즈에 화상이 파묻히거나 화상에 블랙 솔리드가 생길 가능성이 커진다. 따라서, 이러한 장면에서도 적절한 노광 조건으로 촬상된 화상을 얻기 위한 촬상방법으로서, 노광 조건을 변화시켜서 복수 회 연속해서 노광하고, 그 변화하는 노광 조건 하에서 복수의 화상신호를 얻는 「브래킷 촬상」이라 불리는 방법이 알려져 있다. 예를 들면 측광결과를 근거로 브래킷 촬상시의 적절한 조건을 자동으로 설정하도록 한 화상 촬상방법이 알려져 있다(예를 들면, JP-A-2003-348438호(단락번호 〔0047〕∼〔0050〕, 도 3).
그러나, 노광 조건을 적절히 설정하더라도, 그 장면의 휘도 레인지에 대해 촬상소자의 출력의 다이네믹 레인지가 부족할 경우에는, 흰 공백이나 블랙 솔리드가 발생하여 화질을 떨어뜨린다. 즉, 브래킷 촬상에 의해 얻어지는 각각의 화상에 서는, 촬상소자의 출력의 다이네믹 레인지의 범위를 초과하는 휘도 성분을 재현할 수는 없다.
따라서, 브래킷 촬상을 응용하여, 촬상소자의 출력보다 넓은 다이네믹 레인지를 가지는 화상(광(廣) 다이네믹 레인지 화상)을 얻을 수 있게 하는 촬상방법이 고려되었다. 광 다이네믹 레인지 화상의 촬상에서는, 브래킷 촬상에 의해 노출량을 크게 한 촬상화상과, 노출량을 억제한 촬상화상을 취득하고, 그것들을 합성함으로써 광 다이네믹 레인지의 화상을 생성한다. 즉, 노출량을 억제해서 고휘도측의 계조가 얻어지는 화상성분과, 노출량을 높여서 저휘도측의 계조가 얻어지는 화상성분을 합성한다. 이에 따라, 1회의 노광에서는 얻을 수 없는 넓은 휘도 레인지의 계조정보를, 합성 후의 화상에 받아들일 수 있게 된다. 또한, 브래킷 촬상기능을 사용하는 대신에, 촬상소자 위에 대소 2종류의 개구를 설치하고, 각각의 개구의 영역에서 검출된 출력을 합성함으로써, 광 다이네믹 레인지 화상을 얻는 방법도 제안되어 있다.
그러나, 효과적인 브래킷 촬상을 실행하기 위해서, 특히, 광 다이네믹 레인지 화상의 취득을 전제로 브래킷 촬상을 실행하기 위해서, 그 브래킷 촬상시의 노광 조건을 결정하기 어려운 문제가 있었다. 브래킷 촬상에 의해 광 다이네믹 레인지 화상을 취득할 경우, 브래킷 촬상시에, 카메라가 흔들리고 있거나, 피사체가 움직이고 있으면, 얻어진 화상을 정확하게 합성할 수 없어, 광 다이네믹 레인지 화상의 품질이 떨어지는 문제도 있었다. 따라서 1회의 노광에 의해 광 다이네믹 레인지 화상을 생성할 수 있도록 요구되고 있다. 그러나, 그러한 요구를 만족하는 효과적인 방법은 아직 제안되지 않았다.
촬상장치의 내부에서 처리되는 화상 데이터나, 촬상장치에 의해 생성된 광 다이네믹 레인지 화상의 비트수는, 많은 경우, 표시 디바이스에서 취급할 수 있는 화상 데이터의 비트수보다 많다. 이에 따라 계조 레인지를 압축하는 절차가 필요한 경우가 많다. 따라서 입력 화상의 화질을 손상시키지 않고, 계조 레인지를 최적화할 수 있는 처리 절차가 요구되어 왔다.
따라서, 입력 화상 데이터의 휘도 레인지를 최적화할 수 있는 화상처리장치, 촬상장치, 화상처리방법 및 컴퓨터 프로그램을 제공하는 것이 바람직하다.
본 발명의 일 실시예에 따르면, 입력 화상 데이터를 처리하는 화상처리장치가 제공되는데, 상기 화상처리장치는, 상기 입력 화상 데이터의 촬상시에 있어서의 노출 제어값에 대해 복수 단계의 노출 보정값을 취득하는 노출 보정값 취득부와, 상기 입력 화상 데이터에 근거하여 조명 성분을 생성하는 조명 성분 생성부와, 상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값의 단계 수만큼 설정되고, 상기 조명 성분의 동일 위치의 화소의 밝기에 따라, 동일 위치의 화소에 있어서의 가중계수의 합계 값이 1이 되도록 설정된, 각각의 복수의 가중계수와, 상기 가중계수에 대응하는 상기 노출 보정값에 따른 승산계수를 승산하고, 각 승산값을 가산함으로써, 게인량을 산출하는 게인량 산출부와, 상기 게인량 산출부에 의해 산출된 상기 게인량을 상기 입력 화상 데이터에 각 화소에 대해 인가하는 게인 인가부를 포함한다.
이러한 화상처리 장치에서는, 노출 보정값 취득부에 의해, 입력 화상 데이터의 촬상시에 있어서의 노출 제어값에 대해 복수 단계의 노출 보정값이 취득되고, 조명 성분 생성부에 의해, 입력 화상 데이터에 근거하여 조명 성분이 생성된다. 게인 인가부에 의해 입력 화상 데이터에 각 화소에 대해 인가되는 게인의 게인량은, 게인량 산출부에 의해 산출된다. 게인량 산출부는, 상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값의 단계 수만큼 설정되고, 상기 조명 성분의 동일 위치의 화소의 밝기에 따라, 동일 위치의 화소에 있어서의 가중계수의 합계 값이 1이 되도록 설정된, 각각의 복수의 가중계수와, 상기 가중계수에 대응하는 상기 노출 보정값에 따른 승산계수를 승산하고, 각 승산값을 가산함으로써, 게인량을 산출한다.
본 발명의 실시예에 따른 화상처리장치에서는, 복수 단계의 노출 보정값에 따른 승산계수를 입력 화상 데이터에 대하여 적용함으로써, 입력 화상의 노출량을 조정하여 얻어지는 신호 성분이 의사적으로 생성된다. 그 신호 성분의 동일 화소에서의 합성비는 가중계수에 의해 주어진다. 그 합성비는 조명 성분의 밝기에 따라 결정된다. 따라서, 조명 성분의 밝기 분포에 따라, 휘도 레인지를 최적화할 수 있게 된다.
이하, 본 발명을 디지털 스틸 카메라(ＤＳＣ)에 적용했을 경우를 예로 들어, 본 발명의 실시예에 대해서 도면을 참조해서 상세하게 설명한다.
〔제1 실시예〕
도 1은, 본 발명의 제1 실시예에 따른 ＤＳＣ의 내부 구성을 나타내는 블럭도다.
도 1에 나타내는 ＤＳＣ는, 광학 블록(11), 촬상소자(12), A/D(아날로그/디지털) 변환부(13), ＩＳＯ 게인 조정부(14), 버퍼 메모리(15), 합성 처리부(16), 현상 처리부(17), 기록부(18), 표시부(19), 마이크로컴퓨터(20), 로 패스 필터(Ｌ ＰＦ)(21), 및 검파부(22)를 구비한다.
광학 블록(11)은, 피사체로부터의 빛을 촬상소자(12)에 빛을 집광하기 위한 렌즈, 렌즈를 이동시켜서 포커싱이나 주밍을 행하기 위한 구동기구(모두 도시 생략), 조리개(11a), 셔터(11b)를 구비한다. 광학 블록(11) 내의 구동기구는, 마이크로컴퓨터(20)로부터의 제어신호에 따라 구동된다. 촬상소자(12)는, 예를 들면 ＣＣＤ(Charge Coupled Device)형, ＣＭＯＳ(Complementary Metal Oxide Semiconductor)형 등의 고체촬상소자이며, 피사체로부터의 입사광을 전기신호로 변환한다.
A/D 변환부(13)는, 촬상소자(12)로부터 출력된 화상신호를 디지털 데이터로 변환한다. ＩＳＯ 게인 조정부(14)는, 마이크로컴퓨터(20)로부터의 게인 제어값에 따라, A/D 변환부(13)로부터의 화상 데이터의 ＲＧＢ(Red, Green, Blue) 각 성분에 대하여 균일한 게인을 건다. ＩＳＯ 게인의 조정은, A/D 변환부(13)에 입력되기 전의 아날로그 화상신호의 단계에서 이루어져도 된다.
버퍼 메모리(15)는, 브래킷 촬상에 의해 얻어지는 복수 개의 화상의 데이터를 일시적으로 기억한다. 합성 처리부(16)는, 브래킷 촬상시에 적용한 노출 보정값을 마이크로컴퓨터(20)로부터 받고, 이 노출 보정값에 근거하여 버퍼 메모리(15) 내의 복수 개의 화상을 1개의 화상으로 합성한다.
현상 처리부(17)는, 주로, 합성 처리부(16)로부터 출력되는 ＲＡＷ 화상 데이터를, 가시 화상의 데이터로 변환하는, 소위 ＲＡＷ 현상 처리를 실행하는 블록이다. 이 현상 처리부(17)는, ＲＡＷ 화상 데이터에 대하여, 데이터 보간(디모자이 크) 처리, 각종 색 조정/변환 처리(화이트 밸런스 조정 처리, 고휘도 니(knee) 압축 처리, 감마 보정 처리, 애퍼처 보정 처리, 클리핑 처리 등), 소정의 인코드 방식(여기에서는, ＪＰＥＧ(Joint Photographic Experts Group) 방식을 적용한다)에 따른 화상 압축 및 인코드 처리 등을 실행한다.
이하의 각 실시예에서는, A/D 변환부(13)로부터 출력되는 ＲＡＷ 화상 데이터의 비트수를 12비트로 하고, 현상 처리부(17)는, 그 12비트 데이터를 처리할 수 있는 사양으로 되어 있다. 현상 처리부(17)는, 현상 처리의 과정에서, 예를 들면 고휘도 니 압축 처리(혹은 하위 비트의 잘라 버림)에 따라, 12비트 데이터를 8비트 데이터로 압축하고, 그 8비트 데이터에 대하여 압축 및 인코드 처리를 실행한다. 현상 처리부(17)는 그 8비트 데이터를 표시부(19)에 출력한다.
기록부(18)는, 촬상에 의해 얻어지는 화상 데이터를 데이터 파일로서 보존하기 위한 장치이다. 기록부(18)는, 예를 들면 휴대형 플래시 메모리나 ＨＤ(Hard Disk)로 실현된다. 기록부(18)에는, 현상 처리부(17)에 의해 부호화된 ＪＰＥＧ 데이터 이외에, 합성 처리부(16)로부터 출력되는 ＲＡＷ 화상 데이터를 데이터 파일로서 기록할 수 있다. 기록부(18)에 기록된 ＲＡＷ 화상 데이터를 판독하고, 현상 처리부(17)에서 처리하고, 기록부(18)에 ＪＰＥＧ 데이터 파일로서 새롭게 기록할 수도 있다.
표시부(19)는, ＬＣＤ(Liquid Crystal Display) 등의 모니터를 구비한다. 표시부(19)는, 현상 처리부(17)에서 처리된 비압축 상태의 화상 데이터를 근거로, 모니터 표시용 화상신호를 생성해서 모니터에 공급한다. 촬상화상의 기록 전의 프리 뷰 상태에서는, 촬상소자(12)로부터는 연속적으로 촬상화상신호가 출력된다. 디지털 변환된 후, 그 촬상된 촬상화상의 디지털 화상 데이터는 ＩＳＯ 게인 조정부(14) 및 합성 처리부(16)를 통해 현상 처리부(17)에 공급되어, 현상 처리(단, 인코드 처리를 제외한다)가 실행된다. 표시부(19)는, 이때 현상 처리부(17)로부터 순차 출력되는 화상(프리뷰 화상)을 모니터에 표시한다. 유저는 그 프리뷰 화상을 시인해서 화각을 확인할 수 있다.
마이크로컴퓨터(20)는, ＣＰＵ(Central Processing Unit), ＲＯＭ(Read Only Memory), ＲＡＭ(Random Access Memory)을 구비한다. 마이크로컴퓨터(20)는, ＲＯＭ에 기억된 프로그램을 실행함으로써, ＤＳＣ 전체를 통괄적으로 제어한다. 예를 들면 본 실시예에서는, 마이크로컴퓨터(20)가, 검파부(22)로부터의 검파결과를 근거로 노출 보정값을 계산하고, 그 노출 보정값에 따른 제어신호를 출력해서 조리개(11a)나 셔터(11b)를 제어함으로써 ＡＥ 제어를 실현한다. 후술하는 광 다이네믹 레인지 촬상을 실행할 때에는, 마이크로컴퓨터(20)는, 산출한 노출 보정값을 합성 처리부(16)에 통지한다.
ＬＰＦ(21)는, 필요에 따라, ＩＳＯ 게인 조정부(14)로부터 출력된 화상 데이터에 로 패스 필터 처리를 실행한다. 검파부(22)는, ＩＳＯ 게인 조정부(14)로부터 ＬＰＦ(21)를 통해 공급된 화상 데이터를 근거로 각종 검파를 행하는 블록이다. 본 실시예에서는, 예를 들면 검파부(22)는 화상을 소정의 측광영역으로 분할하고, 각 측광영역의 휘도값을 검출한다.
ＤＳＣ에 있어서의 촬상 동작, 특히, 광 다이네믹 레인지 촬상의 동작에 관 하여 설명한다. 광 다이네믹 레인지 촬상(이하, ＨＤＲ 촬상이라고 부른다)이란, 촬상소자(12)에 의해 검출 가능한 장면 내의 휘도 레인지보다 넓은 휘도 레인지의 계조정보를 가지는 화상(이하, ＨＤＲ 화상이라고 부른다)을 얻을 수 있는 촬상방법이다. 이하에서는, ＨＤＲ 촬상이 필요한지 여부를 촬상 장면에 따라 자동으로 판별하는 촬상 동작 모드가, ＤＳＣ에 설정되어 있는 경우에 관하여 설명한다.
도 2는, 제1 실시예에 따른 ＤＳＣ에서의 촬상 동작 전체의 순서를 나타내는 흐름도다.
[스텝 S101] ＤＳＣ는, 전원이 투입되면, 유저로부터의 촬상화상의 기록 요구를 대기하는 상태, 즉, 표시부(19)의 모니터에 프리뷰 화상이 표시되는 상태가 된다. 이 상태에서는, ＩＳＯ 게인 조정부(14)로부터 출력된 화상 데이터가, ＬＰＦ(21)에 의해 필터 처리되지 않고 검파부(22)에 입력된다. 마이크로컴퓨터(20)는, 검파부(22)에서의 휘도 정보의 검파값을 근거로, 촬상소자(12)의 전자 셔터 속도와 조리개(11a)의 개구를 제어함으로써 ＡＥ 제어를 실행한다. 이때 검파부(22)에서는, 예를 들면 촬상화상의 화각을 소정 수의 측광영역으로 분할해서 휘도값을 검출한다. 마이크로컴퓨터(20)는, 각 측광영역에서의 휘도 평균값으로부터 패턴을 판별함으로써 적정한 노출 제어값을 추정한다.
[스텝 S102] 상기한 바와 같은 프리뷰 화상 촬상용 ＡＥ 제어는, 유저가 셔터 버튼을 조작할 때까지 실행된다. 셔터 버튼이 눌리면, 화상 기록을 위한 ＡＥ처리가 실행된다. 실제 동작에서는, 예를 들면 스텝 S102에서 셔터 버튼이 절반만 눌리면, 스텝 S103 이후의 처리가 실행된다. 그 후에 셔터 버튼의 상태가 해제되지 않고, 모두 눌리면, 스텝 S105, 스텝 S108∼S110, 또는, 스텝 S111∼S114의 처리가 실행된다.
[스텝 S103] 셔터 버튼의 절반이 눌린 조작이 검출되면, 우선, 기록 화상 촬상용 검파처리가 실행된다. 이 처리에서는, ＩＳＯ 게인 조정부(14)로부터 출력된 화상 데이터에 대하여, ＬＰＦ(21)에 의해 필터 처리가 실행된다. 필터 처리 후의 화상 데이터는 검파부(22)에 공급된다. 검파부(22)에 의해 휘도값이 검출되어서, 마이크로컴퓨터(20)에 통지된다.
스텝 S103에서의 휘도의 검파값은, ＨＤＲ 촬상이나 브래킷 촬상이 필요한지 여부의 판정이나, 그 판정을 위한 장면의 휘도 레인지의 측정이나, 노출 보정값의 연산에 사용된다. ＬＰＦ(21)에 의해 필터 처리가 실행된 화상으로부터 휘도를 검파함으로써, 입력 화상에 극단적으로 밝은 소영역이나 극단적으로 어두운 영역이 포함되더라도, 소영역에 의한 판정이나 연산의 오차를 저감하고, 판정 결과나 연산 결과를 안정화시킬 수 있다.
ＬＰＦ(21)를 사용하는 대신에, 이후의 제3 실시예에서 설명하는, 렌즈의 디포커스 상태에 있어서의 촬상화상을 사용하는 방법에 의해, 로 패스 필터 처리가 근사적으로 실행된 화상을 취득해도 된다. 이에 따라 ＬＰＦ(21)를 생략할 수 있고, 회로 규모를 억제할 수 있다.
스텝 S103에서, 스텝 S101의 ＡＥ 제어시와 같은 측광영역으로부터 휘도를 검파했을 경우에는, 이후의 스텝에서, 스텝 S101에서 추정된 적정한 노출 제어값을 현재의 노광 조건으로서 그대로 사용한다. 다만, 이하의 스텝에서는, 촬상소자(12) 에 의한 전자 셔터 기능뿐만 아니라, 셔터(11b)도 사용해서 노광 시간을 제어해서 얻어진 노출 제어값을, 현재의 노광 조건으로 사용한다.
스텝 S101의 ＡＥ 제어와는 다른 측광영역으로부터 휘도를 검파하여, 적정한 노출 제어값을 다시 구해도 된다. 예를 들면, 화각 중앙부의 소정 영역(예를 들면 전체에 대해 3%의 면적의 영역)만으로부터, 또는, 분할한 측광영역 중 화각의 중앙부분과 그 주변 영역만으로부터 검파하고, 그 검파값에 근거해서 적정한 노출 제어값을 추정하여, 현재의 노광 조건으로 사용한다. 이러한 측광영역의 설정을, 유저 조작에 따라 임의로 변경할 수도 있다.
[스텝 S104] 마이크로컴퓨터(20)는, ＨＤＲ 화상의 촬상을 실행할 필요가 있는지 여부를 판정한다. 마이크로컴퓨터(20)는, 스텝 S103에서 검파된 휘도값을 근거로, 화상에 흰 공백이 발생한 화소의 비율(흰 공백 화소비율), 및 화상에 블랙 솔리드가 발생한 화소의 비율(블랙 솔리드 화소비율)이 높은지 여부를 판정한다. 그 비율이 각각에 설정된 경계값보다 높으면, 장면의 휘도 레인지를 고려한 ＨＤＲ 촬상이 필요하다고 판정한다. 구체적으로는, 휘도값을 근거로, 촬상소자(12)의 포화 전하량 Qs 이상의 화소의 비율을 흰 공백 화소비율로서 산출한다. 촬상소자(12)의 노이즈 레벨 Nf 이하의 화소의 비율은 블랙 솔리드 화소비율로서 산출한다. 이 비율들은, 예를 들면 각 휘도의 도수를 나타내는 히스토그램으로부터 산출할 수 있다.
[스텝 S105] 흰 공백 화소비율과 블랙 솔리드 화소비율이 모두, 각각에 설정된 경계값 이하이면, 현재의 노광 조건(즉, 스텝 S101에서의 ＡＥ 제어로 추정된 노광 조건)에서 촬상한 상태에서, 장면의 휘도 레인지가 촬상소자(12)의 출력의 다이네믹 레인지 내에 속한다고 여겨진다. 따라서, 마이크로컴퓨터(20)는, 현재의 노광 조건에 근거하여 종래의 일반적인 순서로 ＤＳＣ에 촬상 동작을 실행시킨다. 즉, 셔터 버튼의 완전 눌림 검출을 트리거로서, 현재의 노광 조건에 근거하여 노광되고, 저장된 화상 데이터가, ＪＰＥＧ 데이터 또는 ＲＡＷ 화상 데이터로서 기록부(18)에 기록된다.
[스텝 S106] 반면에, 흰 공백 화소비율과 블랙 솔리드 화소비율 중 어느 하나가, 각각에 설정된 경계값를 초과한 경우에는, 현재의 노광 조건에서는, 장면의 휘도 레인지가 촬상소자(12)의 출력의 다이네믹 레인지 내에 속하지 않는다고 여겨진다. 따라서, ＨＤＲ 촬상이 필요하다고 판정된다. 이 경우에는, 이어서, 장면의 휘도 레인지, 즉 최고 휘도 YH 및 최저 휘도 YL의 측정이 실행된다.
최고 휘도 YH의 측정에서는, 마이크로컴퓨터(20)는, 노출 보정값이 미리 설정된 노출 보정값의 마이너스측의 한계값에 도달하거나, 흰 공백 화소가 없어질 때까지, 노출 보정값을 서서히 감소시키고, 노출 보정값이 감소할 때마다 노광 조건을 바꾸면서, ＤＳＣ에 촬상을 실행시킨다. 마이크로컴퓨터(20)는, 장면의 고휘도측의 휘도값이 촬상소자(12)의 출력의 다이네믹 레인지 내에 있도록 하는 노출 보정값 EVH를 측정한다. 마이크로컴퓨터(20)는, 측정한 노출 보정값 EVH와, 소정의 기준 노광 조건하에서 촬상했을 때의 촬상신호의 다이네믹 레인지에 있어서의 최대 휘도 YDH를 근거로, 다음 식 (1)에 의해 최고 휘도 YH를 계산한다.
마찬가지로, 최저 휘도 YL의 측정에서는, 마이크로컴퓨터(20)는, 노출 보정값이 미리 설정된 노출 보정값의 플러스측의 한계값에 도달하거나, 블랙 솔리드 화소가 없어질 때까지, 노출 보정값을 서서히 증가시키면서 ＤＳＣ에 촬상을 실행시킨다. 마이크로컴퓨터(20)는, 장면의 저휘도측의 휘도값이 촬상소자(12)의 출력의 다이네믹 레인지 내에 있도록 하는 노출 보정값 EVL을 측정한다. 마이크로컴퓨터(20)는, 측정한 노출 보정값 EVL과, 상기의 기준 노광 조건하에서 촬상했을 때의 촬상신호의 다이네믹 레인지에 있어서의 최소 휘도 YDL를 근거로, 다음 식 (2)에 의해 최저 휘도 YL을 계산한다. 블랙 솔리드 화소로서, 촬상소자(12)의 다크 노이즈의 노이즈 레벨 Nf의 평균값에서의 전하량, 혹은 이하의 전하량을 가지는 화소가 판정된다. 노이즈 레벨 Nf는, 노광 시간이나 촬상소자(12)의 온도 등에 따라 변화한다.
Figure 112007074829719-PAT00001
식 (1) 및 (2)에 있어서, Qs는 촬상소자(12)의 포화 전하량을 나타낸다. QMAX, QMIN은 각각 전하량의 최대값 및 최소치를 나타내고, 각각 화이트, 블랙으로 규정되는 휘도값(화이트 레벨, 블랙 레벨)의 검파값으로부터 환산해서 구할 수 있다. 휘도값 YDH 및 YDL은 각각, 미리 결정된 기준 노광 조건하에서의 촬상소자(12)의 출력의 다이네믹 레인지 내의 최대, 최소의 휘도값을 나타낸다.
최고 휘도 YH 및 최저 휘도 YL의 계산에서는, 특히, 화각 내에 극단적으로 높은 휘도값을 가지는 화소가 존재하는 경우에, 계산 결과가 불안정해지는 경우가 있다. 이에 반해 상기한 바와 같이, 촬상에 의해 얻어지는 화상 데이터에 대하여, ＬＰＦ(21)에 의해 필터 처리를 실행한 후, 휘도값의 검파를 실행함으로써, 이러한 문제를 해결할 수 있다.
[스텝 S107] 다음에 마이크로컴퓨터(20)는, 상기의 최고 휘도 YH 및 최저 휘도 YL의 계산 결과를 근거로, 브래킷 촬상이 필요한지 여부를 판정한다. 구체적으로는, 마이크로컴퓨터(20)는, YH/YL의 값과, 촬상소자(12)의 출력의 다이네믹 레인지의 환산값 DSENSOR의 비교 결과를 근거로 판정한다.
[스텝 S108] YH/YL의 값이 다이네믹 레인지의 환산값 DSENSOR 이하가 되었을 경우에는, 촬상소자(12)의 출력의 다이네믹 레인지가 장면의 휘도 레인지보다 넓다고 판단할 수 있으므로, 브래킷 촬상이 불필요하다고 판정한다. 이 경우, 마이크로컴퓨터(20)는, 스텝 S101에서 추정한 노광 조건에서의 노출 제어값(단, 셔터(11b)의 제어도 포함한다)을, 흰 공백 및 블랙 솔리드가 생기지 않도록 노출 보정값 EVopt만큼 쉬프트해서 보정하고, 보정된 노출 제어값을 사용해서 1회의 노광 동작을 실행시킨다.
[스텝 S109] 또한, 마이크로컴퓨터(20)는, ＩＳＯ 게인 조정부(14)에 대하여, 2의 (-EVopt)승의 게인을 설정하고, 촬상에 의해 얻어지는 화상 데이터를 밝기 LV가 복원되도록 보정한다.
[스텝 S110] 보정된 화상 데이터는, 합성 처리부(16)를 통해 현상 처리부(17)에 공급되어, ＨＤＲ 화상의 ＪＰＥＧ 데이터로서 기록부(18)에 기록된다. 또는, 현상 처리부(17)를 통하지 않고, ＨＤＲ 화상의 ＲＡＷ 화상 데이터로서 기록부(18)에 기록되어도 된다.
[스텝 S111] 한편, YH/YL의 값이 다이네믹 레인지의 환산값 DSENSOR를 초과했을 경우에는, 다이네믹 레인지가 장면의 휘도 레인지보다 좁다고 판단할 수 있으므로, 브래킷 촬상이 필요하다고 판정된다. 이 경우, 마이크로컴퓨터(20)는, 스텝 S106에서 측정된 최고 휘도 YH 및 최저 휘도 YL에 근거하는 노출 제어값을 사용하여, ＤＳＣ에 브래킷 촬상을 실행시킨다. 즉, 마이크로컴퓨터(20)는, 장면의 고휘도측 및 저휘도측의 영역이 각각 적정한 노광 조건으로 촬상된 화상을 개별적으로 취득한다.
도 3은, 스텝 S111의 브래킷 촬상의 처리 순서를 나타내는 흐름도다.
[스텝 S201] 마이크로컴퓨터(20)는, 스텝 S106에서 측정된 최고 휘도 YH 및 최저 휘도 YL을 사용하고, 다음 식 (3) 및 (4)에 따라, 장면의 고휘도측 및 저휘도측에서의 각 노출 보정값 EVUNDER 및 EVOVER를 계산한다. 다만, EVUNDER≤0, EVOVER≥0으로 한다.
EVUNDER = -log2(YH/YDH) (3)
EVOVER = -log2(YL/YDL) (4)
[스텝 S202] 마이크로컴퓨터(20)는, 우선, 스텝 S101에서 추정한(또는 스텝 S103로 다시 추정한) 노출 제어값을 그대로 보정하지 않고 사용하여, ＤＳＣ에 노광 동작을 실행시키고, 기준 화상 P0을 촬상한다. 촬상에 의해 얻어지는 화상 데이터는, 버퍼 메모리(15)에 일시적으로 저장된다.
[스텝 S203] 마이크로컴퓨터(20)는, 노출 보정값 EVUNDER가 0인지의 여부를 판정한다. 노출 보정값 EVUNDER가 0인 경우에는 스텝 S205의 처리가 실행된다. 노출 보정값 EVUNDER가 0이 아닌 경우에는 스텝 S204의 처리가 실행된다.
[스텝 S204] 노출 보정값 EVUNDER가 0이 아니면, 마이크로컴퓨터(20)는, 이 노출 보정값 EVUNDER를 적용하여, ＤＳＣ에 노광 동작을 실행시킨다. 이에 따라, 고휘도의 피사체에 흰 공백이 발생하지 않도록, 최소한으로 필요한 만큼만 노출을 언더 측으로 보정했을 때의 화상 PUNDER이 얻어지고, 그 화상 데이터가 버퍼 메모리(15)에 일시적으로 저장된다.
[스텝 S205] 마이크로컴퓨터(20)는, 노출 보정값 EVOVER가 0인지의 여부를 판정한다. 노출 보정값 EVOVER가 0인 경우에는 스텝 S112의 처리가 실행된다. 노출 보정값 EVOVER가 0이 아닌 경우에는 스텝 S206의 처리가 실행된다.
[스텝 S206] 노출 보정값 EVOVER가 0이 아니면, 마이크로컴퓨터(20)는, 이 노출 보정값 EVOVER를 적용하여, 노광 동작을 실행시킨다. 이에 따라 저휘도의 피사체에 블랙 솔리드가 발생하지 않도록 최소한으로 필요한 만큼만 노출을 오버 측으로 보정했을 때의 화상 POVER가 얻어진다. 그 화상의 데이터는 버퍼 메모리(15)에 일시적으로 저장된다.
도 3의 처리 순서에서는, 노출 보정값 EVUNDER, EVOVER 중 어느 하나가 0인 경우에는, 그 노출 보정값을 사용한 촬상을 실행하지 않는다. 따라서 최소한으로 필요한 횟수의 노광이 실행된다. 기준 화상 P0을 처음에 촬상함으로써 셔터 래그를 최소한으로 억제한다. 2번째 이후의 촬상에 대해서는, 노광 시간가 짧은 순으로 촬상함(즉, 먼저 언더 보정에서의 촬상을 실행함)으로써 셔터 래그를 억제할 수 있다. 3회의 촬상 동작 사이의 시간 차가 작아지기 때문에, 피사체가 다소 움직이더라도, 거의 같은 화상을 촬상할 수 있다. 스텝 S112에서 생성되는 합성 화상의 화질 열화를 저감할 수 있다.
이하, 도 2에 되돌아와서 설명한다.
[스텝 S112] 다음에 버퍼 메모리(15)에 저장된 각 화상 데이터는, 합성 처리부(16)에 의해 판독되어, 1개의 ＨＤＲ 화상으로 합성된다. 합성 처리부(16)는, 마이크로컴퓨터(20)로부터, 고휘도측, 저휘도측에서 노출 보정값 EVUNDER 및 EVOVER를 받는다. 마이크로컴퓨터(20)는 그 노출 보정값을 사용하여, 합성 후의 화상 P에 있어 서의 공간위치(x, y)에서의 화소의 전하량 P(x, y)을 다음 식 (5)에 따라 결정하고, 1개의 ＨＤＲ 화상을 생성한다. 식 (5)에 있어서, P0(x, y), PUNDER(x, y), POVER(x, y)은 각각, 기준 화상 P0, 화상 PUNDER, 화상 POVER에 있어서의 공간위치(x, y)의 화소의 전하량을 나타낸다.
Figure 112007074829719-PAT00002
식 (5)에서는, 기준 화상 P0에 있어서 전하량이 포화하지 않은 화소의 데이터는, 화상 P로 합성된다. 다만, 노출을 오버 측으로 보정한 화상 POVER에 있어서 전하량이 포화하지 않은 화소에 대해서는, 기준 화상 P0이 아닌 화상 POVER의 화소 데이터가 화상 P로 합성된다. 이에 따라 기준 화상 P0에 있어서 블랙 솔리드가 발생한 영역에, 계조를 남길 수 있다. 상기 조건 이외의 화소, 즉 기준 화상 P0에 있어서 전하량이 포화하고 있는 화소에 대해서는, 노출을 언더 측으로 보정한 화상 PUNDER의 화소 데이터가 화상 P로 합성된다. 이에 따라 기준 화상 P0에 있어서 흰 공백이 발생한 영역에, 계조를 남길 수 있다. 따라서, 합성 후의 화상 P는 기준 화상 P0보다 넓은 휘도 레인지의 계조가 표현되는 ＨＤＲ 화상이 된다.
화상 PUNDER 및 POVER의 화소 데이터를 적용할 때에는, 그 화소 데이터에 노출 보정값 EVUNDER 및 EVOVER에 따른 계수를 곱한다. 이러한 연산에 의한 작용에 대해서, 다음 도 4를 사용하여 설명한다.
도 4는, 합성되는 화상 사이의 밝기의 관계를 설명하기 위한 도면이다.
도 4에 있어서, 직선 L0은, 기준 화상 P0에 적용한 노광 조건에서의 장면의 휘도값과 촬상소자(12)의 전하량의 관계를 나타낸다. 직선 LOVER는, 노출을 오버 측으로 보정한 화상 POVER에 적용한 노광 조건에서의 장면의 휘도값과 촬상소자(12)의 전하량의 관계를 나타낸다. 직선 LUNDER는, 노출을 언더 측으로 보정한 화상 PUNDER에 적용한 노광 조건에서의 장면의 휘도값과 촬상소자(12)의 전하량의 관계를 나타낸다.
POVER(x, y)≤Qs의 조건에 의해, 기준 화상 P0에 있어서의 휘도값 Y1 이하의 화소의 데이터는, 화상 POVER의 화소의 데이터로 대체할 수 있다. 이에 따라 촬상소자(12)의 출력의 다이네믹 레인지보다 낮은 휘도 레인지의 계조정보를, 합성 후의 화상 데이터에 포함할 수 있다. 이때, 노출 보정값 EVOVER에 따른 계수(2의 -EVOVER승)를 적용함으로써, 직선 LOVER의 휘도값 Y1 이하에 대응하는 성분인 직선 L1OVER는, 직선 L0과 같은 기울기를 가지고, 이 직선 L0에 연속하는 직선 L2OVER로 변환된다.
P0(x, y)>Qs의 조건에 의해, 기준 화상 P0에 있어서의 휘도값 Y2 이상의 화소의 데이터는, 화상 PUNDER의 화소의 데이터로 대체할 수 있다. 이에 따라 촬상소자(12)의 출력의 다이네믹 레인지보다 높은 휘도 레인지의 계조정보를, 합성 후의 화상 데이터에 포함할 수 있다. 이때, 노출 보정값 EVUNDER에 따른 계수(2의 -EVUNDER승)를 적용함으로써 직선 LUNDER의 휘도값 Y2 이상에 대응하는 성분인 직선 L1UNDER는, 직선 L0과 같은 기울기를 가지고, 이 직선 L0에 연속하는 직선 L2UNDER로 변환된다.
따라서, 화상 합성시에, 노출 제어값이 다른 화상의 화소가 인접하는 경계부에 걸쳐, 밝기의 변화가 연속하도록 화소의 데이터를 보정할 수 있다. 위화감 없고 자연스러운 합성 화상(ＨＤＲ 화상)을 생성할 수 있게 된다.
도 2에 되돌아와서 설명한다.
[스텝 S113] 스텝 S112의 처리에 의해 합성된 ＨＤＲ 화상은, 현상 처리부(17)에 의해 현상 처리(데이터 보간 처리, 각종 색 조정/변환 처리, 압축 및 인코드 처리)를 실행할 수 있는 화상 데이터보다 비트수가 많다. 예를 들면 현상 처리부(17)에 의해 처리 가능한 ＲＡＷ 화상 데이터가 12비트인 것에 반해, 합성 처리부(16)에 의해 얻어진 ＨＤＲ 화상 데이터는, 계조 레인지가 확대된 15비트 데이터로 되어 있다. 이 때문에, 현상 처리부(17)는, 전 단계에서, 합성 처리부(16)에 의해 합성된 ＨＤＲ 화상 데이터에 비트 압축을 행하여, 12비트의 ＲＡＷ 화상 데이터로 변환함으로써, 후 단계의 현상 처리부(17) 내의 구성을 변경하지 않고 처리 할 수 있다. 이때, 현상 처리부(17)는, 이하에 설명한 바와 같이, ＨＤＲ 화상에 합성 처리부(16)로부터의 ＨＤＲ 화상의 화질을 양호하게 유지할 수 있는 계조 레인지의 압축 처리를 실행한 후, ＨＤＲ 화상에 비트 압축을 실행한다.
도 5는 ＨＤＲ 화상의 계조 레인지 압축을 위한 기능을 나타내는 블럭도다.
ＨＤＲ 화상의 계조 레인지 압축을 위해, 현상 처리부(17)는, 도 5에 나타낸 바와 같이, 조명 성분 추출부(171), 계조 레인지 압축부(172), 반사율 성분 추출부(173), 계조 레인지 신장부(174), 합성부(175), 및 비트 압축부(176)를 구비한다.
조명 성분 추출부(171)는, 입력된 ＨＤＲ 화상 데이터에 로 패스 필터 처리를 행함으로써, 조명 성분을 추출한다. 조명 성분의 추출을 위해, 에지 성분이 잔존하도록 고영역 커트 처리하는 비선형의 로 패스 필터를 사용하는 것이 바람직하다. 유사한 로 패스 필터 처리에는, 비선형 로 패스 필터 이외에, 확률적인 방법을 사용할 수도 있다.
계조 레인지 압축부(172)는, 입력된 조명 성분만 포함하는 화상 데이터의 각 화소의 휘도값을, 예를 들면 입출력 레벨의 대응을 나타내는 룩업 테이블(ＬＵＴ)에 따라 변환하고, 계조 레인지를 압축한다. 구체적으로는, 도 6a에 나타낸 바와 같이, 계조 레인지 압축부(172)는, 조명 성분의 저휘도측의 영역에 대하여는 게인을 1보다 크게 설정해서 계조 레벨을 증폭하고, 고휘도측의 영역에 대하여는 게인을 1 미만으로 설정해서 계조 레벨을 저감한다.
반사율 성분 추출부(173)는, 입력된 ＨＤＲ 화상으로부터 반사율 성분을 추 출한다. 예를 들면 반사율 성분 추출부(173)는, 입력된 ＨＤＲ 화상의 데이터에서, 조명 성분 추출부(171)에 의해 추출된 조명 성분의 데이터를 감산함으로써 반사율 성분을 구한다. 또는, 반사율 성분 추출부(173)는, 입력된 ＨＤＲ 화상의 데이터를 조명 성분의 데이터로 제산해도 된다. 계조 레인지 신장부(174)는, 추출된 반사율 성분의 휘도값을, 예를 들면 입출력 레벨의 대응을 나타내는 ＬＵＴ 등에 따라 화소마다 변환하고, 계조 레인지를 신장시킨다.
합성부(175)는, 계조 레인지 압축부(172) 및 계조 레인지 신장부(174)로부터 각각 출력된 화상 데이터를 화소마다 합성하고, 전체적으로 계조 레인지가 압축된 ＨＤＲ 화상을 출력한다. 예를 들면, 반사율 성분 추출부(173)에서, 입력 화상 데이터로부터 조명 성분의 데이터를 감산함으로써 반사율 성분의 데이터가 구해지면, 합성부(175)에서는, 계조 레인지 압축부(172) 및 계조 레인지 신장부(174)로부터 출력된 각 화상 데이터를 가산함으로써 합성 처리를 행한다. 반사율 성분 추출부(173)에서, 입력 화상 데이터를 조명 성분의 데이터로 제산함으로써 반사율 성분의 데이터가 구해지면, 합성부(175)에서는, 계조 레인지 압축부(172) 및 계조 레인지 신장부(174)로부터 출력된 각 화상 데이터를 승산함으로써 합성 처리를 행한다.
비트 압축부(176)는, 합성부(175)에 의해 합성된 ＨＤＲ 화상의 데이터의 비트수를 압축한다. 예를 들면 합성부(175)로부터 출력되는 ＨＤＲ 화상의 데이터가 15비트 데이터이면, 비트 압축부(176)는, ＨＤＲ 화상의 ＲＡＷ 화상 데이터를, 현상 처리부(17)에 의해 처리 가능한 12비트 데이터로 변환한다.
도 6a 및 6b, ＨＤＲ 화상의 계조 레인지 압축시에 설정되는 게인 커브의 예 를 게시하는 도면이다.
도 6a 및 6b에 있어서, a(x, y)은, 조명 성분 추출부(171)에 의해 로 패스 필터 처리가 실행되어서 추출된 조명 성분의 각 휘도의 휘도값을 나타낸다. 계조 레인지 압축부(172)는, 도 6a에 나타낸 바와 같이, 조명 성분의 각 화소의 데이터에 대하여, 휘도가 낮은 만큼 입력 레벨을 증폭하고, 휘도가 높은 만큼 입력 레벨을 압축한다. 이에 따라 전체적으로 계조 레인지가 압축된다.
한편, 계조 레인지 신장부(174)에서는, 가장 기본적으로는, 조명 성분의 휘도값에 따라 계조 레인지 압축부(172)와 같은 게인이 반사율 성분에 대하여 주어지기만 하면 된다. 그 결과 조명 성분이 어두운 영역에서 반사율 성분의 레벨(진폭)이 증폭되기 때문에 이 영역에 있어서의 반사율 성분이 게인 인가 전에 비해 상대적으로 강조된다. 결과적으로 계조 레인지가 신장된다. 반사율 성분은, 디테일의 재현성에 크게 기여하는 성분이기 때문에, 상기의 게인이 주어짐으로써 암부에 파묻혀 있던 디테일 성분이 강조된다. 따라서, 디테일 성분을 가능한 한 잃어버리지 않고, 전체의 계조 레인지를 압축할 수 있다. 이러한 계조 레인지 압축 후의 화상 데이터를 비트 압축부(176)에 의해 비트 압축하면, 그 화질을 향상시킬 수 있다.
도 5에 나타낸 구성에서는, 조명 성분과 반사율 성분에 각각 대응하는 계조 레인지 압축부(172) 및 계조 레인지 신장부(174)를 개별적으로 설치한다. 이로써, 조명 성분과 반사율 성분에 각각 개별적인 게인 커브를 적용할 수 있다. 이에 따라 조명 성분의 밝기 분포의 임의의 영역에 있어서, 디테일의 재현성을 높일 수도 있다.
이 경우의 바람직한 예로, 반사율 성분에 대하여는, 조명 성분의 저휘도 영역에 대응하는 화소에 대하여 조명 성분보다 높은 게인을 인가함으로써 저휘도 영역에 있어서의 디테일 성분을 더욱 강조할 수 있다. 도 6a 및 6b에 나타낸 예에서, 반사율 성분에 대하여는, 우선 도 6a에 나타내는 조명 성분과 공통인 게인 커브를 인가한 후, 도 6b에 나타내는 게인 커브를 더 인가하는 예를 게시한다. 이러한 게인 커브를 적용함으로써, 조명 성분의 계조 레인지 압축량을 최소한으로 필요한 만큼 설정하고, 화상 전체의 콘트라스트감을 유지하면서, 데이터의 재현성을 향상시킬 수 있다.
도 6a 및 6b에 나타낸 게인 커브에 있어서, 휘도 Y1∼Y3은 고정값으로서 미리 준비되어 있어도 된다. 그러나 휘도를 입력 화상의 신호 해석 결과로부터 연산해도 된다. 예를 들면, 휘도 Y1, Y2, Y3을, 각각 이후의 도 13에서 설명하는 휘도 Yl, Ym, Yh로 하고, 이 값들을 조명 성분의 해석 결과를 근거로 연산해도 된다.
도 5에서는, 계조 레인지의 압축 전의 ＨＤＲ 화상에 있어서의 각 휘도의 도수를 나타내는 히스토그램(177)과, 압축 후의 ＨＤＲ 화상에 있어서의 마찬가지의 히스토그램(178)의 예를 게시한다. 히스토그램(177 및 178)에 의하면, 계조 레인지 압축 후의 ＨＤＲ 화상 데이터에서는, 데이터가 존재하는 휘도의 레인지(즉, 계조 레인지)가 좁아져 있고, 중간 내지 낮은 도수 측 영역의 휘도 성분을 가지는 화소가 증가하고, 이 휘도 영역에 있어서의 계조성이 풍부하다는 것을 알 수 있다.
도 5의 설명에서는, 조명 성분의 추출에 로 패스 필터를 사용한다. 그런데 이후의 제3 실시예에서 설명하는, 렌즈의 디포커스 상태에 있어서의 촬상화상을 사 용하는 방법에 의해, 화상의 조명 성분을 추출해도 된다. 이에 따라 조명 성분 추출용 로 패스 필터 회로를 생략할 수 있어, 회로 규모를 줄일 수 있다. 이 방법을 사용할 경우에는, 예를 들면 렌즈를 브래킷 촬상 후에 디포커스 상태로 해서, 그 때의 화상(디포커스 화상)을 취득한다. 또한 스텝 S101에 대응하는 프리뷰 상태에서, 정기적으로 디포커스 상태의 화상을 취득하고, 최신의 디포커스 화상을 항상 버퍼 메모리(15) 등에 저장하고, 셔터 버튼이 완전히 눌린 후의 계조 레인지 압축 처리시에 이 디포커스 화상을 이용해도 된다. 또는, 스텝 S103에서 로 패스 필터 처리를 실행한 화상을 디포커스 화상으로서 취득했을 경우에는, 이 화상 데이터를 유지해 두고, 조명 성분으로 이용해도 된다. 프리뷰 상태에 있어서 취득한 화상 데이터, 및 스텝 S103에서 취득한 화상 데이터 중 어느 것을 이용하더라도, 셔터 래그를 단축할 수 있다.
이하, 도 2에 되돌아와서 설명한다.
[스텝 S114] 계조 레인지 압축 후의 ＨＤＲ 화상 데이터는 현상 처리부(17)에 의해 현상되고, ＨＤＲ 화상의 ＪＰＥＧ 데이터로서 기록부(18)에 보존된다. 상기한 바와 같이, 본 실시예에 적용하는 현상 처리부(17)의 현상 처리(데이터 보간, 색 조정/변환, 압축 및 인코드 처리)의 기능은, 1회 노광에서의 촬상에 의해 얻어지는 1개의 화상의 데이터를 처리하는 사양으로 되어 있다. 이 화상 데이터는 예를 들면 12비트 데이터로 되어 있고, 스텝 S105 및 S108에서 각각 얻어지는 화상 데이터, 및, 스텝 S111의 브래킷 촬상시에 얻어지는 각 화상의 데이터에 해당한다.
이에 반해, 스텝 S112의 처리에 의해 합성된 ＨＤＲ 화상의 데이터는, 현상 처리부(17)에 의해 현상 처리 가능한 화상 데이터보다 비트수가 많다. ＨＤＲ 화상의 데이터는, 예를 들면 15비트 데이터로 되어 있다. 그러나, 스텝 S113의 처리에 의해 양호한 화질을 유지한 상태에서 계조 레인지를 압축하여, 12비트의 화상 데이터로 변환함으로써, 현상 처리부(17)의 회로 구성을 변경하지 않고, 현상 처리를 실행할 수 있다.
도 5에 있어서의 합성부(175)에 의한 합성 후의 ＨＤＲ 화상의 데이터를, 비트 압축부(176)에 의해 저비트화한 후, 현상 처리를 실행하도록 한다. 그러나 현상 처리부(17)에서 처리할 수 있는 비트수에 여유가 있을 경우에는, 데이터를 비트 압축 없이 현상 처리하고, 그 처리의 과정에서 표시 디바이스 등에 적합한 비트수(여기에서는 8비트)의 화상 데이터로 변환해도 된다.
본 처리 예에서는, 촬상시에 ＨＤＲ 화상을 ＪＰＥＧ 데이터로서 기록한다. 그 밖에 예를 들면 촬상시에는, 합성 처리부(16)로부터의 ＨＤＲ 화상 데이터를, 현상 처리부(17)를 통하지 않고, ＲＡＷ 화상 데이터로서 기록부(18)에 기록해 두고, 그 후에 이 ＲＡＷ 화상 데이터를 판독하고, 현상 처리부(17)에 의해 계조 레인지 압축·현상 처리를 실행해도 된다.
이상의 처리예에서는, 화각의 변화나 피사체의 움직임이 있을 경우, 스텝 S112의 합성 처리에 의해 적절한 화상을 생성할 수 없을 가능성이 있다. 따라서, 스텝 S112에서 합성된 ＨＤＲ 화상의 데이터를 ＲＡＷ 화상 데이터로서 기록부(18)에 보존할 때에, 그 ＨＤＲ 화상과 함께 기준 화상 P0의 데이터를 일반적인 다이네 믹 레인지를 가지는 ＲＡＷ 화상 데이터로서 함께 보존해도 된다. 촬상시에 합성 후의 ＨＤＲ 화상을 ＪＰＥＧ 데이터로서 보존할 경우에도, 마찬가지로 기준 화상 P0의 데이터를 ＪＰＥＧ 데이터로서 보존해도 된다.
이상 설명한 제1 실시예에서는, 노출 보정값을 서서히 변화시켜서 노광하고, 얻어지는 화상으로부터, 노출 보정값이 변화할 때마다, 흰 공백 화소나 블랙 솔리드 화소의 유무를 판단하고, 장면의 최고 휘도 및 최저 휘도를 측정하고, 그 측정 결과로부터 브래킷 촬상시의 노출 보정값을 결정한다. 따라서, 휘도 레인지가 넓고, 노광 조건을 결정하기 곤란한 장면이라도, 적정한 노광 조건을 설정할 수 있는 확률이 커진다. 이러한 장면의 상황에 따른 적정한 노출 보정값을 유저 조작에 따르지 않고, 자동으로 결정할 수 있어, 유저의 조작성이 향상된다.
최고 휘도 및 최저 휘도의 측정 결과로부터, 브래킷 촬상이 필요한지 여부의 판단, 및, 브래킷 촬상시에 필요한 노광 횟수의 판단을 각각 정확하게 행할 수 있다. 따라서, 쓸데없는 노광이 방지되어, 셔터 래그를 최소화할 수 있다. 각 화상의 촬상 타이밍의 시간차가 최소한으로 억제될 수 있기 때문에, 화상 사이의 피사체의 변화가 최소화되어, 합성 후의 ＨＤＲ 화상의 화질 열화를 억제할 수 있다.
장면의 휘도 레인지를 측정할 때에, 로 패스 필터 처리를 실행한 후의 촬상 화상 데이터로부터의 감파값을 사용한다. 이에 따라, 입력 화상에 극단적으로 밝은 소영역이나 극단적으로 어두운 소영역이 포함되더라도, 측정 알고리즘이 교란되어 적정한 화상을 촬상할 수 없게 되는 사태를 방지할 수 있다.
스텝 S112에 나타낸 ＨＤＲ 화상의 합성 방법에 의해, 브래킷 촬상에 의해 얻어지는 복수의 화상으로부터, 위화감 없이 자연스러운 ＨＤＲ 화상을 합성할 수 있다. 특히, 상기한 바와 같이 적정한 노출 보정값을 사용해서 브래킷 촬상을 행함으로써 얻어지는 화상으로부터, 1개의 ＨＤＲ 화상이 합성되기 때문에, 더욱 화질이 높은 ＨＤＲ 화상을 생성할 수 있다. 또한, 스텝 S113의 계조 레인지 압축의 방법에 의해, 그 후에 화상 데이터의 비트수를 저감했을 때에도, 화상의 디테일 성분을 손상시키지 않고 높은 화질을 유지할 수 있게 된다. 이상의 처리에 의해, 범용 포맷으로 변환된 고화질의 ＨＤＲ 화상을 얻을 수 있다.
〔제2 실시예〕
제1 실시예에서는, 도 2의 스텝 S106에서, 실제의 노광 조건을 변화시킴으로써 고휘도측 및 저휘도측에서의 적정한 노출 보정값을 측량하고, 그 측량 결과에 따라, 스텝 S107에서 브래킷 촬상이 필요한지 여부를 판정하였다. 한편, 이하에 설명하는 제2 실시예에서는, 촬상 동작을 신속히 실행하여 셔터 래그를 억제하기 위해서, 이 절차들 대신에, 스텝 S103에서의 휘도값의 검파 결과를 직접 이용하여, 장면의 휘도 레인지를 추정한다. 제2 실시예에서는, 스텝 S103에서 검파한 휘도값과, 각 휘도의 도수를 나타내는 히스토그램값을 누적한 누적 히스토그램을 근거로, 장면의 휘도 레인지를 추정한다.
도 7은, 누적 히스토그램으로부터 구해지는 파라미터를 설명하기 위한 도면이다. 도 7에 나타내는 누적 히스토그램에서는, 모든 휘도에 대응하는 히스토그램 값의 누적값을, 세로축의 최대값(100%)으로 한다. 도 7에 있어서, Y'DL, Y'DH는, 각각 촬상소자(12)에 의해 검출할 수 있는 최저, 최고의 휘도값을 나타낸다. 본 실시예에서는, 이러한 누적 히스토그램을 근거로, 「키 레벨」, 「하이라이트 레벨」, 및 「섀도우 레벨」의 3종류의 파라미터를 사용하여, 추정되는 장면의 상태를 분류하고, 그 분류 결과에 따라 노출 보정의 단계 수를 결정한다.
키 레벨은, 주요한 피사체가 존재할 가능성이 큰 누적 도수의 레벨(비율)을 경계값 ThM으로 설정했을 때, 누적 히스토그램이 어느 휘도 영역에서 경계값 ThH에 달할지를 나타내는 것이다. 본 예에서는, 휘도 영역을 Ｌｏｗ, Ｍｉｄ, Ｈｉｇｈ의 3단계로 분할하고, 이 3단계의 영역에 따라 키 레벨을 나타낸다. 이러한 경계값은 통상, 누적 도수가 50% 이상의 레벨에 있는 것이 알려져 있다. 예를 들면 경계값을 65%∼75% 정도로 설정할 수 있다.
하이라이트 레벨은, 주요한 피사체에 대응하는 누적 도수보다 높은 레벨에 경계값 ThH를 설정했을 때, 누적 히스토그램이 어느 휘도 영역에서 경계값 ThH에 달할지를 나타낸다. 섀도우 레벨은, 주요한 피사체에 대응하는 누적 도수보다 낮은 레벨에 경계값 ThL을 설정했을 때, 누적 히스토그램이 어느 휘도 영역에서 경계값 ThL에 달할지를 나타낸다. 하이라이트 레벨 및 섀도우 레벨은，모두 Ｌｏｗ, Ｍｉｄ, Ｈｉｇｈ의 3단계로 분할된 휘도 영역으로 나타낸다.
누적 히스토그램에 근거하는 각 파라미터의 조합에 따라 노출 보정값을 결정 하기 위한 테이블의 예를, 이하에 나타낸다. EVUNDER 결정 테이블은, 장면의 고휘도측에서의 적정한 노출 보정값 EVUNDER를 결정하기 위한 테이블이다. EVOVER결정 테이블은, 장면의 저휘도측에서의 적정한 노출 보정값 EVOVER를 결정하기 위한 테이블이다. 마이크로컴퓨터(20)는, 전술한 3개의 파라미터를 구한 후, 각 테이블에 따라, 브래킷 촬상시에 있어서의 노출 보정값 EVUNDER 및 EVOVER를 결정한다.
[표 1]
Figure 112007074829719-PAT00003
[표 2]
Figure 112007074829719-PAT00004
상기 각 테이블에서는, 노출 보정값을, 기준 화상 P0에서의 노출 제어값을 기준으로 한 보정 단계 수로 나타낸다. 보정 단계 수의 1단계에 해당하는 노출 보정값은 미리 결정된 것으로 한다. 보정 단계 수가 0이 될 경우에는, 그 보정 단계 수를 적용한 노광 동작을 실행하지 않는다. 이에 따라 브래킷 촬상시의 노광 횟수를 최소한으로 필요한 만큼 설정하여 셔터 래그를 단축할 수 있다.
또한, 이 테이블에서는, 고휘도측의 적정 보정 단계 수의 결정시, 및 저휘도측의 적정 보정 단계 수의 결정시에, 각각 흰 공백 화소, 블랙 솔리드 화소가 존재하지 않을 경우에는, ＨＤＲ 화상의 촬상이 필요하지 않다고 판정해서 보정 단계 수를 0으로 하고, 그 보정 단계 수를 적용한 노광 동작을 행하지 않도록 하고 있 다(도 2의 스텝 S104의 판정 처리에 대응). 고휘도측 및 저휘도측의 적정 보정 단계 수가 모두 0인 경우에는, 브래킷 촬상이 필요하지 않다고 판단한다(도 2의 스텝 S107의 판정 처리에 대응).
도 8은, 키 레벨과 하이라이트 레벨의 조합에 대응하는 휘도값의 도수를 나타내는 히스토그램의 대표적인 예를 게시하는 도면이다.
도 8에 나타낸 바와 같이, 키 레벨의 경계치 ThM과, 그것보다 높은 경계값 ThH를 사용해서 장면을 분류함으로써, 휘도값의 분포에 치우침이 있는 경우에도, 적정한 보정 단계 수를 간단하고 정확하게 결정할 수 있다. 이는, 저휘도측에서의 적정한 보정 단계 수를 결정할 때에도 마찬가지다.
제2 실시예에서는, 브래킷 촬상시의 적정 노출 보정값을 결정하기 위해서, 제1 실시예와 같이, 실제로 노출 보정값을 변화시켜서 노광하고, 노출 보정값이 변화할 때마다 검파값을 얻을 필요가 없다. 따라서, 적정 노출 보정값의 결정에 필요로 하는 시간을 단축하고, 셔터 래그를 단축해서 유저에게 쾌적한 조작성을 제공할 수 있다. 마이크로컴퓨터(20)의 연산 처리가 간략화되어, 그 처리 부하를 경감할 수 있다.
본 실시예에서는, 예로서, 장면의 분류를 위한 파라미터를, 키 레벨 이외에 고휘도측, 저휘도측에 대해서 각각 1개씩 설정했다. 그러나 각 고휘도측, 저휘도측에 대하여 복수의 파라미터를 설정해서 장면을 더욱 세밀하게 분류하고, 그 분류에 따라 노출 보정값을 더욱 세밀하게 조정해도 된다. 이에 따라, 적정 노출 보정값의 추정 정밀도는 높일 수 있는 반면, 마이크로컴퓨터(20)에 의한 처리 부하는 증가한다.
〔제3 실시예〕
본 발명의 제3 실시예에서는, 상기 각 실시예에 나타낸 브래킷 촬상에 의해 얻어진 복수의 화상을 근거로, 내삽 보간을 행함으로써, 표시 디바이스 등에 출력 가능한 화상 데이터와 같은 비트수(여기에서는 8비트)를 가지는 ＨＤＲ 화상을 직접 생성한다.
도 9는, 제3 실시예에 따른 ＤＳＣ의 내부 구성을 나타내는 블럭도다. 도 9에서는, 도 1에 대응하는 블록에 관해서는 동일한 부호를 부착해서 나타내고, 그 설명을 생략한다.
도 9에 나타내는 ＤＳＣ는, 도 1에 나타낸 ＤＳＣ의 구성에 더해서, 디포커스 화상의 데이터를 유지하기 위한 버퍼 메모리(23)와, 가중계수 생성 처리부(24)와, 보간 처리부(25)를 구비한다. 도 9에 있어서, 현상 처리부(17a)는, 도 1에 나타내는 현상 처리부(17)의 기능 중, 화상 압축 및 인코드 기능을 제외한 기능을 가진다. 그 화상 압축 및 인코드 기능은, 인코드 처리부(17b)로서 보간 처리부(25)의 후단에 접속된다. 버퍼 메모리(15a)는, 브래킷 촬상에 의해 얻어지는 화상의 데이터를 일시적으로 저장한다. 데이터를 저장할 때에, 버퍼 메모리(15a)는, ＩＳＯ 게인 조정부(14)가 아닌 현상 처리부(17a)로부터 출력된 화상 데이터의 공급을 받는다.
버퍼 메모리(23)는, 디포커스 상태에서 노광되었을 때에 얻어지는 화상 데이 터를, ＩＳＯ 게인 조정부(14)로부터 받아서 일시적으로 저장한다. 가중계수 생성 처리부(24)는, 버퍼 메모리(23)에 저장된 화상 데이터를 근거로, 브래킷 촬상에 의해 얻어지는 화상의 합성시에 사용하는 가중계수를 생성한다. 보간 처리부(25)는, 브래킷 촬상에 의해 얻어지는 화상 데이터를 버퍼 메모리(15a)로부터 판독하고, 가중계수 생성 처리부(24)로부터 공급된 가중계수를 사용하여, 각 화상 데이터를 합성한다. 이때에 출력되는 ＨＤＲ 화상의 데이터는, 제1 실시예에 있어서의 합성 후의 ＨＤＲ 화상의 데이터와는 달리, 현상 처리부(17a)에 의해 처리된 화상 데이터와 같은 비트수(8비트)를 가진다. ＨＤＲ 화상의 데이터는 표시부(19)에 공급해서 ＨＤＲ 화상을 표시시키거나, 인코드 처리부(17b)에 공급해서 ＪＰＥＧ 데이터로서 출력할 수 있게 된다.
도 10은, 제3 실시예에 따른 ＤＳＣ에서의 촬상시의 처리 순서를 나타내는 흐름도다.
본 실시예에 있어서는, ＨＤＲ 화상의 촬상을 실행할 것인지 여부(도 2의 스텝 S104), 및 브래킷 촬상이 필요한지 여부(스텝 S107)를 판정하는 처리까지는, 제1 실시예의 경우와 같은 처리가 행해진다. 따라서, 도 10에서는, 스텝 S107에서 브래킷 촬상이 필요하다고 판정되었을 경우 이후의 처리에 대해서만 나타낸다. 장면의 휘도 레인지의 판별(스텝 S106) 및 브래킷 촬상의 필요 여부의 판정(스텝 S107)의 각 처리에서는, 제1 실시예의 처리 순서 대신에, 제2 실시예의 처리 순서를 적용하는 것도 가능하다.
[스텝 S301] 본 스텝에서는, 도 3의 스텝 S201과 같은 처리가 행해진다. 즉, 마이크로컴퓨터(20)는, 스텝 S106에서 측정된 최고 휘도 YH 및 최저 휘도 YL을 사용하여, 상기 식 (3) 및 (4)에 따라, 장면의 고휘도측 및 저휘도측에서의 각 노출 보정값 EVUNDER 및 EVOVER를 계산한다.
[스텝 S302] 마이크로컴퓨터(20)는, 도 2의 스텝 S101에서 추정한(또는 스텝 S103에서 다시 추정한) 노출 제어값을 그대로 보정하지 않고 사용하고, ＤＳＣ에 노광 동작을 실행시켜, 기준 화상 P0을 촬상한다. 얻어지는 기준 화상 P0의 데이터는, 현상 처리부(17a)에 의해 현상된다. 현상 후의 기준 화상 P'0의 데이터는 버퍼 메모리(15a)에 일시적으로 저장된다.
[스텝 S303] 마이크로컴퓨터(20)는, 노출 보정값 EVUNDER가 0인지의 여부를 판정한다. 노출 보정값 EVUNDER가 0인 경우에는 스텝 S305의 처리가 실행된다. 노출 보정값 EVUNDER가 0이 아닌 경우에는 스텝 S304의 처리가 실행된다.
[스텝 S304] 노출 보정값 EVUNDER가 0이 아니면, 마이크로컴퓨터(20)는, 이 노출 보정값 EVUNDER를 적용하여, ＤＳＣ에 노광 동작을 실행시킨다. 얻어지는 화상 PUNDER의 데이터는, 현상 처리부(17a)에 의해 현상된다. 현상 후의 화상 P'UNDER의 데이터가 버퍼 메모리(15a)에 일시적으로 저장된다.
[스텝 S305] 마이크로컴퓨터(20)는, 노출 보정값 EVOVER가 0인지의 여부를 판 정한다. 노출 보정값 EVOVER가 0인 경우에는 스텝 S307의 처리가 실행된다. 노출 보정값 EVOVER가 0이 아닌 경우에는 스텝 S306의 처리가 실행된다.
[스텝 S306] 노출 보정값 EVOVER가 0이 아니면, 마이크로컴퓨터(20)는, 이 노출 보정값 EVOVER를 적용하여, ＤＳＣ에 노광 동작을 실행시킨다. 얻어지는 화상 POVER의 데이터는, 현상 처리부(17a)에 의해 현상된다. 현상 후의 화상 P'OVER의 데이터는 버퍼 메모리(15a)에 일시적으로 저장된다.
스텝 S302, S304, S306에서의 현상 처리에서는, 마이크로컴퓨터(20)의 처리에 의해, 각각 대상의 화상으로부터 개별적으로 추정된 제어값이 사용되어야 한다.
[스텝 S307] 다음에 마이크로컴퓨터(20)의 제어에 따라, 보간 처리부(25)에 의해 적용되는 가중계수를 얻기 위해 필요한, 촬상화상의 조명 성분을 생성하는 처리가 실행된다.
조명 성분은, 일반적으로, 촬상화상에 비교적 컷오프 주파수가 낮은 로 패스 필터 처리를 실행함으로써 얻을 수 있다. 그러나 조명 성분을 얻기 위해서는 탭수가 많은 필터 회로가 필요하기 때문에, 연산량이 방대해지는 문제가 있었다. 반면에 본 실시예에서는, 그러한 필터 회로를 이용하는 대신에, 광학 블록(11) 내의 포커스 조정 렌즈를 제어해서 디포커스 상태로 하고 그 상태에서 노광해서 얻은 화상(디포커스 화상)을, 로 패스 필터 처리된 화상(로 패스 화상)으로 이용한다. 이에 따라 회로 규모를 삭감한다.
우선, 마이크로컴퓨터(20)는 스텝 S302, S304, S306에서의 브래킷 촬상시의 노광 조건 중, 중앙의 노광 조건이 되도록 노광 제어를 행한다. 노광 제어를 행할 때, 다음 식 (6)을 충족시키도록, 셔터 스피드 S와 ＩＳＯ 게인 G를 결정한다.
Figure 112007074829719-PAT00005
FMIN은 개방 조리개 값을 나타내고, S0, F0, G0은, 전술한 브래킷 촬상시에 있어서의 중앙의 노광 조건에서의 셔터 스피드, 조리개 값, ＩＳＯ 게인을 각각 나타낸다. 식 (6)을 적용함으로써, 조리개가 개방되기 때문에, 피사계 심도가 얕아져서, 디포커스시의 로 패스 필터 효과를 강하게 할 수 있다.
상기의 방법에 의해 결정된 셔터 스피드 S와 ＩＳＯ 게인 G를 적용해서 노광을 행하고, 디포커스 화상을 촬상한다. 강한 로 패스 필터 효과를 확실히 얻기 위해, 포커스 조정 렌즈의 위치를 바꾸어서 2개의 디포커스 화상을 촬상하고, 이후의 스텝 S308의 처리에 의해 디포커스 화상의 평균을 취해, 로 패스 화상을 생성한다.
도 11a 내지 11d는, 디포커스 화상의 촬상시에 있어서의 포커스 조정 렌즈의 구동 순서를 설명하기 위한 도면이다.
도 11a 내지 11d에는, 광학 블록(11)에 있어서의 광학 렌즈 군(11c)의 구성예와, 광학 렌즈 군(11c)에서의 포커스 조정 렌즈(11d)의 위치의 예를 나타낸다. 광학 렌즈 군(11c)이 매크로 촬상 모드를 구비한 경우를 예로 들고 있다. 각 도면에서, 오른쪽을 촬상소자(12)의 촬상면(12a)으로 한다. 광학 렌즈 군(11c)의 렌즈 구성 및 각 렌즈의 위치는, 어디까지나 일례다.
도 11a에서는, 무한원측의 촬상시에 있어서의 포커스 조정 렌즈(11d)의 위치의 예를 게시한다. 도 11b에서는, 매크로측의 촬상시에 있어서의 포커스 조정 렌즈(11d)의 위치의 예를 게시한다. 무한원측의 촬상시와 매크로측의 촬상시에는 디포커스 상태로 했을 때에 화상의 흐려짐의 경향이 반대라는 것이 알려져 있다. 이 때문에, 한쪽의 촬상 상태만으로부터의 디포커스 상태에서 포커스 조정 렌즈(11d)가 설정되어도, 반드시 강한 로 패스 필터 효과가 얻어지지는 않는다. 예를 들면, 매크로측의 촬상에서 초점이 맞게 되어, 로 패스 필터 효과가 약해지는 피사체에 대하여는, 무한원측의 촬상시에는 초점의 차이가 커져, 강한 로 패스 필터 효과가 얻어진다.
따라서, 본 실시예에서는, 마이크로컴퓨터(20)의 제어에 의해, 무한원측의 촬상시의 상태와 매크로측의 촬상시의 상태 모두로부터 디포커스 상태를 발생하고, 각 상태에서 노광해서 2개의 디포커스 화상을 얻는다. 구체적으로는, 우선, 도 11c와 같이, 무한원측의 촬상시의 상태로부터, 포커스 조정 렌즈(11d)를 더욱 먼 단부에 배치시켜서 노광하고, 얻어지는 디포커스 화상의 데이터를 버퍼 메모리(23)에 저장한다. 다음에 도 11d와 같이, 매크로측의 촬상시의 상태로부터, 포커스 조정 렌즈(11d)를 더욱 가까운 단부에 배치시켜서 노광하고, 얻어지는 디포커스 화상의 데이터를 버퍼 메모리(23)에 저장한다.
가중계수 생성 처리부(24)(혹은 마이크로컴퓨터(20))의 처리에 의해, 버퍼 메모리(23)로부터 2개의 디포커스 화상의 데이터를 판독하고, 이것들을 평균하여 로 패스 화상의 데이터를 얻는다. 이러한 처리에 의해, 로 패스 필터 효과가 약해지는 것을 방지할 수 있다. 생성된 로 패스 화상의 데이터는, 버퍼 메모리(23)에 저장한다.
도 10에 되돌아와서 설명한다.
[스텝 S308] 가중계수 생성 처리부(24)(혹은 마이크로컴퓨터(20))는, 생성된 로 패스 화상의 데이터를 해석하고, 로 패스 화상에 불필요한 고주파성분이 남아있는지 여부를 판정한다. 불필요한 고주파성분이 남아있는 경우에는 스텝 S309의 처리가 실행된다. 불필요한 고주파성분이 남아있지 않은 경우에는 스텝 S310의 처리가 실행된다.
[스텝 S309] 로 패스 화상에 불필요한 고주파성분이 남아있을 경우, 가중계수 생성 처리부(24)(혹은 마이크로컴퓨터(20))는, 로 패스 화상의 데이터에, 예를 들면 5탭×5탭 정도의 비교적 적은 탭수의 로 패스 필터 처리를 실행한다. 처리 후의 데이터는, 버퍼 메모리(23)에 저장한다.
[스텝 S310] 가중계수 생성 처리부(24)는, 버퍼 메모리(23)에 저장된 로 패스 화상의 데이터를 근거로 가중계수를 구하고, 그 가중계수를 보간 처리부(25)에 공급한다. 이때, 가중계수 생성 처리부(24)는, 이후의 도 12에 나타낸 바와 같은, 로 패스 화상의 휘도와 가중계수의 변환 함수에 따라, 가중계수를 구한다. 보간 처리부(25)는, 그 가중계수를 사용하여, 스텝 S302, S304, S306에서 얻어지고, 버퍼 메모리(15a)에 저장된 화상 데이터를 내삽 보간에 의해 합성하고, 1개의 ＨＤＲ 화상의 데이터를 생성한다.
도 12는, 로 패스 화상의 휘도를 가중계수로 변환하기 위한 변환 함수의 예를 게시하는 도면이다.
도 12에 있어서, 가중계수 W0은, 스텝 S302에서 현상된 기준 화상 P'0을 보간 처리부(25)에서 내삽 보간 할 때의 보간계수다. 마찬가지로, 가중계수 WUNDER 및 WOVER는, 각각 스텝 S304 및 S306에서 현상된 화상 P'UNDER 및 P'OVER를 보간 처리부(25)에서 내삽 보간 할 때의 보간계수다.
가중계수 생성 처리부(24)는, 버퍼 메모리(23)로부터 판독한 로 패스 화상의 각 화소의 휘도 데이터 a(x, y)에 따라, 상기의 변환 함수를 참조해서 가중계수 W0, WUNDER WOVER를 출력한다. 보간 처리부(25)는, 가중계수 생성 처리부(24)로부터의 가중계수 W0, WUNDER, WOVER를 사용하여, 다음 식 (7)에 따라, 버퍼 메모리(15a) 내의 기준 화상 P'0, 화상 P'UNDER 및 P'OVER의 각 데이터를 합성한다.
Figure 112007074829719-PAT00006
식 (7)에 있어서, P'(x, y)은, 합성 후의 화상 P'의 각 화소의 데이터를 나타내고, P'n(x, y)은, 버퍼 메모리(15a)에 저장된 화상 P'n(즉, 기준 화상 P'0, 화상 P'UNDER 및 P'OVER)의 각 화소의 데이터를 나타낸다. Wn(a(x, y))은, 화상 P'n의 각 화소의 합성시에 적용되는 가중계수(즉, 가중계수 W0, WUNDER, WOVER)를 나타낸다.
이러한 처리에 의해, 피사체 중, 조명광이 강하게 조사된 부분에는, 노출량을 억제한 화상이 높은 비율로 합성된다. 이에 따라 화상 데이터의 계조 레인지를 고휘도측에 확대하지 않고, 기준 화상 P0의 촬상시에 검출할 수 없는 고휘도 영역의 계조정보를 합성 후의 화상에 포함할 수 있게 된다. 조명광이 약하게 조사된 부분에 대하여는, 노출량을 증대시킨 화상이 높은 비율로 합성된다. 이에 따라 마찬가지로, 화상 데이터의 계조 레인지를 저휘도측에 확대하지 않고, 기준 화상 P0의 촬상시에 검출할 수 없는 저휘도 영역의 계조정보를 합성 후의 화상에 포함할 수 있게 된다. 그 결과, 현상 처리부(17a)에서의 처리 후의 화상 데이터와 같은 계조 레인지 및 데이터 비트수(8비트)를 가지는 ＨＤＲ 화상이 생성된다.
브래킷 촬상에 의해 얻어지는 화상의 합성비는, 도 12의 변환 함수에 따라, 촬상화상의 조명 성분(즉, 로 패스 화상)의 휘도에 근거하여 결정된다. 이로써, 휘도 레인지가 넓은 장면에서 얻어지는 화상 데이터의 계조 레인지를 압축하고, 특히 로 패스 화상의 저휘도 영역에서의 디테일 성분을 강조하여, 전체의 화질을 향상시키는 효과를 얻을 수도 있다.
도 12에 나타낸 변환 함수에 대해서는, 로 패스 화상의 특성이나 브래킷 촬상시의 각종 제어 파라미터, 브래킷 촬상에 의해 얻어지는 화상의 특성 등에 따라, 설정을 변화시킬 수 있다. 이하, 이러한 변환 함수의 설정 방법에 관하여 설명한다. 여기에서는 예로서, 변환 함수의 설정을 가중계수 생성 처리부(24)가 실행하는 것으로 한다. 그러나, 이 처리를 마이크로컴퓨터(20)가 해도 된다.
도 13은, 로 패스 화상에 있어서의 휘도값의 도수를 나타내는 히스토그램의 예다.
우선, 가중계수 생성 처리부(24)는, 버퍼 메모리(23)에 기억된 로 패스 화상의 데이터를 근거로 휘도값의 도수를 나타내는 히스토그램을 계산한다. 도 13에는 이러한 히스토그램의 예를 게시한다. 로 패스 화상의 휘도값을, 현상 처리부(17a)에서 실행되는 감마 보정을 실행했을 경우의 휘도값으로 환산해서 히스토그램을 구한다. 가중계수 생성 처리부(24)는, 계산한 히스토그램으로부터 도수가 피크가 되는 휘도 Ｙｈ 및 Ｙｌ을, 휘도 레벨가 높은 순으로 구한다. 가중계수 생성 처리부(24)는, 휘도 Ｙｈ 및 Ｙｌ에 대응하는 피크 사이에 존재하는 히스토그램의 골을 검출하고, 거기에 대응하는 휘도 Ｙｍ을 구한다. 여기에서는, 고휘도측에서 2번째의 피크에 대하여 휘도 Ｙｌ을 대응시킨다. 그러나 그것보다 저휘도측의 피크(예를 들면 최저휘도측의 피크)에 휘도 Ｙｌ을 대응시켜도 된다.
가중계수 생성 처리부(24)는, 버퍼 메모리(23)에 저장된 기준 화상 P'0, 화상 P'UNDER 및 P'OVER의 각 데이터를 근거로, 각 화상에 있어서의 휘도값의 빈도를 나타내는 히스토그램을 계산한다. 이 히스토그램으로부터 검출되는 파라미터를 근거로, 다음 식 (8) 및 (9)에 따라, 기준 화상 P'0과 화상 P'UNDER의 합성 화상 P'-과, 기준 화상 P'0과 화상 P'OVER의 합성 화상 P'+에 대해 생각한다. 다만, 다음 식에서 0≤Ｋｈ≤1, 0≤Ｋｌ≤1로 한다.
P'- = Ｋｈ×P'UNDER+(1-Ｋｈ)×P'0 (8)
P'+ = Ｋｌ×P'OVER+(1-Ｋｌ)×P'0 (9)
도 14a 및 14b는, 기준 화상 P'0, 화상 P'UNDER 및 P'OVER의 각 휘도값에 근거하는 히스토그램의 예를 게시하는 도면이다.
도 14a는, 기준 화상 P'0 및 화상 P'UNDER에 대응하는 히스토그램의 예를 게시한다. 도 14a에 있어서, 휘도 Ｙｈ_0은, 기준 화상 P'0의 히스토그램상에서 고휘도측으로부터 1번째의 피크가 존재하는 휘도값이며, 휘도 Ｙｈ_under는, 화상 P'UNDER의 히스토그램상에서 고휘도측으로부터 1번째의 피크가 존재하는 휘도값이다. 도 14b는, 기준 화상 P'0 및 화상 P'OVER에 대응하는 히스토그램의 예를 게시한다. 도 14b에 있어서, 휘도 Ｙｌ_0은, 기준 화상 P'0의 히스토그램상에서 고휘도측으로부터 2번째의 피크가 존재하는 휘도값이며, 휘도 Ｙｌ_over는, 화상 P'OVER의 히스토그램상에서 고휘도측으로부터 2번째의 피크가 존재하는 휘도값이다.
기준 화상 P'0 및 화상 P'UNDER를 식 (8)에 따라 합성한 합성 화상 P'-에 대해 생각해본다. 도 14a에 나타낸 바와 같이, 합성 화상 P'-의 히스토그램에 있어서의 고휘도측으로부터 1번째의 피크의 위치는, 가중계수 Ｋｈ가 클수록 저휘도측으로 변위한다. 가중계수 생성 처리부(24)는, 이 피크에 대응하는 휘도값이, 로 패스 화 상의 휘도범위(즉, 로 패스 화상의 최고 휘도와 최저 휘도의 범위)의 중간값이 되는 휘도 Ｙｒｍ이 되도록, 가중계수 Ｋｈ를 구한다.
마찬가지로, 기준 화상 P'0 및 화상 P'OVER를 식 (9)에 따라 합성한 합성 화상 P'+에 대해 생각해본다. 도 14b에 나타낸 바와 같이, 합성 화상 P'+의 히스토그램에 있어서의 고휘도측으로부터 2번째의 피크의 위치는, 가중계수 Ｋｌ이 클수록 고휘도측으로 변위한다. 가중계수 생성 처리부(24)는, 이 피크에 대응하는 휘도값이, 로 패스 화상의 휘도 범위의 중간값인 휘도 Ｙｒｍ이 되도록, 가중계수 Ｋｌ을 계산한다. 여기에서는 예로서, 합성 화상 P'+의 히스토그램에 있어서의 고휘도측으로부터 2번째의 피크에 대응하는 휘도값을 사용한다. 그러나, 그 2번째의 피크보다 저휘도측의 피크(예를 들면 최저휘도측의 피크)에 대응하는 휘도값을 사용해서 연산을 행해도 된다.
이상의 연산에 의해, 기준 화상 P'0에 대한 화상 P'UNDER 및 P'OVER의 적절한 최대 합성 비율이 구해진다. 이 최대 합성 비율은, 저휘도측 및 고휘도측의 계조 레인지의 최대 압축량을 규정하는 것이다. 휘도 Ｙｒｍ을 근거로 연산함으로써, 계조 레인지의 압축 효과와 콘트라스트감의 밸런스를 양호하게 유지할 수 있다.
가중계수 Ｋｈ 및 Ｋｌ을 사용하여, 로 패스 화상의 휘도에 따라, 합성 화상 P'- 및 P'+을 브랜드 한다. 이 브랜드 처리는, 예를 들면 단조증가 함수 f(Y)을 사용하여, 다음 식 (10)에 따라 실행된다. 다만, 0≤Kg≤1로 한다.
P' ＝ (0.5+Ｋｇ×f(Y))×P'- + (0.5-Ｋｇ×f(Y))×P'+ (10)
도 15는, 단조증가 함수 f(Y)의 예를 게시하는 도면이다.
가중계수 생성 처리부(24)는, 도 15에 나타낸 바와 같이, f(Ｙｍ)이 0이 되고, f(Y h) 및 f(Ｙｌ)에서의 기울기가 모두 충분히 작아지도록, 단조증가 함수 f(Y)을 정의한다. 이 조건과, 전술한 가중계수 Ｋｈ 및 Ｋｌ의 연산 방법에 의하여, 합성 처리에 있어서, 히스토그램의 피크가 존재하는 휘도 영역(즉, 로 패스 화상 내에서 많은 면적을 차지하는 휘도 영역)에 대한 계조 레인지 압축의 영향을 약화시킬 수 있고, 그 영역에 있어서의 계조가 손실되는 것을 방지해서 화질을 높일 수 있다.
상기 식 (10)에 있어서의 파라미터 Ｋｇ를 변화시킴으로써, 합성 후의 화상 P'에서 표현되는 콘트라스트감을 조절할 수 있다. 파라미터 Ｋｇ가 1일 때, 기준 화상 P'0에 대한 화상 P'UNDER 및 P'OVER의 합성 비율이 최대가 되고, 계조 레인지 압축의 효과가 최대(즉, 콘트라스트가 최소)가 된다. 파라미터 Ｋｇ가 0일 때, 콘트라스트가 최대가 된다. 파라미터 Ｋｇ로서는, 예를 들면 가중계수 생성 처리부(24)에 의해, 브래킷 촬상시에 있어서의 노출 보정량에 따라, 혹은 휘도 Ｙｈ와 휘도 Ｙｌ의 비에 따라, ＬＵＴ 등을 참조해서 최적의 값을 결정할 수 있다. 예를 들면 노출 보정량이 작을수록, 또는 Ｙｈ/Ｙｌ의 값이 작을수록, 파라미터 Ｋｇ를 작은 값으로 설정한다. 유저의 조작 입력에 의해 파라미터 Ｋｇ를 조정할 수도 있다.
가중계수 생성 처리부(24)는, 이상과 같이 구해진 가중계수 Ｋｈ 및 Ｋｌ, 단조증가 함수 f(Y), 파라미터 Ｋｇ를 사용하여, 식 (8)∼(10)으로부터, 가중계수 Wn(a(x, y))을 구하기 위한 변환 함수를 설정할 수 있다. 이러한 변환 함수의 설정 방법에 의하면, 각 화상의 히스토그램의 피크를 근거로 변환 함수를 설정함으로써, 로 패스 화상 내에서 많은 면적을 차지하는 휘도 영역에서 확실하게 계조를 남기고, 결과적으로 높은 품질의 화상을 얻을 수 있게 된다. 또한 로 패스 화상의 특성이나 브래킷 촬상시의 노출 보정값을 근거로, 그리고 유저 설정에 따라, 합성 후의 화상 P'에 있어서 재현되는 콘트라스트감을 조절할 수도 있고, 화상을 더욱 고화질화할 수 있고, 유저로 의한 설정 자유도를 향상시킬 수도 있다.
도 10에 되돌아와서 설명한다.
[스텝 S311] 합성 후의 ＨＤＲ 화상 데이터는 인코드 처리부(17b)에 의해 압축 및 인코드 처리되어, ＨＤＲ 화상의 ＪＰＥＧ 데이터로서 기록부(18)에 기록된다.
이상 설명한 제3 실시예에서는, 기준 화상 P0, 화상 PUNDER 및 POVER를 촬상할 때마다, 기준 화상 P0, 화상 PUNDER 및 POVER의 데이터를 현상 처리부(17a)에 의해 현상한다. 따라서, ＨＤＲ 화상을 생성할 때에도 기존의 현상 처리부(17a)의 회로를 그대로 이용할 수 있다. 예를 들면 보간 처리부(25)에 의한 보간 처리시에는, 가중계수가 양의 값을 가지는 조건 하에서는, 보통 촬상시와 같은 비트 폭의 범위에서 보간 처리를 실행할 수 있다. 제1 실시예와는 달리, 현상 처리부(17a)에 의해 처리되는 화상 데이터(예를 들면 12비트 데이터)보다 넓은 비트 폭을 가지는 화상 데이 터(합성 처리부(16)로부터의 출력 데이터에 상당. 예를 들면 15비트 데이터)가 생성되지 않는다. 이에 따라, 현상 처리부(17a) 이전의 처리장치에도 그대로 이용해서 ＨＤＲ 화상을 생성할 수 있다. 따라서, 회로 규모나 제조 비용을 억제하면서도, 고품질의 ＨＤＲ 화상을 얻을 수 있게 된다.
본 실시예에서 사용한, 브래킷 촬상으로 얻은 화상의 합성 방법은, 촬상장치에 있어서의 촬상시가 아닌, 기록 매체에 기록된 화상 데이터에 적용하는 것도 가능하다. 이 경우, 기록 매체에는, 브래킷 촬상에 의해 얻어진 노광 조건이 다른 복수의 화상 데이터와, 그 화상 데이터의 촬상시의 노광 조건에 관한 정보를 기록한다. 노광 조건의 정보를 근거로 각 화상 데이터를 합성하여, 1개의 ＨＤＲ 화상을 생성한다. 이러한 합성 처리 기능은, 촬상장치뿐만 아니라, 예를 들면 ＰＣ에서 실행되는 화상처리 프로그램에 의해 실현될 수도 있다.
브래킷 촬상시의 노광 조건은, 본 실시예와 같은 방법으로 결정되는 것이 바람직하다. 그러나 그 외의 방법으로 결정된 노광 조건을 근거로 합성 처리를 실행해도, ＨＤＲ 화상을 생성할 수 있다. 예를 들면 기준 화상의 촬상시의 노광 조건으로부터, 언더 측 및 오버 측 모두에 대해 미리 결정된 보정 단계의 수만큼 노출 제어값을 쉬프트하고, 브래킷 촬상을 실행하는 방법을 취해도 된다. 따라서, 이러한 합성 처리 기능을 실현하기 위한 화상처리 프로그램은, 브래킷 촬상을 실행하는 촬상장치의 기종이나 촬상장치의 제조사에 의존하지 않는 범용 프로그램으로 할 수 있다.
이렇게 촬상 후의 화상을 합성할 경우에는, 로 패스 화상의 취득에 상기와 같은 광학적 방법을 채용할 수 없다. 따라서, 로 패스 필터 처리를 디지털 연산에 의해 실현할 필요가 있다.
〔제4 실시예〕
휘도 레인지가 넓은 장면에서는, 광원이 복수 개 존재하기 때문에, 화이트 밸런스를 적정하게 자동으로 조정하기 어렵다. 예를 들면 실내의 전구에 의한 조명과, 실외의 태양에 의한 조명이, 화각 내에 동시에 포함되는 경우, 화이트 밸런스를 적정하게 자동으로 조정하기 어렵다. 이러한 복잡한 조건하에서 촬상을 행했을 경우에, 화이트 밸런스의 게인값이 화각 내에서 일정하면, 피사체와 촬상된 화상이 다르게 보인다.
전술한 제3 실시예에서는, 브래킷 촬상에 의해 얻어지는 최대 3개의 화상의 데이터는, 각각 현상 처리부(17a)에 의해 현상 처리가 실행되어, 버퍼 메모리(15a)에 저장된다. 현상 처리부(17a)에서의 화이트 밸런스 조정에 있어서는, 상기의 각 화상 데이터로부터 개별적으로 광원의 추정이 행해지고, 그 추정 결과에 따른 화이트 밸런스 게인이 산출된다. 본 실시예에서는, 이때에, 가중계수 생성 처리부(24)에 의해 생성되는 가중계수를 근거로, 각 화상 데이터에 대한 화이트 밸런스 게인을 화소마다 최적화함으로써, 조명의 조건이 복잡한 경우에도 화이트 밸런스 조정에 대응할 수 있게 한다.
본 실시예에 따른 ＤＳＣ의 구성은, 도 9에 나타낸 ＤＳＣ와 거의 동일한 구성으로 실현된다. 그러나 화이트 밸런스 게인의 산출을 마이크로컴퓨터(20)가 행할 경우에는, 가중계수 생성 처리부(24)가 생성하는 가중계수를 마이크로컴퓨터(20)가 취득할 수 있을 필요가 있다. 본 실시예에서는, 브래킷 촬상을 행할 때에는, 가중계수 생성 처리부(24)에 의해 가중계수가 생성될 필요가 있다. 따라서, 브래킷 촬상을 행하기 직전에, 디포커스 화상의 촬상을 행하고, 그 화상 데이터를 버퍼 메모리(23)에 저장하는 것이 바람직하다. 또는, 디포커스 화상을 일정 시간마다 취득하도록 하고, 브래킷 촬상을 행한 후에는, 버퍼 메모리(23)에 저장된 최신의 디포커스 화상의 데이터를 이용해서 가중계수를 생성해도 된다. 디포커스 화상을 촬상하는 대신에, 브래킷 촬상에 의해 기준 화상 P0을 촬상했을 때에, 그 기준 화상 P0의 데이터에 디지털 연산에 의해 로 패스 필터 처리를 실행하고, 로 패스 화상을 버퍼 메모리(23)에 저장해도 된다.
마이크로컴퓨터(20)는, 가중계수 생성 처리부(24)로부터 얻은 가중계수를 근거로, 다음 식 (11-1)∼(11-3)에 따라, 화상 Pn(즉, 기준 화상 P0, 화상 PUNDER 및 POVER)의 Ｒ성분, G성분, B성분에 대한 오토 화이트 밸런스용 검파값을 산출한다. 마이크로컴퓨터(20)는, 그 검파값을 사용해서 각 성분에 대한 화이트 밸런스 게인을 산출한다. 산출된 게인을 사용한 화이트 밸런스 조정은, 식 (12)에 따라 이루어진다. 이에 따라 화소마다 다른 게인이 적용된다.
Figure 112007074829719-PAT00007
식 (11-1)∼(11-3)에서는, 각 성분의 검파값, 즉 가중계수를 곱한 화소 데이터의 적분값을, 화상 전체에 있어서의 가중계수의 가산값으로 제산해서 평균화한다. Rn, Gn, Bn은, 각 화상 Pn 중 Ｒ성분, G성분, B성분의 값을 나타낸다. 식 (12)에 있어서, ＷＢn은, 각 화상 Pn에 대응하는 게인 계수를 나타낸다.
브래킷 촬상시에는, 이상과 같이 화이트 밸런스 조정이 실행된 기준 화상 P'0, 화상 P'UNDER 및 P'OVER의 데이터가 버퍼 메모리(15a)에 저장된 후, 그것들의 화상 데이터가 보간 처리부(25)에 의해 상기 식 (7)에 따라 합성된다. 이 결과, 조명광의 강도에 따라 화이트 밸런스 게인이 각 화소에 대해 매끄럽게 변화하기 때문에, 화상 내의 각 부분의 조명광에 맞춘 화이트 밸런스 조정을 실행할 수 있게 된 다. 특히, 복수의 조명광이 존재하는 장면에서 촬상을 실행한 경우에, 광원의 추정을 잘못해서 화상이 부자연스러워지는 것이 방지된다.
예를 들면, 장면의 비교적 밝은 영역에 태양광이 다량으로 조사되고, 장면의 비교적 어두운 영역에 전구광이 다량으로 조사된 경우, 화상 P'UNDER에 대해서는 광원을 태양광이라고 추정한 화이트 밸런스 조정이 실행되고, 화상 P'OVER에 대해서는 광원을 전구광이라고 추정한 화이트 밸런스 조정이 실행된다. 기준 화상 P'0에 대해서는 각 광원을 믹스한 광원에 맞춘 화이트 밸런스 조정이 실행된다. 이 화상을 상기 식 (7)에 따라 합성하면, 태양광 및 전구광이 각각 더욱 많이 조사된 영역에는, 그 광원에 맞춘 화이트 밸런스 조정이 실행된 화상이 높은 비율로 합성된다. 따라서, 각 영역에서 광원이 정확하게 추정된다. 조명 성분의 휘도에 따른 가중계수가 사용되기 때문에, 각 광원에 맞춰서 조정된 화상을 매끄럽게 위화감 없이 합성할 수 있다.
이상의 실시예에서는, 상기 화이트 밸런스 조정 후의 화상 P'n에 보간 처리부(25)에 의한 보간 처리를 실행한다. 그러나, 현상 전의 화상 Pn(ＲＡＷ 화상)에 대해, 각 화소에 동일한 화이트 밸런스 조정을 실행해도 된다. 이 경우의 각 화소의 게인 계수 ＷＢ(x, y)는, 다음 식 (13)에 의해 얻어진다.
Figure 112007074829719-PAT00008
식 (13)에서는, 현상 처리부(17a)에 있어서의 감마 변환 곡선을 함수 γ(A)로 나타내고, 그 감마 변환 곡선의 역함수를 함수 γ-1(A)로 나타낸다.
〔제5 실시예〕
상기 각 실시예에서는, 장면의 휘도 레인지의 측정 결과 또는 추정 결과로부터 브래킷 촬상이 필요하다고 판단된 경우에, 휘도 레인지에 따른 적정한 노출 보정값을 사용해서 브래킷 촬상을 행하여, ＨＤＲ 화상을 생성하였다. 그러나, 이렇게 구한 노출 보정값을 사용해서 한 번만 노광하고, 얻어지는 1개의 화상으로부터 ＨＤＲ 화상을 생성할 수도 있다. 예를 들면, 상기한 바와 같이, 복수 회 촬상해서 얻은 화상을 합성할 경우에는, 각 촬상 타이밍 사이에 피사체가 움직이면 합성 화상의 화질이 떨어졌다. 그러나, 1회만 촬상하면 이러한 문제는 발생하지 않는다. 이하, 이러한 1회 촬상에 의한 ＨＤＲ 화상의 생성 방법에 관하여 설명한다.
제5 실시예에서는, 상기 제3 실시예에서 사용한 화상보간방법을 응용하여, 1회 촬상에 의해 ＨＤＲ 화상을 생성하는 ＤＳＣ에 관하여 설명한다.
도 16은, 제5 실시예에 따른 ＤＳＣ의 내부 구성을 나타내는 블럭도다. 도 16에서는, 도 1 및 도 9에 대응하는 블록에 관해서는 동일한 부호를 부착해서 나타내고, 그 설명을 생략한다.
도 16에 나타내는 ＤＳＣ에서는, 도 9에 나타낸 ＤＳＣ의 보간 처리부(25) 대신에, 가중계수 생성 처리부(24)로부터의 가중계수를 사용해서 화소마다 게인 조정을 행하는 게인 조정부(26)가 설치된다. 현상 처리부(17)는, 제1 실시예와 마찬 가지로 인코드 처리 기능도 포함한다.
본 실시예의 ＤＳＣ는, 상기 제1 또는 제2 실시예에서 설명한 방법에 의해, 장면의 휘도 레인지를 측량 또는 추정한다. 브래킷 촬상이 필요하다고 판단한 후, ＤＳＣ는 도 10의 스텝 S301에서 계산되는 노출 보정값 중, 최고 휘도 YH에 맞춘 노출 보정값 EVUNDER만을 적용해서 노광을 행한다. 얻어지는 화상 PUNDER의 데이터(ＲＡＷ 화상 데이터)는, 게인 조정부(26)에 공급되고, 가중계수 생성 처리부(24)로부터의 가중계수를 사용한 게인 조정이 실행됨으로써, ＨＤＲ 화상이 생성된다.
전술한 제4 실시예와 마찬가지로, 본 실시예에서도, 화상 PUNDER를 촬상하기 전에 디포커스 화상의 촬상을 행하고, 그 디포커스 화상의 화상 데이터를 버퍼 메모리(23)에 저장하여, 화상 PUNDER를 촬상했을 때에 버퍼 메모리(23)의 화상 데이터로부터 가중계수를 생성할 수 있게 할 필요가 있다. 또는, 촬상한 화상 PUNDER의 데이터를 일시적으로 저장하는 버퍼 메모리를 설치해 두고, 화상 PUNDER의 촬상 후에 디포커스 화상의 촬상을 행하고, 가중계수를 생성해도 된다. 디포커스 화상의 촬상을 행하는 대신에, 디지털 연산에 의해 로 패스 필터 처리를 행하고, 얻어지는 로 패스 화상의 데이터를 버퍼 메모리(23)에 저장할 수도 있다. 이 경우, 로 패스 필터 처리가 대상으로 하는 화상은, 새로운 노광에 의해 얻어진 기준 화상 P0인 것이 바람직하다. 그러나 화상 PUNDER을 기준 화상 P0 대신에 사용해도 된다.
게인 조정부(26)는, 촬상에 의해 얻어지는 화상 PUNDER에 대하여, 다음 식 (14)에 의해 구한 게인 G(x, y)를 각 화소에 적용한다.
Figure 112007074829719-PAT00009
식 (14)에 의한 연산은, 화상 PUNDER를 기준으로 해서, 기준 화상 P0, 화상 PUNDER 및 POVER를 촬상할 때의 노출 제어값을 각각 게인값으로 환산하고, 게인의 인가량의 변화에 따라 기준 화상 P0, 화상 PUNDER 및 POVER를 의사적으로 취득하고, 그 화상들을, 로 패스 화상의 밝기에 따라, 상기의 제3 실시예에 있어서의 변환 함수(도 12 참조)에 근거하는 합성비로 합성하는 것과 등가다. 따라서, 제3 실시예와 마찬가지로, 피사체 중, 조명광이 조사되는 부분이 강한 부분에 대하여는, 노출량이 적은 화상에 해당하는 신호 성분이 높은 비율로 합성되고, 조명광이 조사되는 부분이 약한 부분에 대하여는, 노출량을 증대시킨 화상에 해당하는 신호 성분이 높은 비율로 합성된다. 게인 조정 후의 ＨＤＲ 화상은, 현상 처리부(17)에 의해 그대로 처리할 수 있는 비트수(예를 들면 12비트)가 된다.
단, 이러한 절차에서는, 1회의 촬상만 이루어지기 때문에, 실제로 촬상소자(12)의 출력의 다이네믹 레인지를 초과하는 장면의 휘도 레인지의 정보가 포함되는 것은 아니다. 이 때문에, 재현할 수 있는 휘도 레인지와 다량의 노이즈의 관점 에서, 제3 실시예와 같이 브래킷 촬상을 실행해서 얻어진 화상보다 화질이 떨어지게 된다.
제5 실시예에서는, 화상 PUNDER의 촬상시에 식 (14)에 따라 게인 조정을 하여, ＨＤＲ 화상을 합성하였다. 그러나, 같은 방법을, 과거에 촬상되어, 기록 매체에 기록된 ＲＡＷ 화상 데이터를 화상 PUNDER의 데이터로 간주하고, 그 ＲＡＷ 화상 데이터에 적용할 수도 있다.
이 경우, 화상 PUNDER를 촬상했을 때에 있어서의, 기준 화상 P0의 촬상을 기준으로 한 노출 보정값 EVUNDER와, 화상 POVER의 촬상시의 노출 보정값 EVOVER를 취득할 수 있을 필요가 있다. 노출 보정값 EVUNDER는, 예를 들면 화상 PUNDER의 촬상시에 그 화상 PUNDER의 데이터 파일의 메타데이터로서 노출 보정값 EVUNDER를 부가해서 기록함으로써 취득할 수 있다.
노출 보정값 EVOVER는, 예를 들면 취득한 노출 보정값 EVUNDER로부터 추정하면 된다. 추정 방법으로는, 예를 들면 제2 실시예에서 설명한 누적 히스토그램에 의한 노출 보정값의 추정 방법을 사용할 수도 있다. 노출 보정값 EVUNDER이 얻어진 경우에는, 그 값을 근거로 화상 PUNDER를 역보정해서 기준 화상 P0을 구하고, 이 기준 화상 P0의 휘도값의 누적 히스토그램을 구한다. 도 7 및 표 2의 EVOVER 결정 테이블에 따라, 노출 보정값 EVOVER를 추정할 수 있다.
노출 보정값 EVUNDER를 얻기 어려운 경우에는, 입력 화상 데이터를 해석해서 노출 보정값 EVUNDER 및 EVOVER를 추정해도 된다. 예를 들면, 노출 보정값 EVUNDER 및 EVOVER은, 입력 화상 데이터에 게인을 인가하고, 화상 내에서 흰 공백 및 블랙 솔리드의 화소의 비율이 소정의 경계값 이하가 되는 게인의 한계값을, 각각 노출 보정값 EVUNDER 및 EVOVER로 환산함으로써 추정할 수 있다. 상기와 같은 누적 히스토그램을 사용한 방법에 의해 입력 화상을 해석함으로써 노출 보정값 EVUNDER 및 EVOVER를 추정할 수도 있다. 화질의 열화가 커질 가능성은 있지만, 노출 보정값 EVUNDER 및 EVOVER를 모두 고정적인 보정 단계 수로 결정해도 된다.
입력된 기준 화상 P0을 해석해서 노출 보정값 EVUNDER 및 EVOVER를 추정하는 경우, 상기 식 (14)에 있어서, WUNDER(a(x, y)), W0(a(x, y)), WOVER(a(x, y))에 곱하는 승산계수를, 각각 γ(2^EVUNDER), 1 ,γ(2^EVOVER)로 변형함으로써, 이 게인을 입력 화상에 대하여 그대로 적용할 수 있게 된다(「2^B」은 「2의 B승」을 나타낸다).
식 (14)에 따라 ＨＤＲ 화상을 합성할 때에 필요한 로 패스 화상은, 노출 보정값 EVUNDER를 근거로 입력 화상을 역보정해서 기준 화상 P0을 구하고, 그 기준 화상 P0에 로 패스 필터 처리를 실행함으로써 취득하면 된다. 또는, 처리를 간략화하기 위해서, 입력 화상에 로 패스 필터 처리를 실행함으로써 취득해도 된다.
이상의 각 방법에 의해, 촬상시에 노출 보정을 행했는지 여부에 관계없이, 기록 매체에 기록된 모든 화상 데이터로부터, 상기 방법에 의해 ＨＤＲ 화상을 생성할 수 있게 된다. 이러한 기존의 화상 데이터에 대한 게인 조정 처리 기능은, 촬상장치의 내부에 탑재할 수 있을 뿐 아니라, 예를 들면 ＲＡＷ 화상 데이터를 현상하는 화상처리 프로그램으로서 실현할 수 있다.
또한, 제5 실시예에서의 ＨＤＲ 화상의 생성 처리는, 제1 실시예의 도 5에서 설명한 방법과 마찬가지로, 입력 화상의 화질을 양호하게 유지한 상태에서 계조 레인지를 압축할 수 있는 효과도 발휘한다. 이에 따라, 예를 들면 입력되는 화상 PUNDER의 데이터를, 현상 처리부(17)에 의해 처리할 수 있는 비트수(12비트)가 아닌, 그것보다 큰 비트수(예를 들면 15비트)를 가지고, 계조 레인지가 확대된 ＲＡＷ 화상 데이터로 해서, 이 ＲＡＷ 화상 데이터에 상기 게인 조정 처리를 실행해도 된다. 이 경우, 게인 조정 처리 후에 데이터 비트수를 압축했을 때의 화질을 보다 향상시킬 수 있다.
식 (14)에 의하면, 플러스측의 노출 보정량에 대응하는 가중계수에, 그 노출 보정량에 따른 더 큰 계수를 승산한다. 예를 들면, W0(a(x, y))에 WUNDER(a(x, y))보다 큰 계수를 승산하고, WOVER(a(x, y))에 W0(a(x, y))보다 큰 계수를 승산한다. 한편, 도 12의 변환 함수에 의하면, 로 패스 화상의 밝기에 관계없이, 모든 가중계수의 가산값인 「WUNDER(a(x, y)) + W0(a(x, y)) + WOVER(a(x, y))」은 「1」이다.
따라서, 식 (14)에 의한 게인값은, 로 패스 화상의 저휘도 영역에서는 높은 값이 되고, 로 패스 화상의 고휘도 영역에서는 낮은 값이 되고, 기본적으로는 도 6a에 나타낸 게인 커브와 유사하게 변화한다. 도 6a 및 6b에 나타내는 휘도 Y1, Y2, Y3은, 각각 도 13의 휘도 Ｙｌ, Ｙｍ, Ｙｈ에 대응시킬 수 있다. 따라서, 도 5 및 도 6a 및 6b에서의 설명과 마찬가지로, 조명 성분의 계조 레인지 압축 효과와, 저휘도 영역에 있어서의 반사율 성분의 계조 레인지 신장 효과(즉, 디테일 성분의 강조 효과)가 실현된다. 게인 인가 후에 비트수를 압축했을 때의 화상의 품질을 향상시킬 수 있다.
도 5의 구성과 마찬가지로, 입력 화상의 조명 성분 및 반사율 성분에 각각 개별적인 게인을 인가하고, 조명 성분에는 식 (14)에 의한 게인을 인가하고, 반사율 성분에는 식 (14)의 게인과 도 6b와 같은 디테일 성분 강조를 위한 게인을 곱해서 얻은 게인을 인가하고, 조명 성분 및 반사율 성분을 합성해도 된다.
또한, 도 13∼도 15에서 설명한 방법을 사용하여, 식 (14)의 게인을 적용하는 입력 화상을 해석하고, 적절한 가중계수를 산출할 수도 있다. 예를 들면, 입력 화상의 신호를 근거로 기준 화상 P0을 로 패스 필터 처리한 로 패스 화상을 연산에 의해 구한 후, 로 패스 화상의 히스토그램을 산출하고, 그 피크 위치를 근거로 휘도 Ｙｌ, Ｙｍ, Ｙｈ를 구하고, 그 휘도들에 따라 가중계수의 변환 함수를 설정한다. 이때, 식 (14)의 WUNDER(a(x ，y)), W0(a(x, y)), WOVER(a(x, y))에 각각 곱하는 승산계수를, 입력 화상 데이터에 대한 게인으로서 적용함으로써, 기준 화상 P0, 화상 PUNDER 및 POVER를 의사적으로 구하고, 그것들의 히스토그램을 검출할 수 있다.
이에 따라, 로 패스 화상 내에서 많은 면적을 나타내는 휘도 영역에 대한 계 조 레인지 압축의 영향을 약화시켜서, 이 영역에 있어서의 계조가 손실되는 것을 방지할 수 있다. 식 (10)의 파라미터 Ｋｇ를 임의로 변화시켜서, 게인 조정 후의 화상에 있어서의 콘트라스트감을 조정할 수도 있다.
이상과 같은 비트 압축의 사전처리 기능으로서의 게인 조정 처리 기능은, 예를 들면 촬상장치의 내부에 내장할 수 있다. 촬상장치의 내부에 있어서 처리되는 화상 데이터는, 실제로는, 표시 디바이스 등에 적합한 화상 데이터(상기 예에서는 8비트 데이터)와 비교해서 비트수가 큰 경우(상기 예에서는 12비트 데이터 또는 15비트 데이터)가 많다. 따라서, 이러한 화상 데이터의 비트수를 압축하기 전에, 상기의 게인 조정 처리 기능에 의해 계조 레인지 압축을 하는 것이 바람직하다.
또한, 상기 기능은, 그러한 촬상장치에서 얻어지는 비트수가 큰 ＲＡＷ 화상 데이터를 ＰＣ 등에 있어서 처리하기 위한 화상처리 프로그램으로서도 실현할 수 있다. 이 경우, ＲＡＷ 화상 데이터는 특정한 기종의 촬상장치나 메이커에 대하여 전용의 화상처리 프로그램으로서 실현될 뿐만 아니라, 그러한 촬상장치의 기종이나 메이커에 의존하지 않는 범용의 화상처리 프로그램으로서도 실현할 수 있다. 그 프로그램을 실행함으로써 ＲＡＷ 현상 처리 후의 화상의 품질을 향상시킬 수 있다.
〔제6 실시예〕
본 발명의 제6 실시예에서는, 1회의 촬상에 의해 얻어진 화상에 대하여, ＩＳＯ 게인 및 노이즈 리덕션(ＮＲ) 처리의 각 조정량을 변화시켜서 복수 개의 화상을 생성한 후, 그것들의 화상을 합성해서 1개의 ＨＤＲ 화상을 생성한다.
도 17은, 제6 실시예에 따른 ＤＳＣ의 내부 구성을 나타내는 블럭도다. 도 17에서는, 도 1에 대응하는 블록에 관해서는 동일한 부호를 부착해서 나타내고, 그 설명을 생략한다.
도 17에 나타내는 ＤＳＣ에서는, 도 1에 나타낸 ＤＳＣ의 구성에 대하여, ＲＡＷ 화상 데이터용 버퍼 메모리(ＲＡＷ 버퍼 메모리)(31)와, ＲＡＷ 화상 데이터용 ＮＲ 처리부(ＲＡＷ·ＮＲ 처리부)(32)가 추가되어 있다. ＲＡＷ 버퍼 메모리(31)에는, 장면의 고휘도측의 휘도 레인지가 촬상소자(12)의 출력의 다이네믹 레인지보다 넓다고 판단되었을 경우에, A/D 변환부(13)로부터 출력되는 촬상화상의 디지털 데이터(ＲＡＷ 화상 데이터)가 저장된다. ＲＡＷ 버퍼 메모리(31) 내의 화상 데이터는, ＩＳＯ 게인 조정부(14)에 있어서 화상 전체의 게인 조정이 실행된 후, ＲＡＷ/ＮＲ 처리부(32)에서 ＮＲ 처리가 더 실행되고, 버퍼 메모리(15)에 저장된다.
도 18은, 제6 실시예에 따른 ＤＳＣ에서의 촬상시의 처리 순서를 나타내는 흐름도다.
본 실시예의 ＤＳＣ는, 예를 들면 상기의 제1 실시예에서 설명한 방법에 의해 장면의 휘도 레인지를 측량하고, 그 측량 결과에 따라 도 18의 처리를 시작할 것인지 여부를 판정한다. 이 판정 처리는, 도 2의 스텝 S107에서의 브래킷 촬상의 필요 여부의 판정 처리에 대응한다. 그러나, 본 실시예에서는, 장면의 고휘도측의 휘도 레인지가 촬상소자(12)의 출력의 다이네믹 레인지보다 넓다고 판단했을 경우에, 도 18의 처리를 시작한다.
[스텝 S401] 마이크로컴퓨터(20)는, 측량된 최고 휘도 YH에 맞춘 노출 보정값 EVEq를, 다음 식 (15)에 따라 산출한다. 이때, 다음 스텝 S402의 촬상시에 있어서의 셔터 스피드 S(다만, 여기에서 마이크로컴퓨터(20)는 주로 셔터(11b)의 동작을 제어한다)와 조리개 값 F를, 다음 식 (16)에 따라 구한다. S0, F0, G0은, 전술한 바와 같이, 도 2의 스텝 S101의 ＡＥ 제어시에 설정한(또는 스텝 S103에서 다시 설정한) 셔터 스피드(단, 전자 셔터 기능에 의한), 조리개 값, ＩＳＯ 게인이다.
Figure 112007074829719-PAT00010
[스텝 S402] 마이크로컴퓨터(20)는, 스텝 S401에서 구한 노출 보정값 EVEq, 셔터 스피드 S, 조리개 값 F를 적용하여, 노광 동작을 실행시킨다. 이 동작에 의해 A/D 변환부(13)로부터 출력된 ＲＡＷ 화상 데이터는, ＲＡＷ 버퍼 메모리(31)에 일시적으로 저장된다.
[스텝 S403] 다음에 마이크로컴퓨터(20)는, ＩＳＯ 게인 조정부(14)에서의 ＩＳＯ 게인을 「1」(즉, 게인 없음)로 설정하고, ＲＡＷ·ＮＲ 처리부(32)에서의 ＮＲ 강도를 「약」으로 설정하여, ＲＡＷ 버퍼 메모리(31) 내의 화상 데이터를 ＩＳＯ 게인 조정부(14) 및 ＲＡＷ·ＮＲ 처리부(32)에 순차 처리시켜, 처리 후의 화상 PH를 버퍼 메모리(15)에 저장한다.
[스텝 S404] 마이크로컴퓨터(20)는, ＩＳＯ 게인 조정부(14)에서의 ＩＳＯ 게인을 상승시키고, ＲＡＷ·ＮＲ 처리부(32)에서의 ＮＲ 강도를 「중」의 단계로 상승시켜서, ＲＡＷ 버퍼 메모리(31) 내의 화상 데이터를 ＩＳＯ 게인 조정부(14) 및 ＲＡＷ·ＮＲ 처리부(32)에 순차 처리시켜, 처리 후의 화상 P0을 버퍼 메모리(15)에 저장한다.
[스텝 S405] 마이크로컴퓨터(20)는, ＩＳＯ 게인 조정부(14)에서의 ＩＳＯ 게인을 더 상승시키고, ＲＡＷ·ＮＲ 처리부(32)에서의 ＮＲ 강도를 「강」의 단계로 더 상승시켜서, ＲＡＷ 버퍼 메모리(31) 내의 화상 데이터를 ＩＳＯ 게인 조정부(14) 및 ＲＡＷ·ＮＲ 처리부(32)에 순차 처리시켜, 처리 후의 화상 PL을 버퍼 메모리(15)에 저장한다.
스텝 S403∼S405에서의 ＩＳＯ 게인, ＮＲ 강도의 제어값을, 이하에 나타낸다. 스텝 S403∼S405에서는, 제1 실시예에 있어서 브래킷 촬상에 의해 얻어진 기준 화상 P0, 화상 PUNDER 및 POVER를, 각각 화상 P0, PH, PL로서 의사적으로 생성한다고 할 수 있다.
[표 3]
Figure 112007074829719-PAT00011
[스텝 S406] 합성 처리부(16)는, 다음 식 (17)에 따라, 버퍼 메모리(15) 내의 화상 PH, P0, PL을 합성하고, ＨＤＲ 화상을 생성한다. 식 (17)은, 제1 실시예에 나타낸 식 (5)에 대응한다. 합성 처리부(16)는, 식 (17)에서 필요한 노출 보정값 대신에, 스텝 S403∼S405에서 설정된 ＩＳＯ 게인의 설정값을 마이크로컴퓨터(20)로부터 받고, 식 (17)에 따른 처리를 실행한다. 경계값 Ｔｈ1 및 Ｔｈ2는, 0≤Ｔｈ1<Ｔｈ2의 관계를 만족한다. 경계값 Ｔｈ1 및 Ｔｈ2로는, 예를 들면 미리 결정된 값이 사용된다.
Figure 112007074829719-PAT00012
[스텝 S407, S408] 상기 각 스텝의 처리는, 도 2의 스텝 S113 및 S114에 각 각 대응한다. 스텝 S406에서 생성된 ＨＤＲ 화상은, 현상 처리부(17)에 의해 현상 처리를 실행할 수 있는 화상 데이터보다 비트수가 많다. 따라서, 현상 처리부(17)의 입력 단계에 있어서, 합성된 ＨＤＲ 화상 데이터의 계조 레인지 및 데이터 비트 수를 압축하고, 압축 후의 화상 데이터를 현상한다.
상기 스텝 S403∼S405에서는, 제1 실시예에 있어서 브래킷에 의해 얻은 기준 화상 P0, 화상 PUNDER 및 POVER를, 각각 화상 P0, PH, PL로서 의사적으로 생성한다고 할 수 있다. 다만, 실제로 노광 제어를 행하는 대신에 ＩＳＯ 게인을 조정하고, 노이즈가 발생하기 때문에, ＩＳＯ 게인을 높일수록, ＮＲ 강도를 강하게 해서 노이즈의 발생량을 억제한다. 이러한 처리에 의해, 스텝 S406에서 합성되는 화상에 있어서는, 고휘도 영역에 대하여는 ＮＲ 처리가 비교적 약하게 적용되고, 디테일 성분이 유지된다. 반대로, 저휘도 영역에 대하여는, ＮＲ 처리가 비교적 강하게 적용되어 노이즈 레벨을 억제할 수 있고, 계조정보가 남기 때문에, 검출되는 장면의 휘도 레인지가 확대된다. 따라서, 고화질의 ＨＤＲ 화상을 얻을 수 있다.
도 19a 내지 19c는, 생성되는 화상 P0, PH, PL에 있어서의 밝기의 특성을 도시한 도면이다.
도 19a에 있어서, 직선 LH는, 화상 PH에서 재현되는 장면의 휘도값과 촬상소자(12)의 전하량의 관계를 나타낸다. 직선 L0은, 노출 보정을 행하지 않고 촬상한 경우(즉, 도 2의 스텝 S101에서의 노광 조건 또는 스텝 S103에서 다시 설정된 노광 조건으로 촬상한 경우)에 있어서의 장면의 휘도값과 촬상소자(12)의 전하량의 관계 를 나타낸다. 일반적인 노광 조건에서 촬상된 화상의 계조 레인지는, 휘도값 YDL 내지 휘도값 YDH가 된다. 그러나, 노출을 언더 측으로 보정해서 얻은 화상 P0에서는, 고휘도측의 계조 레인지가 최고 휘도 YH까지의 휘도차 DYh만큼 확대된다. 한편, 저휘도측의 계조 레인지는, ＮＲ 처리에 의해 노이즈 레벨을 Nf로부터 Nsupp_h로 저감함으로써, 노출 보정하지 않을 경우와 같은 정도까지 확보할 수 있다.
도 19b에 있어서, 직선 L0은, 화상 P0에 의해 재현되는 장면의 휘도값과 촬상소자(12)의 전하량의 관계를 나타낸다. 화상 P0은 게인 업에 의해 얻어지기 때문에, 본래의 노이즈 레벨 Nf는 높다. 그러나, ＮＲ 강도를 「중」으로 상승시킴으로써, 실제의 노이즈 레벨 Nsupp_0은 노이즈 레벨 Nf보다 낮아진다. 예를 들면 노이즈 레벨 Nsupp_0을, 도 19a에 나타낸 노출 보정 없음의 경우의 노이즈 레벨 Nf 정도로 조절할 수 있다.
도 19c에 있어서, 직선 LL은, 화상 PL에 의해 재현되는 장면의 휘도값과 촬상소자(12)의 전하량의 관계를 나타낸다. 화상 PL은 게인 업에 의해 얻어지기 때문에, 본래의 노이즈 레벨 Nf는 더 높아진다. 그러나, ＮＲ 강도를 「강」으로 상승시킴으로써, 실제의 노이즈 레벨 Nsupp_l은 노이즈 레벨 Nf보다 낮아진다.
도 20은, 합성된 화상에 있어서의 밝기의 특성을 도시한 도면이다.
도 20에 있어서, 직선 L0과 경계값 Th1 및 Th2가 각각 교차하는 점의 휘도값 을 Y1 및 Y2라고 하면, 합성 후의 화상에는, 휘도값 Y1 이하에서는 화상 PL의 화소 데이터가 사용되고, 휘도값 Y2 이상에서는 화상 PH의 화소 데이터가 사용된다. 여기에서, 식 (17)의 연산에 의해, 휘도값 Y1 이하, 및 휘도값 Y2 이상의 영역에서, 각 직선 LL 및 LH의 기울기가 직선 L0과 같다는 것은, 도 4에서 설명한 것과 같다. 직선 LL의 기울기가 완만해지도록 변환되기 때문에, 화상 PL에 있어서의 노이즈 레벨 Nsupp_l도 저하한다. 이때, ＮＲ 강도의 차이로 인해, 변환 후의 노이즈 레벨 Nsupp_l은 화상 P0의 노이즈 레벨 Nsupp_0보다 낮아진다. 그 결과, 합성 후의 화상에 있어서의 저휘도측의 계조 레인지는, 휘도차 DYl만큼 확대된다. 상기한 바와 같이, 고휘도측의 계조 레인지도 휘도차 DYh만큼 확대된다. 따라서, 노출 보정 없이 촬상한 화상보다, 장면 내에서 더욱 넓은 휘도 레인지의 계조정보를 가지는 ＨＤＲ 화상을 생성할 수 있게 된다.
이상 설명한 처리 순서에 있어서는, 스텝 S407 및 S408의 처리 대신에, 제3 실시예에서 설명한 내삽 보간에 의한 ＨＤＲ 화상의 합성 처리(도 10의 스텝 S307∼S310에 대응)를 사용해도 된다. 이 경우, 예를 들면 도 9에 나타낸 구성에 있어서, A/D 변환 후의 화상(도 17의 ＲＡＷ 버퍼 메모리(31) 내의 화상에 대응)으로부터 3개의 화상을 생성할 때에, 현상 처리부(17a)에 의한 현상 처리를 실행하고, 현상 후의 화상 P'0, P'H, P'L의 각 데이터를 버퍼 메모리(15a)에 저장하고, 보간 처리에 의해 합성 화상을 생성하면 된다. 즉, 도 17의 ＲＡＷ·ＮＲ 처리부(32)에서 의 ＮＲ 처리를, 현상 처리부(17a) 내의 기능에 의해 실행할 수 있다. 따라서, 도 17의 구성에 의해 합성 후의 ＨＤＲ 화상에 대하여 현상 처리가 행해지는 경우와 비교하면, 최종적인 화상의 화질을 더욱 향상시킬 수 있고, 장면 내에서 보다 넓은 휘도 레인지가 대응하는 계조정보를 그 화상 데이터에 포함할 수 있다.
이 경우에는, 제2 실시예와 마찬가지로, 노출 보정 없음으로, 또한, 디포커스 상태에서 촬상함으로써, 로 패스 화상 데이터를 취득하면 좋다. 또는, ＩＳＯ 게인 조정 처리 및 ＮＲ 처리에 의해 얻어지는 3개 중 1개의 화상(바람직하게는 화상 P0)의 데이터를 연산에 의해 로 패스 필터 처리함으로써 로 패스 화상 데이터를 취득해도 된다.
제6 실시예에 있어서의 처리 기능을, ＲＡＷ 현상 프로그램으로서 실현하는 것도 가능하다. 이 경우, 스텝 S402에서 얻은 ＲＡＷ 화상 데이터를 기록 매체에 저장하고, 이후에 ＰＣ 등에서, 화상 P0, PH, PL을 생성하고, ＨＤＲ 화상을 합성할 수 있다. 특히, 상기 방법의 촬상에 의해 얻어지는 ＲＡＷ 화상 데이터에 한정되지 않고, 다른 촬상방법에 의해 얻어지는 ＲＡＷ 화상 데이터에 상기 처리를 실행하고, 저휘도측의 계조 레인지가 확대된 ＨＤＲ 화상을 얻는 것도 가능하다. 즉, 이미 촬상된 1개의 화상 데이터를 근거로 브래킷 촬상 후의 화상 데이터를 의사적으로 생성하고, 그 화상 데이터를 근거로 ＨＤＲ 화상을 얻을 수 있다. 이 경우, 입력된 1개의 화상의 데이터에 대하여, 제2 실시예에서 설명한 누적 히스토그램을 사용한 방법을 적용하여, 노출 보정값 EVEq를 추정해도 된다.
이상의 각 실시예에서는, 본 발명을 ＤＳＣ에 적용했을 경우에 관하여 설명했다. 그러나 본 발명을 ＤＳＣ뿐만 아니라, 화상 촬상기능을 가지는 다른 종류의 전자기기에 적용할 수도 있다.
상기한 바와 같이, 상기 각 실시예에 따른 ＤＳＣ의 기능의 일부는, 컴퓨터에 의해 실현할 수 있다. 그 경우, 이러한 기능의 처리 내용을 기술한 프로그램이 제공된다. 그 프로그램을 컴퓨터로 실행함으로써, 상기 처리 기능이 컴퓨터상에서 실현된다. 처리 내용을 기술한 프로그램은, 컴퓨터로 판독할 수 있는 기록 매체에 기록할 수 있다. 컴퓨터로 판독할 수 있는 기록 매체에는, 자기기록장치, 광디스크, 광자기 기록매체, 반도체메모리 등이 있다.
프로그램을 유통할 경우에는, 예를 들면 그 프로그램이 기록된 광디스크 등의 휴대형 기록 매체가 판매된다. 또한 프로그램을 서버 컴퓨터의 기억장치에 저장하고, 그 프로그램을, 서버 컴퓨터로부터 네트워크를 통해 다른 컴퓨터에 전송할 수도 있다.
프로그램을 실행하는 컴퓨터는, 예를 들면 휴대형 기록 매체에 기록된 프로그램 또는 서버 컴퓨터로부터 전송된 프로그램을, 자기의 기억장치에 저장한다. 컴퓨터는, 자기의 기억장치로부터 프로그램을 판독하고, 프로그램에 따른 처리를 실행한다. 컴퓨터는, 휴대형 기록 매체로부터 직접 프로그램을 판독하고, 그 프로그램에 따른 처리를 실행할 수도 있다. 또한 컴퓨터는, 서버 컴퓨터로부터 프로그램이 전송될 때마다, 차차, 받은 프로그램에 따른 처리를 실행할 수도 있다.
첨부된 청구항이나 그 동등한 범위 내에 있는 한, 설계 요구나 다른 요소에 따라 다양한 변형, 조합, 하위 조합, 변경이 가능하다는 것은 당업자에게 당연하게 이해된다.
도 1은 본 발명의 제1 실시예에 따른 ＤＳＣ의 내부 구성을 나타내는 블럭도다.
도 2는 제1 실시예에 따른 ＤＳＣ에서의 촬상 동작 전체의 순서를 나타내는 흐름도다.
도 3은 스텝 S111의 브래킷 촬상의 처리 순서를 나타내는 흐름도다.
도 4는 합성되는 화상 사이의 밝기의 관계를 설명하기 위한 도면이다.
도 5는 ＨＤＲ 화상의 계조 레인지 압축을 위한 기능을 나타내는 블럭도다.
도 6a 및 6b는 ＨＤＲ 화상의 계조 레인지 압축시에 설정되는 게인 커브의 예를 게시하는 도면이다.
도 7은 누적 히스토그램으로부터 구해지는 파라미터를 설명하기 위한 도면이다.
도 8은 키 레벨과 하이라이트 레벨의 조합에 대응하는 휘도값의 도수를 나타내는 히스토그램의 대표적인 예를 게시하는 도면이다.
도 9는 본 발명의 제3 실시예에 따른 ＤＳＣ의 내부 구성을 나타내는 블럭도다.
도 10은 제3 실시예에 따른 ＤＳＣ에서의 촬상시의 처리 순서를 나타내는 흐름도다.
도 11a 내지 11d는 디포커스 화상의 촬상시에 있어서의 포커스 조정 렌즈의 구동 순서를 설명하기 위한 도면이다.
도 12는 로 패스 화상의 휘도를 가중계수로 변환하기 위한 변환 함수의 예를 게시하는 도면이다.
도 13은 로 패스 화상에 있어서의 휘도값의 도수를 나타내는 히스토그램의 예를 게시하는 도면이다.
도 14a 및 14b는 촬상에 의해 얻어지는 화상의 휘도값에 근거하는 히스토그램의 예를 게시하는 도면이다.
도 15는 단조증가 함수의 예를 게시하는 도면이다.
도 16은 본 발명의 제5 실시예에 따른 ＤＳＣ의 내부 구성을 나타내는 블럭도다.
도 17은 본 발명의 제6 실시예에 따른 ＤＳＣ의 내부 구성을 나타내는 블럭도다.
도 18은 제6 실시예에 따른 ＤＳＣ에서의 촬상시의 처리 순서를 나타내는 흐름도다.
도 19a 내지 19c는 게인 보정에 의해 생성되는 화상에 있어서의 밝기의 특성을 도시한 도면이다.
도 20은 합성된 화상에 있어서의 밝기의 특성을 도시한 도면이다.

Claims (27)

  1. 입력 화상 데이터를 처리하는 화상처리장치로서,
    상기 입력 화상 데이터의 촬상시에 있어서의 노출 제어값에 대해 복수 단계의 노출 보정값을 취득하는 노출 보정값 취득부와,
    상기 입력 화상 데이터에 근거하여 조명 성분을 생성하는 조명 성분 생성부와,
    상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값의 단계 수만큼 설정되고, 상기 조명 성분의 동일 위치의 화소의 밝기에 따라, 동일 위치의 화소에 있어서의 노출계수의 합계 값이 1이 되도록 설정된, 각각의 복수의 가중계수와, 상기 가중계수에 대응하는 상기 노출 보정값에 따른 승산계수를 승산하고, 승산값을 가산함으로써, 게인량을 산출하는 게인량 산출부와,
    상기 게인량 산출부에 의해 산출된 상기 게인량을 상기 입력 화상 데이터에 각 화소에 대해 인가하는 게인 인가부를 구비한 것을 특징으로 하는 화상처리장치.
  2. 제 1항에 있어서,
    상기 노출 보정값 취득부에 의해 취득되는 복수 단계의 상기 노출 보정값에는, 보정값 0이 포함되는 것을 특징으로 하는 화상처리장치.
  3. 제 1항에 있어서,
    상기 게인량 산출부는, 2를 밑으로 하고 대응하는 상기 노출 보정값을 지수로 한 거듭제곱을 행함으로써, 상기 승산계수를 산출하는 것을 특징으로 하는 화상처리장치.
  4. 제 1항에 있어서,
    상기 게인량 산출부는, 상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값 중, 노출을 더욱 노출 오버 측으로 보정하는 상기 노출 보정값에 따른 상기 승산계수가 승산되는 상기 가중계수를, 상기 조명 성분이 어두운 영역에서 커지고, 상기 조명 성분이 밝은 영역에서 작아지도록 설정하고, 노출을 더욱 노출 언더 측으로 보정하는 상기 노출 보정값에 따른 상기 승산계수가 승산되는 상기 가중계수를, 상기 조명 성분이 어두운 영역에서 작아지고, 상기 조명 성분이 밝은 영역에서 커지도록 설정하는 것을 특징으로 하는 화상처리장치.
  5. 제 4항에 있어서,
    상기 게인량 산출부는, 상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값 중, 중간적인 상기 노출 보정값에 따른 상기 승산계수가 승산되는 상기 가 중계수를, 상기 조명 성분의 휘도가 휘도 레인지에 있어서의 중간영역에서 가장 커지도록 더 설정하는 것을 특징으로 하는 화상처리장치.
  6. 제 5항에 있어서,
    상기 게인량 산출부는,
    상기 조명 성분의 각 휘도의 도수를 나타내는 히스토그램으로부터, 상기 히스토그램의 가장 고휘도측에 존재하는 제1 도수 피크에 대응하는 제1 휘도값과, 상기 제1 도수 피크보다 저휘도측의 영역에 존재하는 제2 도수 피크에 대응하는 제2 휘도값과, 상기 제1 및 제2 도수 피크의 사이에 있어서의 최저도수 위치에 대응하는 제3 휘도값을 검출하고,
    상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값 중, 중간적인 상기 노출 보정값에 대응하는 상기 가중계수를, 상기 조명 성분이 상기 제3 휘도값이 되는 휘도 영역에서 최대가 되고, 그 휘도 영역보다 낮은 휘도측 및 높은 휘도측에서 모두 단순감소가 되도록 설정하고,
    상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값 중, 노출을 상기 노출 언더 측으로 보정하는 상기 노출 보정값에 대응하는 상기 가중계수를, 상기 조명 성분의 휘도값의 증가에 따라 단순증가하고, 상기 제1 휘도값에서 대략 최대값에 달하도록 설정하고,
    상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값 중, 노출을 상기 노출 오버 측으로 보정하는 상기 노출 보정값에 대응하는 상기 가중계수를, 상기 조명 성분의 휘도값의 감소에 따라 단순증가하고, 상기 제2 휘도값에서 대략 최대값에 달하도록 설정하는 것을 특징으로 하는 화상처리장치.
  7. 제 6항에 있어서,
    상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값 중, 노출을 노출 언더 측 및 노출 오버 측으로 각각 보정하는 상기 노출 보정값에 대응하는 상기 각 가중계수의 최대값을, 유저 조작에 따라 임의로 설정할 수 있게 하는 가중계수 설정부를 더 구비한 것을 특징으로 하는 화상처리장치.
  8. 제 6항에 있어서,
    상기 게인량 산출부는,
    상기 입력 화상 데이터에 상기 승산계수를 승산함으로써, 상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값 중, 중간적인 상기 노출 보정값을 적용한 촬상 동작에 의해 얻어지는 기준 보정 화상 데이터와, 노출을 상기 노출 언더 측으로 보정하는 상기 노출 보정값을 적용한 촬상 동작에 의해 얻어지는 언더 보정 화상 데이터와, 노출을 상기 노출 오버 측으로 보정하는 상기 노출 보정값을 적용한 촬상 동작에 의해 얻어지는 오버 보정 화상 데이터를 의사적으로 산출하고,
    상기 언더 보정 화상 데이터에 적용한 상기 노출 보정값에 대응하는 상기 가중계수의 최대값을, 상기 각각의 기준 보정 화상 데이터 및 상기 언더 보정 화상 데이터의 휘도마다 도수를 나타내는 히스토그램상의 가장 고휘도측에 존재하는 도수 피크의 위치와, 상기 조명 성분의 휘도 영역의 중간값에 근거하여 산출하고,
    상기 오버 보정 화상 데이터에 적용한 상기 노출 보정값에 대응하는 상기 가중계수의 최대값을, 상기 각각의 기준 보정 화상 데이터 및 상기 오버 보정 데이터의 휘도마다 도수를 나타내는 히스토그램상의, 가장 고휘도측에 존재하는 도수 피크보다 저휘도측의 영역에 존재하는 도수 피크의 위치와, 상기 조명 성분의 휘도 영역의 중간값에 근거하여 산출하는 것을 특징으로 하는 화상처리장치.
  9. 제 1항에 있어서,
    상기 조명 성분 생성부는, 상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값 중 중간적인 상기 노출 보정값을, 상기 입력 화상 데이터의 촬상시에 적용했을 때에 얻어지는 화상 데이터를, 상기 입력 화상 데이터를 근거로 추정해서 산출하고, 상기 산출된 화상 데이터에 로 패스 필터 처리를 실행함으로써, 상기 조명 성분을 생성하는 것을 특징으로 하는 화상처리장치.
  10. 제 1항에 있어서,
    상기 조명 성분 생성부는, 상기 입력 화상 데이터에 로 패스 필터 처리를 실행함으로써, 상기 조명 성분을 생성하는 것을 특징으로 하는 화상처리장치.
  11. 제 1항에 있어서,
    상기 노출 보정값 취득부는, 상기 입력 화상 데이터의 촬상시에 있어서의 상기 노출 제어값을, 상기 입력 화상 데이터에 부가된 메타데이터로부터 취득하는 것을 특징으로 하는 화상처리장치.
  12. 제 1항에 있어서,
    상기 노출 보정값 취득부는, 복수 단계의 상기 노출 보정값을, 상기 입력 화상 데이터의 해석 결과를 근거로 산출하는 것을 특징으로 하는 화상처리장치.
  13. 제 12항에 있어서,
    상기 노출 보정값 취득부는, 상기 입력 화상 데이터를 근거로 각 휘도의 도수를 저휘도측으로부터 누적한 누적 히스토그램을 산출하고, 상기 누적 히스토그램 에 근거하여, 주요한 피사체가 존재할 가능성이 큰 소정의 기준누적 도수에 대응하는 휘도 영역과, 상기 기준누적 도수보다 높은 1개 이상의 누적 도수에 대응하는 휘도 영역과, 상기 기준누적 도수보다 낮은 1개 이상의 누적 도수에 대응하는 휘도 영역을 검출하고, 검출한 상기 각 휘도 영역의 조합에 따라, 복수 단계의 상기 노출 보정값을 추정값으로서 산출하는 것을 특징으로 하는 화상처리장치.
  14. 제 13항에 있어서,
    상기 입력 화상 데이터에 로 패스 필터 처리를 실행하는 필터 처리부를 더 구비하고,
    상기 노출 보정값 취득부는, 상기 입력 화상 데이터에 대하여, 상기 필터 처리부에 의해 로 패스 필터 처리의 실행에 의해 얻어진 화상 데이터를 근거로, 상기 누적 히스토그램을 산출하는 것을 특징으로 하는 화상처리장치.
  15. 제 12항에 있어서,
    상기 노출 보정값 취득부는, 상기 입력 화상 데이터에 해석용 게인을 인가하고, 흰 공백 및 블랙 솔리드의 화소의 비율이 각각 소정의 경계값 이하가 되는 경계에서 상기 해석용 게인의 값을, 언더 측 및 오버 측에 대한 상기 각 노출 보정값으로 환산하는 것을 특징으로 하는 화상처리장치.
  16. 고체촬상소자를 사용해서 화상을 촬상하는 촬상장치로서,
    소정의 노출 제어값을 기준으로 한 복수 단계의 노출 보정값을 설정하는 노출 보정값 설정부와,
    촬상 동작에 의해 얻어지는 화상 데이터에 근거하여 조명 성분을 생성하는 조명 성분 생성부와,
    상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값의 단계 수만큼 설정되고, 상기 조명 성분의 동일 위치의 화소의 밝기에 따라, 동일 위치의 화소에 있어서의 노출계수의 합계 값이 1이 되도록 설정된, 각각의 복수의 가중계수와, 상기 가중계수에 대응하는 상기 노출 보정값에 따른 승산계수를 승산하고, 승산값을 가산함으로써, 게인량을 산출하는 게인량 산출부와,
    상기 게인량 산출부에 의해 산출된 상기 게인량을, 상기 소정의 노출 제어값을 적용한 촬상에 의해 얻어지는 화상 데이터에 대하여 각 화소에 대해 인가하는 게인 인가부를 구비한 것을 특징으로 하는 촬상장치.
  17. 제 16항에 있어서,
    기준 노출 제어값을 적용한 촬상 동작에 의해 얻어지는 화상 데이터를 근거로 흰 공백을 검출하고, 그 검출 결과를 근거로, 화각 내의 장면의 휘도 레인지가 상기 고체촬상소자에 의해 검출할 수 있는 검출 휘도 레인지 내에 포함되는지 여부 를 판정하는 노광 상태 판정부와,
    상기 노광 상태 판정부에 의해 장면의 휘도 레인지가 상기 검출 휘도 레인지에 포함되지 않는다고 판정되었을 경우에, 장면의 고휘도측의 휘도 레인지가 상기 검출 휘도 레인지 내에 포함되도록 상기 기준 노출 제어값을 보정해서 얻은 언더 측 노출 제어값을 산출하는 노출 보정값 산출부를 더 구비하고,
    상기 노출 보정값 설정부는, 상기 언더 측 노출 제어값을 기준으로 해서, 노출을 노출 오버 측으로 보정하는 복수 단계의 상기 노출 보정값을 설정하는 것을 특징으로 하는 촬상장치.
  18. 제 17항에 있어서,
    촬상 동작에 의해 얻어지는 화상 데이터에 로 패스 필터 처리를 실행하는 필터 처리부를 더 구비하고,
    상기 노광 상태 판정부 및 상기 노출 보정값 산출부는, 상기 필터 처리부에 의해 로 패스 필터 처리가 실행된 화상 데이터를 근거로, 흰 공백의 검출, 및, 상기 언더 측 노출 제어값의 산출을 실행하는 것을 특징으로 하는 촬상장치.
  19. 제 17항에 있어서,
    상기 노출 보정값 산출부는,
    상기 기준 노출 제어값을 기준으로 해서 언더 측으로 서서히 보정한 노출 제어값을 적용해서, 노출 보정값이 보정될 때마다 촬상장치에 촬상 동작을 실행시켜서 얻어지는 화상 데이터를 근거로 흰 공백의 발생 상태를 검출하고,
    흰 공백이 발생하지 않는 최대의 노출 제어값과, 미리 결정된 기준 노광 조건하에서 출력되는 화소의 휘도 최대값과, 상기 고체촬상소자의 각 화소의 포화 전하량과, 소정의 화이트 레벨에 대응하는 상기 고체촬상소자의 화소의 전하량을 근거로 장면의 최고 휘도를 검출하고, 검출한 장면의 최고 휘도를 근거로, 그 장면의 휘도 레인지가 상기 검출 휘도 레인지보다 넓은지 여부를 판정하고,
    장면의 휘도 레인지가 상기 검출 휘도 레인지보다 넓다고 판정했을 경우에, 검출된 장면의 최고 휘도가 상기 검출 휘도 레인지 내에 포함되도록 상기 기준 노출 제어값을 보정하여 얻은 상기 언더 측 노출 제어값을 산출하는 것을 특징으로 하는 촬상장치.
  20. 제 19항에 있어서,
    촬상 동작에 의해 얻어지는 화상 데이터에 로 패스 필터 처리를 실행하는 필터 처리부를 더 구비하고,
    상기 노출 보정값 산출부는, 상기 기준 노출 제어값을 기준으로 해서 언더 측으로 서서히 보정한 노출 제어값을 적용한 촬상 동작에 의해 얻어지는 화상 데이터에 대하여, 상기 필터 처리부에 의해 로 패스 필터 처리를 실행한 화상 데이터를 근거로, 흰 공백의 발생 상태를 검출하는 것을 특징으로 하는 촬상장치.
  21. 제 17항에 있어서,
    상기 노출 보정값 산출부는, 상기 기준 노출 제어값을 적용한 촬상 동작에 의해 얻어지는 화상 데이터로부터, 각 휘도의 도수를 저휘도측으로부터 누적한 누적 히스토그램을 검출하고, 상기 누적 히스토그램에 근거하여, 주요한 피사체가 존재할 가능성이 큰 소정의 기준누적 도수에 대응하는 휘도 영역과, 상기 기준누적 도수보다 높은 1개 이상의 누적 도수에 대응하는 휘도 영역과, 상기 기준누적 도수보다 낮은 1개 이상의 누적 도수에 대응하는 휘도 영역을 검출하고, 검출한 상기 각 휘도 영역의 조합에 따라, 상기 언더 측 노출제어값을 추정해서 출력하는 것을 특징으로 하는 촬상장치.
  22. 제 21항에 있어서,
    촬상 동작에 의해 얻어지는 화상 데이터에 로 패스 필터 처리를 실행하는 필터 처리부를 더 구비하고,
    상기 노출 보정값 산출부는, 상기 기준 노출 제어값을 적용한 촬상 동작에 의해 얻어지는 화상 데이터에 대하여, 상기 필터 처리부에 의해 로 패스 필터 처리가 실행된 화상 데이터를 근거로, 상기 누적 히스토그램을 검출하는 것을 특징으로 하는 촬상장치.
  23. 제 17항에 있어서,
    상기 기준 노출 제어값 및 상기 언더 측 노출 제어값을 각각 적용한 촬상 동작에 의해 얻어지는 기준 화상 데이터 및 언더 보정 화상 데이터에 대하여, 소정의 화소보간 처리 및 소정의 화질보정 처리를 포함한 신호 처리를 실행하고, 상기 기준 화상 데이터 및 상기 언더 보정 화상 데이터를, 표시 디바이스에 출력할 수 있는 계조 비트수를 가지는 비압축의 화상 데이터로 변환하는 ＲＡＷ 현상 처리부를 더 구비하고,
    상기 조명 성분 생성부는, 상기 ＲＡＷ 현상 처리부에 의해 변환된 상기 기준 화상 데이터에 근거하여 조명 성분을 생성하고,
    상기 게인 인가부는, 상기 ＲＡＷ 현상 처리부에 의해 변환된 상기 언더 보정 화상 데이터에 대하여 화소마다 게인을 인가하는 것을 특징으로 하는 촬상장치.
  24. 제 17항에 있어서,
    상기 조명 성분 생성부는, 상기 기준 노출 제어값을 적용한 촬상 동작에 의해 얻어지는 화상 데이터에 대하여 로 패스 필터 처리를 실행함으로써, 상기 조명 성분을 생성하는 것을 특징으로 하는 촬상장치.
  25. 제 17항에 있어서,
    상기 조명 성분 생성부는, 촬상화상이 디포커스 상태가 되도록 포커스 조정 렌즈의 위치를 조정하고, 또한, 상기 기준 노출 제어값을 적용해서 실행되는 촬상 동작에 의해 얻어지는 화상 데이터를, 상기 조명 성분으로 이용하는 것을 특징으로 하는 촬상장치.
  26. 입력 화상 데이터를 처리하기 위한 화상처리방법으로서,
    조명 성분 생성부에 의해, 상기 입력 화상 데이터에 근거하여 조명 성분을 생성하는 단계와,
    노출 보정값 취득부에 의해, 상기 입력 화상 데이터의 촬상시에 있어서의 노출 제어값을 기준으로 한 복수 단계의 노출 보정값을 취득하는 단계와,
    게인량 산출부에 의해, 상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값의 단계 수만큼 설정되고, 상기 조명 성분의 동일 위치의 화소의 밝기에 따라, 동일 위치의 화소에 있어서의 노출계수의 합계 값이 1이 되도록 설정된, 각각의 복수의 가중계수와, 상기 가중계수에 대응하는 상기 노출 보정값에 따른 승산계수를 승산하고, 승산값을 가산함으로써, 게인량을 산출하는 단계와,
    게인 인가부에 의해, 상기 게인량 산출부에 의해 산출된 상기 게인량을 상기 입력 화상 데이터에 대하여 각 화소에 대해 인가하는 단계를 포함하는 것을 특징으로 하는 화상처리방법.
  27. 입력 화상 데이터를 처리하기 위한 화상처리 프로그램으로서,
    컴퓨터를,
    상기 입력 화상 데이터의 촬상시에 있어서의 노출 제어값을 기준으로 한 복수 단계의 노출 보정값을 취득하는 노출 보정값 취득 수단과,
    상기 입력 화상 데이터에 근거하여 조명 성분을 생성하는 조명 성분 생성 수단과,
    상기 노출 보정값 취득부에 의해 취득된 상기 노출 보정값의 단계 수만큼 설정되고, 상기 조명 성분의 동일 위치의 화소의 밝기에 따라, 동일 위치의 화소에 있어서의 노출계수의 합계 값이 1이 되도록 설정된, 각각의 복수의 가중계수와, 상기 가중계수에 대응하는 상기 노출 보정값에 따른 승산계수를 승산하고, 승산값을 가산함으로써, 게인량을 산출하는 게인량 산출 수단과,
    상기 게인량 산출 수단에 의해 산출된 상기 게인량을 상기 입력 화상 데이터에 대하여 각 화소에 대해 인가하는 게인 인가수단으로서 기능시키는 것을 특징으로 하는 화상처리 프로그램.
KR1020070105411A 2006-10-19 2007-10-19 화상처리장치, 촬상장치, 화상처리방법 및 컴퓨터 프로그램 KR20080035981A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00285108 2006-10-19
JP2006285108A JP4218723B2 (ja) 2006-10-19 2006-10-19 画像処理装置、撮像装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
KR20080035981A true KR20080035981A (ko) 2008-04-24

Family

ID=39334685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070105411A KR20080035981A (ko) 2006-10-19 2007-10-19 화상처리장치, 촬상장치, 화상처리방법 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US7834915B2 (ko)
JP (1) JP4218723B2 (ko)
KR (1) KR20080035981A (ko)
CN (1) CN100579180C (ko)
TW (1) TWI345909B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100952955B1 (ko) * 2008-09-09 2010-04-15 연세대학교 산학협력단 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어방법과 이를 이용한 비디오 카메라 시스템
KR101327035B1 (ko) * 2012-05-25 2013-11-07 엘지이노텍 주식회사 카메라 모듈 및 이의 이미지 처리 방법

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101303876B1 (ko) * 2006-05-19 2013-09-04 삼성전자주식회사 촬상 기기의 포커싱 제어 장치 및 방법
JP2008258828A (ja) * 2007-04-03 2008-10-23 Nikon Corp 撮像装置
US8237850B2 (en) * 2007-08-27 2012-08-07 Sanyo Electric Co., Ltd. Electronic camera that adjusts the distance from an optical lens to an imaging surface
CN101420531A (zh) * 2007-10-23 2009-04-29 鸿富锦精密工业（深圳）有限公司 高动态范围图片撷取装置及方法
JP5152203B2 (ja) * 2008-01-24 2013-02-27 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置
EP2299695A4 (en) * 2008-07-17 2012-08-29 Nikon Corp IMAGING DEVICE, IMAGE PROCESSING PROGRAM, IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING METHOD
TWI459801B (zh) * 2008-09-12 2014-11-01 Alpha Imaging Technology Corp 影像處理方法、整合式光學處理器以及使用此整合式光學處理器之影像擷取裝置
JP4479845B2 (ja) * 2008-09-30 2010-06-09 カシオ計算機株式会社 画像補正装置、画像補正方法、画像補正プログラム
US8818744B2 (en) * 2008-10-16 2014-08-26 Tektronix, Inc. Test and measurement instrument and method of switching waveform display styles
KR101520068B1 (ko) * 2008-12-16 2015-05-13 삼성전자 주식회사 다중영상 합성장치 및 그 방법
US8355059B2 (en) * 2009-02-06 2013-01-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US9077905B2 (en) * 2009-02-06 2015-07-07 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
JP5400432B2 (ja) * 2009-03-05 2014-01-29 キヤノン株式会社 撮像装置、その制御方法及びカメラ
US8271544B2 (en) * 2009-05-01 2012-09-18 Creative Technology Ltd Data file having more than one mode of operation
US8478029B2 (en) * 2009-05-26 2013-07-02 Tandent Vision Science, Inc. Multi-resolution analysis in image segregation
JP5279636B2 (ja) 2009-06-30 2013-09-04 キヤノン株式会社 撮像装置
JP5383360B2 (ja) * 2009-07-15 2014-01-08 キヤノン株式会社 画像処理装置およびその制御方法
JP2011044803A (ja) * 2009-08-19 2011-03-03 Canon Inc 撮像装置及び撮像装置の制御方法
JP5596948B2 (ja) * 2009-09-18 2014-09-24 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5408053B2 (ja) * 2009-10-20 2014-02-05 株式会社ニコン 画像処理装置、画像処理方法
US8477377B2 (en) * 2009-12-09 2013-07-02 Infoprint Solutions Company Llc Mechanism for integration of print quality enhancement (PQE) and multi-bit halftone data
CN102196153B (zh) * 2010-03-03 2013-07-03 鸿富锦精密工业（深圳）有限公司 图像场景亮度差判断装置及亮度差判断方法
US8766999B2 (en) * 2010-05-20 2014-07-01 Aptina Imaging Corporation Systems and methods for local tone mapping of high dynamic range images
JP2012019392A (ja) 2010-07-08 2012-01-26 Nikon Corp 画像処理装置、電子カメラおよび画像処理プログラム
CN101917551B (zh) * 2010-08-10 2012-01-04 浙江大学 一种多次曝光的高动态范围图像获取方法
JP5648849B2 (ja) * 2011-02-21 2015-01-07 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法
CN102006431B (zh) * 2010-12-30 2012-08-22 无锡银泰微电子有限公司 光学仪器中图像数据源的选取方法
CN102645816B (zh) * 2011-02-16 2015-01-14 佳能企业股份有限公司 曝光参数补正方法及成像装置
JP5874180B2 (ja) * 2011-03-14 2016-03-02 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
JP5828663B2 (ja) * 2011-04-21 2015-12-09 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
US8836816B2 (en) * 2011-05-19 2014-09-16 Foveon, Inc. Method of adjusting the brightness of a digital camera image
JP2012247874A (ja) 2011-05-25 2012-12-13 Sony Corp 画像処理装置および方法
TWI455570B (zh) * 2011-06-21 2014-10-01 Himax Imaging Inc 彩色內插系統及方法
JP2013034167A (ja) * 2011-06-28 2013-02-14 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013085040A (ja) * 2011-10-06 2013-05-09 Sanyo Electric Co Ltd 画像処理装置
CN102752512B (zh) * 2011-11-30 2017-06-13 新奥特（北京）视频技术有限公司 一种调节图像曝光效果的方法
CN102497490B (zh) * 2011-12-16 2014-08-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
CN103975585B (zh) * 2011-12-16 2016-10-12 本田技研工业株式会社 图像处理装置
JP6136086B2 (ja) 2011-12-28 2017-05-31 ソニー株式会社 撮像装置および画像処理装置
US9171215B2 (en) 2012-01-17 2015-10-27 Honda Motor Co., Ltd. Image processing device
US9420166B2 (en) * 2012-02-13 2016-08-16 Nokia Technologies Oy Method and apparatus for enhanced automatic adjustment of focus, exposure and white balance in digital photography
US9313378B2 (en) * 2012-04-16 2016-04-12 Samsung Electronics Co., Ltd. Image processing apparatus and method of camera
JP5950678B2 (ja) * 2012-04-27 2016-07-13 キヤノン株式会社 撮像装置、制御方法、及びプログラム
CN104285435B (zh) * 2012-05-10 2016-09-28 富士胶片株式会社 摄像装置及信号校正方法
US9137456B2 (en) 2012-06-06 2015-09-15 Apple Inc. Intelligent auto-exposure bracketing
JP6082274B2 (ja) * 2012-06-08 2017-02-15 キヤノン株式会社 撮像装置、及びその制御方法
JP5397509B2 (ja) * 2012-07-02 2014-01-22 株式会社ニコン 画像処理装置、電子カメラおよび画像処理プログラム
KR101900097B1 (ko) * 2012-07-30 2018-09-20 삼성전자주식회사 이미지 캡처 방법 및 이미지 캡처 장치
JP5986461B2 (ja) * 2012-09-07 2016-09-06 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
EP2899688A4 (en) * 2012-09-20 2016-04-27 Sharp Kk IMAGE PROCESSING DEVICE, IMAGE DISPLAY DEVICE, IMAGE DEVICE, IMAGE PRINTING DEVICE, GRAD CONVERTING PROCESS AND PROGRAM
US9413981B2 (en) * 2012-10-19 2016-08-09 Cognex Corporation System and method for determination and adjustment of camera parameters using multi-gain images
JP6152635B2 (ja) * 2012-11-08 2017-06-28 ソニー株式会社 画像処理装置および方法、並びに、プログラム
CN103973988B (zh) 2013-01-24 2018-02-02 华为终端（东莞）有限公司 场景识别方法及装置
JP6116272B2 (ja) * 2013-02-08 2017-04-19 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US8809781B1 (en) * 2013-02-28 2014-08-19 Direct Electron, Lp Method of electron beam imaging of a specimen by combining images of an image sequence
US11013398B2 (en) * 2013-03-13 2021-05-25 Stryker Corporation System for obtaining clear endoscope images
WO2014141561A1 (ja) * 2013-03-13 2014-09-18 富士フイルム株式会社 撮像装置、信号処理方法、信号処理プログラム
JP2014179756A (ja) * 2013-03-14 2014-09-25 Canon Inc 画像処理装置、その制御方法、および制御プログラム
JP2014207592A (ja) 2013-04-15 2014-10-30 ソニー株式会社 撮像装置、制御方法、及び、プログラム
JP5543636B2 (ja) * 2013-05-21 2014-07-09 キヤノン株式会社 撮像装置
JP2015011320A (ja) * 2013-07-02 2015-01-19 キヤノン株式会社 撮像装置及びその制御方法
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
KR102051538B1 (ko) * 2013-09-13 2020-01-08 에스케이하이닉스 주식회사 신호 처리 장치 및 그의 동작 방법
CN103491312B (zh) * 2013-09-29 2016-06-15 武汉虹识技术有限公司 一种用于虹膜识别的自动曝光控制方法及装置
JP6193721B2 (ja) * 2013-10-23 2017-09-06 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
EP4087247A1 (en) 2014-02-26 2022-11-09 Dolby Laboratories Licensing Corp. Luminance based coding tools for video compression
JP5828927B2 (ja) * 2014-03-24 2015-12-09 キヤノン株式会社 撮像装置
WO2015192368A1 (zh) * 2014-06-20 2015-12-23 深圳市大疆创新科技有限公司 Hdri的生成方法及装置
CN105338338B (zh) * 2014-07-17 2018-01-02 诺基亚技术有限公司 用于成像条件检测的方法和装置
US10074165B2 (en) * 2014-09-10 2018-09-11 Morpho, Inc. Image composition device, image composition method, and recording medium
CN105791717A (zh) * 2014-12-18 2016-07-20 天津炜辐医疗科技有限公司 一种用于实时高动态范围成像数字相机装置的方法
US10773329B2 (en) 2015-01-20 2020-09-15 Illinois Tool Works Inc. Multiple input welding vision system
JP6548403B2 (ja) * 2015-02-24 2019-07-24 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、及びプログラム
US10448692B2 (en) 2015-03-06 2019-10-22 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
EP3268949B1 (en) 2015-03-09 2021-05-26 Illinois Tool Works Inc. Methods and apparatus to provide visual information associated with welding operations
CN104683779B (zh) * 2015-03-17 2017-08-29 上海兆芯集成电路有限公司 自动白平衡补偿方法以及使用该方法的装置
US9977242B2 (en) 2015-03-26 2018-05-22 Illinois Tool Works Inc. Control of mediated reality welding system based on lighting conditions
US9666160B2 (en) * 2015-03-26 2017-05-30 Illinois Tool Works Inc. Control of mediated reality welding system based on lighting conditions
CN107533832B (zh) * 2015-05-12 2020-11-27 索尼公司 图像处理装置、图像处理方法与程序
US10363632B2 (en) 2015-06-24 2019-07-30 Illinois Tool Works Inc. Time of flight camera for welding machine vision
WO2017022324A1 (ja) * 2015-08-05 2017-02-09 オリンパス株式会社 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
EP3139342A1 (en) * 2015-09-02 2017-03-08 Thomson Licensing Methods, systems and apparatus for over-exposure correction
CN108353133B (zh) * 2015-11-11 2021-06-15 华为技术有限公司 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法
CN105472265B (zh) * 2015-12-04 2018-12-14 中国神华能源股份有限公司 一种获取高动态范围图像的装置和方法
CN105389572A (zh) * 2015-12-10 2016-03-09 威海北洋电气集团股份有限公司 一种人脸和身份证识别一体机及自动调整亮度的补光方法
JP6601264B2 (ja) * 2016-02-29 2019-11-06 富士通株式会社 照明条件設定装置、照明条件設定方法及び照明条件設定用コンピュータプログラム
JP6705237B2 (ja) * 2016-03-18 2020-06-03 株式会社リコー 画像圧縮装置、画像形成装置、画像圧縮方法およびプログラム
JP2018045560A (ja) * 2016-09-16 2018-03-22 株式会社東芝 半導体装置
KR20180036464A (ko) * 2016-09-30 2018-04-09 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
JP6665754B2 (ja) * 2016-10-26 2020-03-13 株式会社デンソー 撮像装置
JP6789877B2 (ja) * 2017-04-28 2020-11-25 キヤノン株式会社 情報処理装置、画像処理システム、制御システム及び情報処理方法
JP6929711B2 (ja) * 2017-06-15 2021-09-01 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
JP6935272B2 (ja) * 2017-08-29 2021-09-15 キヤノン株式会社 ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム
CN110741408B (zh) * 2017-09-15 2023-08-01 富士胶片商业创新有限公司 图像处理装置、图像处理方法和图像处理程序
US10498971B2 (en) * 2017-11-03 2019-12-03 Qualcomm Incorporated Systems and methods for high-dynamic range imaging
KR102463965B1 (ko) 2018-01-04 2022-11-08 삼성디스플레이 주식회사 유기 발광 표시 장치 및 이의 구동 방법
CN108174118B (zh) * 2018-01-04 2020-01-17 珠海格力电器股份有限公司 图像处理方法、装置和电子设备
WO2019146122A1 (ja) * 2018-01-29 2019-08-01 Eizo株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6767694B2 (ja) * 2018-07-30 2020-10-14 パナソニックＩｐマネジメント株式会社 撮像装置
JP7204480B2 (ja) * 2018-12-27 2023-01-16 キヤノン株式会社 撮像装置、撮像システム、移動体及び撮像装置の制御方法
CN109547701B (zh) * 2019-01-04 2021-07-09 Oppo广东移动通信有限公司 图像拍摄方法、装置、存储介质及电子设备
CN109672829B (zh) * 2019-01-04 2021-02-02 Oppo广东移动通信有限公司 图像亮度的调整方法、装置、存储介质及终端
GB2582422B (en) * 2019-02-05 2022-01-26 Canon Kk Video processing progress bar, indicating which parts have already been processed and which are yet to be processed
US11521512B2 (en) 2019-02-19 2022-12-06 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
US11450233B2 (en) 2019-02-19 2022-09-20 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
CN111316635B (zh) * 2019-03-12 2022-01-25 深圳市大疆创新科技有限公司 相机控制方法及装置
CN110149484B (zh) 2019-04-15 2020-07-10 浙江大华技术股份有限公司 图像合成方法、装置及存储装置
CN110443766B (zh) * 2019-08-06 2022-05-31 厦门美图之家科技有限公司 图像处理方法、装置、电子设备及可读存储介质
CN110519485B (zh) * 2019-09-09 2021-08-31 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110688962B (zh) * 2019-09-29 2022-05-20 武汉秀宝软件有限公司 人脸图像处理方法、用户设备、存储介质及装置
US11721231B2 (en) 2019-11-25 2023-08-08 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
US11322037B2 (en) 2019-11-25 2022-05-03 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
CN111526298B (zh) * 2020-03-24 2021-10-19 深圳英飞拓智能技术有限公司 一种改善宽动态多场景适应性的方法
CN111654640B (zh) * 2020-05-27 2021-11-23 维沃移动通信有限公司 曝光调整方法、装置及电子设备
CN111770285B (zh) * 2020-07-13 2022-02-18 浙江大华技术股份有限公司 一种曝光亮度控制方法、装置、电子设备和存储介质
CN112606402A (zh) * 2020-11-03 2021-04-06 泰州芯源半导体科技有限公司 应用多参数解析的产品制造平台
CN112508809B (zh) * 2020-11-27 2023-04-21 湖南傲英创视信息科技有限公司 低照度图像/视频增强方法及系统
CN113012070B (zh) * 2021-03-25 2023-09-26 常州工学院 一种基于模糊控制的高动态场景图像序列获取方法
KR20220152019A (ko) * 2021-05-07 2022-11-15 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그 동작 방법
CN114504293B (zh) * 2022-04-21 2022-07-29 安翰科技(武汉)股份有限公司 内窥镜曝光控制方法及内窥镜

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248438A (ja) 2002-02-22 2003-09-05 Oki Joho Systems:Kk 印刷表示装置
US20040252217A1 (en) * 2003-06-12 2004-12-16 Battles Amy E. System and method for analyzing a digital image
US7777806B2 (en) * 2003-08-06 2010-08-17 Nikon Corporation Camera, method, and program which captures a field of an object to generate an image, and image processing program and imaging device for applying image processing to an image
KR20080034508A (ko) * 2005-08-08 2008-04-21 요셉 러브너 적응형 노출 제어
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100952955B1 (ko) * 2008-09-09 2010-04-15 연세대학교 산학협력단 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어방법과 이를 이용한 비디오 카메라 시스템
KR101327035B1 (ko) * 2012-05-25 2013-11-07 엘지이노텍 주식회사 카메라 모듈 및 이의 이미지 처리 방법

Also Published As

Publication number Publication date
US20080187235A1 (en) 2008-08-07
TWI345909B (en) 2011-07-21
JP4218723B2 (ja) 2009-02-04
TW200830869A (en) 2008-07-16
JP2008104010A (ja) 2008-05-01
US7834915B2 (en) 2010-11-16
CN100579180C (zh) 2010-01-06
CN101166240A (zh) 2008-04-23

Similar Documents

Publication Publication Date Title
KR20080035981A (ko) 화상처리장치, 촬상장치, 화상처리방법 및 컴퓨터 프로그램
US10412296B2 (en) Camera using preview image to select exposure
US6825884B1 (en) Imaging processing apparatus for generating a wide dynamic range image
JP4163353B2 (ja) 画像処理装置
US6738510B2 (en) Image processing apparatus
JP5315158B2 (ja) 画像処理装置及び画像処理方法
US7742637B2 (en) Apparatus, method, and program for taking an image, and apparatus, method, and program for processing an image
JP2008104009A (ja) 撮像装置および撮像方法
JP4803284B2 (ja) 画像処理装置、及び画像処理プログラム
JP2007082181A (ja) 撮像装置及び画像処理方法
JP2011228807A (ja) 画像処理プログラム、画像処理装置、および画像処理方法
JP2007329619A (ja) 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。
US9019406B2 (en) Imaging apparatus and image processing program for correcting dark area gradation
US9294685B2 (en) Image processing apparatus, electronic camera, and medium storing image processing program
US8351695B2 (en) Image processing apparatus, image processing program, and image processing method
JP2010273001A (ja) 画像処理装置、撮像装置、および合成画像の生成方法
JP5743456B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP2008219230A (ja) 撮像装置及び画像処理方法
KR101408359B1 (ko) 촬상장치 및 촬상방법
JP2004222160A (ja) デジタルカメラ
JP2006295581A (ja) 撮影システム、および映像信号処理プログラム
JP2007142978A (ja) 画像処理方法及び撮像装置
JP2007027865A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application