KR20130052515A - 촬상장치, 그 제어 방법, 및 기록 매체 - Google Patents

촬상장치, 그 제어 방법, 및 기록 매체 Download PDF

Info

Publication number
KR20130052515A
KR20130052515A KR1020120124657A KR20120124657A KR20130052515A KR 20130052515 A KR20130052515 A KR 20130052515A KR 1020120124657 A KR1020120124657 A KR 1020120124657A KR 20120124657 A KR20120124657 A KR 20120124657A KR 20130052515 A KR20130052515 A KR 20130052515A
Authority
KR
South Korea
Prior art keywords
image
images
moving object
exposure condition
exposure
Prior art date
Application number
KR1020120124657A
Other languages
English (en)
Other versions
KR101549529B1 (ko
Inventor
히데토시 쓰바키
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20130052515A publication Critical patent/KR20130052515A/ko
Application granted granted Critical
Publication of KR101549529B1 publication Critical patent/KR101549529B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

다이나믹 레인지 확장 화상의 생성에 사용하는 피합성 화상의 수, 및 상기 피합성 화상의 각각에 관한 노출 조건을 결정한다. 이동 물체 영역에 대응하는 피사체에 관한 적정 노출 조건을 결정하고, 상기 피합성 화상들의 노출 조건 중 1개의 노출 조건을 상기 적정 노출 조건으로 변경한다. 촬상장치는, 적정 노출 조건을 포함하는 상기 피합성 화상들의 노출 조건하에서 촬상된 복수의 피합성 화상에 대해서 이동 물체 영역을 특정한다. 그리고, 적정 노출 조건하에서 촬상된 상기 피합성 화상의 화소를, 복수의 피합성 화상에 대해서 특정된 이동 물체 영역의 화소로서 사용해서 다이나믹 레인지 확장 화상을 생성한다.

Description

촬상장치, 그 제어 방법, 및 기록 매체{IMAGE CAPTURE APPARATUS, CONTROL METHOD THEREOF, AND RECORDING MEDIUM}
본 발명은, 촬상장치, 그 제어 방법, 및 기록 매체에 관한 것으로서, 보다 구체적으로는, 노출된 다른 복수의 화상을 합성함에 의해, 계조 범위를 확장하는 다이나믹 레인지 확장 기술에 관한 것이다.
최근, 디지털 카메라나 디지털 비디오카메라 등의 일부의 촬상장치는, 노출 시간을 다르게 해서 피사체를 촬영하는 것에 의해 얻어진, 노출된 다른 복수의 화상을 합성함에 의해 계조 범위를 확장한 화상을 얻는, 다이나믹 레인지 확장기능을 갖는다.
일본국 공개특허공보 특개2008-104009호에는, 촬상한 화상이 소정의 휘도 레인지에 포함되지 않은 경우에, 고휘도측의 최고휘도 및 저휘도측의 최저휘도를 검출하여서, 고휘도측 및 저휘도측의 각각에 대해서 휘도 레인지에 포함되는 2개의 다른 화상을 촬상해서 HDR화상을 생성하는 촬상장치가 개시되어 있다.
또한, 이동 물체(moving object)가 포함될 경우에 다이나믹 레인지 확장 화상 생성처리(이후, HDR화상 생성처리라고 함)에 의해 출력된 합성 화상에 있어서의 화상의 불연속을 회피하기 위해서, HDR화상 생성 처리에 있어서의 화상합성을 동적으로 제어하는 기술이 개시되어 있다.
일본국 공개특허공보 특개2002-101347호에는, 다음의 기술이 개시되어 있다. 즉, 저노출 화상과 고노출 화상의 2장의 화상을 사용해서 HDR화상을 생성할 경우에, 정규화한 화상의 계조 레벨간의 차분에 의거하여 화상의 불연속이 일어날 수 있는 영역을 특정하고, 그 영역에서 저노출 화상으로의 바꾸기를 금지한다.
그렇지만, 상기 일본국 공개특허공보 특개2002-101347호의 방법을 사용하는 경우에도, 합성에 의해 생성된 HDR화상의 이동 물체 영역에 있어서, 고노출 화상과 저노출 화상의 양쪽으로부터 추출된 화소가 사용되는 경우도 있어, 이동 물체 영역에 있어서의 텍스처의 불연속인 문제가 생길 수 있다.
본 발명은, 상기 종래기술의 과제를 감안하여 이루어진 것이다. 본 발명은, 노출된 다른 복수의 화상을 합성해서 계조 범위를 확장한 화상에 있어서의 화상의 불연속을 회피하는 촬상장치, 그 제어 방법, 및 기록 매체를 제공한다.
본 발명의 제1 국면에서는, 복수의 피합성 화상을 합성해서 다이나믹 레인지 확장 화상을 생성하는 촬상장치를 제공하고, 이 촬상장치는, 피사체를 촬상해서 얻어진 화상을 출력하는 촬상수단; 상기 피사체의 화소값의 분포로부터, 다이나믹 레인지 확장 화상의 생성에 사용된 상기 피합성 화상의 수, 및 상기 피합성 화상의 각각에 관한 노출 조건을 결정하는 결정 수단; 상기 촬상수단으로부터 출력된 복수의 예비촬영 화상에 대해서 이동 물체 영역을 특정하는 제1의 특정 수단; 상기 제1의 특정 수단에 의해 특정된 이동 물체 영역에 대응하는 피사체에 관한 적정 노출 조건을 결정하고, 상기 결정 수단에 의해 결정된 상기 피합성 화상들의 노출 조건 중 1개의 노출 조건을 상기 적정 노출 조건으로 변경하는 변경 수단; 상기 적정 노출 조건을 포함하는 상기 피합성 화상들의 상기 노출 조건하에서 상기 촬상수단에 의해 촬상된 복수의 상기 피합성 화상에 대해서 이동 물체 영역을 특정하는 제2의 특정 수단; 및 복수의 상기 피합성 화상을 합성해서 상기 다이나믹 레인지 확장 화상을 생성하는 생성 수단이며, 상기 적정 노출 조건하에서 촬상된 상기 피합성 화상의 화소를, 상기 제2의 특정 수단에 의해 특정된 이동 물체 영역의 화소로서 사용하는 생성 수단을 구비한다.
본 발명의 또 다른 특징들은 (첨부도면을 참조하여) 이하의 예시적 실시예들의 설명으로부터 명백해질 것이다.
도 1은 본 발명의 실시예에 따른 디지털 카메라(100)의 기능 구성을 나타낸 블록도;
도 2는 종래의 다이나믹 레인지 확장 처리에 의해 생긴 HDR화상에 있어서의 화상의 불연속을 설명하기 위한 도면;
도 3은 본 발명의 실시예에 따른 HDR화상 생성처리의 흐름도;
도 4a, 4b, 4c는 본 발명의 실시예에 따른 이동 물체 영역을 설명하기 위한 도면;
도 5는 본 발명의 실시예에 따른 노출 조건의 설정에 관하여 설명하기 위한 그래프;
도 6a, 6b, 6c는 본 발명의 실시예에 따른 이동 물체에 대응하는 화소의 그룹화처리를 설명하기 위한 도면;
도 7은 본 발명의 실시예에 따른 이동 물체 영역에 대응한 측광영역을 나타낸 도면;
도 8a, 8b, 8c, 8d는 본 발명의 실시예에 따른 노출 조건의 변경을 설명하기 위한 도면;
도 9는 본 발명의 실시예에 따른 병행 처리를 설명하기 위한 도면;
도 10은 본 발명의 실시예에 따른 노출된 다른 복수의 화상의 예들을 나타낸 도면;
도 11은 다른 노출 시간에 의한 계조 레벨 조정 후의 계조 범위를 설명하기 위한 도면;
도 12는 본 발명의 실시예에 따른 검출된 움직임 화소를 나타낸 도면;
도 13은 본 발명의 실시예에 따른 톤(tone) 매핑 처리를 설명하기 위한 도면이다.
이하, 본 발명의 바람직한 실시예에 대해서, 도면을 참조해서 상세하게 설명한다. 이때, 이후에 설명하는 일 실시예는, 촬상장치의 일례로서, 다른 노출 시간으로 피사체를 촬영해서 얻어진 복수의 화상을 합성하여서, 다이나믹 레인지를 확장한 화상(HDR화상)을 출력 가능한 디지털 카메라에, 본 발명을 적용한 경우의 예를 들겠다. 그러나, 본 발명은, 다른 노출 시간으로 피사체를 촬영해서 얻어진 복수의 화상을 합성하여, 다이나믹 레인지를 확장한 화상을 출력하는 것이 가능한 임의의 기기에 적용 가능하다. 본 명세서에 있어서, "화상의 불연속"이란, HDR화상에 있어서의 투명화, 텍스처의 불연속, 잔상, 다중 엣지, 및 패턴 혼합에 대한 문제를 총칭하는 것이다.
우선, HDR화상에 있어서의 투명화, 텍스처의 불연속, 잔상, 다중 엣지, 및 패턴 혼합에 관하여 설명한다. 일본국 공개특허공보 특개2008-104009호에 기재된 다이나믹 레인지 확장 기술에 의한 HDR화상의 생성에는, 피사체와 관련지어 노출 레벨을 다르게 한 복수의 촬영동작으로 얻어진 복수의 합성용의 화상을 필요로 한다. 그렇지만, 피사체에 이동 물체가 존재할 경우, 합성용 화상이 다른 이동 물체 영역을 갖기 때문에, 합성용 화상을 합성해서 얻어진 HDR화상에서 화상의 불연속 문제가 생긴다.
보다 구체적으로, 피사체에 이동 물체가 존재할 경우에, 복수의 촬영동작에 의해 얻어진 화상을 합성해서 얻어진 HDR화상에는, 이하와 같은 화상의 불연속에 관련된 문제가 생긴다. 예를 들면, 도 2에 나타나 있는 바와 같이, 고노출 화상(200)에 있어서 이동 물체 영역(201)내에 블로운 아웃 하이라이트(blown-out highlight)영역(202)이 존재하는 경우를 상정하면, 다음의 문제가 있다.
1. 블로운 아웃 하이라이트 영역(202)과 같은 위치의 영역에, 이동 물체가 존재하지 않는 저노출 화상(220)의 화소들을 사용해서 화소들을 대체하는 경우, HDR화상(230)의 이동 물체 영역내에 배경이 보이는 투명영역(231)이 생긴다(투명화).
2. 블로운 아웃 하이라이트 영역(202)과 같은 위치의 영역에 이동 물체는 존재하지만, 그 위치가 다른 저노출 화상(220)의 화소들을 사용해서 화소들을 대체하는 경우, 해당 영역(232)의 경계에서 이동 물체 표면의 텍스처 패턴은 불연속이 된다.
3. 도 2와는 달리, 고노출 화상이 배경의 영역에 블로운 아웃 하이라이트 영역을 포함하는 경우와, 저노출 화상에서의 이동 물체가 해당 영역을 차폐하는 위치에 이동 물체가 존재하는 경우에, 블로운 아웃 하이라이트 영역의 화소의 저노출 화상에의 대체에 의해 이동 물체의 복수의 화상이 있는 것처럼 화상들이 합성된다(잔상).
화소의 대체 처리뿐만 아니라 중간계조 범위에서의 복수의 화상의 가중 평균을 사용한 합성 처리에 의해서도, 종래의 화상합성처리시에 제기된 문제로서, 이동 물체 주위의 다중 엣지나, 가산된 이동 물체 영역에 있어서의 패턴 혼합 등의, 화상의 불연속도 생긴다.
또한, 전술한 일본국 공개특허공보 특개2002-101347호의 방법을 사용하는 경우에도, 합성에 의해 생성된 HDR화상의 이동 물체 영역에서, 고노출 화상과 저노출 화상의 양쪽으로부터 추출된 화소들이 사용되는 경우도 있어, 이동 물체 영역에 있어서의 텍스처 불연속의 문제가 생겼다.
한편, HDR화상을 생성하는데 촬영된 복수의 화상 모두의 차분으로부터, 화소값의 변화량이 역치이상인 영역을 특정하고, 상기 영역의 화소에 관해서는 1개의 화상으로부터 추출된 화소를 사용하여 HDR화상을 생성함으로써 화상의 불연속을 해소하는 방법이 사용되어도 된다. 그렇지만, 화소값의 변화량이 역치이상인 영역에 할당되는 화소를 추출하는 선택된 화상은, 블로운 아웃 하이라이트 영역이나 새도우 디테일(shadow detail) 손실 영역을 포함하는 경우도 있고, 상기 얻어진 HDR화상에서는 원하는 다이나믹 레인지 확장 효과를 얻을 수 없는 경우가 있다. 특히, 일본국 공개특허공보 특개2008-104009호와 같이, 최고휘도 및 최저휘도에 따라 HDR화상 생성용의 고노출 화상 및 저노출 화상을 촬상할 경우, 양쪽의 화상은, 블로운 아웃 하이라이트 영역 혹은 새도우 디테일 손실 영역을 포함하여도 되고, 원하는 다이나믹 레인지 확장 효과는 얻어질 수 없다.
따라서, 본 발명에서는, 화상내에 포함된 이동 물체 영역에 관한 적정 노출 조건을 결정하고, 2이상의 화상의 노출 조건 중 하나의 노출 조건을 상기 적정 노출 조건으로 변경해서 2이상의 화상을 촬상하고, 이동 물체 영역이라고 판정되는 영역에 그 적정 노출 조건하에서 촬상된 상기 화상의 화소를 사용한다.
<디지털 카메라의 기능 구성>
도 1은, 본 발명의 실시예에 따른 디지털 카메라(100)의 기능 구성을 나타내는 블록도다.
제어부(101)는, 예를 들면 CPU다. 제어부(101)는, ROM(lO2)에 기억된 (후술하는) HDR화상 생성처리의 프로그램을 판독하고, RAM(lO3)에 그 판독된 프로그램을 전개해서 실행함에 의해, 디지털 카메라(100)에 구비된 각 블록의 동작을 제어한다. ROM(lO2)은, 예를 들면 재기록가능한 불휘발성 메모리 등의 레지스터다. ROM(lO2)은, HDR화상 생성처리의 프로그램에 더하여, 디지털 카메라(100)가 구비하는 각 블록의 동작에 필요한 제어 파라미터 등의 정보를 기억한다. RAM(lO3)은, 예를 들면 휘발성 메모리다. RAM(lO3)은, HDR화상 생성처리의 프로그램의 전개 영역으로서 뿐만 아니라, 디지털 카메라(100)가 구비하는 각 블록의 동작동안에 출력된 중간 데이터를 일시적으로 기억하여도 된다.
또한, 본 실시예의 다음의 설명에서는, 하드웨어 구성요소로서 디지털 카메라(100)가 구비하는 각 블록에 의해 각 처리를 실행한다. 그렇지만, 본 발명은 이러한 구체적인 실시예에 한정되지 않고, 각 블록의 처리는 상기 각 블록과 같은 처리를 실행할 수 있는 프로그램으로 실행되어도 좋다.
조리개(105)는, 광학계(104)의 동공면에 배치되어서 촬상부(107)의 표면에 입사하는 광을 부분적으로 차단함으로써 광량을 조정하는 노출 제어 요소다. 기계적 셔터(106)는, 촬상부(107)의 표면에 입사하는 광선을 물리적으로 차단함으로써 시간적인 입사광량을 조정하는 노출 제어 요소다.
촬상부(107)는, 촬상소자, 즉, 예를 들면 베이어(Bayer) 배열 패턴으로 칼라필터를 깔아서 형성되고 단판으로 피사체상을 수광하는 단판소자, (도면에 나타나 있지 않은) 분광 프리즘에 의해 색정보를 3개 이상으로 분리하고, 각각의 광선을 독립된 촬상소자에 의해 수광하는 3판소자등으로 구성된다. 촬상부(107)는, 복수의 렌즈 및 미러로 구성된 광학계(104)를 거쳐서 결상된 피사체상을 광전변환한다. 그 후, 촬상부(107)는, 광전변환에 의해 얻어진 아날로그 화상신호를 사전처리부(108)에 출력한다.
또한, 촬상부(107)가 3판식으로 구성되는 경우, 분광 광학소자를 필요로 하지만, (후술하는) 화상처리부(110)에 있어서의 베이어 배열 보간처리를 생략할 수 있다. 또한, 촬상부(107)는, 촬상소자가 전자셔터 기능을 가지므로, 촬상소자의 축적시간 및 판독 타이밍을 제어함에 의해 광량을 조정하는 노출 제어 요소다.
사전처리부(108)는, 입력된 아날로그 화상신호에 대하여, 상관 2중 샘플링(CDS)에 의한 노이즈 제거, 오토 게인 컨트롤(AGC)에 의한 게인 조정을 사용한 노출 제어, 흑 레벨 보정, 및 A/D변환 처리를 적용해서, 디지털 화상신호를 출력한다. 사전처리부(108)에서 행해진 각종 처리는, 아날로그화상신호에 대한 사전처리이기 때문에, AFE(아날로그 프론트엔드)처리라고도 불린다.
본 실시예에서는, 노출된 다른 복수의 화상을 시분할로 촬영하기 위해서, 제어부(101)는, 노출 제어부(109)를 사용해서, 조리개(105), 기계적 셔터(106), 촬상부(107), 및 사전처리부(108)에 있어서의 노출 제어 동작을 제어한다. 보다 구체적으로는, 노출 제어부(109)는, 제어부(101)로부터 입력된 복수의 화상의 노출의 정보에 따라, 조리개(105)의 조리개량, 기계적 셔터(106)의 개방 시간, 촬상소자의 축적시간 및 판독 타이밍, 및 사전처리부(108)에 있어서의 게인 조정량을 제어한다.
화상처리부(110)는, 입력된 디지털 화상신호에 대하여, 베이어 배열 보간, 선형 매트릭스 처리, 화이트 밸런스 조정, YCC변환, 색차이/계조/콘트라스트 보정, 및 엣지 강조처리 등의 화상처리를 적용한다. 화상처리부(110)는, 이것들의 화상처리를 적용함에 의해, 한 장의 출력 화상(일반적인1장 촬영 동작에 관련된 화상)을 생성할 수 있다. 그 생성된 화상은, 예를 들면 (후술하는) 화상 메모리(111)에 기억된다. 혹은, 그 생성된 화상은, 기록 매체I/F부(114)를 거쳐서 기록 매체(115)에 기록된다. 화상처리부(110)에서 실행된 각종 화상처리는, 사전처리부의 AFE처리에 대하여 DBE(디지털 백엔드(back-end))처리라고 불린다.
본 실시예에서는, 화상처리부(110)가, 노출된 다른 복수의 화상으로부터 다이나믹 레인지를 확장한 HDR화상을 생성하는데 필요한 각 공정에서 실행된, 합성처리를 포함하는 화상처리를 실행하는 것으로 한다. HDR화상 생성처리에서 사용된, 노출된 다른 복수의 화상은, 화상처리부(110)에 있어서의 DBE처리의 적용 후, 화상 메모리(111)에 순차로 기억된다. 화상처리부(110)는 해당 화상 메모리(111)로부터 각 화상을 판독해서 그 필요한 처리를 적용한다.
또한, 화상처리부(110)는, 예를 들면 ROM(lO2)에 기억되어 있는, 촬영된 화상의 기록 포맷에 따라, 압축/부호화 등의 변환 처리가 필요한 경우에는, 상기처리를 화상 데이터에 적용하고, 기록용의 화상 데이터를 생성한다.
화상 메모리(111)는, 디지털 카메라(100)가 구비한 화상용의 기억 영역이다. 화상 메모리(111)는, HDR화상 생성처리에 의해 얻어진 화상 데이터뿐만 아니라, DBE처리의 일부의 처리를 적용하여서 얻어진 중간화상 데이터도, 필요에 따라 일시적으로 기억하여도 된다. 화상 메모리(111)에 기억된 화상은, 예를 들면 베이어 배열 보간 및 선형 매트릭스 처리가 적용된 3플레인의 RAW화상 데이터, 한층 더 화이트 밸런스 조정을 행한 RGB화상 데이터, 또는 한층 더 YCC변환이 적용된 YCC화상 데이터이어도 좋다. 또한, 본 실시예에서는, 화상 메모리(111)에 기억된 HDR화상 생성처리용의 화상이 YCC화상인 가정하에서 이하의 설명을 한다. 그렇지만, (후술하는) HDR화상 생성처리에서 사용된 화상은 YCC색공간에 한하지 않고, 다른 색공간의 화상을 사용하여도 된다.
표시부(112)는, 예를 들면 소형LCD등의 디지털 카메라(100)가 구비하는 표시장치이며, 촬영된 화상, 생성된 HDR화상, 혹은 (후술하는) 기록 매체I/F부(114)를 거쳐서 기록 매체(115)로부터 판독된 화상을 표시한다.
조작부(113)는, 셔터 버튼, 메뉴 버튼 등이 디지털 카메라(100)에 구비되고, 유저로부터의 조작입력을 접수하는데 사용된 유저 인터페이스다. 조작부(113)는, 유저에 의해 이루어진 조작 입력을 해석하고, 해당 조작 입력에 대응한 신호를 제어부(101)에 출력한다. 또한, 조작부(113)는, (전술한 셔터 버튼이나 메뉴 버튼 등의) 물리적인 조작부재에 한하지 않고, 터치패널 센서를 구비해도 된다. 예를 들면, 이 경우에, 조작부(113)는, 유저에 의해 조작된 표시부(112)의 표시 영역상의 위치의 정보를 제어부(101)에 출력한다.
기록 매체I/F부(114)는, 예를 들면 화상처리부(110)에서 생성된 화상 데이터 등이 접속된 기록 매체(115)에 기록하고, 혹은 기록 매체(115)로부터 데이터를 판독하는데 사용된 인터페이스다. 기록 매체(115)는, 예를 들면 디지털 카메라(100)가 구비하는 내장 메모리나, 메모리 카드나 HDD등의 디지털 카메라(100)에 착탈 가능하게 접속된 기록 장치이어도 된다.
<HDR화상 생성처리>
이하, 이러한 구성을 갖는 본 실시예의 디지털 카메라(100)의 HDR화상 생성처리에 대해서, 도 3에 도시된 흐름도를 참조하여 구체적으로 설명한다. 이 흐름도에 대응한 처리는, 제어부(101)가, 예를 들면 ROM(lO2)에 기억되어 있는 대응한 처리 프로그램을 판독하고, RAM(lO3)에 그 판독된 프로그램을 전개해서 실행할 때 실행될 수 있다. 또한, 예를 들면 디지털 카메라(100)의 촬영 모드가 HDR화상 촬영 모드로 설정된 상태에서, 유저가 셔터 버튼을 조작하는 경우, 본 HDR화상 생성처리는 시작된다는 가정하에서 아래에 설명한다.
단계S301에서, 제어부(101)는, 촬영 화각내의 이동 물체 영역을 특정하고(제1의 특정), RAM(lO3)에 상기 특정된 영역을 기억시킨다. 각 이동 물체 영역은, HDR화상의 생성을 위해 촬영된 각 화상에 피사체가 포함된, 이동중인 피사체등의 움직임이 있는 피사체가 존재하는 영역을 가리킨다. 보다 구체적으로는, 제어부(101)는, 시분할로 촬상된 복수의 예비촬영 화상을 화상 메모리(111)로부터 취득하고, 상기 복수의 예비촬영 화상에 대해서 화소값간의 차분을 산출한다. 그리고, 제어부(101)는, 각 차분이 이동 물체라고 판단하는데 필요한 소정의 역치ThMOV 이상인지의 여부를 확인함으로써, 화소마다 이동 물체 영역을 특정한다. 본 실시예에서는, 제어부(101)는, 동일한 노출 조건하에서, 시분할로 촬상된 2개의 예비촬영 화상에 대해서, 사전처리부(108) 및 화상처리부(110)를 제어하여 소정의 처리를 적용시켜서, YCC형식의 화상을 생성시킨다. 그리고, 제어부(101)는, YCC형식의 2개의 예비촬영 화상의 휘도성분에 대해서 차분을 산출시켜, 화소마다 상기 산출된 차분을 역치ThMOV를 비교한다.
예를 들면, 도 4a 및 4b에 나타나 있는 바와 같이, 이동 물체(410)를 포함하는 피사체를 시분할 촬상하여 얻어진 2개의 예비촬영 화상(401 및 402)을 사용해서 이동 물체 영역을 검출할 경우, 제어부(101)는, 화상 각각을 복수의 블록으로 분할하고, 블록마다 휘도성분의 차분을 산출한다. 도 4a 내지 4c에 도시된 예에서는, 피사체의 이동에 의해 휘도값이 변화된, 도 4c에 채워진 원으로 나타낸 블록이, 이동 물체 영역으로서 특정된다.
또한, 본 실시예에서는, 제어부(101)는, 동일한 노출 조건하에서 시분할 촬상된 2개의 예비촬영 화상을 사용해서 이동 물체 영역을 특정한다. 예비촬영 화상의 노출 조건이 다른 경우, 2개의 예비촬영 화상의 계조 레벨을, 동일한 피사체에 대해서 계조 레벨이 서로 동일하도록 노출 조건에 따라 조정할 수 있어서, 제어부(101)는 비교를 행하는 것도 가능하다. 그렇지만, 다른 노출 조건으로 인해 예비촬영 화상이 블로운 아웃 하이라이트 영역 혹은 새도우 디테일 손실 영역이 포함될 경우, 상기 영역이 노출 조건에 의해 변화되기 때문에, 결과적으로 정지 물체의 일부의 영역도 이동 물체 영역으로서 검출된다.
HDR화상의 생성에서는, "이동 물체에 대응한 영역에 블로운 아웃 하이라이트 영역 혹은 새도우 디테일 손실 영역이 포함되는" 경우에, 노출 조건이 다른 복수의 화상으로부터 샘플링된 화소를 이동 물체 영역에 할당하는 것으로 화상의 불연속이 생길 수 있다. 이러한 영역에 대해서 1장의 화상으로부터 샘플링한 화소를 할당시킴으로써, 화상의 불연속을 회피할 수 있다. 그렇지만, 상기한 바와 같이, 상기 영역에 블로운 아웃 하이라이트 화소 혹은 새도우 디테일 손실 화소를 할당했을 경우, 그 얻어진 화상의 다이나믹 레인지의 확장 효과는 낮다. 즉, 상기 화소의 할당을 포함하는 처리에 의해 생성된 HDR화상은, 화상의 불연속인 문제는 회피하고 있지만, 원래의 목적인 다이나믹 레인지의 확장에 대한 적합한 결과를 얻을 수 없을 가능성이 있다. 이 때문에, 본 실시예에서는, 적어도 이동 물체 영역에 대해서 적합한 노출 조건(적정 노출 조건)을 설정하고, 상기 조건하에서 촬영된 화상을 사용해서 HDR화상을 생성한다. 이때, 노출 조건의 변화에 따라, 정지 물체의 영역에서 생성된 블로운 아웃 하이라이트 화소나 새도우 디테일 손실 화소의 변화를 이동 물체 영역으로서 검출하도록 관리되면, 결정된 노출 조건은, 엄밀한 이동 물체에 대한 적합한 노출 조건으로부터 벗어나기도 한다.
1개의 영역에 대해서 적정 노출 조건을 결정할 경우, 제어부(101)는 예를 들면 도 5에 나타나 있는 바와 같이, 상기 영역의 계조 분포로부터, 계조 분포의 가중 중심Ig을 산출한다. 그리고, 제어부(101)는, 계조 분포의 가중 중심Ig가, 소정의 계조 범위의 중앙치 근방이 되는 노출 조건을 결정한다. 즉, 예를 들면, 정지 물체의 영역에 포함된 블로운 아웃 하이라이트 화소의 변화를 고려해서 결정되는 노출 조건은, 계조 분포의 가중 중심이 고 계조측에 위치되기 때문에 이동 물체만을 고려하는 경우보다도 낮은 노출량을 갖는다. 즉, 이렇게 결정한 노출 조건하에서 촬상한 화상의 화소를 이동 물체 영역의 화소로서 할당할 경우, 낮은 노출량으로 인해 상기 영역에 새도우 디테일 손실 화소가 포함되기도 한다. 이 때문에, 본 실시예에서는, 노출 조건이 다른 복수의 예비촬영 화상을 사용해서 이동 물체 영역을 검출하는 경우에는, 각각의 노출 조건에 있어서 블로운 아웃 하이라이트 화소 및 새도우 디테일 손실 화소의 변화가 없거나, 혹은 변화량이 적은 예비촬영 화상을 사용한다.
또한, 본 실시예에서는 동일한 노출 조건하에서 촬상된 2개의 예비촬영 화상을 사용하여, 이동 물체 영역을 특정한다는 가정하에서 설명한다. 그렇지만, 본 발명은 상기 특정 이동 물체 특정방법에 한정되지 않는다. 예를 들면, 이동 물체 영역을 결정하기 위해 3개 이상의 예비촬영 화상을 사용하여도 되고, 복수의 예비촬영 화상은 다른 노출 조건하에서 촬상된 화상이어도 된다. 다른 노출 조건하에서 촬상된 화상을 사용할 경우, 각 화상은 상기한 바와 같이 정지 물체의 영역에 있어서 블로운 아웃 하이라이트 화소와 새도우 디테일 손실 화소의 변화를 일으키지 않는 노출 조건하에서 촬상하는 것이 바람직하다.
이동 물체 영역을 특정할 때, 노출 조건에 따라 블로운 아웃 하이라이트 영역 혹은 새도우 디테일 손실 영역이 이동 물체 영역을 포함하는 경우도 있다. 이 때문에, 제어부(101)는, 저노출측의 노출 조건 및 고노출측의 노출 조건등, 다른 노출 조건하에서 각각 취득한 복수의 예비촬영 화상으로부터 특정한 이동 물체 영역을 통합하여서, 최종적인 이동 물체 영역을 결정해도 좋다.
복수의 이동 물체 영역은, 화각내의 영역마다 특정되어도 된다. 복수로 분할해서 특정된 이동 물체 영역은, 이동 물체에 대응한 화소의 그룹화에 의해 얻어질 수 있다. 보다 구체적으로, 제어부(101)는, 화소에 관한 좌표정보를 기준으로서, 화소의 휘도값 및 색정보를 추가정보로서 사용하여 그룹화를 실행한다.
이하, 이동 물체에 대응한 화소의 그룹화에 대해서, 도 6a～6c를 참조하여 설명한다. 예를 들면, 본 단계에서 검출된 이동 물체에 대응하는 화소가 도 6a와 같이 분포되어 있는 경우, 동일한 조건에 잘 맞는 이동 물체에 대응한 화소를 그룹화하기 위해서, 제어부(101)는 영역성장법을 사용해서 그룹화에 관련된 처리를 실행하여도 된다.
영역성장법은, 처음에는 잘게 (예를 들면, 화소단위로) 분할된 요소를, 어떤 평가값에 근거하여, 그룹의 평가 값과 각 요소의 평가 값간의 차이가 소정의 역치이하의 경우에는 합체하고, 그 이외는 합체하지 않는, 일반적인 화상처리의 하나다. 그 영역성장법은, 예를 들면 "신편 화상해석 핸드북, 타카기 미키오, 시모다 하루히사, 동경 대학 출판회"에 기재되어 있다.
상기 이동 물체 영역의 특정처리가 완료한 후, 제어부(101)는 처리를 단계S302에 이행한다.
단계S302에서, 제어부(101)는, HDR화상의 생성에 필요한 화상의 수(2이상), 및 이들 화상의 노출량(노출 조건)을 결정하여, RAM(lO3)에 기억시킨다. HDR 화상의 생성에 필요한 화상의 수, 및 각 화상의 노출량의 정보는, 예를 들면 미리 설정되어서 ROM(lO2)에 기억되어도 되거나, 피사체의 측광처리의 결과에 따라 결정되어도 된다. 본 실시예에서는, 제어부(101)는, 고노출측의 노출 조건 및 저노출측의 노출 조건하에서 촬상부(107)에 예비촬영을 실행하게 하고, 얻어진 화상으로부터 피사체의 최고휘도부 및 최저휘도부를 특정한다. 그리고, 제어부(101)는, 최고휘도값 및 최저휘도값으로부터 산출된 휘도범위와, 촬상소자의 다이나믹 레인지로부터 HDR화상의 생성에 필요한 화상의 수를 결정한다. 한층 더, 제어부(101)는, 피사체의 최고휘도부를 블로운 아웃 하이라이트 시키지 않는 노출 부족량EUNDER, 및 최저휘도부를 새도우 디테일 손실을 일으키지 못하게 하는 과다 노출량EOVER을 포함한, 각 노출 화상의 노출 조건을 결정한다. HDR 화상의 생성에 필요한 화상의 수가 3이상일 경우, 각 화상의 노출 조건은, 예를 들면 EUNDER와 EOVER 사이의 값을 균등 배분하여서 결정되어도 된다.
본 실시예의 상기 설명에서는, 이때 HDR화상의 생성에 필요한 화상의 수를 피사체의 휘도분포에 따라 결정한다. 이와는 달리, HDR 화상의 생성에 사용하는 화상의 수는 고정 값이라고 가정한다.
단계S303에서, 제어부(101)는, 이동 물체 영역에 관한 적정한 노출 조건을 결정하여, RAM(lO3)에 기억시킨다. 도 4c와 같이, 이동 물체 영역이 검출되었을 경우, 제어부(101)는, 상기 이동 물체 영역에 대응한 도 7에 나타낸 측광영역에 대해서 (도면에 나타내지 않은) 측광부에 측광을 행하게 하고, 그 얻어진 측광결과를 사용해서 적정 노출 조건을 결정한다. 적정 노출 조건의 결정 방법으로서, 예를 들면 도 5를 참조해서 상기한 바와 같이, 측광결과로부터 얻어진 이동 물체 영역의 계조분포에 따라 적절한 노출 조건을 결정하여도 된다.
단계S304에서, 제어부(101)는, (필요한 화상의 수가 단계S302에서 결정되고 RAM(lO3)에 기억됨) HDR화상의 생성에 사용된 2이상의 화상에 관한 노출 조건 중, 1개의 노출 조건을 단계S303에서 결정한 적정 노출 조건으로 변경한다. 보다 구체적으로는, 제어부(101)는, HDR화상의 생성에 사용하는 2이상의 화상에 관한 노출 조건 중, 적정 노출 조건에 가장 노출량이 가까운 노출 조건을 특정하고, 상기 특정된 노출 조건을 상기 적정 노출 조건으로 변경한다.
즉, 본 실시예에서는, HDR화상의 생성에 있어서, 적어도 이동 물체 영역에 적정 노출 조건하에서 촬영된 1개의 화상의 화소를 할당하므로, HDR화상의 생성에 사용된 2이상의 화상의 노출 조건은 적정 노출 조건을 포함할 필요가 있다. 즉, 단계S302에서는 피사체의 전체에 관한 휘도 분포에 따라 HDR화상의 생성에 사용된 2이상의 화상의 노출 조건을 결정하므로, 상기 노출 조건에는 적정 노출 조건이 포함되어 있지 않을 가능성이 있고, 이들 노출 조건 중 하나는, 본 단계에 있어서 적정 노출 조건으로 변경된다.
이하, 예를 들면, HDR화상의 생성에 필요한 화상의 수가 2이며, 노출량EUNDER 및 EOVER와, 적정 노출 조건EMV가 도 8a에 나타낸 관계를 갖는 경우를 생각한다. 이때, 노출량 EUNDER이 적정 노출 조건EMV에 가장 가깝기 때문에, 제어부(101)는, 도 8b에 나타나 있는 바와 같이, HDR화상의 생성에 필요한 2개의 화상의 노출 조건을 적정 노출 조건EMV와 노출량EOVER에 변경한다. 마찬가지로, HDR화상의 생성에 필요한 화상의 수가 3이며, 노출 부족량EUNDER, 중간계조 화상의 노출량EMID, 과다 노출량EOVER, 및 적정 노출 조건EMV가 도 8c에 나타낸 관계를 갖는 경우를 생각한다. 이때, 노출량EMID가 적정 노출 조건EMV에 가장 가깝기 때문에, 제어부(101)는 도 8d에 나타나 있는 바와 같이, HDR화상의 생성에 필요한 3개의 화상의 노출 조건을 적정 노출 조건EMV와 노출량EUNDER 및 EOVER에 변경한다.
이렇게, 본 HDR화상 생성처리에서는, 단계S301 내지 단계S304에 있어서, 피사체의 이동 물체 영역을 검출하고, 상기 이동 물체 영역에 관한 적정 노출 조건뿐만 아니라 HDR화상의 생성에 필요한 화상의 노출 조건을 결정한다. 또한, 상술한 것처럼, 단계S301 및 단계S302에서는, 예비촬영 화상을 촬상하고, 제어부(101)는 그 예비촬영 화상에 의거하여 이동 물체 영역 및 노출 조건을 결정한다. 그렇지만, 각각의 단계에 있어서 예비촬영 동작을 실행하는 경우, 실제로 HDR화상의 생성에 사용된 화상의 촬영(본 촬영)까지 필요로 하는 시간이 길어지므로, 단계S301 내지 단계S303의 처리는 병행되어서 실행되어도 된다.
예를 들면, 도 9에 나타나 있는 바와 같이, 제어부(101)는 노출 제어부(109)에 조리개(105), 기계적 셔터(106), 촬상부(107), 및 사전처리부(108)를 제어시켜, 본 촬영까지 저노출 화상(901), 고노출 화상(902), 및 저노출 화상(903)을 시계열순으로 취득한다. 제어부(101)는, 고노출 화상(902)이 취득되었을 때에 최저휘도부를 특정하여, 단계S302에 있어서 노출량EOVER를 결정하여도 된다. 또한, 제어부(101)는, 저노출 화상(903)(저노출 화상(901)과 동일한 노출 조건)이 취득되었을 때에 최고휘도부를 특정해서 단계S302에 있어서의 노출량EUNDER을 결정하고, 한층 더 HDR화상의 생성에 필요한 다른 화상의 노출 조건을 결정하여도 된다. 이때, 제어부(101)는, 상기 처리와 병행되어서 저노출 화상901과 저노출 화상903을 비교해서 단계S301에 있어서의 이동 물체 영역을 특정하고, 또한, 단계S303의 적정 노출 조건을 결정하여도 된다. 그리고, 단계S304에서 HDR화상의 생성에 필요한 화상의 노출 조건 중 1개의 노출 조건을 적정 노출 조건으로 변경한 후, 제어부(101)는 노출 제어부(109)에 노출 제어를 행하게 하고, 단계S305 이후의 본촬영 처리 및 HDR화상의 합성 처리를 실행하여도 된다.
이와 같이 병행 처리를 함으로써, 본 촬영동작까지 필요로 하는 시간을 단축할 수 있다. 예를 들면, 바로 전의 HDR화상의 생성을 행하는 촬영동작이 행해졌을 경우, 본 촬영동작까지 필요로 하는 시간을 한층 더 단축할 수도 있다. 상기 바로 전의 HDR화상의 생성처리는, 소정의 시간내에서 실행되면 동일한 피사체에 대해서 행해지고 있다고 생각된다. 이 때문에, 제어부(101)는, 예를 들면 단계S301 혹은 단계S303에 있어서, 이동 물체 영역 혹은 적정 노출 조건의 정보로서 상기 바로 전의 HDR화상의 생성에 사용된 이동 물체 영역 혹은 적정 노출 조건을 사용하여도 된다. 이 경우, 이동 물체 영역 혹은 적정 노출 조건을 나타내는 정보는 RAM(lO3)에 기억되어도 된다.
단계S305에서, 제어부(101)는, RAM(lO3)에 기억된, (단계S304에 있어서) 상기 변경 후의 노출 조건하에서 노출 제어부(109)에 조리개(105), 기계적 셔터(106), 촬상부(107), 및 사전처리부(108)를 제어시켜서, 시분할 촬영된 복수의 화상을 취득한다. 또한, 시분할 촬영된, 노출된 다른 복수의 화상은, 사전처리부(108) 및 화상처리부(110)에 있어서의 소정의 처리가 이루어져 YCC형식의 화상으로 변환되고, 그 변환된 화상은 화상 메모리(111)에 기억된다.
또한, 본 실시예의 설명에서는, 간단함을 기하기 위해서, 도 10에 나타나 있는 바와 같이, 3장의 노출된 다른 화상(1001, 1002, 1003)을 사용해서 HDR화상을 생성한다. 그렇지만, 본 발명은 이러한 특정 실시예에 한정되지 않고, 2장 이상의 노출된 다른 화상을 사용한 생성에 적용 가능하다. 화상(1001～1003)의 노출량은, 화상 1001, 화상 1002, 화상 1003의 순서로 감소되고, 이들 화상은 이와 동일한 순서로 시계열로 촬영되는 것이라고 가정한다. 이하의 설명에서는, 이것들의 화상을, 고노출 화상(1001), 중간노출 화상(1002) 및 저노출 화상(1003)이라고 한다. 각 화상에는, 피사체로서, 정지 물체(1010 및 1011)와 이동 물체(1012 및 1013)가 포함된다. 그 복수의 화상의 촬영동작동안, 이동 물체(1012 및 1013)는, 디지털 카메라(100)에 대하여 우측 방향으로 움직이고 있다.
디지털 카메라(100)가 (도면에 나타내지 않은) 적어도 광학식 또는 전자식의 방진기능과 유사한 레지스트레이션 기능을 갖는 경우, 이 기능은 단계S305에서 얻어진 노출된 다른 복수의 화상에 적용된다.
단계S306에서, 제어부(101)는, 화상 메모리(111)에 기억된 복수의 화상간에서, 동일한 피사체에 관련되는 화소값을 균일하게 하기 위해서, 화상처리부(110)에 계조 레벨 조정 처리를 행하게 한다. 보다 구체적으로는, 화상처리부(110)는, 화상 메모리(111)에 기억된 복수의 화상의 각각에 대하여, 화상의 최장 노출 시간을 기준으로 한 그 화상의 노출 시간의 비율의 역수를 승산하여서, 계조 레벨 조정을 행한다. 또한, 제어부(101)는, 화상처리부(110)에 그 레벨 조정된 화상을 화상 메모리(111)에 출력시켜, 기억시킨다.
도 11은, 계조 레벨 조정 후의 각 화상의 계조 범위와, 복수의 화상을 사용해서 생성된 HDR화상으로 표현 가능한 계조 범위를 나타낸다. 도 11에서는, 계조 범위로서 화상의 휘도Y성분의 화소값을 사용하고 있다. 또한, 레벨 조정된 각 화상에 있어서, 블로운 아웃 하이라이트의 휘도 역치HLV, 새도우 디테일 손실의 휘도 역치LLV는 참조 부호를 사용해서 표현되고, 각각 a는 고노출 화상(1001); b는 중간노출 화상(1002); 및 c는 저노출 화상(1003)에 각각 대응한다.
또한, 본 실시예에 있어서, 화소값은 화소의 계조 데이터를 나타낸다. 화소가 색화소인 경우에는, 그 화소값은 색공간의 성분의 수의 구성요소를 가지는 벡터량으로 표현된다. 즉, 휘도값등의 색공간의 특정 성분의 값은, 스칼라량을 표현한다.
단계S307에서, 제어부(101)는, 화상 메모리(111)에 기억된 레벨 조정된 복수의 화상에 있어서 피사체의 변화에 대응한 화소(움직임 화소), 즉, 이동 물체가 존재하는 영역과 새도우 디테일 손실 혹은 블로운 아웃 하이라이트의 상태의 변화에 대응하는 화소들을 검출한다(제2의 특정). 보다 구체적으로는, 제어부(101)는, 화상 메모리(111)에 기억된 레벨 조정된 복수의 화상 중 2장을 판독하고, 동일 좌표 위치의 화소에 관련된 화소값간의 차분을 산출한다. 그 후, 그 화소값간의 차분이 미리 정해진 역치이상일 경우에, 제어부(101)는, 해당 화소를 움직임 화소로서 검출한다. 즉, 본 단계에서 검출된 움직임 화소는, 단계S301에서 특정한 이동 물체 영역과는 달리, 노출 조건에 따라 변화되는 블로운 아웃 하이라이트 영역 및 새도우 디테일 손실 영역을 포함한다. 본 단계에서 검출된 움직임 화소는, HDR화상을 생성하는데 촬상된 화상 중, 적정 노출 조건하에서 촬상된 화상의 화소를 할당시키는 화소를 나타낸다.
예를 들면, 레벨 조정된 고노출 화상(1001)을 기준으로서, 중간노출 화상(1002) 및 저노출 화상(1003)에 대해서 휘도값의 차분을 산출할 경우, 3장의 화상의 화소들이 움직임 화소인지의 여부를 나타내는 논리형 변수BMOV는, 다음 논리식에 의해 판단된다:
Figure pat00001
...(1)
여기서, F는 화소의 휘도값간의 차분ΔY가, 이들 화소가 움직임 화소인지를 판단하기 위해서 미리 결정된 역치ThMOV를 초과할 것인가 아닌가를 판단하는데 필요한 함수이며, 다음과 같이 나타낸다:
Figure pat00002
또한, 본 실시예에서는 화상 메모리(111)에 기억된 YCC화상의 화소값의 휘도성분을 사용해서 움직임 화소를 검출한다는 가정하에서 아래의 설명을 행하겠다. 그렇지만, 본 발명은 이러한 특정 실시예에 한정되지 않는다. 예를 들면, 화상 메모리(111)에 기억된 화상이 RGB화상이나 RAW화상인 경우에는, 화소가 움직임 화소인지의 여부를, 각 화소값을 구성하는 각 색성분을 각각 나타내는 벡터의 절대값, 또는 특정한 색성분을 사용해서 판단해도 된다.
또한, 본 실시예에서는 HDR화상을 합성하기 위해서 3장의 화상을 사용한다는 가정하에서 아래의 설명을 행한다. 3장의 화상 이외의 화상을 사용해서 HDR화상을 합성하는 경우에는, 논리식(1)은 화상의 매수에 의존해서 변화된다. 동일 좌표 위치에서의 화소가 움직임 화소인지의 여부는, 적어도 ((합성에 사용된 화상의 수)-1)의 차분 연산을 필요로 하면서 판단된다. 논리식의 항의 수는 차분 연산의 수와 같고, 모든 항이 OR조건하에서 결합된 논리식을 식(1) 대신에 사용할 수 있다. 또한, 본 실시예에서는, 1개의 화상을 기준으로서, 해당 화상과 또 다른 화상간의 휘도값의 차분을 산출해서 논리식을 판단한다는 가정하에서 이하의 설명을 행한다. 이와는 달리, 어떠한 기준 화상도 설정하지 않고 시계열로 연속하는 2개의 화상간의 휘도값의 차분을 산출해도 된다.
도 10에 나타낸 고노출 화상(1001), 중간노출 화상(1002), 및 저노출 화상(1003)의 사이에서 움직임 화소를 검출한 후, 화상의 각 화소는, 예를 들면 도 12에 나타낸 것처럼, 분류된다. 도 12에서는, 움직임 화소는 채워진 원으로 나타내고, 움직임 화소에 해당하지 않는 화소는 개방 원으로 나타낸다.
단계S308에서, 제어부(101)는 화상처리부(110)를 제어하여, 다이나믹 레인지를 확장한 HDR화상을 생성시킨다. 보다 구체적으로는, 제어부(101)는, 단계S307에서 검출된 움직임 화소의 정보를 화상처리부(110)에 전송하고, 화상처리부(110)를 제어하여 움직임 화소와 그 이외의 화소에 따라 처리를 바꾸어서 HDR화상을 생성시킨다. 화상처리부(110)는, 입력된 움직임 화소의 정보에 따라 생성되는 HDR화상의 각각의 화소의 화소값을 다음과 같이 생성한다.
움직임 화소로서 판정된 각 화소에 대해서는, 화상처리부(110)는 단계S303에서 결정한 적정 노출 조건하에서, 단계S305에서 촬상된 화상에 있어서의 동일 좌표 위치에서의 화소값을 그대로 대입한다.
그 움직임 화소이외의 화소에 대해서는, 화상처리부(110)는, 단계S307에서 이들 화소가 움직임 화소로서 판정되지 않고 있다, 즉 노출된 다른 복수의 화상의 모두에 있어서, 이들 화소값의 변화가 역치 범위내에 포함되므로, 어느 쪽의 화상의 화소값을 대입해도 된다. 또한, 촬상소자의 성능이 나쁜 경우, 또는 사전처리부(108)가 전기에 영향을 받기 쉬운 경우에는, 화소값에 노이즈가 혼입되기도 한다. 이 때문에, 움직임 화소이외의 화소는, 노출된 다른 화상들의 모두 혹은 일부의 화상의 화소값의 가중 평균치이어도 된다. 저노출 화상은, 레벨 조정 처리에 있어서 상대적으로 큰 게인(gain)이 곱해지고, 노이즈나 A/D변환의 계조 레벨의 유한성에 의한 양자오차의 영향을 받기 쉽다. 이 때문에, 예를 들면 가중 평균에서는, 저노출 화상에 대한 보다 작은 가중계수를 설정할 수 있다.
본 단계에서 화상처리부(110)에 의해 생성된 HDR화상은, 화상 메모리(111)에 기억되는 것으로 한다.
단계S309에서, 제어부(101)는, 단계S308에서 생성된 HDR화상에 대하여, 화상처리부(110)에 톤 매핑 처리 혹은 레인지 압축 처리를 적용시켜, 최종적으로 출력되는 HDR화상을 생성한다.
또한, 상기 레인지 압축 처리는, 출력 화상이 원하는 비트 심도보다도 클 경우에 비트 심도를 일치시키는데 필요한 처리다.
톤 매핑 처리는, 예를 들면 화상중의 암영역의 계조 레벨을 상승시키고 명영역의 계조 레벨을 압축시킴으로써 원하는 계조 표현이 되는데 필요한 보정처리다. HDR화상의 생성에 있어서, HDR화상 처리 후에도 남는 블로운 아웃 하이라이트와 새도우 디테일 손실 계조의 화소를 보기 어렵게 하도록 톤 매핑 처리를 적용하는 것이 효과적이다.
본 실시예에서는, 움직임 화소로서 검출된 화소에 대해서는, HDR화상의 생성시에 1개의 노출 화상의 화소값을 할당한다. 이 때문에, 해당 노출 화상의 블로운 아웃 하이라이트 및 새도우 디테일 손실 화소가 계조 표현의 최대치 혹은 최소치에 가깝도록 톤 매핑 처리를 적용할 수 있다. 이렇게 하여, 최종적으로 출력되는 HDR화상에 있어서, 블로운 아웃 하이라이트 및 새도우 디테일 손실 화소를 보기 어렵게 할 수 있다.
또한, HDR화상의 생성시에, 움직임 화소로서 검출된 화소에 할당시킨 노출 화상이 가지는 블로운 아웃 하이라이트 화소의 수와 새도우 디테일 손실 화소의 수에 따라, 톤 매핑 처리에서 매핑되는 다른 계조 변환 곡선을 사용하여도 된다.
예를 들면, HDR화상의 생성시에, 움직임 화소로서 검출된 화소에 할당되는 노출 화상에 있어서, 블로운 아웃 하이라이트 화소보다 새도우 디테일 손실 화소가 많은 경우에는, 도 13에 나타낸 변환 곡선(1301)에 이들 화소를 매핑하도록 처리를 행할 수 있다. 도 13에서, 가로축이 톤 매핑 대상화상의 계조값을 나타내고, 세로축이 톤 매핑후의 계조값을 나타낸다. 이들 축은 우측 방향 혹은 위쪽 방향으로 보다 높은 계조 레벨을 표현한다. 도 13에 있어서, 대각선 위에 나타낸 파선 1304는 톤 매핑에 의한 계조 보정을 건너뛸 경우에 사용된 계조 변환 곡선을 나타낸다. 즉, 변환 곡선 1301은, 노출 화상에 있어서의 새도우 디테일 손실 화소를 보기 어렵게 하기 위해서, 새도우 디테일 손실 화소의 계조값이 저계조끝에 가깝게 하도록 설계되고, 새도우 디테일 손실 화소이상의 화소의 계조 표현의 폭을 확장하도록 설계된다.
반대로, 노출 화상에 있어서 새도우 디테일 손실 화소에 대하여 블로운 아웃 하이라이트 화소의 수가 많은 경우에는, 이들 화소는 변환곡선(1302)에 매핑된다. 피사체의 다이나믹 레인지가 넓은 경우와, 노출 화상이 새도우 디테일 손실 화소와 블로운 아웃 하이라이트 화소의 양쪽이 같은 비율로 존재하는 경우에는, 변환 곡선(1303)이 사용된다. 이에 따라, 새도우 디테일 손실 화소의 계조값이 저계조끝에 가깝게 되고, 블로운 아웃 하이라이트 화소의 계조값이 높은 계조 끝에 가깝게 되므로, 중간 계조 표현 범위는 넓힐 수 있고, 새도우 디테일 손실 화소 및 블로운 아웃 하이라이트 화소를 보기 어렵게 할 수 있다.
이렇게, 톤 매핑 처리에 있어서 적용하는 계조변환 곡선을 동적으로 변화시킴으로써, 최종적으로 출력되는 HDR화상에 있어서, 새도우 디테일 손실 화소 및 블로운 아웃 하이라이트 화소를 보기 어렵게 할 수 있다.
본 단계의 처리는, 단계S308에서 생성된 HDR화상의 비트 심도가 최종적으로 출력되는 HDR화상의 비트 심도와 동일한 경우, 혹은 계조특성이 원하는 특성을 이미 나타낸 경우에, 실행될 필요가 없다.
단계S310에서, 제어부(101)는, 최종적으로 출력되는 HDR화상을, 미리 정해진 기록 형식으로 변환하기 위해서 화상처리부(110)에 있어서 소정의 부호화처리를 적용시킨 후, 기록 매체I/F부(114)를 거쳐서 기록 매체(115)에 출력하고, 그 처리된 화상을 기록시켜서, 본 처리를 종료한다. 또한, 제어부(101)는, 초점거리와 조리개 값등의 노출 제어 정보를 메타데이터로서 HDR화상과 동시에 기록할 경우에는, 필요한 촬영 설정 정보와 상태정보를 취득하고, 기록 매체(115)에 기록시킨다.
또한, 본 실시예에서는, 최종적으로 출력되는 HDR화상을 기록하는 경우를 설명했다. 그렇지만, HDR 화상에 대하여, 한층 더 계조/색조/콘트라스트 보정, 엣지 강조 등의 화상처리를 적용하는 경우에는, 해당 HDR화상이 화상 메모리(111)에 기억되어도 된다.
본 실시예는, 삼각을 사용해서 촬영된 화상과 같이, 촬영 씬(scene)에 포함된, 정지 피사체의 화상내의 위치가 변화되지 않는 복수의 화상을 사용해서 HDR화상을 생성하는 경우를 설명했다. 그렇지만, 본 발명은 이에 한정되지 않는다. 촬영된 화상이 카메라 흔들림 등의 영향으로 인해, 촬영 씬에 포함된, 정지하고 있는 피사체의 화상내의 위치가 변화되는 경우에는, 공지의 방법에 의해 화상간의 위치 정렬을 실행한 후에, 피사체의 변화에 대응한 화소를 판단해도 된다. 카메라 흔들림의 영향에 대해서는, 예를 들면 도 1에 파선으로 나타낸 자세변화 검출부(120)를 사용하여, 각 화상을 촬상시에 디지털 카메라(100)의 자세정보를 검출하고, 화상의 비교시 혹은 합성시에 그 영향을 보정하여도 된다.
본 실시예는, 시분할로 촬영된 노출된 다른 복수의 화상을 사용하는 경우를 설명했다. 그렇지만, 본 발명은, 동일한 촬영 씬의 화상(예를 들면, 촬영날짜가 다른 동일 시각의 화상)을 사용하여 HDR화상을 생성하는 경우에도 적용 가능하다.
이상에서 설명한 바와 같이, 본 실시예의 촬상장치는, 노출된 다른 복수의 화상을 합성해서 계조 범위를 확장한 화상에 있어서의 화상의 불연속을 회피할 수 있다. 보다 구체적으로는, 촬상장치는, 피사체의 전체에 있어서의 화소값의 분포로부터, HDR화상의 생성에 사용된 화상의 수(2이상의 화상), 및 상기 2이상의 화상의 각각에 대한 노출 조건을 결정한다. 시분할로 촬상된 복수의 화상으로부터, 화상내에 포함된 이동 물체 영역을 특정한 후, 상기 이동 물체 영역에 대응하는 위치에 관한 적정 노출 조건을 결정하고, 2이상의 화상의 노출 조건 중 1개의 노출 조건을 상기 적정 노출 조건으로 변경한다. 그리고, 촬상장치는, 변경된 적정 노출 조건을 포함한, 상기 결정된 노출 조건하에서 촬상된 2이상의 화상에 대해서, 계조 레벨을 조정하고, 2이상의 화상간의 대응한 화소값의 차분이 역치이상인 영역을 특정한다. 그리고, 적정 노출 조건하에서 촬상된 화상의 화소를, 화소값의 차분이 역치이상인 특정 영역의 화소로서 사용하고, 다른 화소에 관해서는 2이상의 화상을 합성해서, HDR화상을 생성한다.
이렇게 함으로써, 이동 물체에 대응한 영역이 블로운 아웃 하이라이트 영역 혹은 새도우 디테일 손실 영역이 포함되는 경우에도, 화상의 불연속을 피할 수 있고, 이들 영역의 화소를 적합한 노출 조건하에서 촬상된 화소로서 포함하는 HDR화상을 생성할 수 있다.
<기타의 실시예>
또한, 본 발명의 국면들은, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 디바이스들)의 컴퓨터에 의해서, 또한, 상기 시스템 또는 상기 장치의 컴퓨터에 의해 수행된 단계들, 예를 들면, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 방법에 의해, 실현될 수도 있다. 이를 위해, 상기 프로그램은, 예를 들면, 네트워크를 통해 또는, 여러 가지 형태의 메모리 디바이스의 기록매체(예를 들면, 컴퓨터 판독 가능한 매체)로부터, 상기 컴퓨터에 제공된다.
본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

Claims (9)

  1. 복수의 피합성 화상을 합성해서 다이나믹 레인지 확장 화상을 생성하는 촬상장치로서,
    피사체를 촬상해서 얻어진 화상을 출력하는 촬상수단;
    상기 피사체의 화소값의 분포로부터, 다이나믹 레인지 확장 화상의 생성에 사용된 상기 피합성 화상의 수, 및 상기 피합성 화상의 각각에 관한 노출 조건을 결정하는 결정 수단;
    상기 촬상수단으로부터 출력된 복수의 예비촬영 화상에 대해서 이동 물체 영역을 특정하는 제1의 특정 수단;
    상기 제1의 특정 수단에 의해 특정된 이동 물체 영역에 대응하는 피사체에 관한 적정 노출 조건을 결정하고, 상기 결정 수단에 의해 결정된 상기 피합성 화상들의 노출 조건 중 1개의 노출 조건을 상기 적정 노출 조건으로 변경하는 변경 수단;
    상기 적정 노출 조건을 포함하는 상기 피합성 화상들의 상기 노출 조건하에서 상기 촬상수단에 의해 촬상된 복수의 상기 피합성 화상에 대해서 이동 물체 영역을 특정하는 제2의 특정 수단; 및
    복수의 상기 피합성 화상을 합성해서 상기 다이나믹 레인지 확장 화상을 생성하는 생성 수단이며, 상기 적정 노출 조건하에서 촬상된 상기 피합성 화상의 화소를, 상기 제2의 특정 수단에 의해 특정된 이동 물체 영역의 화소로서 사용하는 생성 수단을 구비한, 촬상장치.
  2. 제 1 항에 있어서,
    상기 변경 수단은, 상기 결정 수단에 의해 결정된 상기 피합성 화상들의 노출 조건 중, 상기 적정 노출 조건과 노출량이 가장 가까운 노출 조건을, 상기 적정 노출 조건으로 변경하는, 촬상장치.
  3. 제 1 항에 있어서,
    상기 변경 수단은, 상기 제1의 특정 수단에 의해 특정된 이동 물체 영역에 블로운 아웃 하이라이트(blown-out highlight) 화소가 포함되지 않는 노출량의 범위 중 가장 높은 노출량에 의거하여 상기 적정 노출 조건을 결정하는, 촬상장치.
  4. 제 1 항에 있어서,
    상기 제1의 특정 수단은, 상기 생성 수단에 의해 이미 생성된 상기 다이나믹 레인지 확장 화상의 생성에 사용한 이동 물체 영역을, 상기 복수의 예비촬영 화상에 관한 상기 이동 물체 영역으로서 특정하는, 촬상장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 변경 수단은, 상기 피합성 피사체 화상의 노출 조건 중 1개의 노출 조건을, 상기 생성 수단에 의해 이미 생성된 상기 다이나믹 레인지 확장 화상에 대한 상기 적정 노출 조건으로 변경하는, 촬상장치.
  6. 제 1 항에 있어서,
    상기 제1의 특정 수단은, 동일한 노출 조건하에서, 시분할로 촬상된 상기 복수의 예비촬영 화상의 화소값간의 차분을 사용해서 상기 이동 물체 영역을 특정하는, 촬상장치.
  7. 제 1 항에 있어서,
    상기 제2의 특정 수단은, 복수의 상기 피합성 화상에 대해서 계조 레벨을 조정하고, 복수의 상기 피합성 화상의 화소값간의 차분이 역치이상인 영역을 상기 이동 물체 영역으로서 특정하는, 촬상장치.
  8. 피사체를 촬상해서 얻어진 화상을 출력하는 촬상 수단을 구비하고, 복수의 피합성 화상을 합성해서 다이나믹 레인지 확장 화상을 생성하는 촬상장치의 제어 방법으로서,
    상기 피사체의 화소값의 분포로부터, 다이나믹 레인지 확장 화상의 생성에 사용하는 상기 피합성 화상의 수, 및 상기 피합성 화상의 각각에 대한 노출 조건을 결정하는 결정 단계;
    상기 촬상 수단으로부터 출력된 복수의 예비촬영 화상에 대해서 이동 물체 영역을 특정하는 제1의 특정 단계;
    상기 제1의 특정 단계에서 특정된 상기 이동 물체 영역에 대응하는 피사체에 대해서 적정 노출 조건을 결정하고, 상기 결정 단계에서 결정된 상기 피합성 화상들의 노출 조건 중 1개의 노출 조건을 상기 적정 노출 조건으로 변경하는 변경 단계;
    상기 적정 노출 조건을 포함하는 상기 피합성 화상들의 노출 조건하에서 상기 촬상 수단에 의해 촬상된 복수의 상기 피합성 화상에 대해서 이동 물체 영역을 특정하는 제2의 특정 단계; 및
    복수의 상기 피합성 화상을 합성해서 상기 다이나믹 레인지 확장 화상을 생성하는 생성 단계이며, 상기 적정 노출 조건하에서 촬상된 상기 피합성 화상의 화소를, 상기 제2의 특정 단계에서 특정된 이동 물체 영역의 화소로서 사용하는 생성 단계를 포함하는, 촬상장치의 제어 방법.
  9. 컴퓨터에, 청구항 8의 촬상장치의 제어 방법의 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020120124657A 2011-11-11 2012-11-06 촬상장치, 그 제어 방법, 및 기록 매체 KR101549529B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2011-247962 2011-11-11
JP2011247962A JP5898466B2 (ja) 2011-11-11 2011-11-11 撮像装置、その制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
KR20130052515A true KR20130052515A (ko) 2013-05-22
KR101549529B1 KR101549529B1 (ko) 2015-09-02

Family

ID=48280285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120124657A KR101549529B1 (ko) 2011-11-11 2012-11-06 촬상장치, 그 제어 방법, 및 기록 매체

Country Status (5)

Country Link
US (1) US9148578B2 (ko)
JP (1) JP5898466B2 (ko)
KR (1) KR101549529B1 (ko)
CN (1) CN103108134B (ko)
RU (1) RU2528590C2 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US9973677B2 (en) * 2013-10-14 2018-05-15 Qualcomm Incorporated Refocusable images
US20150116525A1 (en) * 2013-10-31 2015-04-30 Himax Imaging Limited Method for generating high dynamic range images
CN104937921B (zh) * 2013-12-06 2019-04-26 华为终端（东莞）有限公司 一种终端及图像处理方法、图像采集方法
CN104917973B (zh) * 2014-03-11 2019-03-05 宏碁股份有限公司 动态曝光调整方法及其电子装置
EP2963908B1 (en) * 2014-07-01 2020-10-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium
TWI543615B (zh) * 2014-07-17 2016-07-21 華碩電腦股份有限公司 影像處理方法及其電子裝置
JP6536012B2 (ja) * 2014-11-05 2019-07-03 コニカミノルタ株式会社 画像生成装置及び画像生成制御プログラム並びに画像生成制御方法
EP3046319A1 (en) * 2015-01-19 2016-07-20 Thomson Licensing Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion
JP6587421B2 (ja) * 2015-05-25 2019-10-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
KR20160149842A (ko) * 2015-06-19 2016-12-28 삼성전자주식회사 영상 처리 방법 및 그 장치
US10129477B2 (en) * 2015-08-19 2018-11-13 Google Llc Smart image sensor having integrated memory and processor
CN105141841B (zh) * 2015-08-25 2018-05-08 上海兆芯集成电路有限公司 摄像设备及其方法
JP6604384B2 (ja) 2015-09-30 2019-11-13 株式会社ニコン 撮像装置
US20180302552A1 (en) * 2015-09-30 2018-10-18 Nikon Corporation Image capturing device and image processing device
CN106961557B (zh) 2016-01-08 2020-01-31 中强光电股份有限公司 光场相机及其影像处理方法
US9787909B1 (en) * 2016-03-31 2017-10-10 Stmicroelectronics (Research & Development) Limited Controlling signal-to-noise ratio in high dynamic range automatic exposure control imaging
JP6791962B2 (ja) * 2016-07-01 2020-11-25 マクセル株式会社 撮像装置
CN109413322B (zh) * 2017-08-15 2022-04-19 中兴通讯股份有限公司 一种调节照片参数的方法、装置和移动终端
CN107509044B (zh) * 2017-08-31 2020-08-18 Oppo广东移动通信有限公司 图像合成方法、装置、计算机可读存储介质和计算机设备
CN108307123B (zh) * 2018-01-22 2021-10-26 维沃移动通信有限公司 一种曝光调整方法及移动终端
KR20190114332A (ko) * 2018-03-29 2019-10-10 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
CN110830728A (zh) * 2018-08-13 2020-02-21 浙江宇视科技有限公司 曝光调整方法及装置
CN109743506A (zh) * 2018-12-14 2019-05-10 维沃移动通信有限公司 一种图像拍摄方法及终端设备
CN110149484B (zh) * 2019-04-15 2020-07-10 浙江大华技术股份有限公司 图像合成方法、装置及存储装置
CN110710194B (zh) * 2019-08-30 2021-10-22 中新智擎科技有限公司 一种曝光方法、装置及摄像模组、电子设备
US11729318B2 (en) * 2020-11-18 2023-08-15 Micron Technology, Inc. Directing communication of data from an image sensor

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929908A (en) * 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
US6583823B1 (en) * 1997-08-01 2003-06-24 Sony Corporation Methods, apparatuses, and mediums for repairing a pixel associated with motion-picture processes
JP4399693B2 (ja) * 2000-09-21 2010-01-20 ソニー株式会社 撮像装置
JP4706105B2 (ja) * 2001-01-09 2011-06-22 株式会社ニコン 撮影装置
JP4511066B2 (ja) * 2001-03-12 2010-07-28 オリンパス株式会社 撮像装置
JP4181753B2 (ja) * 2001-03-22 2008-11-19 キヤノン株式会社 露出決定装置およびその露出決定装置を備えた撮像装置
AU2003244304A1 (en) 2002-07-18 2004-02-09 Sony Corporation Imaging data processing method, imaging data processing device, and computer program
JP2004341032A (ja) * 2003-05-13 2004-12-02 Olympus Corp 撮像ユニット及び撮像装置
JP2008104009A (ja) 2006-10-19 2008-05-01 Sony Corp 撮像装置および撮像方法
JP4905187B2 (ja) 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP2010028596A (ja) * 2008-07-23 2010-02-04 Hitachi Ltd 撮像装置
JP5090302B2 (ja) 2008-09-19 2012-12-05 富士フイルム株式会社 撮影装置および方法
US20100091119A1 (en) 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
JP2011053915A (ja) 2009-09-02 2011-03-17 Sony Corp 画像処理装置、画像処理方法、プログラム及び電子機器
KR101604068B1 (ko) * 2009-09-22 2016-03-17 삼성전자주식회사 고대비 영상 생성 장치 및 방법
RU2429584C1 (ru) * 2010-02-26 2011-09-20 Общество С Ограниченной Ответственностью "Нпип Киатон" Способ получения цифрового изображения объекта
JP5445235B2 (ja) * 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011205546A (ja) * 2010-03-26 2011-10-13 Panasonic Corp 撮影装置、画像合成方法及び画像合成プログラム
US8810663B2 (en) * 2011-01-27 2014-08-19 Aptina Imaging Corporation Methods for motion correction for high-dynamic-range imaging systems
JP5791336B2 (ja) * 2011-04-01 2015-10-07 キヤノン株式会社 画像処理装置及びその制御方法

Also Published As

Publication number Publication date
CN103108134A (zh) 2013-05-15
US9148578B2 (en) 2015-09-29
JP2013106149A (ja) 2013-05-30
CN103108134B (zh) 2016-02-24
US20130120610A1 (en) 2013-05-16
RU2012147858A (ru) 2014-05-20
JP5898466B2 (ja) 2016-04-06
RU2528590C2 (ru) 2014-09-20
KR101549529B1 (ko) 2015-09-02

Similar Documents

Publication Publication Date Title
KR101549529B1 (ko) 촬상장치, 그 제어 방법, 및 기록 매체
JP6911202B2 (ja) 撮像制御方法および撮像装置
JP5791336B2 (ja) 画像処理装置及びその制御方法
US9628768B2 (en) Image processing apparatus, image capturing apparatus, image correction method, and storage medium
EP3836534A1 (en) Imaging control method, apparatus, electronic device, and computer-readable storage medium
EP2232847B1 (en) Camera using preview image to select exposure
JP5743696B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020034701A1 (zh) 成像控制方法、装置、电子设备以及可读存储介质
JP2015156615A (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP5804857B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7403242B2 (ja) 画像処理システム、画像処理方法、及びプログラム
JP2019047169A (ja) ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム
KR20120114899A (ko) 영상 처리 방법 및 영상 처리 장치
JP2015032966A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP5822508B2 (ja) 撮像装置及びその制御方法
JP2011228807A (ja) 画像処理プログラム、画像処理装置、および画像処理方法
US9294685B2 (en) Image processing apparatus, electronic camera, and medium storing image processing program
JP6108680B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
JP2011100204A (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器
US11069031B2 (en) Image processing apparatus, control method for image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium to control reflected color components of input image
JP6786273B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021097347A (ja) 撮像装置およびその制御方法、プログラム
JP2018050149A (ja) 画像処理装置
JP2008005083A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180725

Year of fee payment: 4