KR20090118850A - 화상 처리 장치, 방법 및 프로그램 - Google Patents

Abstract

[과제] 화상의 계조성을 향상시킬 때에 특히 암부의 재현성을 향상시키는 것이다.

[해결 수단] AE 브래킷 촬영에 의해 취득된 A/D 변환 후의 화상 데이터에 의해 나타내어지는 화상(G1∼Gk) 각각에 대하여 가장 노출이 낮은 제 1 화상 이외의 다른 화상의 밝기를 제 1 화상의 밝기에 맞추도록 보정함과 아울러, m비트로부터 n비트(n>m)로 비트 확장함으로써 노출 조정 처리를 행한다. 그리고, 비트 확장된 화상을 합성해서 n비트의 합성 화상(GM)의 화상 데이터를 출력한다.

화상 처리 장치, 화상 취득 수단, 노출 조정 수단, 합성 수단

Description

화상 처리 장치, 방법 및 프로그램{IMAGE PROCESSING DEVICE AND METHOD, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING PROGRAM}

본 발명은 화상의 계조성을 향상시키는 화상 처리 장치, 방법 및 화상 처리 방법을 컴퓨터에 실행시키기 위한 프로그램에 관한 것이다.

통상, 디지털 카메라 등의 촬영 장치에 있어서는 촬영에 의해 촬상 소자로부터 출력된 촬상 신호에 대하여 화이트 밸런스 보정 처리, 계조 변환 처리, 쉐이딩(shading) 보정 처리 및 노출 보정 처리 등의 각종 신호 처리를 행함으로써 출력되는 화상의 화질을 향상시키고 있다. 그러나, 촬상 신호에 대해서는 각종 신호 처리에 의해 게인(gain)이 걸리기 때문에 분해능이 저하되어 버리므로, 출력되는 화상의 분해능보다 신호 처리되는 화상의 분해능을 높게 할 필요가 있다. 이 때문에, 촬영 장치에 있어서는 8비트의 계조를 갖는 화상을 출력하기 위해서 촬상 소자로부터 출력되는 아날로그 촬상 신호에 대하여, 예를 들면 12비트 또는 14비트와 같이, 8비트 이상의 분해능에 의해 A/D 변환을 행하여 디지털의 촬상 신호를 취득하도록 하고 있다.

그러나, 신호 처리되는 화상의 비트수는 A/D 변환의 분해능에 의해 제한되어 버리기 때문에, A/D 변환의 분해능 이상의 비트 정밀도에 의해 신호 처리를 행할 수 없다. 이 경우, A/D 변환의 분해능을 향상시키는 것이 고려되지만, A/D 변환의 분해능을 향상시키면 A/D 변환을 행하기 위한 회로의 코스트, 나아가서는 장치의 코스트가 상승한다.

이 때문에, 고감도의 신호 및 저감도의 신호를 취득할 수 있는 촬상 소자를 사용하고, 밝기가 소정의 초기값 이상이 되는 화소에 대해서는 저감도의 신호를 사용하도록 한 시스템이 제안되어 있다(특허 문헌 1 참조). 특허 문헌 1에 기재된 시스템에 의하면, 특히 하이라이트측의 계조의 양호한 관계를 실현할 수 있다.

특허 문헌 1 : 일본 특허 공개 2001-8104호 공보

그러나, 상기 특허 문헌 1에 기재된 시스템에 있어서는 하이라이트측의 계조의 재현성을 양호한 것으로 할 수 있지만, 암부의 계조의 재현성을 개선할 수 없다. 여기에서, 촬영 장치에 있어서 행하여지는 계조 변환 처리는 도 8에 나타내는 바와 같이, 암부의 변화율이 크기 때문에 암부의 계조가 재현되어 있지 않으면 출력되는 화상에 흑화가 생기기 쉬워져버린다.

본 발명은 상기 사정을 감안하여 이루어진 것으로서, 화상의 계조성을 향상시킬 때에 특히 암부의 재현성을 향상시키는 것을 목적으로 한다.

본 발명에 의한 화상 처리 장치는 노출이 다른 복수개의 화상을 취득하는 화상 취득 수단과,

상기 복수개의 화상 각각을 비트 확장하면서 상기 복수개의 화상 중 가장 노출이 낮은 제 1 화상에 상기 복수개의 화상의 노출을 맞추는 노출 조정 처리를 행하는 노출 조정 수단과,

상기 노출 조정 처리가 행하여진 복수개의 화상을 합성해서 합성 화상을 생성하는 합성 수단을 구비한 것을 특징으로 하는 것이다.

또한, 본 발명에 의한 화상 처리 장치에 있어서는 상기 노출 조정 수단을 상기 제 1 화상 이외의 다른 화상의 밝기를 상기 제 1 화상의 밝기에 맞추도록 보정함과 아울러 비트 확장함으로써 상기 노출 조정 처리를 행하는 수단으로 하고,

상기 합성 수단을 상기 제 1 화상에 있는 상기 다른 화상에 상당하는 정보를 상기 노출 조정 처리가 행하여진 다른 화상의 정보로 치환함으로써 상기 합성 화상 을 생성하는 수단으로 하여도 좋다.

또한, 본 발명에 의한 화상 처리 장치에 있어서는 상기 노출 조정 수단을 상기 제 1 화상 이외의 다른 화상의 밝기를 상기 제 1 화상의 밝기에 맞추도록 상기 복수개의 화상에 대하여 비트 확장하면서 게인 처리를 행하고, 상기 게인 처리 후의 복수개의 화상의 중복을 회피하는 오프셋 처리를 행함으로써 상기 노출 조정 처리를 행하는 수단으로 하고,

상기 합성 수단을 상기 노출 조정 처리가 행하여진 복수개의 화상을 가산함으로써 상기 합성 화상을 생성하는 수단으로 하여도 좋다.

이 경우, 상기 노출 조정 수단을 상기 복수개의 화상 각각의 밝기를 입력으로 하고, 상기 게인 처리 및 상기 오프셋 처리 후의 밝기를 출력으로 하는 테이블을 참조함으로써 상기 게인 처리 및 상기 오프셋 처리를 행하는 수단으로 하여도 좋다.

또한 이 경우, 상기 테이블을 상기 합성 화상에 있어서의 상기 복수개의 화상 각각의 밝기의 포화 부분이 점차 변화되도록 상기 게인 처리 및 상기 오프셋 처리를 행하는 테이블로 하여도 좋다.

또한, 본 발명에 의한 화상 처리 장치에 있어서는 상기 노출 조정 수단을 상기 복수개의 화상에 있어서의 포화 부분의 밝기가 점차 변화됨과 아울러, 상기 복수개의 화상의 중복을 회피하는 오프셋 처리를 행하도록 상기 복수개의 화상을 테이블에 의해 변환하고, 상기 변환된 복수개의 화상에 대하여 비트 확장하면서 게인 처리를 행함으로써 상기 노출 조정 처리를 행하는 수단으로 하고,

상기 합성 수단을 상기 노출 조정 처리가 행하여진 복수개의 화상을 가산함으로써 상기 합성 화상을 생성하는 수단으로 하여도 좋다.

또한, 본 발명에 의한 화상 처리 장치에 있어서는 상기 노출 조정 수단을 상기 복수개의 화상에 대하여 순차적으로 상기 노출 조정 처리를 행하는 수단으로 하고,

상기 합성 수단을 상기 노출 조정 처리가 행하여진 각 화상을 순차적으로 합성하는 수단으로 하여도 좋다.

또한, 본 발명에 의한 화상 처리 장치에 있어서는 상기 화상 취득 수단을 촬영에 의해 화상을 취득하는 촬영 수단과,

상기 동일 씬(scene)에 대하여 노출을 다르게 한 복수회의 촬영을 행함으로써 상기 복수개의 화상을 취득하도록 상기 촬영 수단을 제어하는 촬영 제어 수단을 구비하는 것으로 하여도 좋다.

본 발명에 의한 화상 처리 방법은 노출이 다른 복수개의 화상을 취득하고,

상기 복수개의 화상 각각을 비트 확장하면서 상기 복수개의 화상 중 가장 노출이 낮은 제 1 화상에 상기 복수개의 화상의 노출을 맞추는 노출 조정 처리를 행하고,

상기 노출 조정 처리가 행하여진 복수개의 화상을 합성해서 합성 화상을 생성하는 것을 특징으로 하는 것이다.

또한, 본 발명에 의한 화상 처리 방법을 컴퓨터에 실행시키기 위한 프로그램으로서 제공하여도 좋다.

<발명의 효과>

본 발명에 의하면 노출이 다른 복수개의 화상이 취득되어 복수개의 화상 각각을 비트 확장하면서 복수개의 화상 중 가장 노출이 낮은 제 1 화상에 복수개의 화상의 노출을 맞추는 노출 조정 처리가 행하여진다. 그리고, 노출 조정 처리가 행하여진 복수개의 화상이 합성되어서 합성 화상이 생성된다.

여기에서, 화상의 노출이 높을수록 암부의 분해능이 높아지게 된다. 반대로 화상의 노출이 낮을수록 명부의 분해능이 높아지게 된다. 따라서, 비트 확장하면서 제 1 화상의 노출에 복수개의 화상의 노출을 맞춘 노출 조정 후의 화상으로부터 획득되는 합성 화상은 특히 암부에 있어서 노출이 높은 화상의 비트 정밀도가 유지되기 때문에 암부의 분해능이 높아지게 된다. 따라서, 본 발명에 의하면 특히 암부의 계조 재현성이 향상된 합성 화상을 취득할 수 있다.

또한, 게인 처리 및 오프셋 처리에 의해 노출 조정 처리를 행함으로써 승산 및 가감산이라는 간이한 연산에 의해 노출 조정 처리를 행할 수 있다. 또한, 게인 처리는 화상에 대하여 실시되는 촬상 소자의 암전류를 보정하기 위한 옵티컬 블랙 보정 처리 및 화이트 밸런스 보정 처리와 더불어 행할 수 있기 때문에, 이들 처리와 게인 처리를 더불어 행함으로써 화상에 대하여 처리를 실시할 때의 연산량을 저감할 수 있다.

또한, 게인 처리 및 오프셋 처리에 의해 노출 조정 처리를 행할 때에 복수개의 화상 각각의 밝기를 입력으로 하고, 게인 처리 및 오프셋 처리 후의 밝기를 출력으로 하는 테이블을 참조하여 게인 처리 및 오프셋 처리를 행함으로써 간이한 노 출 조정 처리를 행할 수 있다.

이 때, 테이블을 합성 화상에 있어서의 복수개의 화상 각각의 밝기의 포화 부분이 점차 변화되도록 게인 처리 및 오프셋 처리를 행하는 것으로 함으로써 합성 화상에 있어서의 화상이 스위칭되는 부분에 있어서의 밝기의 변화를 매끄러운 것으로 할 수 있기 때문에 합성 화상의 화질을 보다 향상시킬 수 있다.

또한, 복수개의 화상에 있어서의 포화 부분의 밝기가 점차 변화됨과 아울러, 복수개의 화상의 중복을 회피하는 오프셋 처리를 행하도록 테이블에 의해 복수개의 화상을 변환하고, 변환된 복수개의 화상에 대하여 비트 확장하면서 게인 처리를 행함에 의해 노출 조정 처리를 행함으로써 테이블에 의한 변환에 있어서는 비트 확장이 되지 않게 된다. 이에 따라, 테이블의 용량을 저감할 수 있기 때문에 테이블을 기억하기 위한 기억 수단의 용량을 저감할 수 있고, 그 결과, 장치의 구성을 간이한 것으로 할 수 있음과 아울러 장치의 코스트를 저감할 수 있다.

또한, 복수개의 화상에 대하여 순차적으로 노출 조정 처리를 행하고, 노출 조정 처리가 행하여진 각 화상을 순차적으로 합성함으로써 복수개의 화상에 대하여 한번에 노출 조정 처리를 행할 경우와 비교해서 처리를 행하는 기억 수단의 용량을 저감할 수 있고, 그 결과, 장치의 구성을 간이한 것으로 할 수 있음과 아울러 장치의 코스트를 저감할 수 있다.

이하, 도면을 참조하여 본 발명의 실시형태에 대하여 설명한다. 도 1은 본 발명의 제 1 실시형태에 의한 화상 처리 장치를 적용한 디지털 카메라의 구성을 나 타내는 개략 블록도이다. 도 1에 나타내는 바와 같이, 제 1 실시형태에 의한 디지털 카메라(1)는 촬상부(2), 촬상 제어부(3), 신호 처리부(4), 압축/신장 처리부(5), 프레임 메모리(6), 미디어 제어부(7), 내부 메모리(8), 및 표시 제어부(9)를 구비한다.

도 2는 촬상부(2)의 구성을 나타내는 도면이다. 도 2에 나타내는 바와 같이, 촬상부(2)는 렌즈(20), 조리개(21), 셔터(22), CCD(23), 아날로그 프론트 엔드(AFE)(24) 및 A/D 변환부(25)를 각각 구비한다.

렌즈(20)는 피사체에 초점을 맞추기 위한 포커스 렌즈, 줌 기능을 실현하기 위한 줌 렌즈 등의 복수개의 기능별 렌즈로 구성되고, 도시하지 않은 렌즈 구동부에 의해 그 위치가 조정된다. 예를 들면, 포커스 렌즈는 렌즈 구동부에 의해 그 초점 위치가 조정된다.

조리개(21)는 도시하지 않은 조리개 구동부에 의해 AE 처리에 의해 획득되는 조리개값 데이터에 의거하여 조리개 지름의 조정이 행하여진다.

셔터(22)는 메커니컬 셔터이고, 도시하지 않은 셔터 구동부에 의해 AE 처리에 의해 획득되는 셔터 스피드에 따라 구동된다.

CCD(23)는 다수의 수광 소자를 2차원적으로 배열한 소정 사이즈의 광전면을 갖고 있고, 피사체광이 이 광전면에 결상해서 광전 변환되는 아날로그 촬상 신호가 취득된다. 또한, CCD(23)의 전면에는 R, G, B 각색의 필터가 규칙적으로 배열된 칼라 필터가 배치되어 있다.

AFE(24)는 CCD(23)로부터 출력되는 아날로그 촬상 신호에 대하여 아날로그 촬상 신호의 노이즈를 제거하는 처리, 및 아날로그 촬상 신호의 게인을 조절하는 처리(이하, 아날로그 처리로 함)를 실시한다.

A/D 변환부(25)는 AFE(24)에 의해 아날로그 처리가 실시된 아날로그 촬상 신호를 미리 정해진 비트수를 갖는 디지털 촬상 신호로 변환한다. 또한, 촬상부(2)의 CCD(23)에 있어서 취득되고, 디지털 촬상 신호로 변환됨으로써 획득되는 화상 데이터는 화소마다 R, G, B의 농도값을 갖는 RAW 데이터이다.

촬상 제어부(3)는 릴리즈 버튼을 누른 후에 촬상의 제어를 행한다. 또한, 릴리즈 버튼의 반누름 조작에 의해 AF 처리 및 AE 처리를 행하여 포커스 렌즈의 초점 위치, 조리개값 데이터 및 셔터 스피드를 설정한다. 또한, 촬상 제어부(3)는 릴리즈 버튼이 눌러져 있지 않은 상태에 있어서는 스루 화상의 촬영을 행하도록 촬상부(2)를 제어한다. 또한, 본 실시형태에 있어서는 촬상 제어부(3)가 릴리즈 버튼의 누름 후에 노출이 다른 복수개의 화상을 취득하는 AE 브래킷 촬영을 행하도록 촬상부(2)를 제어한다. 구체적으로는, +1Ev, +2Ev와 같이 노출을 복수 단으로 다르게 해서 복수회의 촬영을 행함으로써 AE 브래킷 촬영을 행한다.

신호 처리부(4)는 후술하는 바와 같이, 촬상부(2)가 취득한 화상으로부터 생성된 합성 화상의 화상 데이터에 대하여 CCD(23)의 암전류를 보정하는 옵티컬 블랙 보정 처리, 화이트 밸런스를 조정하는 처리, 계조 변환, 샤프니스 보정, 및 색 보정 등의 신호 처리를 실시한다.

압축/신장 처리부(5)는 신호 처리부(4)에 의해 처리가 실시된 화상 데이터에 대하여, 예를 들면 JPEG 등의 압축 형식으로 압축 처리를 실시하여 화상 파일을 생 성한다. 또한, 이 화상 파일에는 Exif 포맷 등에 의거하여 촬영 일시 등의 부대 정보가 기술된 헤더가 부여된다.

프레임 메모리(6)는 촬상부(2)가 취득한 화상을 표시하는 화상 데이터에 대하여 상술의 신호 처리부(4)가 행하는 처리를 포함하는 각종 처리를 행할 때에 사용하는 작업용 메모리이다.

미디어 제어부(7)는 기록 미디어(10)에 액세스해서 화상 파일의 기록과 판독의 제어를 행한다.

내부 메모리(8)는 디지털 카메라(1)에 있어서 설정되는 각종 정수 및 CPU(15)가 실행하는 프로그램 등을 기억한다.

표시 제어부(9)는 프레임 메모리(6)에 격납된 화상 데이터를 모니터(11)에 표시하거나, 기록 미디어(10)에 기록되어 있는 화상을 모니터(11)에 표시하기 위한 것이다.

또한, 디지털 카메라(1)는 노출 조정부(12) 및 합성부(13)를 구비한다. 도 3은 제 1 실시형태에 있어서의 노출 조정부(12)가 행하는 노출 조정 처리 및 합성부(13)가 행하는 합성 처리의 개념도이다. 도 3에 나타내는 바와 같이, 제 1 실시형태에 있어서는 AE 브래킷 촬영에 의해 취득된 A/D 변환 후의 화상 데이터에 의해 나타내어지는 복수개의 화상(G1∼Gk) 각각에 대하여 가장 노출이 낮은 제 1 화상 이외의 다른 화상의 밝기를 제 1 화상의 밝기에 맞추도록 보정함과 아울러 m비트로부터 n비트(n>m)로 비트 확장함으로써 노출 조정 처리를 행한다. 그리고, 노출 조정 처리가 행하여진 화상을 합성해서 n비트의 합성 화상(GM)의 화상 데이터를 출력 한다.

이하, 제 1 실시형태에 있어서, AE 브래킷 촬영에 의해 취득된 복수개의 화상을 합성할 경우의 처리에 대하여 구체적으로 설명한다. 또한, 여기에서는 2Ev의 노출 차를 갖는 2장의 화상을 취득하도록 AE 브래킷 촬영을 행한 것으로 한다. 또한, 노출 차는 필요한 비트수에 따라 변경 가능하고, 구체적으로는 2Ev∼3Ev로 하는 것이 바람직하다. 또한, 2회의 촬영 중 노출이 낮은 쪽의 촬영을 저노출 촬영, 노출이 높은 쪽의 촬영을 고노출 촬영으로 칭하는 것으로 한다. 또한, 저노출 촬영 및 고노출 촬영에 의해 취득된 A/D 변환 후의 화상을 저노출 화상(GL) 및 고노출 화상(GH)으로 칭하는 것으로 한다.

도 4는 저노출 화상(GL)에 있어서의 광량과 저노출 화상(GL)의 QL값(즉, 화상의 각 화소의 디지털 촬상 신호값)의 관계를 나타낸 도면, 도 5는 고노출 화상에 있어서의 광량과 고노출 화상(GH)의 QL값의 관계를 나타낸 도면이다. 도 4에 나타내는 바와 같이, 저노출 촬영에 의해 획득되는 저노출 화상(GL)은 넓은 광량의 범위에 걸쳐서 계조를 갖는 것으로 되어 있다. 한편, 도 5에 나타내는 바와 같이, 고노출 촬영에 의해 획득되는 고노출 화상(GH)은 노출 차가 2Ev이므로 계조가 획득되는 광량 범위는 저노출 화상의 1/4이지만 암부의 계조 표현이 보다 정밀하고 세밀한 것으로 되어 있다.

따라서, 노출 조정부(12)는 고노출 화상(GH)을 비트 확장하면서 고노출 화상(GH)의 노출을 저노출 화상(GL)의 노출에 맞추도록 고노출 화상(GH)의 노출을 조정한다. 여기에서, 저노출 화상(GL)과 고노출 화상(GH)의 노출 차는 2Ev이기 때문 에 도 5의 파선으로 나타내는 바와 같이, 고노출 화상(GH)의 밝기를 1/4로 조정한다. 이에 따라, 고노출 화상(GH)의 비트 정밀도는 m비트로부터 m+2비트로 확장되게 된다. 또한, m+2비트로 확장되는 것은 저노출 화상(GL)과 고노출 화상(GH)의 노출 차가 2Ev이기 때문이고, 노출 차가 αEv일 경우에는 노출 조정 처리에 의해 m+α비트로 확장되게 된다. 또한, 저노출 화상(GL)에 대해서는 밝기는 조정되지 않고 비트 정밀도만이 m비트로부터 m+2비트로 확장되게 된다.

합성부(13)는 노출 조정 처리가 행하여진 저노출 화상(GL') 및 고노출 화상(GH')을 합성한다. 구체적으로는, 저노출 화상(GL')의 암부의 정보를 고노출 화상(GH')으로 치환함으로써 저노출 화상(GL') 및 고노출 화상(GH')을 합성해서 합성 화상(GM)을 생성한다. 도 6은 합성 화상(GM)에 있어서의 광량과 QL값의 관계를 나타내는 도면이다. 또한, 도 6에 있어서 저노출 화상(GL')을 고노출 화상(GH)으로 치환된 부분을 파선으로 나타낸다. 도 6에 나타내는 바와 같이, 합성 화상(GM)에 있어서는 암부의 분해능이 고노출 화상(GH)의 분해능에 상당하는 것으로 되어 있고, 저노출 화상(GL)보다 분해능이 향상된 것으로 되어 있다.

CPU(15)는 십자 키, 각종 조작 버튼 및 릴리즈 버튼을 포함하는 입력부(16)로부터의 신호에 따라 디지털 카메라(1)의 각 부를 제어한다.

데이터베이스(17)는 디지털 카메라(1)를 구성하는 각 부 및 CPU(15)에 접속되어 있고, 디지털 카메라(1)에 있어서의 각종 데이터 및 각종 정보의 교환을 행한다.

이어서, 제 1 실시형태에 있어서 행하여지는 처리에 대하여 설명한다. 도 7 은 제 1 실시형태에 있어서 행하여지는 처리를 나타내는 플로우챠트이다. 또한, 여기에서는 릴리즈 버튼이 완전히 눌러진 이후의 처리에 대하여 설명한다.

릴리즈 버튼이 눌러지면 촬상 제어부(3)가 AE 브래킷 촬영을 행한다(스텝 STl). 이에 따라, 노출이 다른 복수개의 화상이 취득된다. 취득된 복수개의 화상(G1∼Gk)은 A/D 변환되어 내부 메모리(8)에 일시적으로 기억된다(스텝 ST2). 그리고, 노출 조정부(12)가 취득된 복수개의 화상(G1∼Gk)에 대하여 비트 확장하면서 노출 조정 처리를 행한다(스텝 ST3). 또한, 합성부(13)가 노출 조정 처리 후의 화상(G1∼Gk)을 합성해서 합성 화상(GM)을 생성한다.(스텝 ST4).

이어서, 신호 처리부(4)가 합성 화상(GM)에 대하여 신호 처리를 실시하고(스텝 ST5), 압축/신장 처리부(5)가 신호 처리 완료된 화상의 화상 파일을 생성하고(스텝 ST6), 미디어 제어부(7)가 기록 미디어(10)에 화상 파일을 기록하고(스텝 ST7), 처리를 종료한다.

여기에서, 신호 처리부(4)가 행하는 계조 변환의 특성은 도 8에 나타내는 바와 같이 입력의 신호값이 작은 부분, 즉 암부에 있어서의 변화율이 커지게 된다. 이와 같이, 암부의 계조의 분해능이 작으면 계조 변환에 의해 암부의 계조에 흑화가 생기기 쉬워진다.

한편, 화상의 노출이 높을수록 암부의 분해능이 높아지게 된다. 반대로 화상의 노출이 낮을수록 명부의 분해능이 높아지게 된다. 따라서, 비트 확장하면서 제 1 화상의 노출에 복수개의 화상의 노출을 맞춘 노출 조정 후의 화상으로부터 획득되는 합성 화상(GM)은, 특히 암부에 있어서 노출이 높은 화상의 비트 정밀도가 유 지되기 때문에 암부의 분해능이 높아지게 된다. 따라서, 제 1 실시형태에 의하면, 특히 암부의 계조 재현성이 향상된 합성 화상(GM)을 취득할 수 있다.

또한, 신호 처리부(4)가 행하는 계조 변환은 여러가지의 특성을 갖는 것이고, 계조 변환의 특성에 따라 암부의 변화율이 다르게 된다. 이 때문에, 계조 변환의 특성에 따라 AE 브래킷 촬영을 행할 때의 최대 노출 차(즉, 가장 노출이 낮은 화상과 가장 노출이 높은 화상의 노출 차)를 변경하도록 하여도 좋다. 구체적으로는, 계조 변환에 있어서의 암부의 변화율이 클수록 최대 노출 차가 커지도록 AE 브래킷 촬영을 행하도록 하면 좋다.

이어서, 본 발명의 제 2 실시형태에 대하여 설명한다. 또한, 제 2 실시형태에 의한 화상 처리 장치를 적용한 디지털 카메라의 구성은 상기 제 1 실시형태에 의한 디지털 카메라의 구성과 동일하고, 행해지는 처리만이 다르기 때문에 여기에서는 구성에 대한 상세한 설명은 생략한다. 제 2 실시형태에 있어서는 노출 조정 처리를 게인 처리 및 오프셋 처리에 의해 행하도록 한 것이다.

도 9는 제 2 실시형태에 있어서의 노출 조정부(12)가 행하는 노출 조정 처리 및 합성부(13)가 행하는 합성 처리의 개념도이다. 도 9에 나타내는 바와 같이, 제 2 실시형태에 있어서는 AE 브래킷 촬영에 의해 취득된 A/D 변환 후의 화상 데이터에 의해 표시되는 화상(G1∼Gk) 각각에 대하여 가장 노출이 낮은 제 1 화상 이외의 다른 화상의 밝기를 제 1 화상의 밝기에 맞추도록 m비트로부터 n비트(n>m)로 비트 확장하면서 게인 처리를 행하고, 게인 처리 후의 화상에 대하여 중복을 회피하기 위한 오프셋 처리를 행함으로써 노출 조정 처리를 행한다. 그리고, 노출 조정 처리 가 행하여진 화상을 가산해서 n비트의 합성 화상(GM)의 화상 데이터를 출력한다.

이하, 제 2 실시형태에 있어서 AE 브래킷 촬영에 의해 취득된 복수개의 화상을 합성할 경우의 처리에 대하여 구체적으로 설명한다. 또한, 여기에서는 제 1 실시형태와 같이 2Ev의 노출 차를 갖는 2장의 화상을 취득하도록 AE 브래킷 촬영을 행한 것으로 한다.

우선, 노출 조정부(12)는 화상에 대하여 노출 차에 따른 게인을 설정한다. 즉, 노출이 가장 낮은 화상을 기준으로 하면, 기준이 되는 노출이 가장 낮은 화상에 대해서는 1배, 노출 차가 1Ev의 화상에 대해서는 1/2배, 노출 차가 2Ev의 화상에 대해서는 1/4배의 게인을 설정한다. 여기에서는 저노출 화상(GL)과 고노출 화상(GH)의 노출 차가 2Ev이므로, 노출 조정부(12)는 저노출 화상(GL)에 대해서는 게인을 1배로, 고노출 화상(GH)에 대해서는 게인을 1/4배로 설정한다.

또한, 노출 조정부(12)는 화상에 대하여 노출 차에 따른 오프셋값을 설정한다. 여기에서 오프셋값은 합성 화상(GM)에 있어서의 정보의 중복을 회피하기 위한 것이고, 각 화상에 대하여 다음으로 노출이 낮은 화상의 게인 처리 후의 최대 QL값을 오프셋값으로 설정한다. 즉, 노출이 가장 낮은 기준이 되는 화상에 대해서는 오프셋값을 1/2×QLmax로, 기준이 되는 화상과의 노출 차가 1Ev인 화상에 대해서는 1/4×QLmax로 오프셋값을 설정한다. 또한, QLmax는 각 화상(G1∼Gk)의 QL값의 최대값이다. 또한, 노출이 가장 높은 화상에 대해서는 오프셋값을 0으로 설정한다. 여기에서는, 저노출 화상(GL)과 고노출 화상(GH)의 노출 차가 2Ev이므로, 노출 조정부(12)는 저노출 화상(GL)에 대하여 1/4×QLmax를 오프셋값으로 설정한다.

그리고, 노출 조정부(12)는 설정한 게인 및 오프셋값에 의해 화상에 대하여 노출 조정 처리를 행한다. 도 10은 저노출 화상에 대한 게인 처리 및 오프셋 처리를, 도 11은 고노출 화상에 대한 게인 처리 및 오프셋 처리를 설명하기 위한 도면이다.

도 10에 나타내는 바와 같이, 저노출 화상(GL)에 대해서는 m비트로부터 m+2비트로 비트 확장하면서 1배의 게인에 의한 게인 처리가 행해지고, 1/4×QLmax를 오프셋값으로 하는 오프셋 처리가 행하여진다. 이에 따라, 저노출 화상(GL)의 광량과 QL값의 관계는 노출 조정 처리에 의해 파선으로부터 실선으로 나타나게 된다.

한편, 도 11에 나타내는 바와 같이, 고노출 화상(GH)에 대해서는 m비트로부터 m+2비트로 비트 확장하면서 1/4배의 게인에 의한 게인 처리가 실시되고, 오프셋값은 0이므로 오프셋 처리는 실시되지 않는다. 이에 따라, 고노출 화상(GH)의 광량과 QL값의 관계는 노출 조정 처리에 의해 파선으로부터 실선으로 나타나게 된다.

또한, 게인 처리 및 오프셋 처리는 이 순서로 행할 필요가 없고, 오프셋 처리를 행한 후에 게인 처리를 행하도록 하여도 좋다.

합성부(13)는 노출 조정 처리가 행하여진 저노출 화상(GL') 및 고노출 화상(GH')을 합성한다. 구체적으로는, 저노출 화상(GL') 및 고노출 화상(GH')을 가산함으로써 저노출 화상(GL') 및 고노출 화상(GH')을 합성해서 합성 화상(GM)을 생성한다. 도 12는 합성 화상(GM)에 있어서의 광량과 QL값의 관계를 나타내는 도면이다. 도 12에 나타내는 바와 같이, 합성 화상(GM)에 있어서는 암부의 분해능이 고노출 화상(GH)의 분해능에 상당하는 것으로 되어 있고, 저노출 화상(GL)보다 분해능 이 향상된 것으로 되어 있다. 또한, 오프셋 처리에 의해 합성 화상(GM)에 있어서의 광량과 QL값의 관계는 선형으로 되어 있다.

이어서, 제 2 실시형태에 있어서 행하여지는 처리에 대하여 설명한다. 도 13은 제 2 실시형태에 있어서 행하여지는 처리를 나타내는 플로우챠트이다. 또한, 여기에서는 릴리즈 버튼이 완전히 눌러진 이후의 처리에 대하여 설명한다.

릴리즈 버튼이 눌러지면 촬상 제어부(3)가 AE 브래킷 촬영을 행한다(스텝 ST11). 이에 따라, 노출이 다른 복수개의 화상(G1∼Gk)이 취득된다. 취득된 복수개의 화상(G1∼Gk)은 A/D 변환되어 내부 메모리(8)에 일시적으로 기억된다(스텝 ST12). 그리고, 노출 조정부(12)가 취득된 화상(G1∼Gk)에 대하여 게인 처리를 행하고(스텝 ST13), 또한 오프셋 처리를 행한다(스텝 ST14). 이어서 합성부(13)가 노출 조정 처리 후의 화상(G1∼Gk)을 합성해서 합성 화상(GM)을 생성한다(스텝 ST15).

이어서, 신호 처리부(4)가 합성 화상(GM)에 대하여 신호 처리를 실시하고(스텝 ST16), 압축/신장 처리부(5)가 신호 처리 완료된 화상의 화상 파일을 생성하고(스텝 ST17), 미디어 제어부(7)가 기록 미디어(10)에 화상 파일을 기록하고(스텝 ST18) 처리를 종료한다.

이와 같이, 제 2 실시형태에 있어서는 게인 처리 및 오프셋 처리에 의해 노출 조정 처리를 행하도록 했기 때문에 승산 및 가감산이라는 간이한 연산에 의해 노출 조정 처리를 행할 수 있다. 또한, 게인 처리는 화상에 대하여 실시되는 CCD(23)의 암전류를 보정하기 위한 옵티컬 블랙 보정 처리 및 화이트 밸런스 보정 처리와 더불어 행할 수 있기 때문에, 이들의 처리와 게인 처리를 더불어 행함으로써 신호 처리부(4)가 합성 화상(GM)에 대하여 신호 처리를 실시할 때의 연산량을 저감할 수 있다.

이어서, 본 발명의 제 3 실시형태에 대하여 설명한다. 또한, 제 3 실시형태에 의한 화상 처리 장치를 적용한 디지털 카메라의 구성은 상기 제 1 실시형태에 의한 디지털 카메라의 구성과 동일하고, 행하여지는 처리만이 다르기 때문에 여기에서는 구성에 대한 상세한 설명은 생략한다. 제 3 실시형태에 있어서는 제 2 실시형태에 의한 게인 처리 및 오프셋 처리를 테이블을 이용하여 행하도록 한 것이다. 또한 그 때에, 합성 화상에 있어서의 복수개의 화상 각각의 밝기의 포화 부분이 점차 변화되도록 한 것이다.

도 14는 제 3 실시형태에 있어서의 노출 조정부(12)가 행하는 노출 조정 처리 및 합성부(13)가 행하는 합성 처리의 개념도이다. 도 14에 나타내는 바와 같이, 제 3 실시형태에 있어서는 AE 브래킷 촬영에 의해 취득된 A/D 변환 후의 화상 데이터에 의해 나타내어지는 화상(G1∼Gk) 각각에 대하여 테이블 변환에 의해 m비트로부터 n비트(n>m)로 비트 확장되면서 게인 처리 및 오프셋 처리를 행함으로써 노출 조정 처리를 행한다. 그리고, 노출 조정 처리가 실시된 화상을 가산해서 n비트의 합성 화상(GM)의 화상 데이터를 출력한다. 또한, 제 3 실시형태에 있어서는 노출 차에 따른 복수개의 테이블이 내부 메모리(8)에 기억되어 있고, 화상의 노출 차에 따른 테이블을 선택하고, 선택된 테이블에 의해 테이블 변환을 행하는 것이다.

이하, 제 3 실시형태에 있어서 AE 브래킷 촬영에 의해 취득된 복수개의 화상 을 합성할 경우의 처리에 대해서 구체적으로 설명한다. 또한 여기에서는, 제 1 실시형태와 같은 방법으로 2Ev의 노출 차를 갖는 2장의 화상을 취득하도록 AE 브래킷 촬영을 행한 것으로 한다.

도 15는 저노출 화상용의 테이블을, 도 16은 고노출 화상용의 테이블을 나타낸 도면이다. 도 15에 나타내는 바와 같이, 저노출 화상용의 테이블(T1)은 0∼입력의 최대값의 1/4의 직전까지는 입력에 대한 출력이 0이 되고, 입력 최대값의 1/4로부터 서서히 출력이 커지고, 이후 입력과 출력의 관계가 비례하는 변환 테이블로 되어 있다. 구체적으로는 게인을 1배로 하고, 1/4 ×QLmax를 오프셋함과 아울러 비트수를 m으로부터 m+2로 확장하는 변환 테이블로 되어 있다.

한편, 도 16에 나타내는 바와 같이, 고노출 화상용 테이블(T2)은 입력에 따른 출력이 1/4로 되고, 입력이 큰 부분에 있어서는 서서히 출력을 일정값으로 하는 변환 테이블로 되어 있다. 구체적으로는, 게인을 1/4배로 함과 아울러 비트수를 m으로부터 m+2로 확장하는 변환 테이블로 되어 있다.

도 17은 테이블(T1, T2)에 의한 변환 후의 저노출 화상(GL) 및 고노출 화상(GH)을 가산함으로써 획득되는 합성 화상(GM)에 있어서의 광량과 QL값의 관계를 나타내는 도면이다. 도 17에 나타내는 바와 같이, 합성 화상(GM)에 있어서는 암부의 분해능이 고노출 화상(GH)의 분해능에 상당하는 것으로 되어 있고, 저노출 화상(GL)보다 분해능이 향상된 것으로 되어 있다. 또한, 합성 화상(GM)에 있어서의 저노출 화상(GL)과 고노출 화상(GH)의 경계에 있어서 저노출 화상(GL)과 고노출 화상(GH)이 매끄럽게 스위칭되도록 되어 있다.

이어서, 제 3 실시형태에 있어서 행하여지는 처리에 대하여 설명한다. 도 18은 제 3 실시형태에 있어서 행하여지는 처리를 나타내는 플로우챠트이다. 또한 여기에서는, 릴리즈 버튼이 완전히 눌러진 이후의 처리에 대하여 설명한다.

릴리즈 버튼이 눌러지면 촬상 제어부(3)가 AE 브래킷 촬영을 행한다(스텝 ST21). 이에 따라, 노출이 다른 복수개의 화상(G1∼Gk)이 취득된다. 취득된 복수개의 화상(G1∼Gk)은 A/D 변환되어 내부 메모리(8)에 일시적으로 기억된다(스텝 ST22). 그리고, 노출 조정부(12)가 내부 메모리(8)에 기억된 복수개의 테이블로부터 화상의 노출 차에 따른 테이블을 선택한다(스텝 ST23). 그리고, 노출 조정부(12)는 선택된 테이블에 의해 화상(G1∼Gk)을 테이블 변환함으로써 노출 조정 처리를 행한다(스텝 ST24). 이어서, 합성부(13)가 노출 조정 처리 후의 화상(G1∼Gk)을 합성해서 합성 화상(GM)을 생성한다(스텝 ST25).

이어서, 신호 처리부(4)가 합성 화상(GM)에 대하여 신호 처리를 실시하고(스텝 ST26), 압축/신장 처리부(5)가 신호 처리 완료된 화상의 화상 파일을 생성하고(스텝 ST27), 미디어 제어부(7)가 기록 미디어(10)에 화상 파일을 기록하고(스텝 ST28), 처리를 종료한다.

이와 같이, 제 3 실시형태에 있어서는 게인 처리 및 오프셋 처리에 의해 노출 조정 처리를 행할 때에 복수개의 화상의 밝기 각각을 입력으로 하고, 게인 처리 및 오프셋 처리 후의 밝기를 출력으로 하는 테이블을 참조함으로써 게인 처리 및 오프셋 처리를 행하도록 했기 때문에 간이하게 노출 조정 처리를 행할 수 있다.

또한, 테이블을 합성 화상(GM)에 있어서의 복수개의 화상(G1∼Gk) 각각의 밝 기의 포화 부분이 점차 변화되도록 게인 처리 및 오프셋 처리를 행하는 것으로 함으로써 합성 화상(GM)에 있어서의 화상이 스위칭되는 부분에 있어서의 밝기의 변화를 매끄러운 것으로 할 수 있기 때문에, 합성 화상(GM)의 화질을 보다 향상시킬 수 있다.

이어서, 본 발명의 제 4 실시형태에 대하여 설명한다. 또한, 제 4 실시형태에 의한 화상 처리 장치를 적용한 디지털 카메라의 구성은 상기 제 1 실시형태에 의한 디지털 카메라의 구성과 동일하고 행하여지는 처리만이 다르기 때문에, 여기에서는 구성에 대한 상세한 설명은 생략한다. 제 4 실시형태에 있어서는 합성 화상(GM)에 있어서의 복수개의 화상 각각의 밝기의 포화 부분을 점차 변화시키는 처리 및 오프셋 처리를 테이블 변환에 의해 행하고, 그 후 제 2 실시형태와 같은 게인 처리를 행하도록 한 것이다.

도 19는 제 4 실시형태에 있어서의 노출 조정부(12)가 행하는 노출 조정 처리 및 합성부(13)가 행하는 합성 처리의 개념도이다. 도 19에 나타내는 바와 같이, 제 4 실시형태에 있어서는 AE 브래킷 촬영에 의해 취득된 A/D 변환 후의 화상 데이터에 의해 나타내어지는 화상(G1∼Gk) 각각에 대하여 테이블 변환에 의해 비트 확장함이 없이 오프셋 처리를 행하고, 테이블 변환 후의 화상에 대하여 m비트로부터 n비트(n>m)로 비트 확장하면서 게인 처리를 행함으로써 노출 조정 처리를 행한다. 그리고, 노출 조정 처리가 실시된 화상을 가산해서 n비트의 합성 화상(GM)의 화상 데이터를 출력한다. 또한, 제 4 실시형태에 있어서는 노출 차에 따른 복수개의 테이블이 내부 메모리(8)에 기억되어 있고, 화상의 노출 차에 따른 테이블을 선택하 고, 선택된 테이블에 의해 테이블 변환을 행하는 것이다.

이하, 제 4 실시형태에 있어서, AE 브래킷 촬영에 의해 취득된 복수개의 화상을 합성할 경우의 처리에 대하여 구체적으로 설명한다. 또한, 여기에서는 제 1 실시형태와 같이 2Ev의 노출 차를 갖는 2장의 화상을 취득하도록 AE 브래킷 촬영을 행한 것으로 한다.

도 20은 고노출 화상용 테이블을 나타낸 도면이다. 또한, 저노출 화상(GL)에 대해서는 게인은 1배이고 오프셋 처리만을 실시하는 것이므로, 제 4 실시형태에 있어서는 저노출 화상(GL)에 대해서는 제 3 실시형태로 같은 도 15에 나타내는 테이블(T1)을 이용하여 테이블 변환을 행한다. 도 20에 나타내는 바와 같이, 고노출 화상용 테이블(T3)은 비트수를 확장함이 없이 입력이 큰 부분에 있어서 서서히 출력이 작아지는 변환 테이블로 되어 있다.

도 21은 테이블(T3)에 의한 변환 후의 고노출 화상에 있어서의 광량과 QL값의 관계를 나타내는 도면이다. 도 21에 나타내는 바와 같이, 테이블(T3)에 의한 변환 후의 고노출 화상(GH)은 QL값이 포화되는 부분이 매끄럽게 변화되도록 되어 있다. 그리고, 노출 조정부(12)는 테이블 변환 후의 고노출 화상(GH)에 대하여 제 2 실시형태와 같이 설정한 게인에 의해 비트 확장하면서 게인 처리를 행한다.

도 22는 게인 처리 후의 고노출 화상(GH)에 있어서의 광량과 QL값의 관계를 나타내는 도면이다. 도 22에 나타내는 바와 같이, 게인 처리에 의해 테이블 변환 후의 고노출 화상(GH)의 QL값은 1/4로 변경되어 있다.

이와 같이 취득된 노출 조정 완료된 고노출 화상(GH')을 노출 조정 완료된 저노출 화상(GL')과 가산함으로써 제 3 실시형태와 같이, 도 17에 나타내는 바와 같이 암부의 분해능이 고노출 화상(GH)의 분해능에 상당하고, 저노출 화상(GL)보다 분해능이 향상된 합성 화상을 생성할 수 있다. 또한, 합성 화상(GM)에 있어서의 화상이 스위칭되는 부분에 있어서의 밝기의 변화를 매끄러운 것으로 할 수 있기 때문에 합성 화상(GM)의 화질을 보다 향상시킬 수 있다.

이어서, 제 4 실시형태에 있어서 행하여지는 처리에 대하여 설명한다. 도 23은 제 4 실시형태에 있어서 행하여지는 처리를 나타내는 플로우챠트이다. 또한, 여기에서는 릴리즈 버튼이 완전히 눌러진 이후의 처리에 대하여 설명한다.

릴리즈 버튼이 눌러지면, 촬상 제어부(3)가 AE 브래킷 촬영을 행한다(스텝 ST31). 이에 따라, 노출이 다른 복수개의 화상(G1∼Gk)이 취득된다. 취득된 복수개의 화상(G1∼Gk)은 A/D 변환되어 내부 메모리(8)에 일시적으로 기억된다(스텝 ST32). 그리고, 노출 조정부(12)가 내부 메모리(8)에 기억된 복수개의 테이블로부터 화상의 노출 차에 따른 테이블을 선택한다(스텝 ST33). 그리고, 노출 조정부(12)는 선택된 테이블에 의해 화상(G1∼Gk)을 테이블 변환한다(스텝 ST34). 또한, 테이블 변환 후의 화상(G1∼Gk)에 대하여 게인 처리를 행한다(스텝 ST35). 이어서, 합성부(13)가 노출 조정 처리 후의 화상(G1∼Gk)을 합성해서 합성 화상(GM)을 생성한다(스텝 ST36).

이어서, 신호 처리부(4)가 합성 화상(GM)에 대하여 신호 처리를 실시하고(스텝 ST37), 압축/신장 처리부(5)가 신호 처리 완료된 화상의 화상 파일을 생성하고(스텝 ST38), 미디어 제어부(7)가 기록 미디어(10)에 화상 파일을 기록하고(스텝 ST39), 처리를 종료한다.

여기에서, 테이블에 의해 비트수를 확장하면, 테이블의 용량이 커지므로 테이블을 기억하기 위한 내부 메모리(8)의 기억 영역을 크게 할 필요가 있다. 제 4 실시형태에 있어서는 테이블에 의해 합성 화상(GM)에 있어서의 복수개의 화상 각각의 밝기의 포화 부분이 점차 변화되도록 화상(G1∼Gk)을 변환하고, 그 후에 비트 확장하면서 게인 처리를 행하도록 하였기 때문에, 비트 확장을 행하는 테이블과 비교하여 테이블을 기억하기 때문에 내부 메모리(8)의 기억 영역을 저감할 수 있고, 그 결과 장치의 구성을 간이한 것으로 할 수 있음과 아울러 장치의 코스트를 저감할 수 있다.

또한, 상기 제 2 및 제 4 실시형태에 있어서는 저노출 화상(GL)의 게인 처리는 1배이므로 비트 확장될 뿐이다. 이 때문에, 저노출 화상(GL)에 대한 게인 처리에 있어서 노출 차가 1Ev단위일 경우에는 비트 시프트에 의해 게인 처리를 행하도록 하여도 좋다.

또한, 상기 제 1 ~ 제 4 실시형태에 있어서는 AE 브래킷 촬영에 의해 취득된 복수개의 화상에 대하여 노출 조정 처리를 행한 후에 합성 처리를 행하고 있지만, 노출 조정 처리 및 합성 처리를 순차적으로 행하도록 하여도 좋다. 이하 이것을 제 5 실시형태로서 설명한다.

도 24는 제 5 실시형태에 있어서의 노출 조정부(12)가 행하는 노출 조정 처리 및 합성부(13)가 행하는 합성 처리의 개념도이다. 도 24에 나타내는 바와 같이 제 5 실시형태에 있어서는 AE 브래킷 촬영에 의해 취득된 A/D 변환 후의 화상 데이 터에 의해 나타내어지는 화상(G1∼Gk) 각각을 순차적으로 내부 메모리(8)로부터 판독하고, 판독한 화상(G1∼Gk)에 대하여 m비트로부터 n비트로 비트 확장하면서 노출 조정 처리를 행하고, 노출 조정 처리가 실시된 화상을 합성하고, 합성된 화상이 최종적인 합성 화상(GM)이 아닐 경우, 그 단계에 있어서 획득되는 합성 화상을 중간 합성 화상으로서 내부 메모리(8)에 기억한다. 그리고, 순차적으로 내부 메모리(8)로부터 화상을 판독해서 판독한 화상에 노출 조정 처리를 행함과 아울러 내부 메모리(8)에 기억된 중간 합성 화상과 합성하고, 노출 조정 처리 및 합성의 처리를 반복해서 최종적인 합성 화상(GM)을 출력한다.

또한, 제 5 실시형태에 있어서의 노출 조정 처리 및 합성 처리로서는 상기 제 1 ~ 제 4 실시형태에 있어서의 노출 조정 처리 및 합성 처리 중 어느 것을 사용하여도 좋다.

이어서, 제 5 실시형태에 있어서 행하여지는 처리에 대하여 설명한다. 도 25는 제 5 실시형태에 있어서 행하여지는 처리를 나타내는 플로우챠트이다. 또한 여기에서는 릴리즈 버튼이 완전히 눌러진 이후의 처리에 대하여 설명한다.

릴리즈 버튼이 눌러지면 촬상 제어부(3)가 AE 브래킷 촬영을 행한다(스텝 ST41). 이에 따라, 노출이 다른 복수개의 화상(G1∼Gk)이 취득된다. 취득된 복수개의 화상(G1∼Gk)은 A/D 변환되어 내부 메모리(8)에 일시적으로 기억된다(스텝 ST42). 그리고, 노출 조정부(12)가 처리의 대상의 화상(Gi)(i=1∼k)을 최초의 화상으로 설정하고(i=1, 스텝 ST43), 화상(Gi)을 내부 메모리(8)로부터 판독한다(스텝 ST44).

그리고, 판독한 화상(Gi)에 대하여 비트 확장하면서 노출 조정 처리를 행한다(스텝 ST45). 또한, 합성부(13)가 노출 조정 처리 후의 화상(Gi)을 내부 메모리(8)에 기억된 중간 합성 화상과 합성해서 합성 화상을 생성한다(스텝 ST46). 또한, i=1의 경우, 중간 합성 화상은 내부 메모리(8)에 기억되어 있지 않기 때문에, 노출 조정 처리 후의 화상(Gi)이 그대로 합성 화상으로 된다. 그리고, 합성부(13)는 모든 화상을 합성하였는지의 여부를 판정하고(i=k, 스텝 ST47), 스텝 ST47이 부정되면, 합성 화상을 중간 합성 화상으로서 내부 메모리(8)에 기억함과 아울러(스텝 ST48), 처리의 대상을 다음의 화상으로 변경하고(i=i+1, 스텝 ST49), 스텝 ST44로 돌아온다. 스텝 ST47이 긍정되면 합성 화상을 최종적인 합성 화상(GM)으로서 출력한다(스텝 ST50).

이어서, 신호 처리부(4)가 합성 화상(GM)에 대하여 신호 처리를 실시하고(스텝 ST51), 압축/신장 처리부(5)가 신호 처리 완료된 화상의 화상 파일을 생성하고(스텝 ST52), 미디어 제어부(7)가 기록 미디어(10)에 화상 파일을 기록하고(스텝 ST53), 처리를 종료한다.

이와 같이, 제 5 실시형태에 있어서는 복수개의 화상(G1∼Gk)에 대하여 순차적으로 노출 조정 처리를 행하고, 노출 조정 처리가 행하여진 각 화상(G1∼Gk)을 순차적으로 합성하도록 했기 때문에, 복수개의 화상(G1∼Gk)에 대하여 한번에 노출 조정 처리를 행할 경우와 비교하여 노출 조정 처리가 행하여진 복수개의 화상(G1∼Gk)을 기억할 필요가 없게 되므로 내부 메모리(8)의 용량을 저감할 수 있고, 그 결과, 장치의 구성을 간이한 것으로 할 수 있음과 아울러 장치의 코스트를 저감할 수 있다.

또한, 상기 제 1 ~ 제 5 실시형태에 있어서는 본 발명에 의한 화상 처리 장치를 디지털 카메라에 적용하고 있지만, 본 발명에 의한 화상 처리 장치를 단독으로 사용하도록 하여도 좋다. 이 경우, 화상 처리 장치는 AE 브래킷 촬영에 의해 취득된 복수개의 화상을 장치에 입력하기 위한 각종 인터페이스가 설치되게 된다.

또한, 상기 제 1 ~ 제 5 실시형태에 있어서는 가장 노출이 낮은 화상을 기준으로 하여 노출 조정 처리 및 합성 처리를 행하고 있지만, 가장 노출이 높은 화상을 기준으로 하여 노출 조정 처리 및 합성 처리를 행하도록 하여도 좋다. 이 경우, 게인 처리로서는 가장 노출이 높은 화상 이외의 다른 화상의 게인을 높게 하는 처리가 된다.

또한, 상기 제 3 및 제 4 실시형태에 있어서는 테이블을 내부 메모리(8)에 기억하고 있지만, 테이블을 기억하기 위한 전용 메모리를 설치하도록 하여도 좋다.

이상, 본 발명의 실시형태에 따른 장치에 대하여 설명했지만, 컴퓨터를 상기의 노출 조정부(12) 및 합성부(13)에 대응하는 수단으로서 기능시켜, 도 7, 13, 18, 23, 25에 나타내는 바와 같은 처리를 행하게 하는 프로그램도 본 발명의 실시형태의 하나이다. 또한, 그러한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도 본 발명의 실시형태의 하나이다.

도 1은 본 발명의 제 1 실시형태에 의한 화상 처리 장치를 적용한 디지털 카메라의 구성을 나타내는 개략 블록도.

도 2는 촬상부의 구성을 나타내는 도면.

도 3은 제 1 실시형태에 있어서의 노출 조정 처리 및 합성 처리의 개념도.

도 4는 저노출 화상에 있어서의 광량과 QL값의 관계를 나타내는 도면.

도 5는 고노출 화상에 있어서의 광량과 QL값의 관계를 나타내는 도면.

도 6은 제 1 실시형태에 의해 생성되는 합성 화상에 있어서의 광량과 QL값의 관계를 나타내는 도면.

도 7은 제 1 실시형태에 있어서 행하여지는 처리를 나타내는 플로우챠트.

도 8은 계조 변환의 특성을 나타내는 도면.

도 9는 제 2 실시형태에 있어서의 노출 조정 처리 및 합성 처리의 개념도.

도 10은 저노출 화상에 대한 게인 처리 및 오프셋 처리를 설명하기 위한 도면.

도 11은 고노출 화상에 대한 게인 처리 및 오프셋 처리를 설명하기 위한 도면.

도 12는 제 2 실시형태에 의해 생성되는 합성 화상에 있어서의 광량과 QL값의 관계를 나타내는 도면.

도 13은 제 2 실시형태에 있어서 행하여지는 처리를 나타내는 플로우챠트.

도 14는 제 3 실시형태에 있어서의 노출 조정 처리 및 합성 처리의 개념도.

도 15는 제 3 실시형태에 있어서의 저노출 화상용 테이블을 나타내는 도면.

도 16은 제 3 실시형태에 있어서의 고노출 화상용 테이블을 나타내는 도면.

도 17은 제 3 실시형태에 의해 생성되는 합성 화상에 있어서의 광량과 QL값의 관계를 나타내는 도면.

도 18은 제 3 실시형태에 있어서 행하여지는 처리를 나타내는 플로우챠트.

도 19는 제 4 실시형태에 있어서의 노출 조정 처리 및 합성 처리의 개념도.

도 20은 제 4 실시형태에 있어서의 고노출 화상용 테이블을 나타내는 도면.

도 21은 제 4 실시형태에 있어서의 테이블 변환 후의 고노출 화상에 있어서의 광량과 QL값의 관계를 나타내는 도면.

도 22는 제 4 실시형태에 있어서의 게인 처리 후의 고노출 화상에 있어서의 광량과 QL값의 관계를 나타내는 도면.

도 23은 제 4 실시형태에 있어서 행하여지는 처리를 나타내는 플로우챠트.

도 24는 제 5 실시형태에 있어서의 노출 조정 처리 및 합성 처리의 개념도.

도 25는 제 5 실시형태에 있어서 행하여지는 처리를 나타내는 플로우챠트.

(도면의 주요 부분에 대한 부호의 설명)

1 - 디지털 카메라 2 - 촬상부

8 - 내부 메모리 12 - 노출 조정부

13 - 합성부 15 - CPU

Claims (10)

1. 노출이 다른 복수개의 화상을 취득하는 화상 취득 수단;

   상기 복수개의 화상 각각을 비트 확장하면서 상기 복수개의 화상 중 가장 노출이 낮은 제 1 화상에 상기 복수개의 화상의 노출을 맞추는 노출 조정 처리를 행하는 노출 조정 수단; 및

   상기 노출 조정 처리가 행하여진 복수개의 화상을 합성해서 합성 화상을 생성하는 합성 수단을 구비한 것을 특징으로 하는 화상 처리 장치.
2. 제 1 항에 있어서,

   상기 노출 조정 수단은 상기 제 1 화상 이외의 다른 화상의 밝기를 상기 제 1 화상의 밝기에 맞추도록 보정함과 아울러 비트 확장함으로써 상기 노출 조정 처리를 행하는 수단이고;

   상기 합성 수단은 상기 제 1 화상에 있어서의 상기 다른 화상에 상당하는 정보를 상기 노출 조정 처리가 행하여진 다른 화상의 정보로 치환함으로써 상기 합성 화상을 생성하는 수단인 것을 특징으로 하는 화상 처리 장치.
3. 제 1 항에 있어서,

   상기 노출 조정 수단은 상기 제 1 화상 이외의 다른 화상의 밝기를 상기 제 1 화상의 밝기에 맞추도록 상기 복수개의 화상에 대하여 비트 확장하면서 게인 처 리를 행하고, 상기 게인 처리 후의 복수개의 화상의 중복을 회피하는 오프셋 처리를 행함으로써 상기 노출 조정 처리를 행하는 수단이고;

   상기 합성 수단은 상기 노출 조정 처리가 행하여진 복수개의 화상을 가산함으로써 상기 합성 화상을 생성하는 수단인 것을 특징으로 하는 화상 처리 장치.
4. 제 3 항에 있어서,

   상기 노출 조정 수단은 상기 복수개의 화상 각각의 밝기를 입력으로 하고, 상기 게인 처리 및 상기 오프셋 처리 후의 밝기를 출력으로 하는 테이블을 참조함으로써 상기 게인 처리 및 상기 오프셋 처리를 행하는 수단인 것을 특징으로 하는 화상 처리 장치.
5. 제 4 항에 있어서,

   상기 테이블은 상기 합성 화상에 있어서의 상기 복수개의 화상 각각의 밝기의 포화 부분이 점차 변화되도록 상기 게인 처리 및 상기 오프셋 처리를 행하는 테이블인 것을 특징으로 하는 화상 처리 장치.
6. 제 1 항에 있어서,

   상기 노출 조정 수단은 상기 복수개의 화상에 있어서의 포화 부분의 밝기가 점차 변화됨과 아울러 상기 복수개의 화상의 중복을 회피하는 오프셋 처리를 행하도록 상기 복수개의 화상을 테이블에 의해 변환하고, 상기 변환된 복수개의 화상에 대하여 비트 확장하면서 게인 처리를 행함으로써 상기 노출 조정 처리를 행하는 수단이고;

   상기 합성 수단은 상기 노출 조정 처리가 행하여진 복수개의 화상을 가산함으로써 상기 합성 화상을 생성하는 수단인 것을 특징으로 하는 화상 처리 장치.
7. 제 1 항에 있어서,

   상기 노출 조정 수단은 상기 복수개의 화상에 대하여 순차적으로 상기 노출 조정 처리를 행하는 수단이고;

   상기 합성 수단은 상기 노출 조정 처리가 행하여진 각 화상을 순차적으로 합성하는 수단인 것을 특징으로 하는 화상 처리 장치.
8. 제 1 항에 있어서,

   상기 화상 취득 수단은 촬영에 의해 화상을 취득하는 촬영 수단; 및

   상기 동일 씬에 대하여 노출을 다르게 한 복수회의 촬영을 행함으로써 상기 복수개의 화상을 취득하도록 상기 촬영 수단을 제어하는 촬영 제어 수단을 구비한 것을 특징으로 하는 화상 처리 장치.
9. 노출이 다른 복수개의 화상을 취득하고;

   상기 복수개의 화상 각각을 비트 확장하면서 상기 복수개의 화상 중 가장 노출이 낮은 제 1 화상에 상기 복수개의 화상의 노출을 맞추는 노출 조정 처리를 행 하고;

   상기 노출 조정 처리가 행하여진 복수개의 화상을 합성해서 합성 화상을 생성하는 것을 특징으로 하는 화상 처리 방법.
10. 노출이 다른 복수개의 화상을 취득하는 순서;

    상기 복수개의 화상 각각을 비트 확장하면서 상기 복수개의 화상 중 가장 노출이 낮은 제 1 화상에 상기 복수개의 화상의 노출을 맞추는 노출 조정 처리를 행하는 순서; 및

    상기 노출 조정 처리가 행하여진 복수개의 화상을 합성해서 합성 화상을 생성하는 순서를 갖는 것을 특징으로 하는 화상 처리 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.

Images