KR101581896B1

KR101581896B1 - 복수매의 촬영 화상을 합성하는 기능을 갖는 촬상장치

Info

Publication number: KR101581896B1
Application number: KR1020130014317A
Authority: KR
Inventors: 요시타카 타케우치
Original assignee: 캐논 가부시끼가이샤
Priority date: 2012-02-08
Filing date: 2013-02-08
Publication date: 2015-12-31
Also published as: KR20130091691A; US20130215288A1; TW201334506A; JP5990004B2; US9414035B2; JP2013162479A; CN103248902A

Abstract

본 발명은 다중 노출 촬영에 있어서, 복수의 화상을 서로 섞지 않고 겹칠 수 있는 디지털 카메라를 제공한다. 디지털 카메라는 복수의 색성분의 컬러 필터로 구성되는 촬상소자와, 상기 촬상소자로 피사체상을 촬상하고, 화상 데이터를 출력하는 촬상 유닛과, 상기 촬상 유닛으로부터 출력되는 제1 화상 데이터와 상기 촬상 유닛으로부터 출력되는 제2 화상 데이터를, 화면 내의 대응하는 영역의 화상 데이터끼리 비교하는 비교 유닛과, 비교 결과에 따라 영역마다 상기 제1 화상 데이터 또는 상기 제2 화상 데이터 중의 어느 하나를 출력하는 선택 유닛을 구비한다.

Description

복수매의 촬영 화상을 합성하는 기능을 갖는 촬상장치{IMAGE CAPTURING APPARATUS PROVIDED WITH A FUNCTION OF COMBINING A PLURALITY OF CAPTURED IMAGES}

본 발명은 복수매의 촬영 화상을 합성하는 다중 노출 촬영 기능을 갖는 촬상장치에 관한 것이다.

다중 노출 촬영을 하는 방법은 2가지가 있다. 하나의 방법은, 복수회 촬영 후에, 촬상소자로부터의 데이터를 단순히 가산하는 방법이다. 또 다른 방법은, 일본국 공개특허공보 특개 2006-128740호에 나타나 있는 바와 같이, 가산 처리하는 촬영 매수만큼 노출을 감소시키는 제산 처리를 하고나서 가산 처리하는 방법이다. 어느 쪽의 경우든, 가산 처리 후의 화상 데이터를 현상해서 기록 매체에 기록하고, 다중 노출 촬영을 종료한다. 후자의 방법에서는, 복수매의 화상을 다중해도, 다중된 화상의 매수에 해당하는 부(-) 게인만큼 화상을 평균적으로 다중화하므로, 합성된 화상이 포화해서 파탄하기 어렵다.

그렇지만, 일본국 공개특허공보 특개 2006-128740호에 개시된 바와 같은 종래기술에서는, 원하는 화상이 취득되지 않는 경우가 있다. 예를 들면, 도 11a에 나타낸 밤의 산 위에 있는 달과, 도 11b에 나타낸 낮의 산 위에 있는 구름을 다중 촬영하고 촬영된 화상을 합성할 때에, 합성된 화상이 원하는 화상이 아닌 경우가 있다. 원래, 도 11d에 나타낸 것과 같이, 달과 구름의 밝기가 원래대로 찍힌 사진이 자연스러워 보인다. 그렇지만, 단순 가산 혹은 평균 가산을 이용하는 다중 촬영에 있어서의 종래의 화상처리방법에서는, 달과 하늘, 혹은 하늘, 구름과 산의 밝기가 서로 혼합되어서, 약간 어둡고 부자연스러운 화상이 얻어진다.

본 발명은, 다중 노출 촬영에 있어서 복수의 화상을 합성할 때에 적절히 이들 화상을 중첩할 수 있는 다중 촬영 기능을 갖는 촬상장치를 제공한다.

본 발명의 그 외의 특징 및 국면은 첨부도면을 참조하면서 이하의 예시적인 실시예의 상세한 설명으로부터 분명해질 것이다.

도 1은 본 발명의 제1 예시적인 실시예에 따른 디지털 카메라에 의한 다중 촬영의 처리 흐름을 나타내는 블럭도다.
도 2는 본 발명의 제2 예시적인 실시예에 따른 디지털 카메라에 의한 다중 촬영의 처리 흐름을 나타내는 블럭도다.
도 3은 본 발명의 제3 예시적인 실시예에 따른 디지털 카메라에 의한 다중 촬영의 처리 흐름을 나타내는 블럭도다.
도 4는 본 발명의 예시적인 실시예에 따른 다중 촬영 기능을 갖는 디지털 카메라에서의 각 처리부의 구성을 나타내는 블럭도다.
도 5는 종래의 다중 처리의 흐름을 나타낸 도면이다.
도 6은 도 1의 화상 처리에 대응하는 플로차트다.
도 7은 도 2의 화상 처리에 대응하는 플로차트다.
도 8은 도 3의 화상 처리에 대응하는 플로차트다.
도 9a 내지 9g는 본 발명의 예시적인 실시예에 따른 화상 데이터의 각 화소의 색 성분의 구성을 도시한 도면이다.
도 10a 내지 10f는 필터 처리나 매트릭스 변환 처리를 행한 후의 각 화소의 데이터를 나타낸 도면이다.
도 11a 내지 11d는 다중 촬영의 결과로서 취득된 화상을 나타내는 도면이다.
도 12a 내지 12c는 다중 촬영의 결과로서 취득된 화상을 나타내는 도면이다.
도 13은 각 화소마다의 대소 비교의 결과로서 출력된 화소를 나타내는 도면이다.

본 발명의 다양한 예시적인 실시예, 특징, 및 국면에 대해서는 도면을 참조하면서 이하에 상세히 설명할 것이다.

도 5를 참조하여, 일반적인 자동 노출 보정 방법에 의해 행해지는 다중 노출 촬영(촬영한 화상을 이용해서 합성 화상을 발생하는 촬영)에 대해서 설명한다.

디지털 카메라로 1번째의 촬영을 찍힌 화상 데이터 RAW 1(501)은, 화이트 밸런스 처리부 1(502)에서 화이트 밸런스 처리 1 된 후, 일단 메모리 1(503)에 축적된다.

화이트 밸런스 처리 1로 처리된 화상 데이터에 대해서는, 합성 화상에 사용하기 위해서, 다중 노출 매수에 의해서 부(-) 게인이 작용한다. 본 경우에는, 2회분의 촬영의 합성을 행하므로, 1/2의 게인이 화상 데이터(504)에 작용한다.

마찬가지로, 2번째의 촬영으로 취득되는 디지털화된 화상 데이터 RAW 2(511)는, 화이트 밸런스 처리부 2(512)에서 화이트 밸런스 처리된다. 처리된 화상 데이터 RAW 2(511)는, 일단 메모리 2(513)에 축적되고, 다음에 (514)에 있어서의 화상에 대해서 1/2의 부(-) 게인이 작용한다. 그 후에, 2회 촬영한 화상 데이터는, 가산부(541)에서 2화면의 같은 위치에 있는 화소마다 가산 처리된다.

이와 같이 가산된 합성 화상에 대하여, 프리필터(562)에서 디모자이크(demosaic) 처리를 행한다. 예를 들면, 도 9a에 나타낸 바와 같이, ＲＧＢ의 3색의 컬러 필터가 베이어 배열(Bayer array)로 배치된 촬상소자에 의해 취득된 RAW 화상 데이터가 테이크업(taked up)된다.

도 9a에 나타낸 배열로 배열된 데이터는, R화소, G화소, 및 B화소의 3플레인 9b, 9c, 9d로 각각 나누어질 수 있다. 데이터가 없는 화소에는 0을 삽입한다. 그리고, 각각의 플레인이, 수평방향 및 수직방향(562)으로 탭 필터되고, 도 9b부터 도 9e까지, 도 9c부터 도 9f까지, 도 9d부터 도 9g까지 0으로 채워진다. 예를 들면, 3탭 필터는 "1-2-1"의 로패스 필터 특성을 갖고, 5탭 필터는 "1-4-6-4-1"의 로패스 필터 특성을 갖는다.

이와 같이 취득된 ＲＧＢ의 3플레인의 화상 데이터에 대하여, 매트릭스 변환 처리(563)를 행하고, 도 9e, 도 9f, 및 도 9g의 각 화소마다 ＲabＧabＢab가, 도 10a, 도 10b, 및 도 10c에 나타낸 바와 같이 휘도신호 Ｙ ab, 색차 신호 Cr ab 및 색차 신호 Cb ab의 1화면의 화상 데이터로 매트릭스 변환된다.

이 ＹCrCb 데이터에 대해서는, 현상 처리(564)에 있어서, 감마 처리, 샤프니스(sharpness) 처리, 및 색 변환처리 등의 각종 화상 처리가 행해진다. 그 결과, 다중 촬영에 있어서의 최종 화상 데이터가 취득 및 출력되어서, 기록 매체(565)에 기록된다. 이상으로, 1번째 및 2번째 촬영으로 촬영된 화상 데이터의 다중 가산 처리를 완료한다.

이하, 1번째 및 2번째 촬영에 있어서의 다중 화상에 대해서는, 한층 더 3번째의 촬영 결과를 다중할 경우에 대해서, 파선으로 나타낸 블럭도의 분리된 부분을 참조하여 이하에 설명한다. 이 경우에 사용된 하드웨어 디바이스는 1번째 및 2번째의 촬영에 있어서의 다중 가산 처리에 사용된 하드웨어와 공통 부분을 가지고 있기 때문에, 파선의 하측부분의 설명에서는, 메모리와 가산 처리 및 현상 처리 등의 화상 처리에 대해서는 공통 참조번호가 사용된다.

3번째의 촬영 결과를 다중할 때는, 1번째의 RAW 데이터가 2번째의 RAW 데이터에 가산된(541) 출력 데이터를 미리 메모리 1(503)에 축적해 둔다. 3번째의 촬영이 행해지면, 3번째의 촬영 화상 RAW 3(531)을 화이트 밸런스 처리부 3(532)에 있어서 화이트 밸런스 처리하고, 일단 메모리 2에 축적한다.

여기에서, 1번째의 촬영 화상이 2번째의 촬영 화상에 가산되어 있는, 메모리 1(503)로부터 판독된 화상 데이터와, 메모리 2(513)로부터 판독된 3번째의 촬영 화상을 가산할 때, 1, 2번째의 2회 촬영분과 3번째의 1회 촬영분 사이에서 밝기를 분배한다. 1, 2번째 촬영의 화상 데이터에 2/3의 부(-) 게인을 곱하고(524), 3번째 촬영의 화상 데이터에 1/3의 부(-) 게인을 곱하며(534), (541)에 있어서 화소마다 가산을 행한다.

가산 처리된 데이터에 관해서는, 1, 2번째의 가산 결과의 현상 처리와 유사한 프리필터(562)에 있어서, 도 9a에 배열된 화상 데이터에 대하여, 디모자이크 처리 및 필터 처리를 행한다. 그 후에, 매트릭스 변환 처리(563) 및 현상 처리(564)를 행하고, 그 다음에 3회 촬영분의 다중 가산 화상의 최종 데이터를 기록 매체에 기록한다.

복수매의 화상을 다중해도, 이들 화상에 다중된 화상의 매수만큼 평균적으로 부(-) 게인을 곱해서, 합성된 화상이 포화해서 파탄하기 어려운 자동 노출 보정 방식의 다중 촬영을 행할 수 있다.

상술한 구성과 비교해서, 본 예시적인 실시예에서는, 촬영한 2매의 화상을 합성할 때, 각 화상을 복수의 화소로 구성되는 영역으로 분할하고, Ｒ, G, B 화소의 평균값에 근거해서, 명도(Br), 채도(S), 색상(H)을 취득한다. 취득된 Br, S, H를 같은 위치에 있는 영역끼리 비교하고, 그들의 값이 큰 쪽의 영역의 화소를 남긴다. 본 예시적인 실시예의 포인트인, 이 치환에 의해 취득된 1화면 전체의 화상을 처리해서 출력한다.

이하에, 본 발명의 예시적인 실시예를, 첨부 도면을 참조해서 상세히 설명한다. 도 1은, 본 발명의 제1 예시적인 실시예에 따른 화상 처리의 흐름을 나타내는 블럭도이다. 도 6은 도 1의 처리를 설명하는 플로차트다.

도 4는, 다중 촬영 기능을 갖는 촬상장치의 일례로서의 디지털 카메라의 화상 처리를 나타내는 구성도다.

(도면에 나타내지 않은) 렌즈를 투과한 피사체의 광선은 셔터 부분을 통해서 촬상소자(401)에 결상된다. 촬상소자(401)는 촬영 지시에 따라 피사체상을 촬상한다. 촬상소자(401)로 광전 변환되는 출력 아날로그 신호는 ＡＤ 변환부(402)에 있어서 디지털 화상 데이터(420)(이하, RAW 데이터라고 부른다)로 변환된다.

촬상소자(401)는, 도 9a에 나타나 있는 바와 같은 R(적색), G(녹색), B(청색)의 복수 색성분의 컬러 필터와, 각 대역의 광선을 수광하는 화소를 포함한다. 이들 화소는 베이어 배열로 배열되어 있고, RAW 데이터(420)는, R, G, B의 화상 데이터로 이루어져 있다. 도 9a 내지 도 9g의 ＲＧＢ에 첨부되어 있는 수치는, ＲＧＢ의 매트릭스의 위치를 나타낸다. 예를 들면, R24는, 3줄째 및 5열째에 위치된 Ｒ화소를 나타낸다.

RAW 데이터(420)는, 화이트 밸런스(ＷＢ) 처리부(403)에 있어서 화이트 밸런스 처리된다. 화이트 밸런스를 행하기 위한 화이트 밸런스 제어값은, CPU(central processing unit)(404)로부터 공급된다.

CPU(404)는, RAW 데이터를 해석해서 최적의 화이트 밸런스 값을 산출한다. 또한, CPU(404)는, 미리 다양한 광원의 색에 최적인 화이트 밸런스 제어값의 테이블을 (도면에 나타내지 않은) ＲＡＭ(random aceess memory)에 준비해서, 유저가 지정한 테이블을 선택해서 공급한다. 유저는 자유롭게 자동 화이트 밸런스나 각 광원에 알맞은 프리세트(pre-set) 화이트 밸런스로 전환하고, 화이트 밸런스 제어값을 출력한다.

화이트 밸런스 처리된 RAW 데이터는, 메모리(405)에 일단 기억된다. 메모리(405)에는, 복수회의 촬영에서의 RAW 데이터를 기억하는 영역이 확보되어 있어서, 촬영마다 다른 영역에 화상 데이터를 기록한다.

메모리(405)는, 메모리 제어부(406)에 의해 제어된다. 메모리 제어부(406)는 메모리(405)에 데이터를 기록하거나 메모리로부터 데이터를 판독할 때, "몇 번째 촬영의 화상 데이터"인지 "화면 내의 어느 화소의 위치(어드레스)"인지를 나타내도록 제어를 행할 수 있다.

다음의 비교 처리부(407)는, 복수의 화면의 각각으로부터 화소를 메모리 제어부(406)에 의해 지정된 위치 정보(어드레스)를 참조해서 메모리(405)로부터 판독해서, 그들의 대소관계를 판정한다. 비교 처리부(407)로부터 출력되는 비교 결과는, 어느 화면 및 어느 화소가 대소관계의 비교 결과로서 선택되었는지를 나타내도록 선택된 화면의 어드레스를 나타낸다.

이와 같이 출력되는 비교 결과는, 메모리 제어부(406)로 피드백된다. 이 비교 처리부(407)는, 본 발명의 포인트이므로, 상세한 것은 후술한다.

메모리 제어부(406)에 입력된 비교 결과가 나타내는 어드레스에 따라, 1화면의 화소를 판독한다. 판독된 1화면분의 화소로 이루어지는 화상 데이터는, 로패스 필터(ＬＰＦ) 처리부(161)로 전송되고, 후술하는 판독된 화면 간의 경계를 스무딩(smoothing) 처리한다.

다음에, ＬＰＦ 처리된 화상 데이터는, 프리필터 처리부(162)로 전송되고, 여기에서, ＲＧＢ 화소로 구성되는 도 9에 나타나 있는 것과 같은 베이어 배열로 배열된 화상 데이터는, R화소, G화소, B화소로 구성된, 3개의 가상 평면도, 도 9b, 도 9c, 및 도 9d로 나눠질 수 있다. 각 평면 내에 화소가 존재하지 않는 위치는 0으로 채워진다.

각각의 평면이, 수평방향 및 수직방향으로 탭 필터되고, 이들 평면은 도 9b 내지 도 9e, 도 9c 내지 도 9f 및 도 9d 내지 도 9g에 나타낸 바와 같이 0으로 보간된다. 예를 들면, 3탭 필터는 "1-2-1"의 로패스 필터 특성을 가지면 되고, 5탭 필터는 "1-4-6-4-1"의 로패스 필터 특성을 가지면 된다. 이상과 같이, 프리필터 처리부(462)에 의해 취득되는 3평면의 ＲＧＢ의 화상 데이터에 대하여, 매트릭스 변환 처리부(463)에 있어서 매트릭스 변환 처리를 행한다.

도 9e, 도 9f, 및 도 9g의 같은 위치에 있는 각 화소마다 Ｒab-Ｇab-Ｂab로부터 도 10a, 10b, 10c에 나타낸 바와 같이 휘도신호 Ｙ ab - 색차 신호 Cr ab - 색차 신호 Cb ab의 화상 데이터로 매트릭스 변환 처리를 행한다.

그리고, 이 ＹCrCb의 3차원 화상 데이터에 대하여, 현상 처리부(464)에 있어서, 감마 처리, 샤프니스 처리, 및 색 변환처리 등의 각종 처리가 행해진다. 그 후에, 화상 데이터가 최종 화상 데이터로서 출력되어, 기록 매체(465)에 ＹCrCb으로 구성되는 ＪＰＥＧ 화상 데이터로서 기억된다.

다음에, 본 발명의 포인트인, 디지털 카메라로 촬영된 복수매의 화상을 다중하는 방법을, 도 1의 처리 흐름에 근거해서 도 6의 플로차트의 각 스텝을 참조하면서 설명한다.

촬영된 RAW 데이터(420) 중, 처음으로 촬영된 RAW 데이터(제1 화상 데이터)를 RAW 1(101)라고 하고, 두 번째로 촬영된 RAW 데이터(제2 화상 데이터)를 RAW 2(111)라고 하며, 세 번째로 촬영된 RAW 데이터(제3 화상 데이터)를 RAW 3(131)라고 한다.

첫 번째로 촬영된 RAW 1(101) 및 두 번째로 촬영된 RAW 2(111)은, ＷＢ 처리부(403)에서, 스텝 603 및 스텝 606의 화이트 밸런스 처리 1(102) 및 화이트 밸런스 처리 2(112) 된다.

화이트 밸런스 처리 1(102) 및 화이트 밸런스 처리 2(112)에서, 제어값은 촬영마다 유저가 변경해서 달라도 괜찮다.

화이트 밸런스 처리된 RAW 1 및 RAW 2는, 일단 스텝 604 및 스텝 607에서 각각 공간 메모리 1(103) 및 공간 메모리 2(113)에 기억된다. 공간 메모리 1(103) 및 공간 메모리 2(113)는, 메모리(405) 내에 확보되어 있다.

메모리로부터 판독된 화상 데이터는, 화상 데이터(104 및 114) 및 화상 데이터(105 및 115)로 분기된다. 화상 데이터(104 및 114)는 화상을 다중할 때에 화소의 명암을 판정하기 위해서 사용된다. 화상 데이터(105 및 115)는 최종 화상을 얻기 위해 본 화상을 다중 처리할 때 사용된다.

스텝 608에서, 명암의 판정용의 화상 데이터(104 및 114)에 대해서 영역 분할 처리(141 및 144)를 각각 행한다. 화상 데이터는, 영역 분할 처리(141 및 144)를 통해서, 화면 내에서 균등한 크기의 블록 영역으로 분할된다. 예를 들면, 하나의 블록이 16화소(4화소(종) × 4화소(횡))를 1단위로서 포함하도록, 화면을 구분한다. 이 화면 내에서는, 하나의 블록이 4화소(R), 8화소(G), 및 4화소(B)로 구성된다.

스텝 609에서, 평균값 산출 처리(142 및 145)는 영역 분할에 의해 취득된 각 블록마다 행해진다. 평균값 산출(142 및 145)에서, R, G, 및 B의 평균값은, 색성분별로 산출된다. 이 산출에 있어서는, 예를 들면 R, G, 및 B의 기여율을 변경할 목적 등으로 필요에 따라 가중 평균을 행해도 된다.

도 9a는, 1화면의 좌상단의 위치를 나타낸다. 이 블록(00) 내에서는, 다음과 같이 계산된다.

Rave00 = (R00 + R02 + R20 + R22)/4 ...(1)

Gave00 = (G01 + G03 + G10 + G12 + G21 + G23 + G30 + G32)/8 ...(2)

Bave00 = (B11 + B13 + B31 + B33)/4 ...(3)

상기의 식을 다른 블록에도 마찬가지로 적용하고, 도 10a 내지 도 10c에 나타낸 Rave, Gave, 및 Bave의 3평면의 데이터를, 3×3 매트릭스 1을 사용하여, 도 10d 내지 도 10f에 나타낸 Br, S, H의 요소로 변환한다. 이 처리는 스텝 610에서 행해지는 매트릭스 1 변환 처리(143 및 146)이다. 매트릭스 1 변환 처리(143 및 146)에서는, 같은 매트릭스 계수를 사용하고 있다.

이와 같이 취득된 명도성분에 대해서, 제1 화면과 제2 화면 내의 같은 위치에 위치된 블록끼리 비교하는 명도 비교 처리(147)를 행한다. 명도가 같은 레벨이 아닌 경우(스텝 611에서 No), 처리가 스텝 612로 진행된다. 1번째 촬영의 메모리 1(103)로부터 판독된 블록(00)의 명도가, 2번째 촬영의 메모리 2(113)로부터 판독된 블록(00)의 명도보다도 컸을 때(스텝 612에서 Yes), 처리는 스텝 613으로 진행된다. 스텝 613에서는, 블록(00) 내의 화소의 각 어드레스와, 이 어드레스에 동기시킨 1번째 촬영에 있어서의 정보를 비교 결과(150)로서 출력한다.

1번째 촬영의 메모리 1(103)로부터 판독된 블록(00)의 명도가, 2번째 촬영의 메모리 2(113)로부터 판독된 블록(00)의 명도보다도 작았을 때(스텝 612에서 No), 처리가 스텝 614로 진행된다. 스텝 614에서는, 블록(00) 내의 화소의 각각의 어드레스와 이 어드레스에 동기시킨 2번째 촬영에 있어서의 정보를 비교 결과(150)로서 출력한다.

1번째 촬영의 메모리 1(103)로부터 판독된 블록(00)의 명도와, 2번째 촬영의 메모리 2(113)로부터 판독된 블록(00)의 명도가 같을 때(스텝 611에서 Yes), 처리가 스텝 615로 진행된다. 스텝 615에서, 블록끼리 채도 비교를 행하는 채도 비교 처리(148)를 행한다.

비교 결과, 채도가 같은 레벨이 아닌 경우(스텝 615에서 No), 처리가 스텝 616으로 진행된다. 한층 더, 1번째 촬영의 메모리 1(103)로부터 판독된 블록(00)의 채도가, 2번째 촬영의 메모리 2(113)로부터 판독된 블록(00)의 채도보다도 컸을 때(스텝 616에서 Yes), 처리가 스텝 617로 진행된다. 스텝 617에서는, 블록(00) 내의 화소의 각각의 어드레스와 이 어드레스에 동기된 1번째 촬영에 있어서의 정보를 비교 결과(150)로서 출력한다.

1번째 촬영의 메모리 1(103)로부터 판독된 블록(00)의 채도가, 2번째 촬영의 메모리 2(113)로부터 판독된 블록(00)의 채도보다도 작았을 때(스텝 616에서 NO), 처리가 스텝 618로 진행된다. 스텝 618에서는, 블록(00) 내의 화소의 각각의 어드레스와 그 어드레스에 동기된 2번째 촬영에 있어서의 정보를 비교 결과(150)로서 출력한다.

1번째 촬영의 메모리 1(103)로부터 판독된 블록(00)의 채도와, 2번째 촬영의 메모리 2(113)로부터 판독된 블록(00)의 채도가 같을 때(스텝 615에서 Yes), 처리가 스텝 619로 진행된다. 스텝 619에서는, 같은 위치에 있는 블록끼리 색상 비교를 행하는 색상 비교 처리(149)를 행한다.

1번째 촬영의 메모리 1(103)로부터 판독된 블록(00)의 색상이, 2번째 촬영의 메모리 2(113)로부터 판독된 블록(00)의 색상과 같거나 그 색상보다 컸을 때(스텝 619에서 Yes), 처리가 스텝 620으로 진행된다. 스텝 620에서는, 블록(00) 내의 화소의 각각의 어드레스와 이 어드레스에 동기시킨 1번째 촬영에 있어서의 정보를 비교 결과(150)로서 출력한다.

1번째 촬영의 메모리 1(103)로부터 판독된 블록(00)의 색상이, 2번째 촬영의 메모리 2(113)로부터 판독된 블록(00)의 색상보다도 작았을 때(스텝 619에서 No), 처리가 스텝 621로 진행된다. 스텝 621에서는, 블록(00) 내의 화소의 각각의 어드레스와 이 어드레스와 동기된 2번째 촬영에 있어서의 정보를 비교 결과(150)로서 출력한다.

스텝 622에 있어서, 이상과 같이 취득된 각 화소의 어드레스와 1번째 또는 2번째 촬영에 있어서의 정보를 조합한 정보는, 메모리 제어부(406)에서 어드레스 관리된다(140).

스텝 623에서 모든 블록에 대한 비교 결과가 출력되면, 메모리 제어부(406)는 어드레스 관리 처리(140)에서, 1화면분의 화상 데이터를 화소마다 메모리로부터 판독한다. 이때, 판독한 화소와 동기하고 있는 정보가 1번째 촬영을 나타낼 때는, 화소가 스위치(151)에 의해 전환되고, 스텝 624에 있어서 메모리 1(103)로부터의 화소 데이터가 메모리부(405)로부터 출력된다. 판독한 화소와 동기하고 있는 정보가 2번째 촬영을 나타낼 때는, 스텝 624에서 화소가 전환되고 메모리 2(113)로부터의 화소 데이터가, 메모리부(405)로부터 출력된다.

이 경우, 3번째 이후의 촬영을 행해서 1, 2번째 촬영의 다중 화상에 대해서 다중하는 경우에는, 카메라 내의 각 처리부로서, 1, 2번째 촬영에 사용된 것과 같은 처리부를 사용한다.

처리 흐름을 나타내는 도 1에서는, 처리 흐름의 설명을 알기 쉽게 하기 위해서, 3번째 이후의 촬영의 다중 처리를, 도면의 상측 부분의 일부와 같은 흐름을 나타내는 하측 부분을 분리하는 파선(180)으로 나눈다.

스텝 630에서, 메모리부(405)로부터 출력되는 1, 2번째 촬영의 다중된 화상 데이터를, 다시 메모리 1(103)에 저장한다. 다음에, 스텝 S632에서, 3번째의 촬영을 행했을 때 얻은 화상 데이터 RAW 3(131)은, 1, 2번째 처리와 같은 ＷＢ 처리부(403)에 있어서, ＷＢ 제어값을 사용해서 ＷＢ 처리 3(132) 된다.

그 후에, 스텝 633에서, 3번째 촬영의 화상 데이터는, 메모리 2(113)에 저장된다. 이후, 메모리 1(103)과 메모리 2(113) 내의 화상 데이터의 다중 처리는, 상기 1번째 및 2번째 촬영의 다중 처리(스텝 608 내지 스텝 624)와 같다.

다중 촬영을 종료한 후, 스텝 629에서, 다음 촬영을 행할 것인지 아닌지를 판단한다. 이 촬영을 종료한다고 판단했을 때, 처리는 스텝 630으로 진행된다. 스텝 630에서는, 메모리 1(103) 및 메모리 2(113)로부터 스위치 ＳＷ(151)에 의해 화소마다 변환되어서 출력되는 다중 화상 데이터는, ＬＰＦ 처리부(461)로 전송되어, ＬＰＦ 처리된다.

이 ＬＰＦ는, 1번째 및 2번째 촬영 간의 인접하는 블록의 경계를 보기 어렵게 하는 처리를 행한다. 예를 들면, 도 9a에 나타낸 베이어 배열의 화소 데이터를 도 9b, 9c, 및 9d에 나타낸 ＲＧＢ 평면에 전개한다. (1-4-6-4-1)의 5탭 필터 등을 사용하여, RGB의 동일 화소 데이터 사이에서 수평 및 수직으로 LPF 특성의 필터를 적용해도 된다.

다음에, 스텝 631에서, 프리필터 2 처리부(462)에 있어서, 적응 보간 처리(162)를 행해서 도 9e, 9f, 9g의 각 화소의 ＲＧＢ값을 취득함으로써 1번째 및 2번째 간의 인접하는 블록의 경계를 보기 어렵게 한다. 예를 들면, 도 9f의 Ｇ33의 화소값을 취득할 때, 종방향 및 횡방향의 화소 간의 차분을 조사하는 다음 식이 채용된다.

Y = |-R13 + 2·R33 - R53| + |G23 - G43| (종방향) ...(4)

X = |-R31 + 2·R33 - R35| + |G32 - G34| (횡방향) ...(5)

여기에서, X와 Y의 대소 관계에 의해, 횡방향 및 종방향으로 판별을 행해서 방향성을 체크하고 보간 화소값을 취득한다.

G33 = (G23 + G43)/2 (X>Y) ...(6)

G33 = (G32 + G34)/2 (X<Y) ...(7)

G33 = (G23 + G43 + G32 + G34)/4 (X=Y) ...(8)

이와 같이, 프리필터 2 처리를 통해서 평활화된 ＲＧＢ의 3평면으로 구성되는 다중 화상 데이터는, 매트릭스 2 변환 처리부(463)로 전송된다. 스텝 632에서는, 매트릭스 2 변환 처리(163)를 통해서, 도 9e, 9f, 9g의 각 화소마다의 ＲabＧabＢab는, 도 10a, 10b, 10c에 나타낸 바와 같이 ＹabCrabCbab의 화상 데이터로 매트릭스 변환된다.

매트릭스 2 변환 처리(163)의 변환 계수는, 비교 처리부(407)에서의 매트릭스 1 변환 처리(143, 146)의 변환 계수와 달라도 된다. 현상 처리 결과로서 취득된 화질이 허용가능하면 어떤 계수든 사용가능하다.

스텝 633에서, 이 ＹCrCb 데이터에 대하여, 현상 처리부(464)에 있어서, 감마 처리, 샤프니스 처리, 또는 색 변환 처리 등을 포함하는 현상 처리(164)가 행해진다. 스텝 644에서, 현상 처리된 화상 데이터가 최종 합성 화상 데이터로서 출력되어서, 기록 매체 기록부(465)에 의해서 기록 매체에 기억된다(165).

이상과 같이, 본 예시적인 실시예에서는, 여러 번 촬영된 화상 데이터에 대해서, 각 화면을 영역 분할해서 같은 색의 평균값을 취득한다. 이 평균값은 매트릭스 변환되고, 같은 위치에 있는 데이터는 서로 비교한다. 비교 결과, 화상 데이터로서 어느 쪽의 촬영 화상의 화소를 선택할지를 판단한다. 이에 따라, 도 11c 대신에, 도 11d에 나타낸 바와 같이 다중 촬영된 복수의 화상을, 서로 혼합하지 않고 다중하는 것이 가능하다.

본 예시적인 실시예에서는, 화면을 영역 분할해서, 복수의 화소(M화소×N화소)로 구성되는 영역마다 평균값을 계산한다. 그러나, 이 영역 분할 대신에, 각 화소마다, 타겟 화소를 중심으로 M화소 ｘＮ화소의 영역을 설정하여, 그 영역 내의 같은 색의 인접 화소의 평균값을 계산해도 된다.

예를 들면, 도 9a에 있어서, R22을 타겟 화소라고 한다. 이 화소 R22를 중심으로 5화소 x 3화소의 영역 내에서 같은 색 화소끼리의 평균값은 산출한다. 이 경우, R22 중심의 블록 내에서는, 다음과 같이 계산된다.

Rave (R22) = (R20 + R22 + R24)/3 ...(9)

Gave (R22) = (G10 + G12 + G14 + G21 + G23 + G30 + G32 + G34)/8 ..(10)

Bave (R22) = (B11 + B13 + B31 + B33)/4 ...(11)

스텝 610에서, 상기한 바와 같은 식을 통해서 계산된 평균값(즉, Rave(R), Gave(R), Bave(R))을, 도 10d, 10e, 10f에 나타나 있는 바와 같이 Br, Ｓ, Ｈ의 요소로 매트릭스 변환한다(143 및 146). 산출된 값에 대해서, (01), (02), (03), ···의 순으로 1화소씩, 명도, 채도, 색상의 우선순으로 비교를 행해서, 같은 위치에 있는 화소끼리 어느 화소가 더 큰 값을 갖는지를 판단한다. 이에 따라, 타겟 화소 위치에, 1번째 촬영에서 얻은 화소를 출력해야 할지 2번째 촬영에서 얻은 화소를 출력해야 할지를 결정한다.

이 경우에, 화소마다 1번째 촬영의 화소나 2번째 촬영의 화소가 선택되므로, 블록 간의 경계를 스무스하게 하는 스텝 630의 ＬＰＦ 처리(161)를 생략해도 된다.

또한, 본 예시적인 실시예에서는, 예를 들면, 2화면의 비교로 BrSH 값이 보다 큰 화상을 선택해서 다중 화상을 출력한다. 그러나, 반대로, 보다 작은 BrSH 값을 갖는 화상을, Br, S, H의 우선순으로 선택함으로써 보다 어두운 화상(혹은 색이 밝은 화상, 혹은 색상값이 작은 화상)을 우선해서 중첩하는 것도 가능하다.

이 경우에는, 도 11a 내지 11c에서의 달과 구름의 화상과는 반대로, 도 12c에 나타낸 것과 같은 어두운 화소를, 도 12a 및 12b에서의 촬영 화상으로부터 선택하고, 다중 결과를 출력하는 것이 가능해진다. 이 처리는, 스키장 등의 설경을 배경으로 인물을 겹쳐서 촬영하는 경우에 유효하다.

또한, 본 실시예에서는, 블록마다 비교를 명도, 채도, 색상의 우선순으로 행하고, 비교 결과에 근거해서 화소의 출력을 결정한다. 그러나, 반드시 명도, 채도, 색상 모두에 대해서 비교를 행할 필요는 없지만, 어느 1개에 의거해서 비교를 행해도 된다. 또한, 촬영 모드, 촬영 조건, 및 화상 해석 결과 등에 따라 우선순위를 변경하거나, 명도, 채도, 색상의 비교를 선택적으로 행해도 된다.

이하, 도 2, 도 4, 및 도 7을 참조하여, 본 발명의 제2 예시적인 실시예에 따른 다중 촬영 기능을 가진 디지털 카메라에 관하여 설명한다. 제2 예시적인 실시예에서는, 제1 예시적인 실시예에 따른 복수의 화소로 구성되는 블록 영역 분할 단위의 최소 영역 단위로서, 1화소를 1블록 영역 단위라고 하고, 1번째 촬영과 2번째 촬영을 비교한다.

카메라 내의 각 부의 구성은, 제1 예시적인 실시예에서 설명한 도 4와 같다. 또한, 도 2는 각 처리의 흐름을 나타내는 블럭도이고, 도 7은 블럭도에 대응하는 플로차트이다.

1번째 촬영의 화상 데이터 RAW 1(101) 및 2번째 촬영의 RAW 2(111)가 ＷＢ 1 처리(102) 및 ＷＢ 2 처리(112)되어서 메모리(405)의 메모리 1(103) 및 메모리 2(113)의 영역에 기록될 때까지의 절차는, 제1 예시적인 실시예와 같다.

다음에, 어드레스 관리(140)를 통해서 메모리 1(103) 및 메모리 2(113)로부터 비교 처리부(407)로 화상 데이터(104 및 114)를 전송하는 제어에 관해서 설명한다. 화면의 좌상단에 있는 화소 위치(00)로부터 (01), (02), (03), ···의 순으로 1화소씩 비교 처리를 행한다. 1화소 단위가 비교 처리부(407)에 전송될 때, 수평·수직방향의 인접 화소도 동시에 전송되고, 스텝 S709에서 프리필터 처리 1(241 및 244)를 통해서 수평·수직방향으로 탭 필터된다.

예를 들면, 도 9a에 나타낸 바와 같이 화소가 배치될 때, 도 9b, 9c, 9d에 나타낸 바와 같이 ＲＧＢ의 평면을 0으로 채워서 3평면으로 전개한다. 3평면의 같은 위치에 있는 각 화소에서, 수평·수직방향으로 화소의 연속성을 체크하는 방향 판별을 포함하는 화소 보간을 행한다.

예를 들면, 도 9f의 Ｇ33의 화소값을 취득할 때, 종방향 및 횡방향의 화소 간의 차분을 조사하는 다음 식이 채용된다.

Y = |-R13 + 2·R33 - R53| + |G23 - G43| (종방향) ...(12)

X = |-R31 + 2·R33 - R35| + |G32 - G34| (횡방향) ...(13)

여기에서, X와 Y의 대소 관계에 의거해, 종횡방향으로 판별을 행해서 보간된 화소값을 취득한다.

G33 = (G23 + G43)/2 (X>Y) ...(14)

G33 = (G32 + G34)/2 (X<Y) ...(15)

G33 = (G23 + G43 + G32 + G34)/4 (X=Y) ...(16)

이상과 같이, 스텝 610에서, 프리필터 1 처리(241 및 244)에 의해 평활화된 ＲＧＢ의 다중 화상 데이터를, 제1 예시적인 실시예와 같이, 도 9e, 9f, 9g의 ＲＧＢ으로부터 도 10d, 10e, 10f의 BrSH 데이터로 매트릭스 변환한다. 그 후에, 제1 예시적인 실시예와 같은 방법으로, 1번째 촬영과 2번째 촬영의 BrSH 결과를 비교한다.

이러한 비교 처리를, (01), (02), (03), ···의 순으로 1화소씩 명도, 색상, 색상의 우선순으로 행해서, 같은 위치에 있는 화소들 중에서 보다 큰 값을 나타내는 화소를 결정한다. 이와 같이, 그 위치에서 1번째 촬영의 화소를 출력할지 2번째 촬영의 화소를 출력할지를 결정한다.

또, 제1 예시적인 실시예와 같은 방법으로, 선택된 화소에 의거하여 1화면분의 화상 처리를 행하고, 다중 노출 결과로서, 기록 매체에 처리된 화면을 기록한다. 3번째 촬영 이후의 처리도, 제1 예시적인 실시예에 준한다.

본 예시적인 실시예에서는, 프리필터 1 처리(241, 244)에 의해, 화상의 연속성을 수평·수직방향으로 판별한다. 1화소씩 비교 및 판별을 행하므로, 제1 예시적인 실시예에서 나타낸 ＬＰＦ 처리(161)는 생략할 수 있다.

또한, 프리필터 1 처리(241 및 244)의 특성을 정의하는 각 계수는, 최종적으로 다중된 결과를 출력하기 위한 화상 처리의 프리필터 2 처리(162)의 계수와 달라도 된다. 예를 들면, 프리필터 1 처리(241 및 244)는 최종 출력의 화상 처리에 있어서의 프리필터 2 처리(162)보다도 더 큰 ＬＰＦ 효과를 달성하는 탭 계수(탭수를 늘리는 등)를 가져도 된다.

이렇게 함으로써, Br, S, H의 비교시에, 주변 화소의 영향력을 증가시킨다. 이에 따라, 비교 결과에 있어서, 1번째 촬영 결과에 혼자 남은 2번째의 촬영 결과의 화소인 고립점을 제거할 수 있어, 1번째 촬영 혹은 2번째 촬영의 화상의 연속성을 유지할 수 있다.

이상과 같이, 본 예시적인 실시예에서는, 여러 번 촬영된 화상 데이터를, 각 화면의 화소마다 같은 위치에서 명도 Br, 채도 S, 색상 H으로 전개한다. 전개한 화상 데이터의 비교 결과를 바탕으로, 화상 데이터를 어느 쪽의 촬영 화상의 화소로 할지를 선택한다. 이에 따라, 다중 촬영에 의해 취득된 복수의 화상이 서로 혼합되지 않고 중첩하는 것이 가능해진다.

제3 예시적인 실시예에서는, 제2 예시적인 실시예에 따른 하드웨어 구성을 최대한 간이하게 해서, 처리를 고속화한다. 이하, 도 3, 도 4, 및 도 8을 참조하여, 본 발명의 제3 예시적인 실시예에 따른, 다중 촬영 기능을 갖는 디지털 카메라에 관하여 설명한다.

제3 예시적인 실시예는, 1화소를 1블록 영역의 단위라고 하고, 1번째 촬영과 2번째 촬영을 비교하는 점에서 제2 예시적인 실시예와 같다. 제3 예시적인 실시예는, 비교를 행할 때에, 주변 화소를 참조하지 않고, 타겟 위치에 있는 화소에 대해서만 레벨을 비교하는 점에서 다르다.

디지털 카메라 내의 각 처리부의 구성은, 제1 예시적인 실시예를 참조해서 설명한 도 4와 같다. 각 처리의 흐름을 나타내는 블럭도는 도 3에 표시되어 있고, 이 블록도에 대응하는 플로차트는 도 8에 표시되어 있다.

메모리(405)의 메모리 1(103) 및 메모리 2(113)의 영역에, RAW 1(101) 및 RAW 2(111)가 ＷＢ 1 처리(102) 및 ＷＢ 2 처리(112) 되어서 기록될 때까지의 절차는, 제1 및 제2 실시예와 같다(스텝 601∼607).

다음에, 어드레스 관리(140)에 의해, 메모리 1(103) 및 메모리 2(113)로부터 비교 처리부(407)로 화상 데이터를 전송한다. 도 9a의 화면의 좌측 상단에 있는 화소 위치(00)로부터, (01), (02), (03), ···의 순으로 1화소씩 화상 데이터를 전송한다.

비교 처리부(407)에 있어서, 같은 위치에서의 1번째 촬영의 화소 데이터(104)와 2번째 촬영의 화소 데이터에 대해서는, 스텝 612 및 스텝 614에서, 화소의 레벨의 대소의 비교 처리(347)가 이루어진다. 스텝 622에서는, 그 비교 결과(150)에 의해, 1번째 촬영인지 2번째 촬영인지의 화소의 채용이 결정된다.

이하, 최종 다중 화상의 출력 처리와 3번째 촬영 이후의 동작은, 제1 및 제2 예시적인 실시예와 같다.

이상의 다중 촬영에서의 화상 처리 방법에 있어서, 도 13에 나타낸 바와 같이, 1번째의 촬영에서의 피사체의 적색 부분과 2번째의 촬영에서의 피사체의 청색 부분이 같은 위치에 위치될 수도 있다. 이러한 상황에서, 두 색이 서로 섞이는 경우가 있다. 즉, R화소에 대해서는, 1번째 촬영의 R1 > 2번째 촬영의 R2, B화소에 대해서는, 1번째 촬영의 B1 < 2번째의 촬영의 B2다. 따라서, 1번째의 촬영에서의 Ｒ1 화소와 2번째의 촬영에서의 Ｂ2 화소가 결합해서 현상 처리되므로, 색이 서로 섞이는 경우가 있다.

그렇지만, 처리의 흐름으로부터 알 수 있는 것처럼, 제1 및 제2 예시적인 실시예에 비해서, 대폭 간소한 처리를 실현할 수 있다. 또, 처리 속도도 대폭 고속화할 수 있다. 따라서, 제3 예시적인 실시예를 사용함으로써도, 화상의 명암의 비교를 행해서 화상을 겹치는 다중 촬영을 실현하는 것이 가능해진다.

이상, 본 발명의 바람직한 예시적인 실시예에 관하여 설명했다. 그렇지만, 본 발명은 이들의 실시예에 한정되지 않고, 그 요지의 범위에서 다양한 변형 및 변경이 가능하다.

그 외의 실시예

본 발명의 국면들은, 상술한 실시 예(들)의 기능들을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행하는 시스템 또는 장치의 컴퓨터(또는 CPU 혹은 MPU와 같은 디바이스)에 의해서도 실현될 수 있고, 또 예를 들면 상술한 실시 예의 기능을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 행해지는 방법의 스텝들에 의해 실현될 수 있다. 이 목적을 위해서, 이 프로그램을, 예를 들면 메모리 디바이스(예를 들면, 컴퓨터 판독가능한 매체)로서 기능을 하는 다양한 형태의 기록매체로부터 또는 네트워크를 통해서 컴퓨터에 제공한다.

본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.

Claims

복수의 색성분의 컬러 필터로 구성된 화소를 갖고 화상을 촬상하여 1화면의 화상 데이터를 출력하도록 구성된 촬상소자와,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 화이트 밸런스 처리를 행하는 화이트 밸런스 처리 유닛과,
상기 화이트 밸런스 처리된 화상 데이터를 기억하는 메모리와,
1화면의 하나의 화상 데이터와 1화면의 다른 하나의 화상 데이터를 비교하는 비교 유닛과,
상기 비교 유닛에 의한 비교 결과에 따라, 각 영역마다 상기 화상 데이터 모두로부터 화상 데이터를 선택하고, 1화면의 복수의 선택된 화상 데이터를 포함하는 합성 화상 데이터를 발생하는 발생 유닛과,
상기 합성 화상 데이터에 대하여 화상 처리를 행하는 화상처리유닛과,
상기 화상 처리된 합성 화상 데이터를 기록 매체에 기록하는 기록 유닛을 구비하고,
상기 비교 유닛에 의한 비교는 상기 메모리로부터 판독되고 각 화상 데이터마다 대응하는 영역에 위치하는 화상 데이터 중에서 행해지고,
상기 발생 유닛은 상기 메모리로부터 판독된 화상 데이터 중에서 더 큰 값에 대응하고 상기 비교 유닛에 의한 비교 결과로서 각 화상 데이터마다 대응하는 영역에 위치하는 화상 데이터를 선택하는, 촬상장치.
복수의 색성분의 컬러 필터로 구성된 화소를 갖고 화상을 촬상하여 1화면의 화상 데이터를 출력하도록 구성된 촬상소자와,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 화이트 밸런스 처리를 행하는 화이트 밸런스 처리 유닛과,
상기 화이트 밸런스 처리된 화상 데이터를 기억하는 메모리와,
1화면의 하나의 화상 데이터와 1화면의 다른 하나의 화상 데이터를 비교하는 비교 유닛과,
상기 비교 유닛에 의한 비교 결과에 따라, 각 영역마다 상기 화상 데이터 모두로부터 화상 데이터를 선택하고, 1화면의 복수의 선택된 화상 데이터를 포함하는 합성 화상 데이터를 발생하는 발생 유닛과,
상기 합성 화상 데이터에 대하여 화상 처리를 행하는 화상처리유닛과,
상기 화상 처리된 합성 화상 데이터를 기록 매체에 기록하는 기록 유닛을 구비하고,
상기 비교 유닛에 의한 비교는 상기 메모리로부터 판독되고 각 화상 데이터마다 대응하는 영역에 위치하는 화상 데이터 중에서 행해지고,
상기 발생 유닛은 상기 메모리로부터 판독된 화상 데이터 중에서 더 작은 값에 대응하고 상기 비교 유닛에 의한 비교 결과로서 각 화상 데이터마다 대응하는 영역에 위치하는 화상 데이터를 선택하는, 촬상장치.
제 1 항 또는 제 2 항에 있어서,
상기 비교 유닛은, 상기 복수의 화상 데이터의 각각에 대하여, 1화면을, 1화소 이상의 화소로 구성되는 영역으로 분할하는 처리와, 각 분할된 영역마다 색성분별로 평균값을 산출하는 처리와, 색성분별로 산출된 평균값을, 매트릭스 변환 처리를 통해서 명도성분, 채도성분, 및 색상성분으로 변환하는 처리를 행하고, 명도성분, 채도성분, 및 색상성분 중의 적어도 하나에 대하여 대소관계를 비교하고, 그 비교 결과에 따라 상기 메모리로부터 판독하는 화상 데이터를 선택하는 제어를 행하는, 촬상장치.
제 1 항 또는 제 2 항에 있어서,
상기 비교 유닛은, 각 화상 데이터에서 각 타겟 화소마다, 타겟 화소와 그 주변에 존재하는 같은 색성분의 복수의 화소를 추출하고, 각 색성분마다 평균값을 산출하는 처리와, 색성분별로 산출된 평균값을, 매트릭스 변환 처리를 통해서 명도성분, 채도성분, 및 색상성분으로 변환하는 처리를 행하고, 명도성분, 채도성분, 및 색상성분 중의 적어도 하나에 대하여 대소관계를 비교하고, 그 비교 결과에 따라 상기 메모리로부터 판독하는 화상 데이터를 선택하는 제어를 행하는, 촬상장치.
제 1 항 또는 제 2 항에 있어서,
상기 비교 유닛은, 화상 데이터의 각각에 대하여, 각 동색 성분마다 필터 처리해서 각 화소에 각 색성분 데이터를 주고, 각 화소를 매트릭스 변환 처리를 통해서 명도성분, 채도성분, 및 색상성분으로 변환하는 처리를 행하고, 명도성분, 채도성분, 및 색상성분 중의 적어도 하나에 대해서 대소관계를 비교하고, 그 비교 결과에 따라 상기 메모리로부터 판독하는 화상 데이터를 선택하는 제어를 행하는, 촬상장치.
제 1 항 또는 제 2 항에 있어서,
상기 비교 유닛에 의해 비교하기 위한 데이터를 변환하기 전에 행해지는 필터 처리는, 로패스 필터의 특성을 가진 처리인, 촬상장치.
제 1 항 또는 제 2 항에 있어서,
상기 비교 유닛에 의해 비교하기 위한 데이터를 변환하기 전에 행해지는 필터 처리는, 화소 간의 대소 관계의 방향성에 근거하여 적응 보간 처리를 통해서 보간을 행하는 처리인, 촬상장치.
제 1 항 또는 제 2 항에 있어서,
상기 비교 유닛은, 각 화상 데이터에 대하여 같은 영역에 있는 화소끼리 비교를 행하여 비교 결과를 출력하고, 상기 비교 결과에 따라 상기 메모리로부터 판독하는 합성 화상 데이터를 선택하는 제어를 행하는, 촬상장치.
복수의 색성분의 컬러 필터를 포함하는 화소를 갖고 화상을 촬상하여 화상 데이터를 출력하도록 구성된 촬상 소자와,
상기 촬상 소자로부터 출력된 제1 화상 데이터와 상기 촬상 소자로부터 출력된 제2 화상 데이터를 비교하는 비교 유닛과,
비교 결과에 따라 각 영역마다 더 큰 또는 더 작은 값에 대응하는 상기 제1 화상 데이터내의 화상 데이터 또는 상기 제2 화상 데이터내의 화상 데이터 중의 어느 하나를 출력하는 출력 유닛을 구비하고,
상기 비교 유닛에 의한 비교는 각 화상 데이터마다 1화면의 대응하는 영역에 위치하는 화상 데이터끼리 행해지는, 촬상장치.
제 9 항에 있어서,
상기 출력 유닛에 의해 1화면의 복수의 출력된 화상 데이터를 포함하는 합성 화상 데이터를 기록 매체에 기록하도록 구성된 기록 유닛을 더 구비하는, 촬상장치.
제 1 항 또는 제 2 항에 있어서,
상기 화상처리유닛은 상기 메모리로부터 선택되어 판독된 상기 합성 화상 데이터에 대하여 감마 처리를 포함하는 화상 처리를 행하는, 촬상장치.
복수의 색성분의 컬러 필터로 구성된 화소를 갖고 화상을 촬상하여 1화면의 화상 데이터를 출력하도록 구성된 촬상소자를 구비하는 촬상장치의 제어방법으로서,
상기 방법은,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 화이트 밸런스 처리를 행하는 단계와,
상기 화이트 밸런스 처리된 화상 데이터를 기억하는 단계와,
상기 1화면의 하나의 화상 데이터와 상기 1화면의 다른 하나의 화상 데이터를 비교하는 단계와,
상기 비교 결과에 따라 각 영역마다 상기 화상 데이터 모두로부터 화상 데이터를 선택하여, 상기 1화면의 복수의 선택된 화상 데이터를 포함하는 합성 화상 데이터를 발생하는 단계와,
메모리로부터 선택되어 판독된 상기 합성 화상 데이터에 대하여 화상 처리를 행하는 단계, 및
상기 화상 처리된 합성 화상 데이터를 기록 매체에 기록하는 단계를 포함하고,
상기 비교는 상기 메모리로부터 판독되고 각 화상 데이터마다 대응하는 영역에 위치하는 화상 데이터 중에서 행해지고,
상기 비교 결과로서 상기 메모리로부터 판독되고 각 화상 데이터마다 대응하는 영역에 위치하는 화상 데이터 중에서 더 큰 값에 대응하는 화상 데이터를 선택하는, 촬상장치의 제어방법.
복수의 색성분의 컬러 필터로 구성된 화소를 갖고 화상을 촬상하여 1화면의 화상 데이터를 출력하도록 구성된 촬상소자를 구비하는 촬상장치의 제어방법으로서,
상기 방법은,
상기 촬상소자로부터 출력된 제1 화상 데이터와 상기 촬상소자로부터 출력된 제2 화상 데이터를 비교하는 단계, 및
상기 비교 결과에 따라 각 영역마다 더 큰 또는 더 작은 값에 대응하는 상기 제1 화상 데이터내의 화상 데이터 또는 상기 제2 화상 데이터내의 화상 데이터 중 어느 하나를 출력하는 단계를 포함하고,
상기 비교는 각 화상 데이터마다 1화면에 대응하는 영역에 위치하는 화상 데이터끼리에서 행해지는, 촬상장치의 제어방법.
컴퓨터에게 청구항 12에 기재된 방법을 실행시키기 위한 프로그램을 기억하는 컴퓨터 판독 가능한 기억매체.
컴퓨터에게 청구항 13에 기재된 방법을 실행시키기 위한 프로그램을 기억하는 컴퓨터 판독 가능한 기억매체.