KR20150068304A

KR20150068304A - 화상처리방법, 화상처리장치 및 촬상장치

Info

Publication number: KR20150068304A
Application number: KR1020140173626A
Authority: KR
Inventors: 치아키 이노우에
Original assignee: 캐논 가부시끼가이샤
Priority date: 2013-12-11
Filing date: 2014-12-05
Publication date: 2015-06-19
Also published as: KR101859458B1; US20150163479A1; US9684954B2; JP6253380B2; CN104717476A; US10049439B2; CN104717476B; US20170256041A1; JP2015115730A

Abstract

화상처리방법은, 피사체를 촬상하여서 생성된 서로 시차를 가지는 복수의 시차화상을 취득하는 스텝을 포함한다. 그 방법은, 각각의 시차화상을 기준화상으로서 사용해서, 상기 복수의 시차화상에서 상기 각 기준화상과 다른 1개이상의 시차화상간의 상대 차분의 상대 차분 정보를 취득하는 스텝과, 상기 상대 차분 정보를 사용해서 상기 각 시차화상에 포함된 불필요 성분을 검출하는 스텝을 더 포함한다.

Description

화상처리방법, 화상처리장치 및 촬상장치{IMAGE PROCESSING METHOD, IMAGE PROCESSING APPARATUS AND IMAGE CAPTURING APPARATUS}

본 발명은, 촬영 화상의 품질을 향상시키기 위한 화상처리기술에 관한 것이다.

카메라 등의 촬상장치에 의해 촬상을 행할 때, 촬상광학계에 입사하는 광의 일부가 렌즈면이나 렌즈 홀더에 의해 반사되고 나서, 촬상면에 불필요 광으로서 도달하는 경우가 있다. 촬상면에 도달한 불필요 광은, 밀도가 높은 스폿 상(image)을 형성하거나 피사체상(object image)을 광범위하게 덮음으로써, 고스트나 플레어가 된다. 상기 고스트와 플레어 각각은 불필요 성분으로서 촬영 화상중에 나타난다.

한편, 망원 렌즈에 있어서, 축상(길이방향) 색수차와 배율 색수차를 보정하기 위해서 물체측에 렌즈가 가장 가깝게 위치된 회절광학소자를 사용하면, 촬상화각외에 존재하는 태양등의 고휘도 물체로부터 방출되어 그 회절광학소자에 충돌하는 광으로 인해 촬영 화상의 전체 부분에 흐린 불필요 광이 보이게 되기도 한다. 이 경우의 불필요 광도, 불필요 성분으로서 촬영 화상중에 나타난다.

이러한 문제를 피하기 위해서, 불필요 광을 광학적으로 저감하는 방법들과, 불필요 성분을 디지털 화상처리에 의해 불필요 광을 제거하는 방법들이 종래 제안되어 있다. 후자의 일 방법으로서, 일본국 공개특허공보 특개 2008-54206호에는, 피사체에 대하여, 촬상광학계가 합초 상태에 있을 때의 화상(합초 화상)과 촬상광학계가 비합초 상태에 있을 때의 다른 화상(디포커스 화상)과의 차분을 나타내는 차분 화상으로부터 고스트를 검출하는 방법이 개시되어 있다. 또한, 후자의 다른 방법으로서, 일본국 공개특허공보 특개 2011-205531호에는, 단안 입체촬상에 의해 제공된 복수의 시점 화상을 비교함으로써 고스트를 검출하는 방법이 개시되어 있다.

그렇지만, 일본국 공개특허공보 특개 2008-54206호에 개시된 방법은, 합초 상태에서의 촬상과 비합초 상태에서의 촬상, 즉 여러번의 촬상이 필요해서, 움직이는 피사체의 정지 화상 촬상이나 동영상 촬상에는 적합하지 않다.

한편, 일본국 공개특허공보 특개 2011-205531호에서 개시된 방법은, 단안 입체촬상에 의해 1회의 촬상으로 복수의 시차화상을 제공할 수 있으므로, 움직이는 피사체의 정지 화상 촬상이나 동영상 촬상에 사용될 수 있다. 그렇지만, 일본국 공개특허공보 특개 2011-205531호에 개시된 방법은, 고스트를 검출하기 위해 비교되는 시점화상으로서 주화상과 부화상인 2화상의 차분을 사용할 뿐이고, 그에 따라서, 3시점 이상으로부터 촬영된 시점화상이 있는 경우에 고스트 검출 효과를 저감시킨다.

본 발명은, 여러번의 촬상을 행하지 않고, 복수(특히, 3시점 이상)의 시차화상에 포함된 불필요 성분을 정밀도 좋게 각각 검출할 수 있는, 화상처리방법, 화상처리장치 및 촬상장치를 제공한다.

본 발명의 일 국면에서는, 피사체를 촬상하여서 생성된 서로 시차를 가지는 복수의 시차화상을 취득하는 스텝과, 각각의 시차화상을 기준화상으로서 사용해서, 상기 복수의 시차화상에서 상기 각 기준화상과 다른 1개이상의 시차화상간의 상대 차분의 상대 차분 정보를 취득하는 스텝과, 상기 상대 차분 정보를 사용해서 상기 각 시차화상에 포함된 불필요 성분을 검출하는 스텝을 포함하는, 화상처리방법을 제공한다.

본 발명의 다른 국면에서는, 피사체를 촬상하여서 생성된 서로 시차를 가지는 복수의 시차화상을 취득하는 화상취득부와, 각각의 시차화상을 기준화상으로서 사용해서, 상기 복수의 시차화상에 있어서 상기 각 기준화상과 다른 1개이상의 시차화상간의 상대 차분의 상대 차분 정보를 취득하고, 상기 상대 차분 정보를 사용해서 상기 각 시차화상에 포함된 불필요 성분을 검출하는 검출부를 구비하는, 화상처리장치를 제공한다.

본 발명의 또 다른 국면에서는, 피사체를 촬상하여서, 서로 시차를 가지는 복수의 시차화상을 생성하는 촬상계와, 상기 화상처리장치를 구비한, 촬상장치를 제공한다.

또한, 본 발명의 또 다른 국면에서는, 화상처리를 컴퓨터에서 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공한다. 이 화상처리는, 피사체를 촬상하여서 생성된 서로 시차를 가지는 복수의 시차화상을 취득하는 스텝과, 각각의 시차화상을 기준화상으로서 사용해서, 상기 복수의 시차화상에서 상기 각 기준화상과 다른 1개이상의 시차화상간의 상대 차분의 상대 차분 정보를 취득하는 스텝과, 상기 상대 차분 정보를 사용해서 상기 각 시차화상에 포함된 불필요 성분을 검출하는 스텝을 포함한다.

또한, 본 발명의 또 다른 국면에서는, 피사체를 촬상하여서 생성된 서로 시차를 가지는 복수의 시차화상을 취득하는 스텝과, 상기 복수의 시차화상의 각각인 대상 화상으로부터, 그 대상 화상에 포함된 불필요 성분으로서 상기 복수의 시차화상에서 다른 1개이상의 시차화상에 포함되지 않은 화상 성분을 검출하는 스텝을 포함하는, 화상처리방법을 제공한다.

아울러, 본 발명의 또 다른 국면에서는, 피사체를 촬상하여서 생성된 서로 시차를 가지는 복수의 시차화상을 취득하는 화상취득부와, 상기 복수의 시차화상의 각각인 대상 화상으로부터, 그 대상 화상에 포함된 불필요 성분으로서 상기 복수의 시차화상에서 다른 1개이상의 시차화상에 포함되지 않은 화상 성분을 검출하는 검출부를 구비하는, 화상처리장치를 제공한다.

아울러, 본 발명의 또 다른 국면에서는, 피사체를 촬상하여서 서로 시차를 가지는 복수의 시차화상을 생성하는 촬상계와, 상기 화상처리장치를 구비하는, 촬상장치를 제공한다.

또한, 본 발명의 또 다른 국면에서는, 화상처리를 컴퓨터에서 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공한다. 이 화상처리는, 피사체를 촬상하여서 생성된 서로 시차를 가지는 복수의 시차화상을 취득하는 스텝과, 상기 복수의 시차화상의 각각인 대상 화상으로부터, 그 대상 화상에 포함된 불필요 성분으로서 상기 복수의 시차화상에서 다른 1개이상의 시차화상에 포함되지 않은 화상 성분을 검출하는 스텝을 포함한다.

본 발명의 다른 국면들은 아래의 설명과 첨부도면으로부터 명백해질 것이다.

도 1a 내지 1f는, 본 발명의 실시예 1인 화상처리방법의 순서를 도시한 도면이다.
도 2a 및 2b는, 본 발명의 실시예 1인 화상처리방법으로 제공한 출력 화상의 예들을 도시한 도면이다.
도 3a 및 3b는, 실시예 1의 화상처리방법을 사용하는 촬상장치에 있어서의 촬상소자의 수광부와 촬상광학계의 동공과의 관계를 도시한 도면이다.
도 4는, 실시예 1의 촬상장치의 구성을 나타내는 블럭도다.
도 5a 내지 5c는, 촬상광학계와 거기에서 발생한 불필요 광을 설명하는 도면이다.
도 6은, 실시예 1의 화상처리방법의 순서를 나타내는 흐름도다.
도 7a 및 7b는, 본 발명의 실시예 2인 화상처리방법을 사용하는 촬상장치에 있어서의 촬상소자의 수광부와 촬상광학계의 구경 조리개를 투과하는 불필요 광을 설명하는 도면이다.
도 8a 내지 8l은, 실시예 2의 화상처리방법의 순서를 도시한 도면이다.
도 9a 내지 9l은, 실시예 2의 화상처리방법의 다른 순서를 도시한 도면이다.
도 10은, 실시예 2의 화상처리방법의 순서를 나타내는 흐름도다.
도 11a 내지 11l은, 본 발명의 실시예 3인 화상처리방법의 순서를 도시한 도면이다.
도 12a 내지 12l은, 실시예 3의 화상처리방법의 다른 순서를 도시한 도면이다.
도 13은, 실시예 3의 화상처리방법의 순서를 나타내는 흐름도다.
도 14는, 본 발명의 실시예 4인 촬상장치의 촬상계를 도시한 도면이다.
도 15a 및 15b는, 실시예 4인 다른 촬상장치의 촬상계를 도시한 도면이다.
도 16은, 종래의 촬상소자를 도시한 도면이다.
도 17a 및 17b는, 도 15a에 나타낸 촬상계에 의해 제공된 화상을 도시한 도면이다.
도 18은, 도 14 및 도 15b에 나타낸 촬상계에 의해 제공된 화상을 도시한 도면이다.
도 19a 및 19b는, 실시예 4의 다른 촬상방법 및 다른 촬상장치의 예를 도시한 도면이다.
도 20a 및 20b는, 본 발명의 실시예 5에 있어서, 선택된 불필요 성분 저감 처리 영역의 예를 도시한 도면이다.

이하, 본 발명의 예시적 실시예에 대해서 첨부도면을 참조하여 설명한다.

본 발명의 각 실시예에서 사용하는 복수의 시차화상을 생성가능한 촬상장치는, 촬상광학계의 동공 중 서로 다른 영역을 통과하는 복수의 광속을 촬상소자에 설치된 서로 다른 수광부(화소)에 이끌어서 광전변환을 행하도록 구성된 촬상계를 가진다.

도 3a에는, 촬상계에 있어서, 촬상소자의 수광부와 촬상광학계의 동공과의 관계를 나타낸다. 도 3a에 있어서, 부호 ＭＬ은 마이크로렌즈이며, ＣＦ는 칼라필터이고, ＥＸＰ는 촬상광학계의 사출 동공이다. 부호 G1 및 G2는 수광부(이하, 각각, "G1화소" 및 "G2화소"라고 한다)다. 1개의 G1화소와 1개의 G2화소가 쌍으로 된 화소다. 촬상소자에는, 쌍으로 된 G1화소와 G2화소(화소쌍 또는 화소군)가 복수배열되어 있다. 각기 쌍으로 된 G1화소와 G2화소는, 공통의(즉, 각 마이크로렌즈ＭＬ이 화소쌍마다 설치됨) 마이크로렌즈ＭＬ을 거쳐서 사출 동공ＥＸＰ와 공역한 관계를 가진다. 촬상소자에 배치된 복수의 G1화소를 총괄적으로 "G1화소군"이라고도 하고, 마찬가지로 촬상소자에 배치된 복수의 G2화소를 총괄적으로 "G2화소군"이라고도 한다.

도 3b에는, 도 3a에 나타낸 마이크로렌즈ＭＬ 대신에, 사출 동공ＥＸＰ의 위치에 얇은 렌즈가 배치되어 있다고 가정했을 경우의 촬상계를 모식적으로 보이고 있다. G1화소는 사출 동공ＥＸＰ 중 P1영역을 통과한 광속을 수광하고, G2화소는 사출 동공ＥＸＰ 중 P2영역을 통과한 광속을 수광한다. 부호 ＯＳＰ는 촬상하고 있는 물점이다. 물점ＯＳＰ에는 반드시 물체가 존재하고 있을 필요는 없다. 이 점을 통과하는 광속은, 그 광속이 통과하는 동공내에서의 영역(위치)에 따라 G1화소 또는 G2화소에 입사한다. 동공내의 서로 다른 영역을 광속이 통과하는 것은, 물점ＯＳＰ으로부터의 입사광이 입사각도(시차)에 따라 분리되는 것에 해당한다. 즉, 마이크로렌즈ＭＬ에 대하여 설치된 G1화소로부터의 출력 신호를 사용해서 생성된 화상과 마이크로렌즈ＭＬ에 대하여 설치된 G2화소로부터의 출력 신호를 사용해서 생성된 화상이, 서로 시차를 가지는 복수(도 3b에서는, 한 쌍)의 시차화상을 구성한다. 이하의 설명에 있어서, 동공내의 서로 다른 영역을 통과한 광속을 서로 다른 수광부(화소)에 의해 수광하는 것을, "동공분할"이라고도 말한다.

또한, 도 3a 및 3b에 있어서, 사출 동공ＥＸＰ의 위치 어긋남 등으로 인해, 전술한 공역관계가 불완전해지거나, P1영역과 P2영역이 부분적으로 오버랩하거나 할 때에 제공된 복수의 화상을, 각 실시예에서는 시차화상으로서 생각한다.

도 4는, 본 발명의 실시예 1인 화상처리방법을 사용하는 촬상장치의 기본구성을 나타낸다. 구경 조리개(201a) 및 포커스 렌즈(201b)를 포함하는 촬상광학계(201)는, (도면에 나타내지 않은) 피사체로부터의 광을 촬상소자(202) 위에 결상시킨다. ＣＣＤ센서나 ＣＭＯＳ센서 등의 광전변환소자에 의해 구성된 촬상소자(202)는, 촬상광학계(201)의 사출동공내의 서로 다른 영역을 통과한 광속을 그 영역에 대응하는 화소(수광부)로 수광함으로써 도 3a 및 3b를 사용하여 설명한 동공분할을 행한다.

촬상소자(202)의 광전변환에 의해 생성된 아날로그 전기신호는, A/D컨버터(203)로 디지털 신호로 변환되고 나서 화상처리부(204)에 입력된다. 화상처리부(204)는, 디지털 신호에 대하여 일반적으로 행해지는 화상처리를 행하여 화상(본 실시예에서는, 서로 시차를 가지는 복수의 시차화상)을 생성한다. 화상처리부(204)는, 촬상장치에 탑재된 화상처리장치에 해당한다. 화상처리부(204)는, 시차화상을 취득하는 화상취득부로서 기능한다. 또한, 화상처리부(204)는, 각 시차화상 중 후술하는 불필요 광으로 인해 생성된 불필요 화상성분(이하, "불필요 성분"이라고 한다)을 검출하는 불필요 성분 검출부(204a)를 구비한다. 화상처리부(204)는, 검출된 불필요 성분을 각 시차화상으로부터 저감하는(제거하는) 보정처리를 행하는 불필요 성분 저감부(204b)를 더욱 구비한다.

화상처리부(204)로 처리된 촬영 출력 화상은, 반도체메모리나 광디스크 등의 화상기록 매체(209)에 보존된다. 그 출력 화상을, 표시부(205)에 표시해도 된다.

시스템 콘트롤러(210)는, 촬상소자(202)의 광전변환, 화상처리부(204)에서 행한 처리 및 촬상광학계(201)(구경 조리개(201a) 및 포커스 렌즈(201b))의 동작을 제어한다. 촬상광학계(201)에 구비된 구경 조리개(201a) 및 포커스 렌즈(201b)의 기계적인 구동은, 시스템 콘트롤러(210)로부터의 제어 지시에 따라 광학계 제어부(206)가 제어한다. 구경 조리개(201a)의 개구경은, 설정된 조리개 값(F넘버)에 대응하게 제어된다. 포커스 렌즈(201b)의 위치는, 피사체 거리에 따라 포커싱을 행하기 위해서 (도면에 나타내지 않은) 오토 포커스(ＡＦ) 시스템이나 메뉴얼 포커스 기구에 의해 제어된다. 상태검지부(207)는, 시스템 콘트롤러(210)로부터의 지시에 따라, 그 시점(현재 상태)에서의 촬상광학계(201)의 상태(포커스 렌즈(201b)의 위치, 조리개 값 및 줌 렌즈일 때 촬상광학계(201)의 초점거리등)를 나타내는 촬상조건정보를 취득한다. 촬상광학계(201)는 도 4에서는 촬상장치에 대해 일체로 설치되어 있지만, 이와는 달리 일안 레플렉스 카메라계와 마찬가지로 교환식의 촬상광학계이어도 된다.

도 5a는, 촬상광학계(201)의 구체적인 구성 예를 도시한 도면이다. 부호 ＳＴＰ는 구경 조리개(201a)다. 부호 ＩＭG는 도 4에 나타낸 촬상소자(202)가 배치된 촬상면이다. 도 5b에는, 촬상광학계(201)에 고휘도 물체의 예로서의 부호 ＳＵＮ으로 나타낸 태양으로부터의 강한 광이 입사하고, 촬상광학계를 구성하는 각 렌즈의 표면에서 반사한 광이 상기 불필요 광(즉, 고스트나 플레어)으로서 촬상면ＩＭG에 도달하는 모양을 도시한 도면이다.

도 5c는, 구경 조리개ＳＴＰ(또는 촬상광학계(201)의 사출 동공) 중, 도 3a 및 3b에 나타낸 G1화소와 G2화소에 각각 입사하는 광속이 통과하는 영역(이하, "동공영역"이라고 한다) Ｐ1,P2를 도시한 도면이다. 고휘도 물체로부터의 광속이 구경 조리개ＳＴＰ의 거의 전역을 통과하는 것과는 달리, G1화소와 G2화소에 각각 입사하는 광속은, 분할된 동공영역P1,P2를 통과한다.

다음에, 상술한 촬상장치에 의해 행해진 촬상에 의해 생성되는 각 촬영 화상에 있어서, 상기 불필요 광의 광전변환으로 인해 나타나는 불필요 성분을 검출하는 방법에 대해서, 도 1a 내지 1f 및 도 2a, 2b를 참조하여 설명한다.

도 2a는, 동공분할을 행하지 않는 촬상에 의해 생성된 촬영 화상을 도시한 도면이다. 이 촬영 화상은, 빌딩과 그들의 주변에 존재하는 수목이 피사체로서 포함된다. 촬영 화상중에 검은 사각부분으로서 도시된 부호 GST는, 불필요 광(고스트와 플레어)의 화상성분인 불필요 성분이다. 도 2a 및 2b에는 불필요 성분GST가 검게 채워져 있지만, 실제로, 피사체가 불필요 성분GST를 통해 어느 정도 보이게 된다. 또한, 불필요 성분GST는, 촬상되는 피사체상을 덮는 불필요 광에 의해 생성되어, 불필요 성분GST는 피사체상보다도 고휘도를 갖는다. 이것은, 후술하는 기타의 실시예를 도시한 도면에 적용한다.

도 1a 및 1b는, 동공영역P1,P2를 통과한 광속을 G1,G2화소군으로 광전변환한 결과로서 제공된 한 쌍의 시차화상을 도시한 도면이다. 근거리 피사체를 촬상해서 제공된 한 쌍의 시차화상중의 피사체 화상성분에는, 시차에 대응한 차이(이하, "피사체 시차 성분"이라고 한다)가 명확하게 존재한다. 그러나, 도 1a 및 1b에 나타낸 풍경등의 원거리 피사체를 촬상해서 제공된 한 쌍의 시차화상내에 포함된 피사체 시차성분은, 대단히 미소량이 된다. 또한, 한 쌍의 시차화상에도 검은 사각으로서 모식적으로 도시된 불필요 성분GST가 포함되어 있지만, 그들의 위치는 그 한 쌍의 시차화상에서 다르다. 도 1a 및 1b는, 불필요 성분GST가 서로 오버랩 하지 않아서 서로 분리된 예를 도시하고 있지만, 서로 오버랩하고 있어서 휘도차이가 있다. 즉, 검은 사각으로서 각각 도시된 불필요 성분의 위치와 휘도가 서로 다르면 된다.

도 1c는, 도 1a 및 1b에 나타낸 한 쌍의 시차화상 중 하나인 기준화상으로서 도 1a의 화상으로부터, 한 쌍의 시차화상 중 나머지 화상인 감산 화상으로서 도 1b의 화상을 빼서 제공된 화상을 도시한 도면이다. 이 기준화상과 감산 화상과의 차분을 나타내는 화상(이하, "상대 차분 화상"이라고 한다)에는, 한 쌍의 시차화상간의 차분의 2차원 데이터(이하, "상대 차분 정보"라고 한다)로서 전술한 피사체 시차성분과 불필요 성분이 포함되어 있다. 그러나, 전술한 바와 같이 풍경등의 원거리 피사체를 촬상해서 제공된 한 쌍의 시차화상에 포함된 피사체 시차성분은 대단히 미소량이기 때문에, 그 피사체 시차성분의 영향을 거의 무시할 수 있다. 한층 더, 도 1a의 기준화상으로부터 도 1b의 감산 화상을 빼는 차분 계산은, 도 1b에 포함되는 불필요 성분이 부의 값으로서 산출된다. 그러나, 본 실시예에서는, 후단에서 행해진 불필요 성분 저감 처리를 간이화하기 위해서, 도 1c에서는 부의 값을 잘라버린다(즉, 부의 값을 0값으로서 취급한다). 이것은, 도 1c의 상대 차분 화상이, 도 1a의 기준화상에 포함된 불필요 성분만을 보인다는 것을 의미한다.

마찬가지로, 도 1d는, 기준화상인 도 1b의 화상으로부터 감산 화상인 도 1a의 화상으로부터 빼서 제공된, 2차원 데이터인 상대 차분 정보를 나타내는 화상을 나타낸다. 도 1c의 화상과 마찬가지로, 상기 차분 계산에 의해 도 1a에 포함된 불필요 성분이 부의 값으로서 산출되지만, 불필요 성분 저감 처리를 간이화하기 위해서, 도 1d에서는 부의 값을 잘라버리고 있다. 이것은, 도 1d에 도시된 상대 차분 화상이 도 1b에 포함된 불필요 성분만을 보인다는 것을 의미한다. 이렇게, 한 쌍의 시차화상 중 한쪽의 화상(기준화상)으로부터 다른 쪽의 화상(감산 화상)을 뺌으로써 제공된, 상대 차분 화상에 불필요 성분만을 잔존시키는(바꿔 말하면, 분리하거나 또는 추출하는) 처리를 행함으로써, 불필요 성분을 검출할 수 있다.

그 후, 상기한 바와 같이 검출된 도 1c 및 도 1d의 불필요 성분을 제거하는(또는 감소하는) 보정처리를, 도 1a 및 도 1b의 원래의 시차화상에 대하여 행한다. 이러한 보정처리에 의해, 도 1e 및 도 1f에 나타나 있는 바와 같이 불필요 성분이 저감된(거의 제거된) 한 쌍의 출력 화상으로서의 시차화상을 제공할 수 있다. 한층 더, 불필요 성분이 저감된 한 쌍의 시차화상을 합성함으로써, 도 2b에 나타나 있는 바와 같이, 동공분할을 행하지 않는 촬상에 의해 생성된 촬영 화상과 동등하고, 또 불필요 성분을 거의 포함하지 않는 합성 화상을 생성할 수 있다.

도 6은, 전술한 불필요 성분의 검출/저감 처리(화상처리)의 순서를 나타내는 흐름도다. 이 처리는, 각각 컴퓨터인 시스템 콘트롤러(210) 및 화상처리부(204)(불필요 성분 검출부(204a) 및 불필요 성분 저감부(204b))가, 컴퓨터 프로그램으로서의 화상처리 프로그램에 따라서 행한다.

스텝S11에서는, 시스템 콘트롤러(210)는, 촬상광학계(201) 및 촬상소자(202)로 구성된 촬상계를 제어해서 피사체의 촬상을 행한다.

다음에, 스텝S12에서는, 시스템 콘트롤러(210)는, 화상처리부(204)에, 촬상소자(202)(G1화소군 및 G2화소군)로부터 출력되어서 A/D컨버터(203)에서 디지털화된 신호를 사용해서 입력 화상으로서의 한 쌍의 시차화상을 생성시킨다. 이 스텝에서, 화상처리부(204)에서는 시차화상 생성을 위해, 통상의 현상 처리와 각종의 화상보정처리를 실시해도 된다.

다음에, 스텝S13에서는, 불필요 성분 검출부(204a)는, 한 쌍의 시차화상의 상대 차분 정보를 취득한다. 즉, 불필요 성분 검출부(204a)는, 도 1a의 시차화상을 기준화상으로서 사용하고 도 1b의 시차화상을 감산 화상으로서 사용해서 상대 차분 화상(도 1c)과, 도 1b의 시차화상을 기준화상으로서 사용하고 도 1a의 시차화상을 감산 화상으로서 사용해서 상대 차분 화상(도 1d)을 생성한다. 촬상면에 도달하는 불필요 광의 광속이 촬상광학계의 서로 다른 동공영역을 통과할 경우, 도 1a 및 도 1b에 나타나 있는 바와 같이 시차화상마다 불필요 성분의 발생 위치가 다르다. 이 때문에, 단순한 상대 차분 화상에서는, 불필요 성분의 차분값이 정(positive)의 값 또는 부의 값이 된다. 예를 들면, 도 1c에 나타낸 상대 차분 화상을 생성하기 위해서 도 1a에 나타내는 기준화상으로부터 도 1b에 나타내는 감산 화상을 뺄 경우, 기준화상에 포함된 불필요 성분이 정의 값이 되고, 감산 화상에 포함되는 불필요 성분이 부의 값이 된다. 본 실시예에서는, 이후에 행해진 불필요 성분 저감 처리를 간이화하기 위해서, 부의 값을 잘라 버려서 0값이 되게 하는(즉, 부의 값을 0값으로서 취급하는) 상술한 처리를 행한다. 이 처리에 의해, 도 1c에 나타내는 상대 차분 화상으로부터 도 1a의 기준화상에 포함된 정의 값의 불필요 성분만이 검출된다. 반대로, 도 1b에 나타내는 기준화상으로부터 도 1a에 나타내는 감산 화상을 빼서 도 1d에 나타내는 상대 차분 화상을 생성하는 경우에는, 상기 상대 차분 화상으로부터 도 1b의 기준화상에 포함된 정의 값의 불필요 성분만이 검출된다.

또한, 근거리 피사체를 촬상해서 제공된 시차화상에 대해서 상대 차분 정보를 취득할 때는, 그들의 피사체 시차성분을 제거하기 위해서, 한 쌍의 시차화상의 위치 맞춤을 행하는 처리를 실행해도 된다. 그 위치 맞춤은, 한 쌍의 시차화상 중 한쪽의 화상에 대하여 다른 쪽의 화상의 위치를 상대적으로 쉬프트하고 이것들 한 쌍의 시차화상간의 상관이 최대가 되는 쉬프트 위치를 결정하는 것으로 행할 수 있다. 또는, 그 위치 맞춤은, 시차화상간의 차분의 2승합이 최소화하는 다른 쪽의 시차화상의 쉬프트 위치를 결정하는 것으로 행할 수 있다. 한층 더, 시차화상중의 합초 영역은, 위치 맞춤에 사용된 상기 쉬프트 위치를 결정할 때 대상으로서 선택되어도 된다. 또한, 미리 각각의 시차화상에 있어서 엣지검출을 행하고 그 검출된 엣지를 나타내는 화상을 사용해서, 쉬프트 위치를 결정해도 된다. 이 방법에 의해, 합초 영역은 콘트라스트가 높은 엣지가 검출되고, 배경과 같은 비합초 영역은 콘트라스트가 낮은 엣지가 검출되기 어렵기 때문에, 필연적으로 합초 영역이 중시된 쉬프트 위치의 결정이 행해진다.

다음에, 스텝S14에서는, 불필요 성분 검출부(204a)는, 스텝S13에서 취득된 상대 차분 화상중에 잔존한 각 성분을 불필요 성분이라고 결정한다. 이렇게 해서, 원래의 각 시차화상에 포함된 불필요 성분이 검출된다.

한층 더, 스텝S15에서는, 불필요 성분 저감부(204b)는, 원래의 시차화상 각각으로부터 불필요 성분을 제거하는 보정처리를 행해서 출력 화상으로서의 한 쌍의 시차화상을 생성한다. 본 실시예에서는, 불필요 성분 저감부(204b)는, 출력 화상으로서, 촬상소자(202)의 각 G1화소로부터의 출력 신호로부터 취득된 화상신호를 1화소라고 하는 시차화상(도 1e)과, 각 G2화소로부터의 출력 신호로부터 취득된 화상신호를 1화소라고 하는 시차화상(도 1f)을 생성한다. 상기 스텝S13에 있어서, 부의 값을 잘라 버려서 0값으로 함으로써, 각 시차화상에 포함된 정의 값의 불필요 성분만이 검출되어 있다. 이 때문에, 스텝S15에서 단순하게 각 시차화상으로부터 상대 차분 화상을 빼는 것으로 불필요 성분을 저감(제거)할 수 있다. 즉, 도 1a의 시차화상으로부터 도 1c의 상대 차분 화상을 빼고 또, 도 1b의 시차화상으로부터 도 1d의 상대 차분 화상을 뺌으로써, 출력해야 할 한 쌍의 시차화상을 제공한다.

최후에, 스텝S16에서는, 시스템 콘트롤러(210)는, 도 1e 및 도 1f에 나타낸 불필요 성분이 저감(제거)된 출력 화상(한 쌍의 시차화상)을, 화상기록 매체(209)에 보존하고, 표시부(205)에 표시한다. 또한, 그 출력 화상들로서의 한 쌍의 시차화상을 합성함으로써, 도 2b에 나타나 있는 바와 같이, 동공분할을 행하지 않는 촬상에 의해 생성된 촬영 화상과 동등하고 불필요 성분이 충분하게 저감된 합성화상을 출력하는 것도 가능하다.

이상 설명한 바와 같이, 본 실시예에서는, 1회의 촬상으로 제공된 2개의 시차화상의 각각을 기준화상으로서 사용하고, 각 기준화상과 다른 시차화상과의 상대 차분(상대 차분 정보)을 사용해서 각 시차화상(기준화상)에 포함된 불필요 성분을 검출할 수 있다. 즉, 본 실시예의 화상처리방법은, 여러번의 촬상을 행하지 않고 촬영 화상에 포함된 불필요 성분을 검출할 수 있다. 한층 더, 본 실시예는, 상대 차분 정보를 생성할 때에 부의 값이 되는 불필요 성분을 잘라 버리기 때문에, 정의 값이 되는 불필요 성분을 단순한 차분 계산만으로 검출할 수 있다. 이에 따라 이 불필요 성분을 원래의 각 시차화상으로부터 빼는 것만으로, 불필요 성분이 충분하게 저감(제거)된 고품위의 화상을 제공할 수 있다.

다음에, 본 발명의 제2 실시예(실시예 2)인 촬상장치에 관하여 설명한다. 이 촬상장치는, 복수의 동공분할을 행한다. 본 실시예에 있어서의 촬상장치 및 촬상광학계(201)의 기본구성은, 실시예 1(도 4)에 나타낸 구성과 같다. 도 7a는, 본 실시예의 촬상장치의 촬상계에서 포함된 촬상소자의 수광부를 도시한 도면이다. 도 7a에 있어서, 부호ＭＬ은 마이크로렌즈다. 부호 G11,G12,G13 및 G14는, 화소군을 구성하는, 수광부(이하, 각각 "G11화소", "G12화소", "G13화소" 및 "G14화소"라고 한다)다. 촬상소자에는, G11화소, G12화소, G13화소 및 G14화소로 구성되는 화소군이 복수배열되어 있다. 각 화소군은, 공통의(즉, 화소군마다 각 마이크로렌즈ＭＬ이 설치됨) 마이크로렌즈ＭＬ을 거쳐서 사출 동공ＥＸＰ와 공역관계를 가진다. 촬상소자에 배열된 복수의 화소군을 구성하고 있는 복수의 G11화소, 복수의 G12화소, 복수의 G13화소 및 복수의 G14화소를, 각각, 총괄적으로, "G1화소군", "G2화소군", "G3화소군" 및 "G4화소군"이라고도 한다.

도 7b는, 구경 조리개ＳＴＰ(또는 촬상광학계의 사출 동공) 중, 도 7a에 나타낸 G11화소, G12화소, G13화소 및 G14화소에 각각 입사하는 광속이 통과하는 동공영역P1,P2,P3 및 P4를 도시한 도면이다. 구경 조리개ＳＴＰ의 거의 전역을 통과하는 고휘도 물체로부터의 광속과는 달리, G11화소, G12화소, G13화소 및 G14화소에 입사하는 광속은, 분할된 동공영역P1,P2,P3 및 P4를 통과한다.

이러한 촬상장치에 의해 생성된 각 촬영 화상에 있어서, 상기 불필요 광이 광전변환 됨으로써 나타나는 화상성분인 불필요 성분을 검출하는 방법에 대해서, 도 8a 내지 8l 및 도 9a 내지 9l을 참조하여 설명한다.

본 실시예에서도, 동공분할을 행하지 않는 촬상에 의해, 도 2a에 나타낸 촬영 화상이 생성된다. 도 8a, 도 8b, 도 9a 및 도 9b는, 동공영역P1,P2,P3 및 P4를 통과하는 광속을 G1화소군, G2화소군, G3화소군 및 G4화소군에서 광전변환한 결과로서 제공된 1조의 시차화상을 도시한 도면이다. 상기 1조의 시차화상에는, 검은 사각으로서 모식적으로 도시된 불필요 성분GST가 포함되어 있고, 그 위치는 도 8a와 도 9a에 나타내는 시차화상간 및 도 8b와 도 9b에 나타내는 시차화상간에서는 각각 동일하다. 한편, 도 8a 및 도 8b에 나타낸 시차화상과 도 9a 및 도 9b에 나타낸 시차화상과의 사이에서는, 불필요 성분GST의 위치가 다르다.

도 8c는, 기준화상인 도 8a의 시차화상으로부터 감산 화상인 도 8b의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 이 상대 차분 화상에는, 피사체 시차성분과 불필요 성분이 포함되어 있지만, 실시예 1과 마찬가지로, 피사체 시차성분은 미소량이어서 그 영향을 무시할 수 있다고 가정한다. 한층 더, 실시예 1과 마찬가지로, 상기 차분 계산에 의해, 도 8b의 시차화상에 포함되는 불필요 성분은 부의 값으로서 산출되지만, 후단에서 행해진 불필요 성분 저감 처리를 간이화하기 위해서, 도 8c의 상대 차분 화상에서는 부의 값을 잘라 버려서 0값으로서 취급한다(이것은, 이하에 설명하는 모든 상대 차분 화상에도 적용한다). 이것은, 도 8c의 상대 차분 화상이, 상대 차분 정보로서, 도 8a에 포함된 불필요 성분만을 보이고 있는 것을 의미한다.

도 8e는, 기준화상인 도 8a의 화상으로부터 감산 화상인 도 9a의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 나타내는 상대 차분화상을 도시한 도면이다. 이 상대 차분 화상에 피사체 시차성분이 포함되어 있지만, 피사체 시차성분은 미소량이어서 그 영향을 무시할 수 있다고 가정한다. 또한, 상기한 바와 같이, 도 8a 및 도 9a의 시차화상에 포함된 불필요 성분의 위치가 서로 같으므로, 상대 차분 정보로서 불필요 성분은 검출되지 않는다. 이렇게, 같은 위치에 보이고 있는 불필요 성분은 상대 차분 화상에는 나타나지 않는다. 즉, 2개의 시차화상간의 상대 차분 정보만으로부터 검출될 수 없는 불필요 성분도 존재한다. 그러나, 본 실시예에서는, 4개의 시차화상간의 상대 차분 정보를 취득함에 의해, 예를 들면 도 8b의 시차화상과 같이 적어도 1개의 시차화상에 기준화상과는 다른 위치에 불필요 성분이 생기면, 그 불필요 성분을 효과적으로 검출하는 것을 가능하게 한다.

한층 더, 도 8g는, 기준화상인 도 8a의 화상으로부터 감산 화상인 도 9b의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 8a와 도 9b의 시차화상에서의 불필요 성분의 위치가 서로 다르므로, 도 8g의 상대 시차화상은, 도 8c의 시차화상과 마찬가지로, 도 8a의 시차화상에 포함된 불필요 성분만을 보이고 있다.

도 8i는, 서로 대응하는 도 8c, 도 8e 및 도 8g의 상대 차분 화상에 있어서 화소위치를 총괄적으로 "대응 화소위치"라고 하는 경우, 그들의 대응 화소 위치에서 도 8c, 도 8e 및 도 8g의 상대 차분 화상(각 상대 차분 화상은 2차원 상대 차분 정보에 대응함)간의 상대 차분의 최대값을 추출해서 취득된 최대값 정보를 나타내는 화상을 도시한 도면이다. 이후, 최대값 정보를, "상대 차분 최대값 정보"라고 한다. 본 실시예에서는, 도 8i에서의 상대 차분 최대값 정보는, 도 8c 및 도 8g내의 상대 차분 정보와 같은 값을 갖되, 도 8a의 시차화상에 포함된 불필요 성분의 위치와 양을 나타낸다.

마찬가지로, 도 8d는, 기준화상인 도 8b의 화상으로부터 감산 화상인 도 8a의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 8f는, 기준화상인 도 8b의 화상으로부터 감산 화상인 도 9a의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 8h는, 기준화상인 도 8b의 화상으로부터 감산 화상인 도 9b의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 8j는, 도 8d, 도 8f 및 도 8h의 상대 차분 화상(각 상대 차분 화상이 2차원 상대 차분 정보에 해당함)간에 있어서 대응하는 화소위치마다의 상대 차분의 최대값을 추출해서 취득된 상대 차분 최대값 정보를 나타내는 화상을 도시한 도면이다. 본 실시예에서는, 도 8j에서의 상대 차분 최대값 정보는, 도 8d 및 도 8f내의 상대 차분 정보와 같은 값을 갖되, 도 8b의 시차화상에 포함된 불필요 성분의 위치와 양을 나타낸다.

마찬가지로, 도 9c는, 기준화상인 도 9a의 화상으로부터 감산 화상인 도 8a의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 9e는, 기준화상인 도 9a의 화상으로부터 감산 화상인 도 8b의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 9g는, 기준화상인 도 9a의 화상으로부터 감산 화상인 도 9b의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 9i는, 도 9c, 도 9e 및 도 9g의 상대 차분 화상(각 상대 차분 화상이 2차원 상대 차분 정보에 해당함)간에 있어서 대응하는 화소위치마다의 상대 차분의 최대값을 추출해서 취득된 상대 차분 최대값 정보를 나타내는 화상을 도시한 도면이다. 본 실시예에서는, 도 9i의 상대 차분 최대값 정보는, 도 9e 및 도 9g내의 상대 차분 정보와 같은 값을 갖되, 도 9a의 시차화상에 포함된 불필요 성분의 위치와 양을 나타낸다.

마찬가지로, 도 9d는, 기준화상인 도 9b의 화상으로부터, 감산 화상인 도 8a의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 9f는, 기준화상인 도 9b의 화상으로부터, 감산 화상인 도 8b의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 9h는, 기준화상인 도 9b의 화상으로부터, 감산 화상인 도 9a의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 9j는, 도 9d, 도 9f 및 도 9h의 상대 차분 화상(각 상대 차분 화상이 2차원 상대 차분 정보에 해당함)간에 있어서 대응하는 화소위치마다의 상대 차분의 최대값을 추출해서 취득된 상대 차분 최대값 정보를 나타내는 화상을 도시한 도면이다. 본 실시예에서는, 도 9j의 상대 차분 최대값 정보는, 도 9d 및 도 9h내의 상대 차분 정보와 같은 값을 갖되, 도 9b의 시차화상에 포함된 불필요 성분의 위치와 양을 나타낸다.

이 후, 실시예 1에서와 같이, 도 8i, 도 8j, 도 9i 및 도 9j의 불필요 성분을 제거하는 보정처리를, 도 8a, 도 8b, 도 9a 및 도 9b의 원래의 시차화상에 대하여 행한다. 이에 따라 도 8k, 도 8l, 도 9k 및 도 9l에 도시한 바와 같이 불필요 성분이 거의 제거된 출력 화상으로서의 시차화상을 제공할 수 있다. 한층 더, 이 불필요 성분이 저감된 시차화상을 합성함으로써, 도 2b에 나타나 있는 바와 같이, 동공분할을 행하지 않는 촬상에 의해 생성된 촬영 화상과 동등하며 불필요 성분을 거의 포함하지 않는 화상을 생성할 수 있다.

도 10은, 본 실시예에서 불필요 성분의 검출/저감 처리(화상처리)의 순서의 예를 나타내는 흐름도다.

스텝S101 및 스텝S102는, 각각, 실시예 1(도 6)의 스텝S11 및 스텝S12와 같다.

스텝S103에서는, 불필요 성분 검출부(204a)는, 상기 1조의 시차화상에 대해서, 각 1조의 시차화상을 기준화상으로서 사용해서 상대 차분 화상들을 취득한다. 즉, 불필요 성분 검출부(204a)는, 도 8a의 시차화상을 기준화상으로서 사용해서 상대 차분 화상으로서, 도 8c, 도 8e 및 도 8g에 나타낸 화상을 생성한다. 한층 더, 불필요 성분 검출부(204a)는, 도 8b의 시차화상을 기준화상으로서 사용해서 상대 차분 화상으로서, 도 8d, 도 8f 및 도 8h에 나타낸 화상들을 생성한다. 마찬가지로, 불필요 성분 검출부(204a)는, 도 9a의 시차화상을 기준화상으로서 사용해서 상대 차분 화상으로서, 도 9c, 도 9e 및 도 9g에 나타내는 화상들을 생성한다. 한층 더, 불필요 성분 검출부(204a)는, 도 9b의 시차화상을 기준화상으로서 사용해서 상대 차분 화상으로서, 도 9d, 도 9f 및 도 9h에 나타낸 화상들을 생성한다.

촬상면에 도달하는 불필요 광의 광속이 촬상광학계의 서로 다른 동공영역을 통과할 경우, 도 8a 및 도 8b에 나타나 있는 바와 같이 시차화상간에 불필요 성분의 발생 위치가 다르다. 이 때문에, 단순한 상대 차분 화상에서는 불필요 성분의 차분값은 정의 값 또는 부의 값이 된다. 예를 들면, 도 8c에 나타내는 상대 차분 화상을 생성하기 위해서 도 8a에 나타낸 기준화상으로부터 도 8b에 나타낸 감산 화상을 뺄 경우, 기준화상에 포함된 불필요 성분이 정의 값이 되고, 감산 화상에 포함된 불필요 성분이 부의 값이 된다. 본 실시예에서는, 후에 행해진 불필요 성분 저감 처리를 간이화하기 위해서, 부의 값을 잘라 버려서 0값이 되게 하는(즉, 부의 값을 0값으로서 취급하는) 상술한 처리를 행한다. 이 처리에 의해, 도 8c에 나타내는 상대 차분 화상으로부터 도 8a에 포함된 정의 값의 불필요 성분만이 검출된다. 다른 상대 차분 화상 각각에 관해 같은 처리를 행함으로써 상기 기준화상에 포함된 정의 값의 불필요 성분만이 검출된다. 한편, 도 8a와 도 9a에 나타낸 바와 같이, 서로 같은 위치에 불필요 성분이 존재하는 경우에는, 상기한 바와 같이 상대 차분 화상으로부터 불필요 성분은 검출되지 않는다.

다음에, 스텝S104에서는, 불필요 성분 검출부(204a)는, 스텝S103에서 제공된 복수(4개)의 상대 차분 화상에 있어서 대응하는 화소위치마다의 상대 차분 최대값 정보를 취득한다(추출한다).

도 8e의 화상에 관한 설명에서 언급한 상대 차분 최대값 정보를 취득하는 이유 및 그 효과는, 아래와 같다. 도 8a 및 도 9a에 나타낸 시차화상에 포함된 불필요 성분은, 사용된 광학계와 고휘도 광원의 위치에 따라 서로 같은 위치에 존재하는 경우가 있다. 본 실시예에서도, 도 8a 및 도 9a에 나타낸 시차화상에 포함된 불필요 성분은, 서로 같은 위치에 존재하고 있다. 이러한 경우, 시차화상간의 차분을 산출할 때, 불필요 성분은 0값을 갖는다. 즉, 시차화상간의 상대 차분 정보만으로부터, 상기 검출될 수 없는 불필요 성분이 발생될 가능성이 있다.

이러한 경우를 해결하기 위해서, 본 실시예에서는, 4개의 시차화상간의 상대 차분 정보를 취득함으로써, 2개의 시차화상간의 상기 차분 정보로부터만 검출될 수 없는 불필요 성분을 검출하는 것을 가능하게 한다. 즉, 도 8a의 시차화상을 기준화상이라고 했을 경우에, 상기 기준화상과 도 9a의 시차화상에 포함된 불필요 성분은, 서로 같은 위치에 존재하여서 검출되지 않는다. 그러나, 도 8b의 시차화상에는, 기준화상과는 다른 위치에 불필요 성분이 발생되어서, 도 8c의 상대 시차화상에 포함된 것과 마찬가지로 그 불필요 성분이 검출될 수 있다.

상술한 것처럼, 기준화상과 다른(3개 또는 적어도 2개) 시차화상과의 상대 차분에 관한 상대 차분 정보를 취득하고, 상기 상대 차분 중 상대 차분 최대값 정보를 취득함으로써, 기준화상과는 불필요 성분의 위치가 다른 적어도 1개의 시차화상에 포함된 불필요 성분의 위치와 양을 검출할 수 있다.

다음에, 스텝S105에서는, 불필요 성분 검출부(204a)는, 스텝S104에서 취득된 상대 차분 최대값 정보를 나타내는 화상(이하, 이 화상을, "상대 차분 최대값 화상"이라고도 한다)중에 잔존한 성분을, 불필요 성분으로서 결정한다. 이렇게 해서, 원래의 시차화상에 포함된 불필요 성분이 검출된다.

다음에, 스텝S106에서는, 불필요 성분 저감부(204b)는, 원래의 시차화상으로부터 스텝S105에서 검출한 불필요 성분을 제거하는 보정처리를 행해서 출력 화상으로서의 1조의 시차화상을 생성한다. 본 실시예에서는, 불필요 성분 저감부(204b)는, 출력 화상으로서, 촬상소자(202)의 각 G11화소로부터의 출력 신호로부터 취득된 화상신호를 1화소로 하는 시차화상(도 8k)과, 각 G12화소로부터의 출력 신호로부터 취득된 화상신호를 1화소로 하는 시차화상(도 8l)을 생성한다. 한층 더, 불필요 성분 저감부(204b)는, 각 G13화소로부터의 출력 신호로부터 취득된 화상신호를 1화소로 하는 시차화상(도 9k)과, 각 G14화소로부터의 출력 신호로부터 취득된 화상신호를 1화소로 하는 시차화상(도 9l)을 생성한다.

상술한 스텝S103에서, 부의 값을 잘라 버려서 0값으로 함으로써, 각 시차화상에 포함된 정의 값의 불필요 성분만이 상대 차분 최대값 정보로서 검출되어 있다. 이 때문에, 단순하게 스텝S106에서의 각 시차화상으로부터 상대 차분 최대값 화상을 빼는 것으로 불필요 성분을 저감(제거)할 수 있다. 즉, 불필요 성분 저감부(204b)는, 도 8a의 시차화상으로부터 도 8i의 상대 차분 최대값 화상을 빼고, 도 8b의 시차화상으로부터 도 8j의 상대 차분 최대값 화상을 뺀다. 마찬가지로, 불필요 성분 저감부(204b)는, 도 9a의 시차화상으로부터 도 9i의 상대 차분 최대값 화상을 빼고, 도 9b의 시차화상으로부터 도 9j의 상대 차분 최대값 화상을 뺀다. 이에 따라 출력 화상으로서 1조의 시차화상(도 8k, 도 8l, 도 9k, 도 9l)이 된다.

최후에, 스텝S107에서는, 시스템 콘트롤러(210)는, 도 8k, 도 8l, 도9k 및 도 9l에 나타내는 불필요 성분이 저감(제거)된 출력 화상(1조의 시차화상)을, 화상기록 매체(209)에 보존한다. 또한, 시스템 콘트롤러(210)는, 상기 출력 화상을 표시부(205)에 표시한다. 게다가, 이것들 출력 화상으로서의 1조의 시차화상을 합성함으로써, 도 2b에 나타나 있는 바와 같이, 동공분할을 행하지 않는 촬상에 의해 생성된 촬영 화상과 동등하고 불필요 성분이 충분하게 저감된 합성화상을 출력하는 것도 가능하다.

이상에서 설명한 바와 같이, 본 실시예에서는, 1회의 촬상으로 제공된 4개의 시차화상의 각각을 기준화상으로서 사용하고, 또한, 각 기준화상과 다른 3개의 시차화상과의 상대 차분(상대 차분 정보)을 사용하여서 각 시차화상(기준화상)에 포함된 불필요 성분을 검출할 수 있다. 즉, 본 실시예의 화상처리방법은, 여러번의 촬상을 행하지 않고 촬영 화상에 포함된 불필요 성분을 검출할 수 있다. 한층 더, 본 실시예는, 상대 차분 정보를 생성할 때에 부의 값이 되는 불필요 성분을 잘라 버리기 때문에, 정의 값이 되는 불필요 성분을 단순한 차분 계산만으로 검출할 수 있다. 이에 따라 이 불필요 성분을 원래의 시차화상 각각으로부터 빼는 것만으로, 불필요 성분이 충분하게 저감(제거)된 고품위의 화상을 제공할 수 있다. 게다가, 본 실시예에서는, 4개의 시차화상간의 상대 차분으로부터 상대 차분 최대값 정보를 취득한다. 따라서, 예를 들면 4개의 시차화상 중 2개의 시차화상내에 포함된 불필요 성분의 위치가 서로 동일한 경우에도, 다른 4개의 시차화상중 2개의 시차화상에 포함된 불필요 성분의 위치간의 차분에 의해, 불필요 성분을 검출하고, 불필요 성분을 저감시킨 출력 화상을 제공할 수 있다.

본 실시예에서는, 4개의 시차화상의 각각을 기준화상으로서 사용해서, 각 기준화상과 다른 3개의 시차화상과의 상대 차분에 관한 상대 차분 정보(상대 차분 화상)를 취득하고, 각 시차화상과, 이것을 기준화상으로서 사용할 때 취득된 상대 차분 정보를 사용해서 각 시차화상에 포함된 불필요 성분을 검출한다. 그러나, 시차화상은 반드시 4개 사용할 필요는 없어, 실시예 1에서 설명한 바와 같이 2개의 시차화상을 사용해도 되거나, 3개이상의 시차화상을 사용해도 된다. 즉, 복수의 시차화상의 각각에 대하여 1개이상의 상대 차분을 취득하면 된다. 이것은, 후술하는 실시예 3에도 적용된다.

다음에, 본 발명의 제3의 실시예(실시예 3)에 관하여 설명한다. 본 실시예에 있어서의 촬상장치 및 촬상광학계(201)의 기본구성은, 실시예 1(도 4)에 나타낸 구성과 같다. 또한, 본 실시예의 촬상계에 포함된 촬상소자의 수광부는, 실시예 2와 같다. 한층 더, 구경 조리개ＳＴＰ와 G11화소, G12화소, G13화소 및 G14화소에 입사하는 광속이 통과하는 동공영역P1,P2,P3,P4와의 관계도, 실시예 2와 같다.

실시예 2에서는, 서로 같으며, 서로 다른 위치에서 1조의 시차화상에 포함된 불필요 성분을 검출하는 방법에 관하여 설명했다. 한편, 본 실시예에서는, 1조의 시차화상 중 적어도 하나가 다른 시차화상에 포함된 불필요 성분의 일부만을 포함하는 경우에, 그 불필요 성분의 일부를 검출하는 방법에 관하여 설명한다.

도 11a, 도 11b, 도 12a 및 도 12b는 각각, 동공영역P1,P2,P3 및 P4를 통과한 광속을 G1화소군, G2화소군, G3화소군 및 G4화소군으로 광전변환한 결과로서 제공된 1조의 시차화상을 나타낸다.

상기 1조의 시차화상에는, 그 도면들에 검은 사각으로서 모식적으로 나타낸 불필요 성분GST가 포함되어 있다. 도 11a에 나타낸 시차화상에 포함되는 복수의 불필요 성분GST의 일부(좌상부분)와 도 12a에 나타낸 시차화상에 포함되는 불필요 성분GST와 서로 같은 위치에 존재한다. 마찬가지로, 도 11b에 나타낸 시차화상에 포함되는 불필요 성분GST의 일부(좌상부분)와 도 12b에 나타낸 시차화상에 포함되는 불필요 성분GST는 서로 같은 위치에 존재한다. 한편, 도 11a 및 도 11b의 시차화상에서는, 모든 불필요 성분GST는 서로 다른 위치에 존재한다. 마찬가지로, 도 12a 및 도 12b의 시차화상에서도, 불필요 성분GST는 서로 다른 위치에 존재한다.

도 11c는, 기준화상인 도 11a의 화상으로부터 감산 화상인 도 11b의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 나타낸다. 이 상대 차분 화상에는, 피사체 시차성분과 불필요 성분이 포함되어 있지만, 실시예 1과 마찬가지로, 피사체 시차성분은 미소량이어서 그 영향을 무시할 수 있다. 한층 더, 실시예 1과 마찬가지로, 상기 차분 계산에 의해, 도 11b의 시차화상에 포함되는 불필요 성분은 부의 값으로서 산출되지만, 후단에서 행해진 불필요 성분 저감 처리를 간이화하기 위해서, 도 11c의 상대 차분 화상에서는 부의 값을 잘라 버려서 0값으로서 취급한다(이것은, 이하에 설명하는 모든 상대 차분 화상에 적용한다). 이것은, 도 11c의 상대 차분 화상은, 상대 차분 정보로서, 도 11a에 포함된 불필요 성분만을 나타낸다는 것을 의미한다.

도 11e는, 기준화상인 도 11a의 화상으로부터 감산 화상인 도 12a의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 나타낸다. 이 상대 차분 화상에는, 실시예 1과 마찬가지로, 상대 차분 정보로서, 피사체 시차성분과 불필요 성분이 포함되어 있다. 상기한 바와 같이 도 11a의 시차화상에 포함된 불필요 성분의 일부와 도 12a의 시차화상에 포함된 불필요 성분이 서로 같은 위치에 존재하므로, 서로 같은 위치에 있는 불필요 성분(이하, "공통 불필요 성분"이라고 한다)은 상대 차분 정보로서 검출되지 않는다.

한층 더, 도 11g는, 기준화상인 도 11a의 화상으로부터 감산 화상인 도 12b의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 나타낸다. 도 11a와 도 12b의 시차화상에서 불필요 성분의 위치가 서로 다르므로, 도 11g의 상대 시차화상은, 도 11c의 시차화상과 마찬가지로, 도 11a의 시차화상에 포함된 불필요 성분만을 보이고 있다.

도 11i는, 도 11c, 도 11e 및 도 11g의 상대 차분 화상(각 상대 차분 화상이 2차원 상대 차분 정보에 해당함)간에 있어서 대응하는 화소위치마다의 상대 차분의 최소값을 추출해서 취득된 상대 차분 최소값 정보를 나타내는 화상을 도시한 도면이다. 본 실시예에서는, 도 11i중의 상대 차분 최소값 정보는, 도 11e내의 상대 차분 정보와 같은 값을 갖되, 도 11a의 시차화상에 포함된 불필요 성분 중 일부의 불필요 성분의 위치와 양을 나타낸다. 이하의 설명에 있어서, 상대 차분 최소값 정보를 나타내는 화상을, "상대 차분 최소값 화상"이라고도 한다.

마찬가지로, 도 11d는, 기준화상인 도 11b의 화상으로부터 감산 화상인 도 11a의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 11f는, 기준화상인 도 11b의 화상으로부터 감산 화상인 도 12a의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 11h는, 기준화상인 도 11b의 화상으로부터 감산 화상인 도 12b의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 11j는, 도 11d, 도 11f 및 도 11h의 상대 차분 화상(각 상대 차분 화상이 2차원 상대 차분 정보에 해당함)간에 있어서 대응하는 화소위치마다의 상대 차분의 최소값을 추출해서 취득된 상대 차분 최소값 정보를 나타내는 화상을 도시한 도면이다. 본 실시예에서는, 도 11j의 상대 차분 최소값 정보는, 도 11h내의 상대 차분 정보와 같은 값을 갖되, 도 11b의 시차화상에 포함된 불필요 성분 중 일부의 불필요 성분의 위치와 양을 나타낸다.

마찬가지로, 도 12c는, 기준화상인 도 12a의 화상으로부터 감산 화상인 도 11a의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 12e는, 기준화상인 도 12a의 화상으로부터 감산 화상인 도 11b의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 12g는, 기준화상인 도 12a의 화상으로부터 감산 화상인 도 12b의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 12i는, 도 12c, 도 12e 및 도 12g의 상대 차분 화상(각 상대 차분 화상이 2차원 상대 차분 정보에 해당함)간에 있어서 대응하는 화소위치마다의 상대 차분의 최소값을 추출해서 취득된 상대 차분 최소값 정보를 나타내는 화상을 도시한 도면이다. 본 실시예에서는, 도 12i의 상대 차분 최소값 정보는, 도 12c내의 상대 차분 정보와 같은 값을 가져서, 도 12a의 시차화상에 포함된 불필요 성분의 위치와 양은 검출되지 않는다.

마찬가지로, 도 12d는, 기준화상인 도 12b의 화상으로부터 감산 화상인 도 11a의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 12f는, 기준화상인 도 12b의 화상으로부터 감산 화상인 도 11b의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 12h는, 기준화상인 도 12b의 화상으로부터 감산 화상인 도 12a의 화상을 빼는 차분 계산에 의해 취득된 2차원 데이터인 상대 차분 정보를 나타내는 상대 차분 화상을 도시한 도면이다. 도 12j는, 도 12d, 도 12f 및 도 12h의 상대 차분 화상(2차원 상대 차분 정보)간에 있어서 대응하는 화소위치마다의 상대 차분의 최소값을 추출해서 취득된 상대 차분 최소값 정보를 나타내는 화상을 도시한 도면이다. 본 실시예에서는, 도 12j의 상대 차분 최소값 정보는, 도 12f내의 상대 차분 정보와 같은 값을 가져서, 도 12b의 시차화상에 포함된 불필요 성분의 위치와 양이 검출되지 않는다.

이후, 도 11i, 도 11j, 도 12i 및 도 12j의 불필요 성분을 제거하는 보정처리를, 도 11a, 도 11b, 도 12a 및 도 12b의 원래의 시차화상에 대하여 행한다. 그렇지만, 도 12i 및 도 12j에 나타내는 상대 차분 최소값 화상에는 검출된 불필요 성분이 포함되어 있지 않으므로, 도 12a 및 도 12b의 시차화상에 대하여는 실질적으로 보정처리는 행해지지 않는다. 이러한 보정처리에 따라 도 11k, 도 11l, 도 12k 및 도 12l에 나타나 있는 바와 같이, 1조의 시차화상에 포함되어 있었던 복수의 불필요 성분 중 2개의 시차화상에 공통 불필요 성분이 저감된 출력 화상으로서의 시차화상을 제공할 수 있다. 한층 더, 불필요 성분이 어느 정도 저감된 시차화상을 합성함으로써, 도 2b에 나타나 있는 바와 같이, 동공분할을 행하지 않는 촬상에 의해 생성된 촬영 화상과 동등하고 불필요 성분이 적은 합성화상을 생성할 수 있다.

도 13은, 본 실시예에서 불필요 성분의 검출/저감 처리(화상처리)의 순서의 예를 도시한 흐름도다.

스텝S201∼스텝S203은, 실시예 2에 있어서의 스텝S101∼스텝S103과 각각 같다.

스텝S204에서는, 불필요 성분 검출부(204a)는, 스텝S203에서 제공된 복수(4개)의 상대 차분 화상간에 있어서 대응하는 화소위치마다의 상대 차분 최소값 정보를 취득한다(추출한다). 상대 차분 최소값 정보를 취득하는 이유 및 효과는, 아래와 같다. 도 11a 내지 도 11l 및 도 12a 내지 도 12l에 나타낸 예들에서는, 도 11a의 시차화상에 포함되는 불필요 성분 중 일부가 도 12a의 시차화상에 포함되는 불필요 성분과 같은 위치에 존재한다. 이렇게, 사용된 광학계와 고휘도 광원의 위치에 따라서는 시차화상들에 포함된 불필요 성분(공통 불필요 성분)이 서로 같은 위치에 존재하기도 한다. 이러한 경우에 2개의 시차화상간의 차분을 산출할 때, 그 공통 불필요 성분은 0값을 갖는다.

상대 차분 최대값 정보를 취득하는 실시예 2와는 달리, 상대 차분 최소값 정보를 취득하는 본 실시예에서는, 위치가 모두 서로 다른 1조의 시차화상에 포함된 불필요 성분을 검출할 수 있지만, 위치가 서로 같은 공통 불필요 성분을 검출할 수는 없다. 그러나, 이것은, 복수의 시차화상 중 1개의 시차화상에만 존재하는 불필요 성분의 검출에 해당한다. 이것은, 근거리 피사체를 촬상해서 제공된 1조(4개)의 시차화상 중 1개의 시차화상에 있어서, 다른 3개의 시차화상과의 피사체 시차성분을 불필요 성분으로부터 분리할 수 있는 것에 해당한다. 즉, 근거리 피사체를 촬상해서 제공된 각 시차화상에 대하여 불필요 성분 저감 처리를 행할 경우에, 본 실시예 의해 피사체 시차성분의 영향을 크게 저감할 수 있다. 상술한 것처럼, 상대 차분 정보를 각각 나타내는 상대 차분 화상간의 상대 차분 최소값 정보를 취득하는 것에 의해, 복수의 시차화상에서 같은 위치에 존재하는 불필요 성분이외의 불필요 성분을 검출하고, 또 복수의 시차화상에서의 피사체 시차성분을 불필요 성분으로부터 분리할 수 있다.

다음에, 스텝S205에서는, 불필요 성분 검출부(204a)는, 스텝S204에서 취득된 상대 차분 최소값 화상에 잔존한 성분을 불필요 성분으로서 결정한다. 이렇게 해서 원래의 각 시차화상에 포함된 불필요 성분이 검출된다.

다음에, 스텝S206에서는, 불필요 성분 저감부(204b)는, 그 원래의 시차화상으로부터 스텝S205에서 검출한 불필요 성분을 제거하는 보정처리를 행해서 출력 화상으로서 상기 1조의 시차화상을 생성한다. 본 실시예에서는, 불필요 성분 저감부(204b)는, 출력 화상으로서, 촬상소자(202)의 각 G11화소로부터의 출력 신호로부터 취득된 화상신호를 1화소로 하는 시차화상(도 11k)과, 촬상소자(202)의 각 G12화소로부터의 출력 신호로부터 취득된 화상신호를 1화소로 하는 시차화상(도 11l)을 생성한다. 불필요 성분 저감부(204b)는, 한층 더, 각 G13화소로부터의 출력 신호로부터 취득된 화상신호를 1화소로 하는 시차화상(도 12k)과, 각 G14화소로부터의 출력 신호로부터 취득된 화상신호를 1화소로 하는 시차화상(도 12l)을 생성한다.

상술한 스텝S203에서, 부의 값을 잘라 버려서 0값으로 취급함으로써, 각 시차화상에 포함된 정의 값의 불필요 성분만이 상대 차분 최소값 정보로서 검출되었다. 이 때문에, 단순하게 스텝S206에서 각 시차화상으로부터 상대 차분 최소값 화상을 빼는 것으로 불필요 성분을 저감(제거)할 수 있다. 즉, 불필요 성분 저감부(204b)는, 도 11a의 시차화상으로부터 도 11i의 상대 차분 최소값 화상을 빼고, 도 11b의 시차화상으로부터 도 11j의 상대 차분 최소값 화상을 뺀다. 마찬가지로, 불필요 성분 저감부(204b)는, 도 12a의 시차화상으로부터 도 12i의 상대 차분 최소값 화상을 빼고, 도 12b의 시차화상으로부터 도 12j의 상대 차분 최소값 화상을 뺀다. 이에 따라 출력 화상으로서의 1조의 시차화상(도 11k, 도 11l, 도 12k, 도 12l)을 얻는다.

최후에, 스텝S207에서는, 시스템 콘트롤러(210)는, 도 11k, 도 11l, 도 12k 및 도 12l에 나타내는 불필요 성분이 저감(제거)된 출력 화상(한 쌍의 시차화상)을, 화상기록 매체(209)에 보존한다. 또한, 시스템 콘트롤러(210)는, 상기 출력 화상을 표시부(205)에 표시한다. 또한, 출력 화상으로서의 한 쌍의 시차화상을 합성함으로써, 도 2b에 나타나 있는 바와 같이 동공분할을 행하지 않는 촬상에 의해 생성된 촬영 화상과 동등하며 불필요 성분이 충분하게 저감된, 합성화상을 출력할 수도 있다.

이상에서 설명한 바와 같이, 본 실시예에서는, 1회의 촬상으로 제공된 4개의 시차화상의 각각을 기준화상으로서 사용하고, 각 기준화상과 다른 3개의 시차화상과의 상대 차분(상대 차분 정보)을 사용해서 각 시차화상(기준화상)에 포함된 불필요 성분을 검출할 수 있다. 즉, 본 실시예의 화상처리방법은, 여러번의 촬상을 행하지 않고 촬영 화상에 포함된 불필요 성분을 검출할 수 있다. 한층 더, 본 실시예는, 상대 차분 정보를 생성할 때에 부의 값이 되는 불필요 성분을 잘라 버리기 때문에, 정의 값이 되는 불필요 성분을 단순한 차분 계산만으로 검출할 수 있다. 이에 따라, 이 불필요 성분을 원래의 시차화상 각각으로부터 빼는 것만으로, 불필요 성분이 양호하게 저감(제거)된 고품위의 화상을 제공할 수 있다. 또한, 본 실시예에서는, 4개의 시차화상간의 상대 차분의 상대 차분정보로부터 상대 차분 최소값 정보를 취득한다. 이에 따라 불필요 성분과 피사체 시차성분을 분리해서 효과적으로 불필요 성분을 검출하여, 불필요 성분을 저감한 출력 화상을 제공할 수 있다.

다음에, 본 발명의 제4의 실시예(실시예 4)에 관하여 설명한다. Ren.Ng, et al에 의한 "Light Field Photography with a Hand-held Plenoptic Camera"(Stanford Tech Report CTSR 2005-2) 문헌에서는, "Plenoptic Camera"가 제안되어 있다. 이 "플렌옵틱 카메라"는, "라이트필드 포토그래피"라고 하는 수법을 사용함으로써 물체측으로부터의 광선의 위치와 각도의 정보를 캡처할 수 있다.

도 14는, "플렌옵틱 카메라"의 촬상계의 구성을 도시한 도면이다. 주 렌즈(촬영 렌즈)(301b)와 구경 조리개(301a)로 구성된 촬상광학계(301)의 결상위치에 마이크로렌즈 어레이(301c)가 배치되고, 마이크로렌즈 어레이(301c) 후방에 촬상소자(302)가 배치되어 있다.

마이크로렌즈 어레이(301c)는, 점A와 같은 피사체 공간에 위치된 한 점을 통과하는 광선들과, 점A의 근방에 위치된 점을 지나가는 광선들이 촬상소자(302)위에서 서로 혼합되지 않도록 세퍼레이터(separator)의 역할을 하고 있다.

도 14로부터 알 수 있듯이, 상부 광선, 주 광선 및 하부 광선은 서로 다른 화소에 의해 수광되므로, 점A를 지나가는 광선들을 광선들의 각도에 따라 분리될 수 있다.

한편, Todor Georgive 등에 의한 "Full Resolution Light Field Rendering"(Adobe Technical Report January 2008)에서는, 광선들의 위치와 각도의 정보(Light Field)를 각각 취득하는 도 15a 및 도 15b에 나타낸 수법이 제안되어 있다.

도 15a에 나타내는 촬상계의 구성에서는, 마이크로렌즈 어레이(301c)를 주 렌즈30lb의 결상위치보다도 후방에 배치하여, 피사체 공간에 위치된 점A를 지나가는 광선들을 마이크로렌즈 어레이(301c)에 의해 촬상소자(302) 위에 재결상시킨다. 이러한 구성은, 점A를 지나가는 광선들을 각 광선의 각도에 따라 분리해서 촬상소자(302)에 의해 수광시킨다.

도 15b에 나타낸 촬상계의 구성에서는, 마이크로렌즈 어레이(301c)를 주 렌즈(301b)의 결상위치보다도 전방에 배치하여, 피사체 공간에 위치된 점A를 지나가는 광선들을 촬상소자(302) 위에 재결상시킨다. 이에 따라 이러한 구성은, 상기 각 광선들의 각도에 따라 분리해서 촬상소자(302)에 의해 수광시킨다. 도 15a 및 도 15b에 나타낸 양쪽의 구성에서는, 촬상광학계(301)의 동공을 통과하는 광속을, 광속이 통과하는 동공내에서의 영역(위치)에 따라 복수의 광속으로 분할한다는 점에서 공통이다.

이것들의 구성에서는, 촬상소자(302)로서, 도 16에 나타나 있는 바와 같이 1개의 마이크로렌즈ＭＬ과 1개의 수광부G1이 한 쌍으로 된 종래의 촬상소자를 사용할 수 있다. 부호 ＣＦ는 컬라필터다.

도 15a에 나타낸 촬상광학계(301)의 사용은, 도 17a에 나타나 있는 바와 같은 화상을 제공한다. 도 17b는, 도 17a에 배치된 다수의 원 중 확대된 원을 도시한 도면이다. 도 17a에 나타낸 원들 중 1개의 원은 도 17b에 나타낸 구경 조리개ＳＴＰ에 해당하고; 각 원의 내측은 복수의 화소Ｐj(j=1,2,3,…)에 의해 분할되어 있다. 이것은, 각 원내에서 동공의 강도분포를 제공한다. 한편, 도 14 및 도 15b에 나타낸 촬상광학계(301)의 사용은, 도 18에 나타나 있는 바와 같은 복수의 시차화상을 제공한다. 도 17a에 나타낸 화상에 있어서 각 원(구경 조리개ＳＴＰ)내에 위치된 복수의 화소Ｐj를 배치하여 재구성하는 것에 의해서도, 도 18에 나타나 있는 바와 같은 복수의 시차화상을 제공한다.

고스트 등의 불필요 광은 한쪽으로 치우쳐서 동공을 통과한다. 이 때문에, 본 실시예와 같이 동공분할해서 촬상하는 촬상장치는, 실시예 1∼3에서 설명한 화상처리방법 중 어느 하나를 사용하여서 불필요 성분을 검출할 수도 있다.

다른 예로서, 도 19a에 나타나 있는 바와 같은 복수의 촬상장치C1,C2,C3을 사용해서 동일 피사체의 촬상은, 복수의 시차화상을 제공할 수 있어, 이 경우도 실시예 1∼3에서 설명한 화상처리방법 중 어느 하나를 사용할 수 있다. 촬상장치 C1,C2,C3이 실제로 서로 분리되어 있지만, 그 촬상들은, 큰 동공을 3개의 동공영역으로 분할해서 촬상하는 일체의 단일 촬상장치로서 간주될 수 있다.

또한, 도 19b에 나타나 있는 바와 같이, 복수의 촬상광학계ＯＳj(j=1,2,3,…)를 구비하는 1개의 촬상장치는, 동공분할을 행할 수도 있다.

상기 각 실시예에서는 시차화상의 전체 영역에 있어서 불필요 성분을 검출하고 제거하는 경우를 설명했지만, 도 2a에 나타나 있는 바와 같이 대부분의 경우, 불필요 성분은 시차화상의 일부에 생긴다. 그 화상에 포함된 불필요 성분은 유저가 용이하게 판정할 수 있다. 이 때문에, 시차화상의 불필요 성분의 저감 처리를 행하는 대상으로 하는 영역의 유저에 의한 지정(선택)을 허용함으로써, 각 실시예에서의 처리부하를 저감시킬 수 있다. 또한, 불필요 성분의 저감 처리를 행하는 대상영역을 한정함에 의해, 상기 근거리 피사체를 촬상할 경우에 생성된 상기 피사체 시차성분의 영향을 저감할 수도 있다.

도 20a에서, 실선ＳＥＬＥＣＴ는, 촬영 화상(시차화상)중에서, 불필요 성분 저감 처리를 행하는 대상영역을 나타내고; 그 대상영역은 내부에 포함된 불필요 성분을 제거하고 싶은 유저에 의해 선택된다. 도 20b는, 상기 대상영역ＳＥＬＥＣＴ중의 불필요 성분을 저감한 후에 제공된 출력 화상을 도시한 도면이다. 상술한 것처럼, 불필요 성분을 저감하는 영역을 한정했을 경우에도, 시차화상으로부터 실시예 1∼3 중 어느 하나에 기술된 화상처리방법을 사용해서 불필요 성분을 검출하고 제거하는 것이 가능하다.

상기 각 실시예에서는, 불필요 성분을 저감(또는 제거)하는 경우에 관하여 설명했지만, 이와는 달리, 검출된 불필요 성분에 관한 정보를 사용하여서 다른 불필요 성분을 상기 시차화상에 부가하는 보정처리를 행하여도 된다. 예를 들면, 도 18에 나타낸 복수의 시차화상은, 고스트(불필요 성분)가 존재하는 적어도 하나의 시차화상과 상기 고스트가 존재하지 않는 적어도 다른 화상을 포함한다. 재구성된 화상에 고스트를 남기고 싶을 경우에, 검출된 고스트를 각 시차화상에 부가해도 된다. 또한, 재구성된 화상에 대하여 고스트를 부가해도 된다.

상기 각 실시예에서는, 불필요 성분을 검출해서 저감하는 화상처리방법을 사용하여(달리 말하면, 화상처리장치를 포함함) 촬상장치에 관하여 설명했지만, 각 실시예의 화상처리방법은, 퍼스널 컴퓨터에 인스톨된 화상처리 프로그램에 의해서도 실시될 수 있다. 이 경우, 퍼스널 컴퓨터가 본 발명의 다른 실시예인 화상처리장치에 해당한다. 퍼스널 컴퓨터는, 촬상장치로부터 불필요 성분 저감 처리전의 화상(입력 화상)을 취득하고 나서, 화상처리 프로그램에 의해 불필요 성분 저감 처리를 행하고, 그 결과 얻어진 화상을 출력한다.

상기 각 실시예는, 여러번의 촬상을 행하지 않고 복수의 시차화상(특히, 3시점이상에서 촬상하여 생성된 시차화상)에 포함된 불필요 성분을 정밀도 좋게 검출할 수 있어서, 그 시차화상으로부터 상기 불필요 성분을 충분하게 저감시킬 수 있고, 이에 따라서, 출력화상으로서 고품위의 시차화상을 제공할 수 있다.

(기타 실시예)

또한, 본 발명의 실시예들은, 기억매체(예를 들면, 비일시적 컴퓨터 판독 가능한 기억매체)에 레코딩된 컴퓨터 실행가능한 명령어를 판독하고 실행하여 본 발명의 상술한 실시예(들)의 하나 이상의 기능을 수행하는 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하여서 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해진 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 중앙처리장치(CPU), 마이크로처리장치(MPU) 또는 기타 회로소자 중 하나 이상을 구비하여도 되고, 별개의 컴퓨터나 별개의 컴퓨터 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)^TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예와, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims

피사체를 촬상하여서 생성된 서로 시차를 가지는 복수의 시차화상을 취득하는 스텝;
각각의 시차화상을 기준화상으로서 사용해서, 상기 복수의 시차화상에서 상기 각 기준화상과 다른 1개이상의 시차화상간의 상대 차분의 상대 차분 정보를 취득하는 스텝; 및
상기 상대 차분 정보를 사용해서 상기 각 시차화상에 포함된 불필요 성분을 검출하는 스텝을 포함하는, 화상처리방법.
제 1 항에 있어서,
상기 복수의 시차화상은, 3개이상의 시차화상인, 화상처리방법.
제 2 항에 있어서,
상기 기준화상으로부터 상기 다른 시차화상을 빼서 상기 상대 차분 정보를 취득할 때의 부의 값을 0값으로서 취급하는 스텝;
상기 상대 차분의 2차원 정보로서 취득된 상대 차분 정보로부터, 각 기준화상과 상기 다른 시차화상간의 상대 차분의 최대값을 그들의 대응한 화소위치마다 취득하는 스텝; 및
상기 최대값을 사용하여서 상기 기준화상으로서의 상기 시차화상에 포함된 상기 불필요 성분을 검출하는 스텝을 더 포함하는, 화상처리방법.
제 2 항에 있어서,
상기 기준화상으로부터 상기 다른 시차화상을 빼서 상기 상대 차분 정보를 취득할 때의 부의 값을 0값으로서 취급하는 스텝;
상기 상대 차분의 2차원 정보로서 취득된 상대 차분 정보로부터, 각 기준화상과 상기 다른 시차화상간의 상대 차분의 최소값을 그들의 대응한 화소위치마다 취득하는 스텝; 및
상기 최소값을 사용하여서 상기 기준화상으로서의 상기 시차화상에 포함된 상기 불필요 성분을 검출하는 스텝을 더 포함하는, 화상처리방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 각 시차화상으로부터, 그 시차화상에서 검출된 상기 불필요 성분을 제거하는 스텝을 더 포함하는, 화상처리방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 각 시차화상에 있어서, 상기 불필요 성분을 검출하는 대상영역의 선택을 허용하는 스텝; 및
상기 대상영역에 있어서 상기 불필요 성분을 검출하는 스텝을 더 포함하는, 화상처리방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 상대 차분 정보를 취득할 때에, 상기 각 기준화상과 상기 다른 시차화상간의 위치 맞춤을 행하는 스텝을 더 포함하는, 화상처리방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 복수의 시차화상은, 촬상광학계의 동공 중 서로 다른 영역을 통과한 복수의 광속을 촬상소자에 설치된 서로 다른 화소에 이끌어서 각각의 광속을 광전변환을 행하게 하는 촬상장치에 의해 생성된 화상인, 화상처리방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 복수의 시차화상은, 촬상광학계의 동공 중 서로 다른 영역으로부터의 광속을 광전변환하는 복수의 화소군과 이 화소군마다 각각 설치된 마이크로렌즈가 구비된, 촬상소자를 가지는 촬상장치에 의해 생성된 화상인, 화상처리방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 검출된 상기 불필요 성분의 정보를 사용해서, 상기 시차화상에 다른 불필요 성분을 부가하는 스텝을 더 포함하는, 화상처리방법.
피사체를 촬상하여서 생성된 서로 시차를 가지는 복수의 시차화상을 취득하는 화상취득부; 및
각각의 시차화상을 기준화상으로서 사용해서, 상기 복수의 시차화상에 있어서 상기 각 기준화상과 다른 1개이상의 시차화상간의 상대 차분의 상대 차분 정보를 취득하고, 상기 상대 차분 정보를 사용해서 상기 각 시차화상에 포함된 불필요 성분을 검출하는 검출부를 구비하는 것을 특징으로 하는, 화상처리장치.
피사체를 촬상하여서 서로 시차를 가지는 복수의 시차화상을 생성하는 촬상계; 및
화상처리장치를 구비한 촬상장치로서, 상기 화상처리장치는,
복수의 시차화상을 취득하는 화상취득부; 및
각각의 시차화상을 기준화상으로서 사용해서, 상기 복수의 시차화상에 있어서 상기 각 기준화상과 다른 1개이상의 시차화상간의 상대 차분의 상대 차분 정보를 취득하고, 상기 상대 차분 정보를 사용해서 상기 각 시차화상에 포함된 불필요 성분을 검출하는 검출부를 구비한, 촬상장치.
피사체를 촬상하여서 생성된 서로 시차를 가지는 복수의 시차화상을 취득하는 스텝;
각각의 시차화상을 기준화상으로서 사용해서, 상기 복수의 시차화상에서 상기 각 기준화상과 다른 1개이상의 시차화상간의 상대 차분의 상대 차분 정보를 취득하는 스텝; 및
상기 상대 차분 정보를 사용해서 상기 각 시차화상에 포함된 불필요 성분을 검출하는 스텝을 포함하는 것을 특징으로 하는 화상처리를, 컴퓨터에서 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
피사체를 촬상하여서 생성된 서로 시차를 가지는 복수의 시차화상을 취득하는 스텝; 및
상기 복수의 시차화상의 각각인 대상 화상으로부터, 그 대상 화상에 포함된 불필요 성분으로서 상기 복수의 시차화상에서 다른 1개이상의 시차화상에 포함되지 않은 화상 성분을 검출하는 스텝을 포함하는 것을 특징으로 하는, 화상처리방법.
피사체를 촬상하여서 생성된 서로 시차를 가지는 복수의 시차화상을 취득하는 화상취득부; 및
상기 복수의 시차화상의 각각인 대상 화상으로부터, 그 대상 화상에 포함된 불필요 성분으로서 상기 복수의 시차화상에서 다른 1개이상의 시차화상에 포함되지 않은 화상 성분을 검출하는 검출부를 구비하는 것을 특징으로 하는, 화상처리장치.
피사체를 촬상하여서 서로 시차를 가지는 복수의 시차화상을 생성하는 촬상계; 및
화상처리장치를 구비하고, 상기 화상처리장치가,
복수의 시차화상을 취득하는 화상취득부; 및
상기 복수의 시차화상의 각각인 대상 화상으로부터, 그 대상 화상에 포함된 불필요 성분으로서 상기 복수의 시차화상에서 다른 1개이상의 시차화상에 포함되지 않은 화상 성분을 검출하는 검출부를 구비하는 것을 특징으로 하는, 촬상장치.
피사체를 촬상하여서 생성된 서로 시차를 가지는 복수의 시차화상을 취득하는 스텝; 및
상기 복수의 시차화상의 각각인 대상 화상으로부터, 그 대상 화상에 포함된 불필요 성분으로서 상기 복수의 시차화상에서 다른 1개이상의 시차화상에 포함되지 않은 화상 성분을 검출하는 스텝을 포함하는 것을 특징으로 하는 화상처리를, 컴퓨터에서 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.