KR20140115989A

KR20140115989A - 촬상장치 및 그 제어방법

Info

Publication number: KR20140115989A
Application number: KR20140030786A
Authority: KR
Inventors: 타케시 오가와
Original assignee: 캐논 가부시끼가이샤
Priority date: 2013-03-21
Filing date: 2014-03-17
Publication date: 2014-10-01
Also published as: JP2014182360A; CN104065871B; US20140285707A1; KR101628680B1; JP6116301B2; CN104065871A; US9602713B2

Abstract

분할 화소의 가산 신호로부터 분할 화소의 비포화 판독값을 감산하는 구성에 있어서, 포화된 신호에 대하여 초점 검출을 행하는 것이 가능한 촬상장치를 제공한다. 이 촬상장치는, 감산유닛과 억제유닛을 포함한다. 감산유닛은 촬상소자로부터 출력되는 제1 화상 신호와 제2 화상 신호를 가산해서 얻은 가산 신호로부터 촬상소자로부터 출력되는 제1 화상 신호를 감산해서 제2 화상 신호를 취득하고, 억제유닛은, 제1 화상 신호를 소정의 값 이하의 값으로 억제한다.

Description

촬상장치 및 그 제어방법{IMAGING APPARATUS AND METHOD FOR CONTROLLING THE SAME}

본 발명은 촬상장치 및 그 촬상장치의 제어 방법에 관한 것이다. 또한, 본 발명은 복수의 광전변환부에 대응하는 한 개의 마이크로렌즈로 구성된 촬상소자를 이용해서 동공 분할 화상을 취득하는 기술에 관한 것으로, 특히, 화소의 각 광전변환부에서 발생하는 포화에 의한 화상의 왜곡을 양호하게 보정하는 기술에 관한 것이다.

종래에는, 복수의 광전변환부에 대응하는 한 개의 마이크로렌즈로 구성된 촬상소자에 의해, 동공 분할된 화상을 취득하고, 취득한 2개의 동공 분할된 화상 간의 위상 차를 취득해서 초점 검출을 행하는 기술이 알려져 있다.

예를 들면, 일본국 공개특허공보 특개 2001-83407호에는 동공 분할된 화상의 위상 차를 취득해서 초점 검출을 행함과 동시에 동일 마이크로렌즈에 대응하는 광전변환부의 모든 값을 가산해서 그 가산한 값을 1개의 화소의 값으로서 다루는 것으로 그것의 화소 어레이가 종래의 촬상 화소의 것과 같아지도록 하는, 종래의 신호 처리 기술에 의해 관상용의 화상을 작성하는 기술이 개시되어 있다.

일본 특허 제4691930호에서는, 비포화 상태에서 동일 마이크로렌즈 내의 광전변환부의 일부에서 발생한 전하에 대응하는 값을 판독한 후에, 동일 마이크로렌즈 내의 모든 광전변환부에서 발생한 전하에 대응하는 가산 값을 판독한다. 그 다음, 판독한 값들 간의 차분으로부터 다른 광전변환부의 값을 추정함으로써, 촬상 화소 신호의 고감도 특성을 유지하면서 위상차 화상 신호를 취득할 수 있다.

그렇지만, 상술한 일본 특허 제4691930호에 개시된 종래기술에서는, 보다 높은 ISO(International Standards Organization) 감도를 갖기 위한 게인 증가 시에 발생하는 포화에 의해 현저하게 신호 파형이 왜곡되는 문제가 발생한다.

예를 들면, ISO 100에 대해서 설계된 촬상소자를 ISO 200에서 사용할 경우, 게인을 증가시켜 그것의 신호 진폭을 배로 한다.

ISO 200에 있어서, 촬상 소자의 화소에 축적가능한 전하의 포화 레벨의 반분으로, AD(analog-digital) 변환기가 그것의 변환 레인지를 넘어서 외관상의 포화 레벨에 도달한다. 분할 화소에 그것의 가산 값으로서 저장될 수 있는 전하의 양은, AD 변환 레인지의 양의 2배 정도까지이다. 그러한 상태에서, 분할 화소의 가산 값으로부터 한 개의 분할 화소의 값을 감산해도, 또 다른 분할 화소의 값을 복원할 수 없다.

극단적인 경우에는, 모든 광전변환부에서 발생한 전하의 가산 값과 하나의 광전변환부의 전하의 값이 모두 포화 레벨에 도달하면, 가산 값으로부터 하나의 값을 감산하면 그것의 또 다른 값이 제로가 되는 현상이 발생한다. 그러한 경우에, 그러한 상태에서 취득된 2개의 동공 분할된 화상의 위상 차를 취득해서 초점 검출을 행해도, 초점 검출을 바르게 행할 수 없다.

따라서, 본 발명의 목적은, 분할 화소들의 가산 신호로부터 분할 화소의 비포화 판독 값을 감산하는 구성에 있어서, 포화된 신호에 대하여 초점 검출을 행할 수 있는 촬상장치를 제공하는 것이다.

본 발명의 일 국면에 의하면, 촬상장치는, 복수의 광전변환부를 갖는 촬상 화소로 구성된 촬상소자와, 상기 복수의 광전변환부로 검출된 한 쌍의 화상 신호를 사용해서 위상차 검출 방식의 초점 조절을 행하는 초점조절유닛을 포함한다. 이 촬상장치는 감산유닛과 억제유닛을 포함한다. 한 쌍의 화상 신호 중의 하나의 신호는 제1 화상 신호이고, 한 쌍의 화상 신호 중의 다른 하나의 신호는 제2 화상 신호이다. 감산유닛은, 상기 촬상소자로부터 출력되는 제1 화상 신호와 제2 화상 신호를 가산함으로써 취득되는 가산 신호로부터, 상기 촬상소자로부터 출력되는 상기 제1 화상 신호를 감산해서 제2 화상 신호를 생성하고, 억제유닛은, 상기 제1 화상 신호를 소정값 이하의 값으로 억제한다.

본 발명의 추가적인 특징들은 첨부도면을 참조하면서 이하의 예시적인 실시예의 설명으로부터 분명해질 것이다.

도 1은 본 발명의 예시적인 실시예에 따른 초점 검출 화소 분리부를 나타내는 블럭도이다.
도 2는 본 발명의 예시적인 실시예에 따른 촬상소자의 단면도이다.
도 3a 및 3b는 본 발명의 예시적인 실시예에 따른 입사광의 출력특성을 나타내는 그래프이다.
도 4는 본 발명의 예시적인 실시예에 따른 각 부의 타이밍 차트이다.
도 5는 본 발명의 예시적인 실시예에 따른 촬상소자의 에어리어 분할도이다
도 6은 본 발명의 제1 예시적인 실시예에 따른 촬상장치를 나타내는 블럭도이다.
도 7a 내지 7c는 본 발명의 예시적인 실시예에 따른 신호들의 각 부를 나타내는 파형 차트이다.
도 8은 본 발명의 제2 예시적인 실시예에 따른 초점 검출 화소 분리 처리를 위한 프로그램의 플로차트이다.
도 9a 및 9b는 본 발명의 제3 및 제4 예시적인 실시예에 따른 화상 A, A+B, B의 신호 파형을 나타내는 파형 차트이다.
도 10a 내지 10c는 본 발명의 제3 예시적인 실시예에 따른 입사광의 출력 특성을 나타내는 그래프이다.
도 11은 본 발명의 제3 예시적인 실시예에 따른 회로 블럭도이다.
도 12는 본 발명의 제5 예시적인 실시예에 따른 리포커싱 처리를 나타내는 결상면의 모식도이다.
도 13a 및 13b는 본 발명의 제6 예시적인 실시예에 따른 셰이딩(shading) 특성을 나타내는 도면이다
도 14는 본 발명의 제6 예시적인 실시예에 따른 촬상소자의 촬상면을 나타내는 정면도이다.
도 15a 내지 15c는 본 발명의 예시적인 실시예에 따른 촬상면 위상차 오토포커스(AF)의 원리도이다.

이하에, 본 발명의 바람직한 실시예를, 첨부의 도면에 의거하여 상세하게 설명한다.

도 2는, 본 발명의 예시적인 실시예에 따른 촬상소자의 화소를 나타내는 단면도다. 화소는 마이크로렌즈(204), 컬러 필터(203), 광전변환부 201, 202, 및 배선층(205)을 포함한다. 도 2에 도시한 바와 같이, 1개의 마이크로렌즈에 2개의 광전변환부 201, 202를 설치함으로써, 동공 분할을 행하고, 각각의 광전변환부 201, 202로부터 취득한 화상의 위상차를 사용해서 초점 검출을 행한다.

또한, 광전변환부 201과 202의 값들을 가산함으로써, 동공 분할되지 않은 화상을 취득할 수 있다. 컬러 필터(203)는 베이어 어레이로 배열된 레드(R), 그린(G), 및 블루(B)의 각 필터로 구성되어 있기 때문에, 광전변환부 201, 202의 가산 화상을 이용해서 컬러 화상을 얻을 수 있다.

광전변환부 201로부터 취득된 화상을 화상 A, 광전변환부 202로부터 취득된 화상을 화상 B, 광전변환부 201, 202의 화상을 가산해서 얻은 화상을 화상 A+B라고 부른다.

본 발명의 예시적인 실시예에 따른 촬상소자는 화상 A만 비포화 상태에서 판독하는 기능과, 광전변환부 201, 202의 전하를 가산해서 화상 A+B로서 판독하는 기능을 포함한다.

도 5는, 본 발명의 예시적인 실시예에 따른 촬상소자의 수광면을 나타낸 도면이다. 폭 501은 촬상소자 전체의 유효 화소를 나타내고, 화상 A+B의 판독 에어리어로서 기능한다.

폭 502는 화상 A을 판독할 수 있는 에어리어를 나타낸다.

촬상소자가 화상을 판독하는데 걸리는 시간을 단축하기 위해서, 촬상소자는 초점 검출에 사용하는 에어리어만으로 화상 A을 판독하도록 설계되어 있다.

도 4의 타이밍 차트를 참조해서 본 발명의 예시적인 실시예에 따른 촬상소자의 판독 타이밍에 대해서 설명한다.

도 4에서, 신호 405는 촬상소자의 판독 신호의 1수평 기간을 나타낸다. 신호 405는 수평 블랭킹(blanking) 기간 401, 화상 A의 판독 기간 402, 및 화상 A+B의 판독 기간 403을 포함한다. 도 4에 도시한 바와 같이, 화상 A 및 화상 B을 개별적으로 판독하는 경우보다도 짧은 수평기간 내에서 필요한 정보를 판독할 수 있다.

본 발명의 예시적인 실시예에 따른 촬상장치에서는, 판독한 화상 A+B으로부터 판독한 화상 A을 감산하는 것에 의해 화상 B을 취득한다.

도 3a 및 3b의 특성 그래프를 참조해서 종래 기술의 문제점에 관하여 설명한다.

도 3a는 ISO 100의 경우의 촬상소자의 특성을 나타낸 그래프이다. 도 3a에 있어서, 촬상소자를 ISO 100에 근거해서 설계하는 경우가 많기 때문에 편의상 촬상소자의 감도를 "ISO 100"이라고 표기했다. 그러므로, 촬상소자의 최소 감도와 동의의 의미로서 "ISO 100"가 사용된다.

도 3a에서, 횡축은 입사광의 양이고, 종축은 출력 레벨이다. 화상 A 및 화상 B 양쪽에서, 입사광의 양에 따라 출력이 증가한다. 그렇지만, 화상 A 및 화상 B가 포화 레벨에 도달한 후에는, 입사광의 양을 증가시켜도 출력 레벨이 증가하는 일은 없다.

이것은 입사광의 양에 비례해서 광전 변환된 전하의 양이 화소의 축적 용량을 초과해버리기 때문이다.

화상 A+B는 화상 A와 화상 B의 신호레벨의 가산 값이므로, 화상 A 및 화상 B가 모두 포화하면, 입사광의 양을 증가시켜도 그것의 출력 레벨은 상승하지 않게 된다.

그것에 대해서, 도 3b는, ISO 100에 대하여 신호를 2배로 증폭시키는 ISO 200의 경우의 촬상소자의 특성을 나타내는 그래프이다.

촬상소자의 광전변환 특성의 감도를 변화시킬 수는 없기 때문에, 고감도에서 촬상소자를 사용할 경우, AD 변환기 전의 아날로그 앰프의 게인을 증가시키는 것에 의해 감도의 변화를 실현하고 있다.

그 때문에, ISO 200에 있어서의 포화 레벨은 AD 변환 레인지에 따라 결정되게 된다.

따라서, 신호 레벨이 포화해도, 광전변환소자에 의해 변환된 전하는 화소 내에 계속해서 축적된다. 도 3b에서, 화상 A 신호의 출력 레벨은 화상 A+B가 AD 변환 레인지의 포화 레벨에 도달해도 계속해서 상승해서, 그것의 출력레벨이 화상 A+B의 포화 레벨과 같은 값에 도달한다.

화상 B는 화상 A와 같은 특성을 갖는다. 그러나, 화상 A을 화상 A+B으로부터 감산해서 발생한 화상 B의 출력은, 화상 A의 출력이 화상 A+B의 포화 레벨의 반분을 넘을 때 감소하기 시작하고, 화상 A의 신호 레벨이 화상 A+B과 일치하면 제로가 된다.

도 7a 내지 7c의 신호 파형 차트를 참조해서 포화 상태의 화상 B 신호에 관하여 설명한다. 도 7a에 있어서, 화상 A+B(701)는 화상 A+B의 파형도이고, 화상 A(702)는 화상 A의 파형이다. 파형 701 및 702의 중앙 부분에서 포화가 발생한다. 도 7b는 도 3b의 특성으로 발생한 화상 B의 파형을 나타낸다. 화상 A(702)는 화상 A의 파형이고, 화상 B(703)는 화상 B의 파형이다. 화상 A(702)가 포화한 부분에서 화상 B(703)의 신호 레벨은 제로이다. 초점 검출에서는, 화상 A와 화상 B 간의 위상 차를 검출할 필요가 있다. 그렇지만, 포화 부분에서 화상이 상당히 왜곡되기 때문에, 초점 검출의 결과가 벗어나게 될 것이다.

본 발명의 목적은, 이러한 문제점을 해결하는 것이다.

상기 문제점을 해결하기 위해서, 촬상장치는 복수의 광전변환부를 갖는 촬상 화소로 구성된 촬상소자와, 복수의 광전변환부로 검출되는 한 쌍의 화상 신호를 사용해서 촬상면 위상차 검출 방식의 초점 조절을 행하는 초점 조절 유닛을 포함한다. 촬상장치는 감산유닛과 억제유닛을 포함한다. 한 쌍의 화상 신호 중의 하나 신호를 제1 화상 신호라고 하고, 한 쌍의 화상 신호 중의 다른 하나의 신호를 제2 화상 신호라고 한다. 감산유닛은, 촬상소자로부터 출력되는 제1 화상 신호와 제2 화상 신호를 가산해서 얻은 가산 신호로부터, 촬상소자로부터 출력되는 제1 화상 신호를 감산해서 제2 화상 신호를 생성하고, 억제유닛은, 제1 화상 신호를 소정값 이하의 값으로 억제한다.

가산 신호는, 화상 A+B의 화상 신호이며, 제2 화상 신호는, 화상 A의 화상 신호 또는 화상 B의 화상 신호다.

도 15a 내지 15c를 참조해서 본 발명의 제1 내지 제4 예시적인 실시예에 따른 촬상면 위상차 AF의 광학 원리를 설명한다.

이하, 도 15a 내지 15c를 참조해서 화상 A 및 화상 B을 사용하는 촬상장치의 측거(range-finding) 정보 취득 동작에 관하여 설명한다.

도 15a 내지 15c에 나타낸 바와 같이, 촬상소자는, 각 마이크로렌즈(ＭＬ) 아래에 분리 배치되는 화소 a 및 b을 갖는 복수의 단위 화소 셀 P를 포함하고 있다. 이 ＭＬ 아래에 배치된 화소 a 및 b는 ＭＬ을 사출 동공(exit pupil)으로서 취하는 동공 분할된 화소라는 것이 알려져 있다.

측거 동작 시에는, 화소 a 및 b로 구성되는 화상 A 화소 및 화상 B 화소의 출력을, 각각 열방향(혹은 행방향)으로 조합하고, 같은 색 단위의 화소 셀 군의 출력으로서, 화상 A 및 화상 B의 출력의 각각을 생성 및 처리한다. 그 후에, 그것의 대응점 간의 편차를 상관 연산에 의해 취득한다. 상관 연산의 결과는 하기식에 의해 취득될 수 있다.

[식]

C ＝ Σ|ＹＡｎ－ＹＢｎ|

여기에서, "n"은 수평 방향의 마이크로렌즈의 수를 나타낸다. 또한, ＹＢｎ에 대하여 대응 화소를 시프트시켜서 얻은 값을 플롯(plot)하고, 가장 값이 작은 편차량이 인 포커스(in-focus) 위치라고 결정된다. 편차량(시차량)과 인 포커스 상태와의 관계는, 도 15a 내지 도 15c의 하단에 표시되어 있다.

도 15a에 도시한 바와 같이, 인 포커스 상태에서는, 촬영 광학계의 결상 위치가 단위 화소 셀 P7의 ＭＬ 아래의 위치 ＰＤ이기 때문에, 화상 A의 화소군과 화상 B의 화소군은 거의 서로 일치한다. 이때, 상관 연산으로 취득된 화상 A 화소군과 화상 B 화소군의 화상 편차량 D(a)의 값은 거의 0에 가깝다.

도 15b에 도시한 바와 같이, 후방 포커스 상태에서는, 촬영 광학계의 결상 위치로서, 화상 A용 화소가 단위 화소 셀 P5의 ML 아래의 화소가 되고, 화상 B용 화소가 단위 화소 셀 P9의 ML 아래의 화소가 된다. 이때, 상관 연산으로 화상 A 화소군과 화상 B 화소군의 화상 편차량 D(b)이 취득된다.

도 15c에 도시한 바와 같이, 전방 포커스 상태에서는, 촬영 광학계의 결상 위치로서, 화상 A용 화소가 단위 화소 셀 P9의 ML 아래의 화소가 되고, 화상 B용 화소가 단위 화소 셀 P5의 ＭＬ 아래의 화소가 된다. 이때, 도 15b에서의 후방 포커스 상태의 편차 방향과 역방향으로 시프트된 화상 A 화소군과 화상 B 화소군과의 편차, 화상 편차량 D(c)이 상관 연산으로 취득된다. 이것은, 인 포커스 상태에서는 화상 A 화소군 및 화상 B 화소군이 동일한 피사체를 "보고" 있지만, 후방 포커스 상태 및 전방 포커스 상태에서는, 화상 A 화소군 및 화상 B 화소군이 화상 편차량 D만큼 시프된 피사체를 "보고" 있다는 것을 나타낸다.

실제의 인 포커스 동작시에는, 디포커스(defocus)량이 화상 편차량 D와 기선(基線) 길이에 의거해서 주지의 기술에 의해 취득되고, 구동부에 출력된다. 그리고나서, 촬영 광학계를 이동시키는 것으로 피사체에 대해서 인 포커스 동작을 행한다.

이하, 도 6의 블럭도를 참조하여, 본 발명의 제1 예시적인 실시예에 따른 촬상장치에 관하여 설명한다. 촬상장치는 포커싱 렌즈(601), 도 2에 나타낸 화소 구성을 포함하는 촬상소자(602), 및 초점 검출 화소 분리부(604)를 포함한다.

촬상소자(602)로부터의 출력 603에 의거해서, 초점 검출 화소 분리부(604)에 의해 화상이 화상 A, B, 및 A+B로 분리된다. 화상 A+B는 신호 처리 회로(607)에 입력되어, 컬러 영상 신호로 변환된다. 화상 A 및 B는 초점 검출 회로(608)에 입력되어, 초점 검출에 이용된다. 제어 마이크로컴퓨터(609)는 초점 검출 회로(608)에 의해 취득된 초점 검출 결과를 판독하고 포커싱 렌즈(601)를 제어한다. 제어 마이크로컴퓨터(609)는 촬상장치 전체를 제어한다. 제어 마이크로컴퓨터(609)는 감산 유닛의 기능을 포함한다.

도 1은 도 6의 초점 검출 화소 분리부(604)의 내부회로의 블럭도다. 출력 101은 촬상소자(602)의 출력이고, 라인 메모리(103)는 화상 A 신호를 축적한다. 타이밍 발생기(104)는 초점 검출 화소 분리부(604)의 타이밍을 제어한다. 타이밍 발생기(104)는, 입력 신호에 대하여, 소정의 타이밍에서 스위치 105, 106, 107, 및 108을 제어하는 것으로 화상 A+B와 화상 A의 동기화를 행하고 있다.

도 4의 타이밍 차트를 참조해서 타이밍에 관해서 설명한다. 신호 405는 출력 신호 101을 나타낸다. 신호 405는 수평 블랭킹(blanking) 기간(401), 화상 A 판독 기간(402), 및 화상 A+B 판독 기간(403)의 순으로 입력된다. 화상 A 판독 기간(402)에 입력된 화상 A 신호는, 스위치(105)에 의해 화상 A 라인 메모리(103)에 입력된다.

그리고나서, 기간 404에서 스위치 106 및 107가 서로 소통해서, 화상 A 신호와 화상 A+B 신호가 동기화된다. 파형 408이 화상 A 라인 메모리(103)로부터 출력된다. 화상 A 리미터부(109)는 본 발명에 따른 억제유닛으로서 기능한다. 화상 A 리미터부(109)는 입력되는 리미트 값(102)과 스위치 107의 출력을 비교한다. 그리고나서, 그것의 출력이 리미트 값(102)을 넘는 경우에는, 화상 A 리미터부(109)가 내부의 스위치를 바꿔서, 출력을 리미트 값(102)으로 교체한다.

이와 같이 작성된 화상 A 신호를, 스위치 106으로부터 출력된 화상 A+B 신호로부터 감산하는 것으로, 화상 B 신호가 작성되어 단자 110에 출력된다. 또한, 제어 마이크로컴퓨터(609)가 리미트 값(102)으로서 적절한 값을 설정한다.

제1 예시적인 실시예에 있어서는, 리미트 값(102)은 화상 A+B의 포화 레벨의 약 반분 정도의 값으로 설정된다. 도 4의 타이밍 차트에서는, 신호 408과 407이 동기화된 화상 A과 화상 B을 각각 나타낸다. 신호 406은 스위치 108로부터 출력되는 화상 A+B을 나타낸다. 화상 A 리미터부(109)를 설치하는 것에 의해, ISO 200와 같은 고감도를 갖도록 게인을 증가시키는 경우에도 도 3a에 나타낸 특성을 취득할 수 있다. 도 7c는 화상 A 리미터부(109)에 의해 화상 A의 값이 소정의 값을 넘지 않도록 제한되었을 경우의 화상 A과 화상 B의 파형을 나타내는 파형 차트이다. 화상 A(702)는 화상 A의 파형이고, 화상 B(703)는 화상 B의 파형이다. 도 7c에 도시한 바와 같이, 화상 A 및 화상 B의 일치도가 높아지기 때문에, 상관 연산에 의해 바람직한 결과가 취득될 수 있어, 초점 검출의 정밀도가 향상될 것이다.

도 6의 초점 검출 회로(608)에서는, 화상 A와 화상 B의 편차량을 취득해서, 디포커스(defocus)량을 계산할 것이다. 그렇지만, 본 발명의 본질이 아니기 때문에 그것의 상세설명은 생략한다.

이하, 도 8의 플로차트를 참조하여, 본 발명의 제2 예시적인 실시예에 따른 촬상장치에 관하여 설명한다. 제1 예시적인 실시예에서는, 화상 A 리미터부(109) 및 초점 검출 화소 분리부(604)의 각각을 회로로 구성한다. 본 예시적인 실시예에서는, 억제유닛으로서의 기능을 마이크로컴퓨터로 실행한다.

도 8은 마이크로컴퓨터의 메모리에 기억된 화상 A와 화상 A+B에 의거해서 각각 실행되는 화상 A의 리미트 처리와 화상 B의 분리 처리의 프로그램의 플로차트이다.

스텝 S801에서는, CPU(central processing unit)가 프로그램을 시작한다. 스텝 802에서는, CPU는 입력 화상 A, A+B, 및 출력 화상 B을 기억하는 메모리의 어드레스를 초기화한다. 스텝 803에서는, CPU가 화상 A 화소를 판독한다. 스텝 S804에서는, CPU가 화상 A 화소의 값과 리미트 값을 비교한다. 화상 A 화소의 값이 리미트 값을 넘으면(스텝 S804에서 YES), 처리가 스텝 S805로 진행된다. 스텝 S805에서는, CPU가 화상 A 화소의 값을 리미트 값으로 교체한다. CPU가 스텝 S804로부터 스텝 S805로 처리를 진행시키지 않거나 진행시키는 경우들 중의 어느 경우든지, CPU가 다음에 처리를 스텝 S806로 진행시켜 화상 A+B 화소를 판독한다. 화상 A 화소의 값이 리미트 값을 넘지 않을 경우(스텝 S806에서 NO), 처리가 스텝 S806으로 진행된다. 스텝 S806에서는, CPU가 화상 A+B 화소를 판독한다.

스텝 S807에서, CPU가 화상 A+B 화소로부터 화상 A 화소를 감산해서 화상 B 화소를 작성하고, 화상 B 화소의 메모리 에어리어에 화상 B 화소를 기록한다. 스텝 S808에서는, CPU는 모든 화소가 처리되었는지 여부를 판정한다. 그것의 처리가 완료되지 않은 경우에는(스텝 S808에서 NO), 처리가 S809로 진행된다. 스텝 S809에서는, CPU가 입출력 포인터(pointer)를 전방으로 이동시켜서 처리를 스텝 S803로 진행시킨다.

CPU가 스텝 S803 내지 스텝 S808의 처리를 전체 화소에 대해서 반복적으로 실행한다. 화소 모두가 처리되었으면(스텝 S808에서 YES), 처리가 스텝 S810로 진행되어서 CPU가 처리를 종료한다.

이후에는, 제3 예시적인 실시예에 대해서 설명한다. 도 9a는 화상 A, A+B, B의 신호를 나타내는 파형도다. 화상 A+B(901)는 화상 A+B의 신호 파형이고, 화상 B(902)는 화상 B의 신호 파형이며, 화상 A(903)는 화상 A의 신호 파형이다. 도 9b는 제1 예시적인 실시예에서 설명한 회로를 사용해서 취득되는 화상 A(903)와 화상 B(902)의 신호 파형을 나타낸다.

라인 905는 화상 A(903) 및 화상 B(902)에 대한 리미트 값을 나타낸다. 이때, 화상 A+B(901)는 아직 포화 레벨에 도달하지 않았기 때문에, 화상 A(903)가 리미트 값으로 제한되지 않아도 화상 B(902)를 바르게 취득할 수 있다. 그러나, 화상 A(903)를 제한하기 때문에, 본래 화상 A(903)에 포함되는 진폭이 감산 후에 화상 B(902)로 이동된다.

도 9b에서는, 부분 906으로 나타낸 에어리어는, 화상 A(903)의 진폭이 화상 B(902)로 이동된 것을 나타낸다. 화상 A+B(901)가 포화되지 않을 때에, 화상 A(903)가 소정값(임계값)을 넘은 경우에도, 감산에 의해 화상 B(902)를 바르게 취득할 수 있다. 따라서, 상술한 현상을 방지하기 위해서는, 화상 A+B(901)가 포화되는지 여부를 판단한 후에 그것의 값을 리미트 값으로 교체해도 된다.

화상 A+B(901)가 포화되는지 여부에 의존해서, 그 값을 리미트 값으로 교체하면, 교체된 부분에서 급격하게 신호 레벨이 변화하는 위험이 있다. 그러한 급격한 신호 레벨의 변화는 부자연스러운 노이즈를 발생시키므로, 리미트 값과 비리미트(non-limit) 값을 스무스하게 교체할 필요가 있다.

도 10c는 비리미트 값을 스무스하게 리미트값으로 교체하는 경우의 입사광량과 출력과의 관계를 나타내는 그래프이다. 화상 A+B(901)의 포화값보다도 약간 적은 값으로부터 리미트 값과 비리미트 값과의 혼합 비율을 서서히 변화시킴으로써, 화상 A+B(901)가 포화 레벨에 도달한 지점에서 그것의 값이 리미트 값으로 완전하게 변화된다. 상술한 바와 같이, 화상 A+B(901)가 포화 지점 근방이 아닌 경우에는, 리미터 값이 인가되지 않을 것이다. 이 구성에 의해, 많은 경우에 있어서는, 도 9a에 나타낸 바와 같이 화상 A(903) 및 화상 B(902)를 얻을 수 있다.

도 11에 나타낸 회로도를 참조해서 본 예시적인 실시예의 구성을 설명할 것이다. 도 11은 도 1의 화상 A 리미터부(109)에 해당하는 부분을 나타내는, 본 예시적인 실시예에 따른 회로도다. 화상 A 리미트 값(1105)은 제1 예시적인 실시예에서 설명한 것과 동일한 리미트 값이다. 스위치(1110) 직후의 신호는 제1 예시적인 실시예에서 설명한 것과 동일한 신호이다. 본 예시적인 실시예에서는, 제1 예시적인 실시예에서 설명한 구성의 신호에 더하여 화상 A+B도 사용한다. 연산기(1107)로 화상 A+B(1103)와 리미터 효과가 있는 소정값(임계값)(1101)과의 차이를 취득하고, 취득한 값을 리미터(1108)에 입력한다. 리미터(1108)는 마이너스의 값을 0으로 교체한다. 따라서, 화상 A+B(1103)의 값이 리미터 효과가 있는 소정값(임계값)(1101)보다도 적을 때에, 리미터(1108)의 값이 제로가 될 것이다.

완전 리미트(full-limit) 임계값(1102)으로서 입력되는 값은, 완전하게 리미트 값으로 교체되는 소정값(임계값)이다. 통상적으로, 화상 A+B의 포화 레벨과 같은 값을 설정한다. 감산기(1106)는 리미터 효과가 있는 소정값(임계값)(1101)과 포화 레벨 간의 차이의 값을 출력한다. 이 차이 값은 리미트 값과 비리미트 값과의 혼합비의 변화의 분해능으로서 기능한다. 리미터(1108)로부터의 출력을 "Ratio", 감산기(1106)로부터의 출력을 "Resolution"이라고 하면, "Ratio"는 0으로부터 "Resolution"까지의 값을 받아들일 수 있다.

또한, 감산기(1113)는 "Resolution"으로부터 "Ratio"를 감산하기 때문에, "Ratio"가 0일 때에는 감산기(1113)의 출력값은 "Resolution"과 같고, "Ratio"가 "Resolution"과 같을 때에는 출력값이 0이 된다. 화상 A(1104)와 화상 A 리미트값(1105)은 각각 "Ratio" 및 "Resolution - Ratio"과 곱해져서, 가산기(1114)로 가산되고, 나눗셈기(1115)에 의해 "Resolution"로 나누어진다. 상기 구성에 의해, 화상 A(1104)와 화상 A 리미트 값(1105)이 "Ratio/Resolution"의 계산에 의해 결정된 비율로 혼합된다.

본 예시적인 실시예에서는, 가산 신호에 의거하여 포스트 리미트(post-limit) 화상 A 신호와 프리 리미트(pre-limit) 화상 A 신호와의 혼합 비율을 결정하고, 상기 혼합비율로 혼합된 신호를 사용해서 위상차 검출 방식의 초점 조절을 행한다.

이러한 구성에 의해, 화상 A+B이 포화되지 않을 때에는, 화상 A와 화상 B와의 밸런스에 관계없이 올바른 값이 취득될 수 있고, 화상 A+B이 포화하였을 때에는 화상 A에 리미트값이 인가된다. 또한, 화상 A+B가 포화하는 타이밍에서 갑자기 리미트 값이 인가되지 않기 때문에, 그것의 파형은 왜곡될 수 없다. 본 예시적인 실시예에서는, 리미트 처리로 스무스하게 전환하는 회로에 대해서 설명했다.

제4 예시적인 실시예에서는, 촬상장치는 제1 상관 연산부와 제2 상관 연산부를 포함한다. 제1 상관 연산부는 화상 A에 리미트값을 인가하는 일 없이 도 9a의 화상 A와 화상 B을 사용해서 상관 연산을 행하고, 제2 상관 연산부는, 제1 예시적인 실시예에서 설명한 화상 A 리미터부(109)를 사용하여 취득되는 도 9b의 화상 A와 화상 B을 사용한 상관 연산을 행한다. 본 예시적인 실시예에서는, 촬상장치는 제1 상관 연산부에 의해 취득된 상관 연산 결과와 제2 상관 연산부에 의해 취득된 상관 연산 결과로부터 선택해서 가장 신뢰할 수 있는 상관 연산 결과를 이용한다. 본 예시적인 실시예에서는, SAD(sum of absolute difference)를 이용해서 가장 신뢰할 수 있는 상관 연산 결과의 최소값을 결정한다.

SAD는 그것의 편차량에 대해서 가장 상관관계가 있는 화상들 간의 유사도를 나타내는 지표로서 기능한다. 이러한 구성에 의해, 도 9b의 부분 906으로 나타낸 바와 같이 왜곡(distortion)과 같은 화상 A 리미터부(109)의 부정적인 영향이, 편차량의 개선과 같은 화상 A 리미터부(109)의 이로운 영향보다도 커졌을 경우에는, 도 9a의 파형을 사용하여 얻은 상관 연산 결과를 선택해서, 양호한 결과를 취득할 수 있다.

요컨대, 본 예시적인 실시예에 의하면, 촬상장치는 제1 위상차 신호와 제2 위상차 신호의 신뢰성 판정을 행하도록 구성된 신뢰성 판정유닛을 포함한다. 제1 위상차 신호는 억제유닛에 의해 억제되기 전의 제1 화상 신호(화상 A 신호) 및 억제유닛에 의해 억제되기 전의 제1 화상 신호를 사용해서 산출되는 제2 화상 신호(화상 B 신호)로부터 취득된다. 제2 위상차 신호는 억제유닛에 의해 억제된 후의 제1 화상 신호 및 상기 억제유닛에 의해 억제된 후의 제1 화상 신호를 사용해서 산출되는 제2 화상 신호로부터 취득된다. 이 촬상장치에 있어서, 초점 조절유닛은, 제1 위상차 신호 및 제2 위상차 신호 중에서 더 신뢰성이 높은 위상차 신호를 사용해서 위상차 검출 방식의 초점 조절을 행한다.

제1 내지 제4 예시적인 실시예에서는, 화상 A와 화상 B을 상관 연산하는 것에 의해, 초점 검출을 행한다. 제5 예시적인 실시예에서는, 리포커싱(refocusing) 처리를 행할 것이다. 도 12는 리포커싱 처리를 설명하는 결상면의 모식도다. 촬상소자는 마이크로렌즈(204) 및 광전변환소자 1201∼1204로 구성된다. 광전변환소자 1201 및 1204는 촬상소자의 표면 위에 배치되어 있고, 광전변환소자 1201은 왼쪽에서 두 번째 화상 B 화소인 화상 B 화소(B2) 위에 배치되어 있다.

촬상면 위에 형성된 화상 A+B는 도 12에 있어서의 화소 A1 및 B1, 혹은 A2 및 B2의 신호와 같은 동일 마이크로렌즈에 대응하는 화소 A 및 B의 신호들을 가산함으로써 취득된다. 촬상면 약간 뒤쪽의 면을 리포커싱 위치라고 하면, 광전변환소자 1201에 입사하는 광선은 광전변환소자 1202의 센서에 입사할 것이다. 마찬가지로, 광전변환소자 1204에 입사하는 광선은 광전변환소자 1203에 입사할 것이다.

본 예시적인 실시예에 의하면, 촬상장치는 감산유닛과 억제유닛을 포함한다. 한 쌍의 신호 중의 하나의 신호를 제1 신호라고 하고 한 쌍의 신호 중의 다른 하나의 신호를 제2 신호라고 한다. 감산유닛은 촬상소자로부터 출력되는 제1 신호와 제2 신호를 가산해서 얻은 가산 신호로부터, 촬상소자로부터 출력되는 상기 제1 신호를 감산해서 제2 신호를 생성하고, 억제유닛은, 제1 신호를 소정값 이하의 값으로 억제한다.

상술한 원리를 이용해서, 광전변환소자 1202와 1203의 조합으로 화소 A 및 B의 신호들을 가산함으로써, 촬상면의 전후 위치에서 취득한 화상들을 유사적으로 취득할 수 있다. 본 발명에 따른 기술은 초점 검출에 더하여 상기의 리포커싱 화상의 취득에도 적용될 수 있다.

제6 예시적인 실시예에서는, 소정값을 셰이딩(shading) 특성에 맞추기 위해서, 촬상면의 위치 또는 렌즈의 광학특성에 따라 리미트값을 변화시킨다.

도 13a에 나타낸 렌즈의 단면도를 참조해서 셰이딩(shading)의 원인에 대해서 설명한다. 렌즈는 전방 렌즈(1301), 조리개(1302) 및 후방 렌즈(1303)를 포함한다. 전방 렌즈(1301)의 프레임은 전방 프레임이라고 칭하고, 후방 렌즈(1303)의 프레임은 후방 프레임이라고 칭한다. 촬상면(1304)은 후방 렌즈(1303)의 측면에 위치되어 있다.

도 13b는 촬상면(1304)의 위치 ｘ 및 위치 y로부터 본, 전방 렌즈(1301), 조리개(1302), 및 후방 렌즈(1303)의 각 프레임의 중첩 상태를 나타내는 도면이다. 도 13b에 있어서, 조리개(1302)만 위치 x로부터 보면 광량을 제한하고 있다. 그렇지만, 위치 y로부터 보면, 조리개(1302)에 의한 제한에 더하여 전방 렌즈(1301) 및 후방 렌즈(1303)의 전방 프레임 및 후방 프레임도 광량을 제한하고 있다.

도 14는 도 13b의 위치 ｙ에 있어서의 수광 범위와 촬상소자의 광전변환부 201 및 202를 중첩한 상태를 나타낸 도면이다. 도 14에 도시한 바와 같이, 광전변환부 201과 202에서는 수광 범위가 상당히 다르다. 상술한 바와 같이, "셰이딩(shading)"이란 촬상면이 광축 중심으로부터 떨어져서 화상 높이가 높아질수록 광량이 감소하는 현상이며, 동공 분할된 화상은 그것의 화상 높이가 높아질수록 화상이 오프 밸런스(off-balance)가 되는 성질이 있다.

제1 예시적인 실시예에서는, 리미트값(102)이 화상 A+B의 포화 레벨의 반분으로 설정된다. 그렇지만, 인 포커스 면 위의 화소들의 신호 레벨의 비율, 또는 화소 A와 B의 신호레벨의 비율은 셰이딩 변동(shading variation)의 값과 거의 동일하다. 따라서, 리미트 값을, 셰이딩 밸런스 비율에 맞추는 것이 바람직하다.

도 13을 참조하여 상기 설명한 바와 같이, 셰이딩의 상태는 렌즈 프레임의 크기와, 촬상면과 렌즈 프레임 간의 거리에 의해 영향을 받는다.

제6 예시적인 실시예에서는, 리미트 값을 촬상면의 위치에 따라 변화시킨다. 또, 리미트 값을 렌즈의 구성에 따라 변화시킨다.

제1 내지 제6 예시적인 실시예에서는, 2개의 광전변환부를 포함하는 마이크로렌즈에 대해서 설명한다. 그렇지만, 마이크로렌즈가 2개 이상의 광전변환부를 포함하면 상술한 것과 같은 동일한 효과를 취득할 수 있다. 또한, 제1 및 제2 예시적인 실시예에서는, 베이어(Bayer) 어레이로 배열된 RGB 컬러 필터에 대해서 설명했다. 그렇지만, 보색 필터의 어레이에 의해서도 동일한 효과를 취득할 수 있다.

상기와 같이 본 발명에 따른 바람직한 예시적인 실시예에 관하여 설명했다. 그렇지만, 본 발명은 상기 예시적인 실시예에 한정되지 않고, 본 발명의 요지의 범위 내에서 다양한 변형 및 변경이 가능하다.

본 발명에 의하면, 가산 신호로부터 하나의 신호를 감산하는 시스템에 있어서는, 포화 신호를 적절히 처리할 수 있다.

그 외의 실시예

본 발명의 실시예들은, 상술한 본 발명의 실시예(들) 중의 하나 또는 그 이상의 기능을 행하도록 기억매체(예를 들면, 비일시 컴퓨터 판독가능한 기억매체) 상에 기록된 컴퓨터 실행가능한 명령들을 판독 및 실행하는 시스템 또는 장치의 컴퓨터에 의해서 실현될 수 있고, 또 예를 들면, 상술한 실시예(들) 중의 하나 또는 그 이상의 기능을 행하도록 기억매체로부터 컴퓨터 실행가능한 명령들을 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 행해지는 방법에 의해서도 실현될 수 있다. 이 컴퓨터는 CPU(Central Processing Unit), MPU(Micro Processing Unit), 또는 다른 회로 중 하나 또는 그 이상을 구비할 수도 있고, 독립된 컴퓨터 또는 독립된 컴퓨터 프로세서의 네트워크를 포함할 수도 있다. 이 컴퓨터 실행가능한 명령들은 예를 들면, 네트워크 또는 기억매체로부터 컴퓨터에 제공될 수도 있다. 이 기억매체는 예를 들면, 하드 디스크, RAM(random-access memory), ROM(read only memory), 분산 컴퓨팅 시스템의 스토리지, 광디스크(컴팩트 디스크(CD), DVD(digital versatile disc), Blue-ray Disc(BD)^TM등), 플래시 메모리 디바이스, 메모리 카드 중 어느 하나 또는 그 이상을 포함할 수도 있다.

본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.

Claims

복수의 광전변환부를 갖는 촬상소자와, 상기 복수의 광전변환부로 검출되는 한 쌍의 화상 신호를 이용해서 위상차 검출 방식의 초점 조절을 행하는 초점조절유닛을 포함하는 촬상장치로서,
상기 한 쌍의 화상 신호가 제1 화상 신호와 제2 화상 신호를 포함하는 경우에, 상기 촬상소자로부터 출력되는 상기 제1 화상 신호와 상기 제2 화상 신호를 가산해서 얻은 가산 신호로부터 상기 촬상소자로부터 출력되는 상기 제1 화상 신호를 감산해서 상기 제2 화상 신호를 취득하도록 구성된 감산유닛과,
상기 제1 화상 신호를 미리 결정된 값 이하의 값으로 억제하도록 구성된 억제유닛을 구비하는, 촬상장치.
제 1 항에 있어서,
상기 촬상소자는 상기 복수의 광전변환부를 갖는 화소를 포함하고, 상기 미리 결정된 값은 촬상면 내의 촬상 화소의 위치 또는 촬영 광학계의 광학 특성에 따라 변화하는, 촬상장치.
제 1 항에 있어서,
상기 촬상소자는, 상기 제1 화상 신호와 상기 제2 화상 신호를 증폭해서 출력하는, 촬상장치.
제 1 항에 있어서,
상기 촬상장치는 상기 가산 신호에 의거하여 상기 억제유닛으로 억제된 후의 제1 화상 신호와 상기 억제유닛으로 억제되기 전의 제1 화상 신호와의 혼합 비율을 결정하고,
상기 초점조절유닛은, 상기 혼합 비율로 혼합된 신호를 이용해서 위상차 검출 방식의 초점 조절을 행하는, 촬상장치.
제 4 항에 있어서,
제1 위상차 신호 및 제2 위상차 신호의 신뢰성 판정을 행하도록 구성된 신뢰성 판정유닛을 더 구비하고, 상기 제1 위상차 신호는 상기 억제유닛으로 억제되기 전의 제1 화상 신호 및 상기 억제유닛으로 억제되기 전의 제1 화상 신호를 이용해서 산출된 제2 화상 신호로부터 취득되고, 상기 제2 위상차 신호는 상기 억제유닛으로 억제된 후의 제1 화상 신호 및 상기 억제유닛으로 억제된 후의 제1 화상 신호를 이용해서 산출된 제2 화상 신호로부터 취득되며,
상기 초점조절유닛은, 상기 제1 위상차 신호 및 상기 제2 위상차 신호 중 신뢰성이 더 높은 위상차 신호를 사용해서 위상차 검출 방식의 초점 조절을 행하는, 촬상장치.
복수의 광전변환부를 갖는 촬상소자를 포함하고, 상기 복수의 광전변환부에 의해 검출된 한 쌍의 신호를 출력하는 촬상장치로서,
상기 한 쌍의 신호가 제1 신호와 제2 신호를 포함하는 경우에, 상기 촬상소자로부터 출력되는 상기 제1 신호와 상기 제2 신호를 가산해서 얻은 가산 신호로부터 상기 촬상소자로부터 출력되는 상기 제1 신호를 감산해서 상기 제2 신호를 취득하도록 구성된 감산유닛과,
상기 제1 신호를 미리 결정된 값 이하의 값으로 억제하도록 구성된 억제유닛을 구비하는, 촬상장치.
촬상소자의 촬상 화소를 구성하는 복수의 광전변환부에 의해 검출된 한 쌍의 화상 신호를 이용해서 위상차 검출 방식의 초점 조절을 행하는 것을 포함하는 촬상장치의 제어방법으로서,
상기 한 쌍의 화상 신호가 제1 화상 신호와 제2 화상 신호를 포함하는 경우에, 상기 촬상소자로부터 출력되는 상기 제1 화상 신호와 상기 제2 화상 신호를 가산해서 얻은 가산 신호로부터 상기 촬상소자로부터 출력되는 상기 제1 화상 신호를 감산하는 단계와,
상기 제1 화상 신호를 미리 결정된 값 이하의 값으로 억제하는 단계를 포함하는, 촬상장치의 제어방법.
촬상소자의 촬상 화소를 구성하는 복수의 광전변환부에 의해 검출된 한 쌍의 신호를 출력하는 촬상장치의 제어방법으로서,
상기 한 쌍의 신호가 제1 신호와 제2 신호를 포함하는 경우에, 상기 촬상소자로부터 출력되는 상기 제1 신호와 상기 제2 신호를 가산해서 얻은 가산 신호로부터 상기 촬상소자로부터 출력되는 상기 제1 신호를 감산하는 단계와,
상기 제1 신호를 미리 결정된 값 이하의 값으로 억제하는 단계를 포함하는, 촬상장치의 제어 방법.