KR101886059B1

KR101886059B1 - 촬상장치 및 그 제어 방법

Info

Publication number: KR101886059B1
Application number: KR1020140048537A
Authority: KR
Inventors: 코이치 후쿠다
Original assignee: 캐논 가부시끼가이샤
Priority date: 2013-04-30
Filing date: 2014-04-23
Publication date: 2018-08-07
Also published as: US9386217B2; US20150319359A1; JP6532119B2; US9106827B2; US20140320711A1; JP2014215606A; KR20140130030A

Abstract

초점검출을 위한 한 쌍의 화상신호를 출력하는 것이 가능한 초점검출 화소를 구비한 촬상소자를 갖는 촬상장치는, 상기 촬상소자의 화소의 각 라인이, 상관량의 검출에 적합/부적합한 화상신호를 출력하는 가산/비가산 라인인가 아닌가를 판정하고, 상기 한 쌍의 화상신호에 의거하여 가산 라인마다 상기 상관량을 구하고, 상기 구한 상기 가산 라인의 상관량을 가산하고, 상기 가산 라인의 수를 계수하고, 상기 가산된 상관량에 의거하여 디포커스량을 구하고, 상기 디포커스량의 신뢰성을 나타내는 평가 값과, 소정의 표준 가산수와의 적이, 상기 가산 라인의 수와, 소정의 평가 값을 나타내는 표준 평가 값과의 적보다도 작을 경우에, 상기 디포커스량에 근거하여 포커스 렌즈를 구동한다.

Description

촬상장치 및 그 제어 방법{IMAGE CAPTURING APPARATUS AND METHOD OF CONTROLLING THE SAME}

본 발명은, 촬상장치 및 그 제어 방법에 관한 것이다.

촬상장치에서 행해지는 초점검출방법으로서, 촬상소자에 형성된 초점검출 화소에 의해 위상차 방식의 초점검출을 행하는 촬상면 위상차 방식을 사용한다.

미국특허 제4,410,804호에는, 각 화소에 1개의 마이크로렌즈와 복수의 광전변환부가 형성되어 있는 2차원 촬상소자를 사용한 촬상장치가 개시되어 있다. 상기 복수의 광전변환부는, 1개의 마이크로렌즈를 거쳐서 촬영 렌즈의 사출 동공의 다른 영역을 투과한 광 성분을 수광하도록 구성됨으로써, 상기 동공을 분할한다. 복수의 광전변환부를 각각 갖는 화소(초점검출 화소)들로부터 출력된 초점검출신호로부터 상관량을 산출하고, 그 상관량으로부터 상(imag) 쉬프트량을 구함으로써, 위상차 방식의 초점검출을 행한다. 일본국 공개특허공보 특개 2001-083407호에는, 복수의 광전변환부로부터 출력된 초점검출신호를 화소마다 가산하여서 화상신호를 생성하는 것이 개시되어 있다.

일본국 공개특허공보 특개 2000-156823호에는, 복수의 촬상화소로 형성된 2차원 촬상소자에, 부분적으로 초점검출 화소의 쌍들이 배치된 촬상장치가 개시되어 있다. 그 초점검출 화소의 쌍들은, 개구부를 갖는 차광층을 거쳐, 촬영 렌즈의 사출 동공의 다른 영역으로부터 광 성분을 수광하도록 구성되어서, 동공을 분할한다. 2차원 촬상소자의 대부분에 배치된 촬상화소에 의해 화상신호를 취득한다. 부분적으로 배치된 초점검출 화소의 초점검출신호로부터 상관량을 산출하고, 그 상관량으로부터 상 쉬프트량을 구하여서, 위상차 방식의 초점검출을 행하는 것이 개시되어 있다.

촬상면 위상차 방식의 초점검출에 있어서는, 촬상소자에 형성된 초점검출 화소에 의해 디포커스 방향과 디포커스량을 동시에 검출할 수 있다. 따라서, 고속으로 초점조절을 행할 수 있다.

초점검출의 저휘도 한계를 향상시키기 위해서, 초점검출 영역내의 복수의 초점검출 라인의 초점검출신호로부터 산출된 복수의 상관량을 가산하고, 노이즈가 없는 가산 상관량(가산후의 상관량)으로부터 상 쉬프트량을 구하는 방법이 제안되어 있다. 이 방법에서는, 상 쉬프트량의 신뢰성 판정에 사용된 평가 값등도 가산 상관량으로부터 산출된다.

초점검출 영역내의 복수의 초점검출 라인에는, 포화 신호의 비율이 큰 포화 라인이나, 어떠한 결함을 갖는 화소를 포함하는 결함 라인 등, 상관량의 검출에 부적합한 라인이 포함되기도 한다. 초점검출 영역에 포함되는 복수의 초점검출 라인의 가산 상관량을 산출해서 초점검출을 행할 경우, 그러한 라인의 상관량을, 가산 상관량에의 가산 처리로부터 제외할 필요가 있다. 이 때문에, 가산 상관량을 얻기 위해서 가산되는 상관량의 수는 일정하지 않고 변화된다. 이 변화에 따라, 가산 상관량이나 이 가산 상관량으로부터 산출된 신뢰성 판정을 위한 평가 값등도 변화된다. 따라서, 가산 상관량이 규격화될 필요가 있다.

그렇지만, FPGA등의 연산 회로로 처리를 행할 경우, 쉬프트량마다 가산 상관량의 나눗셈을 행하는 규격화는, 덧셈, 곱셈, 비트 쉬프트 연산등과 비교하여, 큰 연산 회로 규모와 연산 부하를 필요로 한다.

본 발명은 상기 상황을 고려하여 이루어진 것으로, 초점검출 영역에 포화 신호의 비율이 큰 포화 라인이나 결함 라인 등, 상관량의 검출에 부적합한 라인이 포함되는 경우에도, 연산 회로 규모와 연산 부하를 억제하고, 정밀한 초점검출을 행하는 것을 가능하게 한다.

본 발명에 따른 촬상장치는, 결상광학계의 다른 사출 동공영역을 통과한 한 쌍의 광빔을 수광해서 얻어진 한 쌍의 화상신호를 출력하는 것이 가능한 광전변환부를 갖는 초점검출 화소를 포함한, 2차원으로 배치된 복수의 화소를 갖는 촬상소자; 상기 촬상소자의 화소의 각 라인이, 상관량의 검출에 부적합한 화상신호를 출력하는 비가산(non-addition) 라인인가 아닌가를 판단하는 판단부; 상기 판단부에 의해 상기 비가산 라인이 아니라고 판단된 가산 라인에 포함되는 상기 초점검출화소로부터 출력된 상기 한 쌍의 화상신호에 의거하여 가산 라인마다 상기 상관량을 구하고, 상기 구한 상기 가산 라인의 상관량을 가산하는 산출부; 상기 산출부에 의해 가산된 상기 가산 라인의 수를 계수하는 계수부; 상기 산출부에 의해 가산된 상관량에 의거하여 디포커스량을 구하는 연산부; 상기 연산부에 의해 구한 상기 디포커스량의 신뢰성을 나타내는 평가 값과 소정의 표준 가산수의 적이, 상기 계수부에 의해 계수된 상기 가산 라인의 수와 소정의 평가 값을 나타내는 표준 평가 값과의 적보다 작은가 아닌가를 판정하는 판정부; 및 상기 판정부의 판정 결과에 근거하여 상기 결상광학계에 포함된 포커스 렌즈를 구동하는 초점조절부를 구비한다.

본 발명에 따른 촬상장치의 제어 방법은, 결상광학계의 다른 사출 동공영역을 통과한 한 쌍의 광빔을 수광해서 얻어진 한 쌍의 화상신호를 출력하는 것이 가능한 광전변환부를 갖는 초점검출 화소를 포함한, 2차원으로 배치된 복수의 화소를 갖는 촬상소자를 구비한 촬상장치의 제어방법으로서, 상기 촬상소자의 화소의 각 라인이, 상관량의 검출에 부적합한 화상신호를 출력하는 비가산 라인인가 아닌가를 판단하는 판단단계; 상기 판단단계에서 상기 비가산 라인이 아니라고 판단된 가산 라인에 포함되는 상기 초점검출화소로부터 출력된 상기 한 쌍의 화상신호에 의거하여 가산 라인마다 상기 상관량을 구하고, 상기 구한 상기 가산 라인의 상관량을 가산하는 산출단계; 상기 산출단계에서 가산된 상기 가산 라인의 수를 계수하는 계수단계; 상기 산출단계에서 가산된 상관량에 의거하여 디포커스량을 구하는 연산단계; 상기 연산단계에서 구한 상기 디포커스량의 신뢰성을 나타내는 평가값과 소정의 표준 가산수의 적이, 상기 계수단계에서 계수된 상기 가산 라인의 수와 소정의 평가 값을 나타내는 표준 평가 값과의 적보다 작은가 아닌가를 판정하는 판정단계; 및 상기 판정단계에서의 판정 결과에 근거하여 상기 결상광학계에 포함된 포커스 렌즈를 구동하는 초점조절단계를 포함한다.

본 발명의 또 다른 특징들은, (첨부도면을 참조하여) 이하의 예시적 실시예들의 설명으로부터 명백해질 것이다.

본 명세서의 일부에 포함되고 그 일부를 구성하는 첨부도면들은, 본 발명의 실시예들을 예시하고, 이 설명과 함께, 본 발명의 원리를 설명하는 역할을 한다.
도 1은 본 발명의 실시예에 따른 촬상장치의 개략적 블록도,
도 2는 상기 실시예에 따른 화소배열의 개략도,
도 3a 및 3b는, 각각, 상기 실시예에 따른 화소의 개략적인 평면도와 개략적인 단면도,
도 4는 상기 실시예에 따른 화소구조와 동공분할의 개략적인 설명도,
도 5는 상기 실시예에 따른 촬상소자와 동공분할의 개략적인 설명도,
도 6은 상기 실시예에 따른 제1초점검출신호와 제2초점검출신호의 디포커스량과 상 쉬프트량간의 관계를 나타내는 개략도,
도 7은 상기 실시예에 따른 초점검출 처리의 흐름도다.

본 발명의 예시적 실시예들을 첨부도면에 따라 상세히 설명한다. 그 실시예들에 나타낸 구성부품의 치수, 형상, 및 상대적 위치는, 본 발명에 대해 채택된 장치의 여러 가지 상태와 구조에 따라 편리하게 변경되어야 하고, 본 발명은 여기서 설명된 실시예들에 한정되지 않는다.

[전체 구성]

도 1은 본 발명의 실시예에 따른 촬상소자를 갖는 촬상장치의 일례인 카메라의 간단한 구성을 나타낸 도면이다. 도 1에 있어서, 제1렌즈 군(101)은 결상광학계의 앞단에 배치되어, 광축을 따라 진퇴 가능하게 지지된다. 조리개 겸용 셔터(102)는, 그 개구경을 조절함으로써, 촬영시의 광량을 조절하고, 정지 화상 촬영시에는 노출 시간을 조절하는 기능도 갖는다. 조리개 겸용 셔터(102)와 제2렌즈 군(103)은, 함께 광축을 따라 진퇴하고, 제1렌즈 군(101)의 진퇴 동작과 연동하여, 변배작용(줌 기능)을 제공한다.

제3렌즈 군(105)(포커스 렌즈)은, 광축을 따라 진퇴함으로써 초점조절을 행한다. 광학적 로패스(low-pass) 필터(106)는, 촬영 화상의 의색과 모아레를 경감하기 위한 광학소자다. 촬상소자(107)는 2차원 CMOS 포토센서와 그 주변회로로 이루어지고, 결상광학계의 결상면에 배치된다.

줌 액추에이터(111)는, 도면에 나타내지 않은 캠 통을 회동함으로써 제1렌즈 군(101) 내지 제2렌즈 군(103)을 광축을 따라 진퇴 이동하도록, 변배 조작을 행한다. 조리개 겸용 셔터 액추에이터(112)는, 조리개 겸용 셔터(102)의 개구경을 제어해서 촬영 광량을 조절함과 아울러, 정지 화상 촬영시의 노출 시간도 제어한다. 포커스 액추에이터(114)는, 제3렌즈 군(105)을 광축을 따라 진퇴 이동해서 초점을 조절한다.

촬영시에 피사체 조명용 전자 플래쉬(115)를 사용한다. 크세논 관을 사용한 섬광 조명장치가 바람직하지만, 연속 발광 LED를 구비한 조명 장치도 사용해도 된다. AF 보조 섬광부(116)는, 소정의 개구 패턴을 가진 마스크의 상을, 투영 렌즈를 통해 피사계에 투영하고, 어두운 피사체 혹은 저콘트라스트 피사체에 대한 초점검출 능력을 향상시킨다.

CPU(121)는, 촬상장치내에서 여러 가지의 방식으로 카메라 본체를 제어한다. CPU(121)는, 예를 들면, 연산부, ROM, RAM, A/D컨버터, D/A컨버터, 통신 인터페이스 회로 등을 가질 수도 있다. 추가로, CPU(121)는, ROM에 기억된 소정의 프로그램에 의거하여, 카메라가 갖는 각종 회로를 구동하고, AF, 촬영, 화상처리 및 기록(recording)의 일련의 동작을 실행한다.

전자 플래쉬 제어회로(122)는, 촬영 동작에 동기해서 전자 플래쉬(115)의 점등을 제어한다. 보조 섬광 구동회로(123)는, 초점검출 동작에 동기해서 AF보조 섬광부(116)를 점등 제어한다. 촬상소자 구동회로(124)는, 촬상소자(107)의 촬상동작을 제어함과 아울러, 취득한 화상신호를 A/D변환해서 CPU(121)에 송신한다. 화상처리회로(125)는, 촬상소자(107)가 취득한 화상의 γ변환, 컬러 보간, JPEG압축 등의 처리를 행한다.

포커스 구동회로(126)는, 초점검출 결과에 의거하여 포커스 액추에이터(114)를 구동 제어하고, 제3렌즈 군(105)을 광축방향으로 상반되게 구동해서, 초점 조절을 행한다. 조리개 겸용 셔터 구동회로(128)는, 조리개 셔터 액추에이터(112)를 구동 제어해서 조리개 겸용 셔터(102)의 개구를 제어한다. 줌 구동회로(129)는, 촬영자의 줌 조작에 따라 줌 액추에이터(111)를 구동한다.

LCD등의 표시기(131)는, 카메라의 촬영 모드에 관한 정보, 촬영전의 프리뷰 화상, 촬영후의 확인용 화상, 초점검출시의 합초 상태 표시 화상등을 표시한다. 조작 스위치 군(132)은, 전원 스위치, 릴리즈(촬영 트리거) 스위치, 줌 조작 스위치, 촬영 모드 선택 스위치 등으로 구성된다. 착탈가능한 플래시 메모리(133)는, 촬영된 화상을 기록한다.

[촬상소자]

도 2는, 상기 실시예에 따른 촬상소자(107)의 촬상화소와 초점검출 화소의 배열의 개요를 나타낸다. 도 2는, 본 실시예에 따른 2차원 CMOS센서(촬상소자)의 화소(촬상화소)배열을 4열×4행의 범위내와, 초점검출 화소배열을 8열×4행의 범위내에서 나타낸 것이다.

화소군(200)은 2열×2행의 화소로 이루어진다. R(빨강)의 분광감도를 갖는 화소200R이 좌상 위치에 배치되고, G(초록)의 분광감도를 갖는 화소200G가 우상과 좌하 위치에 배치되며, B(파랑)의 분광감도를 갖는 화소200B가 우하 위치에 배치되어 있다. 각 화소는 2열×1행으로 배열된 제1초점검출 화소(201)와 제2초점검출 화소(202)로 구성되어 있다.

도 2에 나타낸 4열×4행의 화소(8열×4행의 초점검출 화소)를 면 위에 다수 배치하고, 화상(초점검출신호)을 촬영 가능하게 한다. 이 실시예에서는, 화소의 주기P가 4㎛, 화소수N이 가로 5,575열×세로 3,725행= 약 20,750,000화소, 초점검출 화소의 열방향 주기PAF가 2㎛, 초점검출 화소수NAF가 가로 11,150열×세로 3,725행= 약 41,500,000화소를 가정하여 촬상소자를 설명한다.

도 3a는 도 2에 나타낸 촬상소자의 1개의 화소200G를, 촬상소자(107)의 수광면측(+z측)으로부터 보았을 때의 평면도이고, 도 3b는 -y측으로부터 본 도 3a의 a-a단면을 나타내는 단면도다. 도 3a 및 3b에 나타낸 것처럼, 본 실시예에 따른 화소200G에서는, 입사광을 집광하기 위한 마이크로렌즈(305)가 각 화소의 수광측에 형성된다. 화소는, x방향으로 NH분할(여기서는, 2분할)되고, y방향으로 HV분할(여기서는, 1분할 또는 분할되지 않음)되어 광전변환부(301, 302)를 형성한다. 광전변환부(301, 302)는, 각각, 제1초점검출 화소(201)와 제2초점검출 화소(202)에 대응한다. 광전변환부(301, 302) 각각은, p형층과 n형층의 사이에 진성층을 구비한 pin구조 포토다이오드로서 형성되어도 되고, 필요에 따라, 진성층 없이 p-n 접합 포토다이오드로서 형성되어도 된다.

각 화소에는, 마이크로렌즈(305)와 광전변환부(301 및 302)와의 사이에, 칼라필터(306)가 형성된다. 필요에 따라, 초점검출 화소 사이에서 칼라필터의 분광 투과율을 바꾸어도 좋거나, 칼라필터를 생략해도 좋다.

도 3a 및 3b에 나타낸 화소200G에 입사한 광은, 마이크로렌즈(305)에 의해 집광되어, 칼라필터(306)에서 분광되고, 광전변환부(301 및 302)에서 수광된다. 광전변환부(301 및 302)에서는, 수광량에 따라 전자와 정공 쌍이 생성되고, 공핍층에서 분리된다. 부전하를 갖는 전자는 n형층(도면에 나타내지 않는다)에 축적된다. 한편, 정공은 정전압원(도면에 나타내지 않는다)에 접속된 p형층을 통해서 촬상소자(107)로부터 외부적으로 배출된다. 광전변환부(301 및 302)의 n형층(도면에 나타내지 않는다)에 축적된 전자는, 전송 게이트를 통해서 정전용량부(FD)에 전송되어, 전압신호로 변환되어서 출력된다.

도 3a 및 3b에 나타낸 본 실시예에 따른 화소구조와 동공분할간의 대응관계를 도 4를 참조하여 설명한다. 도 4는, 도 3a에 나타낸 본 실시예에 따른 화소구조의 a-a단면을 +y측으로부터 본 단면도와 결상광학계의 사출 동공면을 도시한 도면이다. 이때, 도 4에서는, 사출 동공면의 좌표축에 부합되도록, 단면도의 x축과 y축이 도 3a 및 3b에 대하여 반전되어 있다.

제1초점검출 화소(201)의 제1 부분 동공 영역(501)은, 마이크로렌즈(305)를 거쳐서 중심이 -x방향으로 편심하고 있는 광전변환부(301)의 수광면과 대략 공역관계가 되어 있고, 제1 부분 동공 영역(501)을 투과한 광빔이 제1초점검출 화소(201)에 의해 수광된 동공영역을 표현하고 있다. 제1초점검출 화소(201)의 제1 부분 동공 영역(501)은, 동공면상에서 +x측에 중심이 편심하고 있다.

제2초점검출 화소(202)의 제2 부분 동공 영역(502)은, 마이크로렌즈(305)를 거쳐서 중심이 +x방향으로 편심하고 있는 광전변환부(302)의 수광면과 대략 공역관계가 되어 있고, 제2 부분 동공 영역(502)을 투과한 광빔이 제2초점검출 화소(202)에 의해 수광된 동공영역을 표현하고 있다. 제2초점검출 화소(202)의 제2 부분 동공 영역(502)은, 동공면상에서 -x측에 중심이 편심하고 있다.

동공영역(500)을 투과한 광빔은, 광전변환부(301 및 302)(제1초점검출 화소(201)와 제2초점검출 화소(202))를 포함하는 화소200G 전체에서 수광된다.

도 5는, 본 실시예에 따른 촬상소자와 동공분할간의 대응관계를 나타낸 개략도다. 제1 부분 동공 영역(501)과 제2 부분 동공 영역(502)의 결상광학계의 다른 사출 동공영역을 통과한 한 쌍의 광빔은, 촬상소자(107)의 화소들에 다른 입사각으로 입사하고, 2×1부분으로 분할된 제1초점검출 화소(201)와 제2초점검출 화소(202)에 의해 수광된다. 본 실시예에서는, 동공영역이 수평방향으로 2개의 부분으로 분할되어 있다. 그러나, 필요에 따라서, 상기 동공은 수직방향으로 분할되어도 된다.

이때, 상술한 예에서는, 제1초점검출 화소와 제2초점검출 화소로 각각 구성된 촬상화소가 복수 배열되어 있다. 그렇지만, 본 발명은 이것에 한정되는 것이 아니다. 필요에 따라, 촬상화소와, 제1초점검출 화소와, 제2초점검출 화소를 개별적으로 구성하여도 되고, 촬상화소 배열의 일부에, 제1초점검출 화소와 제2초점검출 화소를 부분적으로 배치하여도 된다.

본 실시예에서는, 촬상소자의 각 화소의 제1초점검출 화소(201)의 수광신호를 모아서 제1초점검출신호를 생성하고, 각 화소의 제2초점검출 화소(202)의 수광신호를 모아서 제2초점검출신호를 생성함으로써, 초점검출을 행한다. 또한, 촬상소자의 화소마다, 제1초점검출 화소(201)와 제2초점검출 화소(202)의 신호를 가산함으로써, 유효 화소수N에 대응한 해상도의 화상신호(촬상화상)를 생성한다.

[디포커스량과 상 쉬프트량간의 관계]

이하, 본 실시예에 따른 촬상소자에 의해 취득된 제1초점검출신호와 제2초점검출신호의 디포커스량과, 상 쉬프트량과의 관계에 관하여 설명한다. 도 6은, 제1초점검출신호와 제2초점검출신호의 디포커스량과 제1초점검출신호와 제2초점검출신호간의 상 쉬프트량의 개략적 관계도다. 촬상면(800)에 본 실시예에 따른 촬상소자(107)가 배치된다. 도 4 및 도 5를 참조해서 설명한 바와 같이, 결상광학계의 사출 동공이, 제1 부분 동공 영역(501)과 제2 부분 동공 영역(502)으로 2분할된다.

디포커스량d는, 피사체의 결상위치부터 촬상면까지의 거리를 크기 ｜d｜로 하고, 피사체의 결상위치가 촬상면에 대해 피사체측에 있는 프론트(front) 포커스 상태를 마이너스 부호(d<0), 피사체의 결상위치가 촬상면에 대해 상기 피사체의 반대측에 있는 리어(rear) 포커스 상태를 플러스 부호(d>0)로서 정의된다. 피사체의 결상위치가 촬상면(합초위치)에 있는 합초 상태는 d=0로 나타내어진다. 도 6에서, 피사체801은 합초 상태(d=0)의 예를 나타내고, 피사체802는 프론트 포커스 상태(d<0)의 예를 나타낸다. 일반적으로, 프론트 포커스 상태(d<0)와 리어 포커스 상태(d>0)를 디포커스상태(｜d｜>0)로서 정의한다.

프론트 포커스 상태(d<0)에서는, 피사체(802)로부터의 광빔 중, 제1 부분 동공 영역(501)(제2 부분 동공 영역(502))을 통과한 광빔은, 일시적으로 집광된 후, 광빔의 중심위치Gl(G2)을 중심으로 해서 폭Гl(Г2)에 퍼지고, 촬상면(800)에 흐린 화상이 된다. 흐린 화상은 촬상소자(107)에 배열된 화소들의 제1초점검출 화소(201)(제2초점검출 화소(202))에 의해 수신되고, 제1초점검출신호(제2초점검출신호)가 생성된다. 따라서, 제1초점검출신호(제2초점검출신호)는, 촬상면(800)상의 중심위치Gl(G2)에, 폭Гl(Г2)으로 흐려진 피사체(802)의 화상으로서 기록된다. 피사체 화상의 흐림 폭Гl(Г2)은, 디포커스량d의 크기｜d｜의 증가에 거의 비례해서 증가한다. 마찬가지로, 제1초점검출신호와 제2초점검출신호간의 피사체상(object image)의 상 쉬프트량p(=광빔의 중심간의 위치의 차이Gl-G2)의 크기｜d｜도, 디포커스량d의 크기｜d｜의 증가에 거의 비례해서 증가한다. 리어 포커스 상태(d>0)에서도, 제1초점검출신호와 제2초점검출신호간의 피사체상 상 쉬프트 방향이 프론트 포커스 상태와 반대인 것을 제외하고는 같다.

이와 같이, 제1초점검출신호와 제2초점검출신호의 디포커스량, 또는, 제1초점검출신호와 제2초점검출신호를 가산한 촬상신호의 디포커스량의 크기가 증가함에 따라, 제1초점검출신호와 제2초점검출신호간의 상 쉬프트량의 크기가 증가한다.

[초점검출]

본 실시예에서는, 제1초점검출신호와 제2초점검출신호의 디포커스량과 상 쉬프트량간의 관계를 사용하여, 위상차 방식의 초점검출을 행한다. 위상차 방식의 초점검출에서는, 제1초점검출신호와 제2초점검출신호를 상대적으로 쉬프트시켜서 신호의 일치도를 의미하는 상관량을 산출하고, 상관(신호의 일치도)이 좋아지는 쉬프트량으로부터 상 쉬프트량을 검출한다. 상기한 바와 같이, 촬상신호의 디포커스량의 크기가 증가함에 따라, 제1초점검출신호와 제2초점검출신호간의 상 쉬프트량의 크기가 증가한다. 이 관계에 근거하여, 상 쉬프트량을 검출된 디포커스량으로 변환해서 초점검출을 행한다.

도 7은, 본 실시예에 따른 초점검출 처리의 흐름도다. 이때, 도 7에 나타낸 처리는, 화상처리회로(125)와 CPU(121)에 의해 실행된다.

단계S1O1에서, 촬상소자(107)의 유효화소영역에 초점조절을 행하는 초점검출 영역을 설정한다. 그 초점검출 영역을 설정함으로써, 초점검출 영역의 동공분할 방향의 범위W와, 제1초점검출신호와 제2초점검출신호를 동공분할 방향으로 상대적으로 쉬프트시켜서 상관량을 산출할 때의 쉬프트량s의 쉬프트 범위Г를 설정한다. 다음에, 초점검출 영역의 동공분할 방향과 직교하는 방향의 범위L을 설정하고, 초점검출 영역에 포함된 복수의 초점검출 라인을 선택한다. 본 실시예에서는, 촬상소자(107)의 수평방향이 동공분할 방향이며, 촬상소자(107)의 수직방향이 동공분할 방향과 직교하는 방향이다.

단계S1O2에서, 가산 상관량COR(s)의 기억영역을 할당하고, 그 가산 상관량COR(s)의 모든 성분을 0으로 초기화한다. 단계S1O3에서, 가산수Na를 0으로 초기화한다.

다음에, 단계S1O1에서 설정된 초점검출 영역의 동공분할 방향과 직교하는 방향의 범위L에 포함된 제1(1∈L)의 초점검출 라인을 선택한다. 이하, 단계S201로부터 단계S206까지의 처리는, 상기 범위L에 포함된 모든 초점검출 라인에 대하여 행해진다.

단계S201에서, 제1의 초점검출 라인이 상관량의 검출에 부적합한 어떠한 결함을 갖는 화소를 포함하는 결함 라인(비가산 라인)인가 아닌가를 판단한다. 그 초점검출 라인이 결함 라인이라고 판단되면, 제1의 초점검출 라인의 상관량을 산출하지 않는다고 판단해서 단계S207의 처리로 진행된다. 그 초점검출 라인이 결함 라인이 아니라고 판단되면, 단계S202의 처리로 진행된다.

촬상소자(107)의 회로 구성이나 구동방식으로 인해 화상신호가 정상이고 촬상화상에 영향을 미치지 않지만, 제1초점검출신호 또는 제2초점검출신호에 결함 신호가 포함되고, 초점검출 라인은 상관량의 검출에 부적합하여도 된다. 따라서, 단계S201에서는, 양산 공정등에서 검사된 결함 라인 정보를, 화상처리회로(125)등에 사전에 기록하고, 그 기록된 결함 라인 정보를 사용해서 결함 라인 판단을 행해도 된다. 또한, 필요에 따라, 제1초점검출신호와 제2초점검출신호를 실시간으로 검사해서 결함 라인 판단을 행해도 된다.

단계S202에서, 제1의 초점검출 라인의 제1초점검출 화소의 수광신호로부터 제1초점검출신호를 생성하고, 초점검출 영역의 제2초점검출 화소의 수광신호로부터 제2초점검출신호를 생성한다. 수직방향(동공분할 방향과 직교하는 방향)으로 첫번째(1∈L)와 수평방향(동공분할 방향)으로 k번째(k∈W)의 제1초점검출신호를 A(1, k), 제2초점검출신호를 B(1, k)이라고 나타낸다. 이때, 필요에 따라, 제1초점검출신호와 제2초점검출신호에, 신호 데이터량을 억제하기 위해서, 수평방향의 3화소 가산 처리나, RGB신호를 휘도Y신호로 변환하기 위한 베이어(Bayer)(RGB)가산 처리등의 신호 가산 처리를 행해도 된다.

단계S203에서, 제1의 초점검출 라인이 상관량의 검출에 부적합한 포화 라인(비가산 라인)인가 아닌가를 판단한다. 본 실시예에서는, 제1의 제1초점검출신호{A(1, k):k∈W} 또는 제2초점검출신호{B(1, k):k∈w} 중 적어도 한쪽의 소정비율이상(예를 들면, 75％이상)이 포화 신호일 경우에, 제1의 초점검출 라인을 포화 라인으로서 판단한다. 그 초점검출 라인이 포화 라인이라고 판단되면, 제1의 초점검출 라인의 상관량을 산출하지 않는다고 판단해서 단계S207의 처리로 진행된다. 그 초점검출 라인이 포화 라인이 아니다(가산 라인)라고 판단되면, 단계S204의 처리로 진행된다.

포화 신호가 연속하고 있는 부분에서는, 신호가 소정의 최대값을 갖고, 상 쉬프트량의 정보가 손실된다. 한편, 포화 신호와 비포화 신호 사이의 경계부분에는, 상 쉬프트량의 정보가 남는다. 필요에 따라서, 포화 신호가 연속하고 있는 부분의 영향을 제거하고, 포화 신호와 비포화 신호 사이의 경계부분의 상 쉬프트량의 정보를 추출하기 위해서, 제1초점검출신호와 제2초점검출신호에 대해, 엣지 추출을 행하기 위한 대역통과 필터처리를 행해도 된다. 이 처리에 의해, 초점검출 라인에 포화 신호가 포함되는 경우에도, 포화 신호와 비포화 신호 사이의 경계부분이 존재하면 초점검출 정보를 이용할 수 있다. 이 때문에, 포화 라인 판단에서 제외된 초점검출 라인의 수를 억제하는 것이 가능하다.

단계S204에서, 제1의 초점검출 라인마다(가산 라인마다), 제1초점검출신호{A(1, k):k∈W}와 제2초점검출신호{B(1, k):k∈W}에 근거하여, 제1의 초점검출 라인의 상관량COR(1, s)을, 다음식에 의해 산출한다.

...(1)

상기 쉬프트량s의 동공분할 방향으로의 쉬프트 처리에 의해, k번째의 제1초점검출신호A(1, k)와 (k-s)번째의 제2초점검출신호B(1, k-s)를 관련시켜 감산하여서, 쉬프트 감산 신호를 생성한다. 이 생성된 쉬프트 감산 신호의 절대치를 산출한다. 초점검출 영역의 동공분할 방향의 범위W내에서 번호k의 합을 구하고, 제1의 초점검출 라인의 상관량COR(1, s)을 산출한다.

단계S205에서는, 단계S204에서 구한 제1의 초점검출 라인의 상관량COR(1, s)을, 쉬프트량s마다, 가산 상관량COR(s)에 가산하고, 단계S206의 처리로 진행된다. 단계S206에서는 가산수Na를 1만큼 증분하여, 가산 라인수를 계수한다. 단계S207에서는, 초점검출 영역에 포함된 모든 초점검출 라인에 대해서 처리를 종료했는지를 판단한다. 그 처리가 종료하지 않았으면, 다음 초점검출 라인에 대하여 처리를 행하기 위해서 단계S201의 처리로 되돌아간다. 모든 초점검출 라인의 처리를 종료하였으면, 단계S301의 처리로 진행된다.

또한, 위에서는 초점검출 영역에 포함된 초점검출 라인에 대하여, 순차로 단계S201∼단계S207의 처리를 행하는 경우에 관하여 설명했다. 그렇지만, 2개 이상의 초점검출 라인에 대하여 병행하여 처리를 행하는 병렬처리를 행하여도 된다.

상기한 바와 같이, 본 실시예에서는, 상관량의 검출에 부적합한 결함 라인이나 포화 라인 등의 상관량을, 상기 가산 상관량을 구하는 것으로부터 제외함으로써, 가산 상관량이 잘못한 상 쉬프트량 정보와 혼합되는 것을 막고, 정밀한 초점검출을 행한다.

다음에, 도 7의 단계S301에서, 디포커스량을 산출한다. 우선, 가산 상관량으로부터 서브픽셀 연산에 의해, 가산 상관량이 최소치가 되는 실수값의 쉬프트량을 산출해서, 상 쉬프트량p를 산출한다. 산출된 상 쉬프트량p에, 초점검출 영역의 상높이, 촬상 렌즈(결상광학계)의 f값, 및 사출 동공거리에 대응한 변환 계수K를 곱하여, 검출 디포커스량을 산출하고, 단계S302의 처리로 진행된다.

단계S302에서는, 디포커스량의 신뢰성을 판정하는데 사용된 평가 값을 산출한다. 본 실시예에서는, 가산 상관량으로부터 서브픽셀 연산에 의해 산출된 가산 상관량의 최소치(상 일치도)를 평가 값으로서 산출한다. 제1초점검출신호와 제2초점검출신호의 형상 일치도가 높을수록, 가산 상관량의 최소치(상 일치도)가 작아지고, 초점검출 결과의 신뢰성이 높아지게 된다. 필요에 따라, 산출된 상 쉬프트량p의 위치에서의 가산 상관량의 기울기(가산 상관량의 1계 미분)를 평가 값으로서 구해도 된다.

단계S303에서, 디포커스량의 신뢰성을 판정한다. 본 실시예에서는, 미리, 가산수가 표준 가산수일 경우의 신뢰성을 나타내는 표준 평가값을 유지해둔다. 표준 가산수와 평가 값의 적(product)이, 가산수와 표준 평가 값의 적보다 작을 경우에, 상기 디포커스량의 신뢰성이 높다고 판정해서 단계S304의 처리로 진행된다. 표준 가산수와 평가 값의 적이 가산수와 표준평가 값의 적이상일 경우에는, 디포커스량의 신뢰성이 낮다고 판정하고, 초점검출을 종료한다. 단계S304에서는, 검출 디포커스량에 따라, 렌즈를 구동한다.

본 실시예에서는, 결함 라인과 포화 라인의 상관량을 가산하지 않으므로, 가산 상관량에 가산된 상관량의 수가 일정하지 않고 변화된다. 가산수의 변화를 따라, 가산 상관량과 그 가산 상관량으로부터 산출된 신뢰성의 판정을 위한 평가 값(가산 상관량의 최소치나 기울기)도 변화된다. 따라서, 적절한 평가 값을 얻기 위해서는, 통상, 쉬프트량마다 가산 상관량을 가산수로 나누는 규격화가 필요하다. 그러나, FPGA 등의 연산 회로에서 디지털 처리를 행할 경우, 쉬프트량마다의 가산 상관량의 나눗셈에 의한 규격화처리는, 덧셈, 곱셈, 비트 쉬프트 연산등과 비교하여, 큰 연산 회로 규모와 연산 부하를 필요로 한다.

그러나, 본 실시예에서는, 가산 상관량을 규격화하는 대신에, 디포커스량의 신뢰성을, 표준 가산수와 평가 값의 적과, 가산수와 표준평가 값의 적과를 비교하여서 판정한다.

이때, 신뢰성 판정식을 보다 간략화하기 위해서, 표준 가산수가 1일 경우의 표준 소정량을 유지한다. 이에 따라, 검출 디포커스량의 신뢰성을, 평가 값(1과 평가 값의 적)과, 가산수와 표준평가 값의 적과를 비교하여서 판정할 수 있다.

이상의 구성에 의해, 포화 신호의 비율이 큰 포화 라인이나, 어떠한 결함을 갖는 화소를 포함하는 결함 라인 등, 상관량의 검출에 부적합한 라인(비가산 라인)이 포함되는 경우에도, 연산 회로 규모와 연산 부하를 억제하고, 정밀한 초점검출을 행하는 것이 가능하다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims

결상광학계의 다른 사출 동공영역을 통과한 한 쌍의 광빔을 수광해서 얻어진 한 쌍의 화상신호를 출력하는 것이 가능한 광전변환부를 갖는 초점검출 화소를 포함한, 2차원으로 배치된 복수의 화소를 갖는 촬상소자;
상기 촬상소자의 화소의 각 라인이, 상관량의 검출에 부적합한 화상신호를 출력하는 비가산(non-addition) 라인인가 아닌가를 판단하는 판단부;
상기 판단부에 의해 상기 비가산 라인이 아니라고 판단된 가산 라인에 포함되는 상기 초점검출화소로부터 출력된 상기 한 쌍의 화상신호에 의거하여 가산 라인마다 상기 상관량을 구하고, 상기 구한 상기 가산 라인의 상관량을 가산하는 산출부;
상기 산출부에 의해 가산된 상기 가산 라인의 수를 계수하는 계수부;
상기 산출부에 의해 가산된 상관량에 의거하여 디포커스량을 구하는 연산부;
상기 연산부에 의해 구한 상기 디포커스량의 신뢰성을 나타내는, 상기 산출부에 의해 가산된 상관량의 최소값 또는 기울기인, 평가 값과 소정의 표준 가산수의 적이, 상기 계수부에 의해 계수된 상기 가산 라인의 수와 소정의 평가 값을 나타내는 표준 평가 값과의 적보다 작은가 아닌가를 판정하는 판정부; 및
상기 판정부의 판정 결과에 근거하여 상기 결상광학계에 포함된 포커스 렌즈를 구동하는 초점조절부를 구비한, 촬상장치.
제 1 항에 있어서,
상기 산출부는, 상기 한 쌍의 화상신호를 소정량씩 서로에 대해 쉬프트하면서 쉬프트량마다 상기 상관량을 산출하고,
상기 쉬프트량마다 상기 가산 라인의 상관량을 가산하는, 촬상장치.
제 2 항에 있어서,
상기 디포커스량의 평가 값은, 상기 쉬프트량마다 가산한 상기 가산 라인의 상관량의 최소치인, 촬상장치.
제 1 항에 있어서,
상기 비가산 라인은, 결함을 포함하는 라인과, 상기 한 쌍의 화상신호 중 적어도 한쪽이 소정의 비율이상으로 포화한 화상신호를 포함하는 라인 중, 적어도 하나의 라인을 포함하는, 촬상장치.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 촬상소자의 영역으로부터, 초점을 검출하는 초점검출 영역을 설정하는 설정부를 더 구비하고,
상기 판단부는, 상기 초점검출 영역에 포함된 상기 화소의 라인을 판단하는, 촬상장치.
제 1 항에 있어서,
상기 표준 가산수는 1인, 촬상장치.
결상광학계의 다른 사출 동공영역을 통과한 한 쌍의 광빔을 수광해서 얻어진 한 쌍의 화상신호를 출력하는 것이 가능한 광전변환부를 갖는 초점검출 화소를 포함한, 2차원으로 배치된 복수의 화소를 갖는 촬상소자를 구비한 촬상장치의 제어방법으로서,
상기 촬상소자의 화소의 각 라인이, 상관량의 검출에 부적합한 화상신호를 출력하는 비가산 라인인가 아닌가를 판단하는 판단단계;
상기 판단단계에서 상기 비가산 라인이 아니라고 판단된 가산 라인에 포함되는 상기 초점검출화소로부터 출력된 상기 한 쌍의 화상신호에 의거하여 가산 라인마다 상기 상관량을 구하고, 상기 구한 상기 가산 라인의 상관량을 가산하는 산출단계;
상기 산출단계에서 가산된 상기 가산 라인의 수를 계수하는 계수단계;
상기 산출단계에서 가산된 상관량에 의거하여 디포커스량을 구하는 연산단계;
상기 연산단계에서 구한 상기 디포커스량의 신뢰성을 나타내는, 상기 산출단계에서 가산된 상관량의 최소값 또는 기울기인, 평가값과 소정의 표준 가산수의 적이, 상기 계수단계에서 계수된 상기 가산 라인의 수와 소정의 평가 값을 나타내는 표준 평가 값과의 적보다 작은가 아닌가를 판정하는 판정단계; 및
상기 판정단계에서의 판정 결과에 근거하여 상기 결상광학계에 포함된 포커스 렌즈를 구동하는 초점조절단계를 포함한, 촬상장치의 제어방법.
복수 쌍의 시차 화상신호를 출력하는 광전변환부를 갖는 초점검출 화소를 포함한, 2차원으로 배치된 복수의 화소를 갖는 촬상소자;
상기 복수 쌍의 시차 화상신호의 각 쌍의 시차 화상신호가 제1 조건을 만족할 때 상관 연산 방법을 사용하여 상기 각 쌍의 시차 화상신호 사이의 상관신호를 얻도록 구성되되, 상기 제1 조건을 만족하는 상기 복수 쌍의 시차 화상신호마다 얻어지는 복수의 상관신호를 가산하여, 상기 가산된 상관신호를 얻는 처리부;
상기 가산된 상관신호에 근거하여 디포커스량을 얻는 연산부; 및
상기 가산된 상관신호에 근거하여 얻어진 평가 값과 상기 가산된 상관신호를 생성하기 위하여 가산된 상관신호의 수 사이의 관계가 제2 조건을 만족할 때 상기 디포커스량에 근거하여 포커스 렌즈를 구동하는 초점조절부를 구비한, 촬상장치.
제 8 항에 있어서,
상기 처리부는 상기 가산된 상관신호에서의 상관의 최대값에 대응하는 제1 값을 얻고, 상기 초점조절부는, 상기 가산된 상관신호에 근거하여 얻어진 평가 값과 상기 가산된 상관신호를 생성하기 위하여 가산된 상관신호의 수 사이의 관계가 제2 값보다 큰 경우에, 상기 디포커스량에 근거하여 포커스 렌즈를 구동하는, 촬상장치.
제 8 항에 있어서,
상기 시차 화상신호는 결상광학계의 다른 사출 동공영역을 통과한 한 쌍의 광빔을 수광해서 얻어지는, 촬상장치.
제 8 항에 있어서,
상기 제1 조건은, 라인에서의 결함 화소 또는 포화 화소의 수의 적어도 하나가 임계값보다 적은 것을 포함하는, 촬상장치.
제 8 항 내지 제 11항 중 어느 한 항에 있어서,
상기 제2 조건은 상기 가산된 상관신호에 근거하여 얻어진 평가 값과 상기 가산된 상관신호를 생성하기 위하여 가산된 상관신호의 수 사이의 비율에 관련되는, 촬상장치.
복수 쌍의 시차 화상신호를 출력하는 광전변환부를 갖는 초점검출 화소를 포함한, 2차원으로 배치된 복수의 화소를 갖는 촬상소자를 구비한 촬상장치의 제어방법으로서,
상기 복수 쌍의 시차 화상신호의 각 쌍의 시차 화상신호가 제1 조건을 만족할 때 상관 연산 방법을 사용하여 상기 각 쌍의 시차 화상신호 사이의 상관신호를 얻는 단계;
상기 제1 조건을 만족하는 상기 복수 쌍의 시차 화상신호마다 얻어지는 복수의 상관신호를 가산하는 단계;
상기 가산된 상관신호를 얻는 단계;
상기 가산된 상관신호에 근거하여 디포커스량을 얻는 단계; 및
상기 가산된 상관신호에 근거하여 얻어진 평가 값과 상기 가산된 상관신호를 생성하기 위하여 가산된 상관신호의 수 사이의 관계가 제2 조건을 만족할 때 상기 디포커스량에 근거하여 포커스 렌즈를 구동하는 단계를 포함한, 촬상장치의 제어방법.
초점검출 화소를 포함한, 2차원으로 배치된 복수의 화소를 갖되, 각 초점검출 화소가 결상광학계의 다른 사출 동공영역을 통과한 한 쌍의 광빔을 수광하기 위한 한 쌍의 광전변환부를 갖고 각 라인의 상기 초점검출 화소가 한 쌍의 시차 화상신호를 출력하는 촬상소자;
각 쌍의 시차 화상신호가 제1 조건을 만족할 때, 상기 각 쌍의 시차 화상신호 사이의 상관신호를 얻고, 상기 제1 조건을 만족하는 각 쌍의 시차 화상신호마다 산출된 복수의 상관신호를 결합하고, 결합된 상관신호를 생성하는 처리부;
상기 결합된 상관신호에 근거하여 디포커스량을 얻는 연산부;
상기 결합된 상관신호에 근거하여 평가 값을 얻는 평가부; 및
상기 평가 값과 상기 결합된 상관신호를 생성하기 위하여 결합된 상관신호의 수 사이의 관계가 제2 조건을 만족할 때 상기 디포커스량에 근거하여 포커스 렌즈를 구동하는 초점조절부를 구비한, 촬상장치.
제 14 항에 있어서,
상기 제1 조건은, 라인에서의 결함 화소 및 포화 화소의 수들 중 적어도 하나가 임계값보다 적은 것을 포함하는, 촬상장치.
제 14 항에 있어서,
상기 제2 조건은 상기 결합된 상관신호에 근거하여 얻어진 평가 값과 상기 결합된 상관신호를 생성하기 위하여 결합된 상관신호의 수 사이의 비율에 관련되는, 촬상장치.