KR20060123708A - 오토 포커스 제어 방법, 오토 포커스 제어 장치 및 화상처리 장치 - Google Patents

Abstract

광학계에 기인하는 영향을 배제하여 안정된 오토 포커스 동작을 실현할 수 있는 오토 포커스 제어 방법, 오토 포커스 제어 장치 및 화상 처리 장치이다. 복수의 포커스 위치에서 취득한 각 샘플 화상의 핀트 평가값을 산출함에 있어서, 취득한 샘플 화상에 평활화 처리를 실시하여 광학계에 기인하는 밝기의 농담 패턴을 경감하고, 이 평활화 처리한 샘플 화상에 기초하여 핀트 평가값을 산출하도록 한다. 또한, 핀트 평가값을 그 샘플 화상의 화면 평균 휘도로 규격화하여 평가값의 적정화를 도모하도록 한다.

포커스 위치, 핀트 평가값, 스펙클, 인코더 회로, 커넥터, 펄스 모터

Description

오토 포커스 제어 방법, 오토 포커스 제어 장치 및 화상 처리 장치{AUTOFOCUS CONTROL METHOD, AUTOFOCUS CONTROLLER, AND IMAGE PROCESSOR}

본 발명은, 예를 들면 비디오 카메라에 의해 피사체 시료를 촬영하여, 관찰·검사하는 장치에 바람직하게 이용되며, 특히 광학계의 영향을 배제하여 안정된 오토 포커스 동작을 실현할 수 있는 오토 포커스 제어 방법, 오토 포커스 제어 장치 및 화상 처리 장치에 관한 것이다.

종래부터, 화상 오토 포커스 제어는, 피사체 시료(워크)의 화상 데이터로부터 핀트가 맞는 상태를 평가하여 수치화한 핀트 평가값을 이용하여 행하고 있다. 즉, 렌즈-워크간 거리를 바꾸어서 시료의 화상 데이터를 수집하고, 그 각각에 대하여 핀트 평가값을 계산하여 바람직한 포커스 위치를 검색하고 있다.

도 21은, 렌즈-워크간 거리(횡축)와 핀트 평가값(종축)과의 관계예를 나타내고 있다. 이것은 렌즈-워크간 거리를 일정 간격으로 변화시켜서 화상을 취득하고, 각 화상의 핀트 평가값을 계산하여 플로팅한 것이다. 그래프 중 핀트 평가값 최대값이, 핀트가 맞는 위치 즉 최적 포커스 위치(핀트 위치)이다. 이하, 이 렌즈-워크간 거리에 대한 핀트 평가값의 플롯을 「포커스 커브」라고 한다.

종래의 기술에서는, 소정의 검색 범위에서 렌즈-워크간 거리를 변화시키고, 이 그래프 중 핀트 평가값의 최대값을 최적 포커스 위치로 하거나, 혹은 최대값 전후의 핀트 평가값으로부터 최적 포커스 위치를 계산하고 있었다. 핀트 평가값으로서는, 밝기의 최대값, 밝기의 미분값, 밝기의 분산, 밝기의 미분값의 분산 등이 사용되고 있다. 핀트 평가값 최대값으로부터 최적 포커스 위치를 구하는 알고리즘으로서, 등산법 등이 있고, 또한, 검색 시간 단축을 위해, 검색 동작을 몇단계로 나누는 방법이 실용화되어 있다(일본 특개평 6-217180호 공보, 일본 특개 2002-333571호 공보 및 일본 특허 제2971892호 공보).

그런데, 대상 워크의 미세화가 진행되고, 이 포커스 기술을 적용하는 검사기에서는, 분해능의 향상이 요구되고 있다. 이 분해능의 향상에는, 조명 광원의 단파장화·단일 파장화에 대응할 수 있다. 단파장화에 의해 광학적 분해능을 높이고, 단일 파장화에 의해 색수차 등의 영향을 회피한다.

그러나, 조명 광원의 단파장화에 의해 광로에 사용하는 렌즈 등의 광학 재료에 제약이 발생하고, 또한, 단일 파장화에 의해 스펙클 등의 영향이 생긴다고 하는 문제가 있다. 여기서 말하는 스펙클이란, 화면의 밝기가 얼룩 형상으로 분포한 상태를 말하며, 광원의 파장이나 광학계의 구성에 의해서 유니크한 패턴의 농담 분포를 취한다.

이들 영향에 의해, 전술한 포커스 커브는 도 22에 도시한 바와 같이 최적 포커스 위치의 핀트 평가값보다도, 광학계의 영향부가 큰 값을 취하는 경우가 있다. 포커스 커브의 형상이나 수치 범위는, 대상물의 반사율 등 표면 상태에 의해 일의적으로 결정되지 않기 때문에, 이 상태에서 핀트 평가값의 최대값으로부터 포커스 위치를 구하는 종래의 기술에서는, 최적의 포커스 위치를 안정적으로 구할 수는 없다.

본 발명은 전술한 문제를 감안하여 이루어진 것으로, 광학계에 기인하는 영향을 배제하여 안정된 오토 포커스 동작을 실현할 수 있는 오토 포커스 제어 방법, 오토 포커스 제어 장치 및 화상 처리 장치를 제공하는 것을 과제로 한다.

<발명의 개시>

이상의 과제를 해결함에 있어서, 본 발명의 오토 포커스 제어 방법에서는, 렌즈-피사체간 거리가 상이한 복수의 포커스 위치에서 피사체의 화상 데이터를 각각 취득하는 화상 취득 공정과, 취득한 각 화상 데이터에 기초하여 복수의 포커스 위치마다 각각 핀트 평가값을 산출하는 평가값 산출 공정과, 핀트 평가값이 최대로 되는 포커스 위치를 핀트 위치로서 산출하는 핀트 위치 산출 공정과, 산출한 핀트 위치로 렌즈를 상기 피사체에 대하여 상대 이동시키는 이동 공정을 갖고, 상기 화상 취득 공정에서 취득한 화상 데이터를 평활화 처리하고, 이 평활화 처리한 화상 데이터에 기초하여 핀트 평가값을 산출하도록 하고 있다.

즉, 얼룩 형상의 밝기의 농담 분포는, 단일 파장에 의한 스펙클이 원인이다. 따라서, 이 농담 분포 패턴을 경감하기 위해, 본 발명에서는 화상의 평활화 처리를 가하였다. 이 평활화 처리에 의해, 스펙클의 농담 분포 패턴을 경감하면서, 대상 시료(피사체)의 특징을 파악하여 핀트 평가값을 적정하게 산출할 수 있도록 하고 있다.

화상 평활화 처리를 행함에 있어서, 처리 대상 화소수(단위 처리 범위), 필 터링 계수, 처리 횟수, 가중 부여의 유무 등의 처리 조건의 설정은, 적용되는 광학계의 종류나 피사체 시료의 표면성상 등에 따라서 적절하게 설정할 수 있다.

한편, 핀트 평가값의 산출에는, 취득한 화상 데이터에서의 인접 화소간의 휘도 데이터차를 검출하는 것이 바람직하며, 예를 들면 특징부·윤곽부의 화소간의 휘도 데이터 변화를 추출하는 엣지 강조 처리를 이용할 수 있다.

핀트 평가값을 산출함에 있어서, 동일한 대상 영역에서 포커스 위치에 의해 휘도의 변동이 있으면, 인접 화소간의 휘도 데이터차의 절대값이 변화하게 되어, 적정하게 핀트 평가값을 산출할 수 없게 된다. 따라서, 이러한 문제를 회피하기 위해, 산출한 평가값을 해당 화면 전체의 평균 휘도로 제산함으로써, 핀트 평가값의 화면 평균 휘도에 의한 규격화를 행하는 것이 바람직하다.

또한, 이 오토 포커스 제어 동작에 부수하여, 복수의 포커스 위치에서 취득한 각 샘플 화상의 핀트 평가값으로부터, 피사체의 전체 초점 화상이나 입체 화상을 합성하는 기능을 부가할 수 있다. 이들 처리는, 각 포커스 위치에서의 취득 화상을 면 내에서 복수의 영역으로 분할함과 함께, 분할 영역마다 얻어진 핀트 평가값이나 포커스 위치 정보에 기초하여 행해진다. 이 경우, 3차원 구조의 피사체 표면을, 광학계의 영향을 배제하여, 우수한 분해능으로 검사, 관찰하는 것이 가능해진다.

또한, 본 발명의 오토 포커스 제어 장치는, 렌즈-피사체간 거리가 상이한 복수의 포커스 위치에서 취득된 각 화상 데이터에 기초하여 복수의 포커스 위치마다 각각 핀트 평가값을 산출하는 평가값 산출 수단과, 산출한 핀트 평가값의 최대값에 기초하여 핀트 위치를 산출하는 핀트 위치 산출 수단과, 취득한 화상 데이터를 평활화 처리하는 화상 평활화 수단을 갖고, 이 화상 평활화 수단에 의해 평활화 처리한 화상 데이터에 기초하여 각 화상 데이터의 핀트 평가값을 산출하도록 하고 있다.

본 발명의 오토 포커스 제어 장치는, 복수의 포커스 위치에서 피사체의 화상 데이터를 취득하는 화상 취득 수단, 렌즈-피사체간 거리를 조정하는 구동 수단 등과 조합하여, 1개의 화상 처리 장치로서 구성해도 되고, 이들 화상 취득 수단, 구동 수단과는 독립된 별개의 구성체로서 구성할 수 있다.

본 발명에 따르면, 광학계에 기인하는 영향을 배제하여 고정밀도의 오토 포커스 제어를 안정적으로 행할 수 있기 때문에, 단파장/단일 파장 광원을 이용한 시료 관찰이 가능해지고, 예를 들면 미세 가공화가 진행되는 반도체 웨이퍼 등을 높은 분해능으로 관찰할 수 있다.

도 1은 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1)의 개략 구성도.

도 2는 컨트롤러(7)의 구성을 설명하는 블록도.

도 3은 화상 처리 장치(1)의 동작을 설명하는 플로우차트.

도 4는 화상 처리 장치(1)의 다른 동작예를 설명하는 플로우차트.

도 5는 본 발명의 일 작용을 설명하는 포커스 커브의 일례로, FC1은 화상 평활화 처리 및 핀트 평가값의 휘도 규격화 처리를 행했을 때의 예, FC2는 화상 평활화 처리만 행했을 때의 예, FC3은 종래예를 각각 도시하는 도면.

도 6은 핀트 위치를 핀트 평가값 최대값 근방에서 곡선 근사함으로써 산출하는 방법을 설명하는 도면.

도 7은 렌즈 구동부(4)에 대한 지시 전압과 렌즈의 실제 이동 전압과의 관계를 도시하는 도면.

도 8은 샘플 화상의 취득과 핀트 평가값 산출을 병렬 처리하는 방법을 설명하는 도면.

도 9는 본 발명의 제2 실시 형태를 도시하는 도면으로, 화면을 복수로 분할하여 각각의 분할 영역에서 핀트 위치를 검출하는 방법을 설명하는 도면.

도 10은 본 발명의 제3 실시 형태에 따른 공정 플로우도.

도 11은 본 발명의 제3 실시 형태에 적용되는 메모리 구성도.

도 12는 전체 초점 화상 취득 공정을 설명하는 플로우차트.

도 13은 본 발명의 제4 실시 형태를 도시하는 도면으로, 샘플 화상의 핀트 위치를 포커스축 방향으로 조합하여 입체 화상을 취득하는 방법을 설명하는 도면.

도 14는 상기 입체 화상의 합성 방법을 설명하는 플로우차트.

도 15는 본 발명의 제5 실시 형태에 따른 오토 포커스 제어 장치의 제1 구성예를 도시하는 기능 블록도.

도 16은 본 발명의 제5 실시 형태에 따른 오토 포커스 제어 장치의 제2 구성예를 도시하는 기능 블록도.

도 17은 본 발명의 제5 실시 형태에 따른 오토 포커스 제어 장치의 제3 구성예를 도시하는 기능 블록도.

도 18은 본 발명의 제5 실시 형태에 따른 오토 포커스 제어 장치의 제4 구성예를 도시하는 기능 블록도.

도 19는 본 발명의 제5 실시 형태에 따른 오토 포커스 제어 장치의 제5 구성예를 도시하는 도면.

도 20A 내지 도 20B는 화상 처리 장치(1)의 구동계의 구성의 변형예를 도시하는 블록도.

도 21은 렌즈-워크간 거리(포커스 위치)와 핀트 평가값과의 관계를 나타내는 포커스 커브의 일례.

도 22는 종래 기술의 문제점을 설명하는 도면.

<발명을 실시하기 위한 최량의 형태>

이하, 본 발명의 각 실시 형태에 대하여 도면을 참조하여 설명한다.

(제1 실시 형태)

도 1은 본 발명의 실시 형태에 따른 오토 포커스 제어 방법 및 오토 포커스 제어 장치가 적용되는 화상 처리 장치의 개략 구성도이다. 화상 처리 장치(1)는, 피사체 시료(워크)의 표면 관찰에 이용되며, 특히 예를 들면 반도체 웨이퍼 등과 같이 표면에 미세 가공이 실시되어 구성된 소자 구조체의 결함 검출 등에 이용되는 현미경으로서 구성되어 있다.

화상 처리 장치(1)는, 측정 스테이지(2), 대물 렌즈(3), 렌즈 구동부(4), 경통(5), CCD(Charge Coupled Device) 카메라(6), 컨트롤러(7), 드라이버(8), 모니터(9) 및 조명 광원(10)을 구비하고 있다.

측정 스테이지(2)는, 피사체 시료(예를 들면 반도체 웨이퍼) W를 지지하고, X-Y 방향(도면 중 좌우 방향 및 지면 수직 방향)으로 이동 가능하게 구성되어 있다.

렌즈 구동부(4)는, 측정 스테이지(2) 상의 피사체 시료 W에 대하여 대물 렌즈(3)를 포커스축 방향(도면 중 상하 방향)으로 소정의 포커스 위치 검색 범위에 걸쳐서 상대 이동시켜서, 렌즈-워크간 거리를 가변 조정한다. 또한, 렌즈 구동부(4)는, 본 발명의 「구동 수단」에 대응한다.

본 실시 형태에서는, 렌즈 구동부(4)는 피에조 소자로 구성되어 있지만, 그 이외에도, 예를 들면 펄스 모터 등의 정밀 이송 기구가 채용 가능하다. 또한, 렌즈-워크간 거리의 조정에 대물 렌즈(3)를 포커스축 방향으로 이동시키도록 하고 있지만, 이 대신에, 측정 스테이지(2)를 포커스축 방향으로 이동시키도록 하여도 된다.

CCD 카메라(6)는, 포커스 위치 검색 범위 내에서 이동하는 대물 렌즈(3)를 통하여, 측정 스테이지(2) 상의 피사체 시료 W 표면의 특정 영역을 촬상하는 비디오 카메라로서 기능하고, 취득한 화상 데이터를 컨트롤러(7)에 출력한다. CCD 카메라(6)는, 대물 렌즈(3), 렌즈 구동부(4) 및 경통(5)과 함께 본 발명의 「화상 취득 수단」을 구성한다. 또한, CCD 이외에도, CMOS 이메이져 등의 다른 고체 촬상 소자가 적용되어도 된다.

컨트롤러(7)는 컴퓨터로 구성되며, 화상 처리 장치(1) 전체의 동작을 제어함과 함께, 피사체 시료 W의 표면의 특정 영역에서의 최적의 포커스 위치(핀트 위치) 를 검출하는 오토 포커스(AF) 제어부(11)를 구비하고 있다. 또한, 이 오토 포커스 제어부(11)는, 본 발명의 「오토 포커스 제어 장치」에 대응한다.

드라이버(8)는, 오토 포커스 제어부(11)로부터의 제어 신호를 받아 렌즈 구동부(4)를 구동하는 구동 신호를 생성한다. 본 실시 형태에서는, 드라이버(8)는 히스테리시스 보상 기능을 구비한 피에조 드라이버로 구성되어 있다. 또한, 이 드라이버(8)는, 오토 포커스 제어부(11) 내에 내장되어 있어도 된다.

오토 포커스 제어부(11)는, 드라이버(8)를 통하여 렌즈 구동부(4)를 구동하고, 대물 렌즈(3)와 피사체 시료 W 사이의 거리(렌즈-워크간 거리)를 일정 간격으로 변화시킨 복수의 포커스 위치에서, CCD 카메라(6)에 의해 피사체 시료 W의 화상 데이터를 각각 취득하고, 후술하는 각종 처리를 행하여 피사체 시료 W의 촬상 영역에서의 최적의 포커스 위치, 즉 핀트 위치를 검출한다.

모니터(9)는, 컨트롤러(7)에 의한 처리 내용을 표시함과 함께, CCD 카메라(6)에서 촬상된 피사체 시료 W의 화상 등을 표시한다.

조명 광원(10)으로서는, 본 실시 형태에서는 예를 들면 파장 196㎚의 연속 레이저 또는 펄스 레이저 광원이 이용되고 있다. 또한, 조명 광원의 파장 영역은 상기의 자외 광 영역에 한하지 않고, 용도 등에 따라서 파장 영역이 상이한 다른 자외 광이나, 가시광 영역의 광원을 이용하는 것도 물론 가능하다.

도 2는 화상 처리 장치(1)의 구성의 블록도이다.

CCD 카메라(6)로부터 출력된 아날로그 화상 신호는, A/D 변환기(13)에 의해서 디지털 화상 신호로 변환된다. A/D 변환기(13)의 출력 신호는 메모리(14)에 공 급되어 기억된다. 컨트롤러(7)의 오토 포커스 제어부(11)는, 메모리(14)로부터 변환된 디지털 화상 신호를 판독하여, 후술하는 오토 포커스 제어를 행한다. 그리고, 드라이버(8)는 D/A 변환기(17)를 통하여 공급되는 컨트롤러(7)로부터의 제어 신호에 기초하여 렌즈 구동부(4)에 대한 구동 신호를 생성한다.

오토 포커스 제어부(11)는, 평활화 처리 회로(11A), 평균 휘도 산출 회로(11B), 평가값 산출 회로(11C) 및 핀트 위치 산출 회로(11D)를 구비하고 있다.

평활화 처리 회로(11A)는, 복수의 포커스 위치에서 취득한 피사체 시료 W 각각의 화상 신호(샘플 화상)의 오토 포커스 대상 영역(화면 전체 혹은 화면 내의 일부 영역)을 평활화 처리하는 회로로서, 본 발명의 「화상 평활화 수단」에 대응한다. 오토 포커스 제어부(11)는, 이 평활화 처리 회로(11A)에 의해서, 취득한 각 샘플 화상의 밝기의 얼룩 형상의 분포(스펙클)를 저감한다. 평활화 처리예를 수학식 1에 나타낸다.

또한, 화상 평활화의 처리 조건(처리 대상 화소수(위의 예에서는 3×3), 필터링 계수, 처리 횟수, 가중 부여의 유무 및 계수의 설정하는 방법 등)은, CCD 카메라(6)에 의해 취득된 시료 W 표면의 본래의 특징부·윤곽부를 깨뜨리지 않는 범위에서 임의로 설정 가능하며, 이들 처리 조건은, 예를 들면 키보드나 마우스, 터 치 패널 등의 입력 장치(16)를 통하여 설정하도록 하고 있다.

평균 휘도 산출 회로(11B)는, 각 샘플 화상의 오토 포커스 대상 영역의 화면 평균 휘도를 산출하는 회로로서, 본 발명의 「평균 휘도 산출 수단」에 대응한다. 이 평균 휘도 산출 회로(11B)에 의해서 얻어진 각 포커스 위치에서의 화면 평균 휘도는, 후술하는 평가값 산출 회로(11C)에서의 해당 포커스 위치의 핀트 평가값 Pv의 산출에 이용된다.

평가값 산출 회로(11C)는, 각 샘플 화상의 핀트 평가값 Pv를 각각 산출하는 회로로서, 본 발명의 「평가값 산출 수단」에 대응한다. 본 실시 형태에서는, 이 평가값 산출 회로(11C)를 엣지 강조 처리 회로를 포함하는 구성으로 하고 있다.

본 실시 형태에서, 핀트 평가값이란, 화상의 특징부·윤곽부가 분명히 보이는 상태를 수치로 평가한 지표를 말한다. 특징부·윤곽부의 화소간의 휘도 데이터 변화를 보면, 분명한 상에서는 급준한 변화로 되고, 흐려진 상에서는 완만한 변화로 된다. 따라서 본 실시 형태에서는, 인접하는 화소간의 휘도 데이터차를 엣지 강조 처리를 이용하여 평가함으로써, 핀트 평가값 Pv를 계산하도록 하고 있다. 또한, 그 이외에도, 밝기의 미분값, 밝기의 분산 등에 기초하여 핀트 평가값을 산출하도록 하여도 된다.

실 처리예에서는, 취득한 화상 중 전체 화소에 [수학식 2]로 나타내는 연산을 행하여, 주위의 화소와의 휘도 데이터차를 구한다. 이 식에서, 전항은 세로 방향, 후항은 가로 방향의 휘도 변화를 검출한다. 이에 의해, 처리 화소 휘도에 상관없이, 평가점과 그 주위 사이의 휘도 변화분만을 추출할 수 있다.

또, 이 예에서는 처리 대상 화소 영역을 3×3으로 하고 있지만, 5×5나 7×7 등이어도 된다. 또한, 계수에 가중 부여를 행하고 있지만 계수의 설정 방법은 임의이며, 가중 부여없이 처리하도록 하여도 된다.

핀트 평가값 Pv의 산출 시에는, 상기 엣지 강조 처리식에 의한 계산 후, 평균 휘도 산출 회로(11B)에서 산출한 대응 포커스 위치에서의 화면 평균 휘도로 제산 처리를 실행한다. 즉, 각 샘플 화상의 핀트 평가값 Pv는, 수학식 3에서 나타낸 바와 같이, 엣지 강조 처리 회로에 의해 얻어지는 핀트 평가값 Pvo의, 해당 포커스 위치의 화면 평균 휘도 Pave에 의한 제산값으로 한다.

수학식 3에서, Pv(i)는 i번째의 포커스 위치에서의 휘도 규격화된 핀트 평가값, Pvo(i)는 i번째의 포커스 위치에서의 핀트 평가값, Pave(i)는 i번째의 포커스 위치에서의 화면 평균 휘도이다.

또한, 수학식 4에 도시한 바와 같이, 수학식 3에서 얻어지는 연산값에 화면 평균 휘도의 최대값 Pavemax를 승산하여 핀트 평가값 Pv를 산출하도록 하여도 된다. 이에 의해, 평균 휘도에서의 제산에 의한 핀트 평가값의 줄어듦(양적 감소분)이 보상되고, 후에 포커스 커브를 참조하는 데에서 핀트 평가값의 양적 추이가 보기 쉬워진다. 또한, 승산하는 화면 평균 휘도는 그 최대값에 한정되지 않고, 예를 들면 최소값 등이어도 된다.

이와 같이, 핀트 평가값(Pv)으로서, 엣지 강조 처리에 의해 산출된 평가값에 대한 화면 평균 휘도에 의한 제산값을 이용하는 것은, 핀트 평가값이 평가점(화소)과 그 주위의 화소와의 휘도의 차가 어느 정도 있는지에 관계한 것이기 때문에, 취득한 화상 사이에 휘도의 변동이 있고, 화면 평균 휘도(해당 화면을 구성하는 화소 개개의 휘도의 총합을 해당 화면의 전체 화소수로 제산한 휘도값) 그 자체가 변화한 경우, 거기에서 계산되는 지표의 절대값도 변화하게 되는 것을 회피하기 위함이다.

예를 들면, 주위와의 휘도차가 20% 있다고 한다. 평균 휘도 50일 때 해당 20%의 휘도차는 10으로 되고, 평균 휘도 100에서는 20으로 된다. 이와 같이, 동일한 변화율이더라도 원래의 화면 평균 휘도에 의해 절대값이 크게 상이하게 된다. 일반 가시광 현미경 등의 광학계에서는 문제로 되는 것은 적지만, 자외광 현미경 등의 광학계에서는 이러한 문제는 현저해진다.

따라서 본 실시 형태에서는, 이러한 화면 휘도 변화에 대응하기 위해서, 엣지 강조 처리에 의해 산출한 핀트 평가값을 화면 평균 휘도(Pave)로 규격화함으로써, 화면 휘도 변화에 의한 핀트 평가값에의 영향을 방지하도록 하고 있다. 즉, 핀트 평가값으로서 그 화면 평균 휘도의 제산값을 이용함으로써, 화면 평균 휘도 50, 휘도차 20%인 경우의 핀트 평가값은 0.2(10/50)로 되고, 화면 평균 휘도 100, 휘도차 20%인 경우의 핀트 평가값도 0.2(20/100)로 되어 서로 일치하게 되어, 포커스 위치 간에서의 휘도의 변동에 의한 핀트 평가값에의 영향이 배제되는 것으로 된다.

다음으로, 핀트 위치 산출 회로(11D)는, 평가값 산출 회로(11C)에서 산출한 핀트 평가값의 최대값에 기초하여 핀트 위치를 산출하는 회로로서, 본 발명의 「핀트 위치 산출 수단」에 대응한다.

일반적으로, 화상 오토 포커스 제어는, 렌즈-워크간 거리가 상이한 복수의 포커스 위치에서 샘플 화상을 취득하고, 그 중에서 최대의 핀트 평가값이 얻어지는 샘플 화상의 포커스 위치를 검출함으로써 핀트 위치를 결정한다. 따라서, 샘플 화상이 많을수록(샘플간의 포커스 이동량이 좁을수록) 고정밀도의 오토 포커스 제어를 실현할 수 있다. 그러나 그 한편으로, 샘플수가 증대하면 처리에 요하는 시간도 커지게 되어, 오토 포커스 제어의 고속성을 확보할 수 없게 된다.

따라서 본 실시 형태에서는, 도 6에 도시한 바와 같이 산출한 핀트 평가값의 최대값 Pv(m) 및 그 근방의 복수의 핀트 평가값(Pv(m-1), Pv(m+1), Pv(m-2), Pv(m+2), Pv(m-3), Pv(m+3))에 기초하여 최적 포커스 위치(핀트 위치)를 검출하도 록 하고 있다.

도 6에 도시한 바와 같이 핀트 위치 근방은 위로 볼록한 2차 곡선에 가깝다. 따라서, 핀트 위치 근방점을 사용하여, 최소 2승법에 의해 근사 2차 곡선을 계산하고, 정점을 구하여, 그것을 핀트 위치로 한다. 도면 중 실선은 3점(Pv(m), Pv(m-1), Pv(m+1)), 파선은 5점(Pv(m), Pv(m-1), Pv(m+1), Pv(m-2), Pv(m+2)), 일점쇄선은 7점(Pv(m), Pv(m-1), Pv(m+1), Pv(m-2), Pv(m+2), Pv(m-3), Pv(m+3))의 핀트 평가값으로부터 근사 계산한 곡선이다. 그래프의 벌어짐 정도는 서로 다르지만, 정점의 위치는 거의 동일하여, 단순한 처리이면서 유효한 근사 방법인 것을 알 수 있다.

또한, 전술한 곡선 근사법에 한하지 않고, 예를 들면 Pv(m) 및 Pv(m+1)의 2점을 통하는 직선과, Pv(m-1) 및 Pv(m-2)의 다른 2점을 통하는 직선으로부터 서로의 교점을 계산하여 그것을 핀트 위치로 하는 방법(직선 근사법)이나, 정규 분포 곡선 근사 등의 다른 근사법을 이용하여 핀트 위치를 검출하도록 하여도 된다.

도 2를 참조하여, 메모리(15)는, 컨트롤러(7)의 CPU의 각종 연산에 이용된다. 특히, 메모리(15)의 메모리 공간에는, 오토 포커스 제어부(11)에서의 각종 연산에 기여되는 제1 메모리부(15A) 및 제2 메모리부(15B)가 할당되어 있다.

본 실시 형태에서는, 오토 포커스 제어의 고속성을 도모하기 위해, 렌즈-워크간 거리를 연속적으로 변화시키면서, 복수의 포커스 위치에서 샘플 화상을 각각 취득하도록 하고 있다. 이에 의해, 각 포커스 위치에서 렌즈를 정지시켜서 화상을 취득하는 경우에 비하여 오토 포커스 제어의 고속화를 도모할 수 있다.

렌즈 구동부(4)에 대한 드라이버(8)의 지시 전압과 렌즈 구동부(4)의 실제 이동 전압과의 관계를 도 7에 도시한다. 피에조 소자로 이루어지는 렌즈 구동부(4)는 위치 제어용 이동량 검출 센서를 구비하고 있다. 도 7 중 실제 이동 전압은 이 센서 모니터 신호이다. 지시 전압은 오토 포커스 제어 개시 위치에 렌즈를 이동시킨 후, CCD 카메라(6)의 영상 신호 프레임마다 소정량씩 변화시키고 있다. 지시 전압과 실제 이동 전압을 비교하면, 응답에 지연은 있지만, 이동은 원활하며, 지시 전압의 단차를 깨뜨리면서 점증 영역의 양 그래프의 기울기가 거의 동일하게 되어 있다. 여기에서, 등속도 상당 지시 전압에 대하여, 렌즈가 등속도로 동작하고 있는 것을 알 수 있다. 따라서, 화상 동기 신호에 동기하여 샘플 화상을 취득하면, 포커스축 좌표 일정 간격으로 핀트 평가값을 계산, 취득하는 것이 가능해진다.

또한 본 실시 형태에서는, 오토 포커스 동작의 고속화를 도모하기 위해, 샘플 화상의 취득 공정과 핀트 평가값의 산출 공정을 병렬로 행하도록 하고 있다.

이것은, 도 8에 도시한 바와 같이 제1 메모리부(15A)에 화상 데이터를 취득하면서, 제2 메모리부(15B)의 이미 취득된 화상 데이터를 처리하여 핀트 평가값 Pv를 산출한다고 하는 더블 버퍼링으로 구성할 수 있다. 본 예의 경우, 제1 메모리부(15A)에는 짝수 프레임으로 취득한 화상 데이터를 처리하고, 제2 메모리부(15B)에는 홀수 프레임으로 취득한 화상 데이터를 처리하도록 하고 있다.

다음으로, 이상과 같이 구성되는 본 실시 형태의 화상 처리 장치(1)의 동작에 대하여 도 3를 참조하여 설명한다. 도 3은 오토 포커스 제어부(11)에서의 공정 플로우도이다.

우선, 피사체 시료 W의 오토 포커스 처리 영역, 포커스 위치 검색 범위, 취득 화상 샘플간의 포커스 이동량(포커스축 스텝 길이), 화상 평활화 처리 조건, 엣지 강조 처리 조건 등의 초기 설정이 입력된 후(스텝 S1), 오토 포커스 제어가 실행된다.

대물 렌즈(3)는, 렌즈 구동부(4)의 구동에 의해 오토 포커스 제어 개시 위치로부터 포커스축 방향을 따라 이동을 시작함과 함께(본 실시 형태에서는 피사체 시료 W에 접근하는 방향), 화상 동기 신호에 동기하여 피사체 시료 W의 샘플 화상을 취득한다(스텝 S2, S3). 다음으로, 취득한 샘플 화상의 포커스축 좌표(렌즈-워크간 거리 좌표)를 취득한다(스텝 S4).

이 후, 취득한 샘플 화상에 대한 화면 평균 휘도 산출 처리, 화상 평활화 처리, 엣지 강조 처리 및 휘도 규격화 처리로 이루어지는 핀트 평가 처리가 행해진다(스텝 S5∼S8).

화면 평균 휘도 산출 공정(스텝 S5)은, 평균 휘도 산출 회로(11B)에 의해 연산된다. 산출된 화면 평균 휘도는, 후에 핀트 평가값의 산출에 이용된다. 또한, 이 화면 평균 휘도 산출 공정은, 평활화 처리 공정(스텝 S6) 후에 행하도록 하여도 된다.

화상 평활화 처리 공정(스텝 S6)은, 평활화 처리 회로(11A)에 의해 처리된다. 이 화상 평활화 처리 공정에서는, 예를 들면 수학식 1에서 나타낸 연산식으로 화상 평활화 처리가 행해진다. 이에 의해, 취득한 샘플 화상에서, 광원의 단일 파 장화에 기인하는 스펙클의 영향이 배제된다.

엣지 강조 처리 공정(스텝 S7)은, 평가값 산출 회로(11C)에 의해 실행된다. 이 공정에서는, 앞의 평활화 처리 공정(스텝 S6)에서 평활화 처리된 샘플 화상에 기초하여, 예를 들면 상기 수학식 2에서 나타낸 엣지 강조 처리식에 의해서 특징부·윤곽부의 화소간의 휘도 데이터차를 계산하고, 이것을 핀트 평가값의 기초 데이터로 한다.

다음으로, 스텝 S7에서 산출된 핀트 평가값을 화면 평균 휘도로 규격화하는 휘도 규격화 처리 공정(스텝 S8)이 행해진다. 이 공정은, 평가값 산출 회로(11C)에 의해 실행된다. 도 3에 도시한 예에서는, 앞의 엣지 강조 처리 공정(스텝 S7)에 의해서 얻어진 핀트 평가값(Pvo(i))에 대하여, 화면 평균 휘도 산출 공정(스텝 S5)에서 얻어진 화면 평균 휘도(Pave(i))로 제산함으로써, 수학식 3에서의 휘도 규격화된 핀트 평가값 Pv(i)을 산출한다.

이상의 스텝 S2∼스텝 S8에 의해서 오토 포커스 루프(AF 루프)가 구성된다. 이 AF 루프에서는, 취득되는 각 포커스 위치에서의 샘플 화상 각각에 대하여 전술한 바와 마찬가지인 처리가 실행된다.

본 실시 형태에서는 전술된 바와 같이, 렌즈 구동부(4)는 대물 렌즈(3)를 연속적으로 이동시킨 상태에서 CCD 카메라(6)는 소정의 샘플링 주기로 피사체 시료 W를 촬상하고, 화상 취득 공정(스텝 S3)와 핀트 평가값 계산 공정(스텝 S8)과는 병렬적으로 처리된다(도 6, 도 7). 따라서, 먼저 취득한 샘플 화상의 핀트 평가값을 계산하는 한편, 다음의 샘플 화상을 취득할 수 있으며, 그 결과, 영상 신호 프레임 주기로 핀트 평가값의 연산이 가능해져서, 오토 포커스 동작의 고속화가 실현된다.

대물 렌즈(3)의 총 이동 길이가 전체 검색 범위에 도달하면 AF 루프는 종료하고, 얻어진 각 샘플 화상의 핀트 평가값에 대하여, 화면 평균 휘도의 최대값(Pavemax)을 승산하는 처리가 실행된다(스텝 S9, S10). 그 결과, 각 샘플 화상의 핀트 평가값 Pv는, 상기 수학식 4에서 나타낸 연산식으로 구해진 경우와 동의로 된다.

또한, 도 4에 도시한 공정 플로우와 같이, 엣지 강조 처리에 의한 핀트 평가값의 계산으로 AF 루프를 완결시키고, 동일 도면 스텝 S10A에서 나타낸 바와 같이, AF 루프 종료 후에 각 샘플 화상에 대하여 일괄하여, 핀트 평가값의 화면 평균 휘도에 의한 규격화 처리를 수학식 4에서 나타낸 연산 처리를 이용하여 행하도록 해도, 결과적으로, 도 3에 도시한 예와 동등한 처리를 실현할 수 있다.

도 5에, 평활화 처리(도 3의 스텝 S6) 및 휘도 규격화 처리(도 3의 스텝 S8)를 행하여 얻어지는 포커스 커브(FC1)를 실선으로, 화면 평균 휘도에 의한 규격화를 행하지 않고 평활화 처리만 행하여 얻어지는 포커스 커브(FC2)를 일점쇄선으로 각각 나타낸다. 또한 비교를 위해, 도 22에 도시한 종래의 포커스 커브(FC3)를 점선으로 나타낸다.

도 5로부터 분명한 바와 같이, 본 실시 형태에 따르면, 광학계의 영향부를 크게 개선하여, 최적 포커스 위치(핀트 위치)로서 검출될 핀트 평가값의 피크를 현재화시킬 수 있다. 이에 의해, 단파장, 단일 파장의 광학계에서도 안정되며 또한 정확한 오토 포커스 동작을 실현할 수 있다.

또한, 샘플 화상의 평활화 처리만이라도 광학계 영향부의 개선이 보이기 때문에, 필요에 따라 휘도 규격화 처리 공정(도 3에서 스텝 S8)을 생략하고 있지만, 이 휘도 규격화 처리를 행함으로써 광학계 영향부의 또 다른 개선이 도모되어, 핀트 위치의 보다 정확한 검출이 가능해진다.

계속해서, 핀트 위치 산출 공정이 행해진다(스텝 S11). 이 핀트 위치 산출 처리는, 핀트 위치 산출 회로(11D)에 의해 실행된다. 핀트 위치의 산출에는, 도 6을 참조하여 설명한 바와 같이, 핀트 평가값의 최대값과 그 근방의 복수의 핀트 평가값의 각 점을 통하는 근사 곡선을 구하고, 그 정점을 검출하여 이것을 핀트 위치로 한다.

이에 의해, 종래부터 널리 적용되고 있는 등산법과 비교하여 효율적이고 또한 고정밀도로 핀트 위치를 검출할 수 있으므로, 오토 포커스 동작의 고속화에 크게 공헌할 수 있다.

한편, 도 6에서 횡축의 렌즈-워크간 거리를 총 검색 범위로 한 경우, 동작 중에 핀트 위치를 통과한 것을 판단할 수 있으면, Pv(m+3) 이후의 화상 취득은 불필요해지고, 그 만큼의 동작 시간을 삭감할 수 있으므로, 오토 포커스 동작의 또 다른 고속화를 실현하는 것이 가능해진다. 또한, 핀트 위치 통과의 판단 방법으로서는, 임의의 일정 이상의 핀트 평가값(파라미터로서 부여하거나, 혹은 지금까지의 포커스 동작 결과로부터 학습함)을 초과하는 산을 통과하여, 근사에 필요한 샘플수를 취득하는 방법 등을 예로 들 수 있다.

그리고 마지막으로, 대물 렌즈(3)를 핀트 위치로 이동시키는 이동 공정(스텝 S12)을 거쳐서, 본 실시 형태의 오토 포커스 제어가 완료된다.

이상과 같이, 본 실시 형태에 따르면, 단파장, 단일 파장의 광학계에 기인하는 영향을 배제하여 고정밀도의 오토 포커스 제어를 안정적으로 행할 수 있고, 이에 의해 예를 들면 반도체 웨이퍼 등의 표면에 형성되는 미세한 구조체를 분해능 높게 관찰, 검사할 수 있도록 된다.

(제2 실시 형태)

다음으로, 본 발명의 제2 실시 형태에 대하여 설명한다.

최근의 반도체 웨이퍼는 최소 패턴폭(프로세스 룰)의 미세화와 함께, 높이 방향에 의해 입체적인 구조를 예로 들고자 한다. 광원의 단파장화에 의해, 초점 심도도 얕아지고, 고저차가 있는 대상물에서는 포커스가 맞는 부분이 적어지는 등, 불리해지는 경향이 있다. 화면 내에 고저차가 있으며, 각각에 핀트가 맞는 면이 상이한 경우, 예를 들면 시료의 어떤 표면을 기준으로 하는 등의 「어디에 핀트를 맞춘다」라고 하는 능동적인 포커스 동작이 요구된다. 그러나, 핀트 평가값으로부터 최적 포커스 위치를 구하는 종전의 오토 포커스 제어 방법에서는, 보고 싶은 곳에 핀트가 맞지 않는다고 하는 문제점이 있다.

따라서, 본 발명의 오토 포커스 제어 방법을 응용하여, 화면 내에 고저차가 존재하는 시료의 임의의 면에 핀트를 맞추는 방법을 이하 설명한다.

전술한 제1 실시 형태에서는, 취득한 샘플 화면의 전체(혹은 일부 대상 영역)에 대하여 핀트 평가값을 산출하는 예에 대하여 설명했지만, 본 실시 형태에서는, 예를 들면 도 9에 도시한 바와 같이 취득한 샘플 화면을 복수의 영역으로 분할 하고, 각각의 분할 영역 Wij(i, j= 1∼3)마다 핀트 평가값을 계산하여, 핀트 위치를 산출한다.

각 분할 영역 Wij에서의 핀트 평가값의 산출에는, 전술한 제1 실시 형태와 마찬가지인 화상 평활화 처리 및 화면 평균 휘도에 의한 규격화 처리를 각각 실행한다. 이에 의해, 광학계에 영향받지 않고 고정밀도로 핀트 위치를 검출할 수 있다.

이상의 처리의 결과, 분할 영역 Wij마다 해당 분할 영역에 대응한 포커스 커브가 얻어지는 것으로 된다. 이 때, 어느 하나의 분할 영역이 다른 분할 영역과 비교하여 핀트 위치가 상이한 경우에는 양자간에서 핀트면에 고저차가 존재하는 것이 분명해지기 때문에, 무엇을 우선하여 포커스 위치로 할지를 파라미터로 지정함으로써 능동적인 포커스 동작이 가능해진다.

파라미터의 예로서는 다음의 것이 있다.

1. 가장 렌즈-시료간 거리가 짧은 것(시료의 가장 높은 곳)

2. 가장 렌즈-시료간 거리가 긴 것(시료의 가장 낮은 곳)

3. 화면의 특정한 위치

4. 화면 분할 결과로부터 다수결로 정해지는 최적 포커스 위치(보다 특징적인 곳) 등.

또한, 도 9에서는 화면 분할수를 3×3의 9 분할로 한 예를 설명했지만, 화면 분할수는 이것에 한정되지 않는다. 화면 분할수를 늘릴수록 상세한 정보가 얻어지는 것으로 된다. 또한, 분할 화면이 서로 중첩하여도 되고, 사용 상황에 맞추어 화면 분할수를 다이내믹하게 변경하도록 하여도 된다.

이상, 본 실시 형태에 따르면, 대상 시료에 대하여, 무엇을 우선하여 최적의 포커스 위치로 할지를 지정함으로써, 「어디에 핀트를 맞춘다」고 하는 능동적인 포커스 동작에 충분히 대응할 수 있다.

(제3 실시 형태)

다음으로, 본 발명의 제3 실시 형태에 대하여 설명한다. 본 실시 형태에서는, 본 발명에 따른 오토 포커스 제어 방법을 적용함으로써, 취득한 화상 데이터로부터 피사체 시료의 전체 초점 화상을 합성하는 방법에 대하여 설명한다.

통상의 광학계에서는, 광학계의 초점 심도를 초과하는 입체적인 물체를 보는 경우, 전체에 핀트가 맞는 화상을 볼 수 없어, 검사 관찰의 목적을 만족할 수 없다. 모두 초점 광학계 등 특수한 광학계를 이용하여 전체에 핀트가 맞는 전체 초점 화상을 얻거나, 삼각법에 기초하여 각도가 상이한 화상으로부터 전체 초점 화상을 얻는 등의 방법에 의해 해결을 도모하고 있지만, 이들은 특수한 광학계를 이용하기 때문에, 염가로 실현할 수 없다.

한편, 물체의 화상을 계층적으로 취득한 후에 합성 처리하는 방법도 제안되고 있다(일본 특개 2003-281501호 공보). 그러나, 합성에 사용하는 화상 정보의 용량, 합성 처리 시간, 복수매 화상 취득 후로밖에 결과를 얻을 수 없다는 등의 문제가 남는다.

따라서, 본 실시 형태에서는, 전술한 제1 실시 형태에서 설명한 오토 포커스 제어 방법을 실행하는 과정에서, 피사체 시료 W의 전체 초점 화상을 얻도록 하고 있다. 그 제어 플로우를 도 10에 도시한다. 취득한 화상(샘플점)의 핀트 평가값을 화면 평균 휘도로 규격화하는 공정(스텝 S8) 후에, 화상의 합성 처리 공정(스텝 S8M)을 추가하고 있다.

또한, 그 밖의 공정에 대해서는, 전술한 제1 실시 형태에서 설명한 공정 플로우(도 3)와 마찬가지이기 때문에, 대응하는 공정에는 동일한 부호를 붙이고, 그 설명은 생략하는 것으로 한다.

그런데, 화상 합성을 행함에 있어서, 전술한 제2 실시 형태에서 설명한 바와 같이, 취득한 샘플 화면을 복수의 영역으로 분할하고(도 9), 각각의 분할 영역 Wij를 단위로 하여 화상을 합성한다. 또한, 화면의 분할수는 특별히 한정되지 않고, 분할수가 많을수록 처리를 정밀하게 행할 수 있으며, 일화소 단위까지 분할 영역을 미세화할 수 있다. 또한, 분할 영역의 형상은 사각에 한하지 않고, 원 형상 등으로도 변경할 수 있다.

또한, 메모리(15)(도 2)로서, 짝수 프레임으로 취득한 화상 데이터를 처리하는 제1 메모리부(15A) 및 홀수 프레임으로 취득한 화상 데이터를 처리하는 제2 메모리부(15B) 외에 추가로, 도 11에 도시한 바와 같이 전체 초점 처리용 제3 메모리부(15C)를 준비한다. 이 제3 메모리부(15C)에는, 합성 화상 데이터 저장 영역(15C1)과, 합성 화상을 구성하는 각 분할 영역 Wij의 높이(렌즈-워크간 거리) 정보 저장 영역(15C2)과, 이들 각 분할 영역 Wij의 핀트 평가값 정보 저장 영역(15C3)이, 각각 설정되어 있다.

피사체 시료의 전체 초점 화상을 합성함에 있어서는, 렌즈-워크간 거리가 상 이한 복수의 포커스 위치에서 샘플 화상을 취득하고, 그 각각의 샘플 화상에 대하여 각 분할 영역 Wij마다 핀트 평가값을 산출하고, 분할 영역 Wij 간에서 서로 독립하여 가장 핀트 평가값이 높은 화상을 추출한 후, 전체 화상으로서 합성하는 처리를 행하도록 하고 있다.

이상과 같이 하여, 본 발명의 「전체 초점 화상 합성 수단」이 구성된다. 도 10에 도시한 공정 플로우도에서 설명하면, 스텝 S1∼스텝 S8의 공정을 전술한 제1 실시 형태와 마찬가지의 방법으로 취득 샘플 화상에 대하여 각 분할 영역 Wij마다 실행한 후, 스텝 S8M의 화상 합성 공정으로 이행한다.

도 12는, 스텝 S8M의 상세 내용을 나타내고 있다. 오토 포커스 동작 개시 후, 최초로 취득한 화상을 사용하여 제3 메모리부(15C)를 초기화한다(스텝 a, b). 즉, 스텝 b에서, 최초의 화상을 합성 화상 데이터 저장 영역(15C1)에 카피하고, 높이 정보 저장 영역(15C2)을 1회째의 데이터로 매립하여, 핀트 평가값을 각 분할 영역 Wij의 핀트 평가값 정보 저장 영역(15C3)에 카피하여 초기화한다.

2회째 이후에는, 각 분할 영역 Wij마다, 취득 화상의 핀트 평가값과 합성 화상의 핀트 평가값을 비교한다(스텝 c). 취득 화상의 핀트 평가값이 큰 경우에는, 화상을 카피하고, 이것에 상당하는 높이 정보와 핀트 평가값 정보를 갱신한다(스텝 d). 반대로, 취득 화상의 핀트 평가값이 작은 경우에는, 처리를 행하지 않는다. 이것을 분할수만큼 반복한다(단계 e). 이것으로 1 프레임(33.3 msec)의 처리를 완료한다.

일련의 오토 포커스 제어의 동작 플로우에서, 전술한 처리는, 예를 들면 제1 메모리부(15A)에 짝수 프레임 화상 데이터를 취득하면서, 제2 메모리부(15B)에 이미 취득되어 있는 1 프레임 전의 홀수 프레임 화상 데이터의 각 분할 영역 Wij에 대하여 행하고, 제3 메모리부(15C)가 대응하는 저장 영역에 필요 데이터, 정보를 카피 혹은 갱신한다고 하는 흐름으로 된다.

본 실시 형태에서, 전술한 처리는, 제1 실시 형태에서 설명한 피사체 시료 W의 오토 포커스 제어에 부수하여 행해지도록 하고 있지만, 물론, 단독으로 해당 처리를 행하는 것도 가능하다.

이상의 처리를 오토 포커스에 필요한 매수의 화상에 걸쳐 처리함으로써, 오토 포커스 동작 종료 시에, 분할 영역 Wij마다, 가장 핀트가 맞고 있었던 부분, 그 높이 정보, 핀트 평가값을 얻을 수 있게 된다. 이에 의해, 피사체 시료 W의 포커스 위치 좌표뿐만 아니라, 분할 영역 Wij마다, 피사체 시료 W의 전체 초점 화상, 형상까지를 온라인 또한 리얼타임으로 취득하는 것이 가능해진다.

특히, 합성 화상 데이터 저장 영역(15C1)에 카피된 합성 화상을 모니터(9)(도 1)에 표시시킴으로써, 대물 렌즈(3)의 전체 검색 범위에 걸친 이동의 과정에서, 분할 영역마다 초점이 맞는 모습을 관찰할 수 있게 되기 때문에, 표시된 피사체 시료 W의 높이 분포의 모습을 오토 포커스 동작 중에 용이하게 파악할 수 있게 된다.

또한, 본 발명에 따른 오토 포커스 제어 방법을 이용하여 피사체 시료의 전체 초점 화상을 합성하고 있기 때문에, 단파장, 단일 파장의 광학계에 기인하는 영향을 배제한 뒤의 고정밀도의 오토 포커스 제어가 확보되고 있으며, 이에 의해, 반도체 웨이퍼 등과 같은 계층적으로 전개된 구조체 표면의 전체 초점 화상을 분해능 높게 취득할 수 있다.

(제4 실시 형태)

다음으로, 본 발명의 제4 실시 형태로서, 오토 포커스 동작으로 취득한 화상 데이터로부터 피사체 시료의 입체 화상을 합성하는 방법에 대하여 설명한다.

전술한 바와 같이, 화상 오토 포커스 동작은, 복수의 포커스 위치에서 샘플 화상을 취득하여 핀트 평가를 행하고 있다. 따라서, 본 실시 형태에서는, 취득한 샘플 화상 중에서 핀트가 맞고 있는 부분을 뽑아내고, 이것을 높이 방향의 정보와 조합함으로써, 입체 화상을 합성할 수 있다.

예를 들면 도 13에 도시한 바와 같이 오토 포커스 동작 시에 취득한 각 샘플 화상 Ra, Rb, Rc 및 Rd 각각에 대하여 핀트 위치 검출을 행한 후에, 핀트가 맞고 있는 곳을 추출하고 이것을 높이 방향(포커스축 방향)으로 조합함으로써, 구조물 R의 입체 화상을 합성할 수 있다.

본 실시 형태의 입체 화상의 합성 방법의 일례를 도 14의 플로우차트에 도시한다. 도면에서, 전술한 제1 실시 형태(도 3)와 대응하는 스텝에는 동일한 부호를 붙여서, 그 상세한 설명은 생략한다.

본 실시 형태에서는, 초기 설정(스텝 S1) 후, 입체 화면 버퍼 클리어 공정(스텝 S1A)를 갖고 있다. 이 공정에서는, 과거에 취득한 입체 화면을 기억하는 메모리 영역의 초기화가 행해진다. 그 후, 전술한 제1 실시 형태와 마찬가지로, 복수의 포커스 위치에서 피사체 시료의 샘플 화상을 취득하고, 그 각각에 대하여 평활화 처리, 엣지 강조 처리에 의한 핀트 평가값의 산출, 및 산출한 핀트 평가값의 화면 평균 휘도에 의한 규격화 처리를 행한다(스텝 S2∼스텝 S8).

핀트 평가값의 산출 후에, 화면 내 각 점에서 지금까지의 데이터와 취득한 데이터에서 어느 핀트가 맞고 있는지를 비교하여, 취득한 데이터쪽이 핀트가 맞고 있는 경우에는 데이터를 진행하는 처리가 행해진다(스텝 S8A). 이 처리는, 각각의 샘플 화상 각각에 대하여 실행된다.

이상과 같이 하여, 본 발명의 「입체 화상 합성 수단」이 구성된다. 또한, 본 예에서는, 전술한 제2 실시 형태와 같이 화면을 복수의 영역 Wij로 분할하고, 분할한 각 영역 각각에 대하여 전술한 처리를 행하도록 하고 있지만, 분할수는 특히 한정되지 않고, 일화소 단위로 처리를 행하도록 하여도 된다.

따라서, 본 실시 형태에 따르면, 오토 포커스 제어의 종료 후에, 피사체 시료 W의 최적 포커스 위치 정보뿐만 아니라, 핀트가 맞고 있는 복수의 샘플 화상을 높이 방향으로 조합함으로써, 피사체 시료 표면의 입체 화상을 용이하게 취득할 수 있도록 된다.

또한, 본 발명에 따른 오토 포커스 제어 방법을 이용하여 피사체 시료의 입체 화상을 합성하고 있기 때문에, 단파장, 단일 파장의 광학계에 기인하는 영향을 배제한 뒤의 고정밀도의 오토 포커스 제어가 확보되고 있으며, 이에 의해, 반도체 웨이퍼 등과 같은 계층적으로 전개된 구조체 표면의 입체 화상을 분해능 높게 취득할 수 있다.

(제5 실시 형태)

계속해서, 본 발명의 제5 실시 형태에 대하여 설명한다.

전술한 각 실시 형태에서는, 본 발명에 따른 오토 포커스 제어 방법을 컴퓨터를 중핵으로 하는 화상 처리 장치(1)로 실현하는 예를 설명해왔다. 이 구성은 조금 복잡하고, 단순히 포커스를 맞추고자 하는 니즈에 매칭되지 않는 경우가 있다. 즉, 포커스 후의 처리가 필요없는 경우 등을 위해, 간단한 하드웨어에 의해 본 발명의 오토 포커스 제어 방법을 실행하는 알고리즘을 실현할 수 있으면, 적용 범위의 확대 공업의 자동화에 크게 공헌할 수 있다고 생각된다.

따라서, 본 실시 형태에서는, 컴퓨터를 사용하지 않고서 전술하여 온 본 발명의 오토 포커스 제어 방법을 실현할 수 있는 오토 포커스 제어 장치의 구성에 대하여 설명한다. 이 오토 포커스 제어 장치는, 후술하는 바와 같이, 비디오 신호 디코더나 FPGA(Field Programmable Gate Array)로 대표되는 연산 소자, 설정 보존용 메모리 등으로 구성할 수 있으며, 또한 필요에 따라, CPU(Central Processing Unit)나 PMC(Pulse Motor Controller), 외부 메모리 등의 집적 회로가 이용된다. 이들 소자군은, 공통의 배선 기판 상에 실장됨으로써, 단일의 기판 유닛으로서, 또는 이것을 수납하는 패키지 부품으로서 사용된다.

(제1 구성예)

도 15에 본 발명의 오토 포커스 제어 장치의 제1 구성예에 따른 기능 블록도를 나타낸다. 도시하는 오토 포커스 제어 장치(31)는, 비디오 신호 디코더(41), FPGA(42), 필드 메모리(43), CPU(44), ROM/RAM(45), PMC(46), I/F 회로(47)로 구성되어 있다.

포커스 동작에 사용하는 비디오 신호는, NTSC 방식에 인코드되어 있는 아날 로그 화상 신호이며, 이것이 비디오 신호 디코더(41)에 의해 수평/수직 동기 신호, EVEN(짝수)/ODD(홀수) 필드 정보, 휘도 정보의 디지털 화상 신호로 변환된다.

FPGA(42)는, 전술한 제1 실시 형태에서 설명한 본 발명에 따른 오토 포커스 제어 플로우(도 3)에서 소정의 연산 처리를 행하는 연산 소자로 구성되며, 본 발명의 「화상 평활화 수단」,「엣지 강조 처리 수단」 및 「평가값 산출 수단」에 대응한다.

이 FPGA(42)는, 비디오 신호 디코더(41)에 의해 디지털 신호화된 동기 신호와 필드 정보로부터, 화면 내의 유효한 부분의 정보를 추출하고, 그 휘도 정보를 필드 메모리(43)에 저장한다. 그리고, 동시에 순차적으로 필드 메모리(43)로부터 데이터를 판독하여, 필터링(화상 평활화 처리), 평균 휘도 계산, 핀트 평가값 계산이라고 하는 연산 처리를 행한다. 또한, FPGA(42)의 집적도에 의해, 필드 메모리(43), CPU(44), PMC(46)의 기능을 FPGA(42) 내에 넣는 것도 가능하다.

필드 메모리(43)는, 인터레이스로 출력되어 짝수 필드 및 홀수 필드에서 1 프레임이 구성되는 비디오 신호를 취급하기 때문에, 상기의 필드 정보를 일시적으로 보존하는 목적으로 사용된다.

CPU(44)는, PCM(46) 및 I/F 회로(47)를 통하여, 피사체 시료를 지지하는 스테이지를 이동시켜서 렌즈-워크간 거리를 변화시킴과 함께, 각 포커스 위치에서 취득되어 FPGA(42)에서 연산된 각 샘플 화상의 핀트 평가값으로부터 최적 포커스 위치(핀트 위치)를 계산하는 등, 시스템 전체의 동작을 관리한다. 이 예에서, CPU(44)는, 본 발명의 「핀트 위치 산출 수단」에 대응하고 있다.

ROM/RAM(45)은, CPU(44)의 동작 소프트웨어(프로그램)와 핀트 위치의 계산에 필요한 파라미터의 기억용으로서 사용된다. 또한, ROM/RAM(45)은, CPU에 내장되어 있어도 된다.

PMC(46)는, 스테이지를 이동시키는 펄스 모터(도시 생략)의 구동용 제어 소자로서, 인터페이스 회로(I/F 회로)(47)를 통하여 스테이지의 컨트롤을 행한다. 또한, 스테이지 위치를 검출하는 센서의 출력이, I/F 회로(47)를 통하여 PCM(46)에 공급되도록 되어 있다.

이상과 같이 구성되는 오토 포커스 제어 장치(31)에서는, 도시하지 않은 CCD 카메라로부터 샘플 화상의 비디오 신호가 공급된다. 이 비디오 신호는 비디오 신호 디코더(41)를 통하여 FPGA(42)에 입력되고, 여기서 입력 화상의 평활화 처리, 평균 휘도 계산, 핀트 평가값의 연산이 이루어진다. FPGA(42)는, 필드 종료의 동기 신호의 타이밍에서, CPU(44)에 핀트 평가 데이터를 전송한다.

CPU(44)는, 필드 종료의 타이밍에서 포커스 스테이지의 좌표를 취득하고, 그것을 렌즈-워크간 거리로서 사용한다. 이상의 처리를 본 발명의 오토 포커스 동작에 필요한 횟수 반복한 후, CPU(44)는 핀트 위치의 계산을 행한다. 그리고, 최적 포커스 위치로 스테이지를 이동시켜, 오토 포커스 동작을 종료한다. 또한, 필요에 따라, 화면 분할 기능, 피사체 시료의 전체 초점 화상 합성 처리, 및/또는, 입체 화상 합성 처리가 행해진다.

이상과 같이 구성되는 본 발명의 오토 포커스 제어 장치를 기존의 CCD 카메라, 모니터, 펄스 모터 등의 포커스축 이동 수단 등에 유기적으로 접속함으로써, 전술한 화상 처리 장치(1)와 동등한 기능을 실현하는 것이 가능해지므로, 간이하고 또한 간소한 구성으로 본 발명의 오토 포커스 제어 방법을 실시할 수 있어, 코스트 및 설치 스페이스 등의 점에서도 매우 유리해진다.

(제2 구성예)

도 16은, 본 실시 형태에서의 오토 포커스 제어 장치의 제2 구성예에 따른 기능 블록도이다. 또한, 제1 구성예(도 15)와 대응하는 부분에 대해서는 동일한 부호를 붙여서, 그 상세한 설명은 생략한다. 본 구성예에서의 오토 포커스 제어 장치(32)는, 비디오 신호 디코더(41), FPGA(42), CPU(44), ROM/RAM(45), PMC(46) 및 I/F 회로(47)로 구성되어 있다.

전술한 제1 구성예에서의 오토 포커스 제어 장치(31)에서는, 인터레이스의 화상을 TV(텔레비전)와 마찬가지의 이미지로서 처리하기 위해서, 필드 메모리(43)를 사용하여, 프레임 정보로부터 제어를 행하도록 하고 있었다. 그러나, 오토 포커스 동작만을 생각하면, 프레임 정보를 사용할 필요는 없어, 필드 단위에서의 처리로 충분한 경우도 있고, 또한, 이것이 장점으로 되는 경우도 있다.

따라서, 본 구성예에서의 오토 포커스 제어 장치(32)는, 제1 구성예로부터 필드 메모리(43)를 제거한 구성으로 되어 있다. 이 구성에 의해, 필드 메모리에의 정보의 전송 타이밍 처리가 불필요해지기 때문에, 전술한 제1 구성예에 비하여 물리적으로도 논리적으로도 간단한 구성으로 할 수 있다. 또한, 필드 단위로 핀트 평가 처리를 행할 수 있기 때문에, 프레임 단위로 처리하는 제1 구성예에 비하여 핀트 평가값의 샘플링 간격이 짧아지는 등의 장점이 있다.

(제3 구성예)

도 17은, 본 실시 형태에서의 오토 포커스 제어 장치의 제3 구성예에 따른 기능 블록도이다. 또한, 제1 구성예(도 15)와 대응하는 부분에 대해서는 동일한 부호를 붙여서, 그 상세한 설명은 생략한다. 본 구성예에서의 오토 포커스 제어 장치(33)는, 비디오 신호 디코더(41), FPGA(42), CPU(44), ROM/RAM(45), PMC(46) 및 I/F 회로(47)로 구성되어 있다.

본 구성예에서의 오토 포커스 제어 장치(33)는, FPGA(42) 내에 PMC(46)의 논리 블록을 내장시켜서, 전술한 제2 구성예에 비하여, PMC(46)의 독립된 논리 회로를 불필요로 한 구성을 구비하고 있다. 이 구성에 의해, PMC(46)를 위한 독립된 IC 칩이 불필요해져, 기판 사이즈, 실장 코스트의 저감을 도모할 수 있게 된다.

(제4 구성예)

도 18은 본 실시 형태에서의 오토 포커스 제어 장치의 제4 구성예에 따른 기능 블록도이다. 또한, 제1 구성예(도 15)와 대응하는 부분에 대해서는 동일한 부호를 붙여서, 그 상세한 설명은 생략한다. 본 구성예에서의 오토 포커스 제어 장치(34)는, 비디오 신호 디코더(41), FPGA(42), CPU(44), ROM/RAM(45), AD(Analog to Digital)/DA(Digital to Analog) 회로(48), 및 I/F 회로(47)로 구성되어 있다.

본 구성예에서의 오토 포커스 제어 장치(34)는, 포커스 스테이지의 구동원을 펄스 모터로부터 아날로그 신호 컨트롤의 피에조 스테이지로 구성한 예를 나타내고 있고, 전술한 제2 구성예에서의 PMC(46) 대신에, AD/DA 회로(48)가 이용되고 있다. 또한, AD/DA 회로(48)는, 예를 들면 CPU(44) 내에 내장 가능하고, 이 경우에는 해 당 AD/DA 회로(48)를 외장 회로로 할 필요는 없다.

또한, AD/DA 회로(48)에서, DA 회로 부분은 CPU(44)로부터의 지시 전압을 아날로그 신호로 변환하기 위한 회로로서, AD 회로 부분은, 피에조 스테이지의 이동 위치를 검출하는 센서(도시 생략)부터의 신호를 디지털 신호로 변환하고 CPU(44)로 피드백하기 위한 회로이다. 또한, 해당 피드백 제어를 행하지 않는 경우, AD 회로 부분은 생략 가능하다.

(제5 구성예)

도 19는, 본 실시 형태의 제5 구성예에서, 전술한 제3 구성예(도 17)에서의 오토 포커스 제어 장치(33)의 구체적 구성예를 나타내고 있다. 또한, 도면에서 대응하는 부분에 대해서는 동일한 부호를 붙여서, 그 상세한 설명은 생략한다.

본 구성예에서의 오토 포커스 제어 장치(35)는, 공통의 배선 기판(50) 상에, 비디오 신호 디코더(41), FPGA(42), CPU(44), 또한 플래시 메모리(45A), SRAM(Static Randon Access Memory)(45B), RS 드라이버(47A), 전원 감시 회로(51), FPGA 초기화 ROM(52) 및 복수의 커넥터(53A, 53B, 53C, 53D)가 각각 실장되어 구성되어 있다.

플래시 메모리(45A) 및 SRAM(45B)은, 전술한 ROM/RAM(45)에 대응하여, 한 쪽의 플래시 메모리(45A)에는, CPU(44)의 동작 프로그램이나 오토 포커스 동작의 초기 설정 정보(포커스 이동 속도, 평활화 처리 조건 등)이 저장되며, 다른 쪽의 SRAM(45B)에는, CPU(44)에서의 핀트 위치의 연산에 필요한 각종 파라미터가 일시적인 보존 등에 이용된다.

RS 드라이버(47A)는, 커넥터(53A∼53D)를 개재하여 접속되어 있는 외부 기기와의 통신에 필요한 인터페이스 회로이다. 여기서, 커넥터(53A)에는 CCD 카메라가 접속되고, 커넥터(53B)에는 상위 컨트롤러 또는 CPU가 접속되어 있다. 또한, 커넥터(53C)에는 전원 회로가 접속되고, 커넥터(53D)에는 포커스 스테이지가 접속되어 있다. 또한, 포커스 스테이지는 펄스 모터를 구동원으로서 구비하고, 그 컨트롤러인 PMC는, FPGA(42) 내에 내장되어 있다.

이상과 같이, 본 구성예에서의 오토 포커스 제어 장치(35)에 따르면, 한매의 배선 기판(50) 상에, 본 발명의 오토 포커스 제어 방법을 실현하는 알고리즘을 실행할 수 있는 각종 소자를 실장한, 외형 크기가 예를 들면 100㎜ 사방의 기판 실장체로서 구성할 수 있다. 이에 의해, 장치 코스트의 저감 및 장치 구성의 간소화를 도모할 수 있다. 또한, 기기의 설치 자유도가 높아지기 때문에, 지금까지 사용할 수 없던 산업 분야에서, 오토 포커스 동작이 요구되는 현장 니즈에 용이하게 대응할 수 있게 된다.

이상, 본 발명의 각 실시 형태에 대하여 설명했지만, 물론, 본 발명은 이들에 한정되지 않고, 본 발명의 기술적 사상에 기초하여 여러가지의 변형이 가능하다.

예를 들면 이상의 제1 실시 형태에서는, 렌즈-시료간 거리를 다르게 한 것에 대물 렌즈(3)측을 포커스축 방향으로 이동시키는 구성에 대하여 설명했지만, 이 대신에, 시료를 지지하는 스테이지(2)를 이동시키도록 하여도 된다.

또한, 이상의 제1 실시 형태에서는, 렌즈-시료간 거리를 변화시키는 구동계 로서 피에조 소자로 되는 렌즈 구동부(4) 및 그 드라이버(8)로 구성했지만, 이것에 한하지 않고, 렌즈 시료간 거리를 고정밀도 또한 원활하게 변화시킬 수 있는 것이면, 다른 구동계를 적용하여도 된다.

예를 들면, 도 20A는 구동원으로서 펄스 모터(20)를 이용한 예를 나타낸다. 이 경우, 드라이버(21)는 펄스 모터 컨트롤러(22)로부터 공급되는 제어 신호에 기초하여 펄스 모터(20)에 대한 구동 신호를 생성한다.

또한, 렌즈 구동부(4) 및 상기 펄스 모터(20)는, 소위 피드 포워드 제어로 구동하도록 했지만, 렌즈 위치 혹은 스테이지 위치를 검출하는 센서를 설치하여, 구동원을 피드백 제어하는 구성도 적용 가능하다.

도 20B는, 피드백 제어에 의해서 구동원을 제어하는 구동계의 일 구성예를 나타내고 있다. 드라이버(24)는 출력 지시 회로(25)로부터 공급되는 제어 신호에 기초하여 구동계(23)에 대한 구동 신호를 생성한다. 이 경우, 구동계(23)로서는 실린더 장치나 모터 등이 적용 가능하다. 위치 센서(26)는 스트라이크 레인 게이지나 전위차계 등으로 구성할 수 있으며, 그 출력을 취득 회로(27)에 공급한다. 취득 회로(27)는 위치 센서(26)의 출력에 기초하여 출력 지시 회로(25)에 위치 보상 신호를 공급하여, 구동계(23)의 위치 보정을 행한다.

또한, 이상의 각 실시 형태에서는, CCD 카메라로부터 공급되는 비디오 신호를 NTSC 방식으로 설명했지만, 이것에 한하지 않고, 예를 들면 PAL(Phase Alternation by Line) 방식으로 처리하는 것도 가능하다. 또한, 비디오 신호 디코더부를 교환함으로써, IEEE1394, 카메라 링크 등 다른 포맷에의 대응이 가능해진 다. 이 경우에는, 비디오 신호 디코더 회로의 기능을 FPGA(42) 내에 넣는 것도 가능하다.

또한, 본 발명의 오토 포커스 제어를 실행하여 얻어지는 각 샘플 화상의 핀트 평가값이나 포커스 위치 등도 샘플 화상과 함께 모니터(9)(도 1)에 표시시키는 것도 가능하다. 이 경우, 이들 정보를 NTSC 등으로 변환하여 표시하기 위한 인코더 회로를 별도 설치하면 된다. 이 인코더 회로는, 예를 들면 전술한 제5 실시 형태에서 설명한 구성의 오토 포커스 제어 장치의 기판 실장 부품의 하나로 할 수도 있다.

Claims (22)

1. 렌즈-피사체간 거리가 상이한 복수의 포커스 위치에서 상기 피사체의 화상 데이터를 각각 취득하는 화상 취득 공정과,

   상기 취득한 각 화상 데이터에 기초하여 상기 복수의 포커스 위치마다 각각 핀트 평가값을 산출하는 평가값 산출 공정과,

   상기 핀트 평가값이 최대로 되는 포커스 위치를 핀트 위치로서 산출하는 핀트 위치 산출 공정과,

   상기 산출한 핀트 위치로 상기 렌즈를 상기 피사체에 대하여 상대 이동시키는 이동 공정을 갖는 오토 포커스 제어 방법으로서,

   상기 취득한 화상 데이터를 평활화 처리하는 화상 평활화 공정과, 상기 취득한 화상 데이터의 화면 평균 휘도를 산출하는 평균 휘도 산출 공정을 갖고,

   상기 핀트 평가값은, 상기 평활화 처리한 화상 데이터에 기초하여 산출한 것을 상기 화면 평균 휘도로 제산한 값으로 하는

   것을 특징으로 하는 오토 포커스 제어 방법.
2. 제1항에 있어서,

   상기 평가값 산출 공정에서는, 상기 취득한 화상 데이터에서의 인접 화소간의 휘도 데이터차에 기초하여 상기 핀트 평가값을 산출하는 것을 특징으로 하는 오토 포커스 제어 방법.
3. 제1항에 있어서,

   상기 핀트 위치 산출 공정에서는, 상기 산출한 핀트 평가값의 최대값 및 그 근방의 복수의 핀트 평가값에 기초하여 상기 핀트 위치를 산출하는 것을 특징으로 하는 오토 포커스 제어 방법.
4. 제1항에 있어서,

   상기 화상 취득 공정에서는, 상기 렌즈-피사체간 거리를 연속적으로 변화시키면서, 상기 복수의 포커스 위치에서 상기 화상 데이터를 각각 취득하는 것을 특징으로 하는 오토 포커스 제어 방법.
5. 제1항에 있어서,

   상기 화상 취득 공정과 상기 평가값 산출 공정을 병렬로 행하는 것을 특징으로 하는 오토 포커스 제어 방법.
6. 제1항에 있어서,

   상기 피사체의 조명 광원에 자외광을 이용하는 것을 특징으로 하는 오토 포커스 제어 방법.
7. 제1항에 있어서,

   상기 취득한 화상 데이터를 복수의 영역으로 분할하고, 상기 분할한 각 영역마다 상기 핀트 위치를 각각 산출하는 것을 특징으로 하는 오토 포커스 제어 방법.
8. 제7항에 있어서,

   상기 분할한 각 영역의 핀트 위치에서의 화상을 해당 영역 사이에서 합성함으로써, 피사체의 전체 초점 화상을 취득하는 것을 특징으로 하는 오토 포커스 제어 방법.
9. 제7항에 있어서,

   상기 분할한 각 영역의 핀트 위치에서의 화상을 복수의 포커스 위치 사이에서 합성함으로써, 피사체의 입체 화상을 취득하는 것을 특징으로 하는 오토 포커스 제어 방법.
10. 렌즈-피사체간 거리가 상이한 복수의 포커스 위치에서 취득된 각 화상 데이터에 기초하여 상기 복수의 포커스 위치마다 각각 핀트 평가값을 산출하는 평가값 산출 수단과,

    상기 산출한 핀트 평가값의 최대값에 기초하여 핀트 위치를 산출하는 핀트 위치 산출 수단을 구비한 오토 포커스 제어 장치로서,

    상기 취득한 화상 데이터를 평활화 처리하는 화상 평활화 수단과, 상기 취득한 화상 데이터의 화면 평균 휘도를 산출하는 평균 휘도 산출 수단을 갖고,

    상기 핀트 평가값은, 상기 평활화 처리한 화상 데이터에 기초하여 산출한 것을 상기 화면 평균 휘도로 제산한 값으로 하는

    것을 특징으로 하는 오토 포커스 제어 장치.
11. 제10항에 있어서,

    상기 평가값 산출 수단은, 상기 취득한 화상 데이터에서의 인접 화소간의 휘도 데이터차를 산출하는 엣지 강조 처리 수단인 것을 특징으로 하는 오토 포커스 제어 장치.
12. 제10항에 있어서,

    상기 핀트 위치 산출 수단은, 상기 산출한 핀트 평가값의 최대값 및 그 근방의 복수의 핀트 평가값에 기초하여 상기 핀트 위치를 산출하는 것을 특징으로 하는 오토 포커스 제어 장치.
13. 제10항에 있어서,

    상기 취득한 각 화상 데이터를 이용하여, 상기 피사체의 전체 초점 화상을 합성하는 전체 초점 화상 합성 수단을 구비한 것을 특징으로 하는 오토 포커스 제어 장치.
14. 제10항에 있어서,

    상기 취득한 각 화상 데이터를 이용하여, 상기 피사체의 입체 화상을 합성하는 입체 화상 합성 수단을 갖는 것을 특징으로 하는 오토 포커스 제어 장치.
15. 제10항에 있어서,

    상기 오토 포커스 제어 장치는, 상기 평가값 산출 수단과, 상기 핀트 위치 산출 수단과, 상기 화상 평활화 수단과, 상기 화상 데이터의 화면 평균 휘도를 산출하는 평균 휘도 산출 수단이, 단수 또는 복수의 소자로서 동일 기판 상에 실장된, 기판 실장체로 이루어지는 것을 특징으로 하는 오토 포커스 제어 장치.
16. 제15항에 있어서,

    상기 기판 상에는, 렌즈-피사체간 거리 조정용 구동 수단을 제어하는 구동 제어용 소자가 실장되어 있는 것을 특징으로 하는 오토 포커스 제어 장치.
17. 제15항에 있어서,

    상기 평가값 산출 수단과, 상기 화상 평활화 수단과, 상기 평균 휘도 산출 수단이, 단일의 FPGA(필드 프로그래머블 게이트 어레이)로 구성되어 있는 것을 특징으로 하는 오토 포커스 제어 장치.
18. 렌즈-피사체간 거리가 상이한 복수의 포커스 위치에서 상기 피사체의 화상 데이터를 각각 취득하는 화상 취득 수단과, 상기 취득한 각 화상 데이터에 기초하 여 상기 복수의 포커스 위치마다 각각 핀트 평가값을 산출하는 평가값 산출 수단과, 상기 산출한 핀트 평가값의 최대값에 기초하여 핀트 위치를 산출하는 핀트 위치 산출 수단과, 상기 산출한 핀트 위치에 상기 렌즈를 상기 피사체에 대하여 상대 이동시키는 구동 수단을 구비한 화상 처리 장치로서,

    상기 취득한 화상 데이터를 평활화 처리하는 화상 평활화 수단과, 상기 취득한 화상 데이터의 화면 평균 휘도를 산출하는 평균 휘도 산출 수단을 갖고,

    상기 핀트 평가값은, 상기 평활화 처리한 화상 데이터에 기초하여 산출한 것을 상기 화면 평균 휘도로 제산한 값으로 하는

    것을 특징으로 하는 화상 처리 장치.
19. 제18항에 있어서,

    상기 평가값 산출 수단은, 상기 취득한 화상 데이터에서의 인접 화소간의 휘도 데이터차를 산출하는 엣지 강조 처리 수단으로 이루어지는 것을 특징으로 하는 화상 처리 장치.
20. 제18항에 있어서,

    상기 핀트 위치 산출 수단은, 상기 산출한 핀트 평가값의 최대값 및 그 근방의 복수의 핀트 평가값에 기초하여 상기 핀트 위치를 산출하는 것을 특징으로 하는 화상 처리 장치.
21. 제18항에 있어서,

    상기 취득한 각 화상 데이터를 이용하여, 상기 피사체의 전체 초점 화상을 합성하는 전체 초점 화상 합성 수단을 구비한 것을 특징으로 하는 화상 처리 장치.
22. 제18항에 있어서,

    상기 취득한 각 화상 데이터를 이용하여, 상기 피사체의 입체 화상을 합성하는 입체 화상 합성 수단을 구비한 것을 특징으로 하는 화상 처리 장치.

Images