KR20070026792A - 화상 처리 장치 및 방법 - Google Patents

화상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20070026792A
KR20070026792A KR1020077000543A KR20077000543A KR20070026792A KR 20070026792 A KR20070026792 A KR 20070026792A KR 1020077000543 A KR1020077000543 A KR 1020077000543A KR 20077000543 A KR20077000543 A KR 20077000543A KR 20070026792 A KR20070026792 A KR 20070026792A
Authority
KR
South Korea
Prior art keywords
image
photographing
model
partial
joining
Prior art date
Application number
KR1020077000543A
Other languages
English (en)
Other versions
KR100888235B1 (ko
Inventor
가즈히토 호리우치
Original Assignee
올림푸스 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 올림푸스 가부시키가이샤 filed Critical 올림푸스 가부시키가이샤
Publication of KR20070026792A publication Critical patent/KR20070026792A/ko
Application granted granted Critical
Publication of KR100888235B1 publication Critical patent/KR100888235B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 화상 처리 장치는, 피대상물의 부분 화상을 소정의 중복 영역을 가지도록 하여, 소정 크기의 피대상물의 전체 또는 일부의 대상 화상을 생성하고, 피대상물을 제1 배율로 촬영하여 제1 화면 정보를 얻는 제1 촬영 수단과, 피대상물을 제1 배율보다 높은 배율인 제2 배율로 촬영하여 부분 화상을 얻는 제2 촬영 수단과, 대상 화상의 크기와 부분 화상에서의 중복 영역의 비율인 중복률로부터, 부분 화상을 접합하여 생성되는 대상 화상의 모델을 생성하는 화상 모델 생성 수단과, 부분 화상으로부터 생성하는 대상 화상의, 제1 화상 정보에서의 배치 정보를, 모델에 의하여 검색하는 촬영 위치 산출 수단과, 배치 위치에 의하여, 상기 부분 화상을 접합하여 상기 대상 화상을 생성하는 고정밀도 화상 생성 수단을 가진다.
화상 처리, 부분 화상, 화상 접합, 촬영 위치, 고정밀도, 중복 영역, 화상 보정, 모델

Description

화상 처리 장치 및 방법{IMAGE PROCESSING DEVICE AND METHOD}
본 발명은, 피사체를 복수개의 부분 화상으로 분할하여 촬영하고, 촬영된 부분 화상을 접합하여 피사체의 전체 화상을 구성하는 화상 처리 장치 및 방법에 관한 것이다.
본 명세서는, 2004년 7월 9일에 출원된 일본국 특원 2004-203108호에 기초하여 우선권을 주장하며, 그 내용을 여기에 원용한다.
FPD(평판 패널 디스플레이) 기판이나 PDP(플라즈마 디스플레이) 기판, 반도체 웨이퍼 등을 검사하는 공업용 현미경이나 검사 장치에 있어서, 기판의 기능상 문제가 되는 결함을 검사하는 방법으로서, 일반적으로 화상 정보를 이용한 방법을 사용하고 있다.
상기 검사에 있어서, 패턴 형성 등에 영향을 끼치는 미세한 결함을 높은 정밀도로 검사할 때는, 검사 대상의 패턴을 정상적인 기준 패턴과 비교하여 결함을 검출할 필요가 있으므로, 저배율로 피사체 전체를 커버하는 화상뿐만 아니라, 보다 고배율로 피사체 전체를 커버할 수 있는 「고정밀(고분해능)」화상을 필요로 하는 경우가 많아지고 있다.
그러나, 고정밀 화상에 있어서는, 피사체의 크기에 따라서는, 한번에 상기 피사체 전체, 또는 필요한 범위를 취득할 수 없다.
그러므로, 상기 고정밀 화상을 얻는 방법의 하나로서, 피사체 전체를 복수개의 영역으로 분할하여, 이들 영역을 각각 촬상하고, 촬상에 의해 얻어진 부분 화상을 서로 접합하여, 피사체 전체의 고정밀 화상을 얻는 방법이 많이 이용되고 있다.
상기 고정밀 화상을 얻는 방법에 있어서, 배율이 낮은 전체 화상을 기초로 하여, 배율이 높은 부분 화상을 촬상하고, 촬상된 부분 화상을 접합하는 처리를 행하는 방법이 많이 이용되고 있으며, 공업용으로 한정되지 않고, 다양하게 응용되고 있다.
선행 기술로서, 전체 화상과, 확대한 전체 화상 중의 부분 화상을 촬상하고, 부분 화상이 전체 화상의 어디와 대응하는지를 추정하여 접합함으로써 고정밀 화상을 얻는 방법이 있다(예를 들면, 특허 문헌 1 참조).
또한, 저배율의 현미경 화상으로부터 일부 영역을 지정하고, 그 지정한 영역을 복수개의 고배율의 현미경 화상으로 촬상하여, 접합 처리를 행함으로써 고정밀 화상을 얻는 방법도 있다(예를 들면, 특허 문헌 2 참조).
[특허 문헌 1]: 일본국 특개 2000-59606호 공보
[특허 문헌 2]: 일본국 특개평 11-271645호 공보
그러나, 특허 문헌 1에 나타낸 고정밀 화상 작성 장치에 있어서는, 풍경을 촬상한 화상과 달리, 공업용의 검사 장치로 FPD 기판이나 PDP 기판과 같이, 주기적인 패턴의 화상을 대상으로 하는 경우에 있어서, 전체 화상에 대해서 부분 화상이 어디와 대응하는지를 찾아내는 것이, 즉 패턴 형상이 주기를 가지고 동일하므로, 부분 화상끼리 접합시킬 때, 위치를 맞출 때의 위치를 특정하기 곤란하여, 중첩 부분에 대하여 대응할 수 없는 경우가 생긴다.
또한, 특허 문헌 2에 나타낸 현미경 화상 표시 장치는, 공업용 검사 장치로 패턴 밀도가 낮은 화상을 대상으로 하는 경우에, 지정 영역의 장소에 따라서는, 부분 화상의 접합 처리 시에, 패턴이 존재하지 않는 곳을 중복하여 접합시키는 경우가 발생하여, 접합 시에 중복 영역의 패턴이 없어서, 접합 처리를 행할 수 없거나, 또는 접합 영역이 극단적으로 어긋난 접합 화상이 생성되는 등의 문제가 있다.
본 발명은, 이와 같은 사정을 감안하여 이루어진 것이며, FPD 기판이나 PDP 기판 등과 같이, 패턴(회로 패턴 및 배선 패턴)이 주기적이면서/ 또는 드문드문한 부분을 포함하는 화상에 대해서도, 부분 화상을 접합시켜서, 고정밀(고해상도) 화상을 생성하는 화상 처리 장치 및 방법을 제공하는 것이다.
본 발명의 화상 처리 장치는, 소정의 해상도로 촬영한 피대상물의 부분 화상을 소정의 중복 영역을 가지도록 Z하여 접합시키고, 소정의 크기의 상기 대상물의 전체 또는 일부의 대상 화상을 생성하는 화상 처리 장치이며, 피대상물을 제1 배율로 촬영하여 제1 화상 정보를 얻는 제1 촬영 수단과, 상기 피대상물을 상기 제1 배율 보다 높은 배율인 제2 배율로 촬영하여, 상기 부분 화상으로서 제2 화상 정보를 얻는 제2 촬영 수단과, 상기 대상 화상의 크기와, 부분 화상에서의 중복 영역의 정도를 나타낸 화상 영역 정보로부터, 상기 부분 화상을 접합시켜서 생성되는 대상 화상의 모델을 생성하는 화상 모델 생성 수단과, 상기 부분 화상을 접합시켜서 생성되는 대상 화상의, 제1 화상 정보에서의 배치 위치를, 상기 모델을 사용하여 탐색하는 촬영 위치 산출 수단(예를 들면, 실시예에서의 패턴 밀도 평가치 산출부(17) 및 촬영 위치 산출부(18))과, 상기 배치 위치에 기초하여, 상기 부분 화상을 접합시켜서 상기 대상 화상을 생성하는 고정밀 화상 생성 수단을 포함한다.
본 발명의 화상 처리 방법은, 소정의 해상도로 촬영한 피대상물의 부분 화상을 소정의 중복 영역을 가지도록 하여 접합시키고, 소정의 크기의 상기 대상물의 전체 또는 일부의 대상 화상을 생성하는 화상 처리 방법이며, 피대상물을 제1 배율로 촬영하여 제1 화상 정보를 얻는 제1 촬영 과정과, 상기 피대상물을 상기 제1 배율 보다 높은 배율인 제2 배율로 촬영하여, 상기 부분 화상으로서 제2 화상 정보를 얻는 제2 촬영 과정과, 상기 대상 화상의 크기와, 부분 화상에서의 중복 영역의 정도를 나타낸 화상 영역 정보로부터, 상기 부분 화상을 접합시켜서 생성되는 대상 화상의 모델을 생성하는 화상 모델 생성 과정과, 상기 부분 화상을 접합시켜서 생성되는 대상 화상의, 제1 화상 정보에서의 배치 위치를, 상기 모델을 사용하여 탐색하는 촬영 위치 산출 과정과, 상기 배치 위치에 기초하여, 상기 부분 화상을 접합시켜서 상기 대상 화상을 생성하는 고정밀 화상 생성 과정을 포함한다.
전술한 구성에 의해, 본 발명의 화상 처리 장치는, 부분 화상을 접합시킬 때, 저해상도(저배율)의 제1 화상 정보에 의해, 부분 화상으로 접합시켜서 합성하는 대상 화상의 모델을 사전에 형성하여, 상기 모델을 사용하여 광범위한 제1 화상 정보의 소정의 영역 내에서, 중복 영역을 포함하여 고해상도의 대상 화상을 생성하는 부분 화상의 촬영 위치를 조정하므로, 사전에 고해상도로 촬영한 부분 화상을 접합시키는 종래의 방법에 비해, 보다 광범위한 시야 영역에 있어서, 적절한 부분 화상의 촬영 위치를 연산에 의해 구할 수 있고, 원하는 고해상도(고배율)의 고정밀 화상을 용이하게 생성할 수 있게 된다.
본 발명의 화상 처리 장치는, 상기 촬영 위치 산출 수단이, 상기 제1 화상 정보에서의, 상기 모델의 접합에 있어서의 중복 영역의 최적인 배치 위치를 검출함으로써, 대상 화상의 배치 위치를 탐색하는 것을 특징으로 한다.
전술한 구성에 의해, 본 발명의 화상 처리 장치는, 접합 시에, 중첩되어 합성되는 중복 부분을 적극적으로 부분 화상의 촬영 위치의 탐색에 사용하므로(즉, 접합 시에, 중복 영역의 접합이 용이해지는 화상 패턴의 부분을 추출할 수 있으므로), 대상 화상을 생성할 때에, 부분 화상을 접합시키는 위치, 즉 중복 부분의 접합 정밀도를 향상시키고, 종래에 비해 높은 정밀도로 원하는 고해상도의 고정밀 화상을 용이하게 생성할 수 있게 된다.
본 발명의 화상 처리 장치는, 상기 촬영 위치 산출 수단이 상기 제1 화상 정보의 사전에 설정된 탐색 영역 내에서, 상기 모델을 소정의 이동 거리에 의해 이동시키면서, 중복 영역의 배치 위치를 탐색하는 것을 특징으로 한다.
전술한 구성에 의해, 본 발명의 화상 처리 장치는, 반복 패턴으로 구성되는 대상물의 고정밀 화상을 생성하는 경우 등, 사전에 소정의 크기의 탐색 영역을 설정하여, 상기 탐색 영역 내에서 상기 모델을, 소정의 위치로부터 정의된 방향으로 각각 소정의 이동 거리(예를 들면 복수개의 픽셀 단위)로 이동시키면서, 중복 영역의 배치 위치를 탐색하므로, 탐색 처리를 고속화할 수 있다.
본 발명의 화상 처리 장치는, 상기 촬영 위치 산출 수단이 상기 중복 영역의 패턴 정보에 기초하여, 상기 탐색 영역 내에서의 중복 영역의 배치 위치를 탐색하는 것을 특징으로 한다.
전술한 구성에 의해, 본 발명의 화상 처리 장치는, 중복 영역의 패턴 정보(예를 들면 패턴의 밀도를 나타낸 패턴 밀도 평가치)에 의해, 중복 영역의 배치 위치를 설정하고 있으므로, 중복되는 영역의 패턴의 밀도가 높은 위치를 검출할 수 있기 때문에, 부분 화상을 접합시킬 때, 접합시킬 위치를 용이하게 맞출 수 있는 위치를 중복 영역으로서 선택할 수 있고, 높은 정밀도로 원하는 고해상도의 고정밀 화상을 생성할 수 있게 된다.
본 발명의 화상 처리 장치는, 상기 촬영 위치 산출 수단이 상기 중복 영역의 패턴 정보에 기초하여, 상기 탐색 영역 내에서, 모델에서의 중복 영역 정보를 변경시켜서, 배치 위치를 탐색하는 것을 특징으로 한다.
전술한 구성에 의해, 본 발명의 화상 처리 장치는, 화상의 패턴 정보(예를 들면 패턴의 소밀의 정보)에 따라, 부분 화상의 접합 처리 시에 필요한 중복 영역 정보, 예를 들면 중복 영역의 중복율을 변경하기 위하여, 기판의 패턴의 밀도의 소밀에 의하지 않고, 필요에 따라 패턴 정보를 매칭에 적합한 수치로 변경할 수 있어서, 최적인 부분 화상의 위치, 즉 대상 화상의 생성 위치를 산출할 수 있고, 용이하게 고정밀 화상을 생성할 수 있다.
본 발명의 화상 처리 장치는, 상기 제1 촬영 수단 및 상기 제2 촬영 수단에 대해, 대상물을 X-Y 방향으로 각각 소정의 거리 단위로 상대 이동시키는 이동 수단을 구비하고, 상기 촬영 위치 산출 수단이 상기 모델에 의해 검출한 대상 화상의 배치 위치에 기초하여, 상기 대상물에서의 대상 화상의 촬영 위치를 설정하는 것을 특징으로 한다.
전술한 구성에 의해, 본 발명의 화상 처리 장치는, 상대 이동 수단을 구비하므로, 촬영 위치가 검출된 시점에 있어서, 그 위치로 이동시켜서 촬영하는 처리를 행할 수 있으므로, 촬영 위치의 산출 및 촬영 처리를 실시간으로 행하고, 고해상도의 고정밀 화상의 생성 속도를 향상시킬 수 있게 된다.
본 발명의 화상 처리 장치는, 상기 촬영 위치와, 상기 모델에 의해 검출한 대상 화상의 배치 위치에 기초하여, 접합에 사용하는 부분 화상의 촬영 위치를 산출하는 것을 특징으로 한다.
전술한 구성에 의해, 본 발명의 화상 처리 장치는, 모델에 의해 중복 영역의 배치 위치를 설정하고 있으므로, 중복되는 영역의 패턴의 밀도가 높은 위치를 검출하므로, 대상 화상의 촬영 위치가 산출되고, 이에 따라 접합에 사용하는 부분 화상의 촬영 위치를 용이하게 산출할 수 있고, 높은 정밀도로 원하는 고해상도의 고정밀 화상을 생성할 수 있게 된다.
본 발명의 화상 처리 장치는, 상기 제1 및 제2 촬영 수단에 얻어지는 제1 화상 정보 및 제2 화상 정보가, 각각 왜곡 보정(distortion compensation) 또는/ 및 쉐이딩 보정(shading compensation)된 것을 특징으로 한다.
전술한 구성에 의해, 본 발명의 화상 처리 장치는, 왜곡이나 쉐이딩의 영향을 받지않는 고정밀 화상을 생성할 수 있게 된다.
[발명의 효과]
이상 설명한 바와 같이, 본 발명에 의하면, 부분 화상을 접합시킬 때, 저해상도의 제1 화상 정보에 의해, 부분 화상으로 접합시켜서 합성하는 대상 화상의 모델을 사전에 형성하여, 상기 모델을 사용하여 광범위한 제1 화상 정보의 소정의 영역 내에서, 중복 영역을 포함하여 고해상도의 대상 화상을 생성하는 부분 화상의 촬영 위치를 조정하므로, 제1 화상 정보에 의한 광범위한 시야 영역에 있어서, 적절한 부분 화상의 촬영 위치를 연산에 의해 구할 수 있고, 원하는 고해상도의 고정밀 화상을 용이하게 생성할 수 있게 된다.
도 1은 본 발명의 일실시예에 따른 현미경 장치의 구성예를 나타낸 개념도이다.
도 2는 도 1의 화상 처리부(5)의 구성예를 나타낸 블록도이다.
도 3은 도 2의 화상 모델 생성부(16)에서 생성되는 모델을 설명하기 위한 개념도이다.
도 4는 Sobel 필터를 설명하기 위한 개념도이다.
도 5는 패턴 밀도 평가치를 설명하기 위한 개념도이다.
도 6은 제1 실시예에 따른 화상 처리부(5)로 이루어지는 현미경 장치의 동작예를 나타낸 흐름도이다.
도 7은 제1 실시예에 따른 화상 처리부(5)의 동작을 설명하는 개념도이다.
도 8은 제1 실시예에 따른 화상 처리부(5)의 동작을 설명하는 개념도이다.
도 9는 제1 실시예에 따른 화상 처리부(5)의 동작을 설명하는 개념도이다.
도 10은 패턴 밀도 평가치의 탐색 영역 내에서의 최대치 검출 처리를 설명하는 개념도이다.
도 11은 제2 실시예에 따른 화상 처리부(5)로 이루어지는 현미경 장치의 동작예를 나타낸 흐름도이다.
도 12는 제2 실시예에 따른 화상 처리부(5)의 동작을 설명하는 개념도이다.
도 13은 제2 실시예에 따른 화상 처리부(5)의 동작을 설명하는 개념도이다.
도 14는 제2 실시예에 따른 화상 처리부(5)의 동작을 설명하는 개념도이다.
도 15는 제2 실시예에 따른 화상 처리부(5)의 동작을 설명하는 개념도이다.
도 16은 제2 실시예에 따른 화상 처리부(5)의 동작을 설명하는 개념도이다.
도 17은 제2 실시예에 따른 화상 처리부(5)의 동작을 설명하는 개념도이다.
도 18은 부분 화상 프레임의 중복율의 최대치 및 최소치를 설명하기 위한 개념도이다.
도 19는 제3 실시예에 따른 검사 장치를 설명하는 개념도이다.
도 20은 제4 실시예에 따른 검사 장치를 설명하는 개념도이다.
[부호의 설명]
1: 경통 2: 대물 렌즈
3: 촬상 카메라 4: 스테이지
5: 화상 처리부 6: 스테이지 이동 제어부
7: 시스템 제어부 8: 현미경 Z축 이동 제어부
11: 촬상 제어부 12: 쉐이딩·왜고 보정 처리부
13: 촬상 화상 데이터 기억 버퍼부 14: 제1 촬영 화상 판독부
15: 제2 촬영 화상 판독부 16: 화상 모델 생성부
17: 패턴 밀도 평가치 산출부 18: 촬영 위치 산출부
19: 화상 생성부 20: 화상 기억부
Fl, F2, F3, F4: 부분 화상 프레임
<제1 실시예>
이하, 본 발명의 제1 실시예에 따른 화상 처리 장치를 도면을 참조하여 설명한다. 도 1은 본 실시예의 구성예를 나타낸 블록도이다.
상기 도 1에 있어서, 제1 실시예는 현미경에 있어서, 본 발명의 화상 처리 기능을 가지는 것이며, 상기 현미경에는 대물 렌즈(2)를 붙이는 경통(1)을 Z축 방향(도면에서 볼 때 상하)으로 구동시킬 수 있는 상하 구동 기구가 구비되어 있다.
현미경 Z축 이동 제어부(8)는, 상기 상하 구동 기구를 제어하여, 경통(1)을 상하로 이동시켜서, 스테이지(4) 상에 놓여진 피대상물에 대한 핀트를 조정한다.
상기 스테이지(4)는, 현미경의 하부에 설치되어 있고, X 방향 및 Y 방향(도면에서 볼 때 좌우 방향 및 깊이 방향)으로 구동하는 기구(2축 이동 구동 기구)를 구비하고 있고, 그 상부에 관찰용 샘플인 상기 피대상물이 놓여진다.
스테이지 이동 제어부(6)는, 스테이지(4)의 2축의 이동 제어를 행하고, 대물 렌즈(2)와 피대상물의 상대 위치를 조정한다.
또한, 경통(1)의 상부에는 촬상용 카메라가(3)가 설치되어 있고, 상기 촬상용 카메라(3)로부터 출력되는 영상 신호(화상 신호)는 화상 처리부(5)에 전송되어 다양하게 화상 처리된다.
촬상용 카메라(3)는 CCD 카메라로서, 예를 들면, RGB 대응 화소마다의 계조 도(휘도) 데이터를 화상 정보로서 출력한다.
화상 처리부(5), 스테이지 이동 제어부(6), 및 현미경 Z축 이동 제어부(8)는 시스템 제어부(7)에 의해 필요에 따라 각각 제어된다.
다음에, 본 발명의 제1 실시예에 따른 화상 처리부(5)를 도면을 참조하여 설명한다. 도 5는 본 실시예의 화상 처리부(5)의 구성예를 나타낸 블록도이다.
파선으로 둘러싸인 부분이 화상 처리부(5)이며, 촬상 제어부(11), 쉐이딩·왜곡 보정 처리부(12), 촬상 화상 데이터 기억 버퍼부(13), 제1 촬영 화상 판독부(14), 제2 촬영 화상 판독부(15), 화상 모델 생성부(16), 패턴 밀도 평가치 산출부(17), 촬영 위치 산출부(18), 화상 생성부(19) 및 화상 기억부(20)로 구성되어 있다.
상기 촬상 제어부(11)는, 시스템 제어부(7)의 제어에 의해, 대물 렌즈(2)의 렌즈의 교환에 의한 배율 변경 및 현미경 Z축 이동 제어부(8)에 의한 핀트가 조정되고, 촬상 카메라(3)에 의해 촬영된 저배율의 화상 정보(제1 화상 정보, 즉 피대상물 전체를 촬영한 전체 화상) 또는 고배율의 화상 정보(제2 화상 정보, 즉 부분 화상)를 입력하고, 쉐이딩·왜곡 보정 처리부(12)에 출력한다.
쉐이딩·왜곡 보정 처리부(12)는, 상기 제1 화상 정보 및 제2 화상 정보 각 각에 대하여, 대물 렌즈(2)를 포함하는 촬상계로부터 발생하는 쉐이딩이나 왜곡에 대한 쉐이딩 보정 및 왜곡 보정을 행한 후, 촬상 화상 데이터 기억 버퍼부(13)에 각각 배율 정보를 부가하여 기억시킨다.
상기 배율 정보는, 대물 렌즈(2)의 렌즈 정보로서, 시스템 제어부(7)를 통하여, 촬상 제어부(11)에 있어서, 제1 화상 정보 및 제2 화상 정보에 각각 부가된다.
제1 촬영 화상 판독부(14)는, 촬상 화상 데이터 기억 버퍼부(13)로부터, 부가된 배율 정보가 저배율임을 나타낸 제1 화상 정보를 판독하고, 상기 제1 화상 정보를 일시적으로 저장한다.
제2 촬영 화상 판독부(15)는, 촬상 화상 데이터 기억 버퍼부(13)로부터, 부가된 배율 정보가 고배율인 제2 화상 정보(이하, 부분 화상)를 판독하고, 상기 부분 화상을 일시적으로 저장한다.
화상 모델 생성부(16)는, 부분 화상을 접합시켜서 최종적으로 생성되는 대상 화상의 모델을 생성한다. 상기 모델에는, 부분 화상을 접합시킬 때 중첩되는 부분이 되는 중복 영역이 포함되어 있다.
즉, 화상 모델 생성부(16)는, 시스템 제어부(7)로부터 입력되는, 사전에 사용자가 설정한 저배율로서의 제1 배율과, 고배율로서의 제2 배율과, 부분 화상을 접합시켜서 생성하는 화상 크기와, 접합시킬 때에 중첩되는 중복 영역의 치수로부터 상기 모델을 생성한다.
패턴 밀도 평가치 산출부(17)는, 상기 화상 모델 생성부(16)로부터 모델을 판독하고, 또한, 제1 촬영 화상 판독부(14)로부터 제1 화상 정보를 판독하고, 대상 화상을 생성하는 부분을 탐색하는 탐색 영역이 시스템 제어부(7)에 의해, 제1 화상 정보로서 설정된다(사용자가 화면을 확인하면서 설정한다).
또한, 패턴 밀도 평가치 산출부(17)는, 도 3에 나타낸 바와 같이, 상기 탐색 영역 내에서, 상기 모델을 소정의 위치, 예를 들면 탐색 영역의 좌상측을 개시 위치로 하여, 소정의 이동 거리, 예를 들면 복수개의 픽셀 단위로, X축 방향 및 Y축 방향으로 이동시키면서, 중복 영역 내에서의 패턴 밀도 평가치(패턴 정보)를 산출하고, 이들을 차례로, 계산한 위치와 대응시켜서 기억한다.
여기서, 탐색 영역 내에서의 이동 거리는, 1화소(픽셀) 단위로 행해도 되지만, 대상이 되는 패턴에 따라서는 이동 전후에 있어서 변화가 발생하지 않고, 얻어지는 패턴 밀도 평가치도 대략 동일한 값이 되므로, 본 발명에 있어서 불필요한 계산 시간을 줄이고, 중복 영역의 탐색 효율을 향상시키기 위하여, 소정의 화소수 단위로 행하고 있다.
상기 이동 거리는, 본 실시예와 같이 피대상물이 주기적인 패턴을 가지면, 1주기를 이루는 화소수의 1/5, 1/10, 1/50, 1/100, ···처럼, 패턴 주기의 화소수에 맞추어서 설정된다.
또한, 중복 영역에 포함된 대상이 되는 패턴의 최소 크기(예를 들면, 전류가 흐르는 신호선의 폭 등)이 사전에 알려져 있으면, 최소 패턴의 폭의 화소수의 1배, 2배, 3배,···처럼, 패턴의 크기와 대응시켜서 이동 거리를 설정해도 된다.
패턴의 크기에 따른 이동 거리는, 이동 전후에 있어서, 중복 영역으로부터 패턴 전체가 나타나거나, 또는 사라짐으로써, 패턴 밀도 평가치가 변화되는 것을 고려하고 있다.
패턴 밀도 평가치는, 부분 화상 크기의 블록마다(가로 방향 및 세로 방향마다), 인접하는 블록의 중첩 단위, 즉, 1개의 산출 위치마다 4개의 계산치(후술하는 수직 방향 및 수평 방향의 에지 강도)로서 계산된다.
여기서, 패턴 밀도 평가치는, 이하에서 나타내는 바와 같은 흐름에 의해, 패턴 밀도 평가치 산출부(17)에서 계산된다.
본 실시예에 있어서는, 방향별 에지 강도(패턴에서의 휘도 변화의 크기)에 주목하여, 패턴 밀도 평가치를 구한다.
상기 방향별 에지 강도는, 수직(화면의 상하) 방향, 및 수평(화면의 좌우) 방향 각각에 대하여 에지 강도를 나타내는 것이다.
에지 강도를 산출하는 방법으로서 Sobel 필터를 사용한다. 상기 Sobel 필터는, 하나의 주목 화소를 중심으로 하여, 근방, 즉 인접하는 상하 좌우 9개의 화소치에 대해서, 도 4에 나타낸 바와 같은 계수(중앙이 주목 화소) 마스크를 각각 곱하여 결과를 합계하고, 수직 방향 및 수평 방향의 두 개의 계수 행렬을 사용하여 이 처리를 행한다.
즉, 마스크의 중심의 화소(X, Y)(X는 화면 상에서 수평 방향의 좌표치이며, 원점에 대해서 우측 방향을 +로 설정하고, 좌측 방향을 -로 설정하며, Y는 화면 상에서 수직 방향의 좌표치이며, 원점에 대해서 하방을 +로 설정하고, 상방을 -로 설정한다)에 대한 각 방향의 에지 강도를, 화소(X, Y)의 휘도치를 I(X, Y)로 나타내고, 또한, 수치 R의 절대치를 Abs(R)로서 이하의 식에 의해, 수평 방향의 강도 EH(X, Y) 및 수직 방향의 강도 EV(X, Y)로서 구한다.
강도 EH(X, Y) = Abs{I(X + 1, Y - 1) + 2×I(X + 1, Y) + I(X + 1, Y + 1)
- I(X - 1, Y - 1) - 2×I(X-1, Y) - I(X - 1, Y + 1)}
강도 EV(X, Y) = Abs{I(X - 1, Y + 1) + 2×I(X, Y + 1) + I(X + 1, Y + 1)
- I(X - 1, Y - 1) - 2×I(X, Y - 1) - I(X + 1, Y - 1)}
전술한 식을 사용하여, 대상이 되는 영역(중복 영역) 내의 화소 각각에 대해서 산출한다(이 때, 화상의 단부는 에지 강도를 산출할 수 없기 때문에 대상 외로 한다).
여기서, 패턴 밀도 평가치 산출부(17)는, 대상이 되는 영역에 있어서, 산출된 화소마다의 에지 강도를 방향 단위로 가산하고, 수평 방향의 에지 강도 총합계치 AEH와 수직 방향의 에지 강도 총합계치 AEV를 구한다.
그러나, 어느 하나의 방향의 에지 강도가 극단적으로 낮은 경우가 있어, 예를 들면, 도 5에 나타낸 바와 같이, 중복 영역의 내부가 수평 방향의 선 패턴만으로 형성되어 있으면, 수직 방향에 있어서는 패턴의 에지가 존재하므로, 0가 아닌 수치를 가지는 에지 강도 총합계치 AEV가 구해지지만, 수평 방향의 에지 강도 총합계치 AEH는 휘도의 변화가 가로 방향에 있어서 존재하지 않으므로 거의「0」가 된다.
이 경우, 한 방향의 패턴만으로 접합 처리를 실시하려고 하면, 매칭 부분을 한정할 수 없으므로, 최적인 매칭 처리를 행할 수 없다.
그러므로, 패턴 밀도 평가치 산출부(17)는, 에지 강도 총합계치 AEH와 에지 강도 총합계치 AEV에 대해, 소정의 임계치 Thres를 구하고, 각 에지 강도 총합계치가 상기 임계치 Thres 이상인 경우에만, 상기 임계치 Thres 이상의 값을 패턴 밀도 평가치로서 출력한다.
상기 임계치 Thres는 노이즈의 영향을 고려하여, 예를 들면 하나의 화소에 관한 Sobel 필터의 에지로서 검출하는 최소의 휘도차를 Q로서 설정하고 이하의 식에 의해 나타낸다.
Thres = 4·Q×(중복 영역에서의 Sobel 필터 연산 대상의 화소수)
상기 임계치 Thres에는 소정의 계수를 곱한 값을 실제의 임계치로서 사용한다. 이 곱하는 계수로서는, 노이즈의 영향을 억제하기 위해서라면, 1 또는 2 등의 작은 값이라도 된다.
또한, 에지 강도가 큰, 즉 패턴의 특징이 뚜렷한 영역을 인출하는 경우, Q의 값에 따라 큰 값(휘도의 계조가 256이며, Q가 10이면, 10 ~ 15 사이의 값 등)으로 한다.
또한, 패턴 밀도 평가치 산출부(17)는, 상기 식을 사용하여 패턴 밀도 평가치 PDEV를 다음과 같이 산출한다.
AEH < Thres 또는 AE V< Thres의 경우, PDEV를 0으로 설정하고,
AEH ≥ Thres 그리고 AEV ≥ Thres의 경우, PDEV = AEH + AEV로 설정한다.
이에 따라, 산출되는 패턴 밀도 평가치는, 어느 한쪽의 에지 강도가 임계치보다 낮은 경우(극단으로 작은 경우), 부분 화상의 접합 시에, 패턴 매칭이 실패할 가능성이 높으므로 나중의 평가 대상에서 제외되고, 접합 처리 시에, 정확한 패턴 매칭이 가능한 배치 위치의 수치만 남게 된다.
여기서, 에지 강도가 클수록, 휘도 차가 큰 것을 나타내고, 접합 시에, 중복 영역에서의 부분 화상의 매칭의 정밀도가 향상된다.
즉, 패턴의 밀도가 비교적 낮은 전체 화상이라도, 중복 영역의 패턴의 밀도가 높은 모델의 위치를 탐색할 수 있게 된다.
다음에, 도 2로 복귀하여, 촬영 위치 산출부(18)는, 패턴 밀도 평가치 산출부(17)가 선택한, 가장 패턴 밀도 평가치가 큰 위치, 즉 제1 화상 정보(전체 화상)에서의 대상 화상의 촬영 위치에 기초하여, 각 부분 화상의 촬영 장소를 구하고, 상기 촬영 장소의 촬영 위치 정보를 시스템 제어부(7)에 출력한다.
화상 생성부(19)는, 상기 촬영 위치 산출부(18)가 출력한 촬영 위치에 기초하여, 시스템 제어부(7)가 현미경 Z축 이동 제어부(8), 스테이지 이동 제어부(6), 촬상 제어부(11) 및 촬영용 카메라(3)를 제어하고, 모델의 블록만큼 복수매 촬영된 부분 화상을 접합시킨다.
화상 기억부(20)는, 화상 생성부(19)에 있어서 부분 화상이 접합되어 생성된 대상 화상(고정밀 화상)을 기억한다.
시스템 제어부(7)는, 사용자로부터의 액세스에 의해, 화상 기억부(20)로부터 대상 화상을 판독하고, 도시하지 않은 표시 장치에 표시시킨다.
또한, 패턴 정보로서는, 전술한 제1 실시예에 있어서는, 화상의 휘도치의 변화를 나타낸 에지 강도를 사용하였지만, 상기 화상의 휘도치를 베이스로 하여, 방향이라는 「공간 특성」을 이용한 것이 아니라, 순수하게 휘도치만으로 구성되는 평가치, 예를 들면, 화상의 휘도치로부터 형성되는 히스토그램에 관한 휘도 평균치, 최소치와 최대치의 차이(다이나믹 레인지), 최빈치, 중앙치, 분산(표준 편차)을 각각 패턴 정보로 설정할 수도 있다.
여기서, 패턴 정보로서, 중복 영역에 관한 최대 빈도수의 휘도치에 관한 히스토그램의 도수 FR, 및 상기 히스토그램의 표준 편차 SD를 사용하고, 상기 도수 FR 및 표준 편차 SD로부터 패턴 밀도 평가치 PDEV를 형성하고, 2의 거듭제곱을 2^x로서 나타낸다.
PDEV = FR + (2^x) × SD
상기 패턴 밀도 평가치 PDEV는 0 ~ 2^x - 1까지를 도수 FR에 의해, 2^x 이상을 표준 편차 SD로 나타내고 있다. 단, 상기 식에 있어서, 「FR < 2^x」이다.
이에 따라, 먼저 패턴 밀도 평가치 산출부(17)는, 도수 FR에만 주목하여, 소정의 임계치 이상인지의 여부를 판정하여, 상기 임계치 이상인 경우, 표준 편차에 대해서도 평가한다.
FR은 최대치가 (2^x)이 되면, 전술한 탐색 방법을 사용할 수 있다.
또한, 전술한 연산은, 비트 연산(논리 연산)에 의해 실현되고, 특성이 상이한 패턴 정보도 하나의 패턴 밀도 평가치로서 사용할 수 있다.
다음에, 도 1, 도 2 및 도 6을 참조하여, 전술한 화상 처리 장치의 동작을 설명한다. 도 6은, 도 1의 제1 실시예에 따른 화상 처리 장치의 하나의 동작예를 구체적으로 나타낸 흐름도이다.
여기서 피대상물로서는, 도 7에 나타낸 FPD 기판을 예로서 설명한다. FPD 기판에는, 화소 부분과 이 화소를 구동하는 트랜지스터가 주기적으로 배열되어 있다.
사용자가 시스템 제어부(7)에 대해서, 도시하지 않은 입력 장치에 의해, 처리 파라미터로서, 전체 화상의 배율(제1 배율), 부분 화상의 배율(제2 배율), 접합 화상(대상 화상)의 크기, 및 각 부분 화상의 중복율을 설정한다(단계 S1).
다음에, 대상 화상의 취득 처리가 개시되면, 시스템 제어부(7)는, 스테이지 이동 제어부(6)에 의해 스테이지(4)를 구동하고, 대물 렌즈(2)와 피대상물의 상대 위치를 조정하여, 상기 제1 배율이 되도록 대물 렌즈(2)를 전환한다.
그리고, 시스템 제어부(7)는, 현미경 Z축 이동 제어부(8)를 통하여, 경통(1)을 상하로 이동시켜서 핀트를 조정하고, 도 7에 나타낸 대상물의 전체 화상을 촬상하고, 촬상 제어부(11)를 통하여 쉐이딩·왜곡 보정 처리부(12)로 상기 전체 화상을 전송한다.
또한, 도 7의 상기 전체 화상에 대해서, 부분 화상으로서의 시야 범위(제2 배율로 촬상한 경우의 촬영 가능 범위: 부분 화상 범위)로서는 도 8에 나타낸 파선 내의 영역이 된다.
그리고, 쉐이딩·왜곡 보정 처리부(12)는, 입력되는 전체 화상에 대해서, 왜곡 보정 및 쉐이딩 보정을 행하고, 촬상 화상 데이터 기억 버퍼부(13)에 일단 기억시킨다(단계 S2).
다음에, 화상 모델 생성부(16)는, 대상 화상의 크기(세로 화소수 × 가로 화소수)와, 상기 대상 화상을 생성할 경우에 접합할 때의 부분 화상의 중복율로부터 , 도 3에 나타낸 바와 같은 중복 영역을 가지는 대상 화상의 모델을 생성한다(단계 S3).
그리고, 화상 모델 생성부(16)는, 중복 영역이 부분 화상에 대해서 상기 중복율이 되도록, 부분 화상의 개수 및 상기 중복 영역의 크기를 연산하여 구한다(단계 S4).
예를 들면, 도 9에 있어서, 도 8에 나타낸 부분 화상 프레임으로부터 부분 화상의 프레임은 4개가 되고, 중복 영역은 4개의 부분 화상 프레임 중 2개 이상이 서로 중첩되는 사선 부분(화면 중앙에 +로 나타나 있는 부분)으로서 정의된다.
이 결과, 본 실시예에 있어서는, 대상 화상이 4개의 부분 화상에 의해 형성되고, 대상 화상의 크기의 모델은 4개의 부분 화상 프레임에 의해 구성된다.
다음에, 사용자는 표시 장치에 표시되어 있는 전체 화상에 있어서, 상기 모델로부터 대상 화상의 촬영 위치를 탐색하는 탐색 영역을 설정한다(단계 S5).
상기 탐색 영역은, 전체 화상에서도, 모델의 크기보다 크면, 전체 화상의 임의의 일부분으로서 설정해도 된다.
그리고, 패턴 밀도 평가치 산출부(17)는, 소정의 이동 거리에서, X축 방향 및 Y축 방향으로 이동시키면서(시프트하면서), 패턴 밀도 평가치의 산출을 각 이동 위치에서 행하고, 탐색 범위 전체가 탐색될 때까지 상기 처리가 반복되며, 차례대로 계산된 패턴 밀도 평가치를 전체 화상에서의 좌표치(계산한 위치)에 대응시켜서, 내부의 기억부에 기억시키고, 탐색 영역 전체에서의 패턴 밀도 평가치의 계산을 종료하면 처리를 단계 S7로 진행한다(단계 S6).
다음에, 패턴 밀도 평가치 산출부(17)는, 내부의 기억부에 기억되어 있는 패턴 밀도 평가치 중에서 가장 큰 값을 탐색하고, 탐색된 패턴 밀도 평가치에 대응하는 좌표치를, 접합할 때의 대상 화상의 최적 위치로서 출력한다(단계 S7).
이 때, 패턴 밀도 평가치 산출부(17)는, 도 10에 나타낸 바와 같이, 평가한 좌표치(X-Y 평면상)마다 Z축 방향으로 패턴 밀도 평가치의 크기를 나타낸 3차원 그래프에 있어서, 각 좌표치에서의 패턴 밀도 평가치를 차례대로 비교하여, 최대 패턴 밀도 평가치를 탐색한다.
예를 들면, 도 10에 있어서는, 좌측의 패턴 밀도 평가치가 최대이므로, 이 모델의 위치, 즉 좌표치가 최적인 대상 화상의 생성 위치로서 출력된다.
다음에, 촬영 위치 산출부(18)는, 패턴 밀도 평가치 산출부(17)가 출력하는 대상 화상의 생성 위치로부터, 부분 화상의 촬영 위치의 연산을 행한다(단계 S8).
이 때, 촬영 위치 산출부(18)는, 상기 생성 위치에서의 모델의 부분 화상 프레임의 배치 위치를, 제2 배율(고배율)로 촬영하는 부분 화상의 촬영 위치로 하여, 대상 화상을 구성하는 복수개의 부분 화상 각각에 대응하는 부분 화상 프레임의 좌표치를, 부분 화상 위치로서 출력한다.
또한, 촬영 위치 산출부(18)는, 본 실시예의 경우, 대상 화상이 4개의 부분 화상으로 구성되어 있으므로, 상기 4개의 부분 화상에 대응하는 부분 화상 프레임의 좌표치를 시스템 제어부(7)에 출력한다.
다음에, 시스템 제어부(7)는, 현미경 Z축 이동 제어부(8)를 통하여 대물 렌즈(2)를 제2 배율에 대응하는 렌즈로 변경하고, 촬영 위치 산출부(18)로부터 입력 되는 상기 부분 화상 위치에 대응시키고, 스테이지 이동 제어부(6)를 통하여 스테이지(4)를 촬상용 카메라(3)로 촬영하는 좌표 위치로 이동시키고, 현미경 Z축 이동 제어부(8)에서 핀트를 맞추어서, 촬상용 카메라(3)에 의해 각 부분 화상의 촬영을 행한다.
여기서, 시스템 제어부(7)는, 대상 화상을 구성하는 복수개의 부분 화상 모두를, 전술한 처리에 의해 촬영한다.
그리고, 촬상용 제어부(11)는, 촬상용 카메라(3)로부터 입력되는 부분 화상 각각을 쉐이딩·왜곡 보정 처리부(12)에 출력한다.
이에 따라, 쉐이딩·왜곡 보정 처리부(12)는, 차례로 입력되는 부분 화상에 대해서, 왜곡 보정 및 쉐이딩 보정의 처리를 행하고, 촬상 화상 데이터 기억 버퍼부(13)에 저장한다(단계 S9).
다음에, 화상 처리부(5)는, 촬상 화상 데이터 버퍼부(13)로부터 대상 화상을 구성하는 부분 화상을 판독하여, 제2 촬영 화상 판독부(15)에 일단 저장한다.
그리고, 화상 생성부(19)는, 제2 촬영 화상 판독부(15)로부터 차례로 부분 화상을 판독하고, 도 9에 나타낸 모델에 기초하여, 즉, 모델의 부분 화상 프레임마다, 상기 부분 화상 프레임의 부분 화상 위치에 대응하여 촬영한 부분 화상을 배치하고, 부분 화상을 접합하여 대상 화상을 생성하는 처리를 행하며, 생성된 고정밀 화상인 대상 화상을 화상 기억부(20)에 저장한다(단계 S10).
이 때, 화상 생성부(19)는, 중복 영역에 배치된 패턴을 중첩시켜서, 패턴 매칭을 행하고, 접합 위치를 맞추고 있다. 그러므로, 중복 영역으로서는, 패턴 밀도 평가치가 소정의 밀도를 초과하는 영역, 즉 소정의 임계치을 초과하는 영역을 사용할 필요가 있다.
따라서, 본 실시예에 있어서는, 접합시키는 중복 영역의 배치 위치를, 패턴 밀도 평가치 등의 패턴 정보에 의해 결정하고 있으므로, 도 7에 나타낸 FPD 기판의 패턴과 같이, 기판 상에 형성되는 패턴의 밀도가 낮은 부분이 많고, 접합 처리에 적합하지 않는 주기성을 가지는 피대상물에서도, 높은 정밀도로 접합시켜서 화상을 생성할 수 있다.
시스템 제어부(7)는, 필요에 따라 화상 기억부(20)로부터 상기 대상 화상을 판독하여, 상기 대상 화상을 표시부에 표시한다.
<제2 실시예>
제2 실시예는, 제1 실시예와 거의 동일하게 구성되며, 제1 실시예와 상이한 점만, 이하에서 설명한다.
도 11은 제2 실시예에서의 일동작예를 구체적으로 나타낸 흐름도이다.
제1 실시예와 상이한 점은 제1 실시예의 단계 S8이 단계 S15로 변경되었으므로, 변경된 단계에 대하여 설명한다.
제1 실시예에 있어서는, 부분 화상을 접합하는 모델의 최적 위치로부터 모델 내에서의 부분 화상 프레임의 위치에 기초하여, 고정밀 부분 화상을 취득하는 부분 화상 위치, 즉 촬영 위치를 결정하고 있으며, 모델에서의 부분 화상 프레임 사이의 중복 영역을 고정하여 탐색 영역 내에서의 탐색을 행하고 있다.
한편, 제2 실시예에 있어서는, 접합 모델의 최적 위치가 결정될 때, 저배율 의 전체 화상(제1 화상 정보)을 사용하여, 접합 모델을 구성하는 부분 화상 프레임의 위치를 결정하고 있다.
단계 S6에 있어서, 고정시킨 중복 영역의 모델에 의해, 소정의 이동 거리에 의해, 탐색 영역을 이동시키고, 각 위치에서의 패턴 밀도 평가치를 산출한다.
이 때, 이하에 나타내는 식으로 최저 패턴 밀도 임계치 PDEV_Min을 설정한다.
PDEV_Min = AEH_Min + AEV_Min
= 4·Q × PixNum + 4·Q × PixNum
= 8·Q × PixNum
여기서, PixNum = 「중복 영역에서의 Sobel 필터 연산 대상의 화소수」
그리고, 패턴 밀도 평가치 산출부(17)는, 패턴 밀도 평가치의 산출을 각 이동 위치에서 행하고, 탐색 범위 전체가 탐색될 때까지 처리가 반복되며, 상기 임계치 PDEV_Min을 초과하는 것을, 차례대로 계산된 패턴 밀도 평가치를 전체 화상에서의 좌표치(계산한 위치)에 대응시키고, 내부의 기억부에 기억하고, 탐색 영역 전체에서의 패턴 밀도 평가치의 계산을 종료하면, 처리를 단계 S7로 진행한다.
단계 S7에 있어서, 패턴 밀도 평가치 산출부(17)는, 제1 실시예와 마찬가지로, 내부 기억부 중 가장 큰 패턴 밀도 평가치를 선택하여 출력한다.
다음에, 단계 S15에 있어서, 이 선택한 패턴 밀도 평가치에 대응하는 좌표치의 모델에서의 중복 영역의 패턴 밀도 평가치를 다시 계산한다.
이 때, 모델에서의 부분 화상 프레임의 중복 영역은, 도 12의 부분 화상 프 레임 F1 및 F2에 의한 영역 A, 도 13의 부분 화상 프레임 F3 및 F4에 의한 영역 B, 도 14의 부분 화상 프레임 F1 및 F3에 의한 영역 C, 도 15의 부분 화상 프레임 F2 및 F4에 의한 영역 D가 된다.
이들에 대하여, 각 영역 A ~ D의 패턴 밀도 평가치를, 각 부분 화상 프레임에 대해서, 저배율의 전체 화상이 대응하는 위치의 화상으로부터 산출한다.
여기서, 패턴 밀도 평가치 산출부(17)는, 각 영역 A ~ D가 소정의 임계치를 넘는지의 여부를 판정한다.
상기 임계치는, 제1 실시예에 있어서는 가로 방향과 세로 방향의 패턴 밀도 평가치로서 구하였지만, 제2 실시예에 있어서는, 가로 방향 및 세로 방향으로 인접 한 2개의 부분 화상 프레임의 중복 영역 단위가 되므로, 이하의 식에서 정의되는 값으로 설정한다.
Thres2 = 2·Q × (중복 영역에서의 Sobel 필터 연산 대상의 화소수)
그리고, 패턴 밀도 평가치 산출부(17)는, 영역 A ~ D에서의 모든 패턴 밀도가 상기 임계치를 넘는 것을 검출하면, 처리를 단계 S9로 진행한 이후, 제1 실시예와 마찬가지의 처리를 행한다.
상기 임계치 Thres2에는 소정의 계수를 곱한 값을 실제 임계치로서 사용한다. 이 곱하는 계수로서는, 노이즈의 영향을 억제하기 위해서는, 1 또는 2 등의 작은 값이면 된다.
또한, 에지 강도가 큰, 즉 패턴의 특징이 뚜렷한 영역을 인출하는 경우, Q의 값에 따라 큰 값(휘도의 계조가 256이며, Q가 10이면, 10 ~ 15의 사이의 값 등)으 로 설정한다.
한편, 패턴 밀도 평가치 산출부(17)는, 상기 임계치 Thres2를 넘지 않는 영역에 대해서, 예를 들면, 도 16의 사선으로 나타낸 영역 A의 패턴 밀도 평가치가 임계치 Thres2를 넘지 않는 것을 검출하면, 도 17에 나타낸 바와 같이, 소정의 이동 거리에 의해 부분 화상 프레임 F1을 우측 방향으로 이동시켜서, 부분 화상 프레임 F1 및 부분 화상 프레임 F2의 중복 영역인 영역 A의 면적을 넓힌다.
그리고, 패턴 밀도 평가치 산출부(17)는, 다시 상기 영역 A의 패턴 밀도 평가치를 산출하여, 이 패턴 밀도 평가치가 임계치 Thres2를 넘는지의 여부를 검출하고, 넘는 것을 검출하면 처리를 단계 S9로 진행하고, 넘지 않으면 다시 부분 화상 프레임 F1를 우측 방향으로 이동시키고, 영역 A의 패턴 밀도 평가치를 판정한다.
여기서, 부분 화상 프레임를 이동시켰을 경우에서의 중복 영역의 중복율의 제한에 대하여, 도면을 참조하여 설명한다. 도 18은 중복 영역의 중복율을 설명하기 위한 개념도이다.
중복율의 최대치로서는, 동일 패턴이 2개의 부분 화상에 포함되도록 하면, 50%가 적당하다.
즉, 중복율을 50% 이상으로 하면, 동일한 패턴이 3개의 부분 화상에 포함되게 된다.
그리고, 패턴 밀도 평가치 산출부(17)는, 중복 영역의 중복율이 최대치를 넘었을 경우, 중복 영역 전체의 패턴 밀도 평가치가 2번째로 큰 수치의 모델의 좌표에 있어서 다시 전술한 처리를 행한다.
한편, 중복율의 최저치로서는, 기판에 형성되는 패턴에 있어서 최소 패턴의 화소수에 대해, 1배 이상의 실수배의 화소수의 규정치를 설치하고, 상기 규정치의 부분 화상 전체에서의 비율로부터 구한다.
예를 들면, 부분 화상의 크기가 640(수평 방향) × 480(수직 방향) 화소에 대해서, 최소 패턴이 4(수평 방향) × 4(수직 방향) 화소라 하면, 상기 최소 패턴의 2배의 화소수를 규정치로 설정한다.
이에 따라, 수평 방향의 최소의 중복율로서는 (4 × 2/640) = 1.25%이며, 수직 방향의 최소의 중복율로서는 (4 × 2/480) = 1.67%가 된다.
전술한 바와 같이, 제2 실시예에 있어서는, 접합 모델의 최적 위치를 결정할 때, 탐색 영역 전체로 모델에서의 영역 A ~ D의 모든 패턴 밀도 평가치가 임계치를 넘지 않는 경우, 처음에는 전체적으로 평가치가 최대인 위치를 전체 화상에 있어서 결정하고, 상기 좌표치에 있어서 개개의 부분 화상 프레임의 중복 부분에 대하여, 패턴 밀도 평가치가 임계치를 초과하도록 부분 화상 프레임의 위치를 조정하여, 중복 영역의 중복율을 변화시키고, 촬영하는 부분 화상의 촬영 위치를 결정한다.
또한, 중복 영역의 중복율을 변화시켜서, 패턴 밀도 평가치를 적시에 조정하므로, 탐색의 자유도가 실시예 1에 비해 증가하고, 대충 설정한 촬영 위치를 시작 위치로 하더라도(탐색 영역 전체를 탐색하지 않아도), 패턴 밀도 평가치를 사용하여 접합에 최적인 촬영 위치를 자동적으로 결정할 수 있다.
따라서, 본 실시예에 있어서는, 접합시키는 중복 영역의 배치 위치를, 패턴 밀도 평가치 등의 패턴 정보에 의해 결정하고 있으므로, 도 7에 나타낸 FPD 기판의 패턴과 같이, 기판 상에 형성되는 패턴의 밀도가 낮은 부분이 많고, 접합 처리에 적합하지 않는 주기성을 가지는 피대상물이라 하더라도, 또한, 대충 설정한 중복 부분에서는 접합 처리가 실패하는 경우일 지라도, 본 실시예에 따르면 높은 정밀도로 접합시켜서 화상을 생성할 수 있다.
<제3 실시예>
도 19에 나타낸 제3 실시예는 현미경을 탑재한 대형 기판 검사 장치이다. 도 19에 나타낸 기판 검사 장치는, 현미경이나 대물 렌즈(2), 촬상 카메라(3) 등의 관찰계 등의 구성이 제1 및 제2 실시예와 동일하다.
상이한 점은, 피대상물의 FPD 기판을 대물 렌즈(2)에 대해서 이동시키는 구동 기구이며, 스테이지 이동 제어부(6)는 피대상물이 배치되어 있는 스테이지(4)를 1축 방향(도 19에서는 우상-좌하 방향: 화살표 O)으로만 구동시키는 것이다.
한편, 시스템 제어부(7)는 현미경 T 자체를 스테이지(4)와 수직 방향(도 19에서는 좌상-우하 방향: 화살표 P)의 1축방향으로 구동한다.
이에 따라, 대물 렌즈(2)와 피대상물의 상대 위치를, X-Y 방향으로 이동시킬 수 있다.
<제4 실시예>
제1 ~ 제3 실시예에 있어서 생성된 고정밀 화상인 대상 화상은, 기판의 결함을 검출할 때에, 검사되고 있는 기판의 화상과 비교하는 기준 화상(비교하기 위해 정상적인 기판으로부터 생성된 화상)으로서 검사 장치에 있어서 사용된다.
예를 들면, FPD 기판의 검사에 있어서, 도 20에 나타낸 검사 장치는, 촬상 수단으로서 라인 센서가 설치되어 있고, 교정용 샘플에 의해, 촬상 수단의 조정이 이루어진 후, 유지 이동 수단에 의해 스테이지가 화살표 G 방향으로 이동하고, 소정의 이동 거리마다 라인 센서에 의해, 조명 수단으로부터 방사되는 광의 반사광을 검출한다.
그리고, 통합 제어 수단이, 검출된 반사광의 강도와 직전에 샘플링한 반사광의 검출치를 비교하여, 소정 범위를 넘어서 상이하면, 불량 후보로서 검출하고, 이 기판 상에서의 좌표치를 기억한다.
그리고, 제1 ~ 제3 실시예에서의 화상 처리 장치의 스테이지(4)에, 상기 FPD 기판을 탑재하여, 시스템 제어부(7)에 대해 불량 후보의 좌표치를 입력한다.
이에 따라, 시스템 제어부(7)는, 스테이지 이동 제어부(6)를 통하여 스테이지(4)를 이동시켜서, 불량 후보의 위치가 대물 렌즈(2)의 위치, 즉 촬상 카메라(3)에 의해 불량 후보의 기판 부분을 촬상할 수 있는 위치로 이동시킨다.
이 때, 시스템 제어부(7)는, 고정밀 화상으로서, 즉 제2 배율에 의하여 불량 후보의 위치를 포함한 상태에서, 또한, 제1 ~ 제3 실시예에 있어서 대상 화상을 생성한, 즉 최적인 모델의 위치와 대응하는 장소로 이동시킨다.
그리고, 시스템 제어부(7)는, 촬영한 불량 후보를 포함하는 화상 정보와, 제1 ~ 제2 실시예에서 생성한 대상 화상을, 패턴 매칭에 의해 비교하고, 불량 후보의 패턴 형상과 기준 화상인 대상 화상의 대응하는 부분의 패턴 형상을 비교하여, 상이한지의 여부를 판정한다.
이 때, 시스템 제어부(7)는, 상이하지 않은 것을 검출하면, 해당 불량 후보 를 우량으로 판정하는 한편, 상이한 것을 검출하면, 해당 불량 후보를 불량으로 판정하고, 예를 들어, 판정 결과를 표시 장치에 표시한다.
전술한 본 발명의 검사 방법에 의해, 라인 센서에 의한 고속 검사에 있어서 불량 후보로서 판정한 것을, 실제 정상적인 기판 패턴과 비교하여 정확하게 판정함으로써, 검사 속도를 향상시키고, 또한 검사의 정밀도도 향상시킬 수 있게 된다.
그리고, 도 1 및 도 2에서의 화상 처리부의 기능을 실현하기 위한 프로그램을, 컴퓨터로 판독 가능한 기록 매체에 기록하여, 상기 기록 매체에 기록된 프로그램을 컴퓨터 시스템에 읽어들여 실행함으로써 화상 처리를 행할 수도 있다. 그리고, 여기서 언급하는 「컴퓨터 시스템」은, OS나 주변기기 등의 하드웨어를 포함하는 것이다. 또한, 「컴퓨터 시스템」은, 홈 페이지 제공 환경(또는 표시 환경)을 구비한 WWW 시스템도 포함하는 것이다. 또한, 「컴퓨터로 판독 가능한 기록 매체」는, 이동용 디스크, 광자기 디스크, ROM, CD-ROM 등의 이동 가능한 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다. 또한 「컴퓨터로 판독 가능한 기록 매체」는, 인터넷 등의 네트워크나 전화 회선 등의 통신 회선을 통하여 프로그램이 송신된 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리(RAM)와 같이, 일정 시간 동안 프로그램을 기억하고 있는 것도 포함하는 것이다.
또한, 상기 프로그램은, 이 프로그램을 기억 장치 등에 저장한 컴퓨터 시스템으로부터, 전송 매체를 통하거나, 또는, 전송 매체 중의 전송파에 의해 다른 컴퓨터 시스템에 전송될 수도 있다. 여기서, 프로그램을 전송하는 「전송 매체」는, 인터넷 등의 네트워크(통신망)나 전화 회선 등의 통신 회선(통신선)과 같이 정보를 전송하는 기능을 가지는 매체를 말한다. 또한, 상기 프로그램은, 전술한 기능의 일부를 실현한 것일 수도 있다. 또한, 전술한 기능과 컴퓨터 시스템에 이미 기록되어 있는 프로그램을 조합하여 실현할 수 있는 것, 이른바 차분 파일(차분 프로그램)일 수도 있다.
본 발명의 화상 처리 장치 및 화상 처리 방법에 의하면, 부분 화상을 접합시킬 때, 저해상도의 제1 화상 정보에 의해, 부분 화상으로 접합시켜서 합성하는 대상 화상의 모델을 사전에 형성하여, 상기 모델을 사용하여 광범위한 제1 화상 정보의 소정의 영역 내에서, 중복 영역을 포함하여 고해상도의 대상 화상을 생성하는 부분 화상의 촬영 위치를 조정하므로, 제1 화상 정보에 의한 광범위한 시야 영역에 있어서, 적절한 부분 화상의 촬영 위치를 연산에 의해 구할 수 있고, 원하는 고해상도의 고정밀 화상을 용이하게 생성할 수 있게 된다.

Claims (11)

  1. 소정의 해상도로 촬영한 피대상물의 부분 화상을 소정의 중복 영역을 가지도록 하여 접합시켜서, 소정의 크기의 피대상물의 전체 또는 일부의 대상 화상을 생성하는 화상 처리 장치에 있어서,
    피대상물을 제1 배율로 촬영하여 제1 화상 정보를 얻는 제1 촬영 수단과,
    상기 피대상물을 상기 제1 배율보다 높은 배율인 제2 배율로 촬영하여, 상기 부분 화상으로서의 제2 화상 정보를 얻는 제2 촬영 수단과,
    상기 대상 화상의 크기와, 부분 화상에서의 중복 영역의 정도를 나타낸 화상 영역 정보로부터, 상기 부분 화상을 접합시켜서 생성되는 대상 화상의 모델을 생성하는 화상 모델 생성 수단과,
    상기 부분 화상을 접합시켜서 생성되는 대상 화상의, 제1 화상 정보에서의 배치 위치를, 상기 모델을 사용하여 탐색하는 촬영 위치 산출 수단과,
    상기 배치 위치에 기초하여, 상기 부분 화상을 접합시켜서 상기 대상 화상을 생성하는 고정밀 화상 생성 수단
    을 포함하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 촬영 위치 산출 수단은, 상기 제1 화상 정보에서의, 상기 모델의 접합에 있어서의 중복 영역의 최적 배치 위치를 검출함으로써, 대상 화상의 배치 위치 를 탐색하는, 화상 처리 장치.
  3. 제2항에 있어서,
    상기 촬영 위치 산출 수단은, 상기 제1 화상 정보의 사전에 설정된 탐색 영역 내에서, 상기 모델을 소정의 이동 거리를 이동시키면서, 중복 영역의 배치 위치를 탐색하는, 화상 처리 장치.
  4. 제2항 또는 제3항에 있어서,
    상기 촬영 위치 산출 수단은, 상기 중복 영역의 패턴 정보에 기초하여, 상기 탐색 영역 내에서의 중복 영역의 배치 위치를 탐색하는, 화상 처리 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 촬영 위치 산출 수단은, 상기 중복 영역의 패턴 정보에 기초하여, 상기 탐색 영역 내에서, 상기 모델에서의 중복 영역 정보를 변경시켜서, 배치 위치를 탐색하는, 화상 처리 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제1 촬영 수단 및 상기 제2 촬영 수단에 대해, 대상물을 X-Y 방향으로 각각 소정의 거리 단위로 상대 이동시키는 이동 수단을 더 포함하고,
    상기 촬영 위치 산출 수단은, 상기 모델에 의해 검출된 대상 화상의 배치 위 치에 기초하여, 상기 대상물에서의 대상 화상의 촬영 위치를 설정하는, 화상 처리 장치.
  7. 제6항에 있어서,
    상기 촬영 위치와 상기 모델에 의해 검출한 대상 화상의 배치 위치에 기초하여, 접합에 사용하는 부분 화상의 촬영 위치를 산출하는, 화상 처리 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 및 제2 촬영 수단에 의해 얻어지는 제1 화상 정보 및 제2 화상 정보가, 각각 왜곡 보정(distortion compensation) 또는/ 및 쉐이딩 보정(shading compensation)되어 있는, 화상 처리 장치.
  9. 소정의 해상도로 촬영한 피대상물의 부분 화상을 소정의 중복 영역을 가지도록 하여 접합시키고, 소정의 크기의 상기 대상물의 전체 또는 일부의 대상 화상을 생성하는 화상 처리 방법으로서,
    피대상물을 제1 배율로 촬영하여 제1 화상 정보를 얻는 제1 촬영 과정과,
    상기 피대상물을 상기 제1 배율보다 높은 배율인 제2 배율로 촬영하여, 상기 부분 화상으로서의 제2 화상 정보를 얻는 제2 촬영 과정과,
    상기 대상 화상의 크기와, 부분 화상에서의 중복 영역의 정도를 나타낸 중복 영역 정보로부터, 상기 부분 화상을 접합시켜서 생성되는 대상 화상의 모델을 생성 하는 화상 모델 생성 과정과,
    상기 부분 화상을 접합시켜서 생성되는 대상 화상의, 제1 화상 정보에서의 배치 위치를, 상기 모델을 사용하여 탐색하는 촬영 위치 산출 과정과,
    상기 배치 위치에 기초하여, 상기 부분 화상을 접합시켜서 상기 대상 화상을 생성하는 고정밀 화상 생성 과정
    을 포함하는, 화상 처리 방법.
  10. 제9항에 있어서,
    상기 촬영 위치 산출 과정에 있어서, 상기 제1 화상 정보에서의, 상기 모델의 접합에 있어서의 중복 영역의 최적 배치 위치를 검출함으로써, 대상 화상의 배치 위치를 탐색하는, 화상 처리 방법.
  11. 제10항에 있어서,
    상기 촬영 위치 산출 과정에 있어서, 상기 제1 화상 정보의 사전에 설정된 탐색 영역 내에서, 상기 모델을 소정의 이동 거리로 이동시키면서, 중복 영역의 배치 위치를 탐색하는, 화상 처리 방법.
KR1020077000543A 2004-07-09 2005-07-08 화상 처리 장치 및 방법 KR100888235B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00203108 2004-07-09
JP2004203108 2004-07-09
PCT/JP2005/012661 WO2006006525A1 (ja) 2004-07-09 2005-07-08 画像処理装置及び方法

Publications (2)

Publication Number Publication Date
KR20070026792A true KR20070026792A (ko) 2007-03-08
KR100888235B1 KR100888235B1 (ko) 2009-03-12

Family

ID=35783868

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077000543A KR100888235B1 (ko) 2004-07-09 2005-07-08 화상 처리 장치 및 방법

Country Status (5)

Country Link
JP (1) JP4709762B2 (ko)
KR (1) KR100888235B1 (ko)
CN (1) CN1981302B (ko)
TW (1) TWI366150B (ko)
WO (1) WO2006006525A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010117176A2 (ko) * 2009-04-10 2010-10-14 에스엔유 프리시젼 주식회사 영상 센터링 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG178966A1 (en) * 2009-09-03 2012-04-27 Ccs Inc Illumination/image-pickup system for surface inspection and data structure
JP2011087183A (ja) * 2009-10-16 2011-04-28 Olympus Imaging Corp 撮影装置、画像処理装置、およびプログラム
JP5784718B2 (ja) * 2010-06-15 2015-09-24 コーニンクレッカ フィリップス エヌ ヴェ 顕微鏡検査法の画像処理方法
JP6212314B2 (ja) * 2013-07-22 2017-10-11 株式会社ミツトヨ 画像測定装置およびプログラム
US11336831B2 (en) * 2018-07-06 2022-05-17 Canon Kabushiki Kaisha Image processing device, control method, and program storage medium
JP7277283B2 (ja) * 2019-06-25 2023-05-18 株式会社Fuji 許容値設定システム、基板検査機、許容値設定方法、基板検査方法
CN110441234B (zh) * 2019-08-08 2020-07-10 上海御微半导体技术有限公司 一种变焦筒镜、缺陷检测装置及缺陷检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2522611B2 (ja) * 1991-07-05 1996-08-07 大日本スクリーン製造株式会社 測長装置
JPH0560533A (ja) * 1991-09-04 1993-03-09 Nikon Corp パターン検査装置
EP0639023B1 (en) * 1993-08-13 1997-06-04 Agfa-Gevaert N.V. Method for producing frequency-modulated halftone images
JP3333012B2 (ja) * 1993-09-10 2002-10-07 オリンパス光学工業株式会社 画像合成装置
JP3424138B2 (ja) * 1994-05-11 2003-07-07 カシオ計算機株式会社 透明基板の位置合わせ方法
CN1204101A (zh) * 1997-06-26 1999-01-06 伊斯曼柯达公司 带有过渡的组合图像
JPH11271645A (ja) * 1998-03-25 1999-10-08 Nikon Corp 顕微鏡画像表示装置
JP2000059606A (ja) * 1998-08-12 2000-02-25 Minolta Co Ltd 高精細画像作成システム
US6470094B1 (en) * 2000-03-14 2002-10-22 Intel Corporation Generalized text localization in images

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010117176A2 (ko) * 2009-04-10 2010-10-14 에스엔유 프리시젼 주식회사 영상 센터링 방법
WO2010117176A3 (ko) * 2009-04-10 2011-01-20 에스엔유 프리시젼 주식회사 영상 센터링 방법
KR101029460B1 (ko) * 2009-04-10 2011-04-15 에스엔유 프리시젼 주식회사 영상 센터링 방법
CN102439415A (zh) * 2009-04-10 2012-05-02 Snu精度株式会社 影像对中方法

Also Published As

Publication number Publication date
CN1981302B (zh) 2010-12-29
JP4709762B2 (ja) 2011-06-22
TW200606753A (en) 2006-02-16
JPWO2006006525A1 (ja) 2008-04-24
TWI366150B (en) 2012-06-11
KR100888235B1 (ko) 2009-03-12
CN1981302A (zh) 2007-06-13
WO2006006525A1 (ja) 2006-01-19

Similar Documents

Publication Publication Date Title
KR100888235B1 (ko) 화상 처리 장치 및 방법
EP2549435B1 (en) Segmentation of a depth map of printed circuit boards
KR100785594B1 (ko) 화상 처리 장치
JP4811272B2 (ja) 3次元計測を行う画像処理装置および画像処理方法
US9171379B2 (en) Hybrid precision tracking
JP2007278845A (ja) 画像処理装置及びその処理方法
JP2010139890A (ja) 撮像装置
JP2009157543A (ja) 画像生成方法及びその画像生成装置
JPWO2008069191A1 (ja) ウエーハ収納カセット検査装置及び方法
KR20110030275A (ko) 화상 생성 방법 및 화상 생성 장치
JP2004038885A (ja) 画像特徴学習型欠陥検出方法、欠陥検出装置及び欠陥検出プログラム
JP2010141700A (ja) 撮像装置
JP2009294027A (ja) パターン検査装置及び方法
JP2005293334A (ja) テンプレートマッチング装置
JP2004028811A (ja) 監視システムの距離補正装置および距離補正方法
JPH10320558A (ja) キャリブレーション方法並びに対応点探索方法及び装置並びに焦点距離検出方法及び装置並びに3次元位置情報検出方法及び装置並びに記録媒体
JP5149984B2 (ja) 撮像装置
JP2009177792A (ja) 画像処理装置、および撮像装置
JP4018950B2 (ja) ステレオカメラの位置ずれ検査装置および位置ずれ検査方法
JPH11287618A (ja) 画像処理装置
CN109565544B (zh) 位置指定装置及位置指定方法
JP6366108B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP3447717B2 (ja) 画像処理装置
JPH11203476A (ja) エピポーララインの合わせ方法、ステレオ画像装置
JPH0877353A (ja) 情報処理方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140220

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee