KR20150036230A - 매칭 처리 장치, 매칭 처리 방법, 및 그것을 이용한 검사 장치 - Google Patents

매칭 처리 장치, 매칭 처리 방법, 및 그것을 이용한 검사 장치 Download PDF

Info

Publication number
KR20150036230A
KR20150036230A KR1020157002223A KR20157002223A KR20150036230A KR 20150036230 A KR20150036230 A KR 20150036230A KR 1020157002223 A KR1020157002223 A KR 1020157002223A KR 20157002223 A KR20157002223 A KR 20157002223A KR 20150036230 A KR20150036230 A KR 20150036230A
Authority
KR
South Korea
Prior art keywords
image
matching
feature
template
feature amount
Prior art date
Application number
KR1020157002223A
Other languages
English (en)
Other versions
KR101701069B1 (ko
Inventor
와따루 나가또모
유이찌 아베
히로유끼 우시바
Original Assignee
가부시키가이샤 히다치 하이테크놀로지즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히다치 하이테크놀로지즈 filed Critical 가부시키가이샤 히다치 하이테크놀로지즈
Publication of KR20150036230A publication Critical patent/KR20150036230A/ko
Application granted granted Critical
Publication of KR101701069B1 publication Critical patent/KR101701069B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70605—Workpiece metrology
    • G03F7/70616—Monitoring the printed patterns
    • G03F7/70625—Dimensions, e.g. line width, critical dimension [CD], profile, sidewall angle or edge roughness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Image Analysis (AREA)
  • Length-Measuring Devices Using Wave Or Particle Radiation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

피서치 화상에 대하여 패턴 매칭을 행하는 검사 장치에 있어서, 학습용으로 취득한 템플릿 화상으로부터 특징량을 추출하는 특징 영역 추출 처리부와, 학습용으로 취득한 피서치 화상으로부터 특징량을 추출하는 특징량 추출 처리부와, 상기 템플릿 화상으로부터 추출한 특징량과 상기 피서치 화상으로부터 추출한 특징량으로부터 템플릿 화상과 피서치 화상 간의 상호적인 특징량 산출 처리부와, 복수의 상기 상호적인 특징량을 이용하여 매칭의 성립 여부를 가르는 식별 경계면을 산출하는 학습 처리부와, 검사 대상으로부터 취득한 화상으로부터 상기 복수의 상호적인 특징량을 산출하는 처리부와, 상기 복수의 상호적인 특징량과 상기 식별 경계면을 사용하여 검사 대상의 템플릿 화상과 피서치 화상의 매칭을 행한다. 이에 의해 템플릿 매칭에 있어서, 템플릿과 피서치 화상에서 화상의 외견 괴리가 큰 경우에도, 정확한 매칭 위치를 출력하는 검사 장치를 제공할 수 있다.

Description

매칭 처리 장치, 매칭 처리 방법, 및 그것을 이용한 검사 장치{MATCHING PROCESS DEVICE, MATCHING PROCESS METHOD, AND INSPECTION DEVICE EMPLOYING SAME}
본 발명은 매칭 처리 기술, 보다 상세하게는 패턴 매칭 기술에 관한 것으로, 특히, 반도체 웨이퍼 위에 형성된 패턴의 검사, 혹은 계측을 목적으로 한 검사 기술에 있어서의 템플릿 매칭 기술에 관한 것이다.
반도체 웨이퍼 위에 형성된 패턴을 계측, 검사하는 장치에서는, 템플릿을 사용하여 매칭을 행하는 템플릿 매칭 기술(하기 비특허문헌 1 참조)을 이용하여, 원하는 계측 위치에 검사 장치의 시야를 맞추는 처리를 행한다. 하기 특허문헌 1에는, 그와 같은 템플릿 매칭 방법의 일례가 설명되어 있다. 또한, 템플릿 매칭 처리란, 미리 등록된 템플릿 화상과 가장 일치하는 영역을, 탐색 대상의 화상으로부터 찾아내는 처리이다.
템플릿 매칭을 이용한 검사 장치의 구체예로서는, 주사형 전자 현미경을 사용한 반도체 웨이퍼 위의 패턴의 계측이 있다. 본 검사 장치에서는, 스테이지 이동에 의해 계측 위치의 개략적인 위치에 장치의 시야를 이동하지만, 스테이지의 위치 결정 정밀도만으로는 전자 현미경의 고배율로 촬상된 화상 상에서는 큰 어긋남이 발생하는 경우가 많다. 또한, 웨이퍼를 스테이지에 매회 동일한 방향에서 올려 놓을 수도 없고, 스테이지에 실린 웨이퍼의 좌표계(예를 들어, 웨이퍼의 칩 등의 배열 방향)가 스테이지의 구동 방향과 완전하게는 일치하지 않아, 이것도 전자 현미경의 고배율로 촬상된 화상 상에서의 어긋남의 원인이 된다.
또한, 원하는 관찰 위치에서의 고배율의 전자 현미경 화상을 얻기 위해서, 전자 빔을 미소량(예를 들어, 수십 ㎛ 이하)만큼 편향시켜서 관찰 시료 상의 목표로 하는 위치에 조사하는 경우가 있지만(이것을, '빔 시프트'라고 하는 경우가 있음), 이 빔 시프트를 행하여도, 빔의 편향 제어의 정밀도만으로는, 조사 위치에 관하여, 원하는 관찰 위치로부터 어긋남이 발생하는 경우가 있다. 이러한 각각의 어긋남을 보정하여 정확한 위치에서의 계측, 검사를 행하기 위해서 템플릿 매칭이 행해진다.
구체적으로는, 전자 현미경 상(像)보다도 저배율의 광학식 카메라에서의 얼라인먼트와, 전자 현미경 상에서의 얼라인먼트의, 다단계로 얼라인먼트를 행한다. 예를 들어, 스테이지에 실린 웨이퍼의 좌표계의 얼라인먼트를 광학식 카메라로 행하는 경우에는, 웨이퍼 위에서 이격된 위치에 있는 복수 칩(예를 들어 웨이퍼의 좌우 양단의 칩)의 화상을 이용하여 얼라인먼트를 행한다. 우선, 각각의 칩 내, 혹은 근방에 있는 유니크한 동일 패턴(각각의 칩 내에서 상대적으로 동일한 위치에 있는 패턴)을 템플릿으로서 등록한다(등록에 사용하는 패턴으로서는, 웨이퍼 위에 광학용 얼라인먼트 패턴으로서 작성된 것을 이용하는 경우가 많음).
다음으로, 각각의 칩에서 템플릿 등록한 패턴을 촬상하도록 스테이지 이동을 행하고, 각각의 칩에서 화상을 취득한다. 취득한 화상에 대하여 템플릿 매칭을 행한다. 그 결과로서 얻어지는 각각의 매칭 위치를 기초로, 스테이지 이동의 어긋남량을 산출하고, 이 어긋남량을 스테이지 이동의 보정값으로서 스테이지 이동의 좌표계와 웨이퍼의 좌표계를 합치는 일을 행한다. 또한, 이어서 행하는 전자 현미경에서의 얼라인먼트에서는, 미리 계측 위치에 가까운 유니크한 패턴을 템플릿으로서 등록해 두고, 템플릿으로부터 본 계측 위치의 상대 좌표를 기억해 둔다. 그리고, 전자 현미경으로 촬상한 화상으로부터 계측 위치를 구할 때는, 촬상한 화상에 있어서 템플릿 매칭을 행하여 매칭 위치를 정하고, 그곳으로부터 기억해 둔 상대 좌표 만큼 이동한 곳이 계측 위치로 된다. 이러한 템플릿 매칭을 이용하여, 원하는 계측 위치까지 장치의 시야를 이동시키는 일을 행한다.
또한, 전술한 스테이지 이동의 어긋남, 혹은 빔 시프트의 어긋남이 큰 경우에는, 전자 현미경으로 촬상한 화상 내에 얼라인먼트용 패턴이 찍히지 않는 경우가 있다. 그 경우에는, 촬상 위치 주변에서 얼라인먼트용 패턴을 다시 찾거나(주변 탐색), 혹은 계측을 중단하여 얼라인먼트에 실패한 사실을 알람으로 유저에게 전달하는 등의 처리(계측 중단)를 행하는 경우가 있다. 이 처리를 행하기 위해서는 화상 내에 얼라인먼트용 패턴이 있는지 여부의 판정이 필요해진다. 이 판정에는, 예를 들어 템플릿 매칭에서의 매칭 스코어(예를 들어 정규화 상관 연산에서의 상관값)를 사용한다. 매칭 스코어가 미리 설정한 기준값(이후, 이 기준값을 '스코어 억셉턴스'라고 함)보다 높으면 시야 내에 패턴이 있다고 판정하고, 매칭 스코어가 스코어 억셉턴스가 낮으면 패턴이 없다고 판정한다.
템플릿 매칭 방법은, 정규화 상관 등에 의한 화상 베이스의 방법과, 화상으로부터 추출한 특징점을 비교하는 특징점 베이스의 방법으로 나눌 수 있다. 전자(前者)의 화상 베이스에 의한 방법에서는, 예를 들어 피(被)서치 화상으로부터 템플릿과 같은 사이즈의 화상을 잘라내고, 절출된 화상과 템플릿의 상관값을 산출하고, 이 상관값을 피서치 화상으로부터 잘라내는 화상 위치마다(위치는 예를 들어 피서치 화상 전체면) 산출하고, 상관값이 큰 위치를 매칭 위치로 한다(비특허문헌 1). 한편, 후자(後者)의 특징점 베이스의 방법은, 템플릿과 피서치 화상의 각각에서 복수의 특징점을 추출하고, 예를 들어 양 화상에서 유사한 특징점을 찾아내어(대응점 매칭), 그 특징점을 겹치는 템플릿의 사영을 행했을 때(화상 간에서의 회전·스케일 등의 차이는 고려함), 사영한 영역이 겹치는 수가 많아지는 위치를 매칭 위치로 한다(비특허문헌 2).
일본 특허출원 제2001-243906호 공보(대응 미국 특허 US627888)
디지털 화상 처리(CG-ART 협회) p.203-204(2009) 다카기, 후지요시, SIFT 특징량을 이용한 교통 도로 표식인, SII07, LD2-06(2007) 곤도, 모리시타, 가츠라가와, 도이: "흉부 단순 X선 사진에 있어서의 에지 강조 화상을 이용한 환자 자동 인식법의 개발", 일본 방사선 기술 학회지, Vol. 59, No. 10 pp.1277-1284(2007)
앞에서 기술한 템플릿 매칭에 있어서, 템플릿과 피서치 화상에서 화상의 외견 괴리가 큰 경우에 매칭이 성공하지 않는 경우가 있다. 템플릿과 피서치 화상에서 화상의 외견 괴리가 커지는 이유로서, 예를 들어, 템플릿을 등록했을 때의 검사 장치의 촬상 조건과 피서치 화상을 촬상했을 때의 검사 장치의 촬영 조건의 차가 커진 경우, 템플릿을 등록했을 때 촬영한 반도체 패턴의 완성도와 피서치 화상을 촬상한 반도체 패턴의 완성도의 차이가 커진 경우, 혹은 템플릿을 등록했을 때의 반도체 패턴의 제조 공정과, 피서치 화상을 촬영했을 때의 반도체 패턴의 제조 공정이 서로 다른 경우 등이 있다. 또한, 여기에 든 예에 한하지 않고, 다양한 요인에 의해 템플릿과 피서치 화상에서 화상의 외견 괴리가 커지는 경우가 있다.
화상 베이스의 템플릿 매칭에 있어서는, 템플릿과 피서치 화상의 외견에 괴리가 있으면, 매칭 정해 위치에서의 상관값이 저하되어, 매칭에 실패할 우려가 있다. 템플릿과 피서치 화상의 외견의 차이를 작게 하기 위해서, 평활화 처리, 에지 강조 등의 전처리에서 행하는 방법도 제안되어 있다(비특허문헌 3).
그러나, 외견이 다양한 화상에 대하여, 매칭 정해 위치를 구하는 것은 어렵다. 또한 화상의 외견이 서로 다를 때, 유저가 스코어 억셉턴스를 변경하는 것이 필요하여, 장치의 가동률을 떨어뜨려버린다. 스코어 억셉턴스는, 이상적으로는, 통일된 값(고정값)이 바람직하지만, 현 상태의 방법에서는, 그것은 어렵다. 도 4는, 외견이 서로 다른 복수의 화상(샘플 ID: 1 내지 100)에 대하여, 매칭 정해 위치 및 매칭 비정해 위치에서의 상관값(매칭의 스코어)을 예시한 도면이다. 샘플에 따라 상관값이 서로 다르고, 하나의 스코어 억셉턴스(임계값) 202(혹은 203)에서는, 매칭 성립 여부를 판정하는 것은 곤란하게 되어 있다. 스코어 억셉턴스(임계값 1) 202를 사용하면, 구간 205의 샘플에서 매칭 정해 위치의 것을 매칭 비정해 위치로 잘못 판정하게 된다.
한편, 예를 들어 억셉턴스(임계값 2) 203을 사용한 경우에는, 매칭 비정해 위치의 샘플(205의 우측으로 되는 사선 영역)을 매칭 정해 위치로 잘못 판정해버린다.
이와 같이, 매칭 정해 위치와 비정해 위치에서의 스코어의 분리성이 나쁘면(통일된 스코어로 분리할 수 없으면), 매칭의 성립 여부 판정이 곤란해져서, 검사 장치에서 필요하게 되는 매칭 성능이 얻어지지 않을 우려가 있다.
또한, 특징점 베이스의 템플릿 매칭에 있어서는, 예를 들어 SIFT(Scale-Invariant Feature Transform) 등의 특징량을 이용한 방법 등(비특허문헌 2 참조)이 제안되어 있지만, 이 방법에 있어서도, 템플릿과 피서치 화상의 외견 괴리가 크면, 템플릿과 피서치 화상의 특징 벡터(특징 기술자)의 유사성이 나빠져서, 대응점 매칭을 능숙하게 할 수 없어 매칭이 불안정해진다는 문제가 있다.
본 발명은, 템플릿 매칭에 있어서, 템플릿과 피서치 화상에서 화상의 외견 괴리가 큰 경우에도, 정확한 매칭 위치를 출력하는 것을 목적으로 한다.
상기 과제를 해결하기 위해 본 발명에서는, 템플릿, 혹은 피서치 화상의 각각으로부터 따로따로 특징량(이후, '개별 특징량'이라 함)을 추출하여 비교할 뿐만 아니라, 템플릿과 피서치 화상의 양자로부터 구한 상호적인 정보(이후, '상호적 특징량'이라고 함)도 매칭 성립 여부의 판정 정보로서 이용한다. 이것을 실현하기 위한 본 발명의 대표적인 것의 개요는 다음과 같다.
본 발명에 의한 템플릿 매칭을 행하는 검사 장치는, 템플릿으로부터 화상 내의 좌표에 따라 정해지는 특징량을 추출하는 특징 영역 추출 처리부와, 피서치 화상으로부터 화상 내의 좌표에 따라 정해지는 특징량을 추출하는 특징량 추출 처리부와, 상기 템플릿으로부터 추출한 특징량, 및 상기 피서치 화상으로부터 추출한 특징량, 상기 템플릿과 피서치 화상의 상대 위치로부터, 템플릿과 피서치 화상의 양 화상의 상호적인 특징량 산출 처리부와, 복수의 상기 상호적인 특징량을 이용하여 템플릿과 피서치 화상의 매칭을 행하는 템플릿 매칭 처리부를 구비하는 것을 특징으로 한다.
또한 상기의 상호적 특징량을 복수 종류 이용하고, 또한 개별 특징량도 복수 종류를 이용하는 것을 특징으로 하고, 그들의 특징량에 의해 늘어나는 특징량 공간에 있어서, 매칭 대상의 좌표와, 매칭의 성립 여부를 가르는 식별면과의 거리를 매칭 스코어로 하는 것을 특징으로 하고, 경계면에서의 거리가 0일 때 스코어를 0으로 하고(혹은 스코어의 중앙값으로 함), 스코어가 정(正)이면 매칭 정해, 스코어가 부(負)이면 매칭 비정해(혹은, 스코어의 중앙값 이상이면 매칭 정해, 스코어의 중앙값 이하이면 비정해)로 하는 것을 특징으로 한다. 이에 의해 스코어 억셉턴스는 항상 0(혹은 스코어 중앙값)을 고정값으로 하는 것이 가능해진다.
본 명세서는, 본원의 우선권의 기초인 일본 특허출원 제2012-167363호의 명세서 및/또는 도면에 기재되는 내용을 포함한다.
본 발명에 의하면, 템플릿 매칭에 있어서, 템플릿과 피서치 화상에서 화상의 외견 괴리가 큰 경우에도, 정확한 매칭 위치를 출력할 수 있다.
도 1은, 본 발명의 일 실시 형태에 의한 템플릿 매칭을 행하는 검사 장치의 예(SEM)를 나타내는 도면이다.
도 2는, 본 발명의 일 실시 형태에 의한 템플릿 매칭 처리부의 일 구성예를 나타내는 기능 블록도이다.
도 3은, 본 발명의 일 실시 형태에 의한 템플릿 매칭 장치의 일 구성예를 나타내는 기능 블록도이며, 학습 처리 기능을 갖는 장치의 일례를 나타내는 도면이다.
도 4는, 외견이 서로 다른 복수의 화상(샘플 ID: 1 내지 100)에 대하여, 매칭 정해 위치 및 매칭 비정해 위치에서의 상관값(매칭의 스코어)을 예시한 도면이다.
도 5는, 본 실시 형태의 패턴 매칭 처리의 일 구성예를 나타내는 블록도이다.
도 6은, 본 실시 형태에 있어서의 매칭 스코어를 산출하는 처리를 설명하는 원리도이다.
도 7의 (a)는, 본 실시 형태에 있어서의 매칭 성립 여부 판정 경계면을 지정하는 수단을 설명하는 도면이며, (b)는, 그 처리의 개요를 나타내는 도면이다.
도 8은, 본 실시 형태에 있어서의 판정 지표값을 산출하는 처리의 흐름을 나타내는 도면이다.
도 9는, 제2류 특징량, 제3류 특징량을 설명하는 도면이다.
도 10은, 제2류 특징량의 산출 영역을 설명하는 도면이다.
도 11은, 제3류 특징량의 산출에 대하여 설명하는 도면이다.
도 12는, 본 실시 형태에 의한 판정 지표값의 예를 설명하는 도면이다.
도 13a는, 본 실시 형태에 의한 특징량의 예를 나타내는 도면이다.
도 13b는, 본 실시 형태에 의한 특징량의 예를 나타내는 도면이다.
도 13c는, 본 실시 형태에 의한 특징량의 예를 나타내는 도면이다.
도 13d는, 본 실시 형태에 의한 특징량의 예를 나타내는 도면이다.
도 13e는, 본 실시 형태에 의한 특징량의 예를 나타내는 도면이다.
도 13f는, 본 실시 형태에 의한 특징량의 예를 나타내는 도면이다.
도 13g는, 본 실시 형태에 의한 특징량의 예를 나타내는 도면이다.
도 14는, 본 실시 형태에 있어서의 학습 데이터를 부여하는 수단을 설명하는 도면이다.
도 15는, 매칭 성립 여부 판정 경계면의 학습 외에, 특징량 산출 방법도 학습하는 방법을 설명하는 도면이다.
도 16은, 본 실시 형태에 있어서의 매칭 성립 여부 판정 경계면을 수동으로 지정하는 예를 설명하는 도면이다.
도 17은, 본 실시 형태에 있어서의 매칭 결과의 안정성을 확인하는 수단을 설명하는 도면이다.
이하에서는, 본 발명에 따른 실시 형태에 대하여 도면을 참조하면서 상세히 설명한다. 또한, 도면 중에서 설명 번호가 동일한 것은, 특별히 언급이 없는 한 동일 부재를 나타내고 있는 것으로 한다.
도 1은, 본 발명의 일 실시 형태에 의한 검사 장치의 적용예로서, 반도체 웨이퍼 위에 형성된 반도체 디바이스의 패턴 치수 계측에 주로 사용되고 있는 주사형 전자 현미경(Scanning Electron Microscope: SEM)에 의해, 마스크 처리를 이용한 템플릿 매칭을 행할 때의 장치의 일 구성예를 나타내는 도면이다. 주사형 전자 현미경(SEM) A에서는, 전자총(1)으로부터 전자선을 발생시킨다. 스테이지(2) 위에 설치된 시료인, 예를 들어 반도체 웨이퍼(3) 위의 임의의 위치에 있어서 전자선이 초점을 연결하여 조사되도록, 편향기(4) 및 대물 렌즈(5)를 제어한다. 전자선이 조사된 반도체 웨이퍼(3)로부터는, 2차 전자가 방출되고, 2차 전자 검출기(6)에 의해 검출된다. 검출된 2차 전자는, A/D 변환기(7)에 의해 디지털 신호로 변환되고, 처리·제어부(14) 내의 화상 메모리(15) 내에 저장되고, CPU(16)에서 목적에 따른 화상 처리가 행해진다. 본 실시 형태에 의한 템플릿 매칭 처리는, 처리·제어부(14), 보다 상세하게는, 매칭 처리부(16a)에서 처리를 행한다. 도 13에서 후술하는 처리의 설정, 및 처리 결과의 표시는, 표시 장치(20)에서 행한다. 또한, 전자 현미경보다도 저배율의 광학식 카메라를 사용한 얼라인먼트에 있어서는, 광학식 카메라(11)를 이용한다. 반도체 웨이퍼(3)를, 본 카메라(11)로 촬상함으로써 얻어지는 신호도, A/D 변환기(12)에 의해 디지털 신호로 변환되어(광학식 카메라로부터의 신호가 디지털 신호인 경우에는, A/D 변환기(12)는 불필요함), 처리·제어부(14) 내의 화상 메모리(15)에 저장되고, CPU(16)에서, 목적에 따른 화상 처리가 행해진다.
또한, 반사 전자 검출기(8)가 구비되어 있는 경우에는, 반도체 웨이퍼(3)로부터 방출되는 반사 전자를, 반사 전자 검출기(8)에 의해 검출하고, 검출된 반사 전자는 A/D 변환기(9 혹은 10)에 의해 디지털 신호로 변환되어, 처리·제어부(14) 내의 화상 메모리(15)에 저장되고, CPU(16)에 있어서, 목적에 따른 화상 처리가 행해진다. 본 실시 형태에서는, 검사 장치의 예로서 주사형 전자 현미경을 나타냈지만, 적용하는 장치로서는, 이에 한정하는 것이 아니라, 화상을 취득하고, 템플릿 매칭 처리를 행하는 검사 장치 등에 적용할 수 있다.
도 2는, 본 실시 형태에 의한 검사 장치에서의 매칭 처리부의 일 구성예를 나타내는 기능 블록도이며, 도 5에 대응하는 처리를 행하는 처리부의 기능 블록도이다. 도 3은, 본 실시 형태에 의한 검사 장치에서의 템플릿 매칭 처리의 하나의 흐름을 포함하는 전체 구성예를 나타내는 기능 블록도이며, 학습 처리를 행하는 구성을 함께 나타내는 도면이다. 또한, 학습 처리와 매칭 처리는, 별도의 처리로 하여도 되고, 일부 공통의 하드웨어 구성 또는 소프트웨어 구성, 그들의 조합이어도 된다.
도 2에 도시한 바와 같이, 도 1에 도시한 매칭 처리부(16a)는, 예를 들어 2개의 입력의 특징량을 추출하는 특징량 추출부(16a-1)와, 제1 및 제2 특징량을 포함하는 복수의 특징량에 기초하여, 그들 특징량의 관계를 나타내는 상호적 특징량을 산출하는 상호적 특징량 산출부(16a-2)와, 상호적 특징량, 및 매칭 성립 여부 판정 경계면에 기초하여 템플릿 매칭의 판정을 행하고, 특징량 공간에서 상호 특징량과 매칭 성립 여부 판정 경계면과의 거리(스코어)를 구하는 템플릿 매칭 판정부(16a-3)와, 조회 대상이 남아 있는지 여부를 판정하는 조회 대상 판정부(16a-4)와, 예를 들어, 거리(스코어)가 최대가 되는 웨이퍼 위의 위치를 선출하는 스코어 위치 선출부(16a-5)와, 정해의 클래스인지 비정해의 클래스인지의 판정을 행하는 소속 클래스 판정부(16a-6)와, 매칭된 웨이퍼 위의 위치(x, y) 등과, 매칭 스코어 등을 대응지어 기억하는 기억부(16a-7)와, 이들의 기억된 값에 기초하는 표시 등의 출력을 행하는 출력부(16a-8)를 갖고 있다. 또한, 후술하는 학습 처리에 관련하여, 학습용으로 취득한 템플릿 화상으로부터 특징량을 추출하는 특징 영역 추출 처리부(16a-1a)와, 후술하는 학습 처리부(16a-2a)를 갖고 있다. 또한, 매칭 처리부(16a)는, 도 2에 도시한 모든 요소(기능부)를 구비하고 있어도 되며, 혹은 일부만을 구비하고 있어도 된다.
도 3은, 본 실시 형태에 의한 검사 장치에서의 매칭 처리부(16a)에 의한 처리의 흐름을 나타내는 흐름도이다.
도 3에 도시한 바와 같이, 본 실시 형태에 의한 처리는, 상호적 특징에 기초하는 판정 지표값 산출 처리 X와, 학습 처리에 기초하는 매칭 정해 여부 판정 경계면(식별 경계면)의 지정 처리 Y와, 처리 X, 처리 Y에 기초하는 템플릿 매칭 처리에 의한 판정 결과의 도출 처리를 포함한다.
상호적 특징에 기초하는 판정 지표값 산출 처리 X는, 미리 등록한 템플릿(101)과, 검사 장치에서 취득한 피서치 화상으로부터 절출된 화상(102)(매칭 후보 위치에 있어서의 절출(切出)된 화상)으로부터, 템플릿 매칭에 사용하는 판정 지표값(109)을 구하는 처리이다.
또한, 피서치 화상 내에 서치 대상의 패턴이 있는지 여부의 판정 처리, 및 매칭 위치를 구하는 수단의 상세에 대해서는, 도 6을 참조하면서 후에 설명한다. 본 실시 형태에서는, 예를 들어, 템플릿(101)과 피서치 화상(102)의 매칭 정해 위치에서, 화상의 외견 괴리가 커진 경우에도 패턴 매칭을 성공시키도록 하는 것이 하나의 목적이며, 상세하게는, 도 3의 설명의 후반부에 기술하지만, 템플릿(101) 및 피서치 화상(102)의 양 화상을 사용하여 구한 상호적 특징량(108)을 이용하여, 특징량 베이스의 매칭을 행하는 판정 지표값(109)을 구한다. 이에 의해, 예를 들어, 템플릿(101)만, 혹은 피서치 화상(102)만으로부터 구하고 있던 개별 특징량을 이용한 특징량 베이스의 매칭에서는 취급하기 어려웠던 템플릿(101)과 피서치 화상(102)에서의 외견의 차이에 기인하는 악영향을 받기 어려운 특징량에 의한 매칭(혹은, 악영향을 받기 어렵게 특징량을 이용하는 매칭)을 행할 수 있게 되어, 템플릿 매칭의 로버스트성을 향상시킬 수 있다.
상호적 특징량(108)은, 템플릿(101)으로부터 특징량 추출부(16a-1)에 의한 특징량 A 추출 처리(103)에 의해 추출한 특징량 A(105)와, 피서치 화상으로부터의 절출된 화상(102: 매칭 후보 위치)으로부터 특징량 추출부(16a-1)에 의한 특징량 B 추출 처리(104)에 의해 추출한 특징량 B(106)를 이용하여, 상호적 특징량 산출부(16a-2)에서 상호적 특징량 산출 처리(107)에 의해 구한다. 상호적 특징량의 산출 방법은 후술하지만, 단순한 산출 방법으로서는, 예를 들어, 특징량 A(105), 특징량 B(106)로서, 템플릿(101), 피서치 화상으로부터의 절출된 화상(102)을 그대로 사용하고, 양 화상의 정규화 상관값을 상호적 특징량의 하나로서 이용하도록 할 수 있다.
예를 들어, 2조의 대응하는 데이터 x, y 간에서의 평균으로부터의 편차의 곱의 평균값인 공분산 ρXY를, 상호적 특징량으로서 구하여도 된다.
ρXY=Cov(x, y)/(V(x))1/2·(V(y))1/2
구한 상호적 특징량(108)은, 템플릿 매칭 판정부(16a-3)(매칭 스코어 산출부)에서 사용하는 판정 지표값(109)의 일부, 혹은 전부로서 이용한다. 또한, 이 상호적 특징량(108)은, 1개로는 한정되지 않고, 종류가 서로 다른 복수의 특징량을 산출하여 이용할 수도 있다. 또한, 피서치 화상으로부터의 절출된 화상(102)으로부터 추출한 특징량 B(106)를, 그대로 개별 특징량으로서, 판정 지표값(109)의 일부로 이용할 수도 있다. 이 특징량도, 1개로는 한정되지 않고, 종류가 서로 다른 특징량을 복수 산출하여 개별 특징량으로서 이용할 수도 있다. 매칭 스코어 판정 처리부는, 거리가 0을 스코어의 중앙값으로서 설정하는 중앙값 설정 처리부를 갖고, 매칭 스코어의 중앙값 이하이면 매칭 비정해로 하고, 스코어의 중앙값 이상이면 매칭 정해로 하도록 하여도 된다.
한편, 학습 처리부(16a-2a)에서는, 템플릿(101a)과, 피서치 화상으로부터의 절출된 화상(102a: 매칭 정해 여부 정보)으로서, 화상(102a-1)과 매칭 정해 여부 정보(102a-2)를 이용할 수 있다. 이하의, 판정 지표값(109a)을 구할 때까지의 처리 Y는, 처리 X와 마찬가지이며, 동일한 알고리즘으로 실행할 수도 있고, 동일한 하드웨어에 의해 처리할 수도 있다. 별도의 구성에 의해 행하도록 하여도 된다.
처리 Y에서는, 판정 지표값(109a)으로부터, 매칭 정해 여부 판정 경계면의 지정 처리(110)를 행한다.
매칭 정해 여부 판정 경계면의 지정 처리(110)에 있어서는, 상세는 후술하지만, 판정 지표값 공간에서 매칭의 정해 여부를 가르는 경계면을 지정한다. 복수의 판정 지표값을 이용하고, 또한, 그 판정 지표값에는, 템플릿과 피서치 화상의 상호적인 관계를 기초로 구한 판정 지표값(109a)이 포함되기 때문에, 예를 들어, 화상 베이스의 매칭 방법에 있어서 상관값만을 사용한 경우에는 매칭 성립 여부를 가를 수 없는 케이스에서도, 본 실시 형태에 의한 방법에서는, 매칭의 성립 여부를 가를 수 있는 매칭 성립 여부 판정 경계면을 구할 수 있을 가능성이 높아진다. 학습 처리부(16a-2a)에 있어서의 매칭 정해 여부 판정 경계면의 지정 처리(110)에 있어서 지정된 매칭 정해 여부 판정 경계면(111)과, 상호적 특징량 산출 처리에 의해 구한 판정 지표값(109)을 이용하여, 템플릿 매칭 판정부(16a-3)에 있어서의 템플릿 매칭 판정 처리(112)에 의해, 판정 지표값 공간에서의 판정 지표값(109)의 매칭 판정 경계면으로부터의 거리를 매칭의 판정 지표로서 산출하고, 그 거리를 판정 결과(113: 매칭 스코어 등)로 한다. 이 거리의 산출 방법의 예에 대해서는 후술한다.
이상에 의해, 매칭 스코어를 산출하는 대상(피서치 화상으로부터의 절출된 화상(102))의 매칭 스코어 등의 매칭의 판정 지표를 산출할 수 있다. 이에 의해, 템플릿(101)과 피서치 화상(102)의 상호적인 관계도 특징량으로 한 특징량 베이스의 템플릿 매칭에 있어서, 복수의 상기 상호적인 특징량을 이용하여 매칭의 성립 여부를 가르는 식별 경계면을 산출하는 학습 결과를 이용하는 것이 가능하게 되어, 피서치 화상의 외견 변동에 대하여, 변동의 영향을 받기 어려운 매칭 처리가 가능해진다.
도 5는, 도 3을 참조하여 설명한 템플릿 매칭 처리를 이용하여, 서치 처리를 행하는 처리의 흐름을 나타내는 흐름도이다. 파선으로 둘러싼 부위(300)가 도 3에서 설명한 처리에 상당하고, 템플릿(101), 피서치 화상으로부터 절출된 화상(102), 및 학습 처리에 매칭 정해 여부 판정 경계면(111)을 사용하여, 템플릿 매칭 판정 처리(112)에 의해 매칭 판정 결과(113: 매칭 스코어)를 산출한다.
피서치 화상(301)으로부터 템플릿과 조회하는 영역의 화상 절출 처리(302)에 의해 절출된 화상(102)을 잘라내고, 템플릿(101)과 조회하여, 템플릿 매칭 판정 처리(112)를 거쳐 판정 결과(113)를 출력한다. 조회 대상의 판정 처리(303)에서는, 판정 결과(113)를 피서치 화상의 모든 조회 대상 위치에서 얻은 것인지 여부를 판정한다.
조회 대상이 아직 남아 있는 경우에는, 절출 위치 변경 처리(304)에서 절출 위치를 구하고, 템플릿과 조회하는 화상의 절출 처리(302)에서 화상을 잘라낸다. 조회 대상의 판정 처리(303)에서 모든 조회 대상에서 판정을 완료한 경우에는, 어떤 스코어, 예를 들어, 최대 스코어 위치의 선출 처리(305)를 행하고, 매칭 스코어가 최대가 되는 위치를 구한다. 매칭 스코어가 최대가 된 조회 위치에서의 매칭 스코어를 사용하여, 소속 클래스 판정 처리(306)에서, 매칭 스코어가 최대가 된 조회 위치가, 매칭 정해로 간주할 수 있는 위치인지, 매칭 비정해로 간주하는 위치인지를 판정한다.
이 처리는, 상세는 후술하지만, 판정 지표값 공간에서, 매칭 스코어가 최대가 된 조회 위치의 판정 지표값(109)이 매칭 정해 여부 판정 경계면을 기준으로 하여, 매칭 비정해측(비정해 클래스)에 속하는 경우(스코어 억셉턴스 이하로 된 경우)에는, 피서치 화상의 시야 내에 서치 대상의 패턴이 없었다고 판단한다. 이 경우에는, 촬상 위치 주변에서 얼라인먼트용 패턴을 찾거나, 혹은 계측을 중단하여 얼라인먼트에 실패한 것을 알람으로 유저에게 전달하는 등의 처리를 행하게 된다(비정해 클래스).
한편, 매칭 스코어가 최대가 된 조회 위치의 판정 지표값(109)이, 매칭 정해 여부 판정 경계면을 기준으로 하여, 매칭 정해측(정해 클래스)에 속하는 경우(스코어 억셉턴스 이상으로 된 경우)에는, 그 조회 위치를 매칭 위치(307)로서 출력한다. 또한 매칭 정해 여부와 함께 매칭 스코어도 출력할 수도 있다. 이상에 의해, 도 3에서 설명한 상호적 특징량을 이용하여 산출한 템플릿 매칭 결과, 예를 들어 매칭 스코어를 사용하여, 템플릿 매칭을 행할 수 있다.
도 6은, 도 3에서 설명한 매칭 스코어 산출 처리(112)에 대하여, 원리를 설명하는 도면이다.
본 실시 형태에서는, 도 6의 (a)에 판정 지표값 A 및 판정 지표값 B의 2개의 판정 지표값을 이용한 경우의 예를 나타내고 있다. 매칭 스코어는, 판정 지표값으로 늘어나는 판정 지표값 공간(본 예에서는 2차원으로 나타냄)에서, 스코어를 산출하는 대상의 좌표(판정 지표값 공간상의 좌표는, 각 판정 지표값(109)으로부터 결정됨)와, 매칭 정해 여부 판정 경계면(111)과의 거리를 사용한다. 매칭 정해 여부 판정 경계면(111)은, 도 3에서 설명한 바와 같이, 매칭 정해 여부 판정 경계면 지정 처리(110)의 결과로서 부여된다.
예를 들어, 스코어를 산출하는 대상이, 도면 중의 △표시(405)였을 때, 매칭 정해 여부 판정 경계면(111)까지의 거리가 파선부(410)로 된다. 거리로서는, 예를 들어 유클리드 거리를 사용할 수 있다. 또한, 사용하는 거리는, 유클리드 거리로 한정되는 것이 아니라, 매칭 정해 여부 판정 경계면(111)으로부터의 거리를 산출할 수 있는 수단이면 된다.
도 6의 (b)는, 매칭 정해 여부 판정 경계면(111)으로부터의 거리(410)와 매칭 스코어(411)의 관계를 나타낸 도면이다. 매칭 스코어(411)의 수취 방법으로서는, 예를 들어, 매칭 정해 여부 판정 경계면(111)으로부터의 거리가 0일 때 매칭 스코어(411)를 0으로 하고, 정해 위치의 클래스가 되는 경우에는 스코어를 정(正)의 값, 비정해 위치의 클래스가 되는 경우에는 부(負)의 값으로 하는 방법이 있다. 그때의 거리와 스코어의 관계는, 도 6의 (b)에 직선(412)으로 나타낸 바와 같이 선형으로 할 수 있다.
또한, 여기에서는 선형을 예로 들어 설명하지만, 관계는 선형으로 한정되는 것이 아니라, 비선형으로 거리와 스코어를 대응짓는 것도 가능하다. 본 실시 형태에서 대상으로 하고 있는 검사 장치에 있어서는, 앞에서 기술한 바와 같이 매칭의 정해 여부를 스코어 억셉턴스로 판단하는 경우가 있다. 이 스코어 억셉턴스에 대해서는, 유저 혹은 장치 설계자가 정하는 것을 요구되는 경우가 많아, 그 설정에 따라 매칭 성능이 서로 다른 경우도 있다. 앞에서 기술한 바와 같이 거리가 0인 경우를, 스코어를 0의 고정값으로 하면, 억셉턴스의 설정이 불필요해진다. 또한 종래의 매칭 방식에서 예를 들어 정규화 상관을 사용한 매칭으로 상관값을 이용한 매칭에서는, 판정 지표에 상당하는 것은 상관값의 1개만으로 되고, 그 값 바로 그 자체가 스코어로 된다. 그 경우에, 도 6의 (a)와 같이 1개의 값을 이용한 경우에, 매칭의 정해와 비정해로 가를 수 없는 경우에는, 적절한 억셉턴스 스코어를 설정할 수 없게 된다. 본 실시 형태에 의하면, 그와 같은 케이스도 회피하는 것이 가능해진다.
또한, 정해와 비정해를 가르는 억셉턴스 스코어를 0으로 한정할 필요는 없으며, 오프셋값을 설정하는 것도 가능하다. 또한 본 실시 형태에서는, 판정 지표값 A 및 판정 지표값 B의 2개의 판정 지표값을 이용하여, 2차원에서 매칭 정해 여부 판정을 행하는 예를 나타냈지만, 판정 지표값은 2개로 한정하는 것이 아니라, 2개보다도 많은 판정 지표값을 이용하여 정해 여부를 판정할 수 있다.
도 7은, 도 3에서 기술한 매칭 정해 여부 판정 경계면(111)의 지정 처리(110)에 대하여 설명하는 도면이다. 매칭 성립 여부 판정 경계면(111)은, 판정 지표값 공간에 있어서, 매칭 정해가 되는 사례(도 7의 (a)에서는 ○로 기재)와, 매칭 비정해가 되는 사례(도 7의 (a)에서는 ×로 기재)를 가르는 것을 목적으로 하여 설정한다. 그렇게 함으로써, 도 6에서 설명한 소속 클래스 판정 처리(306)에 있어서, 매칭 성립 여부 판정 경계면(111)을 기준으로, 어느 측에 매칭 결과가 있는지를 판정할 수 있고, 매칭 결과가, 매칭 정해 위치인지, 혹은, 매칭 비정해 위치인지를 알 수 있다. 매칭 성립 여부 판정 경계면(111)은, 예를 들어 SVM(Support Vector Machine)에서 이용되고 있는 방법에 의해 구할 수 있다.
이하에, 상세히 설명한다. SVM은, 교사가 있는 상태에서의 학습을 이용하는 식별 방법의 하나이다. 매칭 성립 여부 판정 경계면(111)은, SVM에서의 분리 초평면('식별면' 등이라고도 함)에 상당한다. 도 7의 (a)에서는, 매칭 성립 여부 판정 경계면(111)이 분리 초평면으로 되고, 매칭 성립 여부 판정 경계면(111)의 내측 파선부(501), 및 매칭 성립 여부 판정 경계면(111)의 외측 파선부(502)가 SVM에서의 마진으로 불리는 것으로 된다. 또한 마진 상의 점을, 서포트 벡터라 부르고 있다(매칭 정해가 되는 사례, 및 매칭 비정해가 되는 사례의 각각에서 적어도 하나는 있음).
SVM에서는, 학습 데이터 중에서 가장 다른 사례와 가까운 위치에 있는 것(그것이 서포트 벡터임)을 기준으로 하여, 그 유클리드 거리가 가장 커지는 위치에 분리 초평면을 설정한다. 즉, 사례의 최단으로부터 다른 사례까지의 마진을 최대로 한다(마진 최대화).
본 실시 형태에서의 매칭 성립 여부 판정 경계면(111)을, SVM의 분리 초평면으로 함으로써, 복수의 판정 지표값이 있는 경우에도 특징량 공간에서 매칭 정해의 사례와 매칭 비정해의 사례를 분리하는 것이 가능해진다. 즉, 본 방법에 의해 구한 매칭 성립 여부 판정 경계면(111)을 기준으로 사용하여, 매칭 성립 여부의 판정을 할 수 있게 된다.
도 7의 (b)는, 매칭 성립 여부 판정 경계면(111)을 구하는 처리의 구성을 설명하는 도면이다. 우선 도 5에서 설명한 복수의 판정 지표값(109a)과, 매칭 성립 여부(102-2)의 조합을 하나의 사례로 하고, 그 사례를 복수 포함한 데이터(102a: 학습 데이터)를 준비한다. 이 학습 데이터(102a)에는, 매칭 정해의 사례와 매칭 비정해의 사례가 포함되도록 한다. 이어서, 학습 데이터에 기초하여, 전술한 바와 같이 SVM을 사용하여 SVM의 분리 초평면을 구하고(111), 구한 분리 초평면을 매칭 성립 여부 판정 경계면(111)으로 한다.
이상의 처리에 의해, SVM을 사용하여, 복수의 판정 지표값으로부터 매칭 성립 여부 판정 경계면(111)을 구할 수 있다. 또한, 식별면(분리 초평면)을 구하는데 SVM으로 한정할 필요는 없으며, 매칭 정해의 사례와, 매칭 비정해의 사례를 분리하는 매칭 성립 여부 판정 경계면이 구해지는 방법이면 된다.
도 8은, 도 3, 및 도 5에서 기술한 판정 지표값 산출 수단에 대하여 설명하는 도면이다. 도 3에서 설명한 바와 같이, 템플릿(101) 및 매칭 후보 위치에서의 절출된 화상(102)으로부터 판정 지표값(109a)을 산출한다.
다음으로, 상호적 특징량의 산출 방법에 대하여 우선 설명한다. 특징량 A 추출 처리(103)에서 템플릿(101)으로부터 추출한 특징량(여기서는 특징량 A(105)로 함)과, 특징량 B 추출 처리(104)에서 매칭 후보 위치의 절출된 화상(102)으로부터 추출한 특징량(여기서는 특징량 B(106)로 함)을 이용하여, 상호적 특징량 산출 처리(107)에서 특징량 D(108)를 구한다. 상호적 특징량의 산출 방법은, 도 9에서 설명한다. 또한 도 3에서 설명한 개별 특징량은, 매칭 후보 위치에서의 절출된 화상(102), 혹은 템플릿(101)을 사용하여, 특징량 C 추출 처리(605)에서 특징량 C(608)를 산출한다. 개별 특징량의 산출 방법은, 도 9에서 설명한다. 구한 특징량 D(108), 혹은 특징량 C(608)를 판정 지표값(109a)으로 한다. 또한, 특징량 A(105), 특징량 B(106), 특징량 C(608), 특징량 D(108)는, 각각 복수 종류를 이용하여도 된다. 판정 지표값(109a)도 복수 종류를 이용하게 된다. 본 구성에 의해, 템플릿(101), 및 매칭 후보 위치에서의 절출된 화상(102)으로부터, 상호적 특징량, 및 개별 특징량을 복수 종류를 구하고, 그 특징량을 판정 지표값(109a)으로 할 수 있다.
도 9는, 도 8에서 기술한 특징량에 대하여 설명하는 도면이다. 특징량을, 그 성질에 따라 분류하고, 제1류 특징량, 제2류 특징량, 제3류 특징량으로 부르기로 한다. 제1류 특징량은, 특징량을 산출하는 화상에 있어서, 화상 내의 위치(좌표)에 따르지 않고 대상 화상, 혹은 대상 화상의 일부 영역으로부터 정해지는 특징이다. 예를 들어, 화상 전체의 화소값 평균값, 화소값 분산값 등은, 제1류 특징량으로 된다. 본 특징량은 개별 특징량에 상당한다. 제2류 특징량은, 화상 내의 위치(좌표)에 따라 정해지는 특징량이다. 예를 들어, 도 9의 (a)에 도시한 바와 같이, 화상 상의 좌표(i,j) 1402(여기에서는 화상의 좌상을 화상 좌표계의 원점으로 하고 있음)에 있어서, 산출되는 특징량 Vi,j로 된다. 여기에서는, 특징량 Vi,j는, 다차원의 벡터로서 표시할 수 있다. 도 9의 (a)에 도시한 바와 같이, 특징량의 벡터 Vi,j는, f1로부터 fn을, 벡터 요소로 한다(n은, 벡터의 요소 수). 예를 들어 SIFT 특징량(비특허문헌 2)은, 화상 상의 어떤 좌표마다(특징점마다) 정해지는 벡터로 특징을 표현한다. SIFT 특징량에서는, 특징점 주변 영역을 복수의 소영역으로 분할하고(16 영역), 각 소 영역에서의 화소값의 구배 방향(8 방향)을 빈으로 하는 히스토그램을 생성하고, 그 각 히스토그램의 각 빈을 벡터 요소(요소 수는 128개(16×8))의 하나로 하는 벡터를 특징량으로서 이용한다. 본 특징량도 개별 특징량에 상당한다. 제3류 특징량은, 템플릿 화상으로부터 산출한 제2류 특징량 및 피서치 화상으로부터 산출한 상기 제2류 특징량과, 양 화상 간의 상대 위치(예를 들어 양 화상의 조회 위치)에 따라 정해지는 특징량이다. 상호적 특징량은, 제3류 특징량으로 된다. 제2류 특징을 이용하여 제3류 특징을 구하는 방법(상호적 특징량 산출 방법)은, 도 11, 도 13에서 상세를 설명하지만, 예를 들어, 도 9의 (b)에 도시한 바와 같이 템플릿 화상과 피서치 화상으로부터 절출된 영역(파선부)의 상대 위치(1416)에 따라 정해지는 특징량이다.
도 10은, 도 9에서 기술한 제2류 특징량에 있어서, 화상 내의 위치에 따라 정해지는 특징량의 산출 시의 특징량 산출 영역에 대하여 설명하는 도면이다. 도 10의 (a)는, 화상 내의 어떤 좌표로부터 특징량을 구하는 예이다. 이 좌표에 있어서의, 화소값, 화소값 구배 정보 등을 특징량으로 한다. 따라서 특징량은 화상 내에서의 좌표에 따라 정해지게 된다. 도 10의 (b)는, 화상 내의 어떤 직사각형 영역으로부터 특징량을 구하는 예이다. 이 직사각형 영역에 있어서의, 화소값 평균, 화소값 분산, 화소값 히스토그램의 각 빈의 값, 혹은 직사각형 영역을 소영역으로 나누어 산출한 화소값 구배 방향 히스토그램의 각 빈의 값 등을 특징량으로 한다. 이에 의해, 특징량을 산출하는 주목 좌표 주변의 특징도 이용할 수 있고, 본 특징을 이용함으로써 매칭을 보다 로버스트하게 할 수 있게 된다. 도 10의 (c)는, 화상 내의 원형 영역으로부터 특징량을 구하는 예이다. 도 10의 (b)의 직사각형 영역과 마찬가지로, 이 원형 영역에서의, 화소값 평균, 화소값 분산, 화소값 히스토그램의 각 빈의 값, 또는, 원형 영역을 소영역으로 나누어 산출한 화소값 구배 방향 히스토그램의 각 빈의 값 등을 특징량으로 한다. 이에 의해, 특징량을 산출하는 주목 좌표 주변의 특징도 이용할 수 있고, 본 특징을 이용함으로써 매칭을 보다 로버스트로 할 수 있게 된다. 도 10의 (d)는, 화상 내의 어떤 임의 형상의 영역에서의 특징량을 구하는 예이다. 이 도 10의 (b), (c)의 직사각형 영역, 원형 영역과 마찬가지로, 이 임의 형상의 영역으로부터 특징량을 산출하여도 된다. 이에 의해, 특징량을 산출하는 주목 좌표 주변의 특징도 이용할 수 있고, 본 특징을 이용함으로써 매칭을 보다 로버스트하게 할 수 있게 된다.
도 11은, 도 9에서 기술한 제3류 특징량에 있어서, 제2류 특징량으로부터 제3류 특징량을 구하는 방법을 설명하는 도면이다. 앞에서 기술한 바와 같이 제3류 특징량은, 템플릿 화상의 제2류 특징량과, 피서치 화상의 상기 제2류 특징량의 상대 위치에 기초하여 구한다.
도 11의 (a)는, 피서치 화상(1605)으로부터 템플릿 화상(1601)과 동일한 사이즈의 영역(1610: 파선부)을 잘라내고(절출 위치(X,Y)(1607)), 절출된 영역으로부터 제2류 특징량을 산출한다. 상기 제2류 특징량을 템플릿 화상(1601)으로부터도 산출한다. 이 피서치 화상(1605)으로부터 산출한 제2류 특징량과, 템플릿 화상(1601)으로부터 산출한 제2류 특징량의, 상호 관계를 구한 것이, 상호적 특징량으로 된다. 예를 들어, 양자의 제2류 특징량을 나타내는 벡터의 거리값을 상호적 특징량으로 한다. 거리로서는, 유클리드 거리, 맨해튼 거리, 바타차리아 거리 등, 양 특징량 간의 관계를 정량화할 수 있는 것이면 한정하지 않는다. 이상에 의해, 이 상호적 특징량은, 템플릿 화상과 피서치 화상의 상대 위치에 따라 정해지는 특징량으로 된다(본 예에서는, 피서치 화상에 있어서의 화상 절출 위치(X,Y)(1607)가 상대 위치에 상당함).
도 11의 (b)는, 도 11의 (a)의 방법과는 다른 방법으로, 템플릿 화상과 피서치 화상의 상대 위치를 정하는 방법을 설명하는 도면이다. 본 방법은, 피서치 화상 상에서 템플릿 화상이 어느 위치와 유사한 지를 추정하기 위한 방법의 하나로서 투표 베이스 방법을 이용한 경우의 투표값을 제3류 특징량으로 하는 방법이다. 템플릿 화상, 및 피서치 화상 각각에 있어서, 제2류 특징량을 산출한다(여기에서의 피서치 화상에서의 제2류 특징량의 산출은, 화상 영역 전체를 대상으로 함). 템플릿 화상에 있어서 제2류 특징량을 구할 때의 위치 기준이 되는 점(1631)을 기준점으로 부르기로 한다(예를 들어 도 11의 (a)에 있어서 화상 좌표계에서 좌상을 원점 O으로 하고, 원점을 기준으로 제2류 특징량을 정하고 있는 경우에는, 원점 O이 기준점으로 됨). 양 화상의 제2류 특징량 중 유사도가 가장 높은 특징량을 선출하고, 그것을 페어로서 기억한다. 템플릿 화상에서의 제2류 특징량의 산출 위치(좌표)로부터 기준점으로의 거리, 및 벡터 방향을 기초로, 템플릿 화상에서의 제2류 특징량과 페어가 된 피서치 화상측의 제2류 특징량의 산출 위치(좌표)에 대하여 템플릿 화상에서 구한 거리, 및 벡터 방향에 상당하는 좌표(피서치 화상에서의 템플릿 화상의 기준점 위치로 추정되는 좌표)를 구한다. 그리고, 구한 좌표에 대하여 매칭 위치 후보 좌표로서 투표를 행한다(페어의 하나에 대하여 투표를 1회). 이 투표 처리를 모든 페어(혹은 어떤 일정상의 유사도가 있는 모든 페어)의 조에 대하여 행한다. 피서치 화상으로부터 템플릿 화상에 상당하는 영역을 잘라내고, 매칭 후보로 할 때, 그 잘라낸(절출된) 영역의 기준점(예를 들어 절출된 영역의 좌상의 좌표)(1641)에서의 투표 수를 제3류 특징량으로 한다. 또한, 각 특징점에서 유사도가 가장 높은 것을 선택하는 예를 나타내었지만, 각 특징점에서 유사도가 높은 상위의 수의 조를 사용하여도 된다(예를 들어 상위 3조를 사용함).
이상에 의해 제2류 특징량으로부터 제3류 특징량을 산출할 수 있다. 상호적 특징량인 제3류 특징량을 이용함으로써, 보다 로버스트한 매칭을 행하는 것이 가능해진다.
도 12는, 도 8에서 기술한 특징량의 구체적인 예를 설명하는 도면이다. 도 8에서 설명한 특징량 A(105), 특징량 B(106), 및 특징량 C(608)(개별 특징량)는, 동일 종류의 것을 이용할 수 있다. 도 12에 도시한 바와 같이 특징량 A(105), 특징량 B(106), 및 특징량 C(608)의 특징량에는, 예를 들어 화상 내의 어떤 지정한 좌표를 기준으로 한 영역 내의 텍스처에 관한 특징량(702), 혹은 화상에 찍혀 있는 패턴의 구조 정보를 나타내는 에지 특징량(703) 등을 이용할 수 있다. 텍스처에 관한 특징량의 예로서는, 후에 설명하지만, 히스토그램 특징량(707), 콘트라스트 특징량(708), 동시 생기 행렬(709)을 사용한 것 등이 있다. 본 특징량은, 도 9에서 설명한 제2류 특징량에 상당하는 특징량으로 된다.
또한, 텍스처의 정보를 추출할 수 있는 방법, 및 특징량이면 되며, 이들에 한정하는 것이 아니다. 히스토그램 특징(707)은, 템플릿과 피서치 화상의 각각에서 화상 내의 어떤 지정한 좌표를 기준으로 하여 영역 내의 계조값 히스토그램을 해석하여 얻은 평균, 분산, 왜곡도, 첨예도 등을 특징량으로 한다. 콘트라스트 특징량(708)은, 템플릿과 피서치 화상의 각각에서 지정된 영역의 평균 계조값을 특징량으로 한다. 상기한 지정된 영역은, 예를 들어 화상 중에서 패턴(예를 들어 라인 패턴)이 존재하는 영역, 혹은 패턴이 존재하지 않는 영역(하지(下(地)영역)을 사용한다. 또는, 템플릿과 피서치 화상의 각각의 시야 내에서의 지정한 복수의 영역 간의 콘트라스트 차를 구하여(화상 내의 콘트라스트 특징), 그 값을 특징량으로서 이용하여도 된다. 또한 SIFT(비특허문헌 2) 등의 방법을 이용하여 구한 특징점 정보(704) 등도 있다. 에지 특징량(703)으로서는, HOG(Histograms of Oriented Gradients) 등의 특징량이 있다.
한편 특징량 D(상호적 특징량(720))에 대해서는, 특징량 A(105), 및 특징량 B(106)에서 구한 특징량으로부터 상호적으로 산출한다. 도 13에서 설명하지만, 예를 들어, 히스토그램 특징이면, 템플릿과 피서치 화상의 각각으로부터 구한 히스토그램을 해석하여 얻은 평균, 분산, 왜곡도, 첨예도 등의 일치도(예를 들어 값의 차분)를 특징량으로 한다. 또는, 템플릿과 피서치 화상의 각각으로부터 구한 히스토그램의 분포 형상 상관값을 특징량으로 하여도 된다. 또한 콘트라스트 정보이면, 템플릿과 피서치 화상의 각각으로부터 구한 콘트라스트 특징의 일치도(예를 들어 값의 차분)를 특징량으로 한다. 또한 템플릿과 피서치 화상의 그 자체의 상관값을 특징량으로 하여도 된다. 그때 사용하는 화상은, 입력 화상 바로 그 자체이어도 되거나, 혹은 노이즈 제거 처리, 에지 강조 처리 등의 전처리를 사전에 행한 화상을 사용하여도 된다. 또한 코너 시점 정보로부터 상호적 특징량을 구하는 경우에는, 템플릿과 피서치 화상의 각각으로부터 구한 코너 점이 일치한 수를 사용할 수 있다. 또는, SIFT에서 구한 특징점을 기초한 경우에는, 비특허문헌 2에 개시되어있는 바와 같이 대응점 매칭에서의 Voting 수를 특징량으로 하여도 된다. 본 특징량은, 도 9에서 설명한 제3류 특징량에 상당한다.
이상과 같은 복수의 개별 특징량(701), 및 상호적 특징량의 일부, 혹은 전부를 도 3, 도 5에서 설명한 템플릿 매칭에서는 이용할 수 있다.
도 13은, 도 12에서 기술한 특징량의 산출 수단의 일례를 설명하는 도면이다. 도 8, 및 도 12에서 기술한 특징량 A(105), 특징량 B(106), 및 특징량 C(608)에, 다음에 기술하는 어느 것의 특징량도 이용할 수 있다.
도 13a는, 히스토그램 특징을 설명하는 도면이다. 히스토그램 특징은 지정한 영역 내의 계조값 히스토그램의 분포 형상, 혹은 분포를 해석하여 얻어지는 값을 특징으로서 이용하는 수단이다. 템플릿(801)과, 피서치 화상(802)으로부터 절출된 화상(803)의 각각으로부터 히스토그램(804, 805)을 구한다. 특징량으로서는, 히스토그램의 분포 형상 그대로 이용할 수 있다. 예를 들어 히스토그램의 각 빈(데이터 범위의 분할 구간)의 빈도를 요소로 하는 벡터를 특징으로 한다. 또는, 분포의 형상을 분석하여 산출한 평균, 분산, 왜곡도, 첨예도의 일부, 혹은 전부를 특징량으로 하여도 된다. 또한 계조값 히스토그램에 누적 히스토그램을 사용하여도 된다.
도 13b는, 콘트라스트 특징을 설명하는 도면이다. 템플릿(811), 및 피서치 화상(812)으로부터 절출된 화상(813)에 있어서, 지정한 영역 내(814, 815)에서의 계조값의 평균값을 특징량으로서 이용한다. 또한, 평균값으로 한정하는 것이 아니라, 영역 내의 계조값의 정보를 나타낼 수 있는 정보이면 되며, 예를 들어 분산값, 최대값, 최소값 등이어도 된다.
도 13c는, 콘트라스트 특징에 관하여 도 13b와 다른 특징량에 대하여 설명하는 도면이다. 템플릿(821)에 있어서, 지정한 복수의 영역(822 및 823)의 각각에서 계조값의 평균값의 비(화상 내에서의 콘트라스트)를 구하고, 그 값을 특징량으로 한다. 마찬가지로, 피서치 화상(824)으로부터 절출된 화상(825)에 대해서도 지정한 복수의 영역(826, 및 827)에서 계조값의 평균값의 비(화상 내에서의 콘트라스트)의 특징량으로 한다. 여기에서는, 평균값을 이용하였지만, 그에 한정하는 것이 아니라, 영역 내의 계조값의 정보를 나타낼 수 있는 정보이면 되고, 예를 들어 분산값, 최대값, 최소값 등이어도 된다.
상기의 도 13a로부터 도 13c까지 예시되는 방법에 의해 취득한 특징량은, 앞에서 기술한 특징량 A(105), 특징량 B(106), 및 특징량 C(608)로 이용할 수 있는 개별 특징량이다. 또한, 그 밖에, 도 12에서도 기술한 바와 같이, 동시 생기 행렬(709), 에지 특징량(703), SIFT 특징량(704), Harr-like 특징량(705), HLAC 특징량(706) 등이 있다. 단, 이들 특징량에 한정되는 것이 아니라, 템플릿 및 피서치 화상으로부터 절출된 화상의 특징을 나타내는 값, 혹은 벡터를 구하는 것이면 된다.
도 8, 도 12에서 설명한 특징량 D(720)인 상호적 특징량은, 템플릿 화상, 및 피서치 화상으로부터 절출된 화상으로부터 구한 개별 특징량을 비교함으로써 구할 수 있다.
예를 들어, 도 13a에서 구한 히스토그램 특징량에서는, 템플릿 화상, 및 피서치 화상으로부터 절출된 화상으로부터 구한 히스토그램의 분포 형상의 상관값을 상호적 특징량으로 한다. 또는, 히스토그램을 해석하여 얻은 값인 평균(혹은, 분산, 왜곡도, 첨예도 등)의 차, 혹은 비 등을 상호적 특징량으로 할 수도 있다. 도 13b 및 도 13c에서 구한 콘트라스트의 특징량에 대해서도, 템플릿 화상, 및 피서치 화상으로부터 구한 값의 차, 혹은 비를 상호적 특징량으로 할 수 있다. 또한 상호적 특징량으로서 이하와 같은 것을 이용할 수 있다.
도 13d는, 라인 프로파일 특징을 설명하는 도면이다. 템플릿(831), 및 피서치 화상(832)으로부터 절출된 화상(833)의 각각에 있어서, 화상의 일정한 방향으로 화소를 가산 평균(투영)하여 이차원의 파형을 구한다. 이것을 라인 프로파일이라 부르고 있다. 도 13d에서는, 각 화상 모두 Y 방향으로 투영을 행한 예이며, 각각의 화상의 라인 프로파일(834, 835)의 상관값을 구하고, 그 상관값을 상호적 특징량으로 할 수 있다. 또한, 라인 프로파일로 상관을 취하는 범위는, 라인 프로파일 전체를 사용하는 것으로 한정하지 않고, 라인 프로파일의 일부를 잘라낸 구간만의 상관값을 이용하여도 된다.
도 13e는, 화상 바로 그 자체의 상관값을 상호적 특징량으로 하는 예를 나타내는 도면이다. 템플릿(841), 및 피서치 화상(842)으로부터 절출된 화상(843)에 있어서 화상 간의 상관값을 산출하고, 그 상관값을 특징량으로 한다.
도 13f는, SIFT의 대응점 매칭 결과를 상호적 특징량으로 하는 예이다. 템플릿(851)과 피서치 화상(852)의 각각에서 추출한 특징점(특징 기술자)에서 대응점 매칭(예를 들어, 화살표로 연결한 것이 대응점(853)임)을 행하면, 피서치 화상(852)에서 대응하는 특징점의 좌표와 스케일과 회전량이 구해진다(비특허문헌 2). 템플릿(851)에 있어서, 기준점 좌표(예를 들어, 템플릿(851)에서의 흰색 동그라미의 위치)를 정해 놓고, 앞의 좌표와 스케일과 회전량의 정보로부터 일반화 하프 변환과 같이 피서치 화상(852)에서의 기준점의 위치에 투표(Voting 처리)를 행한다(비특허문헌 2). 특징량은, 피서치 화상 상으로부터 절출한 화상의 위치(혹은 그 주변)에 템플릿이 사영되는 투표 횟수로 할 수 있다. 또한 투표 횟수가 아니라, 그 주변의 영역도 고려하여, 투표의 밀집도(투표 횟수/주변 영역의 면적)로 하여도 된다. 또한 대응점 매칭에서 얻은 대응점의 템플릿 SIFT 특징량과 피서치 화상에서의 SIFT 특징량의 상관값을 특징량으로 하여도 된다.
도 13g는, 도 13f의 SIFT 대신에 Corner의 대응점 매칭 결과를 상호적 특징량으로 하는 예이다. 템플릿(861)과 피서치 화상(862)으로부터 절출된 화상(863)의 각각에서 추출한 것인 Corner를 특징점으로서 대응점 매칭(예를 들어, 화살표로 연결한 것이 대응점임)을 행하면, 피서치 화상(862)에서 대응하는 특징점의 좌표와 스케일과 회전량이 구해진다.
이상과 같은 방법에 의해 상호적 특징량을 구할 수 있다. 또한, 상호적 특징량의 산출 방법은 여기에서 설명한 방법으로 한정하는 것이 아니라, 템플릿과 피서치 화상의 상호적인 관계를 표현하는 특징량(스칼라값, 혹은 벡터 등)이면 된다.
또한, 템플릿 및 피서치 화상에 전처리를 행하고, 노이즈 저감, 혹은 특징을 강조한 화상을 생성하고, 생성한 화상에 대하여 상기의 특징량(개별 특징량, 및 상호적 특징량)을 구할 수도 있다. 전처리로서는, 예를 들어, 평활화 필터링, 에지강조 필터링, 2치화 처리 등의 처리가 있다. 여기에 예로 든 처리에 한정하는 것이 아니라, 전처리로서 사용할 수 있는 필터 처리이면 어떤 것이어도 된다. 또한 복수의 전처리를 조합한 처리를, 템플릿, 혹은 피서치 화상에 대하여 행하고, 그 처리에서 얻은 화상에 대하여 상기의 특징량(개별 특징량, 및 상호적 특징량)을 구할 수도 있다.
이상의 상호적 특징량, 및 개별 특징량의 복수를 판별 지표값으로 이용함으로써, 종래와 같이 개별 특징량만으로는 매칭의 성립 여부의 판별에 실패한 케이스에 대해서도, 매칭의 성립 여부의 판정에 성공하는 것이 가능해진다. 그것은, 템플릿과 피서치 화상의 상호적인 관계의 정보도 판별 지표값으로 이용하여, 템플릿과 피서치 화상의 상호적인 관계의 변화도 흡수할 수 있도록, 판별 지표값 공간에서 매칭 성립 여부 판별 경계면을 구할 수 있음에 기인하는 이점이다.
도 14는, 도 7에서 설명한 매칭 성립 여부 판정 경계면(111)을 산출할 때의 학습 데이터에 대하여 상세히 설명한 도면이다. 도 14의 (a)는, 단순한 학습 데이터의 예이며, 하나의 템플릿(1001)과, 피서치 화상에서의 매칭 정해 위치를 절출한 화상(1002), 및 매칭 비정해 위치를 절출된 화상(1003)을 학습 데이터로 이용한다. 여기서, 피서치 화상으로부터 절출된 화상(정해 위치, 및 비정해 위치)은, 1매의 화상으로부터 복수 매 취하는 경우에는 복수 매를 사용하여도 되고, 복수의 화상을 학습에 사용하는 경우에는(템플릿은 공통), 복수인 학습에 이용하는 화상의 각각으로부터 1매, 혹은 복수, 화상을 잘라내어도 된다. 잘라내는 화상의 매수를 늘리고, 템플릿과 피서치 화상의 외견이 서로 다른 샘플을 많게 함으로써, 도 7에서 설명한 판별 지표값 공간에서의 매칭 성립 여부 판정 경계면(111)의 매칭 정해 위치와 비정해 위치를 판별하는 범화 성능이 향상될 가능성이 높아진다.
도 14의 (b)는, 학습 데이터에 이용하는 템플릿(1011)을 복수 종류 사용하는 경우의 예를 나타내는 도면이다. 이와 같이 복수매의 템플릿(1004)을 사용함으로써 특정한 템플릿의 패턴이나 외견에 의존하는 정도가 낮은, 즉, 보다 범용성이 높은 매칭 성립 여부 판정 경계면을 구하는 것이 가능해진다.
도 15는, 도 3에 있어서, 매칭 성립 여부 경계면을 학습할 뿐만 아니라, 특징량 추출부에서의 특징량 추출 방법도, 학습에 따라 결정하는 방법을 설명하는 도면이다. 본 예에서는, 특징량 추출 방법을 유전적 알고리즘(이하, 'GA'라고 함), 혹은 유전적 프로그래밍(이하, 'GP'라고 함)에 의해 학습하는 예를 나타내고 있다. 특징량 추출은 복수의 화상 처리의 조합으로 구성된다. 또한 각 화상 처리는, 복수의 설정 파라미터를 갖는 경우가 있다. 이 화상 처리의 조합, 및 각 처리의 설정 파라미터를 GA, 혹은 GP를 사용하여 학습한다. 판정 지표값을 산출하기 위한 화상 처리 조합(파라미터 설정도 포함함)을 염색체(해의 후보)로 한다. 도 15의 (a)는, 학습에 GA, 혹은 GP를 사용한 경우의 처리의 흐름을 나타낸 것이다. 우선, 복수의 처리 특징량 추출 처리(초기 염색체군)의 생성(1701)을 행한다. 다음으로 고체군에 대하여 후술하는 학습 종료 판정을 위한 평가(1702)를 행한다. 평가의 결과, 학습이 종료(1703)하면, 특징량 추출 방법, 및 매칭 성립 여부 판정 경계면이 결정된다. 학습 종료 판정의 종료라고 판단되지 않은 경우에는, 염색체의 선택(1704), 교차(1705), 돌연변이(1706)를 행한다. 그 결과 얻어진 염색체군에 대하여 다시 학습 종료 판정을 위한 평가(1702)를 행한다. 학습 종료될 때까지, 본 처리를 반복하여 행한다(세대 갱신). 도 15의 (b)는, 도 15의 (a)의 평가부를 상세히 나타내는 도면이다. 앞에서 기술한 바와 같이 염색체(1721)는, 판정 지표값(1728)을 산출하는 처리의 조합이다(하나의 염색체로부터 복수의 판정 지표값을 산출함). 염색체(해의 후보)(1721)는, 복수 개 생성한다(예를 들어 100개체 생성). 각 염색체(특징량 추출 처리)에서 구한 판정 지표값을 기초로, 매칭 성립 여부 판정 경계면의 산출 처리(1723)를 행한다. 여기에서는, 앞에서 기술한 SVM에 의해, 매칭 성립 여부 판정 경계면을 산출한다. 이때, 평가값(1724)으로서, 예를 들어 SVM에서의 매칭 경계면으로부터 서포트 벡터까지의 거리(스코어)를 평가값으로서 이용할 수 있다. 이 평가값이, 지정된 값을 만족하는지 여부에 의해 학습의 종료 판정(1725)을 행한다(예를 들어 거리가 지정된 값보다도 큰지의 여부). 학습이 종료했을 때의 염색체가, 특징량 추출 방법(화상 처리의 조합, 및 각 화상 처리의 파라미터 설정)으로 되고, 또한 아울러 매칭 성립 여부 판정 경계면도 정해진다. 학습이 종료되지 않은 경우에는, 학습을 계속해서, 도 15의 (a)에 도시한 선택(1704), 교차(1705), 돌연변이(1706)의 처리를 다시 행한다(세대 교대). 또한, 여기서 평가값으로서, 거리를 사용하였지만, 매칭 성립 여부 판정 경계면의 불량 여부를 판단할 수 있는 평가값이면, 거리에 한정되는 것은 아니다.
이상과 같이, GA(혹은 GP)와, SVM을 조합하여 사용함으로써 매칭 성립 여부 판정 경계면뿐만 아니라, 특징량 추출 처리 방법도 학습하는 것이 가능해진다. 또한, 학습에 이용하는 방법은, GA(혹은 GP), SVM에 한정하지 않고, 이와 같은 학습이 가능한 방법이면 된다.
도 16은, 매칭 성립 여부 판정 경계면(111)의 매뉴얼 설정을 실현하기 위한 GUI의 일례를 나타내는 도면이다. 매칭 성립 여부 판정 경계면(111)은, 앞에서 설명한 바와 같이, 예를 들어 SVM 등의 방법을 이용하여 구할 수 있지만, 도 16에 도시한 예에서는, 매칭 성립 여부 판정 경계면(111)을 유저가 매뉴얼로 지정하는 수단에 대하여 설명한다. 도 16의 (a)는, GUI에 의한 유저 설정의 예를 나타내는 도면이다. 도 16의 (a)에 도시한 GUI에서는, 판정 지표값 공간을 예를 들어 LCD 화면 등의 표시 장치(20)에 표시한다. 도 16의 (a)에서는, 판정 지표값 A(1103), 판정 지표값 B(1104)의 2개의 판정 지표값을 종축과 횡축에 취한 그래프를 예로 하고 있지만, 3개 이상의 복수의 판정 지표값을 이용하고 있는 경우에는, 축에 표시하는 지표값을 전환함으로써 표시하는 것도 가능하다. 본 GUI에서, 경계면 묘화 버튼(1102)을 마우스 등으로 선택하고, 매칭 판정 경계면(1101)의 유저 입력의 수취를 개시한다. 다음으로 GUI 상의 판정 지표값 공간에 마우스 입력 등에 의해 유저가 매뉴얼로 판정 경계면(1101)을 묘화한다. 유저가 묘화한 매칭 판정 경계면을 도 3에서 설명한 매칭 성립 여부 판정 경계면(111)으로서 유저 지정에 의해 사용할 수 있다.
또한 GUI는, 도 16에 도시한 바와 같은 포맷으로 한정하는 것이 아니라, 매칭 성립 여부 판정 경계면(111)을 유저가 매뉴얼로 지정할 수 있는 것이면 주지의 기술을 이용할 수 있다.
도 16의 (b), (c)는, GUI에 표시하는 판정 지표값 공간의 일례를 나타내는 도면이다. 도 16의 (b)는, 매칭 정해 여부 판정 경계면(111)을 직선으로 그린 예이며, 도 16의 (c)는, 매칭 정해 여부 판정 경계면(111)을 곡선으로 그린 예를 나타내는 도면이다. 또한, 그래프 상에 기호 ○, 혹은 기호 ×로서 표시하고 있는 플롯이, 학습 데이터에 있어서의 판정 지표값이며, 하나의 기호가, 1조의 템플릿과 피서치 화상으로부터 절출된 화상으로부터 구한 판정 지표값으로 된다. 여기에서는, ○가 매칭 정해인 경우의 값, ×가 매칭 비정해인 경우의 값으로 되어 있다. 이 기호 ○, 기호 ×의 분포는, 유저가 매칭 성립 여부 판정 지표값(1103, 1104)을 매뉴얼 조작으로 지정할 때의 참고 데이터로서 표시하는 것이 가능하다. 또한, 여기에서는, 기호로 ○, ×를 사용하였지만, 그에 한정하는 것이 아니라, 매칭 정해, 비정해를 구별할 수 있는 것이면 된다. 이상에 의해, 복수의 매칭 성립 여부 판정 지표값이 있는 경우에도 매뉴얼로 매칭 성립 여부 판정 지표값(1103, 1104)을 입력하는 수단을 제공하는 것이 가능하다.
도 17은, 매칭 결과의 안정성을 판정 지표값으로 늘어나는 판정 지표값 공간에서 확인하기 위한 GUI의 예를 설명하는 도면이다. 도 17의 (a)는, 2차원의 판정 지표값 공간의 예이다. 판정 지표값 A(1203)와 판정 지표값 B(1204)로 늘어나는 판정 지표값 공간에서, 매칭 성립 여부 판정 경계면(1201) 및 매칭으로 조회 위치(매칭 결과)를 얻었을 때의 템플릿과 피서치 화상으로부터 절출된 화상으로부터 구한 판정 지표값을 기초로 매칭 결과의 판정 지표값 공간에서의 위치(1202)를 GUI에서는 표시한다. 이 도면에 도시한 GUI에 의해, 매칭 결과가, 매칭 성립 여부 판정 경계면(1201)으로부터 어느 정도 이격되어 있는지의 이미지를 그래피컬하게 확인하는 것이 가능해진다. 매칭 결과가 매칭 성립 여부 판정 경계면(1201)에 가까우면, 판정 지표값이 조금 상이하면 매칭 정해/비정해가 서로 다르게 되어, 매칭이 불안정해질 우려가 있음을 확인할 수 있다.
한편, 매칭 결과가 매칭 성립 여부 판정 경계면(1201)으로부터 이격되어 있으면, 매칭이 안정되어 있을 가능성이 높다는 사실을 확인할 수 있다.
도 17의 (b)는, 도 17의 (a)와 마찬가지로, 매칭 결과의 안정성을 확인하는 GUI의 예를 나타내는 도면이지만, 3개의 판정 지표값으로 펼쳐지는 판정 지표값 공간을 3차원 그래프로 그래피컬하게 확인할 수 있다. 매칭 성립 여부 판정 경계면(1205), 매칭 결과의 위치(1202)를 도 17의 (a)와 마찬가지로 표시할 수 있다.
또한, 매칭 성립 여부 판정 경계면(1205)은, 투과 표시에 의해 경계면 내에 있는 데이터도 확인할 수 있다. 또한 시점의 이동 버튼(1206, 1207) 등에 의해, 표면측, 이면측 등이 임의의 시점에서, 판정 지표값 공간 내의 학습 데이터, 매칭 성립 여부 판정 경계면, 및 매칭 결과의 위치를 확인할 수 있다.
도 17의 (c)는, 도 17의 (a), (b)와 마찬가지로, 매칭 결과의 안정성을 확인하는 GUI이며, 복수의 판정 지표값으로 늘어나는 판정 지표값 공간을, 임의의 2개의 판정 지표값으로 늘어나는 판정 지표값 공간에 매칭 판정 경계면을 투영한 것 (1214)의 전부, 혹은 일부를 대응시켜서 배열한 표시(1211)가 행해지고 있다. 도 17의 (c)는, 판정 지표값이 A, B, C, D(1212, 1213)의 4개가 있는 경우의 예이며, 예를 들어, A와 B로부터 얻어지는 판정 지표값 공간에 매칭 판정 경계면을 투영한 것(1214)을 임의의 대응 관계에 대하여 볼 수 있다. 이상에 의해, 매칭 결과의 안정성을 확인하는 GUI를 제공하는 것이 가능하다. 또한, 이 GUI에서의 표시 부재의 배치, 사이즈, 항목은, 도면에 도시한 것에 한정되지 않고, 판정 지표값 공간에 있어서의 학습 데이터, 매칭 성립 여부 판정 경계면, 매칭 결과의 위치 관계를 확인할 수 있는 표시 방법이면 된다.
상기의 실시 형태에 있어서, 첨부 도면에 도시되어 있는 구성 등에 대해서는, 이들에 한정되는 것이 아니라, 본 발명의 효과를 발휘하는 범위 내에서 적절히 변경하는 것이 가능하다. 그 밖에, 본 발명의 원하는 범위를 일탈하지 않는 한도에 있어서 적절히 변경하여 실시하는 것이 가능하다.
또한, 본 발명의 각 구성 요소는, 임의로 취사 선택할 수 있으며, 취사 선택한 구성을 구비하는 발명도 본 발명에 포함되는 것이다.
본 발명은, 패턴 매칭 장치에 이용 가능하다.
A: 주사형 전자 현미경
14: 처리 제어부
15: 화상 메모리
16a: 매칭 처리부
16a-1: 특징량 추출부
16a-2: 상호적 특징량 산출부
16a-3: 템플릿 매칭 판정부
16a-4: 조회 대상 판정부
16a-5: 스코어 위치 선출부
16a-6: 소속 클래스 판정부
16a-7: 기억부
16a-8: 출력부
20: 표시 장치
본 명세서에서 인용한 모든 간행물, 특허 및 특허 출원을 그대로 참고로서 본 명세서에 원용하기로 한다.

Claims (10)

  1. 피서치 화상에 대하여 패턴 매칭을 행하는 매칭 처리 장치로서,
    학습용으로 취득한 템플릿 화상으로부터 화상 내의 좌표에 따라 정해지는 특징량을 추출하는 영역을 추출하는 특징 영역 추출 처리부와,
    학습용으로 취득한 피서치 화상으로부터 화상 내의 좌표에 따라 정해지는 특징량을 추출하는 특징량 추출 처리부와,
    상기 템플릿 화상으로부터 추출한 특징량과 상기 피서치 화상으로부터 추출한 특징량, 및 상기 템플릿 화상과 상기 피서치 화상의 상대 위치로부터, 템플릿 화상과 피서치 화상의 제1 상호적인 특징량을 산출하는 제1 상호적 특징량 산출 처리부와,
    특징량 추출 연산이 상이한 복수의 상기 특징량 추출 처리부에서 추출한 화상 내의 동일한 좌표에 있어서 특징량의 값이 상이한 특징량으로부터 산출한 복수의 상기 제1 상호적인 특징량을 이용하여 매칭의 성립 여부를 가르는 식별 경계면을 산출하는 식별 경계면 산출부와,
    검사 대상으로부터 취득한 템플릿 화상과 피서치 화상으로부터 제2 상호적인 특징량을 산출하는 제2 상호적 특징량 산출 처리부와,
    화상 내의 동일한 좌표에 있어서 특징량의 값이 상이한 특징량으로부터 산출한 복수의 상기 제2 상호적인 특징량과 상기 식별 경계면을 사용하여 검사 대상의 템플릿 화상과 피서치 화상의 매칭을 행하는 템플릿 매칭 처리부
    를 구비하는 것을 특징으로 하는 매칭 처리 장치.
  2. 제1항에 있어서,
    상기 템플릿 매칭 처리부는,
    복수의 특징량을 포함하는 특징량 공간에 있어서, 상기 식별 경계면으로부터의 거리를 매칭 스코어로서 산출하는 매칭 스코어 산출 처리부를 구비하는 것을 특징으로 하는 매칭 처리 장치.
  3. 제2항에 있어서,
    상기 매칭 스코어 산출 처리부는,
    거리가 0을 스코어의 중앙값으로서 설정하는 중앙값 설정 처리부를 갖고,
    매칭 스코어의 중앙값 이하이면 매칭 비정해(不正解)로 하고, 스코어의 중앙값 이상이면 매칭 정해(正解)로 하는 것을 특징으로 하는 매칭 처리 장치.
  4. 제1항에 있어서,
    상기 제2 상호적인 특징량 산출부에 있어서,
    템플릿과 피서치 화상의 정규화 상관값, 및 템플릿으로부터 추출한 특징점군과 피서치 화상으로부터 추출한 특징점에서 유사한 특징점의 좌표 일치도, 및 템플릿으로부터 구한 계조값 히스토그램과 피서치 화상으로부터 구한 계조값 히스토그램의 일치도 중 적어도 어느 하나를 특징량으로 하는 것을 특징으로 하는 매칭 처리 장치.
  5. 제1항에 있어서,
    상기 제1 상호적인 특징량과, 템플릿으로부터 추출한 특징량과, 피서치 화상으로부터 추출한 특징량 중 적어도 어느 하나와, 사전에 취득한 템플릿과 피서치 화상의 매칭 성립 여부 결과를 입력으로 하여, 상기 매칭 판정 경계면을 구하는 매칭 성립 여부 판정 경계면 지정 처리부를 구비하는 것을 특징으로 하는 매칭 처리 장치.
  6. 제5항에 있어서,
    상기 매칭 대상의 특징량과 상기 식별 경계면을 GUI에 표시시킴과 함께, 상기 매칭 대상의 특징량에 따라서, 마진을 최대화하도록 매칭 처리의 정해 여부를 판정 가능하게 하는 상기 식별 경계면을 구하는 처리를 행하는 것을 특징으로 하는 매칭 처리 장치.
  7. 제1항에 기재된 매칭 처리 장치에 의해 패턴 매칭을 행하는 것을 특징으로 하는 검사 장치.
  8. 피서치 화상에 대하여 패턴 매칭을 행하는 매칭 처리 방법으로서,
    학습용으로 취득한 템플릿 화상으로부터 특징량을 추출하는 영역을 추출하는 특징 영역 추출 스텝과,
    학습용으로 취득한 피서치 화상으로부터 특징량을 추출하는 특징량 추출 스텝과,
    상기 템플릿 화상으로부터 추출한 특징량과 상기 피서치 화상으로부터 추출한 특징량으로부터 템플릿 화상과 피서치 화상의 제1 상호적인 특징량을 산출하는 제1 상호적 특징량 산출 스텝과,
    복수의 상기 제1 상호적인 특징량을 이용하여 매칭의 성립 여부를 가르는 식별 경계면을 산출하는 식별 경계면 산출 스텝과,
    검사 대상으로부터 취득한 템플릿 화상과 피서치 화상으로부터 제2 상호적인 특징량을 산출하는 제2 상호적 특징량 산출 스텝과,
    상기 제2 상호적인 특징량과 상기 식별 경계면을 사용하여 검사 대상의 템플릿 화상과 피서치 화상의 매칭을 행하는 템플릿 매칭 스텝
    을 구비하는 것을 특징으로 하는 매칭 처리 방법.
  9. 컴퓨터에, 제8항에 기재된 매칭 처리 방법을 실행시키기 위한 프로그램.
  10. 피서치 화상에 대하여 패턴 매칭을 행하는 매칭 처리 장치로서,
    템플릿 화상으로부터 화상 내의 좌표에 따라 정해지는 특징량을 추출하는 영역을 추출하는 특징 영역 추출 처리부와,
    피서치 화상으로부터 화상 내의 좌표에 따라 정해지는 특징량을 추출하는 특징량 추출 처리부와,
    상기 템플릿 화상으로부터 추출한 특징량과 상기 피서치 화상으로부터 추출한 특징량, 및 상기 템플릿 화상과 상기 피서치 화상의 상대 위치로부터, 템플릿 화상과 피서치 화상의 상호적인 특징량을 산출하는 상호적 특징량 산출 처리부와,
    특징량 추출 연산이 상이한 복수의 상기 특징량 추출 처리부에서 추출한 화상 내의 동일한 좌표에 있어서 특징량의 값이 상이한 특징량으로부터 산출한 복수의 상기 상호적인 특징량과, 사전에 설정한 매칭의 성립 여부를 가르는 식별 경계면을 사용하여 검사 대상의 템플릿 화상과 피서치 화상의 매칭을 행하는 템플릿 매칭 처리부
    를 구비하는 것을 특징으로 하는 매칭 처리 장치.
KR1020157002223A 2012-07-27 2013-07-16 매칭 처리 장치, 매칭 처리 방법, 및 그것을 이용한 검사 장치 KR101701069B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2012-167363 2012-07-27
JP2012167363A JP5941782B2 (ja) 2012-07-27 2012-07-27 マッチング処理装置、マッチング処理方法、及びそれを用いた検査装置
PCT/JP2013/069296 WO2014017337A1 (ja) 2012-07-27 2013-07-16 マッチング処理装置、マッチング処理方法、及びそれを用いた検査装置

Publications (2)

Publication Number Publication Date
KR20150036230A true KR20150036230A (ko) 2015-04-07
KR101701069B1 KR101701069B1 (ko) 2017-02-13

Family

ID=49997151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157002223A KR101701069B1 (ko) 2012-07-27 2013-07-16 매칭 처리 장치, 매칭 처리 방법, 및 그것을 이용한 검사 장치

Country Status (5)

Country Link
US (1) US9619727B2 (ko)
JP (1) JP5941782B2 (ko)
KR (1) KR101701069B1 (ko)
TW (1) TWI579775B (ko)
WO (1) WO2014017337A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190014615A (ko) * 2017-08-02 2019-02-13 세메스 주식회사 기판 처리 장치 및 기판의 안착 상태 판단 방법
KR20190103926A (ko) * 2018-02-28 2019-09-05 서울대학교산학협력단 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법
WO2019168310A1 (ko) * 2018-02-28 2019-09-06 서울대학교산학협력단 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법
KR20210043695A (ko) * 2018-09-24 2021-04-21 에이에스엠엘 네델란즈 비.브이. 패터닝 공정의 패턴들의 세트로부터 후보 패턴들을 결정하는 방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6063315B2 (ja) * 2013-03-26 2017-01-18 富士フイルム株式会社 真贋判定システム，特徴点登録装置およびその動作制御方法，ならびに照合判定装置およびその動作制御方法
JP6403196B2 (ja) * 2014-11-07 2018-10-10 日本電子株式会社 画像評価方法および荷電粒子ビーム装置
JP6454533B2 (ja) * 2014-12-15 2019-01-16 株式会社日立ハイテクノロジーズ 荷電粒子線装置
US11669953B2 (en) 2015-01-30 2023-06-06 Hitachi High-Tech Corporation Pattern matching device and computer program for pattern matching
JP6511986B2 (ja) 2015-06-26 2019-05-15 富士通株式会社 プログラム生成装置、プログラム生成方法および生成プログラム
US10373379B2 (en) * 2015-08-20 2019-08-06 Disney Enterprises, Inc. Deformable-surface tracking based augmented reality image generation
TWI578240B (zh) * 2015-12-01 2017-04-11 財團法人工業技術研究院 特徵描述方法及應用其之特徵描述器
JP2017211765A (ja) * 2016-05-24 2017-11-30 アイシン精機株式会社 物体認識装置
US10417737B2 (en) * 2017-06-21 2019-09-17 International Business Machines Corporation Machine learning model for automatic image registration quality assessment and correction
US10424045B2 (en) * 2017-06-21 2019-09-24 International Business Machines Corporation Machine learning model for automatic image registration quality assessment and correction
EP3719513A4 (en) * 2017-11-27 2021-08-25 Hamamatsu Photonics K.K. ANALYSIS METHOD, ANALYSIS DEVICE, ANALYSIS PROGRAM AND RECORDING MEDIUM FOR RECORDING THE ANALYSIS PROGRAM
JP6898211B2 (ja) 2017-11-27 2021-07-07 浜松ホトニクス株式会社 光計測方法、光計測装置、光計測プログラム、及び光計測プログラムを記録する記録媒体
JP6844564B2 (ja) * 2018-03-14 2021-03-17 オムロン株式会社 検査システム、識別システム、及び学習データ生成装置
CN110969661B (zh) * 2018-09-30 2023-11-17 上海微电子装备（集团）股份有限公司 图像处理装置及方法、位置标定系统及方法
CN109724988B (zh) * 2019-02-01 2021-05-18 佛山市南海区广工大数控装备协同创新研究院 一种基于多模板匹配的pcb板缺陷定位方法
JP7395566B2 (ja) * 2019-04-02 2023-12-11 株式会社半導体エネルギー研究所 検査方法
JP7298333B2 (ja) * 2019-06-25 2023-06-27 オムロン株式会社 外観検査管理システム、外観検査管理装置、外観検査管理方法及びプログラム
US11244440B2 (en) * 2019-08-30 2022-02-08 Intel Corporation Ranking of objects with noisy measurements
CN110704559B (zh) * 2019-09-09 2021-04-16 武汉大学 一种多尺度矢量面数据匹配方法
JP7449111B2 (ja) * 2020-02-18 2024-03-13 キヤノン株式会社 検査装置、検査方法
CN111695621B (zh) * 2020-06-09 2023-05-05 杭州印鸽科技有限公司 一种基于深度学习的检测定制物品与订单匹配的方法
CN114202578A (zh) * 2020-09-18 2022-03-18 长鑫存储技术有限公司 一种晶圆的对准方法和装置
KR102510581B1 (ko) * 2022-09-06 2023-03-16 주식회사 포스로직 쉐이프 어레이 매칭 방법 및 이러한 방법을 수행하는 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101186A (ja) * 1991-10-08 1993-04-23 Sumitomo Cement Co Ltd 光学的パターン識別方法
JPH09138785A (ja) * 1995-11-14 1997-05-27 Mitsui Eng & Shipbuild Co Ltd パターンマッチング方法および装置
JP2001243906A (ja) 2000-02-29 2001-09-07 Hitachi Ltd 走査電子顕微鏡
US20110135166A1 (en) * 2009-06-02 2011-06-09 Harry Wechsler Face Authentication Using Recognition-by-Parts, Boosting, and Transduction
US20120087574A1 (en) * 2010-10-12 2012-04-12 Sony Corporation Learning device, learning method, identification device, identification method, and program

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014465A (ja) * 1999-06-29 2001-01-19 Matsushita Electric Ind Co Ltd 物体認識方法及び物体認識装置
US6647139B1 (en) 1999-02-18 2003-11-11 Matsushita Electric Industrial Co., Ltd. Method of object recognition, apparatus of the same and recording medium therefor
EP1049030A1 (en) * 1999-04-28 2000-11-02 SER Systeme AG Produkte und Anwendungen der Datenverarbeitung Classification method and apparatus
US6868175B1 (en) * 1999-08-26 2005-03-15 Nanogeometry Research Pattern inspection apparatus, pattern inspection method, and recording medium
JP4199939B2 (ja) * 2001-04-27 2008-12-24 株式会社日立製作所 半導体検査システム
JP2003076976A (ja) * 2001-08-31 2003-03-14 Mitsui Eng & Shipbuild Co Ltd パターンマッチング方法
JP2006293528A (ja) * 2005-04-07 2006-10-26 Sharp Corp 学習用画像選択方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびに記録媒体
JP2006292615A (ja) * 2005-04-13 2006-10-26 Sharp Corp 外観検査装置、外観検査方法、コンピュータを外観検査装置として機能させるためのプログラムおよび記録媒体
JP4901254B2 (ja) * 2006-03-22 2012-03-21 株式会社日立ハイテクノロジーズ パターンマッチング方法、及びパターンマッチングを行うためのコンピュータプログラム
US7525673B2 (en) * 2006-07-10 2009-04-28 Tokyo Electron Limited Optimizing selected variables of an optical metrology system
JP4814116B2 (ja) * 2007-01-29 2011-11-16 三菱重工業株式会社 実装基板外観検査方法
JP5460023B2 (ja) * 2008-10-16 2014-04-02 株式会社トプコン ウェハのパターン検査方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101186A (ja) * 1991-10-08 1993-04-23 Sumitomo Cement Co Ltd 光学的パターン識別方法
JPH09138785A (ja) * 1995-11-14 1997-05-27 Mitsui Eng & Shipbuild Co Ltd パターンマッチング方法および装置
JP2001243906A (ja) 2000-02-29 2001-09-07 Hitachi Ltd 走査電子顕微鏡
US20110135166A1 (en) * 2009-06-02 2011-06-09 Harry Wechsler Face Authentication Using Recognition-by-Parts, Boosting, and Transduction
US20120087574A1 (en) * 2010-10-12 2012-04-12 Sony Corporation Learning device, learning method, identification device, identification method, and program

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
곤도, 모리시타, 가츠라가와, 도이: "흉부 단순 X선 사진에 있어서의 에지 강조 화상을 이용한 환자 자동 인식법의 개발", 일본 방사선 기술 학회지, Vol. 59, No. 10 pp.1277-1284(2007)
다카기, 후지요시, SIFT 특징량을 이용한 교통 도로 표식인, SII07, LD2-06(2007)
디지털 화상 처리(CG-ART 협회) p.203-204(2009)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190014615A (ko) * 2017-08-02 2019-02-13 세메스 주식회사 기판 처리 장치 및 기판의 안착 상태 판단 방법
KR20190103926A (ko) * 2018-02-28 2019-09-05 서울대학교산학협력단 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법
WO2019168310A1 (ko) * 2018-02-28 2019-09-06 서울대학교산학협력단 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법
US11475612B2 (en) 2018-02-28 2022-10-18 Seoul National University R&Db Foundation Device for spatial normalization of medical image using deep learning and method therefor
KR20210043695A (ko) * 2018-09-24 2021-04-21 에이에스엠엘 네델란즈 비.브이. 패터닝 공정의 패턴들의 세트로부터 후보 패턴들을 결정하는 방법

Also Published As

Publication number Publication date
KR101701069B1 (ko) 2017-02-13
WO2014017337A1 (ja) 2014-01-30
JP5941782B2 (ja) 2016-06-29
JP2014026521A (ja) 2014-02-06
TWI579775B (zh) 2017-04-21
US20150199583A1 (en) 2015-07-16
WO2014017337A8 (ja) 2014-05-22
US9619727B2 (en) 2017-04-11
TW201415379A (zh) 2014-04-16

Similar Documents

Publication Publication Date Title
KR101701069B1 (ko) 매칭 처리 장치, 매칭 처리 방법, 및 그것을 이용한 검사 장치
JP6794766B2 (ja) 指紋処理装置、指紋処理方法、プログラム、指紋処理回路
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
JP4301775B2 (ja) ２次元コード読み取り装置，２次元コード読み取り方法，２次元コード読み取りプログラム及び該プログラムの記録媒体
US20140016854A1 (en) Pattern matching device and computer program
EP2833288A1 (en) Face calibration method and system, and computer storage medium
JP2006048322A (ja) オブジェクト画像検出装置、顔画像検出プログラムおよび顔画像検出方法
TWI479431B (zh) 物件追蹤方法
CN108154151B (zh) 一种快速多方向文本行检测方法
JP2013061802A (ja) 画像認識装置、画像認識方法及びプログラム
US10074551B2 (en) Position detection apparatus, position detection method, information processing program, and storage medium
JP2020119135A (ja) 画像評価装置及び方法
JP2011210054A (ja) 対象物検知装置及びその学習装置
JP6713185B2 (ja) テンプレートマッチングを用いた検査装置および検査方法
CN110288040B (zh) 一种基于拓扑验证的图像相似评判方法及设备
EP3955207A1 (en) Object detection device
JP2020181582A (ja) テンプレートマッチングを用いた検査装置および検査方法
US10140509B2 (en) Information processing for detection and distance calculation of a specific object in captured images
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
EP2887261B1 (en) Information processing device, information processing method, and program
JP4775957B2 (ja) 顔検出装置
JP4674853B2 (ja) 画像処理用部品データ作成方法及び画像処理用部品データ作成装置
US20230194253A1 (en) Pattern Inspection/Measurement Device, and Pattern Inspection/Measurement Program
US11181463B2 (en) Image processing device, cell recognition apparatus, cell recognition method, and cell recognition program
JP2022060505A (ja) 指紋処理装置、指紋処理方法、プログラム、指紋処理回路

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200107

Year of fee payment: 4