KR101978995B1 - 결함 화상 분류 장치 및 결함 화상 분류 방법 - Google Patents

결함 화상 분류 장치 및 결함 화상 분류 방법 Download PDF

Info

Publication number
KR101978995B1
KR101978995B1 KR1020177034927A KR20177034927A KR101978995B1 KR 101978995 B1 KR101978995 B1 KR 101978995B1 KR 1020177034927 A KR1020177034927 A KR 1020177034927A KR 20177034927 A KR20177034927 A KR 20177034927A KR 101978995 B1 KR101978995 B1 KR 101978995B1
Authority
KR
South Korea
Prior art keywords
image
defect
unit
classification
classifying
Prior art date
Application number
KR1020177034927A
Other languages
English (en)
Other versions
KR20170141255A (ko
Inventor
유지 다카기
미노루 하라다
다케히로 히라이
Original Assignee
가부시키가이샤 히다치 하이테크놀로지즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히다치 하이테크놀로지즈 filed Critical 가부시키가이샤 히다치 하이테크놀로지즈
Publication of KR20170141255A publication Critical patent/KR20170141255A/ko
Application granted granted Critical
Publication of KR101978995B1 publication Critical patent/KR101978995B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G01N2021/95615—Inspecting patterns on the surface of objects using a comparative method with stored comparision signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/611—Specific applications or type of materials patterned objects; electronic devices
    • G01N2223/6116—Specific applications or type of materials patterned objects; electronic devices semiconductor wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

ADC와 육안 분류의 병용에 있어서의 결함 분류 작업에 있어서, 종래의 육안 분류의 과제를 해결하고, ADC와 육안 분류, 혹은 ADC와 그 외의 분류 장치를 병용해서, 신뢰성이 높은 ADC의 성능 평가와, ADC 학습 데이터의 갱신을 가능하게 한다.
결함의 화상을 분류하는 장치를, 다른 촬상 수단으로 촬상하여 얻어진 결함의 화상을 기억하는 기억부와, 다른 복수의 결함 분류 수단으로 결함을 분류한 결함 클래스의 정보를 사용해서 기억부에 기억한 결함의 화상 중에서 화상을 선택하는 화상 선택부와, 화상 선택부에서 선택한 화상을 분류 레시피에 의거하여 분류하는 화상 분류부와, 화상을 분류한 결과에 의거하여 화상 분류부의 분류 성능을 평가하는 분류 성능 평가부와, 분류 성능 평가부에서 평가한 결과가 미리 설정한 기준에 달하지 않을 경우에는 상기 화상 선택부에서 선택한 화상을 사용해서 상기 화상 분류부의 분류 레시피를 갱신하는 학습 갱신부를 구비하여 구성했다.

Description

결함 화상 분류 장치 및 결함 화상 분류 방법
본 발명은 반도체 웨이퍼의 제조 중에 발생한 결함을 촬상한 화상을 자동 분류하는 결함 화상 분류 장치 및 결함 화상 분류 방법에 관한 것이다.
반도체의 제조 프로세스에서는, 수율의 향상을 도모하기 위해, 반도체 웨이퍼 상의 결함의 발생 원인을 긴급히 구명하여 대책을 세우는 것이 중요하고, 제조 현장에서는 외관 검사 장치와 결함 관찰 장치를 사용해서 결함의 해석을 행하고 있다. 외관 검사 장치란 광학적인 수단, 또는 전자선을 사용해서 웨이퍼를 검사하고, 검출된 결함의 위치 좌표를 출력하는 장치이다. 외관 검사 장치는 웨이퍼 전체면을 고속으로 검사할 필요가 있기 때문에, 결함 검출이 가능한 정도로 검출 화상의 화소 해상도를 낮춰, 단위면적당의 화상 데이터량을 줄임으로써 검사 시간의 단축을 도모하고 있다. 이 때문에, 외관 검사 장치의 검출 화상에 의해 결함의 상세한 관찰은 곤란하다.
결함의 상세 관찰은 결함 관찰 장치에 의해 행해진다. 결함 관찰 장치란, 외관 검사 장치로부터 얻어지는 결함 좌표에 의거하여, 그 위치를 고해상도로 촬상하고, 촬상 화상을 출력하는 장치이다. 반도체 제조 프로세스의 미세화에 의해, 이 관찰에는 주사형 전자 현미경(SEM：Scanning Electron Microscope)을 사용한 결함 관찰 장치 SEM이 널리 사용되고 있다. 결함 관찰 SEM은, 외관 검사 장치로부터 얻어지는 결함 좌표에 의거하여, 웨이퍼 상의 결함 화상을 자동 촬상하고 수집하는 ADR(Automatic Defect Review:자동 결함 리뷰) 기능과, 수집한 화상을 자동 분류하는 ADC(Automatic Defect Classification：자동 결함 분류) 기능이 탑재되어 있다.
ADC는 분류 공정마다 운용의 최초에 결함 화상을 사용한 학습을 행할 필요가 있지만, 모든 결함 클래스(종류)의 화상 데이터를 충분히 정리하여 학습 데이터의 작성을 행하는 것은 곤란하고, 최초에 얻어진 성능을 생산 적용 후도 유지하기 위해서는, 생산 적용 중에서의 성능 평가, 추가 학습이 필요하여, 이 방법 확립이 과제로 되고 있다. 특허문헌 1에는 생산 적용시에 있어서의 ADC 학습 데이터의 모니터 방법에 대해 개시가 있다.
결함 클래스는 하나의 분류 공정에 한해도 다양한 클래스가 있고, 또한 하나의 클래스 중에서도 형상이나 밝기에 배리에이션을 포함할 경우가 있다. 이 때문에 ADC를 모든 공정에 적용하는 것은 실용상 어렵다. 이 때문에, 분류 공정을 ADC 적용 공정과, 육안 분류 공정으로 나누는 방법이나, 하나의 분류 공정에서 ADC의 결과를 사용하는 결함 클래스와, 사용하지 않는 결함 클래스로 나누고, ADC의 결과를 사용하지 않는 결함 클래스만 육안 분류하는 등, ADC와 육안 분류의 병용도 제안되어 있다. 특허문헌 2는 ADC와 육안 분류의 병용을 전제로 한 ADC의 레시피 설정 방법이 개시되어 있다.
일본국 특개2001-256480호 공보 일본국 특표2011-155123호 공보
W. Tomlinson, B. Halliday, et.al, "In-Line SEM based ADC for Advanced Process Control", Proc. Of 2000 IEEE/SEMI Advanced Semiconductor Manufacturing Conference, pp.131-137(2000)
반도체 프로세스의 외관 검사 공정에 적용되는 자동 결함 분류 기술에 있어서는, 자동 결함 분류 처리의 레시피가, 자동 결함 분류의 대상으로 되는 화상에 대해 적절히 설정되어 있는지의 여부를, 시간의 경과와 함께 정기적, 혹은 임의의 타이밍에 평가하고, 자동 결함 분류 처리의 레시피가 부적절한 경우는 레시피를 갱신할 필요가 있다. 종래의 자동 결함 분류의 성능 평가는, 일인의 작업자에 의해 부여된 육안 결함 클래스(종류)를 기준으로 해서 행해지고, 레시피 갱신도 이 육안 결함 클래스에 의거하여 행해지고 있었다. 그러나, 육안 결함 클래스에는 개인차 등에 의해 오류가 포함되어, 정밀도가 높은 자동 결함 분류의 성능 평가, 및 높은 분류 성능을 내기 위한 레시피 갱신을 할 수 없다는 과제가 있었다.
특허문헌 1은, 양산 적용시의 ADC의 분류 성능을 안정 유지하기 위해, ADC의 분류 대상으로 되는 결함 화상의 특징량과, 학습 데이터에 등록되어 있는 특징량을 비교하고, ADC의 대상으로 되는 화상과 학습 데이터의 통계적인 변화를 검지해서, 학습 데이터 갱신의 지시를 행함으로써, 양산 적용시에도 ADC의 분류 성능을 저하시키지 않고 안정 운용할 수 있는 기술이 개시되어 있다.
특허문헌 1에서는 ADC의 대상으로 되는 화상의 결함 클래스에는, ADC의 분류 결과나 육안 분류 결과를 이용하는 방법이 개시되어 있다. 그러나, 성능 평가의 대상으로 되는 ADC의 분류 결과를 이용하는 것은, 애초 ADC의 오분류를 배제할 수 없고, 육안 분류도, 비특허문헌 1에 기재가 있는 바와 같이, 그 분류 정해률(正解率)은 기껏해야 60％로 되어 있어, 어느쪽이든 적절한 ADC의 성능 평가는 곤란하다.
특허문헌 2는, ADC에 적합한 결함 클래스와, 적합하지 않은 결함 클래스를 나눠, ADC에 적합하지 않은 결함 클래스는 육안 분류로 확인한다는 운용을 전제로 하고 있고, 미리 준비된 복수의 ADC 레시피로부터 육안 분류로 돌릴 결함 화상 수를 적게 할 수 있는 레시피를 선택함으로써 ADC의 파라미터 최적화를 도모하는 기술이 개시되어 있다. ADC와 육안 분류의 병용에 있어서의 결함 분류 작업에 있어서, ADC의 안정 운용과, 육안 분류 공수(man-hour)의 저감을 양립하는 것이다. 그러나, ADC의 파라미터 최적화시에 육안 분류 결과를 사용하고 있어, 낮은 분류 정해률인 육안 분류의 영향을 피할 수 없다. 또한, 생산 적용 후에 필요해지는 성능 평가의 방법, ADC의 학습 데이터의 갱신의 방법에 대해서도 개시가 없다.
이상, 2개의 특허문헌을 참조할 때, 각각의 문헌에서 사용되고 있는, 학습 데이터, ADC 레시피, ADC 파라미터라는 어구로 설명을 진행했다. 이들은, 광의로는 ADC를 동작시키기 위해 필요한 데이터로 해석해도 상관없지만, 보다 정확히는, ADC 파라미터란 화상의 특징량을 산출할 때까지 필요해지는 화상 처리에 관한 파라미터, 학습 데이터란 교시 화상의 특징량으로부터 도출되는 ADC의 분류 알고리즘이 사용하는 파라미터 세트, ADC 레시피란 ADC 파라미터와 학습 데이터의 쌍방을 포함하는 ADC를 동작시키기 위한 데이터 세트로 정의할 수 있다.
본 발명의 목적은, ADC와 육안 분류의 병용에 있어서의 결함 분류 작업에 있어서, 종래의 육안 분류의 과제를 해결하고, ADC와 육안 분류, 혹은 ADC와 그 외의 분류 장치를 병용해서, 신뢰성이 높은 ADC의 성능 평가와, ADC 학습 데이터의 갱신을 가능하게 하는 결함 화상 분류 장치, 및 결함 화상 분류 방법을 제공하는 것에 있다.
상기 목적을 달성하기 위해, 본 발명에서는, 결함의 화상을 분류하는 장치를, 다른 촬상 수단으로 촬상하여 얻어진 결함의 화상을 기억하는 기억부와, 다른 복수의 결함 분류 수단으로 결함을 분류한 결함 클래스의 정보를 사용해서 기억부에 기억한 결함의 화상 중에서 화상을 선택하는 화상 선택부와, 화상 선택부에서 선택한 화상을 분류 레시피에 의거하여 분류하는 화상 분류부와, 화상을 분류한 결과에 의거하여 화상 분류부의 분류 성능을 평가하는 분류 성능 평가부와, 분류 성능 평가부에서 평가한 결과가 미리 설정한 기준에 달하지 않을 경우에는 상기 화상 선택부에서 선택한 화상을 사용해서 상기 화상 분류부의 분류 레시피를 갱신하는 학습 갱신부를 구비하여 구성했다.
또한, 상기 목적을 달성하기 위해, 본 발명에서는, 결함의 화상을 분류하는 장치를, 다른 촬상 수단으로 촬상하여 얻어진 결함의 화상을 기억하는 기억부와, 다른 복수의 결함 분류 수단으로 결함을 분류한 결함 클래스의 정보를 사용해서 기억부에 기억한 결함의 화상 중에서 화상을 선택하는 화상 선택부와, 기억부에 기억한 화상을 분류 레시피에 의거하여 분류하는 화상 분류부와, 화상 선택부에서 선택한 화상을 사용해서 화상 분류부의 분류 레시피를 갱신하는 학습 갱신부를 구비하여 구성했다.
또한, 상기 목적을 달성하기 위해, 본 발명에서는, 결함의 화상을 분류하는 방법에 있어서, 다른 촬상 수단으로 촬상하여 얻어진 결함의 화상을 기억부에 기억하고, 다른 복수의 결함 분류 수단으로 결함을 분류한 결함 클래스의 정보를 사용해서 화상 선택부에서 기억부에 기억한 결함의 화상 중에서 화상을 선택하고, 화상 선택부에서 선택한 화상을 화상 분류부에서 분류 레시피에 의거하여 분류하고, 화상을 분류한 결과에 의거하여 분류 성능 평가부에서 화상 분류부의 분류 성능을 평가하고, 분류 성능 평가부에서 평가한 결과가 미리 설정한 기준에 달하지 않을 경우에는 화상 선택부에서 선택한 화상을 사용해서 학습 갱신부에서 화상 분류부의 분류 레시피를 갱신하도록 했다.
또한, 상기 목적을 달성하기 위해, 본 발명에서는, 결함의 화상을 분류하는 방법에 있어서, 다른 촬상 수단으로 촬상하여 얻어진 결함의 화상을 기억부에 기억하고, 다른 복수의 결함 분류 수단으로 결함을 분류한 결함 클래스의 정보를 사용해서 화상 선택부에서 기억부에 기억한 결함의 화상 중에서 화상을 선택하고, 기억부에 기억한 화상을 화상 분류부에서 분류 레시피에 의거하여 분류하고, 화상 선택부에서 선택한 화상을 사용해서 학습 갱신부에서 화상 분류부의 분류 레시피를 갱신하도록 했다.
본 발명에 따르면, 복수의 육안 분류 혹은 ADC 장치 이외의 분류 장치의 결과의 비교에 의해, 결함 클래스 오류가 적은 데이터로 신뢰성이 높은 ADC의 성능 평가가 가능해진다. 또한, 이 데이터로 ADC의 학습 내지, 학습 갱신을 행함으로써, ADC의 분류 성능을 유지, 향상시킬 수 있다.
도 1은 본 발명의 실시예 1에 있어서의 자동 결함 분류 장치의 구성을 나타내는 블록도.
도 2는 본 발명의 실시예 1에 있어서의 처리의 흐름을 나타내는 플로우도.
도 3은 본 발명의 실시예 1에 있어서의 MDC 결함 클래스의 대조 방법을 나타내는 표.
도 4는 본 발명의 실시예 1에 있어서의 ADC 성능 평가 방법을 나타내는 표.
도 5는 본 발명의 실시예 1에 있어서의 처리의 흐름의 변형예를 나타내는 플로우도.
도 6은 본 발명의 실시예 1에 있어서의 처리의 흐름의 변형예를 나타내는 플로우도.
도 7은 본 발명의 실시예 1에 있어서의 미지 결함 클래스를 포함하는 ADC 성능 평가 방법을 나타내는 표.
도 8은 본 발명의 실시예 1에 있어서의 처리의 흐름의 변형예를 나타내는 플로우도.
도 9는 본 발명의 실시예 1에 있어서의 신규 결함 클래스를 포함하는 ADC 성능 평가 방법을 나타내는 표.
도 10은 본 발명의 실시예 1에 있어서의 처리의 흐름의 변형예를 나타내는 플로우도.
도 11은 본 발명의 실시예 1에 있어서의 가중을 이용한 MDC 결함 클래스 평가 방법을 나타내는 표.
도 12는 본 발명의 실시예 1에 있어서의 가중을 이용한 MDC 결함 클래스에 의한 ADC 성능 평가 방법을 나타내는 표.
도 13은 본 발명의 실시예 1에 있어서의 다수결을 이용한 MDC 결함 클래스에 의한 ADC 성능 평가 방법을 나타내는 표.
도 14는 본 발명의 실시예 2에 있어서의 처리의 흐름을 나타내는 플로우도.
도 15는 본 발명의 실시예 3에 있어서의 처리 기동 방법의 흐름을 나타내는 플로우도.
도 16은 본 발명의 실시예 3에 있어서의 다른 처리 기동 방법의 흐름을 나타내는 플로우도.
도 17은 본 발명의 실시예 4에 있어서의 MDC 결함 불일치 클래스를 이용한 MDC 작업 평준화를 위한 처리의 흐름을 나타내는 플로우도.
본 발명은, 결함의 화상을 분류하는 방법 및 그 장치에 있어서, 다른 복수의 결함 분류 수단으로 결함을 분류한 결함 클래스의 정보를 사용해서 선택한 화상을 분류하고, 그 결과에 의거하여 분류 성능을 평가하고, 평가한 결과가 미리 설정한 기준에 달하지 않을 경우에는 화상 분류 레시피를 갱신하도록 한 것이다.
또한, 본 발명은, 결함의 화상을 분류하는 방법 및 그 장치에 있어서, 다른 복수의 결함 분류 수단으로 결함을 분류한 결함 클래스의 정보를 사용해서 화상 선택부에서 기억부에 기억한 결함의 화상 중에서 화상을 선택하고, 이 선택한 화상을 사용해서 학습 갱신부에서 화상 분류부의 분류 레시피를 갱신하도록 한 것이다.
이하에, 본 발명의 실시예를, 도면을 사용해서 설명한다.
[실시예 1]
도 1에 본 발명에 관계되는 자동 결함 분류(ADC：Automatic Defect Classification) 장치(100)를 나타낸다. 도 1에는 아울러, ADC 장치(100)와 네트워크(101)를 통해 정보를 송수신하는, 결함 화상 촬상 장치(102), 수율 관리 시스템(103), 육안 분류(MDC：Manual Defect Classification) 장치(104)를 나타냈다. MDC 장치(104)는 복수 대가 네트워크에 접속되어 있다.
도 1에서는, ADC 장치(100), 결함 화상 촬상 장치(102), 수율 관리 시스템(103), MDC 장치(104)는 네트워크에 접속되어 있는 것으로 했지만, 정보를 교환할 수 있으면 가반(可搬)식의 메모리 디바이스 등, 다른 수단이어도 상관없다.
결함 화상 촬상 장치(102)는 외관 검사 장치(도시생략)에서 검출된 결함 위치의 화상을 높은 배율로 촬상하여, 결함의 외관을 파악하는 장치이며, 광학식이나, SEM(Scanning Electron Microscope：주사형 전자 현미경)식 등이 있다. 미세한 디바이스에는 SEM식이 사용되고, 외관 검사 장치에서 검출된 결함 위치의 화상을 자동으로 촬상하는 기능을 갖고, 결함 관찰 SEM 등이라 불리고 있다.
수율 관리 시스템(103)은, 외관 검사 장치(도시생략)로부터 출력되는 결함 좌표, 결함 화상 촬상 장치(102)로부터 출력되는 결함 화상, ADC 장치(100), MDC 장치(104)로부터 출력되는 결함 클래스(결함 종류) 정보를 수신함과 함께, 결함 화상 촬상 장치(102)로부터의 요구에 따라 결함 좌표를, ADC 장치(100), MDC 장치(104)로부터의 요구에 따라 결함 화상을 송신한다. 수율 관리 시스템(103)에 축적된 결함 좌표, 결함 화상, 결함 클래스를 통계적으로 해석함으로써, 유저는 프로세스의 상태를 모니터할 수 있다.
MDC 장치(104)는 오퍼레이터가 결함 화상의 분류를 행하여, 결함 클래스 정보를 결함 화상에 부여하는 장치이다. ADC 장치(100), 혹은 결함 화상 촬상 장치(102), 혹은 수율 관리 시스템(103)으로부터 결함 화상을 수신하고, 오퍼레이터에 의해 결함 클래스가 부여되고, 결함 클래스 정보는, ADC 장치(100), 혹은 수율 관리 시스템(103)에 송신된다. MDC 장치(104)는, MDC의 1로부터 N까지 복수 대 접속되어 있는 것으로 한다.
본 실시예에서는, ADC 장치(100)와는 다른 결함 분류 장치로서, MDC 장치(104)를 예로 설명을 진행하지만, 결함 화상에 촬상되어 있는 결함에 대해 결함 클래스를 부여할 수 있는 장치이면 MDC 장치 이외의 결함 분류 장치, 결함 분석 장치여도 상관없다.
ADC 장치(100)의 내부에 대해 설명한다. 데이터 송수신부(110)를 통해, 결함 화상 촬상 장치(102), 수율 관리 시스템(103), MDC 장치(104)와 결함 화상 데이터, 결함 클래스 정보 등을 송수신한다.
ADC 장치(100)는, 데이터 송수신부(110), 기억부(111), 결함 클래스 비교부(112), 화상 선택부(113), 분류 성능 평가부(114), 화상 분류부(115), 학습 갱신부(116), 입력·표시 단말(117), 버스(118)를 구비하고 있다.
기억부(111)는 결함 화상 데이터, 결함 클래스 정보 등을 기억하는 것이다. 결함 클래스 비교부(112)는, ADC 장치(100) 이외에서 얻어진 동일 결함 화상에 대한 복수의 결함 클래스의 비교나, 비교의 결과 얻어지는 결함 클래스와 화상 분류부(115)에서 부여된 결함 클래스의 비교를 행한다. 화상 선택부(113)는 결함 클래스 비교부(112)의 비교 결함에 의거하여, 기억부(111)에 기억되어 있는 결함 화상으로부터 결함 화상의 선택을 행한다.
분류 성능 평가부(114)는, 결함 클래스 비교부(112)에서의 비교의 결과 얻어지는 결함 클래스와, 화상 분류부(115)에서 부여된 결함 클래스의 비교에 의거하여, 화상 분류부(115)의 분류 성능의 평가를 행하는 것이다. 학습 갱신부(116)는, 분류 성능 평가부(114)에서 평가한 화상 분류부(115)의 분류 성능의 평가 결과에 의거하여, 화상 분류부(115)에서 실행하는 ADC의 처리 레시피를 갱신한다. 입력·표시 단말(117)은 처리 내용을 표시함과 함께, 오퍼레이터의 설정값 입력 등을 접수하는 것이다.
버스(118)는, ADC 장치(100) 내에서, 데이터 송수신부(110), 기억부(111), 결함 클래스 비교부(112), 화상 선택부(113), 분류 성능 평가부(114), 화상 분류부(115), 학습 갱신부(116), 표시 단말(117) 사이의 정보 송수신을 행하는 것이다. ADC 장치(100)는, 결함 화상 촬상 장치(102), 혹은 수율 관리 시스템(103), 혹은 육안 분류 장치(104) 중 어느 것에 탑재되어 있어도 된다.
도 2를 사용해서 ADC 장치(100)의 동작의 플로우를 상술한다. 우선, 결함 화상을 결정한다(S200). 여기에서의 결함 화상이란, 이 플로우를 통해서 평가의 대상으로 되는 1매 이상의 화상인 것이다. 이 결함 화상은, 결함 화상 촬상 장치(102)에서 촬상한 것을 읽어들인 것이어도 되고, 수율 관리 시스템(103)에 등록 완료의 화상을 읽어들인 것이어도 된다. 결함 화상은 1매 혹은 복수 매의 웨이퍼로부터 얻어진 화상이다.
결함 화상을 결정하면, 결함 화상을 복수의 MDC 장치(104)에 송신한다(S201). 각 MDC 장치(104)(MDC 1~N)에서 오퍼레이터에 의해 결함 화상은 분류되어, 결함 클래스가 부여된다. 부여된 결함 클래스 정보를, MDC 장치(104)로부터 데이터 송수신부(110)를 통해 수신하고, 기억부(111)에 기억한다(S202). 다음으로, 각 MDC 장치(104)(MDC 1~N)에서 오퍼레이터에 의해 부여된 결함 클래스를 비교 한다(S203). 비교의 방법을 도 3에서 설명한다.
도 3은 표시 단말(116)의 화면(300)에 표시되는 정보에서, 결함 ID란(301)에 표시된 결함 번호 1, 2, …, N에 대해, MDC 장치란(302)에 표시된 MDC 장치1, 2, 3, 4, 5에서의 분류 결과를 분류 결과란(310)에 나타내는 것이다. 표 중의 A, B, C는 결함 클래스를 나타낸다. 결함 ID란(301)의 결함 ID 1에서는, MDC 장치란(302)에 표시된 MDC 장치2로부터만 결함 클래스 B라는 정보를 수신해 있고, 그 외의 MDC 장치는 결함 클래스 A여서, MDC 장치1, 2, 3, 4, 5의 결함 클래스는 일치해 있지 않다.
한편, 결함 ID란(301)의 결함 ID 2는, MDC 장치란(302)에 표시된 모든 MDC 장치로부터 결함 클래스 A라는 정보를 수신해 있어, MDC 장치1, 2, 3, 4, 5의 결함 클래스는 일치해 있다. 일치의 경우는 분류 결과란(310)에서 각 결함 ID의 「일치」란(303)에 ○를, 불일치의 경우는 「불일치」란(304)에 ○를 부여했다.
결함 클래스가 일치해 있지 않은 결함 ID보다, 결함 클래스가 일치해 있는 결함 ID 쪽이, MDC에 의한 결함 클래스의 신뢰성은 높다고 생각할 수 있다. 또한, 도 3에서는 MDC 장치를 5대로 하고 있지만, 이것은 설명을 위한 편의적인 것이고, 복수 대이면 몇 대여도 상관없다. 분류 결과란(310)의 다수결(305)의 항에 기재한 결함 클래스는, 결함 화상에 대해 MDC에서 가장 많은 득표를 얻은 결함 클래스이다. 화면(300)에는, 일치(321), 불일치(322), 다수결(323)의 선택 버튼으로부터 선택한 적어도 하나 이상 표시하면 된다. MDC 결함 클래스가 일치한 것만, 혹은 불일치의 결함 ID에 대응하는 정보만을 표시해도 된다.
우선, 도 3에 있어서의 결함 클래스의 일치를 이용한 방법을 사용해서, 도 2의 플로우 차트의 S203 이하를 설명한다. 도 3의 불일치, 다수결의 이용 방법은 후술한다.
MDC 장치(104)(MDC 1~N)에 의해 부여된 결함 클래스를 기억부(111)로부터 결함 클래스 비교부(112)로 읽어내고, 비교를 실행한다(S203). 비교에 의해 결함 클래스가 일치한 결함 번호를 특정하고, 특정한 결함 번호에 대응하는 결함 화상을 화상 선택부(113)에서 선택한다(S204).
다음으로, 화상 선택부(113)에서 선택한 결함 화상을 화상 분류부(115)에서 자동 분류하고(S205), 분류 성능 평가부(114)에 있어서, 화상 분류부(115)에서 자동 분류로 얻어진 결함 클래스와, 선택 화상의 MDC 결함 클래스를 사용해서 ADC의 성능 평가를 행한다(S206). S200으로부터 S206까지의 스텝을, 도 5 이후에서 참조하기 위해, 한꺼번에 S210이라 해 둔다. 화상 선택부(113)에서 선택한 결함 화상이, 이미 화상 분류부(115)에서 자동 분류 완료인 경우에는, S205를 생략할 수 있다.
도 4에, 분류 성능 평가부(114)에서 실행하는 ADC의 성능 평가의 제1 예를 나타낸다. 도 4의 표에 있어서, 세로 열(401)은 MDC에 의해 부여된 결함 클래스, 가로 열(402)은 ADC에 의해 부여된 결함 클래스이다. ADC에 의해 결함 클래스 "A"로 한 것의 성능은, Purity 성능(403), 즉, (ADC의 결함 클래스 "A"에 대한 True Positive 수)/(ADC의 결함 클래스 "A"에 대한 True Positive 수와 False Positive 수의 총합)＝55/(55＋5＋0)×100＝92％로 평가할 수 있다. 이것은 ADC에 의해 결함 클래스 "A"로 했을 경우, 92％ 신뢰성 있다고 해석할 수 있어, 신뢰성의 지표로 된다.
세로 열(401)의 MDC에서 결함 클래스 "A"로 한 것을 가로 열(402)의 ADC에서 올바르게 분류할 수 있는지는, Accuracy 성능(404), 즉, (MDC의 결함 클래스 "A"에 대한 True Positive 수)/(MDC의 결함 클래스 "A"에 대한 True Positive 수와 False Negative 수의 총합)＝55/(55＋2＋3)×100＝92％로 평가할 수 있다. 이것은 MDC에 대해 ADC가 어느 정도 정확히 분류할 수 있는지를 나타내는 지표이다. 다른 결함 클래스 "B", "C"에 대한 Accuracy, Purity도 마찬가지이다.
도 4의 란(405)에는 총합 정해률이 표시된다. 총합 정해률은, (모든 True Positive 수)/(모든 샘플의 총합)＝(55＋25＋9)/(55＋2＋3＋5＋25＋1＋9)×100＝89％이다.
도 4에서 란(405)에 나타낸 총합 정해률을 미리 등록되어 있는 설정값과 비교하고(S207), 총합 정해률이 설정값 이하일 경우, 즉 분류 성능이 낮은 경우는 S204에서 선택한 화상에 의해 ADC의 학습을 행한다(S208). 총합 정해률이 설정값 이하일 경우, 도 1의 표시 단말(116)에 설정값 이하임의 알람, 혹은 총합 정해률과 설정값 등을 표시 알림을 내고, 유저로부터의 입력 지시가 있을 경우에, ADC의 학습 갱신(S208)으로 진행해도 된다. 여기에서, ADC 학습 갱신이란, ADC의 처리 레시피의 조정인 것이다.
도 5에 S207, S208과는 다른 제1 ADC 성능값과 설정값의 비교의 방법을 나타낸다. S210는 도 2에서 나타낸 S210과 동일한 범위의 스텝, 즉 S200으로부터 S206까지의 스텝을 나타낸다. 도 5의 방법에서는, 도 4에서 나타낸 Purity(403)를 결함 클래스마다 설정값과 비교하고(S500), S204에서 선택한 화상으로부터, 설정값 이하의 Purity에 대응하는 결함 클래스(분류 성능이 낮은 결함 클래스)의 화상만을 사용해서 ADC의 학습 갱신을 행한다(S501). 설정값 이하의 Purity에 대응하는 결함 클래스가 있을 경우, 표시 단말(116)에 알림을 내고, 유저로부터의 입력 지시가 있을 경우에, ADC 학습 갱신(S501)으로 진행해도 된다.
도 6에 S207, S208과는 다른 제2 ADC 성능값과 설정값의 비교의 방법을 나타낸다. 도 6의 방법에서는, 도 4에서 나타낸 Accuracy(404)를 결함 클래스마다 설정값과 비교하고(S600), S204에서 선택한 화상으로부터, 설정값 이하의 Accuracy에 대응하는 결함 클래스(분류 성능이 낮은 결함 클래스)의 화상만을 사용해서 ADC의 학습 갱신을 행한다(S601). 설정값 이하의 Accuracy에 대응하는 결함 클래스가 있을 경우, 표시 단말(116)에 알림을 내고, 유저로부터의 입력 지시가 있을 경우에, ADC 학습 갱신(S601)으로 진행해도 된다.
도 7에 ADC의 성능 평가의 제2 예를 나타낸다. 도 7의 표는, 도 4에서 설명한 표와 마찬가지로 세로 열(701)에 MDC에 의한 결함 클래스, 가로 열(702)에 ADC에 의한 결함 클래스, 가로 열의 가장 아래의 란에는 Purity(703), 세로 열의 우측단에는 Accuracy(704), 우측 아래의 란(705)에는 총합 정해률이 표시된다.
도 7의 표에서는 도 4의 표에 비해, 가로 열(702)의 ADC의 결함 클래스에 unkown 클래스(미지 결함 클래스)(7021)가 추가되어 있다. unkown 클래스(7021)는, 학습한 결함 클래스의 경계 사례, 혹은 학습한 결함 클래스에는 해당하지 않는 사례로 ADC가 판정했을 경우에 할당하기 위해 마련된 클래스이다. 도 7의 예에서는, unkown 클래스(7021)는 ADC에 의해 명시적으로 식별된 것으로서, accuracy(704)의 계산에는 반영시키지 않는 사례를 나타내고 있다.
도 8에 unkown를 이용한 ADC의 학습 갱신 방법을 나타낸다. S210의 처리를 행한 후, MDC의 각 결함 클래스에서 ADC가 unkown으로 판정한 화상 수를, 미리 등록되어 있는 설정값과 비교하고(S800), unkown 수가 설정값 이상인 MDC 결함 클래스가 있으면, S204에서 선택한 화상으로부터, 해당하는 MDC 결함 클래스 중에서 unkown으로 판정된 화상을 사용하여 ADC의 학습 갱신을 행한다(S801). ADC의 학습 갱신은, 해당하는 MDC 결함 클래스의 화상 모두에서 행해도 된다.
이에 의해 해당 결함 클래스의 ADC 분류 로버스트성을 향상시켜, unkown의 저감을 도모할 수 있다. 설정값 이상의 unkown 수를 갖는 MDC 결함 클래스가 있을 경우, 표시 단말(116)에 알림을 내고, 유저로부터의 입력 지시가 있을 경우에, ADC 학습 갱신(S801)으로 진행해도 된다.
도 9는, 새로운 결함 클래스 D가 출현했을 경우의 예이다. 도 9에 나타낸 표의 구성은, 도 7에서 설명한 구성과 동일하고, 세로 열(901)에 MDC에 의한 결함 클래스, 가로 열(902)에 ADC에 의한 결함 클래스, 가로 열의 가장 아래의 란에는 Purity(903), 세로 열의 우측단에는 Accuracy(904), 우측 아래의 란(905)에는 총합 정해률이 표시된다. 도 9에 나타낸 표의 세로 열(901)의 MDC에서는 새로운 결함 클래스를 새로운 클래스 D(9011)로서 식별할 수 있지만, 가로 열(902)의 ADC에서는 교시되어 있지 않기 때문에, unkown 클래스(9021)로 된다. 세로 열(901)의 MDC의 결함 클래스가 D(9011)에서, 가로 열(902)의 ADC에서 unkown 클래스(9021)로 된 화상을, 결함 클래스 D로서 ADC의 학습 갱신을 행함으로써, ADC에도 결함 클래스 D를 추가 등록하는 것이 가능해진다.
ADC의 학습을 습숙(習熟)시키기 위해서는, 결함 클래스마다 일정 수 이상의 결함 화상을 교시할 필요가 있다. 그 방법을, 도 10에 나타낸다. 도 10에 나타낸 플로우에 있어서는, 도 2에서 설명한 S210의 처리를 행한 후에, 각 결함 클래스의 누적 학습 화상 수를 기록해두고, 누적 화상 수와 설정값을 비교하고(S1000), 누적 화상 수가 설정값 이하일 경우는, S204에서 선택한 화상으로부터, 해당하는 MDC 결함 클래스의 화상의 모두, 혹은 일부를 사용하여 ADC의 학습 갱신을 행한다(S1001). 이 방법에 의해 학습 화상 수 부족의 결함 클래스를 해소할 수 있다. 누적 화상 수가 설정값 이하인 결함 클래스가 있을 경우, 표시 단말(116)에 알림을 내고, 유저로부터의 입력 지시가 있을 경우에, ADC 학습 갱신(S1001)으로 진행해도 된다.
도 4 내지 도 10에서는, 도 3에 있어서 결함 클래스가 일치한 화상을 선택하는 방법으로 설명했지만, 도 3의 다수결의 결함을 사용할 경우는, 도 2의 S204의 화상 선택에 있어서 사용하는 각 결함 ID의 결함 클래스를 다수결의 결과 얻어지는 결함 클래스로 하면 된다. 다수결의 결과를 사용하면, S200에서 결정된 모든 화상을 사용할 수 있다.
도 11에 결함 클래스의 비교 방법으로서 가중을 고려한 방법을 나타낸다. 도 11에 나타낸 표는, 결함 ID를 표시하는 란(1101), MDC 장치마다 MDC의 결과를 표시하는 란(1102), 가중을 표시하는 란(1103), 결함 ID마다 다수결의 결과를 표시하는 란(1104), 결함 ID마다 ADC의 결과를 표시하는 란(1105)을 구비하여 구성되어 있다. 도 11은 결함 ID란(1101)의 결함 번호 1, 2, 3, 4에 대해, MDC 장치란(1102)의 MDC 장치1, 2, 3, 4, 5에서의 분류 결과를 나타내는 것이다. 설명을 단순화하기 위해 결함 수를 4로 하고 있지만, 결함 수는 이에 한정되지 않는다. 표 중의 A, B, C는 결함 클래스를 나타낸다. 결함 ID란(1101)과, MDC 장치란(1102)의 결함 클래스의 보는 방법은 도 3과 동일하다.
도 11에 나타낸 표에서는 가중의 고려를 도입해서, 가중의 란(1103)이 표시되어 있다. 도 11에 나타낸 예에서는, 결함 ID란(1101)의 결함 ID 1에서는 MDC 장치란(1102)의 MDC에 있어서의 결함 클래스 A의 판정이 3건, B가 2건 있다. 이 판정 건수를 그대로 가중의 란(1103)의 가중값으로서 이용한다. 결함 ID 2, 3, 4에 대해서도 마찬가지로, 도 11에 나타낸 바와 같이 정리할 수 있다. 도 11의 표 중의 다수결의 란(1104)에 쓰여 있는 결함 클래스는, 도 3에서 설명한 다수결의 방법으로 결정한 것이다. 일의(一意)로 클래스가 결정되어 있지만, 결함 ID 1이나 4에서는, 다른 결함 클래스와 길항(拮抗)하고 있는지는 알 수 없다. 여기에서, 도 11의 결함 ID 1, 2, 3, 4를 ADC 처리해서 얻어진 클래스를 ADC의 란(1105)에 나타내는 클래스로서, 가중을 고려해서 ADC를 성능 평가했을 경우의 효과를 도 12와 도 13을 사용해서 설명한다.
도 12는 가중을 고려해서 ADC를 성능 평가했을 경우이다. 도 12에 나타낸 표의 구성은, 도 4에서 설명한 것과 동일하고, 세로 열(1201)은 MDC에 의해 부여된 결함 클래스, 가로 열(1202)은 ADC에 의해 부여된 결함 클래스, 가장 아래의 란에는 Purity 성능(1203), 가장 우측의 열에는 Accuracy 성능(1204), 우측 아래의 모퉁이 란(1205)에는 총합 정해률이 표시된다. 도 11에 나타낸 예에서는, 결함 ID란(1101)의 결함 ID 1은 MDC 결함 클래스 A가 3건, B가 2건 있고, ADC 결함 클래스는 A이므로, 도 12의 매트릭스의 「MDC 결함 클래스 A/ADC 결함 클래스 A」에 3표, 「MDC 결함 클래스 B/ADC 결함 클래스 A」에 2표, 투표한다. 도 12는 결함 ID 2, 3, 4에 대해서도 마찬가지인 처리를 행해서 얻어진 결과이다.
한편, 도 13은 다수결의 결과 결정한 결함 클래스를 사용해서 평가한 결과이다. 도 13에 나타낸 표의 구성도, 도 4에서 설명한 것과 동일하고, 세로 열(1301)은 MDC에 의해 부여된 결함 클래스, 가로 열(1302)은 ADC에 의해 부여된 결함 클래스, 가장 아래의 란에는 Purity 성능(1303), 가장 우측의 열에는 Accuracy 성능(1304), 우측 아래의 모퉁이의 란(1305)에는 총합 정해률이 표시된다. 도 13에 나타내는 바와 같이, 다수결의 결과 결정한 결함 클래스를 사용해서 평가했을 경우, ADC는 100％ 정해하고 있다.
MDC 결함 클래스의 일치 샘플이 없거나, 혹은 적은 경우, 복수의 MDC의 결과로부터, 특정 개인의 경향으로 치우치지 않는 분류의 경향으로부터 ADC의 성능 평가를 행하는 것도 하나의 방법이다. 도 13의 결과로부터는 보강해야할 ADC의 성능은 보이지 않는다. 한편, 도 12의 결과로부터는 Purity(1203), Accuracy(1204) 모두 결함 클래스 B가 추가 학습으로서는 우선순위가 높음을 알 수 있다. 추가 학습시에는, 동일 결함 ID의 화상을 복수 회, MDC의 결함 클래스로 학습하는 등을 생각할 수 있다. 예를 들면 결함 ID 1의 경우, 결함 ID 1의 화상을 결함 클래스 A로서 3회, B로서 2회 학습시킨다.
도 2 내지 도 10에서 나타낸 ADC의 성능 평가, 학습 데이터 갱신의, 생산 적용 중의 실행 타이밍은 오퍼레이터에 의한 명시적인 기동 외에, ADC의 unkown 클래스로의 분류 화상 수에 의한 방법이나, 정기적 실시 등 자동적인 기동 방법이 있다.
[실시예 2]
다음으로, 실시예 1에서 설명한 도 2에 나타낸 처리 플로우에 있어서, ADC의 성능 평가를 행하지 않고, MDC의 결과를 ADC의 학습에 반영시키는 처리 방법에 대해, 실시예 2로서 도 14에 나타낸 플로우도를 사용해서 설명한다.
즉, 실시예 1에 있어서는, MDC의 결과에 의거하여 선택한 화상에 대해 ADC를 행해서 ADC의 성능 평가를 행하고, ADC의 총합 정해률이 설정값 이하일 경우에, MDC의 결과에 의거하여 선택한 화상에 의거하여 ADC를 학습 갱신하고 있었다. 이에 대해서 본 실시예에 있어서는, ADC의 성능 평가를 행하지 않고, MDC의 결과에 의거하여 선택한 화상에 의거하여 바로 ADC를 학습 갱신하도록 했다.
본 실시예에 있어서의 자동 결함 분류 장치의 구성은, 실시예 1에 있어서 도 1을 사용해서 설명한 구성 중 분류 성능 평가부(114)를 제외하고 구성된 것이고, 그 이외는 도 1에서 설명한 것과 동일하므로, 설명을 생략한다.
도 14에 있어서의 S1400으로부터 S1404까지는, 실시예 1에 있어서 설명한 도 2의 플로우에 있어서의 S200으로부터 S204까지와 동일하므로, 설명을 생략한다.
본 실시예에 있어서는, S1403에 있어서, 도 3을 사용해서 설명한 바와 같은 비교 방법에 의해 결함 클래스가 일치한 결함 번호를 특정하고, S1404에서 특정한 결함 번호에 대응하는 결함 화상을 화상 선택부(113)에서 선택하고, S1405에 있어서 화상 선택부(113)에서 선택한 화상에 의해 학습 갱신부(116)에서 ADC의 학습 갱신을 행하고, 화상 분류부(115)에서 실행하는 ADC의 처리 레시피를 조정하도록 했다.
본 실시예에 따르면, 복수의 결함 분류 수단 혹은 복수의 결함 분류 결과로부터의 다수결에 의한 결과를, 자동 결함 분류부의 데이터베이스에 자동적으로 반영함에 의해, 종래는 인간에 의한 결함 판정 결과는 올바르다는 것에 입각해 있던 것에 반해, 본 실시예에서는, 인간에게는 개인차가 있고, 사람에 의해 결과가 불규칙해진다는, 전혀 정반대의 관점에 입각하여, 다수결의 결과를 바탕으로 자동 결함 분류 장치의 데이터베이스를 개선함으로써, 인간에 의한 육안 결함 분류를 넘은 결함 분류 정밀도를 자동 결함 분류에서 실현할 수 있다는, 극히 현저한 작용을 달성할 수 있다.
[실시예 3]
실시예 1 및 2에 있어서는, 결함 화상에 대해 우선 MDC를 행하는 것을 전제로 한 처리를 행했지만, 본 실시예에서는, 그 전단(前段)으로서 결함 화상에 대해 우선 ADC를 행하고, 그 결과, 결함을 분류할 수 없는 unknown인 결함의 수가 설정값 이상이었을 경우에만 MDC를 실행하는 처리, 및 정기적으로 기동을 걸 경우의 처리에 대해 설명한다. 본 실시예에 있어서의 자동 결함 분류 장치의 구성은, 실시예 1에 있어서 도 1을 사용해서 설명한 구성과 동일하므로, 설명을 생략한다.
도 15에, 본 실시예에 있어서의 ADC의 unkown 클래스로의 분류 화상 수에 따라 기동을 걸 경우의 처리 플로우를 나타낸다. 우선, 결함 화상 촬상 장치(102), 혹은 수율 관리 시스템(103)으로부터 결함 화상을 ADC 장치(100)로 수신하고(S1500), 수신한 결함 화상을 ADC 장치(100)의 화상 분류부(115)에서 분류한다(S1501). 분류의 결과 얻어지는 unkown 클래스의 화상 수와, 미리 등록되어 있는 설정값을 비교하고(S1502), unkown 클래스의 화상 수가 설정값 이상일 경우는, 실시예 1에 있어서 도 2 내지 도 10을 사용해서 설명한 ADC의 성능 평가, 추가 학습을 행한다(S1503). S1500에서 수신한 화상을 S1503에서의 대상 화상(즉 S200에서 결함 화상)으로 할 경우는, 도 2의 S205의 ADC 처리는 스킵해도 된다. 또한, S1500에서 수신한 화상과는 다른 화상에 의해 S1503을 실행해도 된다.
도 16에 정기적으로 기동을 걸 경우의 처리 플로우를 나타낸다. 우선, ADC 장치에서 관리되고 있는 현재 시각을, 미리 등록되어 있는 설정 시각과 비교하고(S1600), 현재 시각이 설정 시각으로 되면, 결함 화상 촬상 장치(102), 혹은 수율 관리 시스템(103)으로부터 결함 화상을 ADC 장치(100)로 수신하고(S1601), 실시예 1에 있어서 도 2 내지 도 10을 사용해서 설명한 ADC의 성능 평가, 추가 학습을 행한다(S1602). 또한, 등록하는 설정 시각 대신, 전회의 ADC 성능 평가·추가 학습으로부터의 경과 시간을 등록하고, 전회의 ADC 성능 평가·추가 학습 시각에, 등록되어 있는 경과 시간을 가산하여, 설정 시각으로 해도 된다. 이에 의해, ADC의 정기적인 성능 평가, 학습 갱신을 행할 수 있다.
이상, 복수의 MDC 결함 클래스를 비교함에 의해, 육안에 있어서의 개인차를 배제한 MDC 결함 클래스를 얻을 수 있으므로, 신뢰성이 높은 ADC 성능 평가, 및 ADC의 추가 학습이 가능해진다.
[실시예 4]
제4 실시예에서는, 실시예 1에 있어서 도 3을 사용해서 설명한 MDC 결함 클래스 불일치의 이용 방법에 대해 설명한다. 도 3에서 MDC 결함 클래스가 불일치의 결함 ID 1, 4, 7, 8은, 육안 분류 오퍼레이터의 작업 수준에 편차가 있다고 파악할 수 있다. 본 실시예에 있어서는, 이와 같은 화상을 재차 MDC 장치에 되돌리는 것으로, 육안 분류 오퍼레이터의 작업 수준의 평준화를 도모하도록 했다.
도 17을 사용해서 제4 실시예의 처리 플로우를 설명한다. 우선, 결함 화상을 결정한다(S1700). 이 결함 화상은, 실시예 1에 있어서 도 2를 사용해서 설명한 S200에서 결정하는 화상과 마찬가지이다. 혹은, 작업자의 훈련용으로 의도적으로 선택한 화상이어도 상관없다. 결함 화상을 결정하면, 결함 화상을 복수의 MDC 장치(104)에 송신한다(S1701). 각 MDC 장치(104)(MDC 1~N)에서 오퍼레이터에 의해 결함 화상은 분류되고, 결함 클래스가 부여된다. 부여된 결함 클래스 정보를, MDC 장치(104)로부터 데이터 송수신부(110)를 통해 수신하고, 기억부(111)에 기억한다(S1702).
다음으로, MDC 장치(104)(MDC 1~N)에 의해 부여된 결함 클래스를 기억부(111)로부터 결함 클래스 비교부(112)로 읽어내고, 비교를 실행한다(S1703). 비교에 의해 결함 클래스가 불일치인 결함 번호를 특정하고, 특정한 결함 번호에 대응하는 결함 화상을 선택한다(S1704). 비교에 의해 결함 클래스의 불일치를 추출하는 방법에 대해서는, 실시예 1에 있어서 도 3에서 설명한 바와 같다.
상기에 설명한 S1700으로부터 S1704까지의 스텝은, 실시예 1에 있어서 도 2를 사용해서 설명한 S200~S204까지의 스텝과 마찬가지인 처리를 행한다.
선택한 MDC 결함 클래스가 불일치인 화상 데이터에 대해, 결함 클래스 정보도 송신할지를 체크하고(S1705), 숙련자가 판정한 결함 클래스를 회답으로서 작업자에게 개시하지 않을 경우는(S1705에서 NO의 경우), 재차 선택한 결함 화상을 MDC1~N에 송신하고 오퍼레이터에게 MDC 작업을 요구하고(S1606), 숙련자가 판정한 결함 클래스를 회답으로서 작업자에게 개시할 경우는(S1705에서 YES의 경우), 선택한 결함 화상과 선택 화상의 결함 클래스 정보를 MDC1~N에 송신하여, 작업자에게 확인시킨다(S1607).
이 결과를 사용해서, 실시예 1에서 설명한 도 2의 처리 플로우에 따라서 ADC의 성능 평가를 행하고, ADC 학습 갱신을 행한다. 또는, 실시예 2에서 설명한 바와 같이, 도 14의 처리 플로우에 따라서 선택한 결함 화상을 사용해서 ADC 학습 갱신을 행한다.
본 실시예에 따르면, MDC 결함 클래스가 불일치인 화상을 오퍼레이터에게 확인시킴으로써, 오퍼레이터의 작업 수준의 편차를 저감할 수 있어, 작업 수준의 평준화를 도모할 수 있다.
100…자동 결함 분류 장치, 101…통신 네트워크, 102…결함 화상 촬상 장치, 103…수율 관리 시스템, 104…육안 결함 분류 유닛, 110…데이터 송수신부, 111…기억부, 112…결함 클래스 비교부, 113…화상 선택부, 114…분류 성능 평가부, 115…화상 분류부, 116…입력·표시 단말, 117…버스

Claims (20)

  1. 결함의 화상을 분류하는 장치로서,
    다른 촬상 수단으로 촬상하여 얻어진 결함의 화상을 기억하는 기억부와,
    다른 복수의 결함 분류 수단으로 결함을 분류한 결함 클래스의 정보를 사용해서 상기 기억부에 기억한 결함의 화상 중에서 화상을 선택하는 화상 선택부와,
    상기 화상 선택부에서 선택한 화상을 분류 레시피에 의거하여 분류하는 화상 분류부와,
    상기 화상을 분류한 결과에 의거하여 상기 화상 분류부의 분류 성능을 평가하는 분류 성능 평가부와,
    상기 분류 성능 평가부에서 평가한 결과가 미리 설정한 기준에 달하지 않을 경우에는 상기 화상 선택부에서 선택한 화상을 사용해서 상기 화상 분류부의 분류 레시피를 갱신하는 학습 갱신부
    를 구비한 것을 특징으로 하는 결함 화상 분류 장치.
  2. 제1항에 있어서,
    상기 학습 갱신부는, 상기 분류 성능 평가부에서 평가한 결과가 미리 설정한 기준에 달하지 않을 경우에는 상기 화상 선택부에서 선택한 화상 중 상기 화상 분류부에서 미지 결함 클래스로 판정된 결함의 화상을 사용해서 상기 화상 분류부의 분류 레시피를 갱신하는 것을 특징으로 하는 결함 화상 분류 장치.
  3. 결함의 화상을 분류하는 장치로서,
    다른 촬상 수단으로 촬상하여 얻어진 결함의 화상을 기억하는 기억부와,
    다른 복수의 결함 분류 수단으로 결함을 분류한 결함 클래스의 정보를 사용해서 상기 기억부에 기억한 결함의 화상 중에서 화상을 선택하는 화상 선택부와,
    상기 기억부에 기억한 화상을 분류 레시피에 의거하여 분류하는 화상 분류부와,
    상기 화상 선택부에서 선택한 화상을 사용해서 상기 화상 분류부의 분류 레시피를 갱신하는 학습 갱신부
    를 구비한 것을 특징으로 하는 결함 화상 분류 장치.
  4. 제1항 또는 제3항에 있어서,
    상기 다른 복수의 결함 분류 수단으로 분류한 결함 클래스를 비교하는 결함 클래스 비교부를 더 구비하고, 상기 결함 클래스 비교부에서 비교한 정보에 의거하여 상기 화상 선택부에서 상기 기억부에 기억한 결함의 화상 중에서 화상을 선택하는 것을 특징으로 하는 결함 화상 분류 장치.
  5. 제1항 또는 제3항에 있어서,
    상기 화상 분류부는, 상기 기억부에 기억한 상기 다른 촬상 수단으로 촬상하여 얻어진 결함의 화상을 상기 분류 레시피에 의거하여 분류하고, 상기 화상 분류부에서 상기 분류한 결과 미지 결함 클래스로 판정된 결함의 수가 미리 설정한 수 이상이 된 경우에, 상기 화상 선택부는, 상기 다른 복수의 결함 분류 수단으로 결함을 분류한 결함 클래스의 정보를 사용해서 상기 기억부에 기억한 결함의 화상 중에서 화상을 선택하는 것을 특징으로 하는 결함 화상 분류 장치.
  6. 제1항 또는 제3항에 있어서,
    상기 다른 촬상 수단 및 상기 다른 복수의 결함 분류 수단과 통신 회선을 통해 접속되어 있는 것을 특징으로 하는 결함 화상 분류 장치.
  7. 결함의 화상을 분류하는 방법으로서,
    다른 촬상 수단으로 촬상하여 얻어진 결함의 화상을 기억부에 기억하고,
    다른 복수의 결함 분류 수단으로 결함을 분류한 결함 클래스의 정보를 사용해서 화상 선택부에서 상기 기억부에 기억한 결함의 화상 중에서 화상을 선택하고,
    상기 화상 선택부에서 선택한 화상을 화상 분류부에서 분류 레시피에 의거하여 분류하고,
    상기 화상을 분류한 결과에 의거하여 분류 성능 평가부에서 상기 화상 분류부의 분류 성능을 평가하고,
    상기 분류 성능 평가부에서 평가한 결과가 미리 설정한 기준에 달하지 않을 경우에는 상기 화상 선택부에서 선택한 화상을 사용해서 학습 갱신부에서 상기 화상 분류부의 분류 레시피를 갱신하는
    것을 특징으로 하는 결함 화상 분류 방법.
  8. 제7항에 있어서,
    상기 학습 갱신부에서 행하는 분류 레시피의 갱신이, 상기 분류 성능 평가부에서 평가한 결과가 미리 설정한 기준에 달하지 않을 경우에는 상기 화상 선택부에서 선택한 화상 중 상기 화상 분류부에서 미지 결함 클래스로 판정된 결함의 화상을 사용해서 상기 화상 분류부의 분류 레시피를 갱신하는 것을 특징으로 하는 결함 화상 분류 방법.
  9. 결함의 화상을 분류하는 방법으로서,
    다른 촬상 수단으로 촬상하여 얻어진 결함의 화상을 기억부에 기억하고,
    다른 복수의 결함 분류 수단으로 결함을 분류한 결함 클래스의 정보를 사용해서 화상 선택부에서 상기 기억부에 기억한 결함의 화상 중에서 화상을 선택하고,
    상기 기억부에 기억한 화상을 화상 분류부에서 분류 레시피에 의거하여 분류하고,
    상기 화상 선택부에서 선택한 화상을 사용해서 학습 갱신부에서 상기 화상 분류부의 분류 레시피를 갱신하는
    것을 특징으로 하는 결함 화상 분류 방법.
  10. 제7항 또는 제9항에 있어서,
    상기 다른 복수의 결함 분류 수단으로 분류한 결함 클래스를 결함 클래스 비교부에서 비교하는 공정을 더 구비하고, 상기 결함 클래스 비교부에서 비교한 정보에 의거하여 상기 화상 선택부에서 상기 기억부에 기억한 결함의 화상 중에서 화상을 선택하는 것을 특징으로 하는 결함 화상 분류 방법.
  11. 제7항 또는 제9항에 있어서,
    상기 화상 분류부에서 상기 기억부에 기억한 상기 다른 촬상 수단으로 촬상하여 얻어진 결함의 화상을 상기 분류 레시피에 의거하여 분류하고, 상기 화상 분류부에서 상기 분류한 결과 미지 결함 클래스로 판정된 결함의 수가 미리 설정한 수 이상이 된 경우에, 상기 화상 선택부에서 상기 다른 복수의 결함 분류 수단으로 결함을 분류한 결함 클래스의 정보를 사용해서 상기 기억부에 기억한 결함의 화상 중에서 화상을 선택하는 것을 특징으로 하는 결함 화상 분류 방법.
  12. 제7항 또는 제9항에 있어서,
    상기 다른 촬상 수단 및 상기 다른 복수의 결함 분류 수단으로부터의 정보를 통신 회선을 통해 취득하는 것을 특징으로 하는 결함 화상 분류 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020177034927A 2015-06-04 2015-06-04 결함 화상 분류 장치 및 결함 화상 분류 방법 KR101978995B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/066244 WO2016194210A1 (ja) 2015-06-04 2015-06-04 欠陥画像分類装置および欠陥画像分類方法

Publications (2)

Publication Number Publication Date
KR20170141255A KR20170141255A (ko) 2017-12-22
KR101978995B1 true KR101978995B1 (ko) 2019-05-16

Family

ID=57440345

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177034927A KR101978995B1 (ko) 2015-06-04 2015-06-04 결함 화상 분류 장치 및 결함 화상 분류 방법

Country Status (3)

Country Link
US (1) US20180174000A1 (ko)
KR (1) KR101978995B1 (ko)
WO (1) WO2016194210A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI608369B (zh) * 2016-11-23 2017-12-11 財團法人工業技術研究院 分類方法、分類模組及電腦程式產品
US11037286B2 (en) * 2017-09-28 2021-06-15 Applied Materials Israel Ltd. Method of classifying defects in a semiconductor specimen and system thereof
JP7054436B2 (ja) * 2017-12-14 2022-04-14 オムロン株式会社 検出システム、情報処理装置、評価方法及びプログラム
CN108257121B (zh) * 2018-01-09 2019-01-25 北京百度网讯科技有限公司 产品缺陷检测模型更新的方法、装置、存储介质及终端设备
CN108242054A (zh) 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器
JP7130984B2 (ja) * 2018-03-01 2022-09-06 日本電気株式会社 画像判定システム、モデル更新方法およびモデル更新プログラム
JP7083721B2 (ja) * 2018-07-31 2022-06-13 株式会社Ｓｃｒｅｅｎホールディングス 分類器生成方法および分類器生成装置
JP7144244B2 (ja) * 2018-08-31 2022-09-29 株式会社日立ハイテク パターン検査システム
JP7203678B2 (ja) 2019-04-19 2023-01-13 株式会社日立ハイテク 欠陥観察装置
CN111126487A (zh) * 2019-12-24 2020-05-08 北京安兔兔科技有限公司 设备性能测试方法、装置及电子设备
US12020417B2 (en) * 2020-04-24 2024-06-25 Camtek Ltd. Method and system for classifying defects in wafer using wafer-defect images, based on deep learning
CN114898121B (zh) * 2022-06-13 2023-05-30 河海大学 基于图注意力网络的混凝土坝缺陷图像描述自动生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002515650A (ja) 1998-05-11 2002-05-28 アプライド マテリアルズ インコーポレイテッド 製造設備歩留まり向上システム
JP2004295879A (ja) 2003-03-12 2004-10-21 Hitachi High-Technologies Corp 欠陥分類方法
WO2010076882A1 (ja) 2008-12-29 2010-07-08 株式会社日立ハイテクノロジーズ 画像分類基準更新方法、プログラムおよび画像分類装置
WO2012144183A1 (ja) 2011-04-20 2012-10-26 株式会社日立ハイテクノロジーズ 欠陥分類方法及び欠陥分類システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256480A (ja) 2000-03-09 2001-09-21 Hitachi Ltd 画像自動分類方法及び装置
US6678404B1 (en) * 2000-10-31 2004-01-13 Shih-Jong J. Lee Automatic referencing for computer vision applications
CN103439346B (zh) * 2004-10-12 2017-10-20 恪纳腾技术公司 用于分类样品上的缺陷的计算机实现的方法和系统
JP2006268825A (ja) * 2005-02-28 2006-10-05 Toshiba Corp オブジェクト検出装置、学習装置、オブジェクト検出システム、方法、およびプログラム
JP2011155123A (ja) 2010-01-27 2011-08-11 Kyocera Corp 積層セラミックコンデンサ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002515650A (ja) 1998-05-11 2002-05-28 アプライド マテリアルズ インコーポレイテッド 製造設備歩留まり向上システム
JP2004295879A (ja) 2003-03-12 2004-10-21 Hitachi High-Technologies Corp 欠陥分類方法
WO2010076882A1 (ja) 2008-12-29 2010-07-08 株式会社日立ハイテクノロジーズ 画像分類基準更新方法、プログラムおよび画像分類装置
WO2012144183A1 (ja) 2011-04-20 2012-10-26 株式会社日立ハイテクノロジーズ 欠陥分類方法及び欠陥分類システム

Also Published As

Publication number Publication date
US20180174000A1 (en) 2018-06-21
WO2016194210A1 (ja) 2016-12-08
KR20170141255A (ko) 2017-12-22

Similar Documents

Publication Publication Date Title
KR101978995B1 (ko) 결함 화상 분류 장치 및 결함 화상 분류 방법
KR102536011B1 (ko) 심층적으로 적층된 층들을 갖는 웨이퍼들에서 결함 분류기를 트레이닝하고 적용하기 위한 시스템, 방법
US9075026B2 (en) Defect inspection device and defect inspection method
CN109564422A (zh) 工具状况监测及匹配
US7062081B2 (en) Method and system for analyzing circuit pattern defects
JP5444092B2 (ja) 検査方法およびその装置
CN107407648B (zh) 自适应滋扰过滤器
US8111902B2 (en) Method and apparatus for inspecting defects of circuit patterns
EP3271939B1 (en) Systems and methods for enhancing inspection sensitivity of an inspection tool
KR101202527B1 (ko) 결함 관찰 장치 및 결함 관찰 방법
JP2000057349A (ja) 欠陥の分類方法およびその装置並びに教示用データ作成方法
US8026481B2 (en) Charged particle apparatus, scanning electron microscope, and sample inspection method
US8779360B2 (en) Charged particle beam device, defect observation device, and management server
WO2010076882A1 (ja) 画像分類基準更新方法、プログラムおよび画像分類装置
US20120070089A1 (en) Method of manufacturing a template matching template, as well as a device for manufacturing a template
US10514685B2 (en) Automatic recipe stability monitoring and reporting
KR20140044395A (ko) 결함 관찰 방법 및 결함 관찰 장치
US6985220B1 (en) Interactive threshold tuning
CN108445010A (zh) 自动光学检测方法及装置
JP2001127129A (ja) 試料の欠陥検査システム、および検査方法
JP5174863B2 (ja) 画像取得条件設定装置、及びコンピュータプログラム
KR101695531B1 (ko) 비전영상 기반 객체 검사 인증 시스템
US20240125677A1 (en) Method and system for detecting microplastics with small particle size, electronic device and medium
JP2022187070A (ja) 画像認識システム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right