KR102268019B1 - 인공 지능 학습 데이터를 활용한 전자 현미경 - Google Patents

인공 지능 학습 데이터를 활용한 전자 현미경 Download PDF

Info

Publication number
KR102268019B1
KR102268019B1 KR1020190050578A KR20190050578A KR102268019B1 KR 102268019 B1 KR102268019 B1 KR 102268019B1 KR 1020190050578 A KR1020190050578 A KR 1020190050578A KR 20190050578 A KR20190050578 A KR 20190050578A KR 102268019 B1 KR102268019 B1 KR 102268019B1
Authority
KR
South Korea
Prior art keywords
electron microscope
deep learning
image
command
parameters
Prior art date
Application number
KR1020190050578A
Other languages
English (en)
Other versions
KR20200130769A (ko
Inventor
이준희
양현종
유상원
김희수
Original Assignee
(주)코셈
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코셈, 울산과학기술원 filed Critical (주)코셈
Priority to KR1020190050578A priority Critical patent/KR102268019B1/ko
Priority to US17/603,951 priority patent/US20220199360A1/en
Priority to PCT/KR2020/004962 priority patent/WO2020222441A1/ko
Publication of KR20200130769A publication Critical patent/KR20200130769A/ko
Application granted granted Critical
Publication of KR102268019B1 publication Critical patent/KR102268019B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/261—Details
    • H01J37/265—Controlling the tube; circuit arrangements adapted to a particular application not otherwise provided, e.g. bright-field-dark-field illumination
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/261—Details
    • H01J37/263—Contrast, resolution or power of penetration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/21—Means for adjusting the focus
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/21—Focus adjustment
    • H01J2237/216—Automatic focusing methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/28—Scanning microscopes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams

Landscapes

  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

본 발명은 딥러닝 모듈을 갖는 전자현미경으로서, 상기 딥러닝 모듈은 전자현미경 이미지와 제어 파라미터들을 딥러닝 모델의 학습 입력정보로 이용하고, 제어 파라미터 중 포커스, 명암, 밝기의 정도를 딥러닝 모델의 타겟으로 사용하여 학습한 딥 러닝 모델의 최적 타겟이 되도록 커맨드를 생성하는 것을 특징으로 한다.
별도의 제어 파라미터 값에 대한 수동 조작 없이도 인공지능 기반으로 학습된 데이터에 기초하여 자동으로 고품질의 시료 영상을 제공하여, 숙련자뿐 만 아니라 초보자도 전자 현미경을 손쉽게 이용할 수 있도록 함으로써 전자현미경 시장의 활성화를 도모할 수 있다.

Description

인공 지능 학습 데이터를 활용한 전자 현미경{Electronic Microscopic Using AI Learning Data}
본 발명은 전자 현미경에 관한 것으로서, 보다 상세하게는 전자현미경의 영상 촬영시의 제어 파라미터와 제어 파라미터에 대응되는 영상 및 영상 품질 간의 관계를 딥 러닝 모델(Deep Learning Model)을 통해 학습하여 얻어진 영상 품질 데이터 셋을 이용하여 초보자도 용이하게 고품질의 시료 영상을 관찰할 수 있도록 하는 인공 지능 학습 데이터를 활용한 전자 현미경에 관한 것이다.
반도체 및 디스플레이 및 부품 소재들을 관찰하기 위하여 투과전자현미경(Transmission Electron Microscope)과 주사전자현미경(Scanning Electron Microscope)이 이용되고 있다.
투과전자현미경(Transmission Electron Microscope)은 물질의 상(phase), 특성, 성분 및 불량 등을 알아보기 위해 사용되는데 박막 시료를 제조하여 고정시킨 후 고전위차의 전자빔을 시료 면에 입사시켜 투과되도록 함으로써 시료의 상과 성분을 분석하는 장치다.
주사 전자 현미경(scanning electron microscope(SEM)) 장치는 집속된 전자빔을 시료로 주사(scan)하고 시료로부터 방출되는 2차 전자들 또는 후방 산란 전자들에 관련된 전자 신호를 이용하여 시료의 표면 상태를 관찰하거나 시료의 성분을 분석하는 장치이다.
도 1은 일반적인 주사 전자 현미경의 구성도로서, 경통(10), 시료 챔버(20), 검출기(30), 영상 획득 모듈(40), 제어기(50), 컴퓨터(60)로 구성된다.
경통(10)에는 전자빔을 시료에 주사하기 위한 장치들이 설치되고, 검출기( 30)는 경통 일측에 설치되어 시료에서 방출된 2차전자 또는 후방 산란 전자를 감지한다.
영상 획득 모듈(40)은 검출기(30)로부터 검출신호를 전달받아 시료 표면 영상을 처리하고, 제어기(50)는 전자현미경 구동에 필요한 각종 파라미터 값에 기초하여 각 장치를 제어한다.
컴퓨터(60)는 파라미터 값 조절을 위한 사용자 입력 신호가 입력될 수 있도록 하는 입력 장치와, 시료 영상을 사용자가 관찰할 수 있도록 하는 디스플레이 장치를 포함하여, 사용자가 파라미터 값을 조절하면서 시료의 영상을 관찰 할 수 있도록 한다.
이러한 주사전자현미경은 전자를 가속 시료에 반응하여 상을 관찰하기까지, 일련의 과정이 매우 복잡하고 난해하다. 즉, 시료의 정확한 분석을 위하여 사용자가 하전입자광학, 시료에 대한 속성 등을 이해하고 작동 거리(working distance, WD), 명암(contrast), 밝기(brightness), 스테이지의 위치, 시료로 방출되는 전자의 양, 전압 등의 파라미터를 미세하게 조정하면서 원하는 고품질의 영상을 획득해야 한다.
이와 같이 전자 현미경을 이용하여 고품질의 시료 영상을 획득하기 위해서는고도의 전문 지식과 숙련도가 요구된다. 따라서, 초보자가 전자 현미경을 이용하여 고품질의 시료 영상을 획득하는 것은 매우 어려운 작업이다.
일본등록특허 제6215124호 "주사 전자현미경, 및 그 제어 방법" 일본등록특허 제5501514호 "전자현미경 설정 시스템"
배경기술의 단점을 해소하기 위한 본 발명의 목적은 전자현미경 이미지와 제어 파라미터들을 딥러닝 모델의 학습 입력정보로 이용하고, 제어 파라미터 중 포커스, 명암, 밝기의 정도를 딥러닝 모델의 타겟으로 사용하여 학습한 딥 러닝 모델의 최적 타겟이 되도록 커맨드를 생성하도록 하는 것이다.
과제를 해결하기 위한 본 발명의 일 측면에 따르면, 딥러닝 모듈을 갖는 전자현미경으로서, 상기 딥러닝 모듈은 전자현미경 이미지와 제어 파라미터들을 딥러닝 모델의 학습 입력정보로 이용하고, 제어 파라미터 중 포커스, 명암, 밝기의 정도를 딥러닝 모델의 타겟으로 사용하여 학습한 딥 러닝 모델의 최적 타겟이 되도록 커맨드를 생성하되, 상기 제어 파라미터는 영상품질에 미치는 영향의 정도 및 동작 조건 사용 여부에 따라 복수개의 파라미터 그룹으로 분류되고, 영상품질에 영향을 미치는 파라미터들과 영상의 품질에 전혀 영향을 주지 않지만 동작 조건으로 사용할 수 있는 파라미터들로만 제어 파라미터 셋이 구성되는 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경이 제공된다.
여기서, 상기 커맨드는 포커스, 명암 및 밝기 조절을 위한 명령어이고, 상기 딥러닝 모듈의 개시 조건은 필라멘트가 온되는 경우, 스테이지의 이동, 가속 전압 변경, 스폿 사이즈 변경 중 어느 하나일 수 있다.
삭제
또한, 사용자로부터 셔터 커맨드가 입력되면, 셔터 커맨드가 입력된 시점이전의 포커스, 명암, 밝기 곡선에 대하여 변곡점을 추출하고, 상기 셔터 커맨드가 입력된 시점이 최적의 포커스, 명암, 밝기 값으로 가정하여 파라미터값에 최대 스코어를 부여하고 해당 변곡점의 파라미터 값에 최저 스코어를 부여할 수 있고 , 사용자의 조작 수준에 따라 스코어를 다르게 부여할 수 있도록 상기 딥러닝 모듈은 전자 현미경 구동 시 상기 사용자로부터 조작 수준 정보를 입력받는 것도 가능하다.
본 발명에 따르면, 별도의 제어 파라미터 값에 대한 수동 조작 없이도 인공지능 기반으로 학습된 데이터에 기초하여 자동으로 고품질의 시료 영상을 제공하여, 숙련자뿐 만 아니라 초보자도 전자 현미경을 손쉽게 이용할 수 있도록 함으로써 초보자도 숙련자가 얻는 양질의 영상을 얻을 수 있도록 하는데 있다.
도 1은 일반적인 주사 전자 현미경의 구성도.
도 2는 본 발명의 실시예에 따른 인공 지능 학습 데이터를 활용한 전자 현미경 구성도.
도 3은 본 발명의 실시예에 따른 인공 지능 학습을 설명하는 도면.
도 4는 본 발명의 실시예에 따른 타겟 설정 방법을 설명하기 위한 참조도.
도 5는 인공 지능 학습 데이터를 활용한 전자 현미경의 영상 이미지 획득과정을 설명하기 위한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 인공 지능 학습 데이터를 활용한 전자 현미경 구성도로서, 경통(100), 시료 챔버(200), 검출기(300), 영상 획득 모듈(400), 제어기(500), 컴퓨터(600) 및 딥러닝 모듈(700)을 포함한다.
경통(100)은 전자빔을 시료에 주사하기 위한 것으로서, 도면에 구체적으로 도시되지는 않았으나 전자빔(electron beam)을 생성하는 전자총(electron gun), 집속 렌즈(condensor lens), 편향기(deflector), 대물 렌즈(objective lens) 및 조리개(aperture)등을 포함한다.
검출기(300)는 경통(100)의 일측에 설치되어 시료에서 방출된 2차 전자 또는 후방 산란 전자를 감지한다.
영상 획득 모듈(400)은 검출기(300)로부터 검출신호를 전달받아 시료 표면 영상을 처리한다.
제어기(500)는 전자현미경 구동에 필요한 각종 파라미터 값에 기초하여 각 장치를 제어하는 것으로서, 컴퓨터(600)를 통해 입력되는 사용자의 조작 신호 또는 딥 러닝 모듈(700)에 의해 학습된 데이터에 기초한 제어 파라미터 값에 따라 각 장치의 구동을 제어한다.
딥러닝 모듈(700)은 전자현미경에서 촬영된 이미지와 이때의 제어 파라미터들을 학습 입력정보로 이용하고, 제어 파라미터 중 포커스, 명암, 밝기의 정도를 타겟으로 사용하여 학습한 딥 러닝 모델의 최적 타겟이 되도록 커맨드를 생성하는 것이다. 딥러닝 모듈(700)은 컴퓨터(600)와 일체로 구현될 수도 있고, 특정 현장에 국한되지 않고 다양한 현장에서의 다양한 종류의 영상 품질 데이터 셋을 수집하기 위하여 인터넷 또는 무선 통신망을 통해 연결된 서버에 구축될 수 있다.
딥 러닝 모듈(700)을 이용한 학습 방법을 도 3을 참조하여 설명하면 다음과 같다.
도 3을 참조하면 상술한 바와 같이, 전자현미경 이미지와 제어 파라미터들이 학습 입력정보로서 인공지능 네트워크에 입력된다. 제어 파라미터들은 영상품질에 미치는 영향의 정도에 따라 4개의 파라미터 그룹으로 분류될 수 있다.
그룹 Ⅰ은 영상의 품질과 딥 러닝 모델 학습에 전혀 영향이 없는 파라미터들로서, 버전, 날짜, 이미지 타입 등을 포함할 수 있다.
그룹 Ⅱ는 영상의 품질에 전혀 영향을 주지 않지만 동작 조건으로 사용할 수 있는 파라미터들로서, 스캔 속도, 스테이지 위치, 회전, 픽셀의 크기 등을 포함할 수 있다.
그룹 Ⅲ은 영상의 품질에 간접적으로 영향을 주는 파라미터들로서 스팟 사이즈, 전자량, 전압, 빔 정렬 등을 포함할 수 있다.
그룹 Ⅳ는 영상의 품질에 직접적으로 영상을 주는 파라미터들로서, 초점거리(Focal Length), 명함(Contrast), 밝기(Brightness) 등을 포함한다.
본 실시예에서는 영상의 품질에 직접적으로 영상을 주는 파라미터인 초점거리(Focal Length), 명함(Contrast), 밝기(Brightness)의 정도를 딥러닝 모델의 타겟으로 사용한다. 여기서 타겟은 포커스, 명암, 밝기 각각에 대하여 값의 변화에 따른 영상품질에 대한 스코어일 수 있다. 예를 들어 포커스, 명암, 밝기 값들의 각각의 변화에 얻어지는 전자현미경 이미지의 영상품질을 1 ~ 9의 값으로 스코어링할 수 있다. 스코어링 값은 숫자가 높을수록 고품질을 나타낸다.
여기서, 타겟을 결정하는 방법을 설명하면 다음과 같다.
일반적으로 사용자가 전자현미경을 사용하는 과정을 살펴보면, 전자현미경을 조작하면서 영상을 관찰하고, 고품질의 영상이 얻어지면 셔터 커맨드를 눌러 해당 영상을 획득한다. 전자현미경의 딥러닝 모델 과정에서 사용자가 학습 과정을 인식하지 못하는 것이 바람직하며, 이를 위해 본 발명에서는 사용자의 셔터 커맨드를 눌러 이미지 사진을 획득하는 경우 가장 좋은 품질의 이미지로 인식한 것이라는 가정하에서 셔터 커맨드를 눌렀을 때 가장 높은 스코어를 부여하도록 한다. 그리고, 사용자의 전문성이나 숙련도에 따라 등급을 구분하여 스코어에 가중치를 부여할 수도 있다. 예를 들어 사용자를 초보자(하), 중급자(중), 전문가(상)로 분류하여 초보자의 스코어 범위를 1 ~ 5, 중급자의 스코어 범위를 1 ~ 7, 전문가의 스코어 범위를 1 ~ 9로 구분하는 것이 가능하다. 이를 위해, 사용자가 전자현미경을 사용하고자 하는 초기시점에서 사용자의 전자현미경 조작 수준 정보를 상,중,하로 입력하도록 하는 것이 바람직하다.
스코어를 결정하는 기준은 사용자가 초기 이미지에서 조작을 하여 셔터 커맨드를 누르기까지의 포커스, 명암, 밝기의 변곡점을 이용하여 타겟을 설정하고 데이터를 수집할 수 있는데, 이 과정이 도 4에 예시되어 있다.
도 4는 사용자가 전자현미경을 조작하면서 영상의 품질을 관찰한 후 최적의 영상에서 셔터 커맨드를 눌러진 시점(c)까지의 제어 파라미터 곡선의 일례를 나타낸 것이다. 이 제어 파라미터는 포커스, 명암, 밝기 중 어느 하나일 수 있다. 사용자가 "c"점에서 조작을 멈춘 후 셔터 커맨드를 누른 경우, 2개의 변곡점(a, c)이 존재하며, 이 변곡점에 가장 낮은 스코어가 부여된다. 그리고, "c"점을 기준으로 y축 방향으로 "c"점과 변곡점 간의 거리를 n등분(예를 들면 9등분)하여 거리에 따라 스코어를 부여할 수 있다.
도 4에서 예시적으로 "e" 점과 "f"점, "d"점과 "g"점은 "c"점으로부터의 거리가 같은 점이므로 같은 스코어가 부여되며, "c"점으로부터의 거리가 멀어질수록 낮은 스코어가 부여된다.
이러한 과정을 통해서 전자현미경 데이터를 수집하는 방법은 학습을 위한 데이터를 별도로 수집하는 과정 없이 다양한 수준의 사용자들이 전자현미경을 사용하는 과정에서 얻어지는 데이터를 수집하는 것에 의해 딥러닝 학습 수행에 필요한 많은 양의 데이터를 용이하고 효과적으로 수집할 수 있는 장점이 있다.
도 5는 인공 지능 학습 데이터를 활용한 전자 현미경의 영상 이미지 획득과정을 설명하기 위한 도면이다.
사용자가 전자현미경을 구동하면, 학습 입력정보로서 전자현미경 이미지(Ii)와 제어 파라미터(Pi)들이 딥러닝 모델로 입력된다. 딥러닝 모델은 학습결과에 따라 해당 전자현미경 이미지의 타겟(Ti)이 결정되고, 결정된 타겟(Ti)과 최적 타겟(T*)을 비교하여 그 차를 구하고, 그 차를 보상하기 위한 제어신호(Ci+1) 를 전자현미경으로 출력한다. 여기서 제어신호(Ci+1)는 학습 결과에 따라 제어 파라미터를 변경하기 위한 제어신호이다. 그에 따라 전자 현미경은 새로운 이미지(Ii+1)와 제어 파라미터(Pi+1)을 딥러닝 모델로 입력하고, 딥 모델은 이에 따른 타겟(Ti+1)과 최적 타겟(T*)을 비교하는 과정을 반복하여 딥 모델에서 출력되는 타겟이 최적 타겟(T*)이 되면, 즉 스코어가 9인 영상품질을 갖는 이미지가 얻어지면 해당 이미지를 사용자에게 제공한다. 이러한 인공지능을 이용하여 사용자에게 최적 품질의 이미지를 제공하기 위해서는 제어신호(Ci+1)를 전자현미경으로 출력한 후 새로운 이미지(Ii+1)와 제어 파라미터(Pi+1)을 얻어 새로운 타겟(Ti+1)을 얻기까지 시간을 한 주기 제어응답시간이라 할 경우 수차례의 주기를 거쳐 최적 타겟(T*)에 도달하게 된다. 그러므로 한 주기 제어응답시간을 짧게 할수록 사용자가 느끼는 만족도가 높을 것이며, 이러한 시간은 1~2초 이내가 되는 것이 좋다.
이하에서는 도면을 참고하여 본 발명에 따른 인공 지능 학습 데이터를 활용한 전자 현미경을 동작 과정을 설명하기로 한다.
우선, 사용자가 전자현미경 영상을 얻기 위해 컴퓨터(600)를 조작하면, 제어 파라미터 값이 제어기(500)로 전달되고, 제어기(500)는 제어 파라미터 값에 해당하는 각 장치의 구동을 제어한다.
제어기(500)의 제어 신호에 따라 전자빔이 시료(S)에 조사되면 검출기(300)는 시료에서 방출된 2차 전자 또는 후방 산란 전자를 감지하여 영상 획득 모듈(400)로 전달한다.
영상 획득 모듈(400)은 검출기(300)로부터 검출신호를 전달받아 시료 표면 영상을 처리하여 컴퓨터(600)로 전송하고, 사용자는 컴퓨터(600) 화면에 표시된 검사 영상을 관찰하면서 고품질의 영상이 얻어질 때까지 제어 파라미터들을 변경한다.
이러한 조작 과정에서 제어파라미터들 특히, 본 발명에서 중요한 포커스, 명암, 밝기 곡선이 변화하게 되고, 각 시점마다 이미지의 품질이 변화된다. 사용자가 영상 저장을 위한 셔터 커맨드를 누르면 이때의 영상이 최적 영상인 것으로 판단하고, 변곡점을 갖는 시점(a)에서 출발하여 셔터가 눌러진 시점(c) 사이를 분할하여 각 구간에서의 주요 제어 파라미터값들(포커스, 명암, 밝기)과 스코어를 타겟으로 저장한다.
수집한 데이터는 더 추가적인 딥러닝 모델을 학습하는데 사용할 수 있으며, 통상적인 제어과정에서는 이미 학습된 딥러닝 모델을 사용하여 전자현미경 이미지를 획득한다. 딥러닝 모델은 더 많은 데이터를 이용하여 학습을 할 경우 더 좋은 성능을 냄으로 데이터를 자동으로 수집하는 것은 딥러닝 모델을 향상하는데 중요한 요인이다.
도 5에 도시된 것은 이미 학습된 딥러닝 모델에 입력정보인 전자현미경 이미지(Ii)와 제어 파라미터(Pi)에 기초하여 결정된 해당 전자현미경 이미지의 타겟(Ti)과 최적 타겟(T*)의 비교 과정과, 그에 따른 보상제어신호(Ci+1)를 이용하여 전자현미경을 제어하는 과정을 반복하여 높은 영상품질을 갖는 이미지를 획득하여 사용자에게 제공한다.
비록 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.
100 : 경통100 200 : 시료 챔버
300 : 검출기 400 : 영상 획득 모듈
500 : 제어기 600 : 컴퓨터
700 : 딥 러닝 모듈

Claims (6)

  1. 딥러닝 모듈을 갖는 전자현미경으로서,
    상기 딥러닝 모듈은 전자현미경 이미지와 제어 파라미터들을 딥러닝 모델의 학습 입력정보로 이용하고, 제어 파라미터 중 포커스, 명암, 밝기의 정도를 딥러닝 모델의 타겟으로 사용하여 학습한 딥 러닝 모델의 최적 타겟이 되도록 커맨드를 생성하되,
    상기 제어 파라미터는 영상품질에 미치는 영향의 정도 및 동작 조건 사용 여부에 따라 복수개의 파라미터 그룹으로 분류되고, 영상품질에 영향을 미치는 파라미터들과 영상의 품질에 전혀 영향을 주지 않지만 동작 조건으로 사용할 수 있는 파라미터들로만 제어 파라미터 셋이 구성되는 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경.
  2. 제 1 항에 있어서,
    상기 커맨드는 포커스, 명암 및 밝기 조절을 위한 명령어인 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경.
  3. 제 1 항에 있어서,
    상기 딥러닝 모듈의 개시 조건은 필라멘트가 온되는 경우, 스테이지의 이동, 가속 전압 변경, 스폿 사이즈 변경 중 어느 하나인 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경.

  4. 삭제
  5. 제 1 항에 있어서,
    사용자로부터 셔터 커맨드가 입력되면, 셔터 커맨드가 입력된 시점이전의 포커스, 명암, 밝기 곡선에 대하여 변곡점을 추출하고, 상기 셔터 커맨드가 입력된 시점의 파라미터값에 최대 스코어를 부여하고 해당 변곡점의 파라미터 값에 최저 스코어를 부여하는 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경.
  6. 제 5 항에 있어서,
    상기 딥러닝 모듈은 전자 현미경 구동 시 상기 사용자로부터 조작 수준 정보를 입력받고, 사용자의 조작 수준에 따라 상기 스코어의 범위를 다르게 설정하는 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경.
KR1020190050578A 2019-04-30 2019-04-30 인공 지능 학습 데이터를 활용한 전자 현미경 KR102268019B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190050578A KR102268019B1 (ko) 2019-04-30 2019-04-30 인공 지능 학습 데이터를 활용한 전자 현미경
US17/603,951 US20220199360A1 (en) 2019-04-30 2020-04-13 Electron microscope using artificial intelligence training data
PCT/KR2020/004962 WO2020222441A1 (ko) 2019-04-30 2020-04-13 인공 지능 학습 데이터를 활용한 전자 현미경

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190050578A KR102268019B1 (ko) 2019-04-30 2019-04-30 인공 지능 학습 데이터를 활용한 전자 현미경

Publications (2)

Publication Number Publication Date
KR20200130769A KR20200130769A (ko) 2020-11-20
KR102268019B1 true KR102268019B1 (ko) 2021-06-22

Family

ID=73028973

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190050578A KR102268019B1 (ko) 2019-04-30 2019-04-30 인공 지능 학습 데이터를 활용한 전자 현미경

Country Status (3)

Country Link
US (1) US20220199360A1 (ko)
KR (1) KR102268019B1 (ko)
WO (1) WO2020222441A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003303567A (ja) 2002-04-11 2003-10-24 Keyence Corp 電子顕微鏡、電子顕微鏡の操作方法、電子顕微鏡操作プログラムおよびコンピュータで読み取り可能な記録媒体
JP4020714B2 (ja) * 2001-08-09 2007-12-12 オリンパス株式会社 顕微鏡
CN108961246A (zh) 2018-07-10 2018-12-07 吉林大学 一种基于人工智能的扫描电镜图像孔隙识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS551514B2 (ko) 1972-06-14 1980-01-14
JPS54110861A (en) 1978-02-18 1979-08-30 Mitsubishi Chem Ind Data treating apparatus of plural measuring instrument
JPH0766770B2 (ja) * 1989-03-10 1995-07-19 株式会社日立製作所 電子線照射装置
KR20070077288A (ko) * 2006-01-23 2007-07-26 삼성전자주식회사 자동 초점 조절 방법 및 자동 초점 조절 기능을 갖는 주사전자 현미경.
US10648924B2 (en) * 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US11275361B2 (en) * 2017-06-30 2022-03-15 Kla-Tencor Corporation Systems and methods for predicting defects and critical dimension using deep learning in the semiconductor manufacturing process
EP3598474A1 (en) * 2018-07-19 2020-01-22 FEI Company Adaptive specimen image acquisition using an artificial neural network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4020714B2 (ja) * 2001-08-09 2007-12-12 オリンパス株式会社 顕微鏡
JP2003303567A (ja) 2002-04-11 2003-10-24 Keyence Corp 電子顕微鏡、電子顕微鏡の操作方法、電子顕微鏡操作プログラムおよびコンピュータで読み取り可能な記録媒体
CN108961246A (zh) 2018-07-10 2018-12-07 吉林大学 一种基于人工智能的扫描电镜图像孔隙识别方法

Also Published As

Publication number Publication date
WO2020222441A1 (ko) 2020-11-05
KR20200130769A (ko) 2020-11-20
US20220199360A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
JP5422673B2 (ja) 荷電粒子線顕微鏡及びそれを用いた測定方法
US7358493B2 (en) Method and apparatus for automated beam optimization in a scanning electron microscope
CN103048779B (zh) 用于确定并校正显微镜成像光路中球差的装置和方法
EP3035104B1 (en) Microscope system and setting value calculation method
DE112010002934T5 (de) Mikroskop mit einem Strahl geladener Teilchen und Messverfahren dafür
US20030193024A1 (en) Electron microscope charge-up prevention method and electron microscope
CN109465531B (zh) 一种电子束熔丝沉积增材制造实时监控系统
CN104040676B (zh) 带电粒子线装置以及倾斜观察图像显示方法
CN113923358A (zh) 一种飞拍模式下的在线自动对焦方法和系统
US6774362B2 (en) Analytical method for electron microscopy
KR102417573B1 (ko) 인공 지능 학습 데이터를 활용한 전자 현미경
KR102268019B1 (ko) 인공 지능 학습 데이터를 활용한 전자 현미경
CN103733298B (zh) 带电粒子束装置
US5404012A (en) Scanning electron microscope
JP6716026B2 (ja) 荷電粒子線装置および荷電粒子線装置における条件設定方法
JP4083193B2 (ja) 電子顕微鏡
CN1639830A (zh) 对准带电颗粒束列的方法与装置
JP2010182424A (ja) 荷電粒子線の光軸調整方法、及び荷電粒子線装置
EP3591686B1 (en) Electron microscope
DE102006007320A1 (de) Transmissionselektronenmikroskop
JP4634324B2 (ja) 透過電子顕微鏡
CN112309812B (zh) 用于操作粒子束显微镜的方法以及粒子束显微镜
CN114235868B (zh) 一种具有自动调焦功能的差分高能电子衍射系统及方法
JP2007178764A (ja) オートフォーカス方法およびオートフォーカス装置
US20220222775A1 (en) Sample observation apparatus

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant