KR102417573B1 - 인공 지능 학습 데이터를 활용한 전자 현미경 - Google Patents

인공 지능 학습 데이터를 활용한 전자 현미경 Download PDF

Info

Publication number
KR102417573B1
KR102417573B1 KR1020200065221A KR20200065221A KR102417573B1 KR 102417573 B1 KR102417573 B1 KR 102417573B1 KR 1020200065221 A KR1020200065221 A KR 1020200065221A KR 20200065221 A KR20200065221 A KR 20200065221A KR 102417573 B1 KR102417573 B1 KR 102417573B1
Authority
KR
South Korea
Prior art keywords
image
electron microscope
target score
learning model
control signal
Prior art date
Application number
KR1020200065221A
Other languages
English (en)
Other versions
KR20210147662A (ko
Inventor
이준희
양현종
김용주
김영곤
Original Assignee
(주)코셈
주식회사 이고비드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코셈, 주식회사 이고비드 filed Critical (주)코셈
Priority to KR1020200065221A priority Critical patent/KR102417573B1/ko
Publication of KR20210147662A publication Critical patent/KR20210147662A/ko
Application granted granted Critical
Publication of KR102417573B1 publication Critical patent/KR102417573B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/221—Image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

본 발명은 전자 현미경 이미지의 영상 품질을 판단하는 지도 학습된 딥 러닝 모델(Deep Learning Model)과 제어신호를 생성하는 강화 학습된 딥 러닝 모델(Deep Learning Model)을 사용하여 전자 현미경의 고품질 시료 영상을 획득할 수 있는 제어신호를 자동 생성하는 기술에 관한 것이다.
본 발명에 따른 인공 지능 학습 데이터를 활용한 전자 현미경은, 고품질 이미지를 획득하기 위한 강화된 제어신호를 출력하는 제어신호 생성수단을 구비한 전자현미경으로서, 상기 제어신호 생성수단은, 전자현미경 이미지와 해당 이미지 획득을 위한 포커스, 명암, 밝기의 정도를 포함한 제어 파라미터값을 입력으로 하여 제어 파라미터별 타겟 점수를 학습 결과로 출력하는 지도학습모델을 구비하는 제1 딥 러닝 머신과, 제1 딥 러닝 머신을 통해 출력되는 제어 파라미터별 타켓 점수가 기 설정된 최적 타겟 점수가 되도록 하는 제어 파라미터값 조절을 위한 강화된 제어신호를 학습 결과로 출력하는 강화학습모델을 구비하는 제2 딥 러닝 머신을 포함하여 구성되는 것을 특징으로 한다.

Description

인공 지능 학습 데이터를 활용한 전자 현미경{Electronic Microscopic Using AI Learning Data}
본 발명은 전자 현미경 이미지의 영상 품질을 판단하는 지도 학습된 딥 러닝 모델(Deep Learning Model)과 제어신호를 생성하는 강화 학습된 딥 러닝 모델(Deep Learning Model)을 사용하여 전자 현미경의 고품질 시료 영상을 획득할 수 있는 제어신호를 자동 생성하는 기술에 관한 것이다.
반도체 및 디스플레이 및 부품 소재들을 관찰하기 위하여 투과전자현미경(Transmission Electron Microscope)과 주사전자현미경(Scanning Electron Microscope)이 이용되고 있다.
투과전자현미경(Transmission Electron Microscope)은 물질의 상(phase), 특성, 성분 및 불량 등을 알아보기 위해 사용되는데 박막 시료를 제조하여 고정시킨 후 고전위차의 전자빔을 시료 면에 입사시켜 투과되도록 함으로써 시료의 상과 성분을 분석하는 장치다.
주사 전자 현미경(scanning electron microscope(SEM)) 장치는 집속된 전자빔을 시료로 주사(scan)하고 시료로부터 방출되는 2차 전자들 또는 후방 산란 전자들에 관련된 전자 신호를 이용하여 시료의 표면 상태를 관찰하거나 시료의 성분을 분석하는 장치이다.
도 1은 일반적인 주사 전자 현미경의 구성도로서, 경통(10), 시료 챔버(20), 검출기(30), 영상 획득 모듈(40), 제어기(50), 컴퓨터(60)로 구성된다.
경통(10)에는 전자빔을 시료에 주사하기 위한 장치들이 설치되고, 검출기( 30)는 경통 일측에 설치되어 시료에서 방출된 2차전자 또는 후방 산란 전자를 감지한다.
영상 획득 모듈(40)은 검출기(30)로부터 검출신호를 전달받아 시료 표면 영상을 처리하고, 제어기(50)는 전자현미경 구동에 필요한 각종 파라미터 값에 기초하여 각 장치를 제어한다.
컴퓨터(60)는 파라미터 값 조절을 위한 사용자 입력 신호가 입력될 수 있도록 하는 입력 장치와, 시료 영상을 사용자가 관찰할 수 있도록 하는 디스플레이 장치를 포함하여, 사용자가 파라미터 값을 조절하면서 시료의 영상을 관찰 할 수 있도록 한다.
이러한 주사전자현미경은 전자를 가속 시료에 반응하여 상을 관찰하기까지, 일련의 과정이 매우 복잡하고 난해하다. 즉, 시료의 정확한 분석을 위하여 사용자가 하전입자광학, 시료에 대한 속성 등을 이해하고 작동 거리(working distance, WD), 명암(contrast), 밝기(brightness), 스테이지의 위치, 시료로 방출되는 전자의 양, 전압 등의 파라미터를 미세하게 조정하면서 원하는 고품질의 영상을 획득해야 한다.
이와 같이 전자 현미경을 이용하여 고품질의 시료 영상을 획득하기 위해서는고도의 전문 지식과 숙련도가 요구된다. 따라서, 초보자가 전자 현미경을 이용하여 고품질의 시료 영상을 획득하는 것은 매우 어려운 작업이다.
1. 일본등록특허 제6215124호 "주사 전자현미경, 및 그 제어 방법" 2. 일본등록특허 제5501514호 "전자현미경 설정 시스템"
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로서, 전자현미경의 이미지와 제어 파라미터들을 딥러닝 모델의 학습 입력정보로 이용하고, 포커스, 명암, 밝기를 포함한 제어 파라미터를 제1 딥러닝 모델의 타겟으로 사용하여 점수화하고, 제2 딥러닝 모델을 통해 제1 딥러닝 모델의 타겟 점수가 최적 타겟 점수가 되도록 하는 제어 파라미터값 조절을 위한 제어신호를 자동 생성해 주는 인공 지능 학습 데이터를 활용한 전자 현미경를 제공함에 그 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 고품질 이미지를 획득하기 위한 강화된 제어신호를 출력하는 제어신호 생성수단을 구비한 전자현미경으로서, 상기 제어신호 생성수단은, 전자현미경 이미지와 해당 이미지 획득을 위한 포커스, 명암, 밝기의 정도를 포함한 제어 파라미터값을 입력으로 하여 제어 파라미터별 타겟 점수를 학습 결과로 출력하는 지도학습모델을 구비하는 제1 딥 러닝 머신과, 제1 딥 러닝 머신을 통해 출력되는 제어 파라미터별 타켓 점수가 기 설정된 최적 타겟 점수가 되도록 하는 제어 파라미터값 조절을 위한 강화된 제어신호를 학습 결과로 출력하는 강화학습모델을 구비하는 제2 딥 러닝 머신을 포함하여 구성되고, 상기 지도학습모델은 사용자로부터 셔터 커맨드가 입력되면, 셔터 커맨드가 입력된 시점 이전의 포커스, 명암, 밝기 정도를 포함한 제어 파라미터값들을 이미지와 함께 저장하되, 상기 셔터 커맨드가 입력된 시점 이전의 포커스, 명암, 밝기 곡선에 대하여 변곡점을 추출하고, 상기 셔터 커맨드가 입력된 시점의 파라미터값에 최대 스코어를 부여하고 해당 변곡점의 파라미터값에 최저 스코어를 부여하며, 셔터 커맨드가 입력된 시점의 제어 파라미터값과의 차이에 따라 단계적으로 스코어를 부여하여 학습을 수행하는 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경이 제공된다.
삭제
또한, 상기 지도학습모델은 전자 현미경 구동시 상기 사용자로부터 조작 수준 정보를 입력받고, 사용자의 조작 수준에 따라 상기 스코어의 범위를 다르게 설정하는 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경이 제공된다.
또한, 상기 제1 및 제2 딥 러닝 머신의 개시 조건은 스테이지의 이동, 가속 전압 변경, 스폿 사이즈 변경 중 어느 하나인 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경이 제공된다.
또한, 상기 강화학습모델은 현재 입력된 타겟 점수를 근거로 각 제어 파라미터별 타겟 점수가 최적의 타겟 점수가 되도록 하는 보정값을 결정하여 제어 파라미터별 강화된 제어신호를 생성하고, 강화된 제어신호를 근거로 획득된 이미지에 대한 지도학습모델의 타겟점수가 최적의 타겟 점수가 되도록 하는 제어 파라미터 보정값을 결정하는 동작을 지도학습모델의 타겟 점수가 최적 타겟 점수가 되는 때까지 반복하면서 강화학습모델을 업데이트하는 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경이 제공된다.
또한, 상기 지도학습모델을 통해 출력되는 현재 이미지에 대한 타겟 점수와 최적 타겟 점수간의 차이값을 산출하고, 차이값에 따라 리워드값을 산출하여 상기 강화학습모델로 제공하는 리워드 산출모듈을 추가로 구비하여 구성되고, 상기 강화학습모델은 상기 리워드값을 근거로 제어 파라미터 보정값을 결정하는 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경이 제공된다.
본 발명에 의하면, 별도의 제어 파라미터 값에 대한 수동 조작 없이도 인공지능 기반으로 학습된 데이터에 기초하여 자동으로 고품질의 시료 영상을 제공함으로써, 숙련자뿐 만 아니라 초보자도 전자 현미경을 손쉽게 이용하여 숙련자가 얻는 양질의 영상을 얻을 수 있다.
도1은 일반적인 주사 전자 현미경의 구성도.
도2는 본 발명의 제1 실시예에 따른 인공 지능 학습 데이터를 활용한 전자 현미경 구성도.
도3은 도2에 도시된 제어신호 생성부(700) 동작을 설명하기 위한 도면.
도4 및 도5는 제1 및 제2 딥 러닝 머신(710,720)의 학습동작을 설명하기 위한 도면.
도6 내지 도8은 본 발명에 따른 인공 지능 학습 데이터를 활용한 전자 현미경의 동작 과정을 설명하기 위한 도면.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도2는 본 발명의 제1 실시예에 따른 인공 지능 학습 데이터를 활용한 전자 현미경의 개략적인 구성을 도시한 도면이다.
도2를 참조하면, 본 발명에 따른 인공 지능 학습 데이터를 활용한 전자 현미경은 경통(100)과, 시료 챔버(200), 검출기(300), 영상 획득부(400), 제어기(500), 컴퓨터(600) 및 제어신호 생성부(700)를 포함한다.
경통(100)은 전자빔을 시료에 주사하기 위한 것으로, 도면에 구체적으로 도시되지는 않았으나 전자빔(electron beam)을 생성하는 전자총(electron gun), 집속 렌즈(condensor lens), 편향기(deflector), 대물 렌즈(objective lens) 및 조리개(aperture) 등을 포함한다.
검출기(300)는 경통(100)의 일측에 설치되어 시료에서 방출된 2차 전자 또는 후방 산란 전자를 감지한다.
영상 획득부(400)는 검출기(300)로부터 검출신호를 전달받아 시료 표면 영상을 처리한다.
제어기(500)는 전자현미경 구동에 필요한 각종 파라미터 값에 기초하여 각 장치를 제어하는 것으로서, 컴퓨터(600)를 통해 입력되는 사용자의 조작 신호 또는 제어신호 생성부(700)에 의해 생성된 제어신호에 따라 각 장치의 구동을 제어한다.
제어신호 생성부(700)는 고품질 이미지를 획득하기 위한 강화된 제어신호를 출력하는 것으로, 학습모드와 실행모드로 동작되고, 실행모드는 학습모드 수행 이후 학습 완료된 학습모델을 이용하여 동작된다. 그리고, 제어신호 생성부(700)는 컴퓨터(600)와 일체로 구현될 수도 있고, 특정 현장에 국한되지 않고 다양한 현장에서의 다양한 종류의 영상 품질 데이터 셋을 수집하기 위하여 인터넷 또는 무선 통신망을 통해 연결된 서버에 구축될 수 있다.
제어신호 생성부(700)는 지도학습모델에 따른 학습 결과를 출력하는 제1 딥 러닝 머신(710)과, 강화학습모델에 따른 학습 결과를 출력하는 제2 딥 러닝 머신(720) 및, 제어신호에 따른 이미지 품질의 변화 정도에 대응되는 리워드를 산출하는 리워드 산출모듈(730)을 포함하여 구성된다.
제1 딥러닝머신(710)은 전자현미경 이미지와 해당 이미지 획득을 위한 제어 파라미터값을 입력으로 하여 제어 파라미터별 타겟 점수를 학습 결과로 출력하는 지도학습모델을 구비한다. 이때, 지도학습모델은 전자 현미경에서 촬영된 이미지와 이미지의 포커스, 명암, 밝기의 정도를 포함한 제어 파라미터값을 입력하고, 각 제어 파라미터들에 대한 타겟 점수를 학습결과로 출력한다.
제2 딥 러닝 머신(720)은 제1 딥 러닝 머신(710)을 통해 출력되는 제어 파라미터별 타켓 점수가 기 설정된 최적 타겟 점수가 되도록 하는 포커스, 명암 및 밝 포커스, 명암, 밝기의 정도를 포함한 제어 파라미터값 조절을 위한 강화된 제어신호를 학습 결과로 출력하는 강화학습모델을 구비한다.
도3에는 제어신호 생성부(700)의 개략적인 동작을 설명하기 위한 기능 블럭도가 예시되어 있다.
도3에서 사용자가 전자현미경을 구동하면, 학습 입력정보로서 전자현미경 이미지(Ii)와 제어 파라미터(Pi)들이 지도학습모델로 입력된다. 지도학습모델의 학습결과에 따라 해당 전자현미경 이미지의 타겟(Ti)이 결정되고, 결정된 타겟(Ti)과 최적 타겟(T)을 비교하여 그 차에 대응되는 리워드가 산출되며, 강화학습모델을 통해 그 차를 보상하기 위한 강화된 제어신호(Ci+1) 를 생성하여 전자현미경으로 출력한다. 여기서 강화된 제어신호(Ci+1)는 학습 결과에 따라 제어 파라미터 값을 변경하기 위한 제어신호이다. 그에 따라 전자 현미경은 새로운 이미지(Ii+1)와 제어 파라미터(Pi+1)을 지도학습모델로 입력하여 강화학습모델에서 출력되는 타겟이 최적 타겟(T)이 되는 이미지 즉, 최적의 타겟 점수 예컨대 타켓 점수 "9"인 영상품질의 이미지를 사용자에게 제공한다.
이때, 인공지능을 이용하여 사용자에게 최적 품질의 이미지를 제공하기 위해서는 강화된 제어신호(Ci+1)를 전자현미경으로 출력한 후 새로운 이미지(Ii+1)와 제어 파라미터(Pi+1)을 얻어 새로운 타겟(Ti+1)을 얻기까지 시간을 한 주기 제어응답시간이라 할 경우 수차례의 주기를 거쳐 최적 타겟(T)에 도달하게 된다. 그러므로 한 주기 제어응답시간을 짧게 할수록 사용자가 느끼는 만족도가 높을 것이며, 이러한 최적 결과에 도달하는 시간은 1~2초 이내가 되는 것이 좋다.
이에 본 발명에서는 학습모드 동작을 통해 최적 타겟을 얻기 위한 제어신호를 생성하는 지도학습모델과 강화학습모델을 우선적으로 학습하여 각 모델을 완성하고, 실제 실행모드에서는 학습이 완료된 상태의 지도학습모델과 강화학습모델을 이용하여 사용자에 의해 선택된 이미지를 최적 품질의 이미지로 출력하기 위한 제어신호를 학습 결과로서 바로 도출함으로써, 실제 사용자가 전자 현미경을 사용하는 환경에서 주기 제어응답시간을 최소화할 수 있는 것이다.
도4 및 도5는 제1 및 제2 딥 러닝 머신(710,720)의 학습동작을 설명하기 위한 도면이다.
먼저, 제1 딥 러닝 머신(710)의 학습 동작을 살펴보면,
도4에 도시된 바와 같이, 전자현미경 이미지와 제어 파라미터들이 학습 입력정보로서 인공지능 네트워크 즉, 제1 딥 러닝 머신(710)에 입력된다. 제어 파라미터들은 영상품질에 미치는 영향의 정도에 따라 4개의 파라미터 그룹으로 분류될 수 있다.
그룹 Ⅰ은 영상의 품질과 딥 러닝 모델 학습에 전혀 영향이 없는 파라미터들로서, 버전, 날짜, 이미지 타입 등을 포함할 수 있다.
그룹 Ⅱ는 영상의 품질에 전혀 영향을 주지 않지만 동작 조건으로 사용할 수 있는 파라미터들로서, 스캔 속도, 스테이지 위치, 회전, 픽셀의 크기 등을 포함할 수 있다.
그룹 Ⅲ은 영상의 품질에 간접적으로 영향을 주는 파라미터들로서 스팟 사이즈, 전자량, 전압, 빔 정렬 등을 포함할 수 있다.
그룹 Ⅳ는 영상의 품질에 직접적으로 영상을 주는 파라미터들로서, 초점거리(Focal Length), 명함(Contrast), 밝기(Brightness) 등을 포함한다.
본 실시예에서는 영상의 품질에 직접적으로 영상을 주는 파라미터인 초점거리(Focal Length), 명함(Contrast), 밝기(Brightness)의 정도를 딥러닝 모델의 타겟으로 사용한다. 여기서 타겟은 포커스, 명암, 밝기를 포함한 제어 파라미터 각각에 대하여 값의 변화에 따른 영상품질에 대한 스코어일 수 있다. 예를 들어 각 제어 파라미터 값들의 각각의 변화에 얻어지는 전자현미경 이미지의 영상품질을 1 ~ 9의 값으로 스코어링할 수 있다. 스코어링 값은 숫자가 높을수록 고품질을 나타낸다.
여기서, 타겟을 결정하는 방법을 설명하면 다음과 같다.
일반적으로 사용자가 전자현미경을 사용하는 과정을 살펴보면, 전자현미경을 조작하면서 영상을 관찰하고, 고품질의 영상이 얻어지면 셔터 커맨드를 눌러 해당 영상을 획득한다. 전자현미경의 딥러닝 모델 과정에서 사용자가 학습 과정을 인식하지 못하는 것이 바람직하며, 이를 위해 본 발명에서는 사용자의 셔터 커맨드를 눌러 이미지 사진을 획득하는 경우 가장 좋은 품질의 이미지로 인식한 것이라는 가정하에서 셔터 커맨드를 눌렀을 때 가장 높은 스코어를 부여하도록 한다. 그리고, 사용자의 전문성이나 숙련도에 따라 등급을 구분하여 스코어에 가중치를 부여할 수도 있다. 예를 들어 사용자를 초보자(하), 중급자(중), 전문가(상)로 분류하여 초보자의 스코어 범위를 1 ~ 5, 중급자의 스코어 범위를 1 ~ 7, 전문가의 스코어 범위를 1 ~ 9로 구분하는 것이 가능하다. 이를 위해, 사용자가 전자현미경을 사용하고자 하는 초기시점에서 사용자의 전자현미경 조작 수준 정보를 상,중,하로 입력하도록 하는 것이 바람직하다.
스코어를 결정하는 기준은 사용자가 초기 이미지에서 조작을 하여 셔터 커맨드를 누르기까지의 포커스, 명암, 밝기를 포함한 제어 파라미터들의 각 파라미터값에 대한 최적점(변곡점)과의 차이를 이용하여 타겟을 설정하고 데이터를 수집할 수 있다.
즉, 셔터 커맨드가 입력된 시점 이전의 포커스, 명암, 밝기 정도를 포함한 제어 파라미터값들을 이미지와 함께 저장하고, 상기 셔터 커맨드가 입력된 시점의 파라미터값에 최대 스코어를 부여하되, 셔터 커맨드가 입력된 시점의 제어 파라미터값과의 차이에 따라 단계적으로 스코어를 부여하는데, 이 과정이 도 5에 예시되어 있다.
도 5는 사용자가 전자현미경을 조작하면서 영상의 품질을 관찰한 후 최적의 영상에서 셔터 커맨드를 눌러진 시점(c)까지의 제어 파라미터 곡선의 일례를 나타낸 것이다. 사용자가 "c"점에서 조작을 멈춘 후 셔터 커맨드를 누른 경우, 2개의 변곡점(a, c)이 존재하며, 이 변곡점에 가장 낮은 스코어가 부여된다. 그리고, "c"점을 기준으로 y축 방향으로 "c"점과 변곡점 간의 차이를 n등분(예를 들면 9등분)하여 차이에 따라 스코어를 부여할 수 있다.
도 5에서 예시적으로 "e" 점과 "f"점, "d"점과 "g"점은 "c"점으로부터의 차이가 같은 점이므로 같은 스코어가 부여되며, "c"점으로부터의 차이가 클수록 낮은 스코어가 부여된다.
한편, 제2 딥 러닝 머신(720)의 동작을 살펴보면,
제2 딥 러닝 머신(720)은 제1 딥 러닝 머신(710)로부터 출력되는 타겟 점수를 근거로 각 제어 파라미터별 타겟 점수가 최적의 타겟 점수가 되도록 하는 보정값을 결정하여 제어 파라미터별 강화된 제어신호를 생성한다.
도5에서 타겟 점수는 최적 타겟 점수와의 절대적 차이에 따라 차등화되게 산출되는 바, 도5의 "d" 상태와 "g" 상태에 대해 동일한 타겟 점수 "7"이 산출된다.
따라서, 제2 딥 러닝 머신(720)은 도5의 "d"의 타겟 점수 "7"에 대해서는 해당 제어 파라미터값을 감소(-)시키는 방향으로 보정값을 결정하고, 도5의 "g"의 타겟 점수 "7"에 대해서는 제어 파라미터값이 증가(+)시키는 방향으로 보정값을 결정하여야 한다.
이에, 제2 딥 러닝 머신(720)은 학습모드에서 타겟 점수와 최적 타겟 점수간의 차이를 근거로 임의로 증감 방향 및 제1 보정값을 결정하고, 제1 보정값에 해당하는 제1 제어신호를 생성한다. 이후 제1 제어신호에 따른 이미지의 타겟 점수와 최적 타겟 점수간의 차이가 이전 차이보다 감소하면, 현재 결정한 증감 방향을 유지함과 더불어 제2 보정값을 결정하며, 사용자에 의해 선택된 하나의 이미지에 대해 제2 딥 러닝 머신(720)을 통해 출력되는 제어신호에 의해 최적 타겟 점수가 될때까지 이러한 과정을 반복하여 수행한다.
이어, 도6 내지 도8을 참조하여 본 발명에 따른 인공 지능 학습 데이터를 활용한 전자 현미경의 동작 과정을 설명한다.
도6을 참조하면, 본 발명에 따른 인공 지능 학습 데이터를 활용한 전자 현미경은 전자현미경 이미지와 제어 파라미터 값에 기반하여 지도학습모델과 강화학습모델을 생성하는 학습모드과정(ST100)과, 학습이 완료된 지도학습모델과 강화학습모델을 이용하여 사용자에 선택에 의해 획득한 이미지를 최적 품질의 전자현미경 이미지로 제공하는 실행모드과정(ST200)을 수행한다.
이때, 학습모드과정(ST100)은 충분한 학습을 통해 학습모델을 완성하는 단계로서, 실제 전자 현미경에 적용되기 전에 고성능의 컴퓨터 장치에서 이루어질 수 있다.
그리고, 실행모드과정(ST200)은 학습이 완성된 학습모델을 서비스하고자 하는 전자현미경에 적용하여 실시할 수 있다.
도7은 도6에 도시된 학습모드과정(ST100)을 보다 상세히 설명하기 위한 도면이다.
제1 딥러닝머신(710)에서의 지도학습과정을 살펴보면,
먼저, 사용자가 전자현미경 영상을 얻기 위해 컴퓨터(600)를 조작하면, 제어 파라미터 값이 제어기(500)로 전달되고, 제어기(500)는 제어 파라미터 값에 해당하는 각 장치의 구동을 제어한다.
제어기(500)의 제어 신호에 따라 전자빔이 시료(S)에 조사되면 검출기(300)는 시료(S)에서 방출된 2차 전자 또는 후방 산란 전자를 감지하여 영상 획득부(400)로 전달한다.
영상 획득부(400)는 검출기(300)로부터 검출신호를 전달받아 시료 표면 영상을 처리하여 컴퓨터(600)로 전송하고, 사용자는 컴퓨터(600) 화면에 표시된 검사 영상을 관찰하면서 고품질의 영상이 얻어질 때까지 제어 파라미터들을 변경한다. 이러한 전자 현미경의 조작 과정에서 포커스, 명암, 밝기를 포함한 제어 파라미터들의 정도(파라미터 값)에 대한 곡선이 변화하게 되고, 각 시점마다 이미지의 품질이 변화된다.
상술한 동작을 수행하면서 사용자가 영상 저장을 위한 셔터 커맨드를 누르게 되면, 영상 획득부(400)에서 전자현미경 이미지를 획득하여 제어신호 생성부(700)로 제공한다(ST110). 이때, 제어기(500)는 이미지와 함께 해당 이미지를 생성하도록 한 제어 파라미터 값들을 제어신호 생성부(700)로 제공한다.
상기 ST110 단계에서 이미지와 제어 파라미터정보는 제1 딥 러닝 머신(710)로 입력되고, 제1 딥 러닝 머신(710)은 이미지에 대한 제어 파라미터별 타겟 점수를 산출한다(ST120).
그리고, 현재 셔터 커맨드에 의해 획득한 이미지와 제어 파라미터별 타겟 점수를 지도학습모델에 입력하여 학습한다. 이때, 제1 딥 러닝 머신(710)은 제어 파라미터별 스코어를 산출하여 이를 지도학습모델의 학습 데이터로 입력한 후, 현재 이미지에 대한 타겟 점수를 지도학습모델에 입력하여 학습할 수 있다.
제1 딥 러닝 머신(710)에서 생성되는 지도학습모델은 셔터 커맨드에 의해 획득된 이미지의 개수가 많을수록 학습 결과에 대한 신뢰성이 향상되는 바, 충분한 수의 이미지에 대하여 지도학습을 반복하는 것이 바람직하다.
또한, 제2 딥러닝머신(710)에서의 강화학습과정을 살펴보면,
먼저, 강화학습모델은 강화 학습하고자 하는 제어 파라미터에 대해 임의의 제어신호를 설정한다(ST150). 예컨대, 포커스에 대한 임의의 제어신호가 설정될 수 있다. 여기서, 임의의 제어신호는 제어 파라미터별 수학적 알고리즘에 의해 랜덤하게 설정될 수 있다.
이어, 제어신호에 의해 획득된 전자 현미경 이미지와 제어 파라미터값을 학습된 지도학습모델에 적용하여 현재 이미지에 대한 타겟 점수를 획득한다(ST160).
제2 딥러닝 머신(720)은 상기 ST160 단계에서 획득된 타겟 점수가 최적 타겟 점수인지를 판단하고(ST170), 최적 타겟 점수가 아니면, 해당 정보를 리워드 산출모듈(730)로 제공하여 현재 타겟 점수와 최적 타겟 점수와의 차이값을 근거로 현재 이미지에 대한 리워드를 산출한다(ST180). 이때, 리워드 산출모듈(730)은 최적 타겟 점수와 현재 타겟 점수와의 차이값이 클수록 큰 값을 갖는 리워드값을 산출할 수 있다.
또한, 상기 ST180단계에서 리워드 산출모듈(730)은 현재 이미지의 타겟 점수와 최적 타겟 점수와의 제1 차이값과, 이전 이미지의 타겟 점수와 최적 타겟 점수와의 제2 차이값을 근거로 리워드를 산출할 수도 있다. 예컨대, 리워드 산출모듈(730)은 "제2 차이값 - 제1 차이값"에 해당하는 리워드를 산출할 수 있다. 여기서, 제2 차이값보다 제1 차이값이 작아 리워드 값이 "+" 이면 최적 타겟 점수로 수렴하는 것으로 판단하도록 하고, 리워드 값은 제2 차이값과 제1 차이값의 차이 정도에 대응되게 산출되어, 이후 보정값 설정의 기준이 되도록 설정할 수 있다.
이어, 리워드 및 현재 이미지와 제어 파라미터 값을 강화학습모델에 적용하여 학습한 후 이를 학습된 강화학습모델에 입력하여 현재 이미지를 최적 타겟 점수를 갖는 고품질의 이미지로 획득하기 위한 강화된 제어신호를 생성한다(ST190). 이때, 제2 딥 러닝 머신(720)은 리워드값이 "+"인 경우 현재 설정된 증감방향 예컨대 제어 파라미터 값을 증가시키도록 제어신호를 생성하되, 보정값의 정도는 리워드값이 클수록 보다 큰 값을 갖도록 결정할 수 있다. 예컨대, 리워드값이 "+ 2" 인 경우 보정값은 "+ 3.00"으로 설정하고, 리워드값이 "+5" 인 경우 보정값은 "+3.70"로 설정될 수 있다.
이후, 강화된 제어신호에 의해 획득된 전자 현미경 이미지에 대한 타겟 점수를 획득하는 상기 ST160 단계 이하의 과정을 현재 타겟 점수가 최적 타겟 점수가 되는 때까지 반복적으로 수행한다.
한편, 제2 딥러닝 머신(720)은 상기 ST170 단계에서 현재 타겟 점수가 최적 타겟 점수인 것으로 판단되면, 해당 제어 파라미터에 대한 임의 제어신호를 재설정하고, 상술한 ST160 이하의 단계를 수행한다. 이러한 과정은 각 제어 파라미터에 대해 랜덤하게 설정되는 다수의 제어신호에 대해 반복적으로 수행된다. 예컨대, 포커스에 대해 랜덤하게 서로 다른 N개 임의 제어신호가 설정되고, 각 임의 제어신호에 대해 상술한 ST160 내지 ST190 단계를 수행하며, 명암, 밝기 등의 모든 제어 파라미터에 대해 동일하게 동작함으로써, 강화학습모델을 학습한다.
제2 딥 러닝 머신(720)에서 생성되는 강화학습모델은 강화된 제어신호의 생성횟수가 많을수록 학습 결과에 대한 신뢰성이 향상되는 바, 충분한 수의 강화된 제어신호가 생성될 때까지 강화학습을 반복하는 것이 바람직하다.
또한, 도7에 도시된 지도학습모델 및 강화학습모델의 학습동작은 사용자에 의해 학습종료요구가 있는 때까지 반복적으로 수행된다.
도8은 도6에 도시된 실행모드과정(ST200)을 보다 상세히 설명하기 위한 도면이다.
먼저, 도7에서 학습이 완료된 지도학습모델과 강화학습모델이 제어신호 생성부(700)에 설치되고, 사용자가 컴퓨터(600)를 통해 동작모드를 실행모드로 설정한다.
상기한 상태에서 사용자가 전자현미경 영상을 얻기 위해 컴퓨터(600)를 조작하여 실행모드 개시조건을 만족하게 되면(ST210), 현재 전자 현미경의 이미지와 제어 파라미터값을 학습된 지도학습모델에 적용하여 제어 파라미터별 타겟 점수를 획득한다(ST220). 여기서, 실행모드 개시조건은 필라멘트가 온 된 상태에서 스테이지의 이동, 가속 전압 변경, 스폿 사이즈 변경 중 어느 하나로 설정될 수 있다.
제1 딥러닝 머신(710)은 상기 ST220 단계에서 획득한 현재 타겟 점수가 기 설정된 목표 타겟 점수와 동일한지를 판단한다(ST230). 이때, 제1 딥러닝 머신(710)은 현재 타겟 점수가 목표 타겟 점수와 일정 범위 이내의 오차를 갖는 경우에도 목표 타겟 점수와 동일한 것으로 판단할 수 있다. 그리고, 목표 타겟 점수는 최적 타겟 점수와 동일하거나 그 이하 점수로 설정될 수 있으며, 제어 파라미터의 종류 또는 시료의 종류 등의 조건에 따라 다르게 설정될 수 있다.
제1 딥러닝 머신(710)은 상기 ST230 단계에서 현재 타겟 점수가 기 설정된 목표 타겟 점수가 아닌 경우, 제1 딥러닝 머신(710)은 현재 이미지에 대한 타겟 점수정보를 리워드 산출모듈(730)로 제공한다.
리워드 산출모듈(730)은 목표 타겟 점수와 현재 타겟 점수와의 차이값을 산출하고, 이를 근거로 리워드를 산출한다(ST240). 리워드 산출모듈(730)은 리워드정보를 제2 딥 러닝 머신(720)으로 제공한다.
제2 딥 러닝 머신(720)은 리워드 및 현재 이미지와 현재 이미지에 대한 제어 파라미터 값을 강화학습모델에 적용하여 고품질의 이미지를 획득하기 위한 강화된 제어신호를 학습 결과로서 출력한다(ST250).
이어 제2 딥 러닝 머신(720)은 강화된 제어신호를 제어기(500)로 제공하고, 제어기(500)는 강화된 제어신호를 근거로 전자 현미경을 제어함과 더불어, 이에 의해 생성된 고품질의 이미지와 제어 파라미터값을 학습된 지도학습모델에 적용하여 제어 파라미터별 타겟 점수를 획득하는 ST220 의 동작을 수행한다. 이러한 ST220 내지 ST250의 동작은 해당 이미지의 제어 파라미터별 타겟점수가 목표 타겟 점수가 되는 때까지 반복한다.
한편, 상기 ST230 단계에서 현재 타겟 점수가 기 설정된 목표 타겟 점수인 경우, 해당 이미지를 셔터 커맨드 입력 결과로 출력한다(ST260). 즉, 사용자가 셔터 커맨드를 입력하게 되면, 강화된 제어신호에 의해 목표 타겟 점수를 갖는 고품질의 이미지를 사용자에게 제공한다.
100 : 경통 200 : 시료 챔버
300 : 검출기 400 : 영상 획득부
500 : 제어기 600 : 컴퓨터
700 : 제어신호 생성부, 710 : 제1 딥 러닝 머신,
720 제2 딥 러닝 머신, 730 : 리워드 산출모듈.

Claims (6)

  1. 고품질 이미지를 획득하기 위한 강화된 제어신호를 출력하는 제어신호 생성수단을 구비한 전자현미경으로서,
    상기 제어신호 생성수단은,
    전자현미경 이미지와 해당 이미지 획득을 위한 포커스, 명암, 밝기의 정도를 포함한 제어 파라미터값을 입력으로 하여 제어 파라미터별 타겟 점수를 학습 결과로 출력하는 지도학습모델을 구비하는 제1 딥 러닝 머신과,
    제1 딥 러닝 머신을 통해 출력되는 제어 파라미터별 타켓 점수가 기 설정된 최적 타겟 점수가 되도록 하는 제어 파라미터값 조절을 위한 강화된 제어신호를 학습 결과로 출력하는 강화학습모델을 구비하는 제2 딥 러닝 머신을 포함하여 구성되고,
    상기 지도학습모델은 사용자로부터 셔터 커맨드가 입력되면, 셔터 커맨드가 입력된 시점 이전의 포커스, 명암, 밝기 정도를 포함한 제어 파라미터값들을 이미지와 함께 저장하되, 상기 셔터 커맨드가 입력된 시점 이전의 포커스, 명암, 밝기 곡선에 대하여 변곡점을 추출하고, 상기 셔터 커맨드가 입력된 시점의 파라미터값에 최대 스코어를 부여하고 해당 변곡점의 파라미터값에 최저 스코어를 부여하며, 셔터 커맨드가 입력된 시점의 제어 파라미터값과의 차이에 따라 단계적으로 스코어를 부여하여 학습을 수행하는 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경.
  2. 삭제
  3. 제1항에 있어서,
    상기 지도학습모델은 전자 현미경 구동시 상기 사용자로부터 조작 수준 정보를 입력받고, 사용자의 조작 수준에 따라 상기 스코어의 범위를 다르게 설정하는 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경.
  4. 제1항에 있어서,
    상기 제1 및 제2 딥 러닝 머신의 개시 조건은 스테이지의 이동, 가속 전압 변경, 스폿 사이즈 변경 중 어느 하나인 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경.
  5. 제1항에 있어서,
    상기 강화학습모델은 현재 입력된 타겟 점수를 근거로 각 제어 파라미터별 타겟 점수가 최적의 타겟 점수가 되도록 하는 보정값을 결정하여 제어 파라미터별 강화된 제어신호를 생성하고,
    강화된 제어신호를 근거로 획득된 이미지에 대한 지도학습모델의 타겟점수가 최적의 타겟 점수가 되도록 하는 제어 파라미터 보정값을 결정하는 동작을 지도학습모델의 타겟 점수가 최적 타겟 점수가 되는 때까지 반복하면서 강화학습모델을 업데이트하는 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경.
  6. 제5항에 있어서,
    상기 지도학습모델을 통해 출력되는 현재 이미지에 대한 타겟 점수와 최적 타겟 점수간의 차이값을 산출하고, 차이값에 따라 리워드값을 산출하여 상기 강화학습모델로 제공하는 리워드 산출모듈을 추가로 구비하여 구성되고,
    상기 강화학습모델은 상기 리워드값을 근거로 제어 파라미터 보정값을 결정하는 것을 특징으로 하는 인공 지능 학습 데이터를 활용한 전자 현미경.
KR1020200065221A 2020-05-29 2020-05-29 인공 지능 학습 데이터를 활용한 전자 현미경 KR102417573B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200065221A KR102417573B1 (ko) 2020-05-29 2020-05-29 인공 지능 학습 데이터를 활용한 전자 현미경

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200065221A KR102417573B1 (ko) 2020-05-29 2020-05-29 인공 지능 학습 데이터를 활용한 전자 현미경

Publications (2)

Publication Number Publication Date
KR20210147662A KR20210147662A (ko) 2021-12-07
KR102417573B1 true KR102417573B1 (ko) 2022-07-06

Family

ID=78868623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200065221A KR102417573B1 (ko) 2020-05-29 2020-05-29 인공 지능 학습 데이터를 활용한 전자 현미경

Country Status (1)

Country Link
KR (1) KR102417573B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023229431A1 (ko) * 2022-05-27 2023-11-30 삼성전자 주식회사 신경망 모델을 이용하여 영상을 보정하는 방법 및 영상 보정을 위한 신경망 모델을 실행하는 컴퓨팅 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4020714B2 (ja) * 2001-08-09 2007-12-12 オリンパス株式会社 顕微鏡

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS551514B2 (ko) 1972-06-14 1980-01-14
JPS54110861A (en) 1978-02-18 1979-08-30 Mitsubishi Chem Ind Data treating apparatus of plural measuring instrument
KR20070077288A (ko) * 2006-01-23 2007-07-26 삼성전자주식회사 자동 초점 조절 방법 및 자동 초점 조절 기능을 갖는 주사전자 현미경.
KR20200040550A (ko) * 2018-10-10 2020-04-20 삼성전자주식회사 뉴럴 네트워크 연산을 수행하는 장치 및 이의 동작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4020714B2 (ja) * 2001-08-09 2007-12-12 オリンパス株式会社 顕微鏡

Also Published As

Publication number Publication date
KR20210147662A (ko) 2021-12-07

Similar Documents

Publication Publication Date Title
JP4831972B2 (ja) マイクロマニピュレーションシステム
KR102417573B1 (ko) 인공 지능 학습 데이터를 활용한 전자 현미경
WO2011007492A1 (ja) 荷電粒子線顕微鏡及びそれを用いた測定方法
CN109465531B (zh) 一种电子束熔丝沉积增材制造实时监控系统
KR102435492B1 (ko) 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램
CN104040676B (zh) 带电粒子线装置以及倾斜观察图像显示方法
US6774362B2 (en) Analytical method for electron microscopy
US9058957B2 (en) Charged particle beam apparatus
KR102268019B1 (ko) 인공 지능 학습 데이터를 활용한 전자 현미경
CN105359250A (zh) 带电粒子束装置和带电粒子束装置的调整方法
JP2008084823A (ja) 荷電粒子線調整方法及び荷電粒子線装置
US9792832B2 (en) Charged particle beam apparatus, specimen observation system and operation program
JP6896888B2 (ja) 荷電粒子線装置
JP6716026B2 (ja) 荷電粒子線装置および荷電粒子線装置における条件設定方法
EP3591686B1 (en) Electron microscope
JP2000106116A (ja) 走査電子顕微鏡
US10504685B2 (en) Charged particle beam axial alignment device, charged particle beam irradiation device and charged particle beam axial alignment method
JP4634324B2 (ja) 透過電子顕微鏡
US20220222775A1 (en) Sample observation apparatus
CN114235868B (zh) 一种具有自动调焦功能的差分高能电子衍射系统及方法
JP5597295B2 (ja) 荷電粒子線装置
JP5799147B2 (ja) 荷電粒子線装置
JP4163393B2 (ja) 粒子線装置におけるフォーカス調整方法
JP2008112684A (ja) 荷電粒子ビーム装置における非点補正・フォーカスの自動調整方法及び装置
JP2004119331A (ja) 観察システム及び観察システムの制御方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right