KR101969242B1 - 원자 구조 해석 장치 및 방법 - Google Patents
원자 구조 해석 장치 및 방법 Download PDFInfo
- Publication number
- KR101969242B1 KR101969242B1 KR1020170184582A KR20170184582A KR101969242B1 KR 101969242 B1 KR101969242 B1 KR 101969242B1 KR 1020170184582 A KR1020170184582 A KR 1020170184582A KR 20170184582 A KR20170184582 A KR 20170184582A KR 101969242 B1 KR101969242 B1 KR 101969242B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- electron microscope
- transmission electron
- windows
- scanning transmission
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000005540 biological transmission Effects 0.000 claims abstract description 46
- 238000010801 machine learning Methods 0.000 claims abstract description 18
- 238000001000 micrograph Methods 0.000 claims description 38
- 238000013528 artificial neural network Methods 0.000 claims description 32
- 150000002500 ions Chemical class 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 12
- 238000000851 scanning transmission electron micrograph Methods 0.000 abstract description 5
- 239000000463 material Substances 0.000 description 11
- 150000001768 cations Chemical class 0.000 description 9
- 238000003696 structure analysis method Methods 0.000 description 8
- 239000000523 sample Substances 0.000 description 7
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000001301 oxygen Substances 0.000 description 5
- 229910052760 oxygen Inorganic materials 0.000 description 5
- 239000010409 thin film Substances 0.000 description 4
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 3
- 229910002328 LaMnO3 Inorganic materials 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000001257 hydrogen Substances 0.000 description 3
- 229910052739 hydrogen Inorganic materials 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 229910052757 nitrogen Inorganic materials 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 229910002370 SrTiO3 Inorganic materials 0.000 description 2
- 230000005294 ferromagnetic effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 229910002367 SrTiO Inorganic materials 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000005465 channeling Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000001493 electron microscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000008204 material by function Substances 0.000 description 1
- -1 oxygen ion Chemical class 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/416—Exact reconstruction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
본 발명은 원자 구조 해석 장치 및 방법에 관한 것이다. 본 발명의 일 실시예에 따르면, 주사투과전자현미경 이미지를 획득하는 단계, 노이즈를 제거하기 위하여 머신 러닝을 통해 상기 주사투과전자현미경 이미지를 재구성하는 단계, 및 재구성된 주사투과전자현미경 이미지로부터 좌표 정보를 검출하여 원자 구조를 해석하는 단계를 포함하는, 원자 구조 해석 방법을 제공한다.
Description
본 발명은 원자 구조 해석 장치 및 방법에 관한 것이다.
원자 구조의 고해상도 이미지를 얻어낼 수 있는 장점을 가진, 주사투과전자현미경(Scanning Transmission Electron Microscope: 이하, STEM) 장비의 발전은 물질의 구조에 대한 깊은 이해를 이끌어왔다. 이러한 구조에 대한 이해를 바탕으로 구조와 특성의 관계를 연결시키는 것, 즉 어떻게 원자 구조가 물질의 특성을 나타내고 구조의 변화가 특성에 영향을 어떻게 미치는지가 중요하다. 또한, 이 관계에 대한 이해를 통해 재료를 보다 효율적으로 사용하고 새로운 재료를 개발하는 것이 필요하다. 예를 들어, 상대적인 원자 위치의 아주 작은 변화도 강유전성, 강자성, 압전성 물질과 같은 기능성 산화물의 많은 특성에 영향을 준다. 그리고 이러한 변화의 정도는 20 picometer(pm) 미만으로 아주 작다.
STEM 장비에는 high-angle annular dark field(HAADF) 이미지 모드와 annular bright field(ABF) 이미지 모드의 두가지 모드가 있다. HAADF 이미지 모드는 원자 배열 이미지의 원자 무게에 민감하기 때문에 금속이나 산화물에 있는 무거운 양이온을 이미징 하는데 사용되는 모드이다. 반면에 ABF 이미지 모드는 원자 배열에서 산소, 질소 및 심지어 수소와 같은 가벼운 원소들을 이미징 하는 모드이다. 이 ABF 이미지 모드에서는 HAADF 모드에서 보다 더 자주 노이즈가 생겨 이미지가 잘 나타나지 않는다. 추가적으로 상업용 STEM의 공간 분해능은 대부분 50에서 100pm 정도까지 보장된다. 따라서, 현재의 STEM 장비의 공간 분해능으로는 소재의 성질을 결정하는 원자 위치의 변화의 정도를 해결하기가 어렵다.
본 발명은 STEM 장비의 공간 분해능 이상의 성능을 발휘하여 정확도가 높은 해석을 수행하는 원자 구조 해석 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따르면, 주사투과전자현미경 이미지를 획득하는 단계, 노이즈를 제거하기 위하여 머신 러닝을 통해 상기 주사투과전자현미경 이미지를 재구성하는 단계, 및 재구성된 주사투과전자현미경 이미지로부터 좌표 정보를 검출하여 원자 구조를 해석하는 단계를 포함하는, 원자 구조 해석 방법을 제공한다.
또한, 상기 주사투과전자현미경 이미지를 재구성하는 단계는, 상기 주사투과전자현미경 이미지를 복수의 윈도우로 분할하는 단계, 상기 복수의 윈도우 중 랜덤으로 수집된 샘플을 이용하여 상기 복수의 윈도우 각각의 노이즈를 제거하기 위한 머신 러닝을 수행하는 단계, 머신 러닝을 통해 상기 복수의 윈도우 각각에 대한 노이즈를 제거하는 단계, 및 노이즈가 제거된 상기 복수의 윈도우를 이용하여 상기 주사투과전자현미경 이미지를 재구성하는 단계를 포함할 수 있다.
또한, 상기 머신 러닝을 수행하는 단계에서는, 샘플로 수집된 윈도우를 입력 데이터로 사용하는 자동 엔코더를 이용하여 뉴럴 네트워크 학습을 수행할 수 있다.
또한, 상기 자동 엔코더는 노이즈가 발생된 이미지를 재구성하기 위하여 원본 데이터보다 노드수가 적은 히든층이 있는 아키텍처를 사용하여 입력 데이터를 재현하는 방법을 학습할 수 있다.
또한, 상기 주사투과전자현미경 이미지는 HAADF 이미지 및 ABF 이미지를 포함할 수 있다.
또한, 상기 주사투과전자현미경 이미지를 재구성하는 단계에서는, 상기 HAADF 이미지를 재구성하여 상대적으로 무거운 이온들의 위치가 결정되면 다음으로 상대적으로 가벼운 이온들의 위치를 찾기 위하여 상기 ABF 이미지의 재구성을 수행할 수 있다.
또한, 상기 ABF 이미지의 재구성에서는 HAADF 이미지의 재구성으로 통해 확인된 무거운 이온 위치와의 거리를 이용하여 ABF 이미지의 복수의 윈도우를 두가지 윈도우 세트로 나누고, 두가지 윈도우 세트에서 다시 뉴럴 네트워크 학습을 수행할 수 있다.
또한, 상기 ABF이미지의 재구성에서는 ABF 이미지의 상대적으로 무거운 원자열을 포함하는 윈도우를 처리하는 제1 뉴럴 네트워크와, 상대적으로 가벼운 원자열을 포함하는 윈도우를 처리하는 제2 뉴럴 네트워크를 설정하고, 학습된 제2 뉴럴 네트워크에 의해 재구성된 이미지로 상대적으로 가벼운 원자열의 초기 위치가 먼저 결정되면 학습된 제1 뉴럴 네트워크에 의해 재구성된 이미지를 합친 결과를 이용하여 상대적으로 가벼운 원자열의 위치를 조정할 수 있다.
본 발명의 다른 실시예에 따르면, 주사투과전자현미경 이미지를 획득하는 이미지 획득 수단, 노이즈를 제거하기 위하여 머신 러닝을 통해 상기 주사투과전자현미경 이미지를 재구성하는 이미지 재구성 수단, 및 재구성된 주사투과전자현미경 이미지로부터 좌표 정보를 검출하여 원자 구조를 해석하는 좌표 검출 수단을 포함하는, 원자 구조 해석 장치를 제공한다.
또한, 상기 이미지 재구성 수단은, 상기 주사투과전자현미경 이미지를 복수의 윈도우로 분할하고, 상기 복수의 윈도우 중 랜덤으로 수집된 샘플을 이용하여 상기 복수의 윈도우 각각의 노이즈를 제거하기 위한 머신 러닝을 수행하고, 머신 러닝을 통해 상기 복수의 윈도우 각각에 대한 노이즈를 제거하고, 노이즈가 제거된 상기 복수의 윈도우를 이용하여 상기 주사투과전자현미경 이미지를 재구성할 수 있다.
또한, 상기 이미지 재구성 수단은, 샘플로 수집된 윈도우를 입력 데이터로 사용하는 자동 엔코더를 이용하여 뉴럴 네트워크 학습을 수행할 수 있다.
또한, 상기 자동 엔코더는 노이즈가 발생된 이미지를 재구성하기 위하여 원본 데이터보다 노드수가 적은 히든층이 있는 아키텍처를 사용하여 입력 데이터를 재현하는 방법을 학습할 수 있다.
또한, 상기 주사투과전자현미경 이미지는 HAADF 이미지 및 ABF 이미지를 포함할 수 있다.
또한, 상기 이미지 재구성 수단은, 상기 HAADF 이미지를 재구성하여 상대적으로 무거운 이온들의 위치가 결정되면 다음으로 상대적으로 가벼운 이온들의 위치를 찾기 위하여 상기 ABF 이미지의 재구성을 수행할 수 있다.
또한, 상기 이미지 재구성 수단은, ABF 이미지의 상대적으로 무거운 원자열을 포함하는 윈도우를 처리하는 제1 뉴럴 네트워크와, 상대적으로 가벼운 원자열을 포함하는 윈도우를 처리하는 제2 뉴럴 네트워크를 설정하고, 학습된 제2 뉴럴 네트워크에 의해 재구성된 이미지로 상대적으로 가벼운 원자열의 초기 위치가 먼저 결정되면 학습된 제1 뉴럴 네트워크에 의해 재구성된 이미지를 합친 결과를 이용하여 상대적으로 가벼운 원자열의 위치를 조정할 수 있다.
본 발명은 STEM 장비의 공간 분해능 이상의 성능을 발휘하여 정확도가 높은 해석을 수행할 수 있다.
또한, 본 발명에 따르면, 주사투과전자현기경 이미지에 노이즈가 있는 경우에도 이미지와 추가적인 원자 스케일의 뒤틀림을 빠르고 정밀하게 보정할 수 있다.
또한, 본 발명은 노이즈가 많은 이미지에서도 쉽게 다룰 수 있고 단지 하나의 이미지만 필요로 한다는 장점이 있다.
또한, 본 발명은 특히 인접한 원자열의 영향 없이 원자열 위치 데이터를 국부적으로 얻어낼 수 있다.
도 1은 본 발명의 일 실시예에 따른 원자 구조 해석 방법을 나타내는 순서도이다.
도 2 내지 도 6은 도 1에 도시된 원자 구조 해석 방법을 구체적으로 나타내는 도면들이다.
도 7은 본 발명의 일 실시예에 따른 원자 구조 해석 장치의 구조를 나타내는 도면이다.
도 8은 본 발명에 따라 재구성된 주사투과전자현미경 이미지의 예제를 보여준다.
도 9는 실험적으로 얻어진 주사투과전자현미경 이미지의 구조적인 버클링 분석의 예제를 보여준다.
도 2 내지 도 6은 도 1에 도시된 원자 구조 해석 방법을 구체적으로 나타내는 도면들이다.
도 7은 본 발명의 일 실시예에 따른 원자 구조 해석 장치의 구조를 나타내는 도면이다.
도 8은 본 발명에 따라 재구성된 주사투과전자현미경 이미지의 예제를 보여준다.
도 9는 실험적으로 얻어진 주사투과전자현미경 이미지의 구조적인 버클링 분석의 예제를 보여준다.
이하에서는, 본 발명의 바람직한 실시예에 기초하여 본 발명을 보다 구체적으로 설명한다. 그러나, 하기 실시예는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로 이에 의해 본 발명의 권리범위가 축소되거나 한정되는 것은 아니다.
소재의 성질은 소재 내의 원자 위치의 아주 작은 변화에 기인하고 강유전성, 강자성, 압전성 물질과 같은 기능성 산화물들이 그러한 물질적 예이다. 그리고 이러한 변화의 정도는 20 pm 미만으로 STEM의 공간 분해능에서 해결하는 것이 불가능하다. 따라서 STEM 장비가 가지는 공간 분해능 이상의 성능을 발휘하여 정확도가 높은 해석을 하는 것이 본 발명의 기술 중 하나이다.
또한, STEM은 전자빔의 시료를 주사(스캔)하는 형태로 데이터를 얻게 되므로 스캔 속도가 빠르거나 원자로부터의 신호가 매우 약한 경우에는 signal-to-noise ratio가 낮아지는 단점이 있다. 본 발명의 뉴럴 네트워크(neural network) 기반의 머신 러닝을 활용하여 노이즈에 가려진 원자 정보를 높은 정확도로 찾아내는 것이 본 발명의 기술 중 다른 하나이다. 특히, 본 발명은 산소, 질소 및 심지어 수소와 같은 가벼운 원소들의 구조적 위치정보를 얻는데 매우 효과적이다.
요약하면, 본 발명은 소재의 특성이 20 pm 이하의 원자 위치 변화에 의존함을 인식할 때, STEM 분해능 한계인 50pm ~ 100pm 보다 향상된 수준의 길이 스케일에서 원자 위치 정보를 얻기 위한 AI를 개발하려는 것이 핵심이다.
예를 들어, 기능성 산화물 같은 특별한 경우에는 산소 이온 위치의 작은 변화에도 물질의 특성이 급격하게 변할 수 있으나 산소 이온은 약한 산란 단면을 가지기 때문에 이미지 상에서 백그라운드 노이즈와의 구별이 특히 힘들므로 본 발명의 기술의 적용이 필요한 분야이다.
현재까지 원자 이미징을 하는 전자현미경 기술에서 뉴럴 네트워크(neural network)를 이용한 해석 기술들은 전혀 보고된 바가 없다. 현재 사용하고 있는 일반적인 기술은 푸리에 변환(Fourier transformation)을 이용한 이미지 필터를 이용한다. 본 발명의 선행 연구를 통해서 이 기술은 인공적인 결함들을 이미지에 유발하고 인접한 원자열들의 위치 데이터를 평균화하여 과소평가하게 된다. 원자 위치 정보를 향상시키기 위하여 동일한 영역의 많은 이미지 수집한 후에 가우시안 피팅을 하는 방법도 있다. 하지만 이 방법은 이미징 도중에 샘플의 상당한 손상을 초래하여 데이터의 신뢰도 자체를 감소시킬 수 있다. 이러한 기존에 사용 중인 기술들에 반해 본 발명은 노이즈가 많은 이미지에서도 쉽게 다룰 수 있고 단지 하나의 이미지만 필요로 한다는 장점이 있다.
본 발명에서는 정확한 원자 위치 분석을 위한 STEM 이미지 재구성에 뉴럴 네트워크(neural network)를 이용하였다. 더 자세하게는, 본 발명에서는 이미지에서 나누어진 개별의 윈도우들을 처리하기 위해 우리는 심층적인 뉴럴 네트워크를 사용한다. 이를 통해, 본 발명은 특히 인접한 원자열의 영향 없이 원자열 위치 데이터를 국부적으로 얻어낼 수 있다.
도 1은 본 발명의 일 실시예에 따른 원자 구조 해석 방법을 나타내는 순서도이다.
도 2 내지 도 6은 도 1에 도시된 원자 구조 해석 방법을 구체적으로 나타내는 도면들이다.
도 1 내지 도 6을 참조하면, 본 발명의 일 실시예에 따른 원자 구조 해석 방법은 주사투과전자현미경 이미지를 획득하는 단계(S100), 노이즈를 제거하기 위하여 머신 러닝을 통해 주사투과전자현미경 이미지를 재구성하는 단계(S200) 및 재구성된 주사투과전자현미경 이미지로부터 좌표 정보를 검출하여 원자 구조를 해석하는 단계(S300)를 포함할 수 있다.
구체적으로, 단계 S100에서는 주사투과전자현미경의 HAADF(High Angle Annular Dark Field) 이미지 모드 및 ABF(Annular Bright Field) 이미지 모드 각각에서 시료의 원자 배열 이미지로 HAADF 이미지 및 ABF 이미지를 획득할 수 있다.
이때, HAADF 이미지 모드는 원자 배열 이미지의 원자 무게에 민감하기 때문에 금속이나 산화물에 있는 무거운 양이온을 이미징하는데 사용되는 모드이고, ABF 이미지 모드는 원자 배열에서 산소, 질소 및 수소와 같은 가벼운 원소들을 이미징하는데 사용되는 모드이다.
다음, 단계 S200은 주사투과전자현미경 이미지를 복수의 윈도우로 분할하는 단계(S210), 복수의 윈도우 중 랜덤으로 수집된 샘플을 이용하여 복수의 윈도우 각각의 노이즈를 제거하기 위한 머신 러닝을 수행하는 단계(S220), 머신 러닝을 통해 복수의 윈도우 각각에 대한 노이즈를 제거하는 단계(S230), 및 노이즈가 제거된 복수의 윈도우를 이용하여 주사투과전자현미경 이미지를 재구성하는 단계(S240)를 포함할 수 있다.
단계 S210에서는 도 2를 참조하여 주사투과전자현미경 이미지를 미리 설정된 사이즈의 복수의 윈도우(10)로 분할할 수 있다. 예를 들면, 주사투과전자현미경 이미지의 1000×1000 픽셀 정도의 크기이고, 복수의 윈도우(10)는 10×10 또는 20×20 픽셀 정도의 크기이기 때문에 주사투과전자현미경 이미지 당 10,000개 정도의 작은 윈도우(10)로 분할될 수 있다.
단계 S220에서는 도 2를 참조하여 복수의 윈도우(10) 중 랜덤으로 샘플을 수집할 수 있다. 즉, 주사투과전자현미경 이미지에서 배열된 복수의 원자 중 랜덤한 위치의 원자 이미지를 샘플로 수집할 수 있다.
단계 S230에서는 도 3을 참조하여 자동 엔코더를 이용하여 이미지의 노이즈 제거를 위한 머신 러닝을 수행할 수 있다.
여기서는, 샘플로 수집된 윈도우들을 입력 데이터로 사용하여 자동 엔코더의 구성으로 뉴럴 네트워크 학습을 수행할 수 있다.
자동 엔코더는 자동 인코딩 아키텍처로 이루어지며, 자동 인코딩 아키텍처는 입력층, 히든층 및 출력층을 포함하는 전체 네트워크를 나타낸다. 이때, 자동 인코딩 아키텍처는 노이즈가 발생된 데이터를 재구성할 때 효율적이기 때문에 사용한다.
자동 인코딩 방법은 원본 데이터의 차원보다 노드수가 훨씬 적은 히든층이 있는 아키텍처를 사용하면서 입력 데이터를 재현하는 방법을 학습하는 것이다. 참고로, 자동 엔코더는 입력층의 노드 수와 비교하여 히든층이 적은 수의 노드를 가지므로 입력 데이터로부터 학습한 작은 수의 변수부터 계산한다. 작은 수의 변수는 데이터의 원래 기능을 재생하는데 유용한 소수의 핵심 기능을 재생산한다. 또한, 노이즈는 데이터 재생에 유용하지 않으므로 자동 엔코더는 노이즈를 제거하는 경향이 있다.
또한, 도 4를 참조하여 단계 S230에서는 학습된 자동 엔코더를 이용하여 복수의 윈도우에 대한 노이즈 제거를 수행할 수 있다.
다음, 도 5를 참조하여 단계 S240에서는 노이즈가 제거된 복수의 윈도우로 주사투과전자현미경 이미지를 재구성할 수 있다.
한편, 본 발명에서는 다른 실시형태에 따라 단계 S200에서 HAADF 이미지와 ABF 이미지 각각을 개별적으로 재구성할 수 있다.
상세하게는, 상술한 단계 S210 내지 단계 S240을 거쳐 HAADF 이미지를 재구성하여 무거운 이온들의 위치가 결정이 되면 다음으로 가벼운 이온들의 위치를 찾기 위하여 ABF 이미지의 재구성을 수행할 수 있다.
이 단계에서는 무거운 양이온 위치를 이용하여 양이온열에 가까운 윈도우들과 멀리 떨어진 윈도우들로 ABF 이미지의 윈도우들을 나눌 수 있다. 여기서, 더 무거운 양이온의 위치를 알고 있기 때문에 더 무거운 양이온의 알려진 위치 사이를 나눌 수 있다. 예를 들면, 하나의 양이온이 위치 (0,0)에 있고, 다른 하나의 양이온이 위치 (40,40)에 있다면 우리는 위치 (20,20) 근처를 중심으로 윈도우를 나눌 수 있다.
그리고 두가지 윈도우 세트에서 다시 새로운 뉴럴 네트워크 학습을 수행할 수 있다. 그래서, ABF 이미지의 무거운 원자열을 포함하는 윈도우를 처리하는데 효율적인 제1 뉴럴 네트워크와, 가벼운 원자열을 포함하는 윈도우를 처리하는데 효율적인 제2 뉴럴 네트워크를 생성할 수 있다. ABF 이미지의 재구성은 학습된 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크의 결합으로 이루어질 수 있다.
제1 뉴럴 네트워크에 의해 재구성된 이미지로 가벼운 원자열의 초기 위치가 먼저 결정되고, 제2 뉴럴 네트워크에 의해 재구성된 이미지를 합친 결과를 이용하여 가벼운 원자열의 위치를 더욱 세밀하게 조정할 수 있다.
여기서, 가벼운 원자열의 초기 위치는 질량 중심법을 사용하되, 학습된 윈도우만을 사용하여 재구성된 이미지와, 나머지 윈도우로부터 재구성된 이미지를 결합하며, 결합된 이미지를 이용한 질량 중심을 재계산하여 가벼운 원자열의 위치를 미세 조정할 수 있다.
다음, 도 6을 참조하여 단계 S300에서는 재구성된 이미지로부터 좌표 정보를 검출할 수 있다. 여기서는, 질량 중심법과 결합된 슬라이딩(쉬프팅) 윈도우 기술을 사용할 수 있다.
구체적으로는, 스텝 1에서 재구성된 이미지의 사본을 만들 수 있다.
다음 스텝 2에서 원자열 사이의 공지된 최소 거리의 약 1/2의 길이로 사본의 상부 왼쪽 코너에서 작은 사각 윈도우를 가져와 이 윈도우 내에서 최대 강도값(명암값)을 갖는 픽셀의 위치를 찾을 수 있다.
만약, 픽셀의 위치가 윈도우의 중앙 근처(가장자리 중 하나보다 중앙에 더 가까운 경우)에 있으면 이 픽셀의 해당 좌표를 기록하고, 원자열의 초기 위치의 집합에 추가할 수 있다. 그런 다음 이 원자열이 다시 계산되지 않도록 각 윈도우에서 영역의 모든 해당 픽셀을 재구성된 윈도우의 사본에 0으로 설정할 수 있다.
만약, 픽셀의 위치가 윈도우의 중앙 근처에 있지 않으면 아무것도 하지 않는다.
다음 스텝 3에서 한 픽셀 단위로 윈도우를 오른쪽으로 슬라이딩(쉬프팅)할 수 있다. 이미지의 오른쪽 가장자리를 지나 윈도우를 이동시키게 되면 가장 왼쪽 가장자리의 픽셀을 아래로 이동하여 윈도우를 가져올 수 있다.
재구성된 이미지의 사본 전체가 슬라이딩 윈도우 기술에 의해 완전히 스캔될 때까지 스텝 2 및 3을 반복하여 원자열의 초기 위치에 대한 좌표 집합을 검출할 수 있다.
원자열의 초기 위치의 좌표 집합에서 각 좌표와 관련하여, 원자열에 대한 특정 중심 좌표의 설정된 반경 내의 모든 픽셀의 좌표 정보 및 강도(명암) 정보를 추출할 수 있다. 여기서, 반경은 최소 원자열 간격의 약 10%로 설정될 수 있다. 이 좌표 정보 및 강도(명암) 정보는 특정 원자열의 위치에 대한 서브픽셀 추정치를 얻기 위해서 질량 중심 계산을 위한 입력으로 사용될 수 있다.
이러한 단계 S240에서는 검출된 원자 배열의 좌표 정보를 분석하고 계산하여 원자 구조를 해석할 수 있다.
또한, 단계 S240에서는 검출된 좌표 정보와 재구성된 이미지를 이용하여 개별의 원자열을 자동적으로 분류해낼 수 있다. 예를 들면, 약 1pm까지 정확성을 갖는 좌표 정보와 재구성된 이미지를 이용하여 다양한 원자 단위의 특징인 양이온 버클링(buckling), 양이온 변위 벡터, 분극 벡터, 버클링 맵 등의 정보를 계산해 낼 수 있다.
한편, 상술한 원자 구조 해석 방법은 본 발명의 일 실시예에 따른 원자 구조 해석 장치에서 수행될 수 있다.
도 7은 본 발명의 일 실시예에 따른 원자 구조 해석 장치의 구조를 나타내는 도면이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 원자 구조 해석 장치(100)는 주사투과전자현미경 이미지를 획득하는 이미지 획득 수단(110), 노이즈를 제거하기 위하여 머신 러닝을 통해 상기 주사투과전자현미경 이미지를 재구성하는 이미지 재구성 수단(120) 및 재구성된 주사투과전자현미경 이미지로부터 좌표 정보를 검출하여 원자 구조를 해석하는 좌표 검출 수단(130)을 포함할 수 있다.
본 발명의 일 실시예에 따른 원자 구조 해석 장치(100)의 기능은 본 발명의 일 실시예에 따른 원자 구조 해석 방법에 대한 설명을 참조하면 충분히 이해될 수 있을 것이므로 여기서는 중복 설명을 생략한다.
[실시예]
도 8은 본 발명에 따라 재구성된 주사투과전자현미경 이미지의 예제를 보여준다.
도 8에서 (a)는 노이즈가 있는 가우시안 피크(Gaussian peak)의 HAADF 이미지, (b)는 재구성된 HAADF 이미지, (c)는 노이즈가 있는 가우시안 피크(Gaussian peak)의 ABF 이미지, (d)는 재구성된 ABF 이미지를 보여준다. (b)와 (d)의 재구성은 정량적인 위치 분석의 정밀도를 향상시키기 위해 약한 지점의 상대적인 강도(명암)을 증가시킬 수 있다. 특히, ABF 이미지의 재구성 (d)의 경우 원본 이미지에서 가장 약한 강도(명암)를 갖는 지점이 재구성시에는 상대적으로 명암이 증가했음을 볼 수 있다.
도 9는 실험적으로 얻어진 주사투과전자현미경 이미지의 구조적인 버클링 분석의 예제를 보여준다.
도 9를 참조하면, SrTiO3 기판 상에 LaMnO3 박막의 실험적으로 얻어진 이미지를 본 발명에 따라 분석한 것을 확인할 수 있다. 도 9에서 (a)는 원본 STEM 이미지, (b)는 Mn열에 대한 구조적인 버클링의 히트맵을 보여준다.
LaMnO3 박막은 Mn 원자 위치의 버클링을 나타내는 것으로 알려져 있다. 본 발명에 따른 분석에서는 버클링 각도의 히트맵이 포함될 수 있으며, 이는 LaMnO3 박막에서 큰 버클링을 나타내지만 SrTiO3 기판에서의 버클링은 무시할 수 있을 정도인 것을 예상대로 확인할 수 있다.
이러한 결과를 통해 기능 밀도 이론에 기초한 다른 이론적 계산에 따르면 SrTiO3 기판에 버클링이 나타나지 않고 LaMnO3 박막에 버클링이 있을 것으로 예상할 수 있다.
본 발명에 따르면, 주사투과전자현기경 이미지에 노이즈가 있는 경우에도 이미지와 추가적인 원자 스케일의 뒤틀림을 빠르고 정밀하게 보정할 수 있다. 또한, 현재 시장에 출시된 차세대 수차 보정 장치와 함께 사용하면, 증가된 전자 프로브의 수렴에 의한 각도 초점 심도 감소, 전자 채널링의 감소 때문에 커진 노이즈 등을 처리하는데 많은 도움이 될 것이다. 본 발명은 노이즈가 많은 이미지의 높은 정밀도 분석에 대한 수요 증가를 충족시킬 수 있을 것으로 기대된다.
이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
10: 윈도우
100: 원자 구조 해석 장치
110: 이미지 획득 수단
120: 이미지 재구성 수단
130: 좌표 검출 수단
100: 원자 구조 해석 장치
110: 이미지 획득 수단
120: 이미지 재구성 수단
130: 좌표 검출 수단
Claims (15)
- 주사투과전자현미경 이미지를 획득하는 단계; 노이즈를 제거하기 위하여 머신 러닝을 통해 상기 주사투과전자현미경 이미지를 재구성하는 단계; 및 재구성된 주사투과전자현미경 이미지로부터 좌표 정보를 검출하여 원자 구조를 해석하는 단계를 포함하고,
상기 주사투과전자현미경 이미지를 재구성하는 단계는, 상기 주사투과전자현미경 이미지를 복수의 윈도우로 분할하는 단계; 상기 복수의 윈도우 중 랜덤으로 수집된 샘플을 이용하여 상기 복수의 윈도우 각각의 노이즈를 제거하기 위한 머신 러닝을 수행하는 단계; 머신 러닝을 통해 상기 복수의 윈도우 각각에 대한 노이즈를 제거하는 단계; 및 노이즈가 제거된 상기 복수의 윈도우를 이용하여 상기 주사투과전자현미경 이미지를 재구성하는 단계를 포함하고,
상기 주사투과전자현미경 이미지는 HAADF 이미지 및 ABF 이미지를 포함하고,
상기 주사투과전자현미경 이미지를 재구성하는 단계에서는, 상기 HAADF 이미지를 재구성하여 상대적으로 무거운 이온들의 위치가 결정되면 다음으로 상대적으로 가벼운 이온들의 위치를 찾기 위하여 상기 ABF 이미지의 재구성을 수행하는, 원자 구조 해석 방법.
- 삭제
- 제1항에 있어서,
상기 머신 러닝을 수행하는 단계에서는, 샘플로 수집된 윈도우를 입력 데이터로 사용하는 자동 엔코더를 이용하여 뉴럴 네트워크 학습을 수행하는, 원자 구조 해석 방법.
- 제3항에 있어서,
상기 자동 엔코더는 노이즈가 발생된 이미지를 재구성하기 위하여 원본 데이터보다 노드수가 적은 히든층이 있는 아키텍처를 사용하여 입력 데이터를 재현하는 방법을 학습하는, 원자 구조 해석 방법.
- 삭제
- 삭제
- 제1항에 있어서,
상기 ABF 이미지의 재구성에서는 HAADF 이미지의 재구성으로 통해 확인된 무거운 이온 위치와의 거리를 이용하여 ABF 이미지의 복수의 윈도우를 두가지 윈도우 세트로 나누고, 두가지 윈도우 세트에서 다시 뉴럴 네트워크 학습을 수행하는, 원자 구조 해석 방법.
- 제7항에 있어서,
상기 ABF 이미지의 재구성에서는 ABF 이미지의 상대적으로 무거운 원자열을 포함하는 윈도우를 처리하는 제1 뉴럴 네트워크와, 상대적으로 가벼운 원자열을 포함하는 윈도우를 처리하는 제2 뉴럴 네트워크를 설정하고, 학습된 제2 뉴럴 네트워크에 의해 재구성된 이미지로 상대적으로 가벼운 원자열의 초기 위치가 먼저 결정되면 학습된 제1 뉴럴 네트워크에 의해 재구성된 이미지를 합친 결과를 이용하여 상대적으로 가벼운 원자열의 위치를 조정하는, 원자 구조 해석 방법.
- 주사투과전자현미경 이미지를 획득하는 이미지 획득 수단; 노이즈를 제거하기 위하여 머신 러닝을 통해 상기 주사투과전자현미경 이미지를 재구성하는 이미지 재구성 수단; 및 재구성된 주사투과전자현미경 이미지로부터 좌표 정보를 검출하여 원자 구조를 해석하는 좌표 검출 수단;을 포함하고,
상기 이미지 재구성 수단은, 상기 주사투과전자현미경 이미지를 복수의 윈도우로 분할하고, 상기 복수의 윈도우 중 랜덤으로 수집된 샘플을 이용하여 상기 복수의 윈도우 각각의 노이즈를 제거하기 위한 머신 러닝을 수행하고, 머신 러닝을 통해 상기 복수의 윈도우 각각에 대한 노이즈를 제거하고, 노이즈가 제거된 상기 복수의 윈도우를 이용하여 상기 주사투과전자현미경 이미지를 재구성하고,
상기 주사투과전자현미경 이미지는 HAADF 이미지 및 ABF 이미지를 포함하고,
상기 이미지 재구성 수단은, 상기 HAADF 이미지를 재구성하여 상대적으로 무거운 이온들의 위치가 결정되면 다음으로 상대적으로 가벼운 이온들의 위치를 찾기 위하여 상기 ABF 이미지의 재구성을 수행하는, 원자 구조 해석 장치.
- 삭제
- 제9항에 있어서,
상기 이미지 재구성 수단은, 샘플로 수집된 윈도우를 입력 데이터로 사용하는 자동 엔코더를 이용하여 뉴럴 네트워크 학습을 수행하는, 원자 구조 해석 장치.
- 제11항에 있어서,
상기 자동 엔코더는 노이즈가 발생된 이미지를 재구성하기 위하여 원본 데이터보다 노드수가 적은 히든층이 있는 아키텍처를 사용하여 입력 데이터를 재현하는 방법을 학습하는, 원자 구조 해석 장치.
- 삭제
- 삭제
- 제9항에 있어서,
상기 이미지 재구성 수단은, ABF 이미지의 상대적으로 무거운 원자열을 포함하는 윈도우를 처리하는 제1 뉴럴 네트워크와, 상대적으로 가벼운 원자열을 포함하는 윈도우를 처리하는 제2 뉴럴 네트워크를 설정하고, 학습된 제2 뉴럴 네트워크에 의해 재구성된 이미지로 상대적으로 가벼운 원자열의 초기 위치가 먼저 결정되면 학습된 제1 뉴럴 네트워크에 의해 재구성된 이미지를 합친 결과를 이용하여 상대적으로 가벼운 원자열의 위치를 조정하는, 원자 구조 해석 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170184582A KR101969242B1 (ko) | 2017-12-29 | 2017-12-29 | 원자 구조 해석 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170184582A KR101969242B1 (ko) | 2017-12-29 | 2017-12-29 | 원자 구조 해석 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101969242B1 true KR101969242B1 (ko) | 2019-04-15 |
Family
ID=66104907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170184582A KR101969242B1 (ko) | 2017-12-29 | 2017-12-29 | 원자 구조 해석 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101969242B1 (ko) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200054380A (ko) * | 2018-11-07 | 2020-05-20 | 포항공과대학교 산학협력단 | 기계학습을 이용한 페로브스카이트의 구조 분석 방법 |
| CN112116581A (zh) * | 2020-09-23 | 2020-12-22 | 中国科学院物理研究所 | 获取原子成像中的原子位置的方法与装置 |
| CN112132785A (zh) * | 2020-08-25 | 2020-12-25 | 华东师范大学 | 一种二维材料的透射电镜图像识别、分析方法及系统 |
| KR20210026997A (ko) * | 2019-08-30 | 2021-03-10 | 포항공과대학교 산학협력단 | 주사투과전자현미경 이미지에서의 원자 구조 해석 방법 |
| KR102253227B1 (ko) * | 2019-12-02 | 2021-05-18 | 포항공과대학교 산학협력단 | 저차원 재료의 원자 이미지 분석 방법 |
| WO2023235612A1 (en) * | 2022-06-02 | 2023-12-07 | Fei Company | Live-assisted image acquisition method and system with charged particle microscopy |
| US11907812B2 (en) | 2020-12-16 | 2024-02-20 | Korea Advanced Institute Of Science And Technology | Apparatus for determining 3-dimensional atomic level structure and method thereof |
| US12112529B2 (en) | 2020-06-30 | 2024-10-08 | Hyundai Motor Company | Apparatus and method for segmenting steel microstructure phase |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170008432A (ko) | 2015-07-14 | 2017-01-24 | 주식회사 엘지화학 | 물질 내 특정 원자 위치의 구조적 개방성 분석방법 |
| KR20170099195A (ko) * | 2016-02-23 | 2017-08-31 | 한국과학기술원 | 고체산화물 연료전지 전해질용 수소이온 전도체의 전도도 향상방법 |
-
2017
- 2017-12-29 KR KR1020170184582A patent/KR101969242B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170008432A (ko) | 2015-07-14 | 2017-01-24 | 주식회사 엘지화학 | 물질 내 특정 원자 위치의 구조적 개방성 분석방법 |
| KR20170099195A (ko) * | 2016-02-23 | 2017-08-31 | 한국과학기술원 | 고체산화물 연료전지 전해질용 수소이온 전도체의 전도도 향상방법 |
Non-Patent Citations (2)
| Title |
|---|
| Auto-encoders for Noise Reduction in Scanning Transmission Electron Microscopy, Proceedings of Microscopy & Microanalysis* * |
| Deep Learning of Atomically Resolved Scanning Transmission Electron Microscopy Images: Chemical Identification and Tracking Local Transformations* * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200054380A (ko) * | 2018-11-07 | 2020-05-20 | 포항공과대학교 산학협력단 | 기계학습을 이용한 페로브스카이트의 구조 분석 방법 |
| KR102224466B1 (ko) | 2018-11-07 | 2021-03-05 | 포항공과대학교 산학협력단 | 기계학습을 이용한 페로브스카이트의 구조 분석 방법 |
| KR20210026997A (ko) * | 2019-08-30 | 2021-03-10 | 포항공과대학교 산학협력단 | 주사투과전자현미경 이미지에서의 원자 구조 해석 방법 |
| KR102338050B1 (ko) * | 2019-08-30 | 2021-12-13 | 포항공과대학교 산학협력단 | 주사투과전자현미경 이미지에서의 원자 구조 해석 방법 |
| KR102253227B1 (ko) * | 2019-12-02 | 2021-05-18 | 포항공과대학교 산학협력단 | 저차원 재료의 원자 이미지 분석 방법 |
| US12112529B2 (en) | 2020-06-30 | 2024-10-08 | Hyundai Motor Company | Apparatus and method for segmenting steel microstructure phase |
| CN112132785A (zh) * | 2020-08-25 | 2020-12-25 | 华东师范大学 | 一种二维材料的透射电镜图像识别、分析方法及系统 |
| CN112132785B (zh) * | 2020-08-25 | 2023-12-15 | 华东师范大学 | 一种二维材料的透射电镜图像识别、分析方法及系统 |
| CN112116581A (zh) * | 2020-09-23 | 2020-12-22 | 中国科学院物理研究所 | 获取原子成像中的原子位置的方法与装置 |
| CN112116581B (zh) * | 2020-09-23 | 2023-09-08 | 中国科学院物理研究所 | 获取原子成像中的原子位置的方法与装置 |
| US11907812B2 (en) | 2020-12-16 | 2024-02-20 | Korea Advanced Institute Of Science And Technology | Apparatus for determining 3-dimensional atomic level structure and method thereof |
| WO2023235612A1 (en) * | 2022-06-02 | 2023-12-07 | Fei Company | Live-assisted image acquisition method and system with charged particle microscopy |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101969242B1 (ko) | 원자 구조 해석 장치 및 방법 | |
| Madsen et al. | A deep learning approach to identify local structures in atomic‐resolution transmission electron microscopy images | |
| US11047806B2 (en) | Defect discovery and recipe optimization for inspection of three-dimensional semiconductor structures | |
| CN107209125B (zh) | 以聚焦体积方法的晶片检验 | |
| CN107533759B (zh) | 对于关注图案图像群体的异常检测 | |
| Lew et al. | Easy-DHPSF open-source software for three-dimensional localization of single molecules with precision beyond the optical diffraction limit | |
| WO2017203600A1 (ja) | 欠陥分類装置および欠陥分類方法 | |
| US10692203B2 (en) | Measuring defectivity by equipping model-less scatterometry with cognitive machine learning | |
| JP5400882B2 (ja) | 半導体検査装置及びそれを用いた半導体検査方法 | |
| KR20180030715A (ko) | 전자 빔 이미지에서의 결함 위치 결정 | |
| US20120112063A1 (en) | Method and apparatus for generating three-dimensional image data | |
| JP3660763B2 (ja) | 被検査パターンの検査方法及び製造プロセス診断方法並びに半導体基板の製造方法 | |
| Couillard et al. | Strain fields around dislocation arrays in a Σ9 silicon bicrystal measured by scanning transmission electron microscopy | |
| JP2012532458A5 (ko) | ||
| KR20200122998A (ko) | 결함 관찰 장치 | |
| US20170147736A1 (en) | Automated scan chain diagnostics using emission | |
| Lobato et al. | Deep convolutional neural networks to restore single-shot electron microscopy images | |
| CN110308117B (zh) | 衍射距离校准方法及系统和图像重建方法及系统 | |
| KR20190138891A (ko) | 광학 검사 결과들로부터 형성한 계측 가이드 검사 샘플 | |
| TWI751233B (zh) | 用於從低解析度檢測影像重建高解析度點擴散函數之系統及方法 | |
| Joy et al. | Evaluating SEM performance from the contrast transfer function | |
| Nguyen et al. | The alignment and fusion of multimodal 3D serial sectioning datasets | |
| TWI763140B (zh) | 缺陷檢測系統及缺陷檢測方法 | |
| US8914255B2 (en) | Method, apparatus, and computer program product for focus prediction | |
| JP3186171B2 (ja) | 異物観察装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |