KR102628495B1 - 나노 입자의 3차원 원자 단위 구조 결정 장치 및 그 결정 방법 - Google Patents

나노 입자의 3차원 원자 단위 구조 결정 장치 및 그 결정 방법 Download PDF

Info

Publication number
KR102628495B1
KR102628495B1 KR1020200176633A KR20200176633A KR102628495B1 KR 102628495 B1 KR102628495 B1 KR 102628495B1 KR 1020200176633 A KR1020200176633 A KR 1020200176633A KR 20200176633 A KR20200176633 A KR 20200176633A KR 102628495 B1 KR102628495 B1 KR 102628495B1
Authority
KR
South Korea
Prior art keywords
atomic
data
dimensional
volume data
learning
Prior art date
Application number
KR1020200176633A
Other languages
English (en)
Other versions
KR20220086305A (ko
Inventor
양용수
이주혁
정채화
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020200176633A priority Critical patent/KR102628495B1/ko
Priority to US17/132,762 priority patent/US11907812B2/en
Publication of KR20220086305A publication Critical patent/KR20220086305A/ko
Application granted granted Critical
Publication of KR102628495B1 publication Critical patent/KR102628495B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N24/00—Investigating or analyzing materials by the use of nuclear magnetic resonance, electron paramagnetic resonance or other spin effects
    • G01N24/08—Investigating or analyzing materials by the use of nuclear magnetic resonance, electron paramagnetic resonance or other spin effects by using nuclear magnetic resonance
    • G01N24/087—Structure determination of a chemical compound, e.g. of a biomolecule such as a protein
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical, image processing or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B82—NANOTECHNOLOGY
    • B82Y—SPECIFIC USES OR APPLICATIONS OF NANOSTRUCTURES; MEASUREMENT OR ANALYSIS OF NANOSTRUCTURES; MANUFACTURE OR TREATMENT OF NANOSTRUCTURES
    • B82Y35/00—Methods or apparatus for measurement or analysis of nanostructures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/10—Different kinds of radiation or particles
    • G01N2223/102—Different kinds of radiation or particles beta or electrons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/646—Specific applications or type of materials flaws, defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/646—Specific applications or type of materials flaws, defects
    • G01N2223/6462—Specific applications or type of materials flaws, defects microdefects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

본 발명의 일실시예에 따른 데이터 생성 방법은, 측정 대상 나노 물질에 대응하는 하나 이상의 3차원 원자 모델 생성하는 원자 모델 생성 단계; 상기 하나 이상의 3차원 원자 모델에 기초하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 생성하는 3차원 데이터 생성 단계; 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 미리 결정된 각도 범위 내의 복수의 상이한 각도에 대해3차원 단층촬영을 시뮬레이션하여 틸트 시리즈(tilt series)를 생성하는 틸트 시리즈 생성 단계; 및 상기 틸트 시리즈에 기초하여 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 3차원 재구성을 수행하여 획득된 3차원 원자 구조 토모그램 부피 데이터 세트를 생성하는3차원 원자 구조 토모그램 부피 데이터 생성 단계를 포함할 수 있다.

Description

나노 입자의 3차원 원자 단위 구조 결정 장치 및 그 결정 방법 {Apparatus for determining 3-dimensional atomic level structure and method thereof}
본 발명은 나노 물질의 3차원 원자 단위 구조 결정 장치 및 그 결정 방법에 관한 것으로, 더욱 상세하게는 나노 물질의 원자 단위 구조에서 데이터가 불충분한 영역에 대하여 딥러닝 필터의 학습을 위한 3차원 원자 단위 부피 데이터를 생성하고, 그 데이터로 학습한 딥러닝 필터를 사용하여 나노 물질의 3차원 원자 단위 구조 결정의 정확성 및 신뢰도를 향상시키는, 데이터 생성 장치 및 그 생성 방법, 그리고 3차원 원자 단위 구조 결정 장치 및 그 결정 방법에 관한 것이다.
최근 소재의 기저인 나노 크기 영역의 전반을 다루는 나노 물질 기술은 나노물질이 종종 해당 벌크 물질과 전혀 다른 획기적인 물리적 화학적 특성 및 높은 활용성을 나타내어 전기, 화학, 광학, 바이오 산업 전반에 걸쳐 다양하게 응용되고 있으며 고성능 고품질의 제품을 개발하는 주요한 도구로 사용되고 있다.
나노 물질의 기능적 특성은 특히 표면 원자 구조에 크게 의존하며, 표면 재구성(reconstruction) 및 이완(relaxation)들을 나타내어 벌크 구조와 매우 상이하다. 따라서, 개별 원자 수준에서 3차원 표면 원자 구조의 정확한 식별이 물리학, 재료 과학, 화학 및 나노 과학을 활용하는 광범위한 산업에서 주요 관심사가 되어 왔다. 예컨대, 금속 나노 입자의 경우 표면 구조는 촉매 작용에서 중요한 역할을 하고, 이것은 현재 화학 물질의 합성, 대기 오염 저감, 연료 전지 응용 등에서 중요한 기술적 중요성을 가지고 있다. 각 응용 분야에 대한 촉매 특성을 미세 조정하기 위해 표면 원자를 완전히 이해하는 것이 매우 중요하다.
종래에 그러한 원자 스케일의 표면 특성의 확인 방법은 예를 들어 STEM(Scanning Transmission Electron Microscopy)와 같은 2 차원 측정으로 제한되었으며, 새로이 시도된 3차원 측정 방법에 있어서도 진정한 3차원 원자 스케일의 온전한 해상도에 도달하지 못했다. 종래의 기술로는 여전히 3차원 나노 물질 표면의 단일 원자 수준의 구조나 결함의 결정은 파악하기 어렵다는 문제점이 있었다.
딥러닝 기반 신경망 모델은 전자현미경 분야에서 그 활용에 상당한 관심을 받았다. 딥러닝 기반 신경망 모델을 전자현미경 측정에 있어서 손실 데이터 복구 및 초고해상도 이미징 개선에 사용하는 기술들이 등장했다. 그러나, 그러한 애플리케이션은 주로 2차원적인 전자현미경 이미지를 분석하여 일부 손실 정보를 복구하거나 이미지 해상도를 개선하는 영역으로 제한되어 왔다.
최근 이러한 문제를 해결하기 위해 최근에 나노 물질 기술 분야에 원자 전자 토모그래피(AET, Atomic electron tomography)와 같은 전자 단위 단층촬영 기법을 사용하여 원자 스케일 결함들, 즉 개별 원자 수준의 3차원 결함들, 3차원 변형(strain), 화학적 질서/무질서 (chemical order/disorder), 핵생성 역학(nucleation dynamics)을 측정하는 기술이 활발히 사용되고 있다. 그러나 그러한 단층 촬영시 현미경에 시편을 삽입하는 과정에서의 근본적인 기술적 기하학적 한계로 인해 전체 단층 촬영 각도 범위의 일부, 예컨대, - 65°~ + 65° 구간의 밖의 각도 범위에 대하여 실험적으로 측정 불가능한 문제가 존재했고, 이것은 소위, “손실 웨지(missing wedge)”문제를 발생시킨다. 손실 웨지는 손실 정보의 방향에 따라 연장(elongation)과 푸리에 링잉 노이즈(ringing artifact)들을 초래한다. 손실 웨지 결함은 표면 원자 구조 결정의 정확성에 나쁜 영향을 미치며, 이러한 결함은 나노 물질들의 표면을 정의하고 진정한 원자 위치를 확인하는 것을 어렵게 하여3차원 표면 원자 구조의 정밀한 측정에 주요 장애가 되어 왔다. 이와 같이 3차원 표면 원자 구조에 대한 정밀도 높은 식별 또는 결정이 어려운 경우, 나노 물질의 물성을 제어하거나 나노 물질를 실제 양산에서 활용하는 데 많은 문제점이 따른다.
본 발명은 위와 같은 문제점들을 해결하기 위해 제안된 것으로서, 나노 물질에 대하여 원자성(atomicity) 원리에 기반한 3차원 원자 모델을 생성하고, 그 원자 모델 및 3차원 구성 알고리즘을 기반으로 기하학적인 측정 제한 인자(손실 웨지 결함 등), 또는 나노 물질의 각종 원자 단위 결함, 노이즈 및 변형 등에 의해 원자 스케일의 전자 현미경에서 데이터를 획득하기 어려운 영역에 대하여 신뢰도 높은 학습용 3차원 원자 구조 데이터를 생성함으로서, 나노 물질의3차원 표면 원자 구조의 결정에 사용되는 딥러닝 필터의 성능을 향상시킬 수 있는 데이터 생성 장치 및 그 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 원자성(atomicity) 원리에 기반하여 생성된 3차원 원자 모델을 통해 나노 물질의 원자 스케일의3차원 구조 측정에 있어서 종래에 부족한 영역에 대한 데이터를 생성하여 딥러닝 필터를 학습시키고 그러한 딥러닝 필터를 사용하여 다양한 각도의 전자현미경 이미지 정보를 3차원적으로 재구성한 토모그램을 보정함으로써, 나노 물질의3차원 표면 원자 구조의 식별 또는 결정에 있어서의 정확성 및 신뢰성이 향상된 나노 물질의 3차원 원자 단위 구조 결정 장치 및 그 결정 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 데이터 생성 장치는,
측정 대상 나노 물질에 대응하는 하나 이상의 3차원 원자 모델 생성하는 원자 모델 생성부;
상기 하나 이상의 3차원 원자 모델에 기초하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 생성하는 3차원 데이터 생성부;
상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 미리 결정된 각도 범위에서 복수의 상이한 각도에 대해3차원 단층촬영을 시뮬레이션하여 틸트 시리즈(tilt series)를 생성하는 틸트 시리즈 생성부;
상기 틸트 시리즈에 기초하여 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 3차원 재구성을 수행하여3차원 원자 구조 토모그램 부피 데이터 세트를 생성하는3차원 토모그램 데이터 생성부를 포함할 수 있다.
상기 원자 모델 생성부는, 상기 측정 대상 나노 물질의 이론적 결정 구조에 기초한 3차원 원자 모델과 비정질(amorphous) 구조에 기초한 3차원 원자 모델을 생성할 수 있다.
상기 원자 모델 생성부는, 상기 하나 이상의3차원 원자 모델에 대하여 무작위 원자 결함 부여, 상기 모델 구조의 무작위 회전 또는 이동, 공간 변화, 원자 밀도 변화를 포함하는 실제화 보정 처리 중 적어도 하나 이상의 처리를 수행할 수 있다.
상기 3차원 데이터 생성부는, 상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 각 원자 위치에 원자 포텐셜과 미리 결정된 표준편차를 가지고 있는 Gaussian 분포를 컨볼루션한 결과를 획득하여 상기 3차원 원자 단위 구조 부피 데이터를 생성할 수 있다.
상기 틸트 시리즈 생성부는, 상기 3차원 원자 단위 구조 부피 데이터 중 적어도 일부에 대하여 상기 미리정해진 각도 범위 내의 복수의 상이한 틸트 각도들에서 3차원 원자 포텐셜 부피로부터 선형 투영(linear projection)을 획득하여 상기 틸트 시리즈를 생성할 수 있다.
상기 3차원 원자 구조 토모그램 부피 데이터 생성부는, 상기 틸트 시리즈에 대하여 미리 결정된 알고리즘을 사용하여 3차원 재구성하고, 상기 3차원 재구성시 축 규칙(axis convention)은 x-방향축, y-방향축, z-방향축 중 적어도 하나가 손실 웨지 방향에 평행하도록 선택될 수 있다.
상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 데이터 생성 방법은,
측정 대상 나노 물질에 대응하는 하나 이상의 3차원 원자 모델 생성하는 원자 모델 생성 단계;
상기 하나 이상의 3차원 원자 모델에 기초하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 생성하는 3차원 데이터 생성 단계;
상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 미리 결정된 각도 범위 내의 복수의 상이한 각도에 대해3차원 단층촬영을 시뮬레이션하여 틸트 시리즈(tilt series)를 생성하는 틸트 시리즈 생성 단계; 및
상기 틸트 시리즈에 기초하여 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 3차원 재구성을 수행하여 3차원 원자 구조 토모그램 부피 데이터 세트를 생성하는3차원 토모그램 데이터 생성 단계를 포함할 수 있다.
상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 나노 물질의 3차원 원자 단위 구조 결정 장치는,
측정 대상 나노 물질에 대응하는 하나 이상의 3차원 원자 모델을 생성하는 원자 모델 생성부;
상기 하나 이상의 3차원 원자 모델에 기초하여 3차원 단층촬영을 시뮬레이션 및 재구성하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 구조 토모그램 부피 데이터를 3차원 학습데이터로서 생성하는 3차원 학습데이터 생성부;
상기 3차원 학습데이터로 머신러닝 모델을 학습하여 딥러닝 필터를 생성하는 딥러닝 필터 생성/학습부;
상기 측정 대상 나노 물질의 전자 현미경 측정을 통해 획득한 제1의 3차원 원자 구조 토모그램 부피 데이터를 상기 딥러닝 필터로 필터링하여 데이터가 불충분한 원자 배열 영역이 보정된 제2의 3차원 원자 구조 토모그램 부피 데이터를 생성하고, 상기 제2의 3차원 원자 구조 토모그램 부피 데이터에 기초하여 상기 측정 대상 나노 물질의 3차원 원자 단위 나노 구조를 결정하는, 3차원 원자 단위 구조 결정부를 포함할 수 있다.
상기 3차원 학습데이터 생성부는,
상기 하나 이상의 3차원 원자 모델에 기초하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 생성하는 3차원 데이터 생성부;
상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 미리 결정된 각도 범위에서 복수의 상이한 각도에 대해3차원 단층촬영을 시뮬레이션하여 틸트 시리즈(tilt series)를 생성하는 틸트 시리즈 생성부;
상기 틸트 시리즈에 기초하여 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 3차원 재구성을 수행하여 3차원 원자 구조 토모그램 부피 데이터 세트를 생성하는3차원 원자 구조 토모그램 부피 데이터 생성부를 포함하고,
상기 재구성된 3차원 원자 구조 토모그램 부피 데이터 세트는 상기 딥러닝 필터의 학습을 위한 3차원 학습 데이터 세트를 형성할 수 있다.
상기 3차원 데이터 생성부는, 상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 각 원자 위치에 원자 포텐셜과 미리 결정된 표준편차를 가지고 있는 Gaussian 분포를 컨볼루션한 결과를 획득하여 상기 3차원 원자 단위 구조 부피 데이터를 생성할 수 있다.
상기 3차원 데이터 생성부는, 상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 상기 3차원 부피 내의 각 원자 위치에 상기 미리 결정된 표준편차와 동일한 또는 상이한 표준편차를 가진Gaussian 분포를 위치시켜 획득된 3차원 원자 단위 구조 부피 데이터를 3차원 타겟 데이터 세트로서 생성할 수 있다.
상기 딥러닝 필터 생성/학습부는, 상기 3차원 학습 데이터 세트에 기초하여 순전파(foward-propagation)를 통해 상기 딥러닝 필터로부터 출력된 결과와 상기 3차원 타겟 데이터 세트를 비교하여 오차 (error)를 산출하고, 상기 오차에 기초하여 오차의 그래디언트를 역방향으로(출력층에서 입력층으로) 계산함으로써 (back-propagation) 상기 딥러닝 필터의 하이퍼파라미터들을 오차를 줄이는 방향으로 갱신한다. 이 과정을 반복함으로써 상기 딥러닝 필터를 학습시키고 필터의 파라미터들을 3차원 원자 단위 구조 결정에 최적화시킬 수 있다.
상기 목적을 달성하기 위하여, 본 발명의 다른 실시에에 따른 3차원 원자 단위 구조 결정 방법은,
측정 대상 나노 물질에 대응하는 하나 이상의 3차원 원자 모델을 생성하는 원자 모델 생성 단계;
상기 하나 이상의 3차원 원자 모델에 기초하여 3차원 단층촬영을 시뮬레이션 및 재구성하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 구조 토모그램 부피 데이터를 3차원 학습데이터로서 생성하는 3차원 학습데이터 생성 단계;
상기 3차원 학습데이터로 머신러닝 모델을 학습하여 딥러닝 필터를 생성하는 딥러닝 필터 생성/학습 단계;
상기 측정 대상 나노 물질의 전자 현미경 측정을 통해 획득한 제1의 3차원 원자 구조 토모그램 부피 데이터를 상기 딥러닝 필터로 필터링하여 데이터가 불충분한 원자 배열 영역이 보정된 제2의 3차원 원자구조 토모그램 부피 데이터를 생성하고, 상기 제2의 3차원 원자 구조 토모그램 부피 데이터에 기초하여 상기 측정 대상 나노 물질의 3차원 원자 단위 나노 구조를 결정하는, 3차원 원자 단위 구조 결정 단계를 포함할 수 있다.
본 발명에 따르면, 종래에 확고하게 입증된 과학적 논리인 원자성에 기반하여 다양한 나노 물질 구조에 적용가능한 원자 모델을 생성하고 그러한 신뢰성 높은 원자 모델을 사용하여 나노 물질의 개별 원자 스케일의 3차원 원자 구조에 대한 데이터를 증폭 및 생성함으로서, 상대적으로 단순한 데이터 증폭 프로세스를 통해서 학습용으로 신뢰성이 높은 3차원 원자 구조 데이터를 다량 생성할 수 있다.
본 발명에 따르면, 신뢰성 높은 원자 모델을 사용하여 생성된 개별 원자 스케일의 3차원 표면 원자 구조에 대한 다량의 학습용 3차원 원자 구조 데이터로 딥러닝 필터를 학습시키고, 그 딥러닝 필터를 통해 기하학적인 측정 제한 인자(손실 웨지 결함 등), 또는 각종 원자 단위 결함, 및 변형 등에 의해 원자 스케일의 전자 현미경에서 데이터를 획득하기 어려운 영역에 대한 데이터를 생성 및 보정함으로서, 나노 물질의3차원 표면 원자 구조의 식별 또는 결정에 있어서의 정확성 및 신뢰성이 향상된3차원 원자 구조 결정 장치 및 그 결정 방법을 제공할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일실시예에 따른 딥러닝 필터의 학습데이터를 위한 데이터 생성 장치의 개략적인 구성을 나타내는 개략적인 블록도이다.
도 2는 본 발명의 일실시예에 따른 측정 대상 나노 물질이 Pt 나노입자인 경우의 원자 모델 생성 및3차원 원자 단위 구조 부피 데이터 생성의 개념도이다.
도 3는 본 발명의 일실시예에 따른 나노입자의3차원 원자 단위 구조 결정 장치의 개략적인 블록도이다.
도 4는 본 발명의 일실시예에 따른 머신러닝 모델을 학습하여 딥러닝 필터를 생성하거나, 기존의 딥러닝 필터를 학습시키는 개념도이다.
도 5는 본 발명의 일실시예에 따라 신뢰성이 향상된 보정 3차원 원자구조 토모그램 부피 데이터를 획득하는 개념도이다.
도 6은 본 발명의 일실시예에 따라 딥러닝 필터로서 사용된 3차원-UNET을 기반으로 한 신경망 모델 구조의 아키텍처도이다.
도 7은 본 발명의 일 실시예에 따른 딥러닝 필터의 학습데이터를 위한 데이터 생성 방법의 개략적인 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 나노 물질의3차원 원자 단위 구조 결정 방법의 개략적인 흐름도이다.
도 9은 본 발명의 일실시예에 따라 시뮬레이션된 전자현미경 단층사진들에 딥러닝 필터를 적용하기 전과 후의 상태를 나타내는 전자현미경 사진 및 3차원 재구성도이다
도 10은 본 발명의 일실시예에 따라 따라 시뮬레이션된 3차원 재구성된 토모그램에 푸리에 변환을 적용한 3차원 푸리에 밀도를 상이한 축 방향으로 투영한 투영도이다.
도 11은 본 발명의 일실시예에 따라 실험으로 획득한 전자현미경 틸트 시리즈를 재구성한 3차원 토모그램의 딥러닝 전과 후를 나타내는 3차원 이미지이다.
도 12는 본 발명의 일실시예에 따라 실험적으로 획득된 전자현미경 단층 사진 데이터에 대하여 딥러닝 필터를 적용한 효과를 나타내는 전자현미경 사진 및 투영도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 본 발명의 이해를 돕기 위하여 바람직한 실시예를 제시하나, 이는 본 발명을 예시하는 것일 뿐, 본 발명의 범주 및 기술사상 범위 내에서 다양한 변경 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변경 및 수정이 첨부된 특허청구범위에 속하는 것도 당연한 것이다.
본 발명의 발명자는 기존에 나노 물질의 원자 단위 구조 측정에 사용되는 전자현미경이 실제 시편 측정시 기하학적인 제한으로 인해 측정가능한 각도에 제한이 있으며, 측정가능한 각도 범위 외의 영역에 대한 획득불가능하거나 불충분한 데이터로 인해 손실 웨지(missing wedge)가 발생하거나 불충분한 투영 데이터, 다양한 노이즈 등의 문제로 인해 나노 물질의 정확한 3차원 원자 단위 구조, 특히 나노 물질의 물성에 큰 영향을 미치는 3차원 표면 원자 구조의 결정에 문제가 발생하는 점을 인식하였다. 이에 발명자는 모든 물질은 원자들로 구성되어 있다는 기존에 확증된 과학적인 법칙인 “원자성(atomicity)”을 기반으로 그러한 손실된 3차원 원자 단위 구조 영역에 대한 신뢰도 높은 데이터를 안정적으로 그리고 다량으로 생성, 또는 증폭하는, 데이터 생성 장치 및 그 방법을 제공한다. 또한, 그로 인해 생성된 충분한 양의 고신뢰도 데이터를 딥러닝 필터의 생성 및 학습에 사용하여 손실 웨지 뿐 아니라 다양한 외부적 또는 내부 적 요인에 의한 결함이나 불안정성 등에도 불구하고 신뢰성 및 견고성이 높은 나노 물질의 3차원 표면 원자 단위 구조 결정 장치 및 그 방법을 제공하고자 한다.
이하 본 명세서에서 나노 물질의 “3차원 원자 단위 구조 (three-dimensional atomic level structure)”라 함은 나노 물질의 3차원적인 원자들의 배열 구조를 의미하며, “차원 표면 원자 단위 구조(three-dimensional surface atomic level structure)”라 함은 나노 물질의 표면 상에서의 3차원적인 원자의 배열 구조를 의미한다. “3차원 토모그램 부피 데이터(three-dimensional tomogram volume data)”라 함은, 예컨대 3차원 원자 구조 토모그램 부피 데이터 등과 같은, 나노 전자현미경의 토모그램(tomogram)에서 도출되는 부피 데이터(volume data)이며, 전자현미경 측정에 수반하는 결함을 포함할 수 있다. 또한, 3차원 원자구조 토모그램 또는 관련 데이터가 보정되었다는 것은 해당 나노 물질에 발생가능한 다양한 외부 환경적 요인 또는 내부 요인에 의해 야기되는 결함 및 변화의 요소들 중 일부 또는 전부가 구조 또는 데이터에 반영되었다는 것을 의미한다.
이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 딥러닝 필터의 학습데이터를 위한 데이터 생성 장치의 개략적인 구성을 나타내는 개략적인 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 데이터 생성 장치(100)는 원자 모델 생성부(110), 3차원 학습데이터 생성부(120), 검증부(130)를 포함할 수 있다. 상기 검증부(130)는 본 발명의 다른 실시예에서는 데이터 생성 장치 내부에 포함되지 않고 외부에 포함될 수도 있다.
상기 원자 모델 생성부(110)는 측정 대상 나노 물질에 대응하는 하나 이상의 3차원 원자 모델을 생성할 수 있다. 상기 하나 이상의 3차원 원자 모델은 상기 측정 대상 나노 물질의 이론적 결정 구조에 기초한 3차원 원자 모델 및/또는 비정질(amorphous) 구조에 기초한 3차원 원자 모델일 수 있다.
도 2는 본 발명의 일실시예에 따른 측정 대상 나노 물질이 Pt 나노입자 인 경우의 원자 모델 생성(210), 및3차원 원자 단위 구조 부피 데이터 생성(220, 230)의 개요도이다. 도 2에서, 상기 원자 모델 생성부는 Pt 나노 입자의 이론적 결정 구조인 면심 입방 격자(Face Centered Cubic lattice, F.C.C.) 구조에 대응하는 원자 모델(이하, “원자 모델”)(212) 및/또는 비정질 구조에 대응하는 원자 모델(이하, “비정질 원자 모델”)(214)을 생성하였다.
또한, 상기 하나 이상의 3차원 원자 모델은 3개 이상의 원자 모델을 포함할 수도 있다. 예를 들어, 상기 측정 대상 나노 물질의 이론적 결정 구조 또는 비정질 구조에 기초하여 상이한 Bfactor 값을 부여하여 2개 이상의 원자 모델을 생성하여 데이터 생성에 사용할 수 있다.
상기 하나 이상의3차원 원자 모델을 생성시, 각 원자 모델의 3차원 원자 단위 배열 구조에 있어서 무작위 원자 결함 부여, 상기 모델 구조의 무작위 회전 또는 이동, 공간 변화, 원자 밀도 변화, 무작위 형태 절단(Rand shape cropping)을 포함하는 실제화 보정 처리 중 적어도 하나 이상을 고려한 처리를 수행할 수 있다.
예를 들어, 본 발명의 일실시예의 측정 대상 나노 물질이 Pt 나노입자인 경우, F.C.C. 원자 모델은 통상적인 나노 입자의 원자 단위 배열 구조의 원자결함 비율과 유사한 무작위 원자 결함을 반영하거나, 생성된 원자 모델의 구조를 무작위로 회전 및/또는 이동 처리하도록 할 수 있다. 또한, 생성된 원자 모델에 각 원자 위치에 이상적인 F.C.C. 구조 위치와 비교하여 미리 결정된 비율(예를 들어, 22pm)의 공간 변화를 부여할 수도 있다. 또한, 비정질 원자 모델의 경우, 예컨대 원자 간 최소거리 및 원자 밀도를 측정 대상 나노 입자의 이론적 결정 구조에 기초하여 미리 결정된 밀도 비율(예컨대, Pt의 경우 F.C.C. 구조의 약 99%)로 설정하고 그 조건 하에서 무작위하게 원자 위치를 생성하여 비정질 원자 모델을 생성할 수도 있다.
상기 3차원 학습데이터 생성부(120)는, 상기 하나 이상의 3차원 원자 모델에 기초하여 3차원 단층촬영을 시뮬레이션 및 3차원 재구성하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 구조 토모그램 부피 데이터를 3차원 학습데이터로서 생성할 수 있다. 도 1을 참조하면, 상기 3차원 학습데이터 생성부(120)는 3차원 데이터 생성부(122), 틸트 시리즈 생성부(124), 3차원 원자 구조 토모그램 부피 데이터 생성부(126)를 포함할 수 있다.
상기 3차원 데이터 생성부(122)는, 상기 하나 이상의 3차원 원자 모델에 기초하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 생성할 수 있다. 도 2를 참조하면, 상기 3차원 데이터 생성부(122)에서 생성된 상기 3차원 원자 단위 구조 부피 데이터는 3차원 학습 데이터 세트(230)를 생성하기 위한 이상적인 3차원 원자 단위 구조 부피 데이터(232)로서 생성될 수도 있고, 3차원 타겟 데이터 세트(220)로서 생성될 수도 있다. 상기 3차원 학습 데이터 세트는 손실 웨지 등과 같은 전자현미경의 단층촬영 시의 문제점을 반영하도록 시뮬레이션되어 생성된 데이터 세트이며, 상기 3차원 타겟 데이터 세트는 전자현미경의 단층촬영에서의 문제점이 배제되고 단순히 실측(Ground truth) 정보가 시뮬레이션되어 생성된 데이터 세트이다.
구체적으로, 상기 3차원 데이터 생성부(122)에서 생성된 상기 3차원 원자 단위 구조 부피 데이터는 3차원 학습 데이터 세트를 생성하는 데 사용되는 이상적인3차원 원자 단위 구조 부피 데이터(232)로서 생성될 수 있다. 그러한 이상적인3차원 원자 단위 구조 부피 데이터는 상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 각 원자 위치에 원자 포텐셜과 미리 결정된 표준편차를 가지고 있는 Gaussian 분포를 컨볼루션한 결과를 획득하여 생성될 수 있다. 상기 이상적인 3차원 원자 단위 구조 부피 데이터 생성시 Bfactor 5에 해당하는 표준편차 1.4 를 가진 Gaussian 분포를 사용할 수도 있다. Bfactor 가5라 함은 이하의 식(1)의 “Bfactor”부분에 5를 대입하는 말하며, 그 표준편차 값은 1.4이 될 수 있다. 표준편차의 단위는 voxels이 될 수 있다.
여기에서 Gaussian Kernel의 표준편차(σ)는 다음과 같은 식(1)에 의해 산출될 수 있다.
σ = 식(1)
여기에서 Bfactor는 다음과 같은 식(2)에 의해 산출될 수 있다.
식(2)
또한, 상기 3차원 데이터 생성부(122)에서 생성된 상기 3차원 원자 단위 구조 부피 데이터는, 3차원 타겟 데이터 세트(220)로서 생성될 수 있다. 3차원 타겟 데이터 세트로서 사용되는 3차원 원자 단위 구조 부피 데이터는 상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 상기 3차원 부피 내의 각 원자 위치에 상기 미리 결정된 표준편차와 동일한 또는 상이한 표준편차를 가진Gaussian 분포를 위치시켜 획득된 3차원 원자 단위 구조 부피 데이터를 3차원 타겟 데이터 세트로서 생성할 수 있다. 즉, 각 원자 위치에 미리 정해진 적절한 표준편차를 가진 Gaussian 분포를 직접 위치시켜서 획득할 수 있다. 3차원 타겟 데이터 세트의 생성시 Bfactor 4에 해당하는 표준편차를 가진 Gaussian 분포를 사용할 수도 있다. 그러한 경우, 위의 식(1)에 대입을 하여, 확인하면 표준편차= (Bfactor = 4 /2pi^2/pixel size=0.357^2)^0.5 = 1.3. 이 될 수 있다.
상기 3차원 데이터 생성부(122)에서 생성된 상기 3차원 원자 단위 구조 부피 데이터가 상기 이상적인3차원 원자 단위 구조 부피 데이터(232)로서 생성된 경우, 상기 틸트 시리즈 생성부(124)는, 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 미리 결정된 각도 범위 내의 복수의 상이한 각도에 대해3차원 단층촬영을 시뮬레이션하여 틸트 시리즈(tilt series)를 생성할 수 있다(234). 본 발명의 한 실시예에 따르면, 상기 틸트 시리즈 생성부(124)는, 상기 3차원 원자 단위 구조 부피 데이터 중 적어도 일부에 대하여 상기 미리정해진 각도 범위 (예를 들어, -71.6° ~ +71.6° 각도 범위, 바람직하게는 -65°에서 +65° 각도 범위) 내의 복수의 상이한 틸트 각도들에서 3차원 원자 포텐셜 부피로부터 선형 투영(linear projection)을 획득하여 상기 틸트 시리즈를 생성할 수 있다. 상기 -65°에서 +65° 각도 범위는 현재 원자 전자 단층촬영(Atomic Electron Tomography, AET)에 있어서, 측정의 기하학적 한계로 인해 시편을 측정할 수 있는 각도의 범위이다. 상기 틸트 시리즈는 상기 각도 범위 내에서 등간격으로 변화되는 복수의 각도에서 3차원 원자 포텐셜 부피로부터 선형 투영을 수행하여 획득할 수도 있다. 또한, 상기 3차원 원자 포텐셜 부피로부터 선형 투영을 수행한 후 노이즈 효과를 시뮬레이션 하기 위해 푸아송 노이즈(Poisson Noise)가 그 투영들에 추가될 수 있다.
상기 3차원 원자 구조 토모그램 부피 데이터 생성부(126)는, 상기 틸트 시리즈에 기초하여 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 3차원 재구성을 수행하여 획득된 3차원 원자 구조 토모그램 부피 데이터 세트, 즉 상기3차원 학습 데이터를 생성할 수 있다(238). 상기 3차원 원자 구조 토모그램 부피 데이터 생성부(126)는 GENFIRE 알고리즘을 사용하여 상기 틸트 시리즈로부터 3차원 재구성을 수행할 수 있으나, 이 알고리즘에 제한되지는 않는다. 이러한 3차원 재구성시, 축 규칙(axis convention)은 x-방향축, y-방향축, z-방향축 중 적어도 하나가 손실 웨지 방향에 평행하도록 선택될 수 있다. 이러한 방식은 수직 방향(즉, 손실 웨지 방향)을 따라 바람직하지 않은 결함들을 성공적으로 시뮬레이션하여 예측 복구할 수 있도록 한다. GENFIRE 알고리즘을 사용한 3차원 재구성을 위해 고속 푸리에 변환 보간 방법(fast Fourier transform(FFT) interpolation method)이 사용될 수도 있다. 그러나, 3차원 재구성치 축 규칙(axis convention)은 필요에 따라 임의의 방향에 대하여 손실 웨지 방향에 평행하도록 선택될 수도 있다.
이와 같이 생성된 3차원 원자 구조 토모그램 부피 데이터 세트는 딥러닝 필터를 위한 순수 학습용 데이터 세트와 검사용 데이터 세트로 일정비율로 분리될 수 있다. 학습용 데이터 세트와 검사용 데이터 세트의 비율은 8:1 내지 10:1이 될 수 있다.
상기 검증부(130)는 상기 생성된 데이터 세트들의 신뢰성을 검증할 수 있다. 그러한 검증에 머신러닝 모델을 사용할 수 있다.
이와 같은 본 발명의 데이터 생성 장치의 구성에 따르면, 나노 물질의 다양한 외부 및/또는 내부 요인에 따라 3차원 원자 단위 구조, 또는 3차원 표면 원자 단위 구조에 대한 일부 데이터가 손실되거나 데이터가 불충분한 영역에 대하여서도 신뢰성이 높은 데이터를 다량 생성 및 증폭할 수 있다. 따라서, 딥러닝 필터의 최적화를 위한 충분한 학습이 가능하다.
도3는 본 발명의 일 실시예에 따른 나노 물질의3차원 원자 단위 구조 결정 장치(300)의 개략적인 블록도이다.
도 3을 참조하면, 3차원 원자 단위 구조 결정 장치(300)는, 원자 모델 생성부(310), 3차원 학습데이터 생성부(320), 검증부(330), 딥러닝 필터 생성/학습부(340), 3차원 원자 단위 구조 결정부(350). 및 데이터베이스(360)를 포함할 수 있다. 상기 검증부(330) 및/또는 데이터베이스(360)는 상기 3차원 원자 단위 구조 결정 장치(300)에 포함되지 않고 외부의 검증 시스템 또는 데이터 저장 시스템이나 이들을 포함하는 서버 또는 클라우드 시스템에 연결되어 이를 대신 사용할 수도 있다.
상기 원자 모델 생성부(310)는 측정 대상 나노 물질에 대응하는 하나 이상의 3차원 원자 모델을 생성할 수 있다. 상기 하나 이상의 3차원 원자 모델은 상기 측정 대상 나노 물질의 이론적 결정 구조에 기초한 3차원 원자 모델 및/또는 비정질(amorphous) 구조에 기초한 3차원 원자 모델일 수 있다. 상기 원자 모델 생성부(310)의 구성 및 기능은 도 1의 데이터 생성 장치(100)의 원자 모델 생성부(110)에 대응한다.
도 2는 본 발명의 일실시예에 따른 측정 대상 나노 물질이 Pt 나노입자인 경우의 원자 모델 생성(210), 및3차원 원자 단위 구조 부피 데이터 생성(220, 230)의 개요도를 나타낸다. 도 2에서, 상기 원자 모델 생성부는 Pt 나노 입자의 이론적 결정 구조인 면심 입방 격자(Face Centered Cubic lattice, F.C.C.) 구조에 대응하는 원자 모델(이하, “원자 모델”)(212) 및/또는 비정질 구조에 대응하는 원자 모델(이하, “비정질 원자 모델”)(214)을 생성하였다.
상기 하나 이상의 3차원 원자 모델을 생성시, 각 원자 모델의 3차원 원자 단위 배열 구조에 있어서 무작위 원자 결함 부여, 상기 모델 구조의 무작위 회전 또는 이동, 공간 변화, 원자 밀도 변화를 포함하는 실제화 보정 처리 중 적어도 하나 이상을 고려한 처리를 수행할 수 있다.
상기 3차원 학습데이터 생성부(320)는 상기 하나 이상의 3차원 원자 모델에 기초하여 3차원 단층촬영을 시뮬레이션 및 재구성하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 구조 토모그램 부피 데이터를 3차원 학습데이터로서 생성할 수 있다.
상기 3차원 학습데이터 생성부(320)는, 상기 하나 이상의 3차원 원자 모델에 기초하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 생성하는 3차원 데이터 생성부; 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 미리 결정된 각도 범위에서 복수의 상이한 각도에 대해3차원 단층촬영을 시뮬레이션하여 틸트 시리즈(tilt series)를 생성하는 틸트 시리즈 생성부; 상기 틸트 시리즈에 기초하여 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 3차원 재구성을 수행하여 3차원 원자구조 토모그램 부피 데이터 세트를 생성하는3차원 원자 구조 토모그램 부피 데이터 생성부를 포함하도록 구성될 수 있다. 상기 재구성된 3차원 원자 구조 토모그램 부피 데이터 세트는 상기 딥러닝 필터의 학습을 위한 3차원 학습 데이터 세트를 형성할 수 있다.
상기 3차원 학습데이터 생성부(320)는 및 그 세부 구성 요소들은, 도 1의 데이터 생성 장치(100)의 3차원 학습데이터 생성부(120)에 대응하는 구성 및/또는 기능을 포함할 수 있다.
상기 3차원 학습데이터 생성부 내의 3차원 데이터 생성부는, 상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 상기 3차원 부피 내의 각 원자 위치에 상기 미리 결정된 표준편차와 동일한 또는 상이한 표준편차를 가진Gaussian 분포를 위치시켜 획득된 3차원 원자 단위 구조 부피 데이터를 3차원 타겟 데이터 세트로서 생성할 수 있다.
상기 딥러닝 필터 생성/학습부(340)는 상기 3차원 학습데이터로 머신러닝 모델을 학습시키어 딥러닝 필터를 생성할 수 있다. 도 4는 본 발명의 일실시예에 따른 머신러닝 모델을 학습하여 딥러닝 필터를 생성하거나, 기존의 딥러닝 필터를 학습시키는 개략도를 도시한다.
도 4의 실시예에서는, 3차원 학습 데이터 세트에 기초하여 순전파(foward-propagation)를 통해 상기 딥러닝 필터로부터 출력된 결과와 상기 3차원 타겟 데이터 세트를 비교하여 오차 (error)를 산출하고, 상기 오차에 기초하여 오차의 그래디언트를 역방향으로(출력층에서 입력층으로) 계산함으로써 (back-propagation) 상기 딥러닝 필터의 하이퍼파라미터들을 오차를 줄이는 방향으로 갱신한다. 이 과정을 반복함으로써 상기 딥러닝 필터를 학습시키고 필터의 파라미터들을 3차원 원자 단위 구조 결정에 최적화시킬 수 있다.
상기 딥러닝 필터를 생성하기 위해 사용하는 머신러닝 모델은 신경망(Neural Network, NN)계 모델을 사용할 수 있으며, DFN(Deep Feedforward Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), DRN(Deep Residual Network), GAN(Generative Adversarial Network) 중 적어도 하나 이상을 사용할 수 있다. 그러나, 상기 머신러닝 모델은 그러한 신경망 모델에 제한되지 않으며, 신경망 모델 이외의 머신러닝 모델을 사용할 수도 있다.
상기 3차원 원자 단위 구조 결정부(350)는, 상기 측정 대상 나노 물질의 전자 현미경 측정을 통해 획득한 제1의 3차원 원자 구조 토모그램 부피 데이터를 상기 딥러닝 필터로 필터링하여 데이터가 불충분한 원자 배열 영역이 보정된 제2의 3차원 원자 구조 토모그램 부피 데이터를 생성하고, 상기 제2의 3차원 원자 구조 토모그램 부피 데이터에 기초하여 상기 측정 대상 나노 물질의 3차원 원자 단위 나노 구조를 결정할 수 있다.
도 5는 본 발명의 일실시예 따라 전자현미경으로 측정하여 획득된 실제 3차원 원자구조 토모그램 부피 데이터에 상기 딥러닝 필터 생성/학습부(340)에서 생성 도는 학습된 딥러닝 필터를 적용해서 신뢰성이 향상된 보정 3차원 원자 구조 토모그램 부피 데이터를 획득하는 개념도를 나타낸다.
도 6은 본 발명의 일실시예에 따라 딥러닝 필터로서 사용된 3차원-UNET을 기반으로 한 신경망 모델 구조의 아키텍처를 나타낸다. 도 6에서 박스의 세트는 특징 맵들(feature maps)을 나타내고, 각 특징 맵 아래에 숫자는 채널들의 수를 나타낸다. 상기 신경망은 그 계층이 깊어질수록 특징 맵들의 크기를 감소시키도록 설계되었다. 인코더는 다운-샘플링(down-sampling)을 위해 2개의 3x3x3 컨볼루션과 2x2x2 최대 풀링(max-pooling)으로 구성될 수 있다. 디코더는 업-샘플링(up-sampling)을 위한 4개의 3x3x3 전치된 컨볼루션 (transposed convolution)으로 구성될 수 있다. 또한, 오버피팅(overfitting)을 방지하기 위해 특정 계층들에 대하여 드롭아웃(dropout) 방법이 사용될 수 있다.
본 발명의 일실시예에 따른 나노 물질의 3차원 원자 단위 구조 결정 장치의 구성에 따르면, 학습용 데이터의 나노 물질의 기본 결정 구조에 상관없이, 모든 딥러닝 필터들이 일관된 출력을 보여주었으며, 심지어 비정질 구조로 학습된 필터에 의해서도 검사용 데이터 세트들의 적절한 F.C.C. 실측(Ground truth) 구조들이 복구될 수 있다. 또한, 그러한 딥러닝 필터의 적용 전과 후 사이의 차이들을 비교시 나노 물질의 3차원 원자 확인 정확성 및 원자 좌표 정밀도에 있어서도 상당한 개선이 입증되었다.
도 7은 본 발명의 일 실시예에 따른 딥러닝 필터의 학습데이터를 위한 데이터 생성 방법의 개략적인 흐름도이다. 이러한 데이터 생성 방법은 도 1의 데이터 생성 장치(100)로 수행될 수 있다.
도 7을 참조하면, 본 발명의 일실시예에 따른 데이터 생성 방법은, 측정 대상 나노 물질에 대응하는 하나 이상의 3차원 원자 모델 생성하는 원자 모델 생성 단계(S710); 상기 하나 이상의 3차원 원자 모델에 기초하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 생성하는 3차원 데이터 생성 단계(S720); 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 미리 결정된 각도 범위 내의 복수의 상이한 각도에 대해3차원 단층촬영을 시뮬레이션하여 틸트 시리즈(tilt series)를 생성하는 틸트 시리즈 생성 단계(S730); 및 상기 틸트 시리즈에 기초하여 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 3차원 재구성을 수행하여 획득한 3차원 원자 구조 토모그램 부피 데이터 세트를 생성하는3차원 원자 구조 토모그램 부피 데이터 생성 단계 (S740)를 포함할 수 있다. 또한, 본 발명의 일실시예에 따른 데이터 생성 방법은, 상기 재구성된 3차원 원자 구조 토모그램 부피 데이터 세트를 검증하는 단계(S750)를 더 포함할 수도 있다. 상기 재구성된 3차원 원자 구조 토모그램 부피 데이터 세트 수가 미리 결정된 값에 도달할 때까지 상기 단계 S710 내지 S750은 반복 처리될 수 있다(S760).
상기 원자 모델 생성 단계는, 상기 측정 대상 나노 물질의 이론적 결정 구조에 기초한 3차원 원자 모델과 비정질(amorphous) 구조에 기초한 3차원 원자 모델을 생성하는 단계를 더 포함할 수 있다.
도 2를 참조하면, 본 발명의 일실시예에 따라 Pt 나노 입자의 원자 모델을 생성하는 단계에서 Pt 나노 입자의 이론적 결정 구조인 면심 입방 격자(Face Centered Cubic lattice, F.C.C.) 구조에 대응하는 원자 모델(이하, “원자 모델”)(212) 및/또는 비정질 구조에 대응하는 원자 모델(이하, “비정질 원자 모델”)(214)을 생성하였다.
또한, 상기 하나 이상의 3차원 원자 모델은 3개 이상의 원자 모델을 포함할 수도 있다. 예를 들어, 상기 측정 대상 나노 물질의 이론적 결정 구조 또는 비정질 구조에 기초하여 상이한 Bfactor 값을 부여하여 2개 이상의 원자 모델을 생성하여 데이터 생성에 사용할 수 있다.
상기 하나 이상의 3차원 원자 모델을 생성시, 각 원자 모델의 3차원 원자 단위 배열 구조에 있어서 무작위 원자 결함 부여, 상기 모델 구조의 무작위 회전 또는 이동, 공간 변화, 원자 밀도 변화를 포함하는 실제화 보정 처리 중 적어도 하나 이상을 고려한 처리를 수행할 수 있다.
상기 3차원 데이터 생성 단계(S720)에서는, 상기 하나 이상의 3차원 원자 모델에 기초하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 생성할 수 있다. 도 2를 참조하면, 상기 3차원 데이터 생성 단계(S710)에서 생성된 상기 3차원 원자 단위 구조 부피 데이터는 3차원 학습 데이터 세트(230)를 생성하기 위한 이상적인 3차원 원자 단위 구조 부피 데이터(232)로서 생성될 수도 있고, 3차원 타겟 데이터 세트(220)로서 생성될 수도 있다. 상기 3차원 학습 데이터 세트는 손실 웨지 등과 같은 전자현미경의 단층촬영 시의 문제점을 반영하도록 시뮬레이션되어 생성된 데이터 세트이며, 상기 3차원 타겟 데이터 세트는 전자현미경의 단층촬영에서의 문제점이 배제되고 단순히 실측(Ground truth) 정보가 시뮬레이션되어 생성된 데이터 세트이다.
구체적으로, 상기 3차원 원자 단위 구조 부피 데이터는 3차원 학습 데이터 세트를 생성하는 데 사용되는 이상적인 3차원 원자 단위 구조 부피 데이터(232)일 수 있다. 그러한 이상적인 3차원 원자 단위 구조 부피 데이터는 상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 각 원자 위치에 원자 포텐셜과 미리 결정된 표준편차를 가지고 있는 Gaussian 분포를 컨볼루션한 결과를 획득하여 생성될 수 있다. 상기 이상적인 3차원 원자 단위 구조 부피 데이터 생성시 Bfactor 5에 해당하는 표준편차를 가진 Gaussian 분포를 사용할 수도 있다.
또한, 상기 3차원 원자 단위 구조 부피 데이터는 3차원 타겟 데이터 세트(220)로서 사용될 수 있다. 3차원 타겟 데이터 세트로서 사용되는 3차원 원자 단위 구조 부피 데이터는 상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 상기 3차원 부피 내의 각 원자 위치에 상기 이상적인 3차원 원자 단위 구조 부피 데이터를 생성하는 데 사용된 표준편차와 동일한 또는 상이한 표준편차를 가진Gaussian 분포를 위치시켜 획득할 수 있다. 3차원 타겟 데이터 세트의 생성시 Bfactor4에 해당하는 표준편차를 가진 Gaussian 분포를 사용할 수도 있다.
상기 틸트 시리즈 생성 단계(S730)는, 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 미리 결정된 각도 범위 내의 복수의 상이한 각도에 대해3차원 단층촬영을 시뮬레이션하여 틸트 시리즈(tilt series)를 생성할 수 있다. 본 발명의 한 실시예에 따르면, 상기 틸트 시리즈 생성시, 상기 3차원 원자 단위 구조 부피 데이터 중 적어도 일부에 대하여 상기 미리정해진 각도 범위 (예를 들어, - 71.6° ~ + 71.6° 각도 범위, 바람직하게는 - 65° 에서 + 65° 각도 범위) 내의 복수의 상이한 틸트 각도들에서 3차원 원자 포텐셜 부피로부터 선형 투영(linear projection)을 획득하여 상기 틸트 시리즈를 생성할 수 있다. 상기 -65°에서 +65° 각도 범위는 현재 원자 전자 단층촬영(Atomic Electron Tomography, AET)에 있어서, 측정의 기하학적 한계로 인해 시편을 측정할 수 있는 각도의 범위이다. 상기 틸트 시리즈는 상기 각도 범위 내에서 등간격으로 변화되는 복수의 각도에서 3차원 원자 포텐셜 부피로부터 선형 투영을 수행하여 획득할 수도 있다. 또한, 상기 3차원 원자 포텐셜 부피로부터 선형 투영을 수행한 후 노이즈 효과를 시뮬레이션 하기 위해 푸아송 노이즈(Poisson Noise)가 그 투영들에 추가될 수 있다.
상기 3차원 원자 구조 토모그램 부피 데이터 생성 단계(S740)는, 상기 틸트 시리즈에 기초하여 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 3차원 재구성을 수행하여 획득한 3차원 원자 구조 토모그램 부피 데이터 세트, 즉 상기3차원 학습 데이터를 생성할 수 있다. 상기 3차원 원자 구조 토모그램 부피 데이터 생성부(126)는 GENFIRE 알고리즘을 사용하여 상기 틸트 시리즈로부터 3차원 재구성을 수행할 수 있으나, 이 알고리즘에 제한되지는 않는다. 이러한 상기 3차원 재구성시, 축 규칙(axis convention)은 x-방향축, y-방향축, z-방향축 중 적어도 하나가 손실 웨지 방향에 평행하도록 선택될 수 있다. 그러나, 상기 3차원 재구성시, 필요에 따라 축 규칙(axis convention)이 x-방향축, y-방향축, z-방향축 이외의 임의의 특정 방향에 손실 웨지 방향에 평행하도록 선택될 수도 있다. GENFIRE 알고리즘을 사용한 3차원 재구성을 위해 고속 푸리에 변환 보간 방법(fast Fourier transform(FFT) interpolation method)이 사용될 수도 있다.
이와 같이 생성된 3차원 원자 구조 토모그램 부피 데이터 세트는 딥러닝 필터를 위한 순수 학습용 데이터 세트와 검사용 데이터 세트로 일정비율로 분리될 수 있다. 학습용 데이터 세트와 검사용 데이터 세트의 비율은 8:1 내지 10:1이 될 수 있다.
상기 검증 단계(S750)는 상기 생성된 데이터 세트들의 신뢰성을 검증할 수 있으며, 상기 데이터 생성 방법에 있어서 선택적으로 포함될 수 있다. 그러한 검증에 머신러닝 모델을 사용할 수 있다.
도 8은 본 발명의 일 실시예에 따른 나노 물질의3차원 원자 단위 구조 결정 방법의 개략적인 흐름도이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 나노 물질의 3차원 원자 단위 구조 결정 방법은, 측정 대상 나노 물질에 대응하는 하나 이상의 3차원 원자 모델을 생성하는 원자 모델 생성 단계(S810); 상기 하나 이상의 3차원 원자 모델에 기초하여 3차원 단층촬영을 시뮬레이션 및 재구성하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 구조 토모그램 부피 데이터를 3차원 학습데이터로서 생성하는 3차원 학습데이터 생성 단계 (S820); 상기 3차원 학습데이터로 머신러닝 모델을 학습하여 딥러닝 필터를 생성하는 딥러닝 필터 생성/학습 단계 (S830); 상기 측정 대상 나노 물질의 전자 현미경 측정 및 3차원 재구성을 통해 제1의 3차원 원자구조 토모그램 부피 데이터를 생성하는, 제1의 3차원 원자 구조 토모그램 부피 데이터 생성 단계 (S840); 상기 측정 대상 나노 물질의 전자 현미경 측정을 통해 획득한 제1의 3차원 원자 구조 토모그램 부피 데이터를 상기 딥러닝 필터로 필터링하여 데이터가 불충분한 원자 배열 영역이 보정된 제2의 3차원 원자 구조 토모그램 부피 데이터를 생성하고(S840), 상기 제2의 3차원 원자 구조 토모그램 부피 데이터에 기초하여 상기 측정 대상 나노 물질의 3차원 원자 단위 나노 구조를 결정하는 3차원 원자 단위 구조 결정 단계 (S860)를 포함할 수 있다.
상기 3차원 학습데이터 생성 단계(S820)는, 도 7에 도시된, 상기 하나 이상의 3차원 원자 모델에 기초하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 생성하는 3차원 데이터 생성 단계(S720); 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 미리 결정된 각도 범위에서 복수의 상이한 각도에 대해 3차원 단층촬영을 시뮬레이션하여 틸트 시리즈(tilt series)를 생성하는 틸트 시리즈 생성 단계(S730); 상기 틸트 시리즈에 기초하여 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 3차원 재구성을 수행하여 획득한 3차원 원자 구조 토모그램 부피 데이터 세트를 생성하는3차원 원자 구조 토모그램 부피 데이터 생성 단계(S740)를 포함할 수 있다. 이 때 상기 획득된 3차원 원자 구조 토모그램 부피 데이터 세트는 상기 딥러닝 필터의 학습을 위한 3차원 학습 데이터 세트를 형성할 수 있다.
상기 딥러닝 필터 생성/학습 단계(S830)는, 상기 딥러닝 필터의 파라미터들을 3차원 원자 단위 구조 결정에 최적화하는 단계를 더 포함할 수 있다. 상기 최적화 단계는, 상기 3차원 학습 데이터 세트에 기초하여 순전파(foward-propagation)를 통해 상기 딥러닝 필터로부터 출력된 결과와 상기 3차원 타겟 데이터 세트를 비교하여 오차 (error)를 산출하고, 상기 오차에 기초하여 오차의 그래디언트를 역방향으로(출력층에서 입력층으로) 계산함으로써(back-propagation) 상기 딥러닝 필터의 하이퍼파라미터들을 오차를 줄이는 방향으로 갱신하는 단계, 이 과정을 반복함으로써 상기 딥러닝 필터를 학습시키고 필터의 파라미터들을 3차원 원자 단위 구조 결정에 최적화시키는 단계를 포함할 수 있다.
실시예
Pt 나노입자의 3차원 원자 단위 구조의 결정을 위해 신경망 모델을 학습시키는 데 사용될 3차원 입력 및 타겟 데이터 세트의 생성하는 일실시예가 제공된다.
우선 본 실시예에서는. 도 1의 본 발명의 일실시예에 따른 데이터 생성 장치 및 그 방법에 따라 시뮬레이션 단층 촬영 (입력 데이터용) 및 실측 3D 부피(ground truth 3D volume) (대상 데이터용)의 11,000 세트 (트레이닝용 10,000 개, 테스트용 1,000 개)가 생성되었다. 시뮬레이션된 단층촬영은 아래 4 단계 과정을 거쳐 준비되었다.
첫번째 원자 모델 생성 단계(S710)에서, 우선 F.C.C. 결정구조 기반 원자 모델을 생성하기 위해, 공공(cavity)이 없는 17,000 ~ 27,000 Å3의 무작위 형태의 3차원 부피들이 생성되었다. 그 후, 무작위 배향으로 격자 상수가 3.912 Å인 F.C.C.구조를 기반으로 하는 3차원 부피 내에 원자들이 위치되었다. 그러한 F.C.C. 기반 원자 모델로부터, 실제 나노 물질 원자 구조를 모방하기 위해, 원자의 약 0.5 %가 원자 결함을 시뮬레이션하기 위해 무작위로 제거되었으며, 약 22pm 의 평균 제곱근 편차(Root mean square deviation)의 임의 공간 변위가 또한 각 원자에 적용되어 실제 나노입자에 근접하게 원자 모델이 구성되었다.
또한, 비정질(amorphous) 구조 기반 원자 모델을 생성하기 위해, 공공(cavity)이 없는 23,000 ~ 34,000 Å3 의 무작위 형태의 3차원 부피들이 생성되었다. 그 후, F.C.C. 구조의 부피와 비교할 때 99 % 원자 밀도에 도달할 때까지, 원자 사이 최소 거리 2.0 Å의 제약 조건이 있는 부피 내에서 무작위로 원자 위치를 생성하여 위치되었다.
두번째 3차원 원자 단위 구조 부피 데이터 생성 단계(S720)에서, 3차원 원자 구조를 기반으로 원자 전위의 3차원 부피들이 계산되었다. 그 원자 전위들은 전자 산란 인자의 푸리에 변환에 의해 획득되었다. 원자 전위들은 열적 진동과 전자빔 크기 효과를 고려하기 위해 Gaussian Kernel과 컨볼루션되었다. Gaussian Kernel의 표준 편차 (σ)는 σ= 이다. 픽셀 크기는 0.357 Å가 사용되었으며, Bfactor들은 평균 5, 표준편차 1을 갖는 Gaussian 분포에서 무작위로 선택되었다. Bfactor 가 5인 경우에, 시뮬레이션된 투영들(projections)과 실험적 틸트 시리즈 이미지들 사이에서 최고의 일관성을 나타내었다.
또한, 타겟 데이터 세트들(실측 정보)이 상기 단계 1에 따라 생성되었다. 각 원자 위치에서, Bfactor 가 4에 해당하는 표준 편차(σ)를 가진 Gaussian Intensity 분포가 위치되었고, 이는 시뮬레이션 테스트들에서 최고의 성능을 나타내었다.
세번째 틸트 시리즈 생성 단계(S730)에서, 각각의 틸트 각에서 3D 원자 포텐셜 부피들로부터 선형 투영을 취하여 틸트 시리즈를 생성했다. 각 틸트 시리즈들은 -65 °에서 + 65 °의 틸트 각들을 가진 21개의 투영들(projections)로 구성되었다. 각 투영의 크기는 픽셀 크기 0.357Å 를 가진 144 × 144 픽셀들이다. 실험에서 노이즈 효과를 시뮬레이션하기 위해 푸아송 노이즈(Poisson noise)가 그 투영들에 추가되었다. 그 실험 중 전자현미경 설비의 스테이지 불안정성(stage instability)으로 인한 각도 오차를 고려하기 위해, 각 틸트 각에 최대 ± 0.3 °의 임의 각도 오차를 부가하였다.
네번째 3차원 원자 구조 토모그램 부피 데이터 생성 단계(S740)에서, 3차원 단층촬영은 GENFIRE 알고리즘을 사용하여 틸트 시리즈와 이에 상응하는 틸트 각도들로부터 재구성되었다. 상기 3차원 재구성시 축 규칙(axis convention)은 z-방향 축이 손실 웨지 방향에 평행하도록 선택되었다. 그러나, 다른 축 방향이 손실 웨지 방향에 평행하도록 선택될 수도 있다. 또한, 필요에 따라 3차원 재구성시, 임의의 특정 방향이 손실 웨지 방향에 평행하도록 선택될 수도 있다. GENFIRE 재구성들을 위해, 고속 푸리에 변환 보간 방법(fast Fourier transform(FFT) interpolation method), 반복 횟수 100, 오버 샘플링 비율 2, 및 보간 반경 0.3이 사용되었다.
위와 같이 생성된 3차원 학습 데이터 세트(230)와 3차원 타겟 데이터 세트(220)로 머신러닝 모델을 학습하여 딥러닝 필터를 생성하고 그 딥러닝 필터를 시뮬레이션된 전자현미경의 단층촬영 데이터에 적용하여 나노 물질의 3차원 원자 단위 구조에 대하여 보다 신뢰성 높은 식별 및 결정을 수행할 수 있다.
도 9는 본 발명의 일실시예에 따라 시뮬레이션된 전자현미경 단층사진들에 딥러닝 필터를 적용하기 전과 후의 상태를 나타내는 전자현미경 사진 및 3차원 재구성도이다. 우선, 원자-추적(atom-tracing) 방법을 사용하여, 그 시뮬레이션된 단층촬영으로부터 개별 원자들의 3D 좌표들이 결정된다. 상기 실측 구조(도 9a, 9f, 9k)와 비교하여, 측정된 나노 물질의 단층촬영 데이터는, 명백히 손실 웨지 및 노이즈 효과로부터 초래되는 결함들로 인해 선명하지 않다: 원자 강도(atomic intensity)들은 흐릿하고, 연장되어 이웃 원자들에 연결되며, 특히 표면 주변에서 몇몇 잘못 인식된 원자들이 발견될 수도 있다 (도 9b, 9g, 9l 참조). 본원 발명에 따른 원자성-기반의 딥러닝 필터를 적용하는 것으로 인해 이러한 결함들을 성공적으로 방지할 수 있다 (도 9c, 9h, 9m). 그 원자 강도들은 적절하게 위치가 파악되어 대부분의 원자들이 정확하게 복구되었다.
도 10은 본 발명의 일실시예에 따라 시뮬레이션된 3차원 재구성된 토모그램에 푸리에 변환을 적용한 3차원 푸리에 밀도를 상이한 축 방향으로 투영한 투영도이다.
도 10a는 푸리에 변환된 실측 3차원 부피의 크기값 (magnitude) 에 대하여 y-방향을 따라 투영을 행하였다. 도 10b는 딥러닝 필터를 적용하기 전에 선형 투영들로부터 재구성된 전자현미경 단층사진의 투영된 푸리에 크기값 (projected Fourier magnitude) 이며, 도 10c는 딥러닝 필터를 적용한 후에 선형 투영들로부터 재구성된 전자현미경 단층사진의 투영된 푸리에 크기값 (projected Fourier magnitude) 이다.. 도 10d는 상기 딥러닝 필터를 적용하기 전에 PRISM 투영들로부터 재구성된 전자현미경단층사진의 투영된 푸리에 크기값 (projected Fourier magnitude) 이며, 도 10e는 상기 딥러닝 필터를 적용한 후에 PRISM 투영들로부터 재구성된 전자현미경 단층사진의 투영된 푸리에 크기값 (projected Fourier magnitude) 이다. 10f 내지 10j 투영 이미지들은 10a 내지 10e와 유사한 조건을 가지고 있으나 x-방향을 따라 투영되었다는 점이 상이한 조건이다. 10k 내지 10o 투영이미지들 또한 10a 내지 10e와 유사한 조건을 가지고 있으나 z-방향을 따라 투영되었다는 점이 상이한 조건이다.
도 10b 및 10d에서 X 형태의 축의 좌우에는 회절무늬가 나타나지만 상하 방향으로는 회절무늬가 관찰되지 않는다. 이는 전자현미경의 단층촬영의 기하한적 제한으로 인해 이 각도 범위를 촬영할 수 없는 손실 웨지 문제가 발생하기 때문이다. 그러나 딥러닝 필터를 적용한 후인 도 10e 및 10e는 일정한 회절무늬가 선명하게 나타나고 있어 이러한 손실 웨지로 인한 데이터 손실의 문제가 딥러닝 필터의 적용으로 성공적으로 복구되어 해결된 것을 알 수 있다.
또한, 도 11 및 도 12는 본 발명의 일실시예에서, Pt 나노 입자들의 3차원 표면 원자 구조를 실험적으로 결정하는 데 상기 딥러닝 필터를 적용했다. 그 실험은 ADF(annular dark-field) 모드에서 작동된, 수차 보정된 주사 투과 전자 현미경(aberration-corrected scanning transmission electron microscope, STEM)을 사용하여 수행되었다. -71.6 ° ~ + 71.6 ° 범위의 틸트 각도들로부터 4nm 직경 Pt 나노입자들로부터, 21개 이미지들의 틸트 시리즈들이 획득되었다. 이미지 후처리(imaging post-processing) 후에, GENFIRE 알고리즘을 사용하여 상기 틸트 시리즈들로부터 3차원 단층사진이 재구성되었다.
도 11은 본 발명의 일실시예에 따라 실험으로 획득한 전자현미경 틸트시리즈를 재구성한 3차원 토모그램의 딥러닝 전과 후를 나타내는 3차원 이미지이다. 도 11은 나노입자들의 딥러닝 필터 적용 전의 원래 측정된 3차원 재구성 (raw 3D reconstruction)을 나타낸다. 원자-추적(atom-tracing) 및 분류(classification) 과정이 그 부피에 적용되었고, 결과적으로 1,411 개 Pt 원자들의 3차원 원자 모델이 생성되었다. 도 11a 및 그에 따른 11c 열의 사진에서는 손실 웨지 문제 및 노이즈에 기인한 심각한 결함들이 명확히 나타난다. 원자 단위 구조의3차원 재구성은, 특히 손실 웨지 방향으로 표면들 주변의 연장(elongation) 및 바람직하지 않은 강도 감소로 인해 어려움을 겪는다. 그러한 원자들 중 다수는 비록 F.C.C. 격자 사이트에서 정확하게 발견되어도, 그 원자들의 일부가 명확하게 잘못 인식되고 표면 원자들이 부적절하게 정의될 수 있다. 그러한 표면을 포함하는 정확한 원자 구조를 결정하기 위해, 본 발명의 일실시예에 따른 딥러닝 필터가 측정된 단층사진 데이터에 적용되었다. 도 11d는 필터링된 출력에서 원자 강도들이 예상된 Gaussian 형태를 가지고 적절하게 분리(isolate)된다는 것을 명확하게 나타낸다. 도 11c를 참조하면, 상기 딥러닝 필터링된 부피 상에서의 원자 추적은 1,530개 원자들을 찾았고, 약 100개 더 많은 원자들이 성공적으로 확인되었다.
도 12는 본 발명의 일실시예에 따라 실험적으로 획득된 전자현미경 단층 사진 데이터에 대하여 딥러닝 필터를 적용한 효과를 나타내는 전자현미경 사진 및 투영도이다.
도 11d 및 도 12를 참조하면, 코어 영역 주변의 몇몇의 손실 원자들은 상기 딥러닝 필터링에 의해 복구된 것을 확인할 수 있다. 특히 상기 손실 웨지 방향에 따른, 표면 경계들이 상기 딥러닝 필터링 후에 명확히 정의되었고, 이는 파라미터에 의존하는 마스킹(masking) 프로세스 없이도 3차원 표면 원자 구조를 명확하게 결정할 수 있게 하는 효과를 가져오게 되어, 상대적으로 단순한 공정으로 나노 물질의 3차원 표면 원자 단위 구조에 대한 신뢰도 높은 결정을 수행할 수 있게 한다.
이상에서 설명된 실시예들은 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치, 방법 및 구성 요소는, 예를 들어, 프로세서, 콘트롤러, 중앙 처리 장치(Central Processing Unit; CPU), 그래픽 프로세싱 유닛(Graphics Processing Unit; GPU), ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 주문형 집적 회로(Application Specific Integrated Circuits; ASICS), 서버, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
본 발명의 실시예에 따른 데이터 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성 요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110, 310: 원자 모델 생성부
120: 3차원 학습데이터 생성부
122: 3차원 데이터 생성부
124: 틸트 시리즈 생성부
126: 3차원 재구성 및 토모그램 생성부
130, 330: 검증부
340: 딥러닝 필터 생성/학습부
350: 3차원 원자 단위 구조 결정부
360: 데이터베이스

Claims (22)

  1. 측정 대상 나노 물질에 대응하는 하나 이상의 3차원 원자 모델을 생성하는 원자 모델 생성부;
    상기 하나 이상의 3차원 원자 모델에 기초하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 생성하는 3차원 데이터 생성부;
    상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 미리 결정된 각도 범위에서 복수의 상이한 각도에 대해 3차원 단층촬영을 시뮬레이션하여 틸트 시리즈(tilt series)를 생성하는 틸트 시리즈 생성부;
    상기 틸트 시리즈에 기초하여 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 3차원 재구성을 수행하여 획득된 3차원 원자 구조 토모그램 부피 데이터 세트를 생성하는3차원 원자 구조 토모그램 부피 데이터 생성부
    를 포함하는, 데이터 생성 장치.
  2. 제1항에 있어서,
    상기 원자 모델 생성부는, 상기 측정 대상 나노 물질의 이론적 결정 구조에 기초한 3차원 원자 모델과 비정질(amorphous) 구조에 기초한 3차원 원자 모델을 생성하는, 데이터 생성 장치.
  3. 제1항에 있어서,
    상기 원자 모델 생성부는, 상기 하나 이상의 3차원 원자 모델에 대하여 무작위 원자 결함 부여, 상기 3차원 원자 모델 구조의 무작위 회전 또는 이동, 공간 변화, 원자 밀도 변화, 무작위 형태 절단(Rand shape cropping)을 포함하는 실제화 보정 처리 중 적어도 하나 이상의 처리를 수행하는, 데이터 생성 장치.
  4. 제1항에 있어서,
    상기 3차원 데이터 생성부는, 상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 각 원자 위치에 원자 포텐셜과 미리 결정된 표준편차를 가지고 있는 Gaussian 분포를 컨볼루션한 결과를 획득하여 상기 3차원 원자 단위 구조 부피 데이터를 생성하는, 데이터 생성 장치.
  5. 제1항에 있어서,
    상기 틸트 시리즈 생성부는, 상기 3차원 원자 단위 구조 부피 데이터 중 적어도 일부에 대하여 상기 미리 결정된 각도 범위 내의 복수의 상이한 틸트 각도들에서 3차원 원자 포텐셜 부피로부터 선형 투영(linear projection)을 획득하여 상기 틸트 시리즈를 생성하는, 데이터 생성 장치.
  6. 제1항에 있어서,
    상기 3차원 원자 구조 토모그램 부피 데이터 생성부는, 상기 틸트 시리즈에 대하여 미리 결정된 알고리즘을 사용하여 3차원 재구성하고, 상기 3차원 재구성시 축 규칙(axis convention)은 x-방향축, y-방향축, z-방향축 중 적어도 하나가 손실 웨지 방향에 평행하도록 선택되는 것인, 데이터 생성 장치.
  7. 측정 대상 나노 물질에 대응하는 하나 이상의 3차원 원자 모델을 생성하는 원자 모델 생성 단계;
    상기 하나 이상의 3차원 원자 모델에 기초하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 생성하는 3차원 데이터 생성 단계;
    상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 미리 결정된 각도 범위 내의 복수의 상이한 각도에 대해3차원 단층촬영을 시뮬레이션하여 틸트 시리즈(tilt series)를 생성하는 틸트 시리즈 생성 단계; 및
    상기 틸트 시리즈에 기초하여 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 3차원 재구성을 수행하여 획득된 3차원 원자 구조 토모그램 부피 데이터 세트를 생성하는3차원 원자 구조 토모그램 부피 데이터 생성 단계를 포함하는, 데이터 생성 방법.
  8. 제7항에 있어서,
    상기 원자 모델 생성 단계는, 상기 측정 대상 나노 물질의 이론적 결정 구조에 기초한 3차원 원자 모델과 비정질(amorphous) 구조에 기초한 3차원 원자 모델을 생성하는 단계를 더 포함하는, 데이터 생성 방법.
  9. 제7항에 있어서,
    상기 원자 모델 생성 단계는, 상기 하나 이상의3차원 원자 모델에 대하여 무작위 원자 결함 부여, 상기 모델의 구조의 무작위 회전 또는 이동, 공간 변화, 원자 밀도 변화, 무작위 형태 절단(Rand shape cropping)을 포함하는 실제화 보정 처리 중 적어도 하나 이상의 처리를 수행하는 단계를 더 포함하는, 데이터 생성 방법.
  10. 제7항에 있어서,
    상기 3차원 데이터 생성 단계는, 상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 각 원자 위치에 원자 포텐셜과 미리 결정된 표준편차를 가지고 있는 Gaussian 분포를 컨볼루션한 결과를 획득하여 상기 3차원 원자 단위 구조 부피 데이터를 생성하는 단계를 더 포함하는, 데이터 생성 방법.
  11. 제7항에 있어서,
    상기 틸트 시리즈 생성 단계는, 상기 3차원 원자 단위 구조 부피 데이터 중 적어도 일부에 대하여 상기 미리 결정된 각도 범위 내의 복수의 상이한 틸트 각도들에서3차원 원자 포텐셜 부피로부터 선형 투영(linear projection)을 획득하여 상기 틸트 시리즈를 생성하는 단계를 더 포함하는, 데이터 생성 방법.
  12. 제7항에 있어서,
    상기 3차원 원자 구조 토모그램 부피 데이터 생성 단계는, 상기 틸트 시리즈에 대하여 미리 결정된 알고리즘을 사용하여 3차원 재구성하고, 상기 3차원 재구성시 축 규칙(axis convention)은 x-방향축, y-방향축, z-방향축 중 적어도 하나가 손실 웨지 방향에 평행하도록 선택되는 것인, 데이터 생성 방법.
  13. 측정 대상 나노 물질에 대응하는 하나 이상의 3차원 원자 모델을 생성하는 원자 모델 생성부;
    상기 하나 이상의 3차원 원자 모델에 기초하여 3차원 단층촬영을 시뮬레이션 및 재구성하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자구조 토모그램 부피 데이터를 3차원 학습데이터로서 생성하는 3차원 학습데이터 생성부;
    상기 3차원 학습데이터로 머신러닝 모델을 학습하여 딥러닝 필터를 생성하는 딥러닝 필터 생성/학습부;
    상기 측정 대상 나노 물질의 전자 현미경 측정을 통해 획득한 제1의 3차원 원자 구조 토모그램 부피 데이터를 상기 딥러닝 필터로 필터링하여 데이터가 불충분한 원자 배열 영역이 보정된 제2의 3차원 원자 구조 토모그램 부피 데이터를 생성하고, 상기 제2의 3차원 원자 구조 토모그램 부피 데이터에 기초하여 상기 측정 대상 나노 물질의 3차원 원자 단위 나노 구조를 결정하는, 3차원 원자 단위 구조 결정부
    를 포함하는, 3차원 원자 단위 구조 결정 장치.
  14. 제13항에 있어서,
    상기 3차원 학습데이터 생성부는,
    상기 하나 이상의 3차원 원자 모델에 기초하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 생성하는 3차원 데이터 생성부;
    상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 미리 결정된 각도 범위에서 복수의 상이한 각도에 대해3차원 단층촬영을 시뮬레이션하여 틸트 시리즈(tilt series)를 생성하는 틸트 시리즈 생성부;
    상기 틸트 시리즈에 기초하여 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 3차원 재구성을 수행하여획득된 3차원 원자 구조 토모그램 부피 데이터 세트를 생성하는3차원 원자 구조 토모그램 부피 데이터 생성부를 포함하고,
    상기 재구성된 3차원 원자 구조 토모그램 부피 데이터 세트는 상기 딥러닝 필터의 학습을 위한 3차원 학습 데이터 세트를 형성하는, 3차원 원자 단위 구조 결정 장치.
  15. 제14항에 있어서,
    상기 3차원 데이터 생성부는,
    상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 각 원자 위치에 원자 포텐셜과 미리 결정된 표준편차를 가지고 있는 Gaussian 분포를 컨볼루션한 결과를 획득하여 상기 3차원 원자 단위 구조 부피 데이터를 생성하는, 3차원 원자 단위 구조 결정 장치.
  16. 제15항에 있어서,
    상기 3차원 데이터 생성부는,
    상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 상기 3차원 부피 내의 각 원자 위치에 상기 미리 결정된 표준편차와 동일한 또는 상이한 표준편차를 가진Gaussian 분포를 위치시켜 획득된 3차원 원자 단위 구조 부피 데이터를 3차원 타겟 데이터 세트로서 생성하는, 3차원 원자 단위 구조 결정 장치.
  17. 제16항에 있어서,
    상기 딥러닝 필터 생성/학습부는,
    상기 3차원 학습 데이터 세트에 기초하여 순전파(fowardpropagation)를 통해 상기 딥러닝 필터로부터 출력된 결과와 상기 3차원 타겟 데이터 세트를 비교하여 오차 (error)를 산출하고, 상기 오차에 기초하여 오차의 그래디언트를 역방향으로(출력층에서 입력층으로) 계산함으로써 (back-propagation) 상기 딥러닝 필터의 하이퍼파라미터들을 오차를 줄이는 방향으로 갱신하며, 이 과정을 반복함으로써 상기 딥러닝 필터를 학습시키고 필터의 파라미터들을 3차원 원자 단위 구조 결정에 최적화시키는, 3차원 원자 단위 구조 결정 장치.
  18. 측정 대상 나노 물질에 대응하는 하나 이상의 3차원 원자 모델을 생성하는 원자 모델 생성 단계;
    상기 하나 이상의 3차원 원자 모델에 기초하여 3차원 단층촬영을 시뮬레이션 및 재구성하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 3차원 학습데이터로서 생성하는 3차원 학습데이터 생성 단계;
    상기 3차원 학습데이터로 머신러닝 모델을 학습하여 딥러닝 필터를 생성하는 딥러닝 필터 생성/학습 단계;
    상기 측정 대상 나노 물질의 전자 현미경 측정을 통해 획득한 제1의 3차원 원자 구조 토모그램 부피 데이터를 상기 딥러닝 필터로 필터링하여 데이터가 불충분한 원자 배열 영역이 보정된 제2의 3차원 원자 구조 토모그램 부피 데이터를 생성하고, 상기 제2의 3차원 원자구조 토모그램 부피 데이터에 기초하여 상기 측정 대상 나노 물질의 3차원 원자 단위 나노 구조를 결정하는, 3차원 원자 단위 구조 결정 단계
    를 포함하는, 3차원 원자 단위 구조 결정 방법.
  19. 제18항에 있어서,
    상기 3차원 학습데이터 생성 단계는,
    상기 하나 이상의 3차원 원자 모델에 기초하여 상기 측정 대상 나노 물질에 대응하는 3차원 원자 단위 구조 부피 데이터를 생성하는 3차원 데이터 생성 단계;
    상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 미리 결정된 각도 범위에서 복수의 상이한 각도에 대해3차원 단층촬영을 시뮬레이션하여 틸트 시리즈(tilt series)를 생성하는 틸트 시리즈 생성 단계;
    상기 틸트 시리즈에 기초하여 상기 3차원 원자 단위 구조 부피 데이터의 적어도 일부에 대하여 3차원 재구성을 수행하여 획득된 3차원 원자 구조 토모그램 부피 데이터 세트를 생성하는3차원 원자 구조 토모그램 부피 데이터 생성 단계를 포함하고,
    상기 재구성된 3차원 원자 구조 토모그램 부피 데이터 세트는 상기 딥러닝 필터의 학습을 위한 3차원 학습 데이터 세트를 형성하는, 3차원 원자 단위 구조 결정 방법.
  20. 제19항에 있어서,
    상기 3차원 데이터 생성 단계는,
    상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 각 원자 위치에 원자 포텐셜과 미리 결정된 표준편차를 가지고 있는 Gaussian 분포를 컨볼루션한 결과를 획득하여 상기 3차원 원자 단위 구조 부피 데이터를 생성하는 단계를 더 포함하는, 3차원 원자 단위 구조 결정 방법.
  21. 제20항에 있어서,
    상기 3차원 데이터 생성 단계는,
    상기 하나 이상의 3차원 모델에 기초하여 원자 포텐셜(atomic potential)의 3차원 부피를 도출하고 상기 3차원 부피 내의 각 원자 위치에 상기 미리 결정된 표준편차와 동일한 또는 상이한 표준편차를 가진Gaussian 분포를 위치시켜 획득된 3차원 원자 단위 구조 부피 데이터를 3차원 타겟 데이터 세트로서 생성하는 단계를 더 포함하는, 3차원 원자 단위 구조 결정 방법.
  22. 제21항에 있어서,
    상기 딥러닝 필터 생성/학습 단계는, 상기 딥러닝 필터의 파라미터들을 3차원 원자 단위 구조 결정에 최적화하는 단계를 더 포함하고,
    상기 최적화하는 단계는:
    상기 3차원 학습 데이터 세트에 기초하여 순전파(fowardpropagation)를 통해 상기 딥러닝 필터로부터 출력된 결과와 상기 3차원 타겟 데이터 세트를 비교하여 오차 (error)를 산출하는 단계;
    상기 오차에 기초하여 오차의 그래디언트를 역방향으로(출력층에서 입력층으로) 계산함으로써 (back-propagation) 상기 딥러닝 필터의 하이퍼파라미터들을 오차를 줄이는 방향으로 갱신하는 단계; 및
    이 과정을 반복함으로써 상기 딥러닝 필터를 학습시키고 필터의 파라미터들을 3차원 원자 단위 구조 결정에 최적화시키는 단계를 포함하는, 3차원 원자 단위 구조 결정 방법.
KR1020200176633A 2020-12-16 2020-12-16 나노 입자의 3차원 원자 단위 구조 결정 장치 및 그 결정 방법 KR102628495B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200176633A KR102628495B1 (ko) 2020-12-16 2020-12-16 나노 입자의 3차원 원자 단위 구조 결정 장치 및 그 결정 방법
US17/132,762 US11907812B2 (en) 2020-12-16 2020-12-23 Apparatus for determining 3-dimensional atomic level structure and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200176633A KR102628495B1 (ko) 2020-12-16 2020-12-16 나노 입자의 3차원 원자 단위 구조 결정 장치 및 그 결정 방법

Publications (2)

Publication Number Publication Date
KR20220086305A KR20220086305A (ko) 2022-06-23
KR102628495B1 true KR102628495B1 (ko) 2024-01-24

Family

ID=81942652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200176633A KR102628495B1 (ko) 2020-12-16 2020-12-16 나노 입자의 3차원 원자 단위 구조 결정 장치 및 그 결정 방법

Country Status (2)

Country Link
US (1) US11907812B2 (ko)
KR (1) KR102628495B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230252714A1 (en) * 2022-02-10 2023-08-10 Disney Enterprises, Inc. Shape and appearance reconstruction with deep geometric refinement
CN116959637B (zh) * 2023-07-11 2024-01-26 清华大学 基于深度依赖电子束的三维重构方法、装置和计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018049818A (ja) 2016-09-19 2018-03-29 エフ イー アイ カンパニＦｅｉ Ｃｏｍｐａｎｙ トモグラフィック・イメージング方法
JP2019110120A (ja) 2017-12-18 2019-07-04 エフ イー アイ カンパニＦｅｉ Ｃｏｍｐａｎｙ 顕微鏡画像の再構成およびセグメント化のための遠隔深層学習のための方法、装置、およびシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8217937B2 (en) * 2007-03-28 2012-07-10 The Aerospace Corporation Isosurfacial three-dimensional imaging system and method
JP5052985B2 (ja) * 2007-07-31 2012-10-17 住友重機械工業株式会社 分子シミュレーション方法、分子シミュレーション装置、分子シミュレーションプログラム、及び該プログラムを記録した記録媒体
US9953246B2 (en) * 2014-12-16 2018-04-24 The Regents Of The University Of California Feature-preserving noise removal
KR101969242B1 (ko) 2017-12-29 2019-04-15 포항공과대학교 산학협력단 원자 구조 해석 장치 및 방법
US11193884B2 (en) * 2018-07-02 2021-12-07 The Research Foundation For The State University Of New York System and method for structural characterization of materials by supervised machine learning-based analysis of their spectra
KR102579007B1 (ko) 2018-07-10 2023-09-15 삼성전자주식회사 크리스탈 결함 분석 시스템 및 크리스탈 결함 분석 방법
KR102180569B1 (ko) * 2018-08-08 2020-11-18 부산대학교 산학협력단 기계 학습을 통한 격자간섭계에서의 민감도 및 해상도 향상을 위한 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018049818A (ja) 2016-09-19 2018-03-29 エフ イー アイ カンパニＦｅｉ Ｃｏｍｐａｎｙ トモグラフィック・イメージング方法
JP2019110120A (ja) 2017-12-18 2019-07-04 エフ イー アイ カンパニＦｅｉ Ｃｏｍｐａｎｙ 顕微鏡画像の再構成およびセグメント化のための遠隔深層学習のための方法、装置、およびシステム

Also Published As

Publication number Publication date
KR20220086305A (ko) 2022-06-23
US11907812B2 (en) 2024-02-20
US20220188696A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
Sutton et al. Recent advances and perspectives in digital image correlation
KR102628495B1 (ko) 나노 입자의 3차원 원자 단위 구조 결정 장치 및 그 결정 방법
Hild et al. CorreliQ4: A software for finite element displacement field measurements by digital image correlation
CN111310903B (zh) 基于卷积神经网络的三维单分子定位系统
Alpers et al. Geometric reconstruction methods for electron tomography
CN113722942A (zh) 一种考虑3d打印几何缺陷的有限元计算模型
JP6004323B2 (ja) フーリエ反復位相回復法
US8160848B2 (en) Apparatus for generating coarse-grained simulation image of sample to be measured with a probe of a scanning probe microscope
Shen et al. Surface extraction from micro-computed tomography data for additive manufacturing
Chen et al. Multi-view neural 3D reconstruction of micro-and nanostructures with atomic force microscopy
Aberman et al. Dip transform for 3D shape reconstruction
Zhang et al. A three-dimensional surface measurement system implemented with Gaussian process based adaptive sampling
CN109186452B (zh) 一种非球形微粒轴向位置的高精度定位方法
KR20220009680A (ko) 머신 러닝 기반 디지털 홀로그래피 장치 및 이의 동작 방법
Bissantz et al. Testing for image symmetries—With application to confocal microscopy
KR102585649B1 (ko) 유착된 나노입자의 3차원 구조 결정 장치 및 방법
JP6645809B2 (ja) 微粒子の顕微分析方法、および該微粒子の顕微分析方法に用いる分析装置
Kujawińska et al. Metrological studies of limited angle holographic tomography systems based on a phase phantom mimicking biological cell
KR101527656B1 (ko) 의료 영상에서 비강체 영상 정합을 이용한 점상 강도 분포 함수를 보간하는 방법 및 시스템
CN110411983B (zh) 一种高分辨率衍射成像方法及装置
Gronle et al. Model-based, active inspection of three-dimensional objects using a multi-sensor measurement system
KR101543417B1 (ko) 전자―토모그래피에서 이미지 정렬의 정확도 향상 방법
Xu et al. Validation and reliability of the 3D calibration evaluation algorithm for SPM
Taguchi et al. 3D micro-profile measurement using optical inverse scattering phase method
KR20240150268A (ko) 4d-stem 데이터를 이용한 3차원 원자구조 결정 방법 및 3차원 원자구조 결정 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20201216

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20230522

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20201216

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20231020

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240102

PG1601 Publication of registration