KR102405557B1 - 컴퓨터가 구분하기 용이한 회절패턴 분류 체계 시스템 및 이에 있어서 분류 체계 구축 방법 - Google Patents
컴퓨터가 구분하기 용이한 회절패턴 분류 체계 시스템 및 이에 있어서 분류 체계 구축 방법 Download PDFInfo
- Publication number
- KR102405557B1 KR102405557B1 KR1020210156580A KR20210156580A KR102405557B1 KR 102405557 B1 KR102405557 B1 KR 102405557B1 KR 1020210156580 A KR1020210156580 A KR 1020210156580A KR 20210156580 A KR20210156580 A KR 20210156580A KR 102405557 B1 KR102405557 B1 KR 102405557B1
- Authority
- KR
- South Korea
- Prior art keywords
- sadp
- classification system
- images
- classification
- space group
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 18
- 239000000463 material Substances 0.000 claims abstract description 35
- 238000007635 classification algorithm Methods 0.000 claims abstract description 22
- 238000002050 diffraction method Methods 0.000 claims abstract description 15
- 239000013078 crystal Substances 0.000 claims abstract description 11
- 238000010801 machine learning Methods 0.000 claims abstract description 6
- 238000000101 transmission high energy electron diffraction Methods 0.000 claims abstract 20
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000010894 electron beam technology Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000007792 addition Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002003 electron diffraction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
컴퓨터가 구분하기 용이한 회절패턴 분류 체계 시스템 및 이에 있어서 분류 체계 구축 방법이 개시된다. 상기 분류체계 시스템은 TEM으로 촬영된 SADP 이미지들을 특정 기준에 따라 군집화하여 2D 결정구조의 복수의 레이블들을 가지는 SADP 분류체계를 생성하는 회절패턴 분석부, 상기 SADP 분류체계를 결정학 관점의 분류체계와 연결시키는 분류체계 연결부, 상기 TEM으로 촬영함에 의해 획득되는 SADP 이미지들을 기계학습을 통하여 분류할 수 있도록 회전패턴 분류 알고리즘을 학습시키는 학습부 및 소재의 SADP 이미지에 상기 회전패턴 분류 알고리즘을 적용하여 획득된 레이블과 연결된 결정학 관점의 분류체계를 분석하여 상기 소재의 공간군을 확률적으로 추론하는 확률기반 공간군 추론부를 포함한다. 여기서, 상기 결정학 관점의 분류체계는 3D 공간군들을 가지고, 상기 레이블과 상기 공간군들은 일대다 또는 일대일로 연결되며, 상기 TEM으로 촬영된 SADP 이미지들은 상기 공간군들의 정대축을 기준으로 하여 획득된 이미지이고, 상기 소재를 위한 복수의 SADP 이미지들이 존재하는 경우, 상기 확률기반 공간군 추론부는 상기 존재하는 SADP 이미지들에 상기 회전패턴 분류 알고리즘을 적용하여 획득된 레이블들과 연결된 공간군들의 확률들을 종합하여 최종 확률을 도출한다.
Description
본 발명은 컴퓨터가 구분하기 용이한 회절패턴 분류 체계 시스템 및 이에 있어서 분류 체계 구축 방법에 관한 것이다.
SADP(Selected Area Diffraction Pattern)는 분석하고자 하는 소재에 전자빔을 쏘고 전자의 회절을 이미지 형태로 만든 것이다. SADP는 3차원 결정구조를 2차원의 이미지 형태로 보는 것이기 때문에 하나의 SADP로는 해당 소재의 공간군을 명확히 특정할 수 없다. 이러한 문제를 해결하기 위하여 Ziletti et al.은 여섯 장의 SADP로 하나의 diffraction fingerprint로 만들고 diffraction fingerprint를 학습/분석하여, 소재의 공간군을 특정하는 방법을 제안하였다.
Diffraction fingerprint는 TEM으로 SADP를 촬영할 때 소재를 여섯 방향으로 회전하여 SADP를 획득하였다. 회전하는 방식은 [001] 정대축을 기준으로 회전시켰다. 이 때, x축으로 ±45도 회전하며 획득한 SADP는 RGB의 red channel에 누적하고, y축으로 ±45도 회전하며 획득한 SADP는 green channel에 누적하고, z축으로 ±45도 회전하며 획득한 SADP는 blue channel에 누적하여 diffraction fingerprint를 생성한다.
Diffraction fingerprint를 생성하기 위해서, 맨 처음 전자빔의 진행 방향과 소재의 [001] 정대축을 정렬해야 되는데, 소재의 결정구조를 모르는 상태에서 전자빔의 진행 방향과 소재의 [001] 정대축을 정렬하는 것은 거의 불가능에 가깝다.
만약 전자빔의 진행 방향과 소재의 [001] 정대축을 정렬했다고 가정하더라도, 등방정계(cubic system), 육방정계(hexagonal system)를 벗어나는 결정구조에서 대해서는 x, y, z축으로 각각 ±45도를 회전하여 촬영한 SADP가 의미 있는 정보를 포함하기 어려웠다.
본 발명은 컴퓨터가 구분하기 용이한 회절패턴 분류 체계 시스템 및 이에 있어서 분류 체계 구축 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 분류체계 시스템은 TEM으로 촬영된 SADP 이미지들을 특정 기준에 따라 군집화하여 2D 결정구조의 복수의 레이블들을 가지는 SADP 분류체계를 생성하는 회절패턴 분석부; 상기 SADP 분류체계를 결정학 관점의 분류체계와 연결시키는 분류체계 연결부; 상기 TEM으로 촬영함에 의해 획득되는 SADP 이미지들을 기계학습을 통하여 분류할 수 있도록 회전패턴 분류 알고리즘을 학습시키는 학습부; 및 소재의 SADP 이미지에 상기 회전패턴 분류 알고리즘을 적용하여 획득된 레이블과 연결된 결정학 관점의 분류체계를 분석하여 상기 소재의 공간군을 확률적으로 추론하는 확률기반 공간군 추론부 를 포함한다. 여기서, 상기 결정학 관점의 분류체계는 3D 공간군들을 가지고, 상기 레이블과 상기 공간군들은 일대다 또는 일대일로 연결되며, 상기 TEM으로 촬영된 SADP 이미지들은 상기 공간군들의 정대축을 기준으로 하여 획득된 이미지이고, 상기 소재를 위한 복수의 SADP 이미지들이 존재하는 경우, 상기 확률기반 공간군 추론부는 상기 존재하는 SADP 이미지들에 상기 회전패턴 분류 알고리즘을 적용하여 획득된 레이블들과 연결된 공간군들의 확률들을 종합하여 최종 확률을 도출한다.
본 발명의 분류 체계 시스템 및 이에 있어서 분류 체계 구축 방법은 유사한 SADP 이미지들을 특정 기준으로 군집화하여 새로운 분류체계를 생성하며, 이러한 분류체계를 이용하면 공간군이 용이하게 추론될 수 있다.
또한, 상기 분류 체계 시스템은 결정구조 전문가의 도움 없이 TEM으로 촬영한 하나 이상의 SADP 이미지들을 활용하여 소재의 공간군을 추론할 수 있다.
도 1은 본 발명의 일 실시예에 따른 분류체계 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 분류체계 구조 및 분류체계 연결을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 SADP 이미지 분류 기준을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 공간군을 추론하는 과정을 도시한 도면이다.
도 5는 동일 결정 분류에 속하는 SADP 이미지들의 일예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 분류체계 구조 및 분류체계 연결을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 SADP 이미지 분류 기준을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 공간군을 추론하는 과정을 도시한 도면이다.
도 5는 동일 결정 분류에 속하는 SADP 이미지들의 일예를 도시한 도면이다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 발명은 분류체계 시스템 및 이에 있어서 분류체계 구축 방법에 관한 것으로서, 결정학 관점의 분류체계를 컴퓨터가 구분하기 용이한 새로운 분류체계로 재구축할 수 있다.
여기서, 새로운 분류체계는 SADP(Selected Area Diffraction Pattern) 이미지들을 특정 기준에 따라 분류함에 의해 생성되는 복수의 레이블들을 포함할 수 있다. 즉, 공통 특징을 가지는 또는 유사한 구조의 SADP 이미지들이 동일한 레이블에 속할 수 있다.
또한, 상기 분류체계 시스템은 결정학 관점의 분류 체계와 컴퓨터가 구분하기 용이한 분류체계를 연결하고(매칭시키고), 투과전자현미경(Transmission Electron Microscope, TEM)으로 촬영한 하나 이상의 SADP 이미지를 인공 지능, 특히 머신 러닝(예를 들어, deep learning) 기술로 분석하여 소재의 공간군을 추론할 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 1은 본 발명의 일 실시예에 따른 분류체계 시스템을 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 분류체계 구조 및 분류체계 연결을 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 SADP 이미지 분류 기준을 도시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 공간군을 추론하는 과정을 도시한 도면이며, 도 5는 동일 결정 분류에 속하는 SADP 이미지들의 일예를 도시한 도면이다.
도 1을 참조하면, 본 실시예의 분류체계 시스템은 결정학 관점의 분류체계와 다른 컴퓨터가 구분하기 용이한 형태의 새로운 분류체계를 구축하며, 회절패턴 분석부(100), 분류체계 연결부(102), 회전패턴 분류 알고리즘 학습부(104), 확률기반 공간군 추론부(106) 및 이들의 동작을 전반적으로 제어하는 제어부(미도시)를 포함할 수 있다.
회절 패턴 분석부(100)는 하나의 회절점과 이에 가장 가까운 두 회절점으로 구성된 삼각형의 내각 정보와 구조 인자(structure factor) 계산을 통해 알 수 있는 forbidden reflection 정보를 이용하여 컴퓨터가 구분하기 용이한 형태의 SADP 이미지들을 군집화하여 새로운 분류체계(SADP 분류체계)를 생성할 수 있다. 분류체계를 생성시킨다는 점에서, 회전 패턴 분석부(100)는 분류체계 생성부로 명명될 수 있다.
예를 들어, 회절패턴 분석부(100)는 도 3의 좌측에 도시된 하나의 회절점(O)과 이에 가장 가까운 두 회절점(A, B)으로 구성된 삼각형의 내각 정보(∠AOB, ∠OAB)와 도 3의 우측에 도시된 forbidden reflection 정보를 활용하여 외형적으로 유사한 SADP 이미지를 군집화하여 새로운 형태의 분류체계를 만들 수 있다. 여기서, 상기 새로운 분류체계는 2차원 격자가 가질 수 있는 기본 형태를 기준으로 정사각형(square primitive, A), 직사각형(rectangle primitive, B), 정육각형(hexagonal primitive, C), 평행사변형(oblique primitive, D)으로 나눌 수 있다.
다른 실시예에 따르면, 회절 패턴 분석부(100)는 하나의 회절점과 이에 가장 가까운 2개의 회절점이 아닌 1개의 회절점 또는 2개 이상의 회절점들 사이의 내각 정보로 SADP 이미지들을 군집화하여 새로운 분류체계를 생성할 수도 있다.
또 다른 실시예에 따르면, 회절 패턴 분석부(100)는 내각 정보와 forbidden reflection 정보 중 하나만을 이용하여 SADP 이미지들을 군집화하여 새로운 분류체계를 생성할 수도 있다.
또 다른 실시예에 따르면, 회절 패턴 분석부(100)는 중앙의 회절점과 그 주변의 회절점들 사이의 각도들의 평균 각도를 이용하여 SADP 이미지들을 군집화하여 새로운 분류체계를 생성할 수도 있다.
도 2를 참조하여 분류체계 구조를 살펴보면, 결정학 관점의 분류체계는 공간군들(space groups)을 포함하고 있다. 다만, 상호 유사한 구조를 가지는 공간군들이 존재할 수 있다.
새로운 분류체계 구축 과정을 살펴보면, 상기 분류체계 시스템은 우선 TEM을 이용하여 공간군들에 대한 SADP 이미지들을 획득할 수 있다. 도 2에서 "001" 등의 표시는 소재로 주사하는 전자빔의 방향을 의미할 수 있다. 예를 들어, "001"은 전자빔을 Z축과 평행하게 발사할 때의 전자빔의 방향을 나타낼 수 있다. 이 때, 특정 기준으로 분류할 때 유사하거나 동일한 구조를 가지는 복수의 SADP 이미지들이 존재할 수 있다.
회절패턴 분석부(100)는 회절점들로 이루어진 삼각형의 내각 정보(∠AOB, ∠OAB)와 forbidden reflection 정보를 이용하여 SADP 이미지들을 군집화하여 새로운 분류체계를 생성할 수 있다. 이 때, SADP 이미지들을 새로운 분류체계로 분류하는 것은 도 4에 도시된 바와 같이 회전패턴 분류 알고리즘(모델)에 의해 수행될 수 있다.
예를 들어, 회절패턴 분석부(100)는 다섯 개의 공간군(213, 221, 225, 227, 229)의 16개의 정대축([0 0 1], [1 0 1], [1 0 2], [1 0 3], [1 0 4], [1 1 1], [1 1 2], [1 1 3], [1 1 4], [2 0 3], [2 1 2], [2 1 3], [2 1 4], [2 2 3], [3 1 3], [3 2 3])을 기준으로 획득한 SADP 이미지들을 군집화하여 60개의 레이블을 정의할 수 있다. 이 때, 결정학 관점의 분류체계를 기준으로 SADP 이미지들은 112개의 레이블로 분류할 수 있다. 이러한 군집화로 인하여 레이블들의 수는 결정학 관점의 분류체계 기준 레이블들의 수보다 작게 된다.
도 5는 다른 공간군에 속하지만 동일한 레이블에 속하는 SADP 이미지들을 보여준다. 즉, 복수의 공간군들에 대응하는 SADP 이미지들이 하나의 레이블에 속할 수 있다.
한편, 회절점들을 이용하여 새로운 분류체계를 생성하는 한, SADP 이미지들을 군집화하기 위한 기준은 다양하게 변형될 수 있다.
분류체계 연결부(102)는 도 2에 도시된 바와 같이 공간군과 정대축(zone axis)으로 나타낼 수 있는 결정학 관점의 분류체계와 컴퓨터가 구분하기 용이한 형태의 SADP 분류체계를 연결시킬 수 있다. 즉, 분류체계 연결부(102)는 3D 구조의 공간군들과 2D 구조의 레이블들을 연결시킬 수 있다.
상기 레이블과 상기 공간군들의 연결은 기본적으로 일대다로 연결되지만, SADP 이미지의 형태에 따라 일대일 연결될 수도 있다. 즉, 특정 공간군과 정대축에 속하는 SADP 이미지가 하나의 레이블에 속할 수 있다. 이 경우, 하나의 SADP 이미지 입력만으로 정확한 공간군과 정대축 정보를 찾을 수 있다.
회전패턴 분류 알고리즘 학습부(104)는 SADP 이미지들을 기계학습을 통해 분류할 수 있도록 모델(회전패턴 분류 알고리즘)을 학습시킬 수 있다.
일 실시예에 따르면, 회전패턴 분류 알고리즘 학습부(104)는 off-the-shelf 딥러닝 모델인 AlexNet, Inception v3, ResNet, DenseNet 등을 사용하여 회절패턴 분류 알고리즘을 구성하고 학습시킬 수 있다.
확률기반 공간군 추론부(106)는 소재의 SADP 이미지에 회절패턴 분류 알고리즘을 적용하여 획득한 레이블과 연결된 결정학 관점의 분류체계를 분석하여 확률적으로 상기 소재의 결정구조의 공간군을 추론할 수 있다.
예를 들어, 도 4에 도시된 바와 같이 하나의 소재에 속한 두 개의 SADP 이미지들이 주어졌을 때, 확률기반 공간군 추론부(106)는 상기 SADP 이미지들에 각기 회절패턴 분류 알고리즘을 적용하여 획득한 레이블과 연결된 결정학적 분류체계를 분석하여 결정구조의 공간군을 확률적으로 추론할 수 있다.
일 실시예에 따르면, 확률기반 공간군 추론부(106)는 여러 SADP 이미지들로부터 추론된 확률들을 ensemble하여(종합하여) 최종 확률을 도출할 수 있다. 도 4에서는, 각 추론된 확률에 평균을 취하여 최종 확률을 나타냈지만, 각 추론된 확률을 누적한 후 최대값을 나타내는 공간군만을 도출할 수도 있다.
도 4를 참조하여 회절패턴 분류 알고리즘에 입력되는 두 SADP 이미지를 살펴보면, 그 중 상단에 위치한 이미지는 회절패턴 분류 알고리즘을 통해 A1-0 레이블로 분류되고, 해당 레이블은 공간군 221, 225, 227, 229와 일대다 매칭이 되기 때문에 각각의 공간군일 확률 25%를 가진다고 추론된다. 반면 하단에 위치한 이미지는 회절패턴 분류 알고리즘을 통해 D8-0 레이블로 분류되고, 해당 레이블은 공간군 225와 일대일 매칭이 되기 때문에 225 공간군일 확률 100%를 가진다고 추론된다. 최종적으로 이 두 확률의 평균을 취하면 225 공간군일 확률이 62.5%, 221, 227, 229 공간군일 확률 12.5%로 추론된다.
기존에는 이러한 결정학 관점의 분류체계를 이용하여 소재의 공간군을 추론하였다. 구체적으로는, TEM으로 6개의 SADP 이미지들을 획득하고, 상기 획득된 SADP 이미지들을 분석하여 상기 소재가 어느 결정 분류에 속하는지를 검출하였다. 그러나, 이러한 방법은 소재를 여섯 방향으로 회전하며 전자빔을 주사해야하는 등 어려운 과정들이 존재하여 전문가만이 분석할 수가 있었다. 또한, 소재를 여섯 방향으로 정확히 회전하며 전자빔을 주사하기도 어려워서 정확한 공간군을 추론할 수도 없었다.
반면에, 본 실시예의 분류체계 시스템은 SADP 이미지를 군집화하고 상기 레이블과 연결된 공간군을 분석하여 소재의 공간군을 확률적으로 추론할 수 있다. 결과적으로, 결정구조 전문가의 도움 없이도 TEM에서 촬영한 하나 이상의 SADP 이미지를 이용하여 상기 소재의 공간군을 추론할 수 있다.
정리하면, 본 실시예의 분류체계 시스템은 결정학 관점의 3D 분류체계와 SADP 이미지를 군집화함에 의해 형성된 새로운 2D 분류체계를 연결시키고, TEM을 통하여 획득된 소재의 SADP 이미지가 속하는 레이블과 연결된 공간군을 분석하여 상기 소재의 공간군을 추론할 수 있다.
이러한 분류체계를 도입하면 다음과 같은 장점이 있다.
1. 범용적인 기계 학습 기술들을 활용하여도 높은 정확도로 소재의 공간군 추론이 가능하다.
2. 하나의 SADP 이미지에 대해서도 확률적으로 소재의 공간군 추론을 수행할 수 있으며, 복수의 SADP 이미지들이 주어질 경우 각각의 추론 확률을 ensemble하여 더 정확한 소재의 공간군 추론을 수행할 수 있다.
3. TEM 기계와 본 발명을 융합했을 때, 현재 촬영한 SADP 이미지를 분석하여 다음 SADP 촬영을 할 때 어떤 각도에서 촬영하여야 공간군 추론 확률을 높일 수 있는지 제안 가능하다.
실제로 소재의 결정 구조를 TEM을 이용하여 파악하려고 하면, SADP 이미지가 2D 이미지이므로 3D 구조를 결정하기 위해서는 최소 3장 이상의 SADP 이미지를 분석하는 과정이 권장된다. 이러한 SADP 이미지들은 전자빔의 주사 방향을 변경하면서 획득되어진다. 이 때, 정확한 전자빔의 주사 방향이 결정되지 않으면 많은 횟수의 전자빔 주사가 이루어지게 되는데, 전자빔을 물체에 많은 횟수로 주사하면 소재가 전자빔의 에너지를 버티지 못하고 망가질 수 있다. 따라서, 많은 횟수의 전자빔 주사는 지양되어야 하고 정확한 전자빔의 주사 방향이 결정되어질 필요가 있다. 본 발명의 분류체계를 사용하면 정확한 전자빔의 주사 방향 추천이 가능할 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100 : 회절패턴 분석부 102 : 분류체계 연결부
104 : 회절패턴 분류 알고리즘 학습부
106 : 확률기반 공간군 추론부
104 : 회절패턴 분류 알고리즘 학습부
106 : 확률기반 공간군 추론부
Claims (2)
- TEM으로 촬영된 SADP 이미지들을 특정 기준에 따라 군집화하여 2D 결정구조의 복수의 레이블들을 가지는 SADP 분류체계를 생성하는 회절패턴 분석부, 상기 SADP 분류체계는 결정학 관점의 분류체계와 다른 새로운 분류체계임;
상기 SADP 분류체계를 상기 결정학 관점의 분류체계와 연결시키는 분류체계 연결부;
상기 TEM으로 촬영함에 의해 획득되는 SADP 이미지들을 기계학습을 통하여 분류할 수 있도록 회전패턴 분류 알고리즘을 학습시키는 학습부; 및
소재의 SADP 이미지에 상기 회전패턴 분류 알고리즘을 적용하여 획득된 레이블과 연결된 결정학 관점의 분류체계를 분석하여 상기 소재가 어떤 공간군에 속하는지를 확률적으로 추론하는 확률기반 공간군 추론부를 포함하되,
상기 결정학 관점의 분류체계는 3D 공간군들을 가지고, 상기 SADP 이미지가 속하는 새로운 분류체계의 레이블은 상기 결정학 관점의 분류체계의 적어도 하나의 공간군과 연결되며, 상기 TEM으로 촬영된 SADP 이미지들은 상기 공간군들의 정대축을 기준으로 하여 획득된 이미지이고,
상기 소재를 위한 복수의 SADP 이미지들이 존재하는 경우, 상기 확률기반 공간군 추론부는 상기 존재하는 SADP 이미지들에 상기 회전패턴 분류 알고리즘을 적용하여 획득된 레이블들과 연결된 공간군들의 확률들을 종합하여 상기 소재가 특정 공간군에 속할 최종 확률을 도출하는 것을 특징으로 하는 분류체계 시스템. - 제1항에 있어서, 상기 특정 기준은 상기 SADP 이미지에서 하나의 회절점과 이에 가장 가까이 위치하는 두 회절점들로 구성된 삼각형의 내각 정보와 forbidden reflection 정보이고,
상기 삼각형의 내각 정보와 상기 forbidden reflection 정보가 유사하다고 판단되는 SADP 이미지들은 동일한 레이블에 속하며,
상기 회전패턴 분류 알고리즘은 AlexNet, Inception v3, ResNet 또는 DenseNet의 딥러닝을 사용하는 것을 특징으로 하는 분류체계 시스템.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2022/015355 WO2023063703A1 (ko) | 2021-10-14 | 2022-10-12 | 공간군 추론이 용이한 분류 체계 시스템 및 이에 있어서 정대축 추천 방법 |
| EP22881330.9A EP4400836A1 (en) | 2021-10-14 | 2022-10-12 | Taxonomy system for facilitating space group reasoning and method for recommending zone axis in connection therewith |
| US18/612,883 US20240282129A1 (en) | 2021-10-14 | 2024-03-21 | Classification system with easy space group inference and method of recommending zone axis in the same |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210136499 | 2021-10-14 | ||
| KR20210136499 | 2021-10-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102405557B1 true KR102405557B1 (ko) | 2022-06-07 |
Family
ID=81987175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210156580A KR102405557B1 (ko) | 2021-10-14 | 2021-11-15 | 컴퓨터가 구분하기 용이한 회절패턴 분류 체계 시스템 및 이에 있어서 분류 체계 구축 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102405557B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023063703A1 (ko) * | 2021-10-14 | 2023-04-20 | 라이트비전 주식회사 | 공간군 추론이 용이한 분류 체계 시스템 및 이에 있어서 정대축 추천 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200037869A (ko) * | 2017-08-30 | 2020-04-09 | 케이엘에이 코포레이션 | 웨이퍼 상에서 검출되는 결함에서 주목하는 결함 및 방해물의 식별 |
| KR20200122401A (ko) | 2018-03-14 | 2020-10-27 | 케이엘에이 코포레이션 | 주사 전자 현미경 계측을 사용한 결함 검출, 분류 및 프로세스 윈도우 제어 |
| KR102230354B1 (ko) * | 2019-11-18 | 2021-03-22 | 고려대학교 산학협력단 | 기계 학습 모델을 이용한 반도체 소자 테스트 장치 및 방법 |
| KR102245698B1 (ko) * | 2014-10-16 | 2021-04-27 | 케이엘에이 코포레이션 | 다중 패턴화 프로세스의 계측 |
| KR20210090253A (ko) * | 2018-12-14 | 2021-07-19 | 에이에스엠엘 네델란즈 비.브이. | 패터닝 공정에서의 웨이퍼 거동을 결정하기 위해 이미지 패턴들을 그룹화하는 장치 및 방법 |
-
2021
- 2021-11-15 KR KR1020210156580A patent/KR102405557B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102245698B1 (ko) * | 2014-10-16 | 2021-04-27 | 케이엘에이 코포레이션 | 다중 패턴화 프로세스의 계측 |
| KR20200037869A (ko) * | 2017-08-30 | 2020-04-09 | 케이엘에이 코포레이션 | 웨이퍼 상에서 검출되는 결함에서 주목하는 결함 및 방해물의 식별 |
| KR20200122401A (ko) | 2018-03-14 | 2020-10-27 | 케이엘에이 코포레이션 | 주사 전자 현미경 계측을 사용한 결함 검출, 분류 및 프로세스 윈도우 제어 |
| KR20210090253A (ko) * | 2018-12-14 | 2021-07-19 | 에이에스엠엘 네델란즈 비.브이. | 패터닝 공정에서의 웨이퍼 거동을 결정하기 위해 이미지 패턴들을 그룹화하는 장치 및 방법 |
| KR102230354B1 (ko) * | 2019-11-18 | 2021-03-22 | 고려대학교 산학협력단 | 기계 학습 모델을 이용한 반도체 소자 테스트 장치 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| 안재평ㆍ외 1인, 전자현미경의 회절원리와 나노구조분석 응용, 고분자과학과 기술 제 17 권 4 호 2006년 8월 1부.* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023063703A1 (ko) * | 2021-10-14 | 2023-04-20 | 라이트비전 주식회사 | 공간군 추론이 용이한 분류 체계 시스템 및 이에 있어서 정대축 추천 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230053473A (ko) | 2023-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Depierre et al. | Jacquard: A large scale dataset for robotic grasp detection | |
| CN110032962B (zh) | 一种物体检测方法、装置、网络设备和存储介质 | |
| Engelmann et al. | Exploring spatial context for 3D semantic segmentation of point clouds | |
| Dubé et al. | Incremental-segment-based localization in 3-d point clouds | |
| Ultsch et al. | ESOM-Maps: tools for clustering, visualization, and classification with Emergent SOM | |
| Wu et al. | 6d-vnet: End-to-end 6-dof vehicle pose estimation from monocular rgb images | |
| Khurana et al. | Point cloud forecasting as a proxy for 4d occupancy forecasting | |
| Narayanan et al. | Perch: Perception via search for multi-object recognition and localization | |
| KR102405557B1 (ko) | 컴퓨터가 구분하기 용이한 회절패턴 분류 체계 시스템 및 이에 있어서 분류 체계 구축 방법 | |
| CN112288809B (zh) | 一种用于多物体复杂场景的机器人抓取检测方法 | |
| Mees et al. | Self-supervised 3d shape and viewpoint estimation from single images for robotics | |
| Gojcic et al. | Robust pointwise correspondences for point cloud based deformation monitoring of natural scenes | |
| Tian et al. | Lidar super-resolution based on segmentation and geometric analysis | |
| Zhou et al. | PersDet: Monocular 3D Detection in Perspective Bird's-Eye-View | |
| Huang et al. | Obmo: One bounding box multiple objects for monocular 3d object detection | |
| KR102706530B1 (ko) | 공간군 추론이 용이한 분류 체계 시스템 및 이에 있어서 분류 체계 구축 방법 | |
| KR102535327B1 (ko) | 공간군 추론이 용이한 분류 체계 시스템 및 이에 있어서 정대축 추천 방법 | |
| CN111899162A (zh) | 基于分割的点云数据处理方法以及系统 | |
| KR20230071772A (ko) | 공간군 추론이 용이한 분류 체계 시스템 및 이에 있어서 정대축 추천 방법 | |
| Palge et al. | Relativistic entanglement of two particles driven by continuous product momenta | |
| Nguyen et al. | 3D orientation and object classification from partial model point cloud based on pointnet | |
| Dekker et al. | Point Cloud Analysis of Railway Infrastructure: A Systematic Literature Review | |
| Zhang et al. | Optimization for 3D model-based multi-camera deployment | |
| Zhang et al. | Bicanet: Lidar point cloud classification network based on coordinate attention and blueprint separation involution neural network | |
| Verburg | Exploring explainability and robustness of point cloud segmentation deep learning model by visualization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |