KR20230063276A - Method for automatically analyzing micro particles distributed over a large area using artificial intelligence, electron microscope and EDS analyzer - Google Patents
Method for automatically analyzing micro particles distributed over a large area using artificial intelligence, electron microscope and EDS analyzer Download PDFInfo
- Publication number
- KR20230063276A KR20230063276A KR1020210148366A KR20210148366A KR20230063276A KR 20230063276 A KR20230063276 A KR 20230063276A KR 1020210148366 A KR1020210148366 A KR 1020210148366A KR 20210148366 A KR20210148366 A KR 20210148366A KR 20230063276 A KR20230063276 A KR 20230063276A
- Authority
- KR
- South Korea
- Prior art keywords
- artificial intelligence
- fine particles
- intelligence module
- electron microscope
- group
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims description 12
- 239000011859 microparticle Substances 0.000 title description 13
- 239000010419 fine particle Substances 0.000 claims abstract description 57
- 238000002149 energy-dispersive X-ray emission spectroscopy Methods 0.000 abstract description 27
- 238000004458 analytical method Methods 0.000 abstract description 15
- 239000000428 dust Substances 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 239000002245 particle Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000001000 micrograph Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000003915 air pollution Methods 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000001493 electron microscopy Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- -1 parts Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
- G01N15/0205—Investigating particle size or size distribution by optical means
- G01N15/0227—Investigating particle size or size distribution by optical means using imaging; using holography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
- G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
- G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/07—Investigating materials by wave or particle radiation secondary emission
- G01N2223/079—Investigating materials by wave or particle radiation secondary emission incident electron beam and measuring excited X-rays
Landscapes
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Dispersion Chemistry (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
Description
본 발명은 인공지능과 전자현미경 및 EDS 분석기를 이용하여 대면적에 분포된 미세 입자를 자동 분석하는 방법에 관한 것으로서, 더욱 구체적으로는 필터 등과 같은 넓은 관찰 면적에 분포된 미세 입자의 이미지 데이터와 EDS 분석 데이터(원소의 종류, 해당 원소 함량의 평균, 표준편차 등)를 이용하여 딥러닝 모듈이 자동으로 그 발생 원인(origin)을 사용자에게 제공하는 전자 현미경에 대한 것이다.The present invention relates to a method for automatically analyzing fine particles distributed over a large area using artificial intelligence, an electron microscope, and an EDS analyzer, and more specifically, image data and EDS of fine particles distributed over a wide observation area such as a filter. It is about an electron microscope in which a deep learning module automatically provides the origin to the user using analysis data (type of element, average of element content, standard deviation, etc.).
일반적으로, 미세 입자 분석은 소재, 부품, 반도체, 디스플레이 등의 제조업 분야, 미세먼지, 플라스틱, 대기오염 등의 환경 분야, 2차 전지, 태양전지 등의 에너지 분야 등에서 연구, 제조에 광범위하게 활용되고 있다. In general, fine particle analysis is widely used in research and manufacturing in manufacturing fields such as materials, parts, semiconductors and displays, environmental fields such as fine dust, plastics and air pollution, and energy fields such as secondary batteries and solar cells. there is.
관찰 대상 미세 입자가 점점 작아지면서 광학 현미경으로 관찰 가능한 한계에 도달하거나 광학 현미경으로 관찰할 수 없게 되는 경우가 있다. 그리고, 광학 현미경에 비해 전자 현미경이 미세 입자의 원자 조성과 같은 더 많은 정보를 제공할 수 있다. 이에 따라, 미세입자 분석에 전자현미경 활용이 급격히 증가하고 있다. As the fine particles to be observed become smaller and smaller, there are cases where they reach the limits of what can be observed with an optical microscope or cannot be observed with an optical microscope. And, compared to optical microscopy, electron microscopy can provide more information, such as the atomic composition of microparticles. Accordingly, the use of electron microscopes for microparticle analysis is rapidly increasing.
그런데, 미세 입자가 수십 나노단위인데 반해 관찰 대상의 면적은 수백 제곱 미리미터인 경우, 대상 면적이 너무 넓어 사람이 수작업으로 각 미세 입자를 하나씩 분석하기에는 너무 많은 시간과 비용이 소요된다는 문제점이 있다. 예를 들어, 독일 자동차 산업표준 'VDA-19 Part 1&2' 및 국제 표준화기구에서 정의한 'ISO 16232-10'은 자동차 청정도 분석 분야에서 전자 현미경을 이용한 미세 입자 분석법을 규정하고 있는데, 전문가가 수작업으로 넓은 필터에 분포된 미세 입자를 각각 촬영하고 성분을 분석하여 그 원인(발생 원인, origin)을 찾기에는 너무 많은 시간과 비용이 발생한다는 문제점이 있다.However, when the area of the object to be observed is hundreds of square millimeters while the size of the fine particles is several tens of nanometers, there is a problem in that it takes too much time and money for a person to manually analyze each fine particle one by one because the area of the object is too large. For example, the German automotive industry standard 'VDA-19 Part 1&2' and 'ISO 16232-10' defined by the International Organization for Standardization stipulate a fine particle analysis method using an electron microscope in the field of automotive cleanliness analysis. There is a problem in that too much time and cost is incurred to find the cause (origin) by photographing each of the fine particles distributed on a wide filter and analyzing the components.
본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로서, 필터 등과 같은 넓은 관찰 면적에 분포된 미세 입자의 전자현미경 이미지 데이터와 EDS 분석 데이터(원소의 종류, 해당 원소 함량의 평균값, 표준편차 등)를 이용하여 인공지능 모듈이 자동으로 그 발생 원인(origin)을 사용자에게 제공하는 분석 방법을 제공하고자 하는 목적을 갖고 있다. The present invention has been proposed to solve the above-mentioned problems, and electron microscope image data and EDS analysis data (type of element, average value of the content of the element, standard deviation, etc.) of fine particles distributed over a wide observation area such as a filter The purpose is to provide an analysis method in which the artificial intelligence module automatically provides the origin to the user by using the artificial intelligence module.
구체적으로, 본 발명은 인공지능 모듈이 EDS에 의해 측정된 미세 입자의 원소 종류, 원소의 평균함량 및 표준편차 등을 이용하여 미세입자의 그룹(group)을 결정하고(clustering) 그룹이 결정된 미세입자의 전자 현미경 이미지를 이용하여 미세입자의 원인(origin, 발생 원인)을 결정하여(origin classification) 사용자에게 제공하는 분석 방법을 제공하고자 하는 목적을 갖고 있다. Specifically, in the present invention, the artificial intelligence module determines a group of the fine particles using the element type, average content and standard deviation of the fine particles measured by EDS, and the fine particles of which the group is determined The purpose is to provide an analysis method that determines the origin (origin, cause of occurrence) of fine particles using an electron microscope image of (origin classification) and provides it to the user.
상기 목적을 달성하기 위해서, 본 발명의 바람직한 실시예에 따른 분석 방법은, (a) EDS 분석기를 이용하여 측정된 미세 입자의 원소 종류와 원소 함량의 평균값 및 표준편차가 인공지능 모듈에 입력되는 단계; (b) 인공지능 모듈이 상기 원소의 종류, 원소 함량의 평균값 및 표준편차에 기초하여 미세 입자를 특정 그룹(group)으로 군집화(clustering)하는 단계; (c) 인공지능 모듈이 군집화(clustering)된 정보와 전자현미경으로 촬영된 미세 입자의 이미지를 이용하여 미세 입자의 발생원인(origin)을 분류하는 단계; 및, (d) 인공지능 모듈에 의해 분류된 미세 입자의 발생원인을 사람이 수정하는 단계 (e) 사람이 수정한 미세 입자 발생원인을 인공지능 모듈이 학습하는 단계;를 포함할 수 있다. In order to achieve the above object, the analysis method according to a preferred embodiment of the present invention, (a) inputting the average value and standard deviation of the element type and element content of the fine particles measured using the EDS analyzer into an artificial intelligence module ; (b) clustering, by an artificial intelligence module, fine particles into specific groups based on the type of the element, the average value and standard deviation of the element content; (c) classifying the origin of the fine particles using the clustering information and the image of the fine particles captured by an electron microscope; and (d) a human correcting the cause of the fine particles classified by the artificial intelligence module.
상기 (b) 단계는, (가) 이미 그룹(group)이 알려진 미세입자의 원소 종류, 원소 함량의 평균값 및 표준편차를 사용자가 인공지능 모듈에 입력하여 인공지능을 학습시키는 단계;를 더 포함할 수 있다. The step (b) may further include: (a) the user inputting the average value and standard deviation of the element type, element content, and element content of the fine particles of which group is already known to the artificial intelligence module to learn artificial intelligence; can
그리고, 상기 (c) 단계는, (나) 이미 원인(origin)과 소속 그룹이 알려진 미세입자에 대해, 전자현미경으로 촬영된 해당 미세입자의 이미지와 원인 및 그룹을 인공지능 모듈에 입력하여 인공지능을 학습시키는 단계;를 더 포함할 수 있다. And, in the step (c), (b) for the microparticles whose origin and group are already known, the image of the microparticles taken with an electron microscope, the cause and the group are input to the artificial intelligence module, and artificial intelligence It may further include; step of learning.
상기 (가) 단계 이후에, 상기 (가) 단계에 의해 학습된 인공지능 모듈을 이용하여 상기 (b) 단계에서 특정 그룹으로 결정하고, 이어서 사용자(또는 전문가)가 (b) 단계에서 결정된 특정 그룹이 적절한지 여부를 체크하여 오류를 정정한 후 인공지능 모듈에 입력하는 단계;를 더 포함할 수 있다. After step (a), a specific group is determined in step (b) using the artificial intelligence module learned in step (a), and then the user (or expert) determines the specific group determined in step (b). It may further include: checking whether the error is appropriate, correcting the error, and then inputting the error to the artificial intelligence module.
상기 (나) 단계 이후에, 상기 (나) 단계에 의해 학습된 인공지능 모듈을 이용하여 상기 (c) 단계에서 원인(origin)을 결정하고, 이어서 사용자(또는 전문가)가 (d) 단계에서 결정된 원인(origin)이 적절한지 여부를 체크하여 오류를 정정한 후 인공지능 모듈에 입력하는 단계;를 더 포함할 수 있다. . After step (b), the origin is determined in step (c) using the artificial intelligence module learned in step (b), and then the user (or expert) determines the cause determined in step (d). A step of checking whether the origin is appropriate, correcting the error, and then inputting the error to the artificial intelligence module; may be further included. .
상기 (c) 단계는 미세입자의 2차원 흑백 이미지의 외곽 형상을 이용하여 원인을 결정할 수 있다. In step (c), the cause can be determined using the outer shape of the two-dimensional black and white image of the microparticles.
본 발명은 필터 등과 같은 넓은 관찰 면적에 분포된 미세 입자의 이미지와 EDS 분석 결과(원소의 종류, 해당 원소 함량의 평균과 표준편차)를 이용하여 인공지능 모듈(예를 들어, 딥러닝 모듈)이 자동으로 그 발생 원인(origin)을 사용자에게 제공한다. 구체적으로, 본 발명은 인공지능 모듈이 EDS 분석기에 의해 측정된 미세 입자의 원소 종류, 원소의 평균함량 및 표준편차를 이용하여 미세입자의 그룹(group)을 결정하고 인공지능 모듈이 그룹이 결정된 미세입자의 전자 현미경 이미지를 이용하여 미세입자의 원인(origin)을 결정하여 사용자에게 제공한다. The present invention is an artificial intelligence module (eg, deep learning module) using an image of fine particles distributed over a wide observation area such as a filter and EDS analysis results (type of element, average and standard deviation of the content of the element) Automatically provides the origin to the user. Specifically, in the present invention, the artificial intelligence module determines the group of fine particles using the element type, average content and standard deviation of the fine particles measured by the EDS analyzer, and the artificial intelligence module determines the fine particle group. The origin of the microparticles is determined using electron microscope images of the particles and provided to the user.
따라서, 기존에 고도로 훈련된 전문가만 수행하던 작업을 일반 사용자도 수행할 수 있게 된다. Therefore, ordinary users can perform tasks previously performed only by highly trained experts.
그리고, 본 발명에 따른 분석 방법은 전문가에 의해 이미 그룹이 결정된 미세입자를 이용하여 인공지능 모듈을 학습시킬 수 있고, 이 업데이트된(학습된) 인공지능 모듈을 이용하여 미세입자의 그룹을 결정하며, 인공지능 모듈에 의해 결정된 그룹을 전문가가 재평가하여 오류를 정정하여 인공지능 모듈에 재입력함으로써 정확도를 높일 수 있다.In addition, the analysis method according to the present invention can train an artificial intelligence module using fine particles whose groups have already been determined by an expert, and determine a group of fine particles using the updated (learned) artificial intelligence module, , the expert re-evaluates the group determined by the artificial intelligence module, corrects the error, and re-enters it into the artificial intelligence module, thereby improving accuracy.
아울러, 본 발명에 따른 분석 방법은 전문가에 의해 이미 원인이 알려진 미세입자를 이용하여 인공지능 모듈을 학습시킬 수 있고, 이 업데이트된(학습된) 인공지능 모듈을 이용하여 미세입자의 원인을 결정하며, 인공지능 모듈에 의해 결정된 원인을 전문가가 평가하여 오류를 정정하여 인공지능 모듈에 재입력함으로써 정확도를 높일 수 있다.In addition, the analysis method according to the present invention can learn the artificial intelligence module using fine particles whose causes are already known by experts, and determine the cause of the fine particles using the updated (learned) artificial intelligence module, In other words, an expert evaluates the cause determined by the artificial intelligence module, corrects the error, and re-enters it into the artificial intelligence module to improve accuracy.
도 1은 본 출원인이 개발한 전자 현미경(SELPA: Scanning Electron Microscope for Particle Analysis)을 보여주는 사진.
도 2는 도 1의 전자 현미경을 이용하여 촬영한 미세 입자의 이미지와, 이 미세 입자를 이루는 원소 종류와 원소 함량의 평균값과 성분비 및 표준편차 등을 보여주는 도면.
도 3은 본 발명에 따라 인공지능 모듈이 작동하는 통상적인 과정을 보여주는 도면.
도 4는 인공지능 모듈이 통상적으로 작동하는 중에 학습이 이루어지는 경우를 보여주는 도면.
도 5(a)~(d)는 전자현미경으로 촬영한 미세입자의 이미지의 예를 보여주는 도면.1 is a photograph showing an electron microscope (SELPA: Scanning Electron Microscope for Particle Analysis) developed by the present applicant.
FIG. 2 is a view showing an image of fine particles taken using the electron microscope of FIG. 1 , and average values, component ratios, and standard deviations of types of elements and element contents constituting the fine particles;
3 is a diagram showing a typical process in which an artificial intelligence module operates in accordance with the present invention.
4 is a diagram showing a case in which learning is performed while an artificial intelligence module is normally operated.
5 (a) to (d) are views showing examples of images of microparticles taken with an electron microscope.
이하, 첨부된 도면들을 참조로 본 발명에 대해서 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 실시예들에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. Prior to this, the terms or words used in this specification and claims should not be construed as being limited to the usual or dictionary meaning, and the inventor appropriately uses the concept of the term in order to explain his/her invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention based on the principle that it can be defined. Therefore, since the embodiments described in this specification and the configurations shown in the drawings are merely embodiments of the present invention and do not represent all of the technical spirit of the present invention, various equivalents that can replace them at the time of the present application It should be understood that there may be variations and variations.
도 1은 본 출원인이 개발한 전자 현미경(SELPA: Scanning Electron Microscope for Particle Analysis)을 보여주는 사진이고, 도 2는 상기 전자 현미경을 이용하여 촬영한 미세 입자의 이미지와, EDS 분석 데이터(미세 입자를 이루는 원소 종류와 원소 함량의 평균값과 성분비 및 표준편차 등)를 보여주는 도면이다.Figure 1 is a photograph showing an electron microscope (SELPA: Scanning Electron Microscope for Particle Analysis) developed by the present applicant, Figure 2 is an image of fine particles taken using the electron microscope, and EDS analysis data (forming fine particles It is a diagram showing the average value of element type and element content, component ratio, standard deviation, etc.).
도면에 나타난 바와 같이, 상기 전자 현미경(SELPA)은 시료에 대해 EDS 분석을 실시하는 EDS 분석기와, 이미지를 촬영하는 이미지 촬영부와, EDS 분석기와 이미지 촬영부를 제어하기 위한 제어부(도면에 미도시) 및, 인공지능 모듈(도면에 미도시. 예를 들어 딥러닝 모듈)을 포함할 수 있다. As shown in the drawing, the electron microscope (SELPA) includes an EDS analyzer for performing EDS analysis on a sample, an image capturing unit for capturing an image, and a control unit for controlling the EDS analyzer and the image capturing unit (not shown in the drawing). And, it may include an artificial intelligence module (not shown in the drawing. For example, a deep learning module).
EDS 분석기는 EDS(Energy Dispersive X-ray Spectroscopy) 분석을 실시한다. 알려진 바와 같이, EDS(Energy Dispersive X-ray Spectroscopy)는 에너지 분산형 X-선 분광법으로서, 시료 외부로부터 전자 혹은 X-선과 같은 입자가 입사할 때 시료에서 방출되는 특성 X-선을 검출하여 물질의 화학적 조성을 분석하는 기법으로서, 다양한 조성의 물질을 정성, 정량 분석하는 데 이용되고 있다.The EDS analyzer performs EDS (Energy Dispersive X-ray Spectroscopy) analysis. As is known, EDS (Energy Dispersive X-ray Spectroscopy) is an energy dispersive X-ray spectroscopy method, which detects characteristic X-rays emitted from a sample when particles such as electrons or X-rays are incident from the outside of the sample, As a technique for analyzing chemical composition, it is used for qualitative and quantitative analysis of substances of various compositions.
EDS 분석기는 시료를 이루는 원소의 종류, 원소의 성분비, 원소 함량의 평균값 및 표준편차 등(이하, 'EDS 분석 데이터'라고 함)을 분석하여 그 데이터를 제어부에 전송하고, 제어부는 EDS 분석 데이터를 인공지능 모듈에 입력한다. The EDS analyzer analyzes the type of elements constituting the sample, the composition ratio of the elements, the average value and standard deviation of the element content (hereinafter referred to as 'EDS analysis data'), and transmits the data to the control unit, and the control unit transmits the EDS analysis data input into the artificial intelligence module.
이미지 촬영부는 시료에 대해 전자빔을 조사하고, 시료에 의해 반사된 후방산란전자 또는 2차 전자를 감지하여 이미지를 생성한다. 이 이미지 촬영부는 통상적인 전자현미경의 구성을 가질 수 있다. 상기 이미지의 데이터는 제어부에 전송되고, 제어부는 이 이미지 데이터를 인공지능 모듈에 입력한다. The image capture unit generates an image by irradiating an electron beam onto the sample and detecting backscattered electrons or secondary electrons reflected by the sample. This image capturing unit may have a configuration of a conventional electron microscope. The data of the image is transmitted to the control unit, and the control unit inputs the image data to the artificial intelligence module.
제어부는 사용자로부터 입력된 신호에 따라 시료대의 이동과, 포커스, 명암, 밝기 등을 제어한다. 또한, 제어부는 EDS 분석기로부터 입력된 EDS 분석 데이터를 인공지능 모듈에 입력하고 전자현미경에 의해 촬영된 이미지 데이터를 인공지능 모듈에 입력한다. The control unit controls the movement of the sample stage, focus, contrast, brightness, etc., according to a signal input from the user. In addition, the control unit inputs the EDS analysis data input from the EDS analyzer to the artificial intelligence module and inputs image data captured by the electron microscope to the artificial intelligence module.
도 3은 본 발명에 따라 인공지능 모듈이 작동하는 통상적인 과정을 보여주고, 도 4는 인공지능 모듈이 통상적으로 작동(분석)하는 중에 학습이 이루어지는 경우를 보여준다. 3 shows a typical process in which an artificial intelligence module operates according to the present invention, and FIG. 4 shows a case in which learning occurs while an artificial intelligence module normally operates (analyzes).
's10 단계'와 's20, s40, s50 단계'에서 사용되는 인공지능 모듈은 동일할 수 있지만 다를 수도 있는데, 편의상 아래에서는 그룹(group)을 결정하는 인공지능 모듈을 'AI Engine(Clustering)'으로 표시하고 원인(origin, 발생원인)을 분류(classification)하는 인공지능 모듈을 'AI Engine(n)(Classification)', 'AI Engine(n+1)(Classification)'으로 표시하기로 한다. 여기서, 'AI Engine(n+1)(Classification)'은 'AI Engine(n)(Classification)'에서 더 학습된(업데이트된) 인공지능 모듈을 나타낸다. The artificial intelligence modules used in the 's10 stage' and the 's20, s40, s50 stage' may be the same or different. For convenience, the artificial intelligence module that determines the group is referred to as 'AI Engine (Clustering)' below. The artificial intelligence module that displays and classifies the cause (origin) is marked as 'AI Engine (n) (Classification)' and 'AI Engine (n + 1) (Classification)'. Here, 'AI Engine (n + 1) (Classification)' represents an artificial intelligence module further learned (updated) in 'AI Engine (n) (Classification)'.
그리고, 'Data(n)'은 n번째 미세입자의 EDS 분석 데이터로서 그룹이 결정되지 않은 데이터를 의미하고, 'DataG'는 그룹이 결정된 데이터를 의미한다. 그리고, 'OriginR'은 인공지능이 추천한 발생원인(origin)을 의미하고, 'OriginT'는 사람(전문가)가 교정한 발생원인(origin)을 의미한다. Further, 'Data(n)' is EDS analysis data of the n-th microparticle, which means data for which a group has not been determined, and 'Data G ' means data for which a group has been determined. In addition, 'Origin R ' means the origin recommended by artificial intelligence, and 'Origin T ' means the origin corrected by a human (expert).
통상적인 과정(즉, 학습이 이루어지지 않는 과정)에서는, 도 3에 나타난 바와 같이, 인공지능 모듈(AI Engine (Clustering))이 EDS 분석 데이터(Data(n))를 이용하여 그 그룹을 결정한다(group Clustering, s10). In a normal process (ie, a process in which learning is not performed), as shown in FIG. 3, the artificial intelligence module (AI Engine (Clustering)) determines the group using the EDS analysis data (Data(n)) (group Clustering, s10).
아울러, 도면에는 도시되지 않았지만, 인공지능 모듈이 결정한 특정 그룹이 적절한지 여부를 전문가가 체크하여 오류를 정정한 후 인공지능 모듈에 입력함으로써 인공지능을 학습시킬 수도 있다. In addition, although not shown in the drawing, an expert may check whether a specific group determined by the artificial intelligence module is appropriate, correct an error, and then input the artificial intelligence into the artificial intelligence module to learn artificial intelligence.
이 때, 상기 미세입자의 데이터(Data(n))가 특정 그룹의 경계에 있는 경우, 전문가가 이 미세입자의 그룹을 결정하여 수작업으로 입력할 수 있다(Criteria-Prime(For Error Correction)). 그리고, 주어진 기준을 벗어나는 아웃라이어들은 군집화의 효율을 평가하는 평가지표를 기준으로 지정된 Threshold 이하일 경우에는 자동으로 군집에 포함시키고, Threshold를 벗어날 경우에는 별도의 군집을 구성할 수도 있다.At this time, if the fine particle data (Data(n)) is at the boundary of a specific group, an expert may determine the fine particle group and input it manually (Criteria-Prime (For Error Correction)). In addition, outliers that deviate from the given criteria are automatically included in the cluster if they are below the specified threshold based on the evaluation index that evaluates the efficiency of clustering, and if they exceed the threshold, a separate cluster can be formed.
다수 개의 미세입자가 새로운 군집(clustering)을 형성하면 전문가가 이 새로운 군집을 새로운 그룹(group)으로 인정하여 딥러닝 모듈에 입력할 수 있다(New Criteria(For new clustering)). When a large number of microparticles form a new clustering, an expert can recognize this new clustering as a new group and input it to the deep learning module (New Criteria (For new clustering)).
한편, s20 단계에서, 인공지능 모듈은 그룹이 결정된 n번째 미세입자의 데이터(DataG(n))와 상기 미세먼지의 이미지 데이터를 이용하여 그 발생원인(OriginR(n))을 분류(Origin Classification)한다. 예를 들어, 동일한 원소 성분비를 갖는 미세입자라고 하더라도 그 이미지 형상에 따라 발생원인이 다를 수 있으므로, 본 발명에서는 EDS 분석 데이터와 미세 입자의 이미지 데이터를 함께 이용하여 발생원인을 분석한다. 바람직하게, 인공지능 모듈은 상기 이미지 상에서 미세입자와 배경의 경계(모양세, 즉 외곽 형상)를 이용해서 이미지를 분류할 수 있고, 더욱 바람직하게는 상기 경계를 다차원 벡터로 표현해서 이미지를 분류할 수 있다. On the other hand, in step s20, the artificial intelligence module classifies the cause (Origin R (n)) using the data (Data G (n)) of the nth fine particle whose group is determined and the image data of the fine dust (Origin Classification). For example, even if the microparticles have the same elemental composition ratio, the cause may be different depending on the image shape, so in the present invention, the EDS analysis data and the image data of the microparticles are used together to analyze the cause. Preferably, the artificial intelligence module can classify the image using the boundary (shape, that is, the outer shape) of the fine particles and the background on the image, and more preferably, the image can be classified by expressing the boundary as a multidimensional vector. there is.
도 5(a)~5(d)는 전자현미경으로 촬영한 미세입자의 2차원 흑백 이미지의 예를 보여준다. 5 (a) to 5 (d) show examples of two-dimensional black and white images of fine particles taken with an electron microscope.
도 5(a)는 미세입자의 이미지가 원형(spherical)인 것으로서 그 발생원인은 예를 들어 외부로부터 유입된 것일 수 있고, 도 5(b)는 가장자리가 둥근(rounded) 부분을 갖는 미세입자로서 그 발생원인은 예를 들어 기계 가공오류일 수 있으며, 도 5(c)는 각진 형상(angular)의 미세입자로서 그 발생원인은 예를 들어 원자재 절편일 수 있고, 도 5(d)는 스펀지 형상(spongy)의 미세입자로서 그 발생원인은 원인 미상일 수 있다. Figure 5 (a) is a spherical image of fine particles, the cause of which may be, for example, introduced from the outside, and Figure 5 (b) is fine particles with rounded edges. The cause may be, for example, a machining error, and FIG. 5 (c) is an angular fine particle, and the cause may be, for example, a raw material fragment, and FIG. 5 (d) is a sponge shape. It is a fine particle of spongy, and the cause of its occurrence may be unknown.
이와 같이, 본 발명에서는 인공지능 모듈이 미세입자의 EDS 분석 데이터와 이미지 데이터를 함께 이용하여 발생원인을 자동으로 분석, 제공한다. As such, in the present invention, the artificial intelligence module automatically analyzes and provides the cause of occurrence by using the EDS analysis data and image data of the microparticles together.
한편, 인공지능 모듈이 통상적으로 작동(분석)하는 중에 학습이 이루어지는 경우에는, 도 4에 나타난 바와 같이, s10, s20 단계에 s30~s50 단계가 더 포함될 수 있다. On the other hand, when learning is performed while the artificial intelligence module is normally operating (analyzing), as shown in FIG. 4, steps s30 to s50 may be further included in steps s10 and s20.
도 4에 나타난 바와 같이, s30 단계(Classification Correction)에서는, 인공지능이 추천한 원인(OriginR(n))을 사람(전문가)이 수정 분류하여 OriginT(n)을 생성하고 이를 인공지능 모듈에 입력한다. OriginT(n)은 사람(전문가)이 교정한 발생원인을 나타낸다. "OriginT(n) - OriginR(n)"가 목적함수이고, 인공지능 모듈(딥러닝 모듈)의 학습은 이 목적함수를 최소화하기 위한 것이다. As shown in FIG. 4, in step s30 (Classification Correction), a person (expert) corrects and classifies the cause (Origin R (n)) recommended by artificial intelligence to generate Origin T (n), which is transmitted to the artificial intelligence module. Enter Origin T (n) represents the cause corrected by a human (expert). "Origin T (n) - Origin R (n)" is the objective function, and the learning of the artificial intelligence module (deep learning module) is to minimize this objective function.
이어서, s40 단계(AI Learning)에서는, 인공지능이 'DataG(n)'과 'OriginT(n)'을 학습함으로써 업데이트된 인공지능 모듈 즉, AI Engine(n+1)(Classification)이 된다. Subsequently, in step s40 (AI Learning), artificial intelligence learns 'Data G (n)' and 'Origin T (n)' to become an updated artificial intelligence module, that is, AI Engine (n + 1) (Classification) .
상기 학습이 완료되면, 업데이트된 인공지능 모듈은 n+1번째 미세입자에 대한 EDS 분석데이터(그룹이 결정된 데이터, DataG(n+1))와 이미지 데이터를 이용하여 자동으로 그 발생원인(OriginR(n+1))을 제공한다. When the learning is completed, the updated artificial intelligence module automatically determines the cause (origin R (n+1)).
위에서 설명한 바와 같이, 본 발명에 따른 인공지능 모듈은 s10, s20 단계를 통하여 미세입자의 그룹과 발생원인을 제공하고 분석 도중에 학습이 이루어지는 경우에는 s10~s50 단계를 통하여 미세입자의 그룹과 발생원인을 제공한다. 인공지능 모듈이 상기 s30~s50 과정을 반복하여 충분히 반복하게 되면 전문가의 도움없이 초보자도 원인을 분류할 수 있다. As described above, the artificial intelligence module according to the present invention provides the group and cause of occurrence of fine particles through steps s10 and s20, and when learning is performed during analysis, the group and cause of occurrence of fine particles through steps s10 to s50 to provide. If the artificial intelligence module repeats the steps s30 to s50 repeatedly enough, even a novice can classify the cause without the help of an expert.
Claims (5)
(b) 인공지능 모듈이 상기 원소의 종류, 원소 함량의 평균값 및 표준편차에 기초하여 미세 입자를 특정 그룹(group)으로 군집화(clustering)하는 단계; 및,
(c) 인공지능 모듈이 군집화(clustering)된 정보와 전자현미경으로 촬영된 미세 입자의 이미지를 이용하여 미세 입자의 발생원인(origin)을 분류하는 단계;를 포함하는 것을 특징으로 하는, 인공지능과 전자현미경 및 EDS 분석기를 이용하여 대면적에 분포된 미세 입자를 자동 분석하는 방법. (a) inputting the average value and standard deviation of the element type and element content of the fine particles measured using the EDS analyzer into an artificial intelligence module;
(b) clustering, by an artificial intelligence module, fine particles into specific groups based on the type of the element, the average value and standard deviation of the element content; and,
(c) classifying the origin of the fine particles using the clustering information of the artificial intelligence module and the image of the fine particles taken with an electron microscope; A method of automatically analyzing fine particles distributed over a large area using an electron microscope and an EDS analyzer.
상기 (c)의 이후에
(d) 인공지능 모듈에 의해 분류된 미세 입자의 발생원인을 사람이 수정하는 단계; 및,
(e) 사람이 수정한 미세 입자의 발생원인을 인공지능 모듈이 학습하는 단계;를 더 포함하는 것을 특징으로 하는, 인공지능과 전자현미경 및 EDS 분석기를 이용하여 대면적에 분포된 미세 입자를 자동 분석하는 방법. According to claim 1,
After (c) above
(d) human correction of the cause of the fine particles classified by the artificial intelligence module; and,
(e) learning the cause of human-modified fine particles by the artificial intelligence module; How to analyze.
상기 (b) 단계는,
(가) 이미 그룹(group)이 알려진 미세입자의 원소 종류, 원소 함량의 평균값 및 표준편차와 상기 그룹을 사용자가 인공지능 모듈에 입력하여 인공지능을 학습시키는 단계;를 더 포함하고,
상기 (c) 단계는,
(나) 이미 원인(origin)과 그룹이 알려진 미세입자에 대해, 전자현미경으로 촬영된 해당 미세입자의 이미지와 원인 및 그룹을 인공지능 모듈에 입력하여 인공지능을 학습시키는 단계;를 더 포함하는 것을 특징으로 하는, 인공지능과 전자현미경 및 EDS 분석기를 이용하여 대면적에 분포된 미세 입자를 자동 분석하는 방법. According to claim 2,
In step (b),
(a) inputting the element type, the average value and standard deviation of the element content, and the group of the fine particles of which the group is already known to the artificial intelligence module to learn artificial intelligence; further comprising,
In step (c),
(b) For fine particles whose origin and group are already known, the step of inputting the image of the corresponding fine particle captured by an electron microscope and the cause and group to the artificial intelligence module to learn artificial intelligence; A method of automatically analyzing fine particles distributed over a large area using artificial intelligence, an electron microscope, and an EDS analyzer.
상기 (가) 단계 이후에,
상기 (가) 단계에 의해 학습된 인공지능 모듈을 이용하여 상기 (b) 단계에서 특정 그룹으로 결정하고, 이어서 사람이 (b) 단계에서 결정된 특정 그룹이 적절한지 여부를 체크하여 오류를 정정한 후 인공지능 모듈에 입력하는 단계;를 더 포함하는 것을 특징으로 하는, 인공지능과 전자현미경 및 EDS 분석기를 이용하여 대면적에 분포된 미세 입자를 자동 분석하는 방법. According to claim 3,
After step (a) above,
A specific group is determined in step (b) using the artificial intelligence module learned in step (a), and then a person corrects the error by checking whether the specific group determined in step (b) is appropriate. A method of automatically analyzing fine particles distributed over a large area using artificial intelligence, an electron microscope, and an EDS analyzer, further comprising: inputting the input into the artificial intelligence module.
상기 (c) 단계에서, 미세입자의 2차원 외곽 형상이 원인 결정에 이용되는 것을 특징으로 하는, 인공지능과 전자현미경 및 EDS 분석기를 이용하여 대면적에 분포된 미세 입자를 자동 분석하는 방법. According to any one of claims 1 to 4,
In step (c), the two-dimensional outer shape of the fine particles is used to determine the cause, a method for automatically analyzing fine particles distributed over a large area using artificial intelligence, an electron microscope and an EDS analyzer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210148366A KR102598987B1 (en) | 2021-11-01 | 2021-11-01 | Method for automatically analyzing micro particles distributed over a large area using artificial intelligence, electron microscope and EDS analyzer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210148366A KR102598987B1 (en) | 2021-11-01 | 2021-11-01 | Method for automatically analyzing micro particles distributed over a large area using artificial intelligence, electron microscope and EDS analyzer |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230063276A true KR20230063276A (en) | 2023-05-09 |
| KR102598987B1 KR102598987B1 (en) | 2023-11-06 |
Family
ID=86408374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210148366A KR102598987B1 (en) | 2021-11-01 | 2021-11-01 | Method for automatically analyzing micro particles distributed over a large area using artificial intelligence, electron microscope and EDS analyzer |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102598987B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000235008A (en) * | 1999-02-15 | 2000-08-29 | Jeol Ltd | Specimen substance identification device in particle-beam device |
| KR20110136141A (en) * | 2010-06-14 | 2011-12-21 | 건국대학교 산학협력단 | Particle analysis system and method therefor |
| KR101674884B1 (en) * | 2015-10-14 | 2016-11-22 | 한국표준과학연구원 | Apparatus for analysing organic and elemental carbon in pm2.5 |
| JP2021071446A (en) * | 2019-11-01 | 2021-05-06 | 国立大学法人大阪大学 | Particle analysis method, machine learning device, particle analysis device, and particle analysis system |
| KR102255346B1 (en) * | 2019-12-17 | 2021-05-25 | 주식회사 포스코 | Method and apparatus for elemental analysis through artificial neural network learning |
-
2021
- 2021-11-01 KR KR1020210148366A patent/KR102598987B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000235008A (en) * | 1999-02-15 | 2000-08-29 | Jeol Ltd | Specimen substance identification device in particle-beam device |
| KR20110136141A (en) * | 2010-06-14 | 2011-12-21 | 건국대학교 산학협력단 | Particle analysis system and method therefor |
| KR101674884B1 (en) * | 2015-10-14 | 2016-11-22 | 한국표준과학연구원 | Apparatus for analysing organic and elemental carbon in pm2.5 |
| JP2021071446A (en) * | 2019-11-01 | 2021-05-06 | 国立大学法人大阪大学 | Particle analysis method, machine learning device, particle analysis device, and particle analysis system |
| KR102255346B1 (en) * | 2019-12-17 | 2021-05-25 | 주식회사 포스코 | Method and apparatus for elemental analysis through artificial neural network learning |
Non-Patent Citations (1)
| Title |
|---|
| 화학적 조성과 안정동위원소 비 분석을 이용한 PM2.5 발생원 추적(박현우, 한국환경분석학회지 20권제4호, 2017)* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102598987B1 (en) | 2023-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111052332B (en) | Training learning-based defect classifier | |
| KR102605314B1 (en) | Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging | |
| CN112219270B (en) | Active learning for defect classifier training | |
| JP7074460B2 (en) | Image inspection equipment and methods | |
| CN114600154B (en) | BBP-assisted defect detection procedure for SEM images | |
| US9020237B2 (en) | Method for optimizing observed image classification criterion and image classification apparatus | |
| CN114600156B (en) | Deep learning network for nuisance filtering | |
| US11170475B2 (en) | Image noise reduction using stacked denoising auto-encoder | |
| KR20220012217A (en) | Machine Learning-Based Classification of Defects in Semiconductor Specimens | |
| JP5439543B2 (en) | Defect classification method and apparatus | |
| TW202042273A (en) | Fully automated sem sampling system for e-beam image enhancement | |
| WO2020152925A1 (en) | Image evaluation device and method | |
| JP2020500422A (en) | Optimization of the training set used to set up test-related algorithms | |
| US11967060B2 (en) | Wafer level spatial signature grouping using transfer learning | |
| TW202038110A (en) | Classifying defects in a semiconductor specimen | |
| US10902579B1 (en) | Creating and tuning a classifier to capture more defects of interest during inspection | |
| KR102598987B1 (en) | Method for automatically analyzing micro particles distributed over a large area using artificial intelligence, electron microscope and EDS analyzer | |
| US11062446B2 (en) | Analyzing method for perovskite structure using machine learning | |
| TWI845781B (en) | Method and system of semiconductor defect detection and classification, and computer-readable storage medium | |
| US20240169514A1 (en) | Defect detection in manufactured articles using multi-channel images | |
| CN114646653A (en) | In-situ electron diffraction data processing and analyzing method based on machine learning and application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |