KR20230160754A - Defect inspection performance device using learning model, method, system and program - Google Patents

Defect inspection performance device using learning model, method, system and program Download PDF

Info

Publication number
KR20230160754A
KR20230160754A KR1020230155218A KR20230155218A KR20230160754A KR 20230160754 A KR20230160754 A KR 20230160754A KR 1020230155218 A KR1020230155218 A KR 1020230155218A KR 20230155218 A KR20230155218 A KR 20230155218A KR 20230160754 A KR20230160754 A KR 20230160754A
Authority
KR
South Korea
Prior art keywords
learning
learning model
defect inspection
defect
training dataset
Prior art date
Application number
KR1020230155218A
Other languages
Korean (ko)
Inventor
임태규
설재민
김승환
노은식
민병석
김형철
Original Assignee
(주)자비스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)자비스 filed Critical (주)자비스
Priority to KR1020230155218A priority Critical patent/KR20230160754A/en
Publication of KR20230160754A publication Critical patent/KR20230160754A/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18Investigating the presence of flaws defects or foreign matter
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/40Imaging
    • G01N2223/401Imaging image processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/60Specific applications or type of materials
    • G01N2223/646Specific applications or type of materials flaws, defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

선택적 인공 지능 엔진 기반 대상체 비파괴 검사 방법, 장치 및 시스템이 제공된다. 상기 선택적 인공 지능 엔진 기반 대상체에 대한 비파괴 검사를 수행하는 전자 장치는, 결함 검사를 위한 복수 개의 학습 변수와 상기 개별 학습 변수에 대응되는 복수 개의 학습 모델을 저장하는 메모리; 및 상기 대상체의 결함을 검사하는 프로세서를 포함하되, 상기 프로세서는, 상기 저장된 복수 개의 학습 모델 중 선택된 적어도 하나의 학습 모델에 기초하여 상기 대상체의 결함 검사를 수행하는 처리부를 포함한다.An optional artificial intelligence engine-based object non-destructive inspection method, device, and system are provided. The electronic device that performs non-destructive testing on an object based on the selective artificial intelligence engine includes: a memory that stores a plurality of learning variables for defect inspection and a plurality of learning models corresponding to the individual learning variables; and a processor that inspects the object for defects, wherein the processor includes a processing unit that inspects the object for defects based on at least one learning model selected from among the plurality of stored learning models.

Description

학습 모델을 이용한 결함 검사 수행 장치, 방법, 시스템 및 프로그램{DEFECT INSPECTION PERFORMANCE DEVICE USING LEARNING MODEL, METHOD, SYSTEM AND PROGRAM}Device, method, system and program for performing defect inspection using a learning model {DEFECT INSPECTION PERFORMANCE DEVICE USING LEARNING MODEL, METHOD, SYSTEM AND PROGRAM}

본 발명은 학습 모델을 이용한 결함 검사 수행 장치, 방법, 시스템 및 프로그램에 관한 것이다.The present invention relates to an apparatus, method, system, and program for performing defect inspection using a learning model.

제품의 불량은 공급망 서비스의 저하, 자동화 설비의 손실 등을 발생시킬 수 있다. 그러므로 제품의 불량 여부를 제대로 검사하는 것이 매우 중요하다.Product defects can cause deterioration of supply chain services and loss of automation equipment. Therefore, it is very important to properly inspect the product for defects.

방사선 특히, 엑스레이(X-ray)를 활용하여 대상체(object)를 파괴하지 않는 즉, 비파괴 검사가 품질 검사에 활용되고 있는데, 종래 방사선 비파괴 검사는 단일 기술을 적용하여 대상체에 대한 엑스레이 영상 내 불량 여부를 검출하였다. 그러나 이러한 종래 검사 방식은 불량 검출 성능의 한계가 있어, 상기 엑스레이 영상으로부터 모든 불량을 검출하지 못하는 즉, 미검출되는 불량이 있는 문제점이 있었다. 뿐만 아니라, 대상체의 구성물에 따라 특징이 상이한바, 이는 동종이형의 경우에도 검사의 결과 즉, 정확도에 차이가 발생할 수 있어 검사의 신뢰도를 떨어뜨리는 문제점이 있다.Non-destructive testing, that is, non-destructive testing, which does not destroy the object by utilizing radiation, especially was detected. However, this conventional inspection method has limitations in defect detection performance, so there is a problem in that it cannot detect all defects from the X-ray image, that is, there are defects that are not detected. In addition, since the characteristics are different depending on the composition of the object, this can lead to differences in the results of the test, that is, accuracy, even in the case of allogenes, which is a problem that reduces the reliability of the test.

대한민국 등록특허공보 제10-2249836호 (2021.05.03)Republic of Korea Patent Publication No. 10-2249836 (2021.05.03)

본 발명이 해결하고자 하는 과제는, 검사 대상체에 대하여 최적의 인공 지능 학습 모델을 선택하여 비파괴 검사 정확도 향상을 통해 검사 신뢰도를 높이면서 동시에 검사 시스템의 효율성을 높이는 방법, 장치 및 시스템을 제공하는 것이다.The problem to be solved by the present invention is to provide a method, device, and system that selects the optimal artificial intelligence learning model for an inspection object and improves inspection reliability by improving non-destructive inspection accuracy while simultaneously increasing the efficiency of the inspection system.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 선택적 인공 지능 엔진 기반 대상체에 대한 비파괴 검사를 수행하는 전자 장치는, 결함 검사를 위한 복수 개의 학습 변수와 상기 개별 학습 변수에 대응되는 복수 개의 학습 모델을 저장하는 메모리; 및 상기 대상체의 결함을 검사하는 프로세서를 포함하되, 상기 프로세서는, 상기 저장된 복수 개의 학습 모델 중 선택된 적어도 하나의 학습 모델에 기초하여 상기 대상체의 결함 검사를 수행하는 처리부를 포함한다.An electronic device that performs non-destructive testing on an object based on a selective artificial intelligence engine according to one aspect of the present invention to solve the above-described problem includes a plurality of learning variables for defect inspection and a plurality of learning variables corresponding to the individual learning variables. memory to store models; and a processor that inspects the object for defects, wherein the processor includes a processing unit that inspects the object for defects based on at least one learning model selected from among the plurality of stored learning models.

본 발명의 일 면에 따른 전자 장치에서 선택적 인공 지능 엔진 기반 대상체에 대한 비파괴 검사 방법은, 결함 검사를 위한 복수 개의 학습 변수와 상기 개별 학습 변수에 대응되는 복수 개의 학습 모델을 저장하는 단계; 상기 대상체의 이미지 데이터를 입력받는 단계; 상기 저장된 학습 모델을 통해 상기 입력받는 대상체에 대한 카테고리를 결정하고, 상기 결정된 대상체의 카테고리에 기초하여 상기 저장된 복수 개의 학습 모델 중 적어도 하나의 학습 모델을 선별적으로 선택하는 단계; 상기 선택된 적어도 하나의 학습 모델에 기초하여 상기 대상체의 결함 검사를 수행하는 단계; 및 상기 결함 검사 결과를 제공하는 단계를 포함한다.A non-destructive inspection method for an object based on a selective artificial intelligence engine in an electronic device according to one aspect of the present invention includes storing a plurality of learning variables for defect inspection and a plurality of learning models corresponding to the individual learning variables; Receiving image data of the object; determining a category for the input object through the stored learning model and selectively selecting at least one learning model from the plurality of stored learning models based on the determined category of the object; performing defect inspection of the object based on the selected at least one learning model; and providing the defect inspection results.

본 발명의 일면에 따른 선택적 인공 지능 엔진 기반 대상체 비파괴 검사 시스템은, 방사선을 조사하여 대상체에 대한 이미지 데이터를 획득하는 영상 획득 장치; 및 전자 장치를 포함하되, 상기 전자 장치는, 결함 검사를 위한 복수 개의 학습 변수와 상기 개별 학습 변수에 대응되는 복수 개의 학습 모델을 저장하는 메모리; 및 상기 저장된 복수 개의 학습 모델 중 선택된 적어도 하나의 학습 모델에 기초하여 상기 대상체의 결함 검사를 수행하는 프로세서를 포함한다.A selective artificial intelligence engine-based object non-destructive inspection system according to one aspect of the present invention includes an image acquisition device that acquires image data for an object by irradiating radiation; and an electronic device, wherein the electronic device includes: a memory storing a plurality of learning variables for defect inspection and a plurality of learning models corresponding to the individual learning variables; and a processor that performs defect inspection of the object based on at least one learning model selected from among the plurality of stored learning models.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

본 발명에 따르면, 다음과 같은 효과들을 가질 수 있다.According to the present invention, the following effects can be achieved.

본 발명에 따르면, 검사 대상체에 대한 비파괴 검사의 정확도 향상을 통해 검사 신뢰도를 높이면서 동시에 검사 시스템의 효율성을 높일 수 있다.According to the present invention, the efficiency of the inspection system can be increased while improving inspection reliability by improving the accuracy of non-destructive inspection of the inspection object.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1 은 본 발명의 일 실시 예에 따른 인공 지능 기반 대상체 비파괴 검사 시스템을 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 대상체 비파괴 검사 방법을 설명하기 위해 도시한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치의 구성 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 학습부의 구성 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 처리부의 구성 블록도이다.
도 6은 본 발명의 다른 일 실시 예에 따른 전자 장치의 구성 블록도이다.
도 7은 도 6의 처리부의 구성 블록도이다.
도 8과 도 9는 본 발명에 따른 대상체 비파괴 검사 결과를 설명하기 위해 도시한 도면이다.
도 10은 본 발명의 다른 일 실시 예에 따른 대상체 비파괴 방법을 설명하기 위해 도시한 흐름도이다.
1 is a block diagram illustrating an artificial intelligence-based object non-destructive inspection system according to an embodiment of the present invention.
Figure 2 is a flowchart illustrating a method for non-destructive inspection of an object according to an embodiment of the present invention.
Figure 3 is a block diagram of an electronic device according to an embodiment of the present invention.
Figure 4 is a block diagram of a learning unit according to an embodiment of the present invention.
Figure 5 is a block diagram of a processing unit according to an embodiment of the present invention.
Figure 6 is a block diagram of an electronic device according to another embodiment of the present invention.
Figure 7 is a block diagram of the processing unit of Figure 6.
Figures 8 and 9 are diagrams to explain the results of non-destructive testing of an object according to the present invention.
Figure 10 is a flowchart illustrating a non-destructive method of object according to another embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to provide a general understanding of the technical field to which the present invention pertains. It is provided to fully inform the skilled person of the scope of the present invention, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for describing embodiments and is not intended to limit the invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other elements in addition to the mentioned elements. Like reference numerals refer to like elements throughout the specification, and “and/or” includes each and every combination of one or more of the referenced elements. Although “first”, “second”, etc. are used to describe various components, these components are of course not limited by these terms. These terms are merely used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may also be a second component within the technical spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless clearly specifically defined.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.Spatially relative terms such as “below”, “beneath”, “lower”, “above”, “upper”, etc. are used as a single term as shown in the drawing. It can be used to easily describe the correlation between a component and other components. Spatially relative terms should be understood as terms that include different directions of components during use or operation in addition to the directions shown in the drawings. For example, if a component shown in a drawing is flipped over, a component described as “below” or “beneath” another component will be placed “above” the other component. You can. Accordingly, the illustrative term “down” may include both downward and upward directions. Components can also be oriented in other directions, so spatially relative terms can be interpreted according to orientation.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.

본 명세서에서 '이미지 또는 이미지 데이터(image data)'는 방사선을 이용하는 튜브(Tube), 디텍터(Detector) 등을 통해 얻어진 정지 영상(still image)이나 동영상(video) 데이터를 의미한다. 일 실시 예로, 상기 이미지는 X-ray 튜브나 X-ray 디텍터를 통해 대상체(object)에 대한 X-ray 이미지일 수 있다. 이 때, 상기 X-ray 이미지는 예를 들어, 2D(Dimensional) 이미지와 연속적인 2D 이미지 집합(image aggregation)으로부터 재구성(reconstruction)된 CT(Computed Tomography) 이미지, 재구성된 CT 볼륨(volume) 데이터의 단면(slice) 이미지를 포함할 수 있다.In this specification, 'image or image data' refers to still image or video data obtained through a tube or detector using radiation. In one embodiment, the image may be an X-ray image of an object through an X-ray tube or X-ray detector. At this time, the X-ray image is, for example, a 2D (Dimensional) image, a CT (Computed Tomography) image reconstructed from a continuous 2D image aggregation, and reconstructed CT volume data. Can include slice images.

본 명세서에서 '결함'은 본 발명에 따른 인공 지능 기반으로 결함 검사의 대상이 되는 대상체에 대한 비파괴 검사시, 상기 대상체에 대하여 정상(normal)으로 정의된 또는 정의될 수 있는 부분이 아닌 부분을 나타내는 것으로, 이는 불량 또는 오류 등 다양한 명칭으로 표현할 수도 있다. 실시 예에 따라, 본 발명은 그러한 표현에 한정되지 않고, 통상적인 의미에서의 결함과 동일 또는 유사한 의미도 포함할 수 있다. In this specification, 'defect' refers to a part that is not a part that is defined or can be defined as normal for the object during non-destructive testing of an object that is the subject of defect inspection based on artificial intelligence according to the present invention. This can be expressed by various names such as defect or error. Depending on the embodiment, the present invention is not limited to such expressions, and may also include meanings that are the same as or similar to defects in the conventional sense.

도 1 은 본 발명의 일 실시 예에 따른 인공 지능 기반 대상체 비파괴 검사 시스템을 도시한 블록도이다.1 is a block diagram illustrating an artificial intelligence-based object non-destructive inspection system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 인공 지능 기반 대상체 비파괴 검사를 수행하는 시스템은, 전자 장치(100)와 영상 획득 장치(150)를 포함하여 구성될 수 있다. 이 때, 도 1에 도시된 전자 장치(100)와 영상 획득 장치(150)의 구성은 일 실시 예로서 이에 한정되지 않으며, 본 발명에 따른 동작 수행과 관련하여 하나 또는 그 이상의 구성요소가 추가되어 구성될 수도 있고, 그 반대일 수도 있다.Referring to FIG. 1, a system that performs artificial intelligence-based non-destructive inspection of an object according to an embodiment of the present invention may be configured to include an electronic device 100 and an image acquisition device 150. At this time, the configuration of the electronic device 100 and the image acquisition device 150 shown in FIG. 1 is an example and is not limited thereto, and one or more components are added in relation to performing the operation according to the present invention. It may be configured or vice versa.

전자 장치(100)는 메모리(memory)와 프로세서(processor)를 포함하여 구성될 수 있으며, 상기 메모리는 도 1에 도시된 데이터베이스(120)에 대응되거나 그를 포함할 수 있고, 상기 프로세서는 제어부(110)와 AI 엔진(130) 중 적어도 하나를 포함할 수 있다. 이 때, AI 엔진(130)은 딥러닝 네트워크를 포함하나, 이에 한정되는 것은 아니다.The electronic device 100 may be configured to include a memory and a processor. The memory may correspond to or include the database 120 shown in FIG. 1, and the processor may include the control unit 110. ) and may include at least one of the AI engine 130. At this time, the AI engine 130 includes, but is not limited to, a deep learning network.

상기 전자 장치(100)는, 상기 영상 획득 장치(150)와 네트워크를 통해 연결되어 대상체에 대한 이미지 데이터를 수신할 수 있다. The electronic device 100 may be connected to the image acquisition device 150 through a network to receive image data about the object.

영상 획득 장치(150)는 디텍터(160), 엑스레이 튜브(170) 및 광원(lighting source)(미도시)를 포함하여 구성될 수 있으며, 상기 디텍터(160)는 2D 디텍터와 3D 디텍터 중 적어도 하나일 수 있다. 상기에서, 디텍터(160) 및 엑스레이 튜브(170)는 각각 대상체에 대한 엑스레이 영상 획득 장치로, 이는 기존의 공지된 구성으로 이루어질 수 있다. 이외에도, 영상 획득 장치(150)는 이동 대상체의 움직임(motion)을 촬영할 수 있는 장치 및 CT 디텍터(미도시)를 추가로 구비할 수도 있다. 광원은 투과성 광원인 테라헤르츠(terahertz)를 포함하나, 이에 한정되는 것은 아니다.The image acquisition device 150 may be configured to include a detector 160, an X-ray tube 170, and a lighting source (not shown), and the detector 160 may be at least one of a 2D detector and a 3D detector. You can. In the above, the detector 160 and the In addition, the image acquisition device 150 may additionally include a device capable of photographing the motion of a moving object and a CT detector (not shown). The light source includes, but is not limited to, a terahertz transmissive light source.

전자 장치(100)의 일 구성요소로서, 제어부(110)는 전자 장치(100)에서 수행되는 동작을 제어하며, 데이터베이스(120)는 영상 획득 장치(150)로부터 수신되는 대상체의 이미지, 상기 대상체에 대한 결함 검사에 이용되는 학습 데이터셋(learning dataset), 상기 학습 데이터셋에 대응되는 학습 모델(learning model) 등 전자 장치(100)에 의해 수신, 처리 등이 이루어지는 데이터를 저장한다.As a component of the electronic device 100, the control unit 110 controls operations performed in the electronic device 100, and the database 120 controls the image of the object received from the image acquisition device 150 and the object. Data that is received and processed by the electronic device 100, such as a learning dataset used for defect inspection and a learning model corresponding to the learning dataset, is stored.

제어부(110)는 대상체의 이미지 데이터를 입력으로 데이터베이스(120)에 저장된 학습 모델을 통해 상기 대상체의 카테고리를 결정(classification)(또는 분류)하고, 결함 검사의 대상인 상기 대상체의 이미지 데이터에 대한 결함 검사 동작 모드를 특정하고, 상기 특정된 결함 검사 동작 모드에 대응되는 적어도 하나의 학습 모델을 선별적으로 선택하여, 선택된 학습 모델에 기초하여 상기 대상체의 이미지 데이터로부터 결함 검사를 수행하는 다양한 기계학습 모델(Machine-learning model)의 알고리즘 및 관련 애플리케이션을 수행하는 연산 능력이 있는 하드웨어 유닛(hardware unit)을 포함할 수 있다. 예를 들어, 제어부(110)는 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor) 및 그래픽 프로세서(Graphic Processing Unit) 중 적어도 하나를 포함할 수 있다. 또한, 제어부(110)는 기계 학습 모델 알고리즘 또는 애플리케이션을 저장하는 별도의 메모리(미도시)를 더 포함할 수 있다.The control unit 110 inputs image data of the object and determines (classifies) the category of the object through a learning model stored in the database 120, and inspects the image data of the object that is the subject of defect inspection for defects. Various machine learning models that specify an operation mode, selectively select at least one learning model corresponding to the specified defect inspection operation mode, and perform defect inspection from image data of the object based on the selected learning model ( It may include a hardware unit with computing power to perform machine-learning model algorithms and related applications. For example, the control unit 110 may include at least one of a central processing unit, a microprocessor, and a graphics processor. Additionally, the control unit 110 may further include a separate memory (not shown) that stores a machine learning model algorithm or application.

전자 장치(100)는 결함 검사를 위하여 대상체에 대한 이미지 데이터를 학습시켜서, AI 엔진(130)에 입력하여 (고화질 또는 개선된) 대상체 이미지 데이터를 획득할 수 있다. 이 때, AI 엔진(130)을 통해 획득된 이미지는 일반적인 의미에서 영상 획득 장치(150)로부터 입력된 대상체 이미지 데이터보다 전체적으로 고화질이거나 개선된 이미지 데이터뿐만 아니라 인공 지능 기반으로 대상체에 대한 비파괴 검사시 결함 검사의 관점에서 전부 또는 일부 개선된 또는 새로운 이미지 데이터를 나타낼 수 있다. For defect inspection, the electronic device 100 can learn image data about an object and input it to the AI engine 130 to obtain (high-definition or improved) object image data. At this time, in a general sense, the image acquired through the AI engine 130 is not only image data of higher quality or improved overall than the object image data input from the image acquisition device 150, but also defects during non-destructive inspection of the object based on artificial intelligence. From an inspection perspective, it may represent all or some improved or new image data.

일 실시 예에 따라, 전자 장치(100)는 상기 학습 전 대상체에 대한 이미지 데이터에 대한 검사 결과와 상기 AI 엔진(130)을 통해 획득한 대상체에 대한 이미지 데이터에 대한 검사 결과를 비교하여 새로운 학습 모델을 추가 정의할 수도 있다. 전자 장치(100)는 이렇게 추가된 학습 모델에 기반하여 입력되는 대상체의 이미지로부터 AI 엔진(130)의 이용 여부 즉, 입력된 대상체의 이미지 데이터가 아닌 상기 AI 엔진(130)을 통해 획득한 대상체의 이미지 데이터를 결함 여부 검사에 이용할 지 여부를 결정하고, 그에 따른 동작을 수행할 수도 있다. According to one embodiment, the electronic device 100 compares the inspection result of the image data for the object before learning with the inspection result for the image data for the object obtained through the AI engine 130 to model a new learning model. can also be additionally defined. Based on the added learning model, the electronic device 100 determines whether to use the AI engine 130 based on the image of the input object, that is, the object acquired through the AI engine 130 rather than the image data of the input object. It is also possible to decide whether to use image data to inspect for defects and perform actions accordingly.

따라서, 본 발명과 관련하여 전자 장치(100)로 입력되는 대상체의 엑스레이 이미지는 검사 장비 예를 들어, 반도체 불량 검출, PCB 기판 불량 검출, 식품 및 제약 분야의 이물질 검출 등의 다양한 분야의 검사에 활용될 수 있다.Therefore, in relation to the present invention, the It can be.

도 2는 본 발명의 일 실시 예에 따른 대상체 비파괴 검사 방법을 설명하기 위해 도시한 흐름도이다. 도 3은 본 발명의 일 실시 예에 따른 전자 장치(100)의 구성 블록도이다. 도 4는 본 발명의 일 실시 예에 따른 학습부(220)의 구성 블록도이다. 도 5는 본 발명의 일 실시 예에 따른 처리부(230)의 구성 블록도이다. 도 6은 본 발명의 다른 일 실시 예에 따른 전자 장치(100)의 구성 블록도이고, 도 7은 도 6의 처리부(610)의 구성 블록도이다. 도 8과 도 9는 본 발명에 따른 대상체 비파괴 검사 결과를 설명하기 위해 도시한 도면이다. 도 10은 본 발명의 다른 일 실시 예에 따른 대상체 비파괴 방법을 설명하기 위해 도시한 흐름도이다.Figure 2 is a flowchart illustrating a method for non-destructive inspection of an object according to an embodiment of the present invention. Figure 3 is a block diagram of the electronic device 100 according to an embodiment of the present invention. Figure 4 is a block diagram of the learning unit 220 according to an embodiment of the present invention. Figure 5 is a block diagram of the processing unit 230 according to an embodiment of the present invention. FIG. 6 is a block diagram of the electronic device 100 according to another embodiment of the present invention, and FIG. 7 is a block diagram of the processing unit 610 of FIG. 6. Figures 8 and 9 are diagrams to explain the results of non-destructive testing of an object according to the present invention. Figure 10 is a flowchart illustrating a non-destructive method of object according to another embodiment of the present invention.

도 2 및 도 10의 동작들은 도 1의 전자 장치(100)를 통해 수행될 수 있다. 여기서, 도 2 및 도 10의 동작들을 도 3 내지 7에 도시된 전자 장치(100)의 구성을 참조하여 설명한다.The operations of FIGS. 2 and 10 may be performed through the electronic device 100 of FIG. 1 . Here, the operations of FIGS. 2 and 10 will be described with reference to the configuration of the electronic device 100 shown in FIGS. 3 to 7.

먼저, 도 2를 참조하면, 동작 11에서, 전자 장치(100)는 복수의 학습 변수와 대응 학습 모델을 저장할 수 있다. 여기서, '학습 변수'라 함은 후술하는 훈련 데이터셋(제1 및/또는 제2 훈련 데이터셋)을 나타내고, '대응 학습 모델'이라 함은 상기 훈련 데이터셋을 이용하여 생성된 학습 모델을 나타낸다.First, referring to FIG. 2, in operation 11, the electronic device 100 may store a plurality of learning variables and a corresponding learning model. Here, ‘learning variable’ refers to a training dataset (first and/or second training dataset) described later, and ‘corresponding learning model’ refers to a learning model created using the training dataset. .

동작 12에서, 입력부(310)는 영상 획득 장치(150)로부터 방사선(예를 들어, X선) 조사를 통해 획득된 대상체의 이미지 데이터를 수신한다.In operation 12, the input unit 310 receives image data of an object obtained through radiation (eg, X-ray) irradiation from the image acquisition device 150.

실시 예에 따라서, 동작 11과 동작 12는 그 동작 순서가 도 2에 도시된 바와 다르게 정의될 수도 있다. 이는 비단 동작 11 및 동작 12뿐만 아니라 도 2(및 후술하는 도 10)에 도시된 동작들의 순서에도 적용될 수 있다.Depending on the embodiment, the operation order of operations 11 and 12 may be defined differently from that shown in FIG. 2 . This can be applied not only to operations 11 and 12, but also to the sequence of operations shown in FIG. 2 (and FIG. 10, which will be described later).

입력부(310)로 입력되는 대상체의 이미지 데이터는, 영상 획득 장치(150)로부터 수신한 로 데이터(raw data)이거나 전술한 AI 엔진(130)을 통하여 결함 검사에 적합하도록 적어도 일부에 대해 가공 처리된 데이터일 수 있다. The image data of the object input to the input unit 310 is raw data received from the image acquisition device 150, or is at least partially processed to be suitable for defect inspection through the above-described AI engine 130. It could be data.

일 실시 예에서, 수신한 대상체의 이미지 데이터 즉, 로 데이터에 기초하여 결함 검사 수행 여부를 미리 판단할 수 있다. 별도의 동작 또는 후술하는 동작 16에 따른 대상체 결함 여부 판단 결과에 기초하여, 상기 이용한 로 데이터에 오류가 있거나 검사 결과에 대한 신뢰도가 미리 정한 기준치 이하로 판단되면, 그라운드 트루쓰(Ground Truth)에 해당하는 결과를 얻기 어려울 뿐만 아니라 설령 유사한 결과를 얻는다고 하더라도 해당 결과를 신뢰할 수 없기 때문에, 이 경우에는 전술한 바와 같이 AI 엔진(130)을 통해 개선된 이미지 데이터를 획득하여 그것을 결함 검사를 위한 기본 데이터로 이용할 수 있다.In one embodiment, whether to perform defect inspection may be determined in advance based on received image data of the object, that is, raw data. Based on the result of determining whether the object is defective according to a separate operation or operation 16 described later, if there is an error in the raw data used above or the reliability of the inspection result is judged to be below a predetermined standard, it corresponds to ground truth. Not only is it difficult to obtain a similar result, but even if a similar result is obtained, the result cannot be trusted. In this case, as described above, improved image data is obtained through the AI engine 130 and used as basic data for defect inspection. Available.

학습부(320)는, 훈련 데이터셋을 입력으로 하여 전처리 모듈(410), 특징 추출 모듈(420) 및 검사 처리 모듈(430)을 통해, 상기 입력 훈련 데이터셋에 대응되는 학습 모델을 생성하여 메모리에 일시 저장할 수 있다.The learning unit 320 takes the training dataset as an input and generates a learning model corresponding to the input training dataset through the preprocessing module 410, the feature extraction module 420, and the inspection processing module 430, and stores it in memory. It can be temporarily stored in .

동작 13과 동작 14에서, 처리부(330)는 입력되는 대상체의 이미지 데이터 기반 학습 모델을 통해 상기 대상체의 카테고리(category)를 결정하고, 상기 결정된 카테고리에 기초하여 상기 대상체에 대한 결함 검사 동작 모드를 특정하여, 상기 특정된 동작 모드에 대응되는 학습 모델을 선택할 수 있다.In operations 13 and 14, the processing unit 330 determines the category of the object through a learning model based on image data of the input object, and specifies a defect inspection operation mode for the object based on the determined category. Thus, a learning model corresponding to the specified operation mode can be selected.

동작 15에서, 처리부(330)는 선택된 학습 모델에 기초하여 상기 대상체의 이미지 데이터로부터 결함 여부를 검사하고, 결함 여부 검사 결과 데이터를 생성한다.In operation 15, the processing unit 330 checks image data of the object for defects based on the selected learning model and generates defect test result data.

동작 16에서, 출력부(340)는 처리부(330)에서 대상체 대해 생성한 결함 여부 검사 결과 데이터를 제공한다. 본 명세서에서, '제공'이라 함은, 디스플레이를 통한 직접 또는 간접 출력, 대상 단말로의 전송 및/또는 출력 제어 등 상기 대상체에 대한 결과의 출력과 관련된 다양한 의미로 정의될 수 있다. In operation 16, the output unit 340 provides defect inspection result data generated for the object by the processing unit 330. In this specification, 'provision' may be defined in various ways related to the output of results to the target object, such as direct or indirect output through a display, transmission to the target terminal, and/or output control.

도 10을 참조하여 본 발명에 따른 인공 지능 기반 대상체 비파괴 검사 방식을 보다 상세하게 설명하면, 다음과 같다.The artificial intelligence-based object non-destructive inspection method according to the present invention will be described in more detail with reference to FIG. 10 as follows.

동작 21과 동작 22에서, 전자 장치(100)는 검사 대상의 이미지 데이터 기반 결함 검사를 위한 모델을 학습하고, 대상체의 이미지 데이터를 수신하는데, 이는 각각 전술한 도 2의 동작 11과 동작 12에 대응되는 동작이다.In operations 21 and 22, the electronic device 100 learns a model for defect inspection based on image data of the inspection object and receives image data of the object, which correspond to operations 11 and 12 of FIG. 2 described above, respectively. It is a movement that works.

동작 23에서, 전자 장치(100)는 대상체에 대한 결함 검사 동작 모드를 결정한다.In operation 23, the electronic device 100 determines a defect inspection operation mode for the object.

동작 24-1에서, 전자 장치(100)는 상기 동작 23에서 결정한 결함 검사 동작 모드가 제1 동작 모드이면, 동작 모드 선택 모듈을 통해 해당 동작 모드에 대응하는 학습 모델을 선택하여, 대상체의 이미지 데이터를 처리, 즉 결함 검사를 수행한다.In operation 24-1, if the defect inspection operation mode determined in operation 23 is the first operation mode, the electronic device 100 selects a learning model corresponding to the operation mode through the operation mode selection module, and selects the learning model corresponding to the operation mode to select the image data of the object. Process, i.e. perform defect checking.

반면, 동작 24-2에서, 전자 장치(100)는 상기 동작 23에서 결정한 결함 검사 동작 모드가 제2 동작 모드이면, 동작 모드 선택 모듈을 통해 해당 동작 모드에 대응하는 학습 모델을 선택하여, 대상체의 이미지 데이터를 처리, 즉 결함 검사를 수행한다.On the other hand, in operation 24-2, if the defect inspection operation mode determined in operation 23 is the second operation mode, the electronic device 100 selects a learning model corresponding to the operation mode through the operation mode selection module, and selects a learning model corresponding to the operation mode of the object. Image data is processed, i.e. defect inspection is performed.

상기 동작 23과 동작 24와 관련하여, 결함 검사 동작 모드 결정(제1 모드, 제2 모드) 및 결정된 결함 검사 동작 모드에 따른 대상체의 이미지 데이터 처리에 대한 상세 내용은 아래 도 4 내지 5의 설명 부분에서 후술한다. 본 발명의 기술 사상에 대한 이해를 돕기 위하여, 본 명세서에서는 결함 검사 동작 모드로 제1 및 제2 동작 모드, 2개만을 정의하여 설명하였으나, 설정이나 요청에 따라 동작 모드의 개수, 동작 모드의 정의 등은 다르게 구현될 수 있다.In relation to operations 23 and 24, details on determining the defect inspection operation mode (first mode, second mode) and processing image data of the object according to the determined defect inspection operation mode are described in the description of FIGS. 4 and 5 below. This is described later. In order to facilitate understanding of the technical idea of the present invention, only two defect inspection operation modes, the first and second operation modes, are defined and explained in this specification, but the number of operation modes and definition of operation modes can be adjusted according to settings or requests. etc. may be implemented differently.

도 3을 참조하면, 전자 장치(100)는 입력부(310), 결함 검사부 및 출력부(340)를 포함하여 구성될 수 있다. 이 때, 상기 결함 검사부는 학습부(Learning part)(320)와 처리부(Processing part)(330)를 포함하여 구성될 수 있다. Referring to FIG. 3 , the electronic device 100 may be configured to include an input unit 310, a defect inspection unit, and an output unit 340. At this time, the defect inspection unit may include a learning part 320 and a processing part 330.

도 4를 참조하면, 결함 검사부를 구성하는 학습부(320)는, 메모리로부터 대상체의 비파괴 검사 즉, 결함 검사의 학습을 위한 훈련 데이터(또는 데이터셋)를 입력받아 전처리하는 전처리 모듈(410), 상기 전처리된 데이터로부터 특징을 추출하는 특징 추출 모듈(420), 및 추출된 특징에 기초하여 결함 검사에 이용될 학습 모델을 생성하는 검사 처리 모듈(430)을 포함하여 구성될 수 있다. 상기에서, 학습부(320)는 하나의 AI 엔진을 결함 검사의 학습에 이용할 수 있으나, 이에 한정되는 것은 아니다. 실시 예에 따라서, 학습부(320)는 복수의 학습 모듈로 구현되고 각 학습 모듈은 서로 다른 AI 엔진을 결함 검사의 학습에 이용할 수 있다. 이 때, 상기 개별 학습 모듈은 전술한 학습부(320)의 전처리 모듈, 특징 추출 모듈 및 검사 처리 모듈 중 적어도 하나 이상을 포함하여 구성될 수도 있다.Referring to FIG. 4, the learning unit 320 constituting the defect inspection unit includes a preprocessing module 410 that receives training data (or dataset) for learning non-destructive inspection of an object, that is, defect inspection, from memory and preprocesses it, It may be configured to include a feature extraction module 420 that extracts features from the preprocessed data, and an inspection processing module 430 that generates a learning model to be used for defect inspection based on the extracted features. In the above, the learning unit 320 may use one AI engine for defect inspection learning, but is not limited to this. Depending on the embodiment, the learning unit 320 is implemented with a plurality of learning modules, and each learning module may use a different AI engine for defect inspection learning. At this time, the individual learning module may be configured to include at least one of the pre-processing module, feature extraction module, and inspection processing module of the learning unit 320 described above.

도 4를 참조하면, 훈련 데이터셋 즉, Prod #1, Prod #2, …, Prod #N(여기서, N은 양의 정수)은, 미리 정의된 개별 검사 대상에 대한 제1 훈련 데이터셋으로 정의할 수 있다. 또한, 학습 모델 Model #1, Model #2, …, Model #N(여기서, N은 양의 정수)은 상기 제1 훈련 데이터셋에 대응하여 생성된 학습 모델 즉, 제1 학습 모델로 정의할 수 있다.Referring to Figure 4, the training datasets, namely Prod #1, Prod #2,... , Prod #N (where N is a positive integer) can be defined as the first training dataset for a predefined individual test target. Additionally, the learning models Model #1, Model #2, … , Model #N (where N is a positive integer) can be defined as a learning model created corresponding to the first training dataset, that is, a first learning model.

다시 말해, 학습부(320)는 복수의 학습 변수 즉, 개별 제1 훈련 데이터셋을 이용하여 대응하는 복수의 개별 제1 학습 모델을 생성할 수 있다. 이렇게 생성된 제1 학습 모델은 개별 검사 대상에 특화된 학습 모델로 정의할 수도 있다. 즉, 학습부(320)는 N(여기서, N은 양의 정수)개의 제1 훈련 데이터셋에 대응하여 N개의 제1 학습 모델을 생성할 수 있다. In other words, the learning unit 320 may generate a plurality of corresponding individual first learning models using a plurality of learning variables, that is, individual first training datasets. The first learning model created in this way can also be defined as a learning model specialized for individual test subjects. That is, the learning unit 320 may generate N first learning models corresponding to N first training datasets (where N is a positive integer).

한편, 적어도 둘 이상의 개별 제1 훈련 데이터셋으로 조합된 또는 모든 제1 훈련 데이터셋을 포함한 제2 훈련 데이터셋을 정의할 수 있다. 이러한 제2 훈련 데이터셋은, 풀(Full) 훈련 데이터셋, 조합된(Combinated) 훈련 데이터셋 또는 통합(United) 훈련 데이터셋 등으로 명명될 수도 있다. 학습부(320)는 이러한 제2 훈련 데이터셋을 이용하여 제2 학습 모델을 생성할 수 있다. 따라서, 제2 학습 모델은 전술한 제1 학습 모델과는 상이한 학습 모델이며, 상기 제2 학습 모델의 개수는 상기 정의되는 제2 훈련 데이터셋의 개수에 의해 결정될 수 있다. 또한, 상기에서 제2 훈련 데이터셋에 이용되는 개별 훈련 데이터셋은 전술한 제1 훈련 데이터셋과 동일하거나 그렇지 않을 수 있다. 예를 들어, 제2 훈련 데이터셋에는 상기 제1 훈련 데이터셋으로 분류되지 않은 적어도 하나 이상의 훈련 데이터셋이 포함될 수 있다. 이러한 관점에서, 제1 훈련 데이터셋은 제1 학습 모델 생성에 기초가 되는 분류된 훈련 데이터셋으로 볼 수도 있다.Meanwhile, a second training dataset that is a combination of at least two or more individual first training datasets or includes all of the first training datasets may be defined. This second training dataset may be named a full training dataset, a combined training dataset, or a united training dataset. The learning unit 320 may generate a second learning model using this second training dataset. Accordingly, the second learning model is a different learning model from the above-described first learning model, and the number of second learning models may be determined by the number of second training datasets defined above. Additionally, the individual training dataset used in the second training dataset above may or may not be the same as the above-described first training dataset. For example, the second training dataset may include at least one training dataset that is not classified as the first training dataset. From this perspective, the first training dataset may be viewed as a classified training dataset that is the basis for creating the first learning model.

한편, 도 4, 5 및 7에서 설명의 편의상 모든 제1 훈련 데이터셋을 포함한 하나의 제2 훈련 데이터셋만 정의하였으나, 이에 한정되지 않는다. 다시 말해, 상기 제2 훈련 데이터셋은 구성 방식에 따라 복수 개의 제2 훈련 데이터셋으로 정의될 수 있으며, 대응하는 학습 모델 역시 복수 개일 수 있다.Meanwhile, in FIGS. 4, 5, and 7, for convenience of explanation, only one second training dataset including all first training datasets is defined, but the present invention is not limited thereto. In other words, the second training dataset may be defined as a plurality of second training datasets depending on the configuration method, and there may also be a plurality of corresponding learning models.

상기에서, 생성되는 제1 및/또는 제2 학습 모델은 검사 대상에 따라 파라미터(parameter), 가중치(weight) 등의 값이 상이하게 설정될 수 있다.In the above, the generated first and/or second learning model may have different parameters, weights, etc. depending on the test target.

후술하는 바와 같이, 본 발명에서는 대상체의 대상 특정 여부에 따라 어떤 학습 모델을 이용할 것인지 결정하고, 결정된 학습 모델에 따라 대상체의 결함 여부 검사를 수행할 수 있다. 이 때, 상기에서 대상 특정 여부는 예를 들어, 대상체 대해 결정된 카테고리 내지 분류를 의미할 수 있다. 실시 예에 따라, 상기 대상 특정 여부는 전자 장치(100)에 의해서가 아니라 외부 입력 예를 들어, 대상체에 대한 결함 검사 요청자 내지 단말의 입력이나 요청에 의해 결정될 수도 있다. 따라서, 상기 대상 특정 여부는 결함 검사의 대상이 되는 대상체에 대하여 결함 검사에 이용 가능한 학습 모델을 특정할 수 있는 지 여부로 판단될 수도 있다. 즉, 전자 장치(100)는 상기 외부 입력이 수신되면, 그에 기초하여 학습 모델을 특정하여 선별적으로 선택할 수 있다. 전자 장치(100)는 상기 대상체의 대상이 특정되는 경우에는 특정된 대상에 대응하는 특정 제1 학습 모델을 선택 이용하나, 그렇지 않은 경우에는 제2 학습 모델을 이용하여 상기 대상체의 결함 여부를 검사할 수 있다. 이 때, 전자 장치(100)는 상기 제2 학습 모델이 복수 개인 경우에는, 그 중 어떤 제2 학습 모델(들)을 이용할 것인지 아니면 복수의 제2 학습 모델 전부를 이용할 것인지 결정하여 그에 따라 대상체에 대한 결함 검사를 수행할 수 있다. As will be described later, in the present invention, it is possible to determine which learning model to use depending on whether the object is specified, and to check whether the object is defective according to the determined learning model. At this time, whether or not the object is specified may mean, for example, a category or classification determined for the object. Depending on the embodiment, whether or not the object is specified may be determined not by the electronic device 100 but by an external input, for example, an input or request from a defect inspection requester or terminal for the object. Accordingly, whether the object is specified may be determined by whether a learning model available for defect inspection can be specified for the object that is the target of defect inspection. That is, when the electronic device 100 receives the external input, it can specify and selectively select a learning model based on it. When the object of the object is specified, the electronic device 100 selects and uses a specific first learning model corresponding to the specified object, but otherwise, uses a second learning model to check whether the object is defective. You can. At this time, if there are a plurality of second learning models, the electronic device 100 determines which of the second learning model(s) to use or all of the plurality of second learning models to use, and provides the object accordingly. Defect inspection can be performed.

한편, 실시 예에 따라서, 기수행된 대상체의 결함 검사 결과가 미리 정한 기준치 이하이고, 상기 저장된 복수 개의 학습 모델 중 기 선택된 학습 모델이 상기 복수 개의 제1 학습 모델 중 하나이면, 전자 장치(100)는 상기 저장된 복수 개의 학습 모델 중 상기 제1 학습 모델에 속하는 다른 제1 학습 모델이 아닌 제2 학습 모델을 선택하도록 제어할 수 있다. 실시 예에 따라서, 대상체에 대한 대상 특정과 무관하게 또는 대상체의 대상 특정이 어려운 경우 등에서, 전자 장치(100)는 디폴트(default) 설정된 제1 학습 모델 또는 제2 학습 모델 중 적어도 하나에 기초하여 대상체에 대한 결함 검사를 수행할 수도 있다. 이 경우, 전자 장치(100)는 디폴트로 설정된 특정 학습 모델에 따른 대상체 결함 검사 결과에 기초하여 추가 학습 모델 정의 내지 재검사 등 여부를 결정하여 해당 동작을 수행할 수도 있다. 예를 들어, 전자 장치(100)는 디폴트로 설정된 특정 제1 학습 모델에 기초하여 대상체에 대한 결함 검사를 수행하고, 수행 결과가 미리 정의한 기준치 이하이면 제2 학습 모델에 기초하여 대상체에 대한 결함 검사를 재수행할 수 있다. 실시예에 따라서, 전자 장치(100)는 디폴트로 제1 학습 모델 중 적어도 둘 이상의 특정 제1 학습 모델을 선정하여 대상체에 대한 결함 검사를 수행하고, 수행 결과에 따라 제2 학습 모델에 기초한 결함 검사 재수행 여부를 결정할 수 있다. 이 때, 상기 선정되는 특정 제1 학습 모델은 결함 검사의 대상이 되는 대상체에 대한 정보, 이전 결함 검사 수행 히스토리, 전자 장치(100)의 설정 사항, 검사 요청자 또는 단말에 의한 입력 정보 등에 기초하여 결정될 수 있다. 이는 또한, 대상체의 대상 특정에도 동일 또는 유사한 형태로 이용될 수 있다.Meanwhile, depending on the embodiment, if the previously performed defect inspection result of the object is less than or equal to a predetermined standard value and the pre-selected learning model among the plurality of stored learning models is one of the plurality of first learning models, the electronic device 100 Can be controlled to select a second learning model rather than another first learning model belonging to the first learning model among the plurality of stored learning models. Depending on the embodiment, regardless of the target specification of the object or in cases where target specification of the object is difficult, the electronic device 100 may detect the target based on at least one of the first learning model or the second learning model set as default. Defect inspection can also be performed. In this case, the electronic device 100 may determine whether to define an additional learning model or retest based on the object defect inspection result according to a specific learning model set as default and perform the corresponding operation. For example, the electronic device 100 performs defect inspection on the object based on a specific first learning model set as default, and if the performance result is less than a predefined standard, defect inspection on the object based on the second learning model can be re-performed. Depending on the embodiment, the electronic device 100 selects at least two specific first learning models among the first learning models by default to perform defect inspection on the object, and performs defect inspection based on the second learning model according to the performance results. You can decide whether to re-perform. At this time, the selected specific first learning model will be determined based on information about the object subject to defect inspection, previous defect inspection performance history, settings of the electronic device 100, information input by the inspection requestor or terminal, etc. You can. This can also be used in the same or similar form to specify an object.

도 4에 도시된 학습부(320)의 동작은, i) 도 3에 도시된 입력부(310)를 통해 결함 검사의 대상이 되는 대상체의 이미지 데이터가 입력되는 경우, ii) 상기 i)의 이전 정기 또는 비정기, iii) 상기 i)과 무관하게 정기 또는 비정기로 수행될 수도 있다.The operation of the learning unit 320 shown in FIG. 4 is i) when image data of an object subject to defect inspection is input through the input unit 310 shown in FIG. 3, ii) in the previous period of i). or irregularly, iii) may be performed regularly or irregularly, regardless of i) above.

도 5를 참조하면, 처리부(330)는 모델 선택 모듈(510), 전처리 모듈(520), 특징 추출 모듈(530) 및 검사 처리 모듈(540)을 포함하여 구성될 수 있다. Referring to FIG. 5 , the processing unit 330 may include a model selection module 510, a pre-processing module 520, a feature extraction module 530, and an inspection processing module 540.

여기서, 전처리 모듈(520), 특징 추출 모듈(530) 및 검사 처리 모듈(540)은 도 4에 도시된 대응 구성요소와는 개별 구성요소일 수 있다. 따라서, 전처리 모듈, 특징 추출 모듈 및 검사 처리 모듈은 전술한 도 4의 학습부(320)와 도 5의 처리부(330)에 각각 개별 구현된 것으로 볼 수 있다. Here, the preprocessing module 520, the feature extraction module 530, and the inspection processing module 540 may be separate components from the corresponding components shown in FIG. 4. Accordingly, the preprocessing module, feature extraction module, and inspection processing module can be viewed as individually implemented in the learning unit 320 of FIG. 4 and the processing unit 330 of FIG. 5 described above.

한편, 실시 예에 따라서, 도 6에 도시된 바와 같이 하나의 처리부가 존재하고 이 경우, 전처리 모듈, 특징 추출 모듈 및 검사 처리 모듈은 도 7에 도시된 바와 같이, 전술한 도 4의 학습부(320)와 도 5의 처리부(330)에서 공유하는 형태로 구현될 수도 있다.Meanwhile, depending on the embodiment, there is one processing unit as shown in FIG. 6, and in this case, the pre-processing module, feature extraction module, and inspection processing module are, as shown in FIG. 7, the learning unit of FIG. 4 ( 320) and the processing unit 330 of FIG. 5 may be implemented in a shared form.

모델 선택 모듈(510)은 대상체에 대한 결함 검사 동작 모드를 결정하고, 상기 결정된 결함 검사 동작 모드에 대응하는 도 4에서 훈련 데이터셋 기반으로 생성된 학습 모델 중 적어도 하나를 선별적으로 선택한다. 실시 예에 따라, 상기 모델 선택 모듈(510)은 도 1의 제어부(110) 또는 도 4의 학습부(320) 내 구성요소에 의해 이미 결정된 결함 검사 동작 모드에 따라 도 4에서 훈련 데이터셋 기반으로 생성한 학습 모델 중 적어도 하나를 단순 선택할 수도 있다.The model selection module 510 determines a defect inspection operation mode for the object and selectively selects at least one of the learning models generated based on the training dataset in FIG. 4 corresponding to the determined defect inspection operation mode. Depending on the embodiment, the model selection module 510 is based on the training dataset in FIG. 4 according to the defect inspection operation mode already determined by the components in the control unit 110 of FIG. 1 or the learning unit 320 of FIG. 4. You can also simply select at least one of the created learning models.

도 5를 참조하면, 처리부(330)는 입력부(310)를 통해 입력받은 대상체의 이미지 데이터에 대하여 전처리 모듈(520)에서 전처리를 수행하고, 전처리된 대상체의 이미지 데이터는 모델 선택 모듈(510)에서 결함 검사 동작 모드에 대응하는 학습 모델로 선택된 학습 모델 기반으로 특징 추출 모듈(530)과 검사 처리 모듈(540)을 통해 상기 대상체의 이미지 데이터로부터 결함 여부를 검사하고, 검사 결과에 기반 결함 검사 결과 데이터를 생성하여, 출력부(340)로 전달한다. 이후, 출력부(340)는, 전달받은 상기 대상체의 결함 검사 결과 데이터를 제공한다.Referring to FIG. 5, the processing unit 330 performs pre-processing in the pre-processing module 520 on the image data of the object input through the input unit 310, and the pre-processed image data of the object is selected in the model selection module 510. The defect is inspected from the image data of the object through the feature extraction module 530 and the inspection processing module 540 based on the learning model selected as the learning model corresponding to the defect inspection operation mode, and defect inspection result data is based on the inspection result. is generated and delivered to the output unit 340. Thereafter, the output unit 340 provides defect inspection result data of the received object.

한편, 본 명세서에서 제1 훈련 데이터셋은 대상체에 대한 검사를 위해 이미 분류된 데이터에 기초하여 생성될 수 있으며, 제2 훈련 데이터셋은 분류되지 않은 언노운(Unknown) 데이터에 기초하거나 그를 포함하여 생성될 수 있다.Meanwhile, in the present specification, the first training dataset may be generated based on data that has already been classified for examination of the object, and the second training dataset may be generated based on or including unclassified unknown data. It can be.

하기 표 1을 참조하면, 본 발명과 관련하여, 학습 모델에 따른 결함 검사 결과를 도시한 것으로 볼 수 있다.Referring to Table 1 below, in relation to the present invention, it can be seen as showing the defect inspection results according to the learning model.

Prod#1Prod#1 Prod#2Prod#2 UnknownUnknown 제2AI 학습모델2nd AI learning model 80.9%80.9% 84.2%84.2% 79.3%79.3% Prod#1제1AI 학습모델Prod#1First AI Learning Model 95.3%95.3% 61.9%61.9% 38.1%38.1% Prod#2
제1AI 학습모델
Prod#2
1st AI learning model
52.1%52.1% 97.6%97.6% 50.7%50.7%

따라서, 전술한 바와 같이, 대상체에 대하여 특정된 대상에 대하여 선별적으로 학습 모델을 선정하여, 상기 대상체에 대한 결함 검사를 수행하는 것이 바람직하다. 즉, 대상체 대하여 대상이 특정되지 않은 언노운의 경우에는 제2 학습 모델을 이용하여 결함 검사를 수행하고, 기분류된 데이터 중 Prod#1에 대해서는 제1 학습 모델 중 Prod#1에 대응하는 제1 학습 모델을, 그리고 기분류된 데이터 중 Prod#2에 대해서는 제1 학습 모델 중 Prod#2에 대응하는 제1 학습 모델을 선별적으로 선정하여 결함 검사를 수행하는 것이 가장 성능이 우수하고 효율적이며, 원하는 결함 검사 결과를 획득할 수 있다.Therefore, as described above, it is desirable to selectively select a learning model for a specified object and perform defect inspection on the object. That is, in the case of an unknown object in which the object is not specified, defect inspection is performed using the second learning model, and for Prod#1 among the previously stored data, the first learning model corresponding to Prod#1 is used among the first learning models. model, and for Prod#2 among the previously stored data, performing defect inspection by selectively selecting the first learning model corresponding to Prod#2 among the first learning models has the best performance and efficiency, and is the desired Defect inspection results can be obtained.

다른 실시예에 따라, 도 6 및 7을 참조하면, 전자 장치(100)의 결함 검사부(610)은, 도 3에 도시된 결함 검사부의 구성과 상이할 수 있다. 즉, 도 3에서 결함 검사부는 학습부(320)와 처리부(330)가 개별 구성으로 도시되고 각 구성은 개별적으로 전처리 모듈, 특징 추출 모듈 및 검사 처리 모듈을 구비하는 방식으로 구현되었으나, 도 6 및 7에서는 전처리 모듈(720), 특징 추출 모듈(740) 및 검사 처리 모듈(750)을 결함 검사부(610)가 공유하여 도 3의 학습부와 처리부의 기능을 수행하는 방식으로 모듈화 구현되었다. 이 때, 도 6 및 도 7의 결함 검사 처리부(610)는 도 5에 도시된 바와 같은 모델 선택 모듈(710)을 포함한다.According to another embodiment, referring to FIGS. 6 and 7 , the defect inspection unit 610 of the electronic device 100 may have a different configuration from the defect inspection unit shown in FIG. 3 . That is, in FIG. 3, the defect inspection unit shows the learning unit 320 and the processing unit 330 as individual components, and each component is implemented in such a way that it individually includes a pre-processing module, a feature extraction module, and an inspection processing module. However, in FIG. 6 and In 7, the pre-processing module 720, the feature extraction module 740, and the inspection processing module 750 are shared by the defect inspection unit 610 to perform the functions of the learning unit and processing unit of FIG. 3. At this time, the defect inspection processing unit 610 of FIGS. 6 and 7 includes a model selection module 710 as shown in FIG. 5.

한편, 도 2의 동작 16과 같이, 결함 여부 검사 결과 데이터는 예를 들어, 도 8이나 도 9의 (c) 내지 도 9의 (d)와 같은 방식으로 대상체의 이미지 데이터 상에 검출된 결함 부분을 표시하는 방식으로 제공될 수 있다. 다만, 본 발명은 이러한 제공 방식에 한정되는 것은 아니다. 예를 들어, 상기와 같은 방식에 검출된 결함의 타입, 결함의 정도, 결함의 개수, 결함 비율 등과 관련된 텍스트, 오디오, 이미지(그래프) 등이 더 추가되거나 개별로 제공될 수도 있다.Meanwhile, as in operation 16 of FIG. 2, the defect inspection result data is a defect portion detected on the image data of the object in the same manner as, for example, Figure 8 or Figure 9 (c) to Figure 9 (d). It can be provided in a way that displays . However, the present invention is not limited to this provision method. For example, text, audio, images (graphs), etc. related to the type of defect detected in the above manner, degree of defect, number of defects, defect ratio, etc. may be added or provided separately.

도 8의 (a) 내지 도 8의 (b)는 전술한 제2 결함 검사 동작 모드 즉, 도 4 내지 5에서 설명한 제2 학습 모델을 이용한 대상체의 이미지 데이터로부터 결함 검사 결과를 나타낸다. 반면, 도 8의 (c) 내지 도 8의 (d)는 전술한 제1 결함 검사 동작 모드 즉, 도 4 내지 5에서 설명한 상기 대상체에 특화된 제1 학습 모델을 이용한 대상체의 이미지 데이터로부터 결함 검사 결과를 나타낸다. FIGS. 8(a) to 8(b) show defect inspection results from image data of an object using the above-described second defect inspection operation mode, that is, the second learning model described in FIGS. 4 to 5. On the other hand, FIGS. 8(c) to 8(d) show defect inspection results from image data of the object using the above-described first defect inspection operation mode, that is, the first learning model specialized for the object described in FIGS. 4 to 5. represents.

도 9의 (a) 내지 도 9의 (b)는, 미리 생성된 하나의 학습된 모델만을 이용하여 대상체의 이미지 데이터 내 결함 여부 검사 결과를 나타낸 것이다. 이에 반해, 도 9의 (c) 내지 도 9의 (d)는 전술한 본 발명에 따라 다수의 학습 모델 중에서 선별적으로 학습 모델을 선택하여 대상체의 이미지 데이터 내 결함 여부를 검사한 결과를 나타낸 것이다.9(a) to 9(b) show the results of inspecting for defects in image data of an object using only one pre-generated learned model. On the other hand, Figures 9(c) to 9(d) show the results of inspecting for defects in the image data of the object by selectively selecting a learning model from a plurality of learning models according to the present invention described above. .

도 8의 (a) 내지 도 8의 (d)에 도시된 이미지 데이터 내 사각형 부분(811 내지 844) 및 도 9의 (a) 내지 도 9의 (d)에 도시된 이미지 데이터 내 사각형 부분(911 내지 941)은 결함 검출 부분을 나타낸다.Rectangular portions 811 to 844 in the image data shown in FIGS. 8(a) to 8(d) and rectangular portions 911 in the image data shown in FIGS. 9(a) to 9(d) to 941) indicate a defect detection part.

본 발명의 권리범위와 관련하여, 프로세서는 문맥에 따라 도 3 내지 7에 도시된 입력부, 학습부, 처리부 및 출력부 모두를 나타내거나 그 중 적어도 하나 이상을 나타낼 수도 있다.In relation to the scope of the present invention, the processor may represent all of the input unit, learning unit, processing unit, and output unit shown in FIGS. 3 to 7, or may represent at least one or more of them, depending on the context.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in connection with embodiments of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof. The software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. Above, embodiments of the present invention have been described with reference to the attached drawings, but those skilled in the art will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. You will be able to understand it. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive.

100 : 전자 장치
150 : 이미지 획득 장치
310 : 입력부
320 : 학습부
330 : 처리부
340 : 출력부
510 : 모델 선택 모듈
100: electronic device
150: image acquisition device
310: input unit
320: Learning Department
330: processing unit
340: output unit
510: model selection module

Claims (10)

학습 모델을 이용한 결함 검사 수행 장치에 있어서,
메모리; 및
대상체의 결함을 검사하는 프로세서를 포함하되,
상기 프로세서는,
상기 메모리에 저장된 상기 대상체의 결함 검사를 위한 복수 개의 학습 모델 중 선택된 적어도 하나의 학습 모델에 기초하여 상기 대상체의 결함 검사를 수행하는 처리부;
상기 메모리에 저장된 상기 대상체의 결함 검사를 위한 복수 개의 학습 변수에 대응하는 훈련 데이터셋을 전처리하는 전처리 모듈;
상기 전처리된 데이터로부터 특징을 추출하는 특징 추출 모듈; 및
상기 추출된 특징에 기초하여 상기 훈련 데이터셋에 대응하는 개별 학습 모델을 생성하는 처리 모듈을 포함하고,
상기 복수 개의 학습 모델은,
기분류된 데이터 중 Prod#1에 대해서는 상기 Prod#1에 대응하는 제1 학습 모델을 선정하여 결함 검사를 수행하며,
상기 기분류된 데이터 중 Prod#2에 대해서는 상기 Prod#2에 대응하는 제1 학습 모델을 선정하여 결함 검사를 수행하고,
상기 대상체의 이미지 데이터 내 사각형 영역에, 결함 부분에 상응하는 결함 타입, 결함 정도, 결함 개수, 결함 비율을 표시하는 것을 특징으로 하는, 장치.
In a device for performing defect inspection using a learning model,
Memory; and
Including a processor that inspects the object for defects,
The processor,
a processing unit that performs defect inspection of the object based on at least one learning model selected from among a plurality of learning models for defect inspection of the object stored in the memory;
a preprocessing module that preprocesses a training dataset corresponding to a plurality of learning variables for defect inspection of the object stored in the memory;
a feature extraction module that extracts features from the preprocessed data; and
A processing module that generates an individual learning model corresponding to the training dataset based on the extracted features,
The plurality of learning models are,
For Prod#1 among the previously stored data, a defect check is performed by selecting the first learning model corresponding to Prod#1,
For Prod#2 among the unfiltered data, select a first learning model corresponding to Prod#2 and perform defect inspection,
A device characterized in that the defect type, defect degree, number of defects, and defect ratio corresponding to the defect portion are displayed in a rectangular area in the image data of the object.
제1항에 있어서,
상기 복수 개의 학습 모델은,
상기 복수 개의 학습 변수 중 미리 분류된 학습 변수에 대한 개별 훈련 데이터가 포함된 제1 훈련 데이터셋과, 상기 복수 개의 학습 변수 중 미리 분류되지 않은 학습 변수 또는 상기 제1 훈련 데이터셋의 조합에 따른 제2 훈련 데이터셋을 포함하는 것을 특징으로 하는, 장치.
According to paragraph 1,
The plurality of learning models are,
A first training dataset that includes individual training data for pre-classified learning variables among the plurality of learning variables, and a first training dataset or a learning variable that is not pre-classified among the plurality of learning variables. 2. An apparatus comprising a training dataset.
제2항에 있어서,
상기 복수 개의 학습 모델은,
상기 제1 훈련 데이터셋에 대응하는 제1 학습 모델과, 상기 제2 훈련 데이터셋에 대응하는 제2 학습 모델을 포함하는 것을 특징으로 하는, 장치.
According to paragraph 2,
The plurality of learning models are,
An apparatus comprising a first learning model corresponding to the first training dataset, and a second learning model corresponding to the second training dataset.
제3항에 있어서,
상기 복수 개의 학습 모델은,
상기 대상체에 대하여 대상이 특정되지 않은 언노운의 경우에는 제2 학습 모델을 이용하여 결함 검사를 수행하는 것을 특징으로 하는, 장치.
According to paragraph 3,
The plurality of learning models are,
In the case of an unknown object in which the object is not specified, the device is characterized in that defect inspection is performed using a second learning model.
제4항에 있어서,
상기 프로세서는,
상기 대상체의 이미지 데이터를 입력받는 입력부; 및
상기 대상체의 결함 검사 결과를 제공하는 출력부; 를 더 포함하는, 장치.
According to paragraph 4,
The processor,
an input unit that receives image data of the object; and
an output unit providing defect inspection results of the object; A device further comprising:
장치에 의해 수행되는 학습 모델을 이용한 결함 검사 수행 방법에 있어서,
대상체의 결함 검사를 위한 복수 개의 학습 모델 중 선택된 적어도 하나의 학습 모델에 기초하여 대상체의 결함 검사를 수행하는 단계;
상기 대상체의 결함 검사를 위한 복수 개의 학습 변수에 대응하는 훈련 데이터셋을 전처리하는 단계;
상기 전처리된 데이터로부터 특징을 추출하는 단계; 및
상기 추출된 특징에 기초하여 상기 훈련 데이터셋에 대응하는 개별 학습 모델을 생성하는 단계; 를 포함하고,
상기 복수 개의 학습 모델은,
기분류된 데이터 중 Prod#1에 대해서는 상기 Prod#1에 대응하는 제1 학습 모델을 선정하여 결함 검사를 수행하며,
상기 기분류된 데이터 중 Prod#2에 대해서는 상기 Prod#2에 대응하는 제1 학습 모델을 선정하여 결함 검사를 수행하고,
상기 대상체의 이미지 데이터 내 사각형 영역에, 결함 부분에 상응하는 결함 타입, 결함 정도, 결함 개수, 결함 비율을 표시하는 것을 특징으로 하는, 방법.
In a method of performing defect inspection using a learning model performed by a device,
performing defect inspection of an object based on at least one learning model selected from among a plurality of learning models for defect inspection of the object;
Preprocessing a training dataset corresponding to a plurality of learning variables for defect inspection of the object;
extracting features from the preprocessed data; and
generating an individual learning model corresponding to the training dataset based on the extracted features; Including,
The plurality of learning models are,
For Prod#1 among the previously stored data, a defect check is performed by selecting the first learning model corresponding to Prod#1,
For Prod#2 among the unfiltered data, select a first learning model corresponding to Prod#2 and perform defect inspection,
A method characterized in that the defect type, defect degree, defect number, and defect ratio corresponding to the defect portion are displayed in a rectangular area in the image data of the object.
제6항에 있어서,
상기 복수 개의 학습 모델은,
상기 복수 개의 학습 변수 중 미리 분류된 학습 변수에 대한 개별 훈련 데이터가 포함된 제1 훈련 데이터셋과, 상기 복수 개의 학습 변수 중 미리 분류되지 않은 학습 변수 또는 상기 제1 훈련 데이터셋의 조합에 따른 제2 훈련 데이터셋을 포함하는 것을 특징으로 하는, 방법.
According to clause 6,
The plurality of learning models are,
A first training dataset that includes individual training data for pre-classified learning variables among the plurality of learning variables, and a first training dataset or a learning variable that is not pre-classified among the plurality of learning variables. 2 Method, characterized in that it includes a training dataset.
제7항에 있어서,
상기 복수 개의 학습 모델은,
상기 제1 훈련 데이터셋에 대응하는 제1 학습 모델과, 상기 제2 훈련 데이터셋에 대응하는 제2 학습 모델을 포함하는 것을 특징으로 하는, 방법.
In clause 7,
The plurality of learning models are,
A method comprising a first learning model corresponding to the first training dataset, and a second learning model corresponding to the second training dataset.
제8항에 있어서,
상기 복수 개의 학습 모델은,
상기 대상체에 대하여 대상이 특정되지 않은 언노운의 경우에는 제2 학습 모델을 이용하여 결함 검사를 수행하는 것을 특징으로 하는, 방법.
According to clause 8,
The plurality of learning models are,
In the case of an unknown object in which the object is not specified, the method is characterized in that defect inspection is performed using a second learning model.
제9항에 있어서,
상기 대상체의 이미지 데이터를 입력받는 단계; 및
상기 대상체의 결함 검사 결과를 제공하는 단계; 를 더 포함하는, 방법.
According to clause 9,
Receiving image data of the object; and
providing defect inspection results of the object; A method further comprising:
KR1020230155218A 2021-11-30 2023-11-10 Defect inspection performance device using learning model, method, system and program KR20230160754A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230155218A KR20230160754A (en) 2021-11-30 2023-11-10 Defect inspection performance device using learning model, method, system and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210169106A KR102602559B1 (en) 2021-11-30 2021-11-30 Method, apparatus and system for non-constructive inspection of object based on selective artificial intelligence engine
KR1020230155218A KR20230160754A (en) 2021-11-30 2023-11-10 Defect inspection performance device using learning model, method, system and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210169106A Division KR102602559B1 (en) 2021-11-30 2021-11-30 Method, apparatus and system for non-constructive inspection of object based on selective artificial intelligence engine

Publications (1)

Publication Number Publication Date
KR20230160754A true KR20230160754A (en) 2023-11-24

Family

ID=86612612

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210169106A KR102602559B1 (en) 2021-11-30 2021-11-30 Method, apparatus and system for non-constructive inspection of object based on selective artificial intelligence engine
KR1020230155218A KR20230160754A (en) 2021-11-30 2023-11-10 Defect inspection performance device using learning model, method, system and program

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210169106A KR102602559B1 (en) 2021-11-30 2021-11-30 Method, apparatus and system for non-constructive inspection of object based on selective artificial intelligence engine

Country Status (2)

Country Link
KR (2) KR102602559B1 (en)
WO (1) WO2023101375A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102249836B1 (en) 2019-08-26 2021-05-10 레이디소프트 주식회사 Method for non-destructive inspection based on image and Computer-readable storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018147240A (en) * 2017-03-06 2018-09-20 パナソニックIpマネジメント株式会社 Image processing device, image processing method, and image processing program
EP3803687A4 (en) * 2018-05-27 2022-03-23 Elucid Bioimaging Inc. Methods and systems for utilizing quantitative imaging
KR101940029B1 (en) * 2018-07-11 2019-01-18 주식회사 마키나락스 Anomaly detection
JP7192720B2 (en) * 2019-09-04 2022-12-20 信越化学工業株式会社 Photomask blank defect classification method and defect classification system, and photomask blank selection method and manufacturing method
KR102316286B1 (en) * 2021-02-18 2021-10-22 임계현 Method for analyzing hair condition using artificial intelligence and computing device for executing the method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102249836B1 (en) 2019-08-26 2021-05-10 레이디소프트 주식회사 Method for non-destructive inspection based on image and Computer-readable storage medium

Also Published As

Publication number Publication date
WO2023101375A1 (en) 2023-06-08
KR20230081911A (en) 2023-06-08
KR102602559B1 (en) 2023-11-16
KR102602559B9 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
US11887311B2 (en) Method and apparatus for segmenting a medical image, and storage medium
Corona-Figueroa et al. Mednerf: Medical neural radiance fields for reconstructing 3d-aware ct-projections from a single x-ray
KR20210049086A (en) Article inspection by dynamic selection of projection angle
EP3410393A1 (en) Comparing medical images
JP2019109563A (en) Data generation device, data generation method, and data generation program
US20100328313A1 (en) Advanced clustering method for material separation in dual energy ct
CN112435198A (en) Welding seam radiographic inspection negative image enhancement method, storage medium and equipment
JP2011112650A (en) Computed tomography method, computer software, calculation device and computed tomography system for determining volumetric representation of sample
CN112699919A (en) Wood identification method and device based on three-dimensional convolutional neural network model
CN116612111A (en) High-strength composite material processing quality detection method
Srivastava et al. Application of an expert system of X‐ray micro computed tomography imaging for identification of Sitophilus oryzae infestation in stored rice grains
Andriiashen et al. CT-based data generation for foreign object detection on a single X-ray projection
KR102602559B1 (en) Method, apparatus and system for non-constructive inspection of object based on selective artificial intelligence engine
CN108618797A (en) The contrast enhancing of spectral CT image data reproduces
JP7200647B2 (en) DATA PROCESSING METHOD, DATA PROCESSING APPARATUS, AND DATA PROCESSING PROGRAM
CN112101438A (en) Left and right eye classification method, device, server and storage medium
KR20220111214A (en) Method, apparatus and computer program for inspection of product based on artificial intelligence
Scheible et al. Tomosim: Simulation of filamentous cryo-electron tomograms
CN114494952B (en) Mammary gland MRI image time sequence generation method based on perception loss
KR102597081B1 (en) Method, apparatus and system for ensemble non-constructing inspection of object based on artificial intelligence
KR102585028B1 (en) Method, apparatus and system for non-constructive inspection of object based on three-dimensional process
US6400841B1 (en) Method for evaluating three-dimensional rendering systems
JP2021042955A (en) Food inspection device, food inspection method and learning method of food reconstruction neural network for food inspection device
US20240068962A1 (en) X-ray imaging system and learned model production method
KR102454975B1 (en) System, method and program for creating high definition x-ray image basen on deep-learning

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application