KR102542505B1 - 학습데이터 생성 방법, 장치, 프로그램 및 이를 이용한 이물질 검출 방법 - Google Patents

학습데이터 생성 방법, 장치, 프로그램 및 이를 이용한 이물질 검출 방법 Download PDF

Info

Publication number
KR102542505B1
KR102542505B1 KR1020200153337A KR20200153337A KR102542505B1 KR 102542505 B1 KR102542505 B1 KR 102542505B1 KR 1020200153337 A KR1020200153337 A KR 1020200153337A KR 20200153337 A KR20200153337 A KR 20200153337A KR 102542505 B1 KR102542505 B1 KR 102542505B1
Authority
KR
South Korea
Prior art keywords
image
electronic device
defective product
foreign material
radiation dose
Prior art date
Application number
KR1020200153337A
Other languages
English (en)
Other versions
KR20220067617A (ko
Inventor
전석원
민병석
김승환
김영복
김형철
Original Assignee
(주)자비스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)자비스 filed Critical (주)자비스
Priority to KR1020200153337A priority Critical patent/KR102542505B1/ko
Priority to PCT/KR2021/016500 priority patent/WO2022108249A1/ko
Publication of KR20220067617A publication Critical patent/KR20220067617A/ko
Priority to KR1020230072936A priority patent/KR20230090302A/ko
Application granted granted Critical
Publication of KR102542505B1 publication Critical patent/KR102542505B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18—Investigating the presence of flaws defects or foreign matter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Abstract

엑스레이 감쇠 공식을 이용한 학습데이터 생성 방법이 제공된다. 본 발명의 일 면에 따른 전자 장치가 수행하는 엑스레이 감쇠 공식을 이용한 학습데이터 생성 방법은, 상기 전자 장치가 양품 이미지 및 이물 이미지를 획득하는 단계; 및 상기 전자 장치가 엑스레이 감쇠 공식을 이용하여 상기 양품 이미지 및 상기 이물 이미지를 합성하여 불량품 이미지를 생성하는 단계;를 포함할 수 있다.

Description

학습데이터 생성 방법, 장치, 프로그램 및 이를 이용한 이물질 검출 방법{SYSTEM, METHOD AND PROGRAM FOR CREATING TRANINING DATA USING X-RAY ATTENUATION EQUATION AND METHOD FOR DETECTING FOREIGHN MATERIAL USING THEREOF}
본 발명은 학습데이터 생성 방법, 장치 및 프로그램에 관한 것으로, 보다 자세하게는 양품 이미지에 이물 이미지를 삽입하되 엑스레이 감쇠 공식을 활용하여 정밀하게 삽입하며 학습데이터 증폭이 용이한 학습데이터 생성 방법, 장치 및 프로그램에 관한 것이다.
또한, 본 발명은 대량의 학습데이터를 확보하기 위한 방법, 장치 및 프로그램에 관한 것으로, 보다 자세하게는 물리적으로 양품 이미지 및 이물 이미지를 다양하게 생성할 수 있는 학습데이터 생성 방법, 장치 및 프로그램에 관한 것이다.
공정의 품질 검사 프로세스에서 최근 각광받고 있는　딥러닝　기술이 접목되고 있다.　이러한　딥러닝　기술은 불량품 구분의 정확성을 높이기 위해 다량의　학습데이터　확보가 필수적이다.　즉,　다량의 학습데이터를 이용하여 정상상태에 대해 학습을 수행함으로써 불량품 구분 모델의 정확성을 높일 수 있다.　따라서 정확한 불량품 구분 모델을 위해서는 다량의 학습 데이터를 확보하는 것이 최우선 과제라 할 수 있다.　다만,　학습데이터를 생성하는데 익숙하지 않은　비숙련자가　모델링을 수행 할 때,　데이터의 전처리 및 기타 처리를 잘못하여 학습데이터를 잘못 생성하는 경우가 발생될 수 있다.　잘못 생성된 학습데이터에 의해 성능이 떨어지는 예측 모델이 생성될 수 있고,　이로 인해 예측 정확도가 상당히 떨어지게 되어 솔루션의 성능을 저하시키게 되는 문제점이 있었다.
또한,　예를 들어,　식품 분야에서 충분한 불량품 이미지를 확보하기 어렵기 때문에,　학습데이터를 만들기 어려운 문제가 있었으며,　불량품 이미지를 인위적으로 확보하더라도 양품과 이물을 겹쳐서 찍는 수작업을 반복해야 하기 때문에 충분한 학습데이터에 도달하기 어려운 문제점이 있었다.
JP 2020-027424 JP 5156452 KR 1661687
본 발명이 해결하고자 하는 과제는 엑스레이 감쇠 공식을 이용하여 매우 정밀하게 양품 이미지와 이물 이미지를 합성하여 불량품 이미지를 생성하는 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 소형의 이물 이미지를 양품 이미지에 삽입하되 이물 이미지의 삽입 각도, 위치 또는 형태 등을 변형하여 학습데이터를 크게 증폭할 수 있는 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 물리적으로 양품 이미지 및 이물 이미지를 다양하게 생성할 수 있는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 전자 장치가 수행하는 엑스레이 감쇠 공식을 이용한 학습데이터 생성 방법은, 상기 전자 장치가 양품 이미지 및 이물 이미지를 획득하는 단계; 및 상기 전자 장치가 엑스레이 감쇠 공식을 이용하여 상기 양품 이미지 및 상기 이물 이미지를 합성하여 불량품 이미지를 생성하는 단계를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
본 발명에 따르면, 물리적으로 양품 이미지 및 이물 이미지를 다양하게 생성할 수 있다.
또한, 본 발명에 따르면, 양품 이미지와 이물 이미지를 따로 확보하고 이물별 감쇠계수와 두께를 이용하여 퀄리티 높은 이미지를 합성할 수 있다.
또한, 본 발명에 따르면, 양품 이미지와 별개로 확보된 이물 이미지의 감쇠계수, 두께, 삽입 각도, 삽입 위치, 회전 등 여러 변수를 활용하여 하나의 이물 이미지를 기초로 다량의 불량품 이미지를 생성해낼 수 있다.
또한, 본 발명에 따르면, 이물 이미지를 별도로 양품 이미지에 합성시키는 과정에서 이물 이미지 정보를 정확히 알고 있기 때문에 통상적인 학습데이터셋을 생성하는데 많은 시간이 소요되는 이물에 대한 라벨링(박스처리, 바이너리 객체 제공 등) 처리 속도가 높아질 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1 은 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 이용한 학습데이터 생성 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 학습데이터 생성 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 학습데이터 생성 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 활용한 불량품 이미지 산출 방법을 설명하기 위한 흐름도이다.
도 5 내지 도 11은 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 활용한 불량품 이미지 산출 방법을 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1 은 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 이용한 학습데이터 생성 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 이용한 학습데이터 생성 방법을 실행하는 전자 장치(100)는 제어부(110), 데이터베이스(120), 딥러닝 네트워크(130) 및 CT 촬영부(140)를 포함할 수 있다.
일 실시 예에서, 제어부(110)는 학습데이터(예: 불량품 이미지)를 생성하는 각종 동작을 전반적으로 제어할 수 있으며, 데이터베이스(120)는 양품 이미지, 이물 이미지, 불량품 이미지, 이물 이미지 정보 등을 저장할 수 있다.
여기서, 양품 이미지란 불량 발견 없이 최종 품질 테스트가 통과된 물품의 이미지를 의미할 수 있으며, 예를 들어, 식품의 경우 이물이 없이 사람이 식용 가능한 형태로 품질 테스트가 완료된 식품의 이미지일 수 있다.
여기서, 이물 이미지란 제품에 원래 포함되지 않은 구성으로써 제품의 기능을 손상시킬 수 있는 물질의 이미지를 의미할 수 있으며, 예를 들어, 식품의 경우 먼지, 머리카락 등 식용이 불가능한 물질의 이미지일 수 있다.
여기서, 불량품 이미지란 양품에 이물이 삽입된 불량품이 포함된 이미지를 의미할 수 있으며, 예를 들어, 식품의 경우 음식 상에 먼지, 머리카락 등이 놓여진 상태를 촬영한 이미지일 수 있다.
여기서, 이물 이미지 정보는 이물 이미지가 양품 이미지에 삽입되는 각도, 위치, 크기, 형태 중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 전자 장치(100)는 양품 이미지와 이물 이미지를 따로 획득하여 저장하고, 엑스레이 감쇠 공식(변수: 이물별 감쇠계수(u)와 두께(t))을 이용하여 퀄리티 높은 불량품 이미지를 합성할 수 있으며, 양품 이미지와 별개로 확보된 이물 이미지의 두께, 삽입 각도, 크기, 위치, 회전, 이물의 밝기, 크기, 명도, 샤프니스(블러) 및 탁도 등 다양한 변수를 적용시켜서 하나의 이물 이미지를 기초로 수 많은 불량품 이미지를 생성해낼 수 있다.
즉, 본 발명은 각도, 벡터 등 변경해서 이물 경우의 수를 늘리는 단계 뿐 아니라, 이물의 밝기, 크기, 명도, 샤프니스(블러), 탁도 등을 변경해서 다양한 이물 이미지를 만들고 이를 양품 이미지와 합성하여 학습용 합성 데이터를 최대로 증폭할 수 있다.
또한, 일 실시 예에서, 전자 장치(100)는 이물 이미지를 별도로 양품 이미지에 합성 시키는 과정에서, 이물 이미지 정보를 정확히 알고 있기 때문에 통상적인 학습데이터셋을 생성하는데 많은 시간이 소요되는 이물에 대한 라벨링(박스처리, 바이너리 객체 제공 등) 작업 시간이 현저히 줄어들게 되고 효율이 올라간다.
도 2는 본 발명의 일 실시 예에 따른 학습데이터 생성 방법을 설명하기 위한 흐름도이다. 도 3은 본 발명의 일 실시 예에 따른 학습데이터 생성 방법을 설명하기 위한 예시도이다. 도 4는 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 활용한 불량품 이미지 산출 방법을 설명하기 위한 흐름도이다. 도 5 내지 도 11은 본 발명의 일 실시 예에 따른 엑스레이 감쇠 공식을 활용한 불량품 이미지 산출 방법을 설명하기 위한 예시도이다. 도 2 및 도 4의 동작들은 도 1의 전자 장치(100)를 통해 수행될 수 있다.
도 2 및 도 3을 참조하면, 일 실시 예에서, 전자 장치(100)는 동작 21에서, 양품 이미지 및 이물 이미지를 획득할 수 있다. 예를 들어, 전자 장치(100)는 도 3에 도시된 바와 같이 이물이 없는 양품 이미지(a) 및 먼지를 나타내는 이물 이미지(b)를 획득할 수 있다.
일 실시 예에서, 전자 장치(100)는 동작 22에서, 엑스레이 감쇠 공식을 이용하여 양품 이미지 및 이물 이미지를 합성하여 불량품 이미지를 생성할 수 있다. 예를 들어, 전자 장치(100)는 도 3과 같이 양품 이미지(a) 및 이물 이미지 (b)를 합성하여 불량품 이미지(c)를 생성할 수 있으며, 이를 위해 엑스레이 감쇠 공식을 이용할 수 있다.
구체적으로, 도 4 내지 도 11을 참조하면, 일 실시 예에서, 전자 장치(100)는 동작 41에서, 양품에 이물이 들어간 불량품을 엑스레이(X-ray) 촬영한 정보에 기초하여 하기 수학식 1로 표현되는 기준 방사선량을 산출할 수 있다.
예를 들어, 전자 장치(100)는 엑스레이 촬영부(미도시)를 구비하여 양품에 이물이 들어간 불량품을 촬영하여 엑스레이 촬영한 정보를 획득할 수 있으며, 이와 달리 외부의 엑스레이 촬영부로부터 불량품을 엑스레이 촬영한 정보를 획득할 수 있다.
예를 들어, 실제로 양품에 이물이 들어간 불량품을 촬영함으로써 이물이 들어간 불량품에서 검출될 수 있는 감쇠된 방사선량을 도 5와 같이 획득할 수 있다. 즉, 이물은 양품의 바로 위에 놓여 있거나 내부에 파묻혀 있을 수 있다. 따라서, 엑스선은 이물을 먼저 통과하거나 양품을 먼저 통과할 수 있으며, 양품 및 이물을 통과하여 최종적으로 감쇠된 방사선량 Ir2가 검출될 수 있다. 여기서 최종적으로 감쇠된 방사선량이 기준 방사선량이 된다. 즉, 실제로 불량품을 촬영함으로써 불량품 이미지를 합성할 때 기준으로 활용할 기준 방사선량을 획득할 수 있다.
Figure 112020122852163-pat00001
여기서, A 및 B는 각각 양품 또는 이물 중 어느 하나이고, Ir1은 A에 따라 감쇠된 방사선량이고, Io는 원방사선량이고, μA는 A의 감쇠계수이고, tA는 A의 두께이고, Ir2는 A 및 B에 따라 감쇠된 기준 방사선량이고, μB는 B의 감쇠계수이고, tB는 B의 두께이다.
일 실시 예에서, 전자 장치(100)는 동작 42에서, 양품 및 이물을 각각 엑스레이 촬영하여 양품 이미지 및 이물 이미지를 획득하면서 하기 수학식 2로 표현되는 제1 방사선량 및 제2 방사선량을 산출할 수 있다. 예를 들어, 전자 장치(100)는 도 6과 같이 제1 방사선량 I1 및 제2 방사선량 I2를 획득할 수 있다.
Figure 112020122852163-pat00002
여기서, I1은 A에 따라 감쇠된 제1 방사선량이고, Io는 원방사선량이고, μA는 A의 감쇠계수이고, tA는 A의 두께이고, I2는 B에 따라 감쇠된 제2 방사선량이고, μB는 B의 감쇠계수이고, tB는 B의 두께이다.
일 실시 예에서, 전자 장치(100)는 동작 43에서, 불량품 이미지의 제3 방사선량과 기준 방사선량이 일치되도록 양품 이미지 및 이물 이미지를 합성하여 불량품 이미지를 산출할 수 있다.
예를 들어, 전자 장치(100)는 단순히 양품 이미지와 이물 이미지를 합성하는 것이 아니라 도 7에 도시된 바와 같이 실제로 불량품에서 검출되는 기준 방사선량과 제3 방서선량 I3가 일치되도록 불량품 이미지를 합성함으로써 보다 퀄리티 높은 불량품 이미지를 합성할 수 있다.
Figure 112020122852163-pat00003
여기서, I3는 제3 방사선량이고, I1은 A에 따라 감쇠된 제1 방사선량이고, Io는 원방사선량이고, μA는 A의 감쇠계수이고, tA는 A의 두께이고, I2는 B에 따라 감쇠된 제2 방사선량이고, μB는 B의 감쇠계수이고, tB는 B의 두께이다.
일 실시 예에서, 전자 장치(100)는 동작 23에서, 엑스레이 감쇠 공식 및 생성된 불량품 이미지를 이용하여 복수의 불량품 이미지를 추가로 생성할 수 있다.
예를 들어, 전자 장치(100)는 양품 또는 이물 중 적어도 하나의 두께를 변화시킴으로써 변화된 두께에 대응하는 불량품 이미지를 추가로 생성할 수 있다. 예컨대, 도 8 및 도 9에 도시된 바와 같이 변화된 두께 tB'는 원래 두께 tB의 1/2 또는 1/4이 될 수 있으며, 이에 따라 제3 방사선량 I3도 도 8 및 하기 수학식 4에 기재된 바와 같이 변화하며, 도 8에서 생성된 불량품 이미지는 도 7에서 생성된 불량품 이미지와 다를 수 있다.
Figure 112020122852163-pat00004
또한, 예를 들어, 전자 장치(100)는 양품 또는 이물 중 적어도 하나의 감쇠계수를 변화시킴으로써 변화된 두께에 대응하는 불량품 이미지를 추가로 생성할 수 있다. 예컨대, 도 10 및 도 11에 도시된 바와 같이 변화된 감쇠계수 μb'는 원래 감쇠계수 μb의 1/2 또는 1/4이 될 수 있으며, 이에 따라 제3 방사선량 I3도 도 10 및 하기 수학식 5에 기재된 바와 같이 변화하며, 도 10에서 생성된 불량품 이미지는 도 7 및 도 9에서 생성된 불량품 이미지와 다를 수 있다.
Figure 112020122852163-pat00005
또한, 예를 들어, 전자 장치(100)는 양품 이미지보다 크기가 작은 이물 이미지를 양품 이미지에 삽입할 수 있고, 이물 이미지가 삽입되는 각도, 위치, 형태, 이물의 밝기, 크기, 명도, 샤프니스(블러) 및 탁도 중 적어도 하나를 변형하여 복수의 불량품 이미지를 생성할 수 있다. 이외에도 이물 이미지를 변형할 수 있는 다양한 변수에 기초하여 불량품 이미지를 증폭시킬 수 있다.
이와 같이 본 발명은 양품 이미지와 별개로 확보된 이물 이미지의 감쇠계수, 두께, 삽입 각도, 삽입 위치, 회전, 이물의 밝기, 크기, 명도, 샤프니스(블러) 및 탁도 등 여러 변수를 활용하여 하나의 이물 이미지를 기초로 다량의 불량품 이미지를 생성해낼 수 있으며, 이는 학습용 합성데이터가 최대로 증폭될 수 있음을 의미할 수 있다.
일 실시 예에서, 전자 장치(100)는 동작 24에서, 불량품 이미지에 레이블링(labeling)을 수행하여 학습데이터셋을 구축할 수 있다.
예를 들어, 전자 장치(100)는 이물 이미지가 양품 이미지에 삽입된 좌표, 이물 이미지의 크기, 이물 이미지에 표시된 이물의 정보 중 적어도 하나에 기초하여 바운딩 박스(bounding box) 또는 분할된 이미지(segmented image)를 설정할 수 있다.
즉, 본 발명은, 이물 이미지를 별도로 양품 이미지에 합성시키는 과정에서 이물 이미지 정보를 정확히 알고 있기 때문에 통상적인 학습데이터셋을 생성하는데 많은 시간이 소요되는 이물에 대한 라벨링(박스처리, 바이너리 객체 제공 등) 처리 속도를 높일 수 있다.
한편, 본 발명은 엑스레이 감쇠 공식을 이용하여 생성한 학습데이터셋을 이용하여 이물질 검출에 활용되는 딥러닝 네트워크를 기계학습하고 이물질을 정밀하게 검출할 수 있다.
예를 들어, 전자 장치(100)는 학습데이터셋을 기반으로 딥러닝 네트워크(130)를 트레이닝할 수 있고, 이미지를 딥러닝 네트워크(130)에 입력하여, 딥러닝 네트워크(130)를 통해 이미지에 이물이 포함된 지 여부를 산출할 수 있다. 여기서, 기계학습할 경우에 불량품 이미지가 정답 값(ground truth)로 활용될 수 있다.
본 발명의 일 면에 따른 전자 장치가 수행하는 엑스레이 감쇠 공식을 이용한 학습데이터 생성 방법은, 상기 전자 장치가 양품 이미지 및 이물 이미지를 획득하는 단계; 및 상기 전자 장치가 엑스레이 감쇠 공식을 이용하여 상기 양품 이미지 및 상기 이물 이미지를 합성하여 불량품 이미지를 생성하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 불량품 이미지를 생성하는 단계는, 상기 전자 장치가 양품에 이물이 들어간 불량품을 엑스레이(X-ray) 촬영한 정보에 기초하여 하기 수학식 1로 표현되는 기준 방사선량을 산출하는 단계; 상기 전자 장치가 상기 양품 및 상기 이물을 각각 엑스레이 촬영하여 상기 양품 이미지 및 상기 이물 이미지를 획득하면서 하기 수학식 2로 표현되는 제1 방사선량 및 제2 방사선량을 산출하는 단계; 상기 전자 장치가 상기 불량품 이미지의 제3 방사선량과 상기 기준 방사선량이 일치되도록 상기 양품 이미지 및 상기 이물 이미지를 합성하여 상기 불량품 이미지를 산출하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치가 엑스레이 감쇠 공식 및 상기 생성된 불량품 이미지를 이용하여 복수의 불량품 이미지를 추가로 생성하는 단계;를 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 복수의 불량품 이미지를 추가로 생성하는 단계는, 상기 전자 장치가 양품 또는 이물 중 적어도 하나의 두께를 변화시킴으로써 변화된 두께에 대응하는 불량품 이미지를 추가로 생성하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 복수의 불량품 이미지를 추가로 생성하는 단계는, 상기 전자 장치가 양품 또는 이물 중 적어도 하나의 감쇠계수를 변화시킴으로써 변화된 두께에 대응하는 불량품 이미지를 추가로 생성하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 불량품 이미지에 레이블링을 수행하여 학습데이터셋을 구축하는 단계는, 상기 전자 장치가 상기 이물 이미지가 상기 양품 이미지에 삽입된 좌표, 상기 이물 이미지의 크기, 상기 이물 이미지에 표시된 이물의 정보 중 적어도 하나에 기초하여 바운딩 박스(bounding box) 또는 분할된 이미지를 설정하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 불량품 이미지를 생성하는 단계는, 상기 전자 장치가 상기 양품 이미지보다 크기가 작은 상기 이물 이미지를 상기 양품 이미지에 삽입하는 단계; 및 상기 전자 장치가 상기 이물 이미지가 삽입되는 각도, 위치, 형태, 이물의 밝기, 크기, 명도, 샤프니스(블러) 및 탁도 중 적어도 하나를 변형하여 복수의 불량품 이미지를 생성하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치가 상기 불량품 이미지에 레이블링(labeling)을 수행하여 학습데이터셋을 구축하는 단계;를 더 포함할 수 있다.
본 발명의 일 면에 따른 전자 장치가 수행하는 딥러닝 기반 이물질 검출 방법은, 상기 전자 장치가 제1항의 학습데이터셋을 기반으로 딥러닝 네트워크를 트레이닝하는 단계; 및 상기 전자 장치가 이미지를 상기 딥러닝 네트워크에 입력하여, 상기 딥러닝 네트워크를 통해 상기 이미지에 이물이 포함된 지 여부를 산출하는 단계;를 포함할 수 있다.
본 발명의 일 면에 따른 제어부 및 데이터베이스를 포함하며 엑스레이 감쇠공식을 이용하여 학습데이터를 생성하는 전자 장치는, 상기 제어부가 양품 이미지 및 이물 이미지를 획득하고, 상기 제어부가 엑스레이 감쇠 공식을 이용하여 상기 양품 이미지 및 상기 이물 이미지를 합성하여 불량품 이미지를 생성하고, 상기 제어부가 상기 불량품 이미지에 레이블링(labeling)을 수행하여 학습데이터셋을 구축할 수 있다.
엑스레이 감쇠공식을 이용하여 학습데이터를 생성하는 프로그램은 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 전자 장치

Claims (10)

  1. 전자 장치가 수행하는 학습데이터 생성 방법에 있어서,
    상기 전자 장치가 양품 이미지 및 이물 이미지를 획득하는 단계;
    상기 전자 장치가 엑스레이 감쇠 공식을 이용하여 상기 양품 이미지 및 상기 이물 이미지를 합성하여 불량품 이미지를 생성하는 단계; 및
    상기 전자 장치가 엑스레이 감쇠 공식 및 상기 생성된 불량품 이미지를 이용하여 복수의 불량품 이미지를 추가로 생성하는 단계;를 포함하고,
    상기 복수의 불량품 이미지를 추가로 생성하는 단계에서,
    상기 전자 장치가 양품 및 이물 중 적어도 하나의 두께 또는 감쇠계수를 변화시킴으로써 변화된 두께에 대응하는 불량품 이미지를 추가로 생성하는 것을 특징으로 하는 학습데이터 생성 방법.
  2. 제1 항에 있어서, 상기 불량품 이미지를 생성하는 단계는,
    상기 전자 장치가 양품에 이물이 들어간 불량품을 엑스레이(X-ray) 촬영한 정보에 기초하여 하기 수학식 1로 표현되는 기준 방사선량을 산출하는 단계;
    상기 전자 장치가 상기 양품 및 상기 이물을 각각 엑스레이 촬영하여 상기 양품 이미지 및 상기 이물 이미지를 획득하면서 하기 수학식 2로 표현되는 제1 방사선량 및 제2 방사선량을 산출하는 단계;
    상기 전자 장치가 상기 불량품 이미지의 제3 방사선량과 상기 기준 방사선량이 일치되도록 상기 양품 이미지 및 상기 이물 이미지를 합성하여 상기 불량품 이미지를 산출하는 단계;를 포함하는 것을 특징으로 하는 학습데이터 생성 방법.
    [수학식 1]
    Figure 112020122852163-pat00006

    여기서, A 및 B는 각각 양품 또는 이물 중 어느 하나이고, Ir1은 A에 따라 감쇠된 방사선량이고, Io는 원방사선량이고, μA는 A의 감쇠계수이고, tA는 A의 두께이고, Ir2는 A 및 B에 따라 감쇠된 기준 방사선량이고, μB는 B의 감쇠계수이고, tB는 B의 두께이다.
    [수학식 2]
    Figure 112020122852163-pat00007

    여기서, I1은 A에 따라 감쇠된 제1 방사선량이고, Io는 원방사선량이고, μA는 A의 감쇠계수이고, tA는 A의 두께이고, I2는 B에 따라 감쇠된 제2 방사선량이고, μB는 B의 감쇠계수이고, tB는 B의 두께이다.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1 항에 있어서, 상기 전자 장치가 상기 불량품 이미지에 레이블링(labeling)을 수행하여 학습데이터셋을 구축하는 단계;를 더 포함하고,
    상기 불량품 이미지에 레이블링을 수행하여 학습데이터셋을 구축하는 단계는,
    상기 전자 장치가 상기 이물 이미지가 상기 양품 이미지에 삽입된 좌표, 상기 이물 이미지의 크기, 상기 이물 이미지에 표시된 이물의 정보 중 적어도 하나에 기초하여 바운딩 박스(bounding box) 또는 분할된 이미지를 설정하는 단계;를 포함하는 것을 특징으로 하는 학습데이터 생성 방법.
  7. 삭제
  8. 삭제
  9. 전자 장치가 수행하는 이물질 검출 방법에 있어서,
    상기 전자 장치가 학습데이터셋을 생성하는 단계;
    상기 전자 장치가 생성된 상기 학습데이터셋을 기반으로 딥러닝 네트워크를 트레이닝하는 단계; 및
    상기 전자 장치가 이미지를 상기 딥러닝 네트워크에 입력하여, 상기 딥러닝 네트워크를 통해 상기 이미지에 이물이 포함된 지 여부를 산출하는 단계;를 포함하고,
    상기 전자 장치가 학습데이터셋을 생성하는 단계는,
    상기 전자 장치가 양품 이미지 및 이물 이미지를 획득하는 단계;
    상기 전자 장치가 엑스레이 감쇠 공식을 이용하여 상기 양품 이미지 및 상기 이물 이미지를 합성하여 불량품 이미지를 생성하는 단계;
    상기 전자 장치가 엑스레이 감쇠 공식 및 상기 생성된 불량품 이미지를 이용하여 복수의 불량품 이미지를 추가로 생성하는 단계; 및
    상기 전자 장치가 상기 불량품 이미지에 레이블링(labeling)을 수행하여 상기 학습데이터셋을 구축하는 단계;를 포함하고,
    상기 복수의 불량품 이미지를 추가로 생성하는 단계에서,
    상기 전자 장치가 양품 및 이물 중 적어도 하나의 두께 또는 감쇠계수를 변화시킴으로써 변화된 두께에 대응하는 불량품 이미지를 추가로 생성하는 것을 특징으로 하는 이물질 검출 방법.
  10. 하드웨어인 컴퓨터와 결합되어, 제1항, 제2항 및 제6항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 학습데이터를 생성하는 프로그램.
KR1020200153337A 2020-11-17 2020-11-17 학습데이터 생성 방법, 장치, 프로그램 및 이를 이용한 이물질 검출 방법 KR102542505B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200153337A KR102542505B1 (ko) 2020-11-17 2020-11-17 학습데이터 생성 방법, 장치, 프로그램 및 이를 이용한 이물질 검출 방법
PCT/KR2021/016500 WO2022108249A1 (ko) 2020-11-17 2021-11-12 학습데이터 생성 방법, 장치, 프로그램 및 이를 이용한 이물질 검출 방법
KR1020230072936A KR20230090302A (ko) 2020-11-17 2023-06-07 딥러닝 기반의 불량품 이미지를 생성하는 학습데이터 구축 방법, 장치 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200153337A KR102542505B1 (ko) 2020-11-17 2020-11-17 학습데이터 생성 방법, 장치, 프로그램 및 이를 이용한 이물질 검출 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230072936A Division KR20230090302A (ko) 2020-11-17 2023-06-07 딥러닝 기반의 불량품 이미지를 생성하는 학습데이터 구축 방법, 장치 및 프로그램

Publications (2)

Publication Number Publication Date
KR20220067617A KR20220067617A (ko) 2022-05-25
KR102542505B1 true KR102542505B1 (ko) 2023-06-13

Family

ID=81709282

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200153337A KR102542505B1 (ko) 2020-11-17 2020-11-17 학습데이터 생성 방법, 장치, 프로그램 및 이를 이용한 이물질 검출 방법
KR1020230072936A KR20230090302A (ko) 2020-11-17 2023-06-07 딥러닝 기반의 불량품 이미지를 생성하는 학습데이터 구축 방법, 장치 및 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230072936A KR20230090302A (ko) 2020-11-17 2023-06-07 딥러닝 기반의 불량품 이미지를 생성하는 학습데이터 구축 방법, 장치 및 프로그램

Country Status (2)

Country Link
KR (2) KR102542505B1 (ko)
WO (1) WO2022108249A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012506530A (ja) 2008-09-19 2012-03-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｐｅｔ−ｍｒにおける減衰マップの生成方法
JP2020144688A (ja) * 2019-03-07 2020-09-10 株式会社Ihi 学習方法、学習装置、及び当該学習装置を備える溶接欠陥検出装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5156452B2 (ja) 2008-03-27 2013-03-06 東京エレクトロン株式会社 欠陥分類方法、プログラム、コンピュータ記憶媒体及び欠陥分類装置
KR101747300B1 (ko) * 2010-10-21 2017-06-15 삼성전자주식회사 영상을 처리하는 방법, 이를 수행하는 영상처리장치 및 의료영상시스템
KR101661687B1 (ko) 2015-05-18 2016-09-30 (주)투비시스템 X-ray 기반의 PCB 불량 판정 방법 및 장치
KR102000938B1 (ko) * 2016-05-23 2019-07-17 (주)자비스 영역 지정에 따른 지능형 판정 기준의 자동 설정 방법 및 그에 의한 스마트 학습 방식의 엑스레이 검사 방법
KR20190063839A (ko) * 2017-11-30 2019-06-10 전자부품연구원 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
KR102171491B1 (ko) * 2017-12-21 2020-10-29 동의대학교 산학협력단 딥러닝을 이용한 양품 선별 방법
JP2020027424A (ja) 2018-08-10 2020-02-20 東京エレクトロンデバイス株式会社 学習データ生成装置、判別モデル生成装置、及びプログラム
JP2020060419A (ja) * 2018-10-09 2020-04-16 三菱電機株式会社 異物監視装置および異物監視方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012506530A (ja) 2008-09-19 2012-03-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｐｅｔ−ｍｒにおける減衰マップの生成方法
JP2020144688A (ja) * 2019-03-07 2020-09-10 株式会社Ihi 学習方法、学習装置、及び当該学習装置を備える溶接欠陥検出装置

Also Published As

Publication number Publication date
KR20220067617A (ko) 2022-05-25
KR20230090302A (ko) 2023-06-21
WO2022108249A1 (ko) 2022-05-27

Similar Documents

Publication Publication Date Title
US9031317B2 (en) Method and apparatus for improved training of object detecting system
US8131107B2 (en) Method and system for identifying defects in NDT image data
WO2020046960A1 (en) System and method for optimizing damage detection results
US20100220910A1 (en) Method and system for automated x-ray inspection of objects
JP2012032370A (ja) 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体
US20220244194A1 (en) Automated inspection method for a manufactured article and system for performing same
JP6749655B1 (ja) 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
US11222418B2 (en) System and method for automated surface assessment
CN107111872A (zh) 信息处理装置、信息处理方法、及程序
US20170280130A1 (en) 2d video analysis for 3d modeling
JP4982213B2 (ja) 欠陥検査装置及び欠陥検査方法
JP2008304269A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
KR20160149106A (ko) 부품 결함 검사 방법 및 그 장치
US20220222822A1 (en) Microscopy System and Method for Evaluating Image Processing Results
CN109978985B (zh) 数据处理方法及装置、存储介质、电子设备
US20230177683A1 (en) Domain Aware Medical Image Classifier Interpretation by Counterfactual Impact Analysis
KR102542505B1 (ko) 학습데이터 생성 방법, 장치, 프로그램 및 이를 이용한 이물질 검출 방법
US20110075938A1 (en) Identifying image abnormalities using an appearance model
CN116630263A (zh) 基于深度神经网络的焊缝x射线图像缺陷检测与识别方法
CN113192070B (zh) 一种基于计算机视觉的焊缝图像处理方法和系统
CN109063601A (zh) 唇纹检测方法、装置、计算机设备和存储介质
KR20220111214A (ko) 인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램
JP2007017264A (ja) 画像処理アルゴリズム評価方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびにプログラム記録媒体
KR20200002590A (ko) 검사 결과 제시 장치, 검사 결과 제시 방법 및 검사 결과 제시 프로그램
JP7366325B1 (ja) 情報処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant