KR20200143957A - 제품 검사를 위한 자동 학습 방법 및 시스템 - Google Patents
제품 검사를 위한 자동 학습 방법 및 시스템 Download PDFInfo
- Publication number
- KR20200143957A KR20200143957A KR1020190071680A KR20190071680A KR20200143957A KR 20200143957 A KR20200143957 A KR 20200143957A KR 1020190071680 A KR1020190071680 A KR 1020190071680A KR 20190071680 A KR20190071680 A KR 20190071680A KR 20200143957 A KR20200143957 A KR 20200143957A
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- product
- neural network
- artificial neural
- photographed image
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 108
- 238000012549 training Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000013528 artificial neural network Methods 0.000 claims abstract description 96
- 230000007547 defect Effects 0.000 claims abstract description 58
- 230000002950 deficient Effects 0.000 claims description 61
- 238000004590 computer program Methods 0.000 claims description 7
- 230000015654 memory Effects 0.000 description 26
- 238000004519 manufacturing process Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 21
- 238000012360 testing method Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
제품 검사를 위한 자동 학습 방법 및 시스템을 제시하며, 제품 검사를 위한 자동학습시스템에 있어서, 제품의 결함을 검사하는 인공신경망의 학습에 이용되는 학습데이터를 생성하는 트레이닝시스템 및 생성된 학습데이터를 기초로 상기 인공신경망의 학습을 수행하고, 학습된 인공신경망을 이용하여 상기 제품의 결함여부를 검사하는 검사시스템을 포함할 수 있다.
Description
본 명세서에서 개시되는 실시예들은 제품 검사를 위한 자동 학습 방법 및 시스템에 관한 것으로, 보다 상세하게는 생산라인에서 인공지능을 이용한 제품검사를 수행하기 위한 학습을 빠르고 효율적으로 하는 자동 학습 방법 및 시스템에 관한 것이다.
컴퓨팅 기술의 발전에 따라 기계학습의 적용이 증가하고 있다. 특히, 최근에는 기계학습 중에서 인공신경망으로 대변되는 딥러닝 기술이 비약적으로 발전하고 있으며, 다양한 산업 현장에서 응용 사례가 늘어가고 있다. 제조업 분야에 있어서도 인공신경망은 혁신적으로 제조 현장을 변화시켜 가고 있다.
기존 룰(Rule) 기반의 테스트 방식은 생산라인에서 발생하는 비정형 불량을 검출하지 못했지만, 인공신경망은 비정형 불량을 사람과 같이 추출하는 것이 가능하다. 기존에는 비정형 불량에 대해 제품의 생산라인에서 사람이 직접 불량을 판단하였으나, 이제는 인공신경망을 이용한 머신비전을 이용하여 제품의 불량여부를 판단하여 적용하는 사례가 늘고 있다.
그리고 불량인지 여부를 식별하기 위해 인공신경망의 학습과정이 필요하다. 즉, 생산과정에서 발생할 수 있는 불량 제품의 이미지를 획득하고, 획득된 불량 제품의 이미지를 이용하여 인공신경망을 지도 학습 방식으로 학습시키는 것이 일반적이다.
하지만, 생산과정에서 제품의 불량발생률이 매우 낮은 것이 보통이기에 인공신경망을 학습시키기 위한 불량 제품의 이미지를 획득이 어려우며 인공신경망을 학습하는데 오랜 시간이 걸린다는 문제점이 있다.
관련하여 선행 기술 문헌인 한국특허공개번호 제10-2000-0087346 호는 인터넷 인공지능 학습 및 관리 방법에 관한 것이다. 인터넷을 통하여 선생과 학습자를 등록시키고 선생은 사용하고자 하는 문제출제와 시험문제를 만들어 사용할 수 있으며, 학습자는 문제데이터 베이스에 수록된 문제를 출제받아 학습하고 그 학습 결과를 정밀하게 평가 받은 내용에 대해 기술하고 있지만 인공지능의 학습을 빠르게 수행하지 못한다.
따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 명세서에서 개시되는 실시예들은, 제품 검사를 위한 자동 학습 방법 및 시스템을 제시하는데 목적이 있다.
본 명세서에서 개시되는 실시본 명세서에서 개시되는 실시예들은, 제품 검사를 위한 자동 학습 방법 및 시스템을 제시하는데 목적이 있다.
본 명세서에서 개시되는 실시예들은, 비지도학습방법과 지도학습방법을 조합하여 제품 검사를 수행하는 자동 학습 방법 및 시스템을 제시하는 데 목적이 있다.
본 명세서에서 개시되는 실시예들은, 정상 제품에 대한 이미지를 기초로 비지도학습을 우선적으로 수행하여 정상제품을 식별함과 동시에 정상제품외의 미분류제품에 대한 이미지를 축적하는 제품 검사를 위한 자동 학습 방법 및 시스템을 제시하는 데 목적이 있다.
본 명세서에서 개시되는 실시예들은, 미분류제품에 대한 촬영이미지에 대해 지도학습을 수행하여 불량여부를 정확하게 검사하는 제품 검사를 위한 자동 학습 방법 및 시스템을 제시하는 데 목적이 있다.
본 명세서에서 개시되는 실시예들은, 미분류제품에 대한 촬영이미지를 기초로 불량제품의 식별을 위한 학습이미지를 생성하여 학습하는 제품 검사를 위한 자동 학습 방법 및 시스템을 제시하는 데 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 제품 검사를 위한 자동학습시스템에 있어서, 제품의 결함을 검사하는 인공신경망의 학습에 이용되는 학습데이터를 생성하는 트레이닝시스템 및 생성된 학습데이터를 기초로 상기 인공신경망의 학습을 수행하고, 학습된 인공신경상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 제품 검사를 위한 자동학습시스템에 있어서, 제품의 결함을 검사하는 인공신경망의 학습에 이용되는 학습데이터를 생성하는 트레이닝시스템 및 생성된 학습데이터를 기초로 상기 인공신경망의 학습을 수행하고, 학습된 인공신경망을 이용하여 상기 제품의 결함여부를 검사하는 검사시스템을 포함할 수 있다.
다른 실시예에 따르면, 자동학습시스템이 제품 검사를 위한 자동 학습을 하는 방법에 있어서, 제품의 결함을 검사하는 인공신경망의 학습에 이용되는 학습데이터를 생성하는 단계 생성된 학습데이터를 기초로 상기 인공신경망의 학습을 수행하는 단계 및 학습된 인공신경망을 이용하여 상기 제품의 결함여부를 검사하는 단계를 포함할 수 있다.
또 다른 실시예에 따르면, 자동학습방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 있어서, 상기 자동학습방법은, 제품의 결함을 검사하는 인공신경망의 학습에 이용되는 학습데이터를 생성하는 단계 생성된 학습데이터를 기초로 상기 인공신경망의 학습을 수행하는 단계 및 학습된 인공신경망을 이용하여 상기 제품의 결함여부를 검사하는 단계를 포함할 수 있다.
다른 실시예에 따르면, 자동학습시스템에 의해 수행되며, 자동학습방법을 수행하기 위해 매체에 저장된 컴퓨터프로그램에 있어서, 상기 자동학습방법은, 제품의 결함을 검사하는 인공신경망의 학습에 이용되는 학습데이터를 생성하는 단계 생성된 학습데이터를 기초로 상기 인공신경망의 학습을 수행하는 단계 및 학습된 인공신경망을 이용하여 상기 제품의 결함여부를 검사하는 단계를 포함할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 제품 검사를 위한 자동 학습 방법 및 시스템을 제시할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 비지도학습방법과 지도학습방법을 조합하여 제품 검사를 수행하는 자동 학습 방법 및 시스템을 제시할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 정상 제품에 대한 이미지를 기초로 비지도학습을 수행함으로써 학습시간을 단축하여 생산라인에 빠르게 적용이 가능한 자동 학습 방법 및 시스템을 제시할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 머신비전을 이용한 제품검사를 수행함과 동시에 정상제품이 아닌 것으로 판단된 미분류제품에 대한 촬영이미지를 축적하여 학습데이터를 생성하는 자동 학습 방법 및 시스템을 제시할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 비지도학습을 통해 축적된 미분류제품에 대한 촬영이미지를 이용하여 인공신경망의 지도학습을 수행함으로써 불량여부를 정확하게 검사하는 자동 학습 방법 및 시스템을 제시할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 정상제품의 촬영이미지를 이용한 인공신경망의 비지도학습을 이용함으로써 불량제품에 대한 학습데이터가 부족한 초기 생산라인에도 머신비전을 이용한 제품 검사를 적용할 수 있는 자동 학습 방법 및 시스템을 제시할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 제품에 대한 이미지를 기초로 학습이미지를 생성하여 지도학습 방법으로 학습하여 다양한 형태의 제품 불량을 정확하게 검사하는 자동 학습 방법 및 시스템을 제시할 수 있다.
개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1 은 일 실시예에 따른 자동학습시스템을 도시한 구성도이다.
도 2 은 일 실시예에 따른 자동학습시스템을 도시한 블록도이다.
도 3 은 일 실시예에 따른 자동학습방법을 설명하기 위한 순서도이다.
도 4 내지 도 5 는 일 실시예에 따른 자동학습방법을 설명하기 위한 예시도이다.
도 2 은 일 실시예에 따른 자동학습시스템을 도시한 블록도이다.
도 3 은 일 실시예에 따른 자동학습방법을 설명하기 위한 순서도이다.
도 4 내지 도 5 는 일 실시예에 따른 자동학습방법을 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐 아니라, ‘그 중간에 다른 구성을 사이에 두고 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.
다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.
‘인공신경망’은 생물 신경계의 고도의 정보처리기구를 공학적으로 모방해서 입력과 출력을 상호간에 상세히 관련지어 복잡한 제어를 하는 정보처리기술로 스위치나 각 센서 등에서 신호를 보내는 입력 레이어, 그 정보를 바탕으로 입력과 출력의 우선순위를 정하면서 상호관계를 조정하는 은닉 레이어, 이것을 바탕으로 필요한 제어량을 산출해서 출력하는 출력 레이어로 구성된 3종류의 뉴론(신경세포) 모델이 복수로 연결된 네트워크이다.
이하에서 설명할 자동학습시스템(10)은 예를 들어 머신 비전을 이용한 제품을 검사하는 검사장치에 결합 또는 연결되어 획득된 촬영이미지를 이용하여 인공신경망을 학습시키거나 제품의 결함여부를 검사하거나 측정할 수 있다.
여기서 머신 비전이란, 물체를 검사하거나 측정하기 위해, 사람이 육안으로 판단하던 기존의 방식을 대신하여, 카메라(시각 인식), CPU, SW를 통해 산업을 자동화 시켜주는 것을 의미한다.
그리고 지도학습방법(Supervised Learning)은 결과로 출력되어야 하는 값이 포함된 학습데이터(Training Data)를 이용하여 수행하는 기계 학습(Machine Learning)의 한 방법이다.
비지도학습방법(Unsupervised Learning)은 데이터가 어떻게 구성되었는지를 알아내기 위한 학습방법으로 지도 학습(Supervised Learning) 혹은 강화 학습(Reinforcement Learning)과는 달리 학습데이터에 결과로 출력되어야 하는 목표치가 주어지지 않는다.
‘미분류제품’은 정상제품의 촬영이미지를 기초로 비지도학습된 인공신경망에 의해 정상제품이 아닌 제품으로 분류된 제품이고, ‘불량제품’은 미분류제품 중 실제 제품에 결함이 존재하는 제품이다.
위에 정의한 용어 이외에 설명이 필요한 용어는 아래에서 각각 따로 설명한다.
도 1은 일 실시예에 따른 자동학습시스템(10)을 설명하기 위한 구성도이다.
자동학습시스템(10)은 정상 제품을 촬영한 촬영이미지를 이용하여 인공신경망을 비지도학습방법으로 학습시킬 수 있고, 머신 비전용 카메라를 통해 생산 중인 제품을 촬영하여 획득된 촬영이미지를 인공신경망에 입력하여 정상 제품인지 여부를 검사할 수 있다. 그리고 자동학습시스템(10)은 검사된 제품에 대한 촬영이미지를 분석할 수 있고, 새로운 학습데이터를 생성하여 인공신경망을 지도학습방법으로 학습시킬 수 있다. 이후, 자동학습시스템(10)은 제품의 검사를 통해 획득된 촬영이미지를 축적할 수 있고, 축적된 촬영이미지를 기초로 생성한 학습데이터를 이용하여 반복적으로 인공신경망을 학습시킬 수 있다.
이러한 자동학습시스템(10)은 제품을 촬영한 이미지인 학습데이터를 기초로 학습을 수행하여 제품의 불량여부를 검사하는 검사시스템(11)과 제품의 불량여부를 검사하는데 필요한 학습데이터를 제공하는 트레이닝시스템(12)을 포함할 수 있다.
그리고 자동학습시스템(10)을 구성하는 검사시스템(11)과 트레이닝시스템(12) 각각은 네트워크(N)를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함할 수 있다.
우선, 검사시스템(11)은 머신 비전 카메라를 통해 촬영된 제품의 촬영이미지를 기초로 제품이 정상인지 여부를 인공신경망을 이용하여 검사할 수 있다. 이때, 검사시스템(11)은 실시예에 따라, 인공신경망을 포함하거나 또는 물리적으로 이격된 제 3 의 서버에서 구현된 인공신경망과 연결될 수 있다. 이하에서는 검사시스템(11) 내에 인공신경망이 구현된 것으로 가정하여 설명한다.
그리고 트레이닝시스템(12)은 검사시스템(11)에 의해 검사된 제품의 촬영이미지를 축적할 수 있고, 축적된 촬영이미지를 기초로 인공신경망의 학습에 이용되는 학습데이터를 생성할 수 있으며, 생성된 학습데이터를 주기적으로 인공신경망으로 제공하여 인공신경망의 성능 향상을 위한 학습이 주기적으로 되도록 할 수 있다.
도 2는 일 실시예에 따른 자동학습시스템(10)의 구성을 도시한 블록도이다. 도 2를 참조하면, 일 실시예에 따른 자동학습시스템(10)은, 검사시스템(11)과 트레이닝시스템(12)을 포함할 수 있다.
우선, 검사시스템(11)은 제품촬영부(111), 검사제어부(112), 검사통신부(113) 및 검사메모리(114)를 포함할 수 있다.
검사시스템(11)의 제품촬영부(111)는 머신 비전용 카메라를 통해 생산중인 제품의 촬영을 위한 입력부와, 작업의 수행 결과 또는 검사시스템(11)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 제품촬영부(111)는 제품의 생산라인에 배치되어 제품을 촬영하는 카메라 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.
구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 특히 머신 비전용 카메라는 제품이 생산되는 생산라인에 배치되어 생산라인을 따라 이동하는 제품을 실시간으로 촬영할 수 있다.
또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 제품촬영부(111)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.
그리고 검사시스템(11)의 검사제어부(112)는 검사시스템(11)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 그리고 검사제어부(112)는 인공신경망으로 구현되거나 또는 제 3 의 서버에 구현된 인공신경망을 이용하여 제품촬영부(111)를 통해 획득한 제품의 촬영이미지를 기초로 제품의 정상 또는 불량 여부를 검사할 수 있으며, 이를 위해 검사시스템(11)에 포함된 다른 구성들을 제어할 수 있다.
이러한 검사제어부(112)는 제품촬영부(111)를 통해 획득되는 촬영이미지 또는 트레이닝시스템(12)으로부터 획득되는 학습데이터에 포함된 촬영이미지를 이용하여 인공신경망의 학습을 수행할 수 있다.
이때, 실시예에 따라 검사제어부(112)는 적어도 하나의 인공신경망을 이용하여 제품을 검사할 수 있으며, 각 인공신경망은 학습데이터의 학습방법에 따라 구분될 수 있다.
우선, 검사제어부(112)는 학습데이터로써 정상제품의 촬영이미지를 이용하여 비지도학습을 수행하는 인공신경망에 대해 학습을 수행할 수 있다.
예를 들어, 검사제어부(112)는 머신 비전용 카메라를 통해 제품이 촬영된 촬영이미지를 비지도학습을 수행하는 인공신경망에 입력할 수 있고, 입력된 촬영이미지를 유사도에 따라 분류하여, 분류된 그룹 중 그룹에 속하는 촬영이미지의 수가 많은 그룹의 촬영이미지를 정상제품의 촬영이미지로 결정할 수 있다. 그리고 검사제어부(112)는 정상제품의 촬영이미지를 기초로 인공신경망의 학습을 수행할 수 있다.
또는 예를 들어, 검사제어부(112)는 트레이닝시스템(12)으로부터 기 저장된 촬영이미지를 학습데이터로서 획득할 수 있고, 획득된 학습데이터에 포함된 촬영이미지를 유사도에 따라 분류하여 정상제품의 촬영이미지로 결정된 촬영이미지를 기초로 인공신경망의 학습을 수행할 수 있다.
이후, 검사제어부(112)는 학습된 인공신경망을 이용하여 머신 비전 카메라를 통해 생산라인에서 생산되는 제품을 촬영한 촬영이미지를 기초로 제품의 정상여부를 검사할 수 있다.
예를 들어, 검사제어부(112)는 제품이 촬영된 촬영이미지를 이용하여 제품이 정상인지 여부를 검사할 수 있고, 생산라인에서 검사되는 제품을 정상 제품과 정상이 아닌 제품인 미분류제품으로 분류할 수 있다.
그리고 검사제어부(112)는 검사되는 제품을 촬영한 촬영이미지를 후술할 트레이닝시스템(12)으로 제공하여 저장되도록 할 수 있다.
예를 들어, 검사제어부(112)는 검사를 통해 정상제품으로 판단된 촬영이미지와 미분류제품으로 판단된 촬영이미지 각각을 트레이닝시스템(12)으로 제공할 수 있고, 제공된 촬영이미지가 트레이닝시스템(12)에 저장되어 축적되도록 할 수 있다.
그리고 검사제어부(112)는 트레이닝시스템(12)에서 제공되는 학습데이터를 기초로 지도학습을 수행하는 인공신경망의 학습을 수행할 수 있다.
예를 들어, 검사제어부(112)는 트레이닝시스템(12)으로부터 생성된 학습데이터를 획득할 수 있고, 획득된 학습데이터에 포함된 정상제품의 촬영이미지 및 미분류제품의 촬영이미지를 기초로 인공신경망에 대해 지도학습을 수행할 수 있다.
이후, 검사제어부(112)는 지도학습된 인공신경망을 이용하여 제품의 결함여부를 검사할 수 있으며 검사되는 제품 중 불량제품을 식별할 수 있다.
예를 들어, 검사제어부(112)는 학습된 결과에 기초하여 생산 중인 제품을 촬영한 촬영이미지를 기초로 제품에 결함이 존재하는지 검사할 수 있고, 결함이 존재하여 불량제품으로 판별된 경우, 불량제품의 결함이 어떤 종류인지 식별할 수 있다.
이와 같이 비지도학습을 통해 학습된 인공신경망을 이용하여 제품의 정상 여부를 우선적으로 검사하면서 지도학습을 위한 학습데이터를 축적하여 생산라인에 머신비전의 적용시간을 단축시킬 수 있으며, 제품의 검사를 통해 축적된 촬영이미지를 이용하여 인공신경망에 대해 지도학습을 수행함으로써 제품의 결함검사 정확도를 높일 수 있다.
그리고 검사제어부(112)는 지도학습된 인공신경망을 이용하여 검사된 제품의 촬영이미지를 다시 트레이닝시스템(12)으로 제공할 수 있다.
이후, 검사제어부(112)는 인공신경망의 학습을 위한 학습데이터를 트레이닝시스템(12)으로부터 일정 주기로 획득할 수 있고, 학습데이터가 획득될 때마다 인공신경망의 학습을 수행할 수 있다.
예를 들어, 검사제어부(112)는 트레이닝시스템(12)으로부터 제품에 발생될 수 있는 결함의 종류에 대응되는 불량제품의 촬영이미지를 학습데이터로 획득할 수 있고, 획득된 학습데이터를 이용하여 인공신경망의 추가학습을 수행할 수 있다.
그리고 검사제어부(112)는 추가학습된 인공신경망을 이용하여 제품에서 발생가능한 새로운 결함의 존재여부를 식별하거나 또는 결함의 종류를 식별할 수 있으며, 검사된 제품을 촬영한 촬영이미지를 다시 트레이닝시스템(12)으로 제공하고, 학습데이터를 트레이닝시스템(12)으로부터 획득하여 학습하는 과정을 반복할 수 있다.
예를 들어, 검사제어부(112)는 검사된 제품의 촬영이미지를 트레이닝시스템(12)으로 지속적으로 제공할 수 있고, 기존 학습으로 검사하지 못하는 결함을 검사할 수 있도록 추가적인 학습데이터를 트레이닝시스템(12)으로부터 주기적으로 획득할 수 있다.
이를 통해 검사제어부(112)는 트레이닝시스템(12)으로부터 주기적으로 제공되는 학습데이터를 이용하여 인공신경망의 학습을 수행함으로써 제품의 검사 정확도를 높일 수 있다.
이와 같이 검사제어부(112)가 트레이닝시스템(12)으로부터 축적된 학습데이터를 주기적으로 제공받아 추가학습을 수행함으로써 검사할 제품이 변경되거나 또는 제품을 촬영하는 환경, 생산라인상의 제품 위치 변경과 같은 외부요인에 의한 촬영이미지의 변화에도 불구하고 제품의 결함여부를 정확하게 검사할 수 있다.
검사통신부(113)는 후술할 트레이닝시스템(12) 또는 다른 시스템과 네트워크를 통해 유무선 통신을 수행할 수 있다. 이를 위해, 검사통신부(113)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.
검사통신부(113)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(130)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.
검사메모리(114)에는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 검사제어부(112)는 검사메모리(114)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 검사메모리(114)에 저장할 수도 있다.
그리고 검사메모리(114)에는 검사통신부(113)를 통해 획득된 학습데이터가 저장될 수 있으며, 검사제어부(112)가 제품촬영부(111)를 통해 획득된 제품의 촬영이미지가 저장될 수 있다.
한편, 트레이닝시스템(12)은 트레이닝제어부(121), 트레이닝통신부(122) 및 트레이닝트레이닝메모리(123)를 포함할 수 있다.
우선, 트레이닝시스템(12)의 트레이닝제어부(121)는 트레이닝시스템(12)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 트레이닝시스템(12)의 트레이닝제어부(121)는 트레이닝통신부(122)를 통해 수신한 촬영이미지를 획득하고, 학습데이터를 생성하기 위해 트레이닝시스템(12)에 포함된 다른 구성들을 제어할 수 있다.
예를 들어, 트레이닝제어부(121)는 트레이닝메모리(123)에 저장된 프로그램을 실행시키거나, 트레이닝메모리(123)에 저장된 파일을 읽어오거나, 새로운 파일을 트레이닝메모리(123)에 저장할 수도 있다.
이러한 트레이닝제어부(121)는 검사시스템(11)으로부터 검사된 제품에 대한 촬영이미지를 획득할 수 있고, 획득된 촬영이미지를 기초로 제품의 결함여부를 분석할 수 있다.
예를 들어, 트레이닝제어부(121)는 비지도학습된 인공신경망을 이용하여 정상 여부를 검사하는 검사시스템(11)으로부터 정상 제품의 촬영이미지와 미분류제품의 촬영이미지를 획득할 수 있고, 획득된 촬영이미지를 분석하여 제품의 결함패턴을 분석할 수 있다.
이에 앞서 실시예에 따라, 트레이닝제어부(121)는 기 저장된 정상 제품의 촬영이미지를 검사시스템(11)으로 제공하여 인공신경망을 학습시킬 수 있다.
예를 들어, 트레이닝제어부(121)는 검사시스템(11)에서 생산되는 제품의 결함여부를 판단할 수 있도록 검사시스템(11)으로 정상 제품의 촬영이미지를 제공하여 학습시킬 수 있다.
그리고 실시예에 따라, 트레이닝제어부(121)는 검사시스템(11)으로부터 검사된 제품의 촬영이미지를 획득할 수 있고, 획득된 촬영이미지를 기초로 학습데이터를 생성할 수 있다.
이를 위해, 트레이닝제어부(121)는 검사시스템(11)으로부터 획득된 촬영이미지 중 정상이 아닌 것으로 판단된 미분류제품의 촬영이미지를 식별할 수 있고, 식별된 촬영이미지로부터 결함패턴을 분석할 수 있다.
그리고 트레이닝제어부(121)는 분석된 결함패턴에 기초하여 새로운 결함을 가진 불량이미지를 생성할 수 있다.
예를 들어, 트레이닝제어부(121)는 분석된 결함패턴에 기초하여 검사시스템(11)으로부터 정상제품의 촬영이미지에 대한 픽셀 값을 인위적으로 변경하여 새로운 결함을 가진 불량이미지를 생성할 수 있다.
또는 예를 들어, 트레이닝제어부(121)는 검사시스템(11)으로부터 불량제품을 촬영한 제 1 촬영이미지와 정상제품을 촬영한 제 2 촬영이미지 간의 픽셀값의 차이가 발생된 부분을 식별하여 해당 픽셀값이 차이를 랜덤하게 제 2 촬영이미지에 적용하여 새로운 불량이미지를 생성할 수 있다.
예를 들어, 트레이닝제어부(121)는 검사시스템(11)으로부터 획득된 촬영이미지 중 정상제품의 촬영이미지에 기 저장된 이진 픽셀값으로 구성되어 결함을 나타낸 이미지인 마스크를 적용하여 새로운 불량이미지를 생성할 수 있다.
그리고 트레이닝제어부(121)는 생성된 불량이미지를 포함하는 학습데이터를 검사시스템(11)에 제공할 수 있고, 제공된 학습데이터를 기초로 검사시스템(11)의 인공신경망이 학습되도록 할 수 있다.
예를 들어, 트레이닝제어부(121)는 검사시스템(11)으로부터 획득된 촬영이미지를 분석하여 새롭게 불량이미지를 생성할 수 있고, 기 설정된 조건(ex. 일정 기간 또는 저장된 촬영이미지의 용량이 기 설정된 용량에 도달)이 만족될 때마다 생성된 불량이미지를 포함하는 학습데이터를 검사시스템(11)에 제공할 수 있다.
이때, 트레이닝제어부(121)는 검사시스템(11)으로 학습데이터의 정확도를 분석할 수 있고, 분석결과에 따라 학습데이터의 생성을 달리할 수 있다.
예를 들어, 트레이닝제어부(121)는 학습데이터로써 검사시스템(11)에 제공된 불량이미지와 검사시스템(11)으로부터 획득된 불량제품의 촬영이미지를 비교분석할 수 있고, 실제 불량제품의 촬영이미지 상의 결함을 나타내는 부분과 불량이미지 상의 결함부분을 비교하여 유사도를 계산할 수 있으며, 유사도가 기 설정된 값 미만이면 불량이미지를 생성하는 마스크이미지를 변경할 수 있다.
이를 통해 실제 불량 제품에서 발생가능한 결함을 적용한 불량이미지를 인위적으로 생성할 수 있다.
그리고 트레이닝통신부(122)는 상술한 검사시스템(11) 또는 다른 시스템과 네트워크를 통해 유무선 통신을 수행할 수 있다. 이를 위해, 트레이닝통신부(122)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.
트레이닝메모리(123)에는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 트레이닝제어부(121)는 트레이닝메모리(123)에 저장된 데이터인 촬영이미지에 접근하여 이를 이용하거나, 또는 새로운 촬영이미지를 트레이닝메모리(123)에 저장할 수도 있다.
도 3 은 일 실시예에 따른 자동학습방법을 설명하기 위한 순서도이다.
도 3 에 도시된 실시예에 따른 자동학습방법은 도 2 에 도시된 자동학습시스템(10)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 2 에 도시된 자동학습장치(10)에 관하여 이상에서 기술한 내용은 도 3 에 도시된 실시예에 따른 자동학습방법에도 적용될 수 있다.
도 4 내지 도 5 는 도 3 을 참조하여 이하에서 후술된다. 도 4 내지 도 5 는 일 실시예에 따른 자동학습방법을 설명하기 위한 예시도로서, 자동학습시스템(10)에서 학습데이터를 생성하는 방법을 도시한 예시도이다.
우선, 자동학습시스템(10)은 제품의 결함을 검사하는 인공신경망의 학습에 이용되는 학습데이터를 생성할 수 있다(S3001).
즉, 자동학습시스템(10)은 인공신경망의 비지도학습을 위한 정상제품의 촬영이미지로 구성된 학습데이터를 우선적으로 생성할 수 있다.
예를 들어, 자동학습시스템(10)은 기 저장된 정상제품의 촬영이미지를 기초로 학습데이터를 생성하거나 또는 생산라인에서 촬영된 제품의 촬영이미지를 기초로 학습데이터로 생성할 수 있다.
그리고 자동학습시스템(10)은 S3001단계에서 생성된 학습데이터를 기초로 인공신경망의 비지도학습을 수행할 수 있다(S3002).
하나의 실시예에 따라, 검사시스템(11)은 S3001단계에서 머신 비전 카메라를 통해 촬영된 생산라인 상의 제품의 촬영이미지를 기초로 인공신경망의 비지도학습을 수행할 수 있다.
예를 들어, 검사시스템(11)은 생산라인에서 생산되는 제품이 촬영된 촬영이미지를 인공신경망에 입력할 수 있고, 촬영이미지를 분류한 그룹 중 다수의 촬영이미지가 속한 그룹의 촬영이미지를 정상제품의 촬영이미지로 결정하여 인공신경망의 학습을 수행할 수 있다.
다른 실시예에 따라, 검사시스템(11)은 트레이닝시스템(12)으로부터 정상제품의 이미지가 포함된 학습데이터를 획득하여 학습할 수 있다.
예를 들어, 검사시스템(11)은 트레이닝시스템(12)에 기 저장된 정상제품의 촬영이미지를 인공신경망에 입력하여 비지도학습을 수행할 수 있다.
그리고 자동학습시스템(10)은 비지도학습된 인공신경망을 이용하여 제품의 정상여부를 검사할 수 있다(S3003).
즉, 검사시스템(11)은 생산라인 상의 제품의 결합여부를 검사하여 정상제품과 미분류제품으로 분류할 수 있다.
예를 들어, 검사시스템(11)은 S3002단계에서 비지도학습된 인공신경망을 이용하여 생산라인 상의 제품을 검사할 수 있다. 즉, 검사시스템(11)은 생산라인의 제품을 촬영한 촬영이미지와 학습된 정상제품의 촬영이미지간의 비교를 통해 제품의 정상여부를 검사할 수 있으며, 정상제품과 미분류제품으로 분류할 수 있다.
그리고 자동학습시스템(10)은 S3003단계에서 검사된 제품의 촬영이미지를 기초로 학습데이터를 생성할 수 있다(S3004).
즉, 검사시스템(11)은 S3003단계에서 검사된 제품의 촬영이미지를 트레이닝시스템(12)으로 제공할 수 있다.
예를 들어, 검사시스템(11)은 S3003 단계를 통해 정상제품과 미분류제품으로 판단된 각 제품의 촬영이미지를 트레이닝시스템(12)으로 제공할 수 있다.
그리고 트레이닝시스템(12)은 검사시스템(11)으로부터 획득된 촬영이미지를 기초로 제품의 결함패턴을 분석할 수 있다.
예를 들어, 트레이닝시스템(12)은 검사시스템(11)으로부터 획득된 촬영이미지를 저장할 수 있고, 저장된 촬영이미지를 이용하여 미분류제품의 촬영이미지와 정상제품의 촬영이미지간의 차이점을 식별할 수 있고, 촬영이미지 상에서 식별된 차이점이 발생된 결함패턴을 분석할 수 있다.
그리고 트레이닝시스템(12)은 분석된 결함패턴을 기초로 새로운 학습데이터를 생성할 수 있다.
하나의 실시예에 따라, 트레이닝시스템(12)은 분석된 결함패턴을 정상제품의 촬영이미지에 랜덤하게 결합하여 새로운 결함이 포함된 이미지인 불량이미지를 생성할 수 있다.
예를 들어, 트레이닝시스템(12)은 미분류제품의 촬영이미지에 대해 분석된 결함패턴에 따라 정상제품의 촬영이미지의 픽셀 영역을 랜덤하게 변경하여 새로운 결함이 포함된 불량이미지를 생성할 수 있다.
도 4 는 결함 영역 패턴을 이용하여 새로운 불량이미지를 생성하는 예시도이다. 도 4 를 참조하면, 트레이닝시스템(12)은 검사시스템(11)으로부터 획득한 불량제품의 제 1 촬영이미지(400)와 정상제품의 제 2 촬영이미지(401)를 분석하여 결함패턴(402)을 식별할 수 있고, 식별된 결함팬턴(402) 을 제 2 촬영이미지(401)에 랜덤하게 결합하여 새로운 결함(403)이 포함된 불량이미지(404)를 생성할 수 있다.
다른 실시예에 따라, 트레이닝시스템(12)은 촬영이미지에 랜덤하게 픽셀값을 변경하여 새로운 불량이미지를 생성할 수 있다.
예를 들어, 트레이닝시스템(12)은 촬영이미지의 픽셀 값 중 일부를 기 설정된 값으로 변경하여 결함이 포함된 불량이미지를 생성할 수 있다.
도 5 는 촬영이미지의 임의의 픽셀의 값을 변경하여 불량이미지를 생성하는 예시도이다. 도 5 를 참조하면, 트레이닝시스템(12)은 정상 제품의 촬영이미지(500)의 픽셀 중 랜덤하게 변경하여 결함(501)이 포함된 불량이미지(502)를 생성할 수 있다.
이후, 자동학습시스템(10)은 S3004단계에서 생성된 학습데이터를 이용하여 인공신경망의 지도학습을 수행할 수 있다(S3005).
예를 들어, 트레이닝시스템(12)은 검사시스템(11)으로부터 획득된 촬영이미지의 용량이 기 설정된 용량을 초과할 때마다 생성된 학습데이터를 검사시스템(11)으로 제공하거나 또는 기 설정된 주기마다 생성된 학습데이터를 검사시스템(11)으로 제공할 수 있다.
그리고 검사시스템(11)은 트레이닝시스템(12)으로부터 획득된 학습데이터를 기초로 인공신경망의 지도학습을 수행할 수 있다.
예를 들어, 검사시스템(11)은 트레이닝시스템(12)으로부터 획득된 학습데이터로부터 정상제품에 대한 정상이미지와 불량이미지를 분류할 수 있고, 정상이미지와 불량이미지 각각을 인공신경망에 입력하여 지도학습을 수행할 수 있다. 이때, 검사시스템(11)은 제품의 결함의 종류에 따라 불량이미지를 분류하여 지도학습할 수 있다.
그리고 자동학습시스템(10)은 S3005단계를 통해 지도학습된 인공신경망을 이용하여 제품의 결함여부를 검사할 수 있다(S3006).
예를 들어, 자동학습시스템(10)은 비지도학습된 인공신경망과 지도학습된 인공신경망을 동시에 이용하여 제품의 결함여부를 검사함과 동시에 결함이 있는 불량제품에 대해서는 결함의 종류를 구체적으로 검사할 수 있다.
이후, 자동학습시스템(10)은 S3004 단계 내지 S3006 단계를 주기적으로 자동 반복할 수 있고, 이를 통해 제품의 검사를 위한 학습데이터를 관리자가 입력할 필요없이 생산라인 상의 제품을 검사하면서 자동으로 학습데이터를 생성할 수 있고, 생성된 학습데이터를 주기적으로 학습함으로써 생산라인에서 결함이 발생한 제품을 검출하는 정확도를 높일 수 있다.
이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.
도 3 을 통해 설명된 실시예에 따른 자동학습방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.
또한 도 3 을 통해 설명된 실시예에 따른 자동학습방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 도 3 을 통해 설명된 실시예에 따른 자동학습방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.
10: 자동학습시스템
11: 검사시스템
12: 트레이닝시스템
11: 검사시스템
12: 트레이닝시스템
Claims (12)
- 제품 검사를 위한 자동학습시스템에 있어서,
제품의 결함을 검사하는 인공신경망의 학습에 이용되는 학습데이터를 생성하는 트레이닝시스템; 및
생성된 학습데이터를 기초로 상기 인공신경망의 학습을 수행하고, 학습된 인공신경망을 이용하여 상기 제품의 결함여부를 검사하는 검사시스템을 포함하는, 자동학습시스템. - 제 1 항에 있어서,
상기 검사시스템은,
상기 학습데이터로서의 정상제품의 촬영이미지를 기초로 상기 인공신경망에 대해 비지도학습을 수행하고, 비지도학습된 인공신경망을 이용하여 상기 제품의 결함여부를 검사하는, 자동학습시스템. - 제 2 항에 있어서,
상기 트레이닝시스템은,
검사된 제품의 촬영이미지를 상기 검사시스템으로부터 획득하고, 획득된 촬영이미지를 기초로 상기 학습데이터를 생성하여 주기적으로 상기 인공신경망으로 제공하는, 자동학습시스템. - 제 3 항에 있어서,
상기 검사시스템은,
제공된 학습데이터에 포함된 정상제품의 촬영이미지 및 미분류제품의 촬영이미지를 기초로 상기 인공신경망에 대해 지도학습을 수행하고, 지도학습된 인공신경망을 이용하여 상기 제품의 결함여부를 검사하는, 자동학습시스템. - 제 4 항에 있어서,
상기 트레이닝시스템은,
검사된 제품 중 불량제품의 결함의 패턴을 분석하고, 분석된 결함의 패턴에 기초하여 학습데이터를 생성하는, 자동학습시스템. - 검사시스템 및 트레이닝시스템을 포함하는 자동학습시스템이 제품 검사를 위한 자동 학습을 하는 방법에 있어서,
트레이닝시스템이 제품의 결함을 검사하는 인공신경망의 학습에 이용되는 학습데이터를 생성하는 단계;
검사시스템이 생성된 학습데이터를 기초로 상기 인공신경망의 학습을 수행하는 단계; 및
검사시스템이 학습된 인공신경망을 이용하여 상기 제품의 결함여부를 검사하는 단계를 포함하는, 자동학습방법. - 제 6 항에 있어서,
상기 학습을 수행하는 단계는,
상기 학습데이터로서의 정상제품의 촬영이미지를 기초로 상기 인공신경망에 대해 비지도학습을 수행하는 단계를 포함하고,
상기 제품의 결함여부를 검사하는 단계는,
비지도학습된 인공신경망을 이용하여 상기 제품의 결함여부를 검사하는 단계를 포함하는, 자동학습방법. - 제 7 항에 있어서,
상기 학습데이터를 생성하는 단계는,
검사된 제품의 촬영이미지를 상기 검사시스템으로부터 획득하는 단계; 및
획득된 촬영이미지를 기초로 상기 학습데이터를 생성하여 주기적으로 상기 인공신경망으로 제공하는 단계를 포함하는, 자동학습방법. - 제 8 항에 있어서,
상기 학습을 수행하는 단계는,
제공된 학습데이터에 포함된 정상제품의 촬영이미지 및 미분류제품의 촬영이미지를 기초로 상기 인공신경망에 대해 지도학습을 수행하는 단계를 포함하고,
상기 제품의 결함여부를 검사하는 단계는,
지도학습된 인공신경망을 이용하여 상기 제품의 결함여부를 검사하는 단계를 포함하는, 자동학습방법. - 제 9 항에 있어서,
상기 학습데이터를 생성하는 단계는,
검사된 제품 중 불량제품의 결함의 패턴을 분석하는 단계; 및
분석된 결함의 패턴에 기초하여 학습데이터를 생성하는 단계를 포함하는, 자동학습방법. - 제 6 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
- 자동학습시스템에 의해 수행되며, 제 6 항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190071680A KR102271418B1 (ko) | 2019-06-17 | 2019-06-17 | 제품 검사를 위한 자동 학습 방법 및 시스템 |
CN202080024047.5A CN113632140B (zh) | 2019-06-17 | 2020-06-17 | 用于产品检验的自动学习方法及系统 |
PCT/KR2020/007844 WO2020256407A1 (ko) | 2019-06-17 | 2020-06-17 | 제품 검사를 위한 자동 학습 방법 및 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190071680A KR102271418B1 (ko) | 2019-06-17 | 2019-06-17 | 제품 검사를 위한 자동 학습 방법 및 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200143957A true KR20200143957A (ko) | 2020-12-28 |
KR102271418B1 KR102271418B1 (ko) | 2021-07-01 |
Family
ID=74040232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190071680A KR102271418B1 (ko) | 2019-06-17 | 2019-06-17 | 제품 검사를 위한 자동 학습 방법 및 시스템 |
Country Status (3)
Country | Link |
---|---|
KR (1) | KR102271418B1 (ko) |
CN (1) | CN113632140B (ko) |
WO (1) | WO2020256407A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220160470A (ko) * | 2021-05-26 | 2022-12-06 | (주) 프로젝트노아 | 불량 검출 장치 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240109419A (ko) | 2023-01-04 | 2024-07-11 | 한양대학교 에리카산학협력단 | 사후 보정이 가능한 비지도 학습기반 불량 검사 방법 및 장치 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3768828B2 (ja) * | 2001-04-10 | 2006-04-19 | 三菱電機株式会社 | 自動変速装置の異常検出装置 |
CN103400040A (zh) * | 2013-07-31 | 2013-11-20 | 中国人民解放军国防科学技术大学 | 采用多步时域差值学习的故障诊断与预测方法 |
US9542626B2 (en) * | 2013-09-06 | 2017-01-10 | Toyota Jidosha Kabushiki Kaisha | Augmenting layer-based object detection with deep convolutional neural networks |
KR20160103398A (ko) * | 2015-02-24 | 2016-09-01 | 삼성전자주식회사 | 이미지의 품질 측정 방법 및 장치 |
EP3477553B1 (en) * | 2017-10-27 | 2023-08-30 | Robert Bosch GmbH | Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder |
KR20190063839A (ko) * | 2017-11-30 | 2019-06-10 | 전자부품연구원 | 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템 |
US20190180290A1 (en) * | 2017-12-08 | 2019-06-13 | Accenture Global Solutions Limited | Procurement fraud detection system |
KR101902997B1 (ko) * | 2018-03-29 | 2018-10-01 | 한국해양과학기술원 | 비지도 학습방법을 이용한 선박의 이상 운항 상태 자동 식별 시스템 및 그 방법 |
KR101975186B1 (ko) * | 2018-07-04 | 2019-05-07 | 광운대학교 산학협력단 | 객체 검출을 위한 생성적 적대 신경망 기반의 데이터 생성 장치 및 방법 |
CN109492767A (zh) * | 2018-11-09 | 2019-03-19 | 济南浪潮高新科技投资发展有限公司 | 一种应用于无监督领域基于自编码器的异常检测方法 |
CN109584221B (zh) * | 2018-11-16 | 2020-07-28 | 聚时科技(上海)有限公司 | 一种基于监督式生成对抗网络的异常图像检测方法 |
CN109635921A (zh) * | 2018-11-19 | 2019-04-16 | 扬州梯子教育科技发展有限公司 | 一种基于深度学习的无监督异常识别方法 |
-
2019
- 2019-06-17 KR KR1020190071680A patent/KR102271418B1/ko active IP Right Grant
-
2020
- 2020-06-17 CN CN202080024047.5A patent/CN113632140B/zh active Active
- 2020-06-17 WO PCT/KR2020/007844 patent/WO2020256407A1/ko active Application Filing
Non-Patent Citations (3)
Title |
---|
Dwibedi, Debidatta, Ishan Misra, and Martial Hebert. "Cut, paste and learn: Surprisingly easy synthesis for instance detection," Proceedings of the IEEE International Conference on Computer Vision. 2017.(2017. 08.04.) 국외논문 사본 1부.* * |
J. Tian, M. H. Azarian and M. Pecht, "Anomaly detection using self-organizing maps-basedk-nearest neighbor algorithm," Proc. Eur. Conf. Prognostics Health Manage. Soc., pp. 1-9, 2014.(2014.07.08.) 국외논문 사본 1부.* * |
Prachi Joshi1 and Dr. Parag Kulkarni, "Incremental Learning: Areas and Methods - A Survey," International Journal of Data Mining & Knowledge Management Process (IJDKP) Vol.2, No.5, September 2012.(2012.09.30.) 국외논문 사본 1부.* * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220160470A (ko) * | 2021-05-26 | 2022-12-06 | (주) 프로젝트노아 | 불량 검출 장치 |
Also Published As
Publication number | Publication date |
---|---|
CN113632140A (zh) | 2021-11-09 |
CN113632140B (zh) | 2024-08-13 |
WO2020256407A1 (ko) | 2020-12-24 |
KR102271418B1 (ko) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6809250B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US12056617B2 (en) | Learning and detection method of neural network model for flame determination, and apparatus performing the same | |
KR102486230B1 (ko) | 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템 | |
CN107832774A (zh) | 一种页面异常检测方法及装置 | |
KR20200087297A (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
KR102141302B1 (ko) | 회귀 딥러닝 모델 기반의 영상 객체 검출 방법 및 영상처리장치 | |
WO2019186915A1 (ja) | 異常検査装置および異常検査方法 | |
KR102271418B1 (ko) | 제품 검사를 위한 자동 학습 방법 및 시스템 | |
CN111507362A (zh) | 神经网络的训练方法、基于神经网络的分类方法及其装置 | |
JP7481956B2 (ja) | 推論装置、方法、プログラムおよび学習装置 | |
Kıraç et al. | VISOR: A fast image processing pipeline with scaling and translation invariance for test oracle automation of visual output systems | |
US20210365714A1 (en) | Detecting Artificial Multimedia Content Using Deep Network Response Analysis | |
KR102427690B1 (ko) | 딥러닝 기반 클래스 분류 장치 및 방법 | |
JP7453813B2 (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
KR20210056974A (ko) | 멀티카메라를 이용한 물체 인식 방법 및 장치 | |
CN110275820A (zh) | 页面兼容性测试方法、系统及设备 | |
WO2022172469A1 (ja) | 画像検査装置、画像検査方法、及び学習済みモデル生成装置 | |
JP6834126B2 (ja) | 情報処理装置、欠陥検出方法およびプログラム | |
KR20220170658A (ko) | 합성곱 신경망 모델을 이용한 비전 불량 예측 방법 및 이를 수행하는 전자 장치 | |
KR20200038775A (ko) | 다 채널 이미지를 이용한 인공신경망 학습 방법 및 장치 | |
US20210312213A1 (en) | Automated Salience Assessment of Pixel Anomalies | |
KR102252590B1 (ko) | 기계학습 환경에 기초한 테스트 환경을 설정하는 방법 및 장치 | |
KR102252591B1 (ko) | 디스플레이 패널의 출력을 보상하는 장치 및 방법 | |
WO2022209301A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7322358B2 (ja) | 情報処理プログラム、情報処理方法、及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right |