KR102666787B1 - 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 - Google Patents
인공지능을 이용한 결함 검사방법, 장치 및 프로그램 Download PDFInfo
- Publication number
- KR102666787B1 KR102666787B1 KR1020210149780A KR20210149780A KR102666787B1 KR 102666787 B1 KR102666787 B1 KR 102666787B1 KR 1020210149780 A KR1020210149780 A KR 1020210149780A KR 20210149780 A KR20210149780 A KR 20210149780A KR 102666787 B1 KR102666787 B1 KR 102666787B1
- Authority
- KR
- South Korea
- Prior art keywords
- artificial intelligence
- abnormality
- image
- attribute
- input
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000005856 abnormality Effects 0.000 claims abstract description 90
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 74
- 238000007689 inspection Methods 0.000 claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 239000013598 vector Substances 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 239000002131 composite material Substances 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 5
- 238000009659 non-destructive testing Methods 0.000 description 3
- 238000004040 coloring Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 229910001220 stainless steel Inorganic materials 0.000 description 2
- 239000010935 stainless steel Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001386 capillary affinity electrophoresis Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000009658 destructive testing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Abstract
본 발명의 방법은, 인공지능을 이용한 표면결함 검사방법으로서, 검사대상의 이미지가 입력되는 이미지 입력단계와, 상기 이미지의 일부 또는 전부가 이상(異常)에 해당되는지를 제1 인공지능으로 결정하는 이상검출 단계와, 이상으로 결정(이상검출)되면, 이상의 종류를 제2 인공지능으로 판별하는 이상분류 단계와, 판별된 이상의 종류에 따라 속성값을 제3 인공지능으로 추정하는 속성추정 단계와, 추정된 속성값과 속성별로 미리 정해져 있는 기준치에 따라 결함을 판정하는 결함판정 단계를 포함하여 이루어짐을 특징으로 한다.
Description
본 발명은 인공지능을 이용한 결함 검사방법, 장치 및 프로그램에 관한 것으로서, 보다 상세히는, 딥러닝에 의해 이상 여부를 판정하고, 다른 딥러닝에 의해 이상의 종류를 판정한 후, 또다른 딥러닝에 의해 판정된 종류의 이상에 대한 속성값을 추정하고, 추정된 속성값에 의해 결함 여부를 판정하는, 인공지능을 이용한 결함 검사방법, 장치 및 프로그램에 관한 것이다.
일반적으로 일정한 품질관리를 위해, 제품의 품질에 영향을 주는 결함들을 발견하고 대처하는 것이 필요하다. 이를 위해 품질검사를 한다.
품질검사에는 파괴검사와 비파괴검사가 있는데, 제품을 파괴하지 않고 결과를 알 수 있는 비파괴검사가 선호된다. 가장 많이 사용되는 비파괴검사 유형은, 표면검사이다.
전통적으로 표면검사는, 제품 표면을 육안으로 관찰함으로써 수행될 수 있다. 즉, 인간의 시력을 이용함으로써 수동으로 진행하는 형태이다.
그러나 인력에 의한 수동 육안검사는, 고도의 전문성과 집중도를 요하므로, 오랜 시간의 인력양성이 바탕이 돼야 하고, 인력관리라는 쉽지 않은 뒷받침도 필요로 한다. 그래서 인력을 대체할 수 있는 무인기술의 출현이 요망되었다.
크기가 작은 소형제품의 경우에는, 컨베이어 벨트 위를 지나가는 제품을 카메라로 촬영하여 결함을 검사하는 비전(Vision)검사 방법이 사용되기도 한다. 비전검사는 표면검사 뿐아니라 형상검사에도 이용될 수 있다. 비전검사에서는, 카메라로부터 입력된 영상의 특정영역의 픽셀 속성, 예컨대 명암, 컬러, 특이점간 거리 등이 미리 마련되어 있는 기준치를 벗어나는지 여부에 의해 결함 여부를 판정한다.
이러한 비전검사는 주로 소형제품에 한정되어 사용된다. 크기가 매우 큰 대형제품의 경우(예: 철강 판재, 섬유 원단 등)에는, 제품을 카메라로 한번에 촬영하는 것이 어렵기 때문에 비전검사가 사용되기 곤란하다. 대형제품에 대해서는, 일부 제한적인 용도로만 비전검사가 사용되는 경우가 있다.
하기 특허문헌에는, '스테인레스 강판별로 그레이 레벨(Gray Level)을 정의하고, 대상 스테인레스 강판의 표면에 광을 조사하여 화상을 획득하여 그레이 레벨에 대한 등급을 결정하며, 이 등급에 따라서 표면화상의 화상신호의 출력게인을 조정하고 적용하여 표면화상의 화상신호의 출력을 증폭하고, 이 증폭된 화상신호로부터 표면결함을 검출하는 방법'이 개시되어 있다.
상기 특허문헌은 최종적으로 '표면결함 검출'을 한다고 하지만, 구체적 방식이 개시되어 있는 것은 아니다.
또한, 종래의 비전검사에 의한 결함판정 기술은, 미리 정해놓은 기준치와 입력된 화상의 특정 영역의 화소값을 단순 비교함으로써 결함을 판정하는 방식이어서, 소형제품에 적합하고 대형제품에는 적용하기 어려우며, 결함으로 인정되기 위한 다양한 속성값을 반영하지 못하여 판정의 정확도가 떨어진다는 문제가 있다.
본 발명은, 종래기술의 문제를 해소하기 위한 것으로서, 카메라를 사용하여 소형제품 뿐만 아니라 표면에 큰 변화가 없는 대형제품에서도 적용 가능한, 인공지능을 이용한 표면결함 검사방법, 장치 및 프로그램을 제공하고자 하는 것이다.
또한, 기준치와의 단순비교가 아니라, 인공지능을 이용한 3단계 처리를 거쳐서 결함판정을 함으로써, 결함의 판정속도와 정확성, 유연성에 있어서 극히 우수한, 인공지능을 이용한 표면결함 검사방법, 장치 및 프로그램을 제공하고자 하는 것이다.
또한, 결함으로 판정하기 전에 일단 정상(正常)인지 이상(異常)인지의 결정을 수행하고, 이상결정(이상검출)은 정상데이터의 학습을 한 인공지능에 의해 수행하도록 한, 인공지능을 이용한 표면결함 검사방법, 장치 및 프로그램을 제공하고자 하는 것이다.
또한, 이상으로 결정되면, 다른 인공지능 분류기에 의해 이상의 종류를 판별하는, 인공지능을 이용한 표면결함 검사방법, 장치 및 프로그램을 제공하고자 하는 것이다.
또한, 판별된 이상의 종류에 따라, 또다른 인공지능 분류기에 의해 결함판정에 영향을 미칠 속성을 한정 및 정의하기 위해 속성값을 추정하는, 인공지능을 이용한 표면결함 검사방법, 장치 및 프로그램을 제공하고자 하는 것이다.
또한, 각 속성별로 미리 설정된 기준치와 AI 추정된 속성값의 비교에 의해, 결함여부를 판정하는, 인공지능을 이용한 표면결함 검사방법, 장치 및 프로그램을 제공하고자 하는 것이다.
상기 과제를 달성하기 위한 본 발명의 방법은, 인공지능을 이용한 표면결함 검사방법으로서, 검사대상의 이미지가 입력되는 이미지 입력단계와, 상기 이미지의 일부 또는 전부가 이상(異常)에 해당되는지를 제1 인공지능으로 결정하는 이상검출 단계와, 이상으로 결정(이상검출)되면, 이상의 종류를 제2 인공지능으로 판별하는 이상분류 단계와, 판별된 이상의 종류에 따라 속성값을 제3 인공지능으로 추정하는 속성추정 단계와, 추정된 속성값과 속성별로 미리 정해져 있는 기준치에 따라 결함을 판정하는 결함판정 단계를 포함하여 이루어짐을 특징으로 한다.
여기서, 상기 이미지 입력단계에 있어서 입력되는 상기 이미지는, 상기 검사대상에 대한 복수의 부분이미지 또는 상기 복수의 부분이미지를 합성한 합성이미지일 수 있다.
또한, 상기 이미지를 생성하는 이미지 생성장치는, 초점거리가 짧은 장치와 초점거리가 긴 장치 중 적어도 하나를 포함하여 이루어져도 좋다.
또한, 상기 이상검출 단계에서 이용되는 제1 인공지능은, 정상데이터를 학습한 정상 분류기를 포함하여 이루어짐이 바람직하다.
또한, 상기 이상분류 단계에서 이용되는 제2 인공지능은, 이상의 종류별 특징을 학습한 종류 분류기를 포함하여 이루어짐이 바람직하다.
또한, 상기 속성추정 단계에서 이용되는 제3 인공지능은, 결함판정에 영향을 미칠 속성의 정의 및 특징을 학습한 추정 분류기를 포함하여 이루어짐이 바람직하다.
한편, 본 발명의 장치는, 인공지능을 이용한 표면결함 검사장치로서, 검사대상의 이미지가 입력되도록 하는 이미지 입력모듈과, 상기 이미지의 일부 또는 전부가 이상(異常)에 해당되는지를 제1 인공지능으로 결정하는 이상검출 모듈과, 이상으로 결정(이상검출)되면, 이상의 종류를 제2 인공지능으로 판별하는 이상분류 모듈과, 판별된 이상의 종류에 따라 결함의 판정에 영향을 미칠 속성값을 제3 인공지능으로 추정하는 속성추정 모듈과, 추정된 속성값과 속성별로 미리 정해져 있는 기준치에 따라 결함을 판정하는 결함판정 모듈을 포함하여 이루어짐을 특징으로 한다.
한편, 본 발명의 프로그램은, 정보기기에 청구항 1에 기재된 방법의 각 단계를 실행시키기 위한 정보기기용 프로그램을 기록한, 정보기기로 읽을 수 있는 저장매체에 기록된 정보기기용 프로그램이다.
본 발명에 의하면, 카메라를 사용하여 소형제품 뿐만 아니라 표면에 큰 변화가 없는 대형제품에서도 적용 가능한, 인공지능을 이용한 표면결함 검사방법, 장치 및 프로그램이 제공된다.
또한, 기준치와의 단순비교가 아니라, 인공지능을 이용한 3단계 처리를 거쳐서 결함판정을 함으로써, 결함의 판정속도와 정확성, 유연성에 있어서 극히 우수한, 인공지능을 이용한 표면결함 검사방법, 장치 및 프로그램이 제공된다.
또한, 결함으로 판정하기 전에 일단 정상(正常)인지 이상(異常)인지의 결정을 수행하고, 이상결정(이상검출)은 정상데이터의 학습을 한 인공지능에 의해 수행하도록 한, 인공지능을 이용한 표면결함 검사방법, 장치 및 프로그램이 제공된다.
또한, 이상으로 결정(이상검출)되면, 다른 인공지능 분류기에 의해 이상의 종류를 판별하는, 인공지능을 이용한 표면결함 검사방법, 장치 및 프로그램이 제공된다.
또한, 판별된 이상의 종류에 따라, 또다른 인공지능 분류기에 의해 결함판정에 영향을 미칠 속성을 한정 및 정의하기 위해 속성값을 추정하는, 인공지능을 이용한 표면결함 검사방법, 장치 및 프로그램이 제공된다.
또한, 각 속성별로 미리 설정된 기준치와 AI 추정된 속성값의 비교에 의해, 결함여부를 판정하는, 인공지능을 이용한 표면결함 검사방법, 장치 및 프로그램이 제공된다.
도 1은, 본 발명의 방법이 적용되는 장치의 일실시예로서 컨베이어 벨트에 의해 이송되는 검사대상 판재와 이미지 입력모듈, 그리고 이로부터 획득된 부분이미지와 합성이미지의 개념을 설명하기 위한 설명도이다.
도 2는, 동 장치의 블럭도이다.
도 3은, 동 방법의 플로챠트이다.
도 2는, 동 장치의 블럭도이다.
도 3은, 동 방법의 플로챠트이다.
이하, 첨부도면을 참조하면서 본 발명에 대해 상세히 설명한다. 다만, 동일구성에 의해 동일기능을 가지는 부재에 대해서는, 도면이 달라지더라도 동일부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다.
또한, 어떤 부재의 전후, 좌우, 상하에 다른 부재가 배치되거나 연결되는 관계는, 그 중간에 별도 부재가 삽입되는 경우를 포함한다. 반대로, 어떤 부재가 다른 부재의 '바로' 전후, 좌우, 상하에 있다고 할 때에는, 중간에 별도 부재가 없는 것을 뜻한다. 그리고 어떤 부분이 다른 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그리고 구성의 명칭을 제1, 제2 등으로 구분한 것은, 그 구성이 동일한 관계로 이를 구분하기 위한 것으로, 반드시 그 순서에 한정되는 것은 아니다. 또한, 명세서에 기재된 '유닛', '수단', '부', '부재', '모듈' 등의 용어는, 적어도 하나의 기능이나 동작을 하는 포괄적인 구성의 단위를 의미한다. 그리고 명세서에 기재된 단말, 서버 등의 정보처리기기는, 특정한 기능이나 동작이 구현된 하드웨어를 의미하는 하드 와이어링을 기본적으로 의미하지만, 특정한 하드웨어에 한정되도록 해석되어서는 안되고, 일반 범용 하드웨어 상에 그 특정한 기능이나 동작이 구현되도록 하기 위해 구동되는 소프트웨어로 이루어지는 소프트 와이어링을 배제하는 것이 아니다. 즉, 단말 또는 서버는, 어떤 장치가 될 수도 있고, 앱과 같이, 어떤 기기에 설치되는 소프트웨어가 될 수도 있다.
그리고 도면에 나타난 각 구성의 크기 및 두께는, 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않으며, 층 및 영역 등의 여러 부분 및 영역을 명확하게 표현하기 위해 두께 등은 과장하여 확대 또는 축소하여 나타낸 경우가 있다.
<기본구성>
제품의 결함은, 그 원인과 생성과정에 따라 다양한 위치, 종류, 형상, 특징을 가진다. 특히 그 크기가 큰 대형제품의 경우에는, 결함의 크기도 아주 작은 소형결함(미세결함, 1mm 이하)에서부터 아주 큰 대형결함(제품 전체~10m)까지, 다양하게 발생한다.
크기가 작은 소형제품에 대한 비전검사의 경우에는, 결함의 유/무만 파악(불량 판정)해도 충분한 경우가 많지만, 크기가 큰 대형제품에 대한 비전검사의 경우에는, 결함의 위치와 종류를 아는 것이 필요하다. 이는, (1) 미세한 결함으로 전체를 불량처리하기 어려워진다는 점과, (2) 결함만 수정하거나, 나머지 부분을 재활용하는 등의 활용전략이 필요하다는 점에 기인한다.
본 발명의 방법은, 인공지능을 이용한 표면결함 검사방법이다. 이는, 이미지 입력단계(S10)와, 이상검출 단계(S20)와, 이상분류 단계(S30)와, 속성추정 단계(40)와, 결함판정 단계(S50)를 포함하여 이루어짐을 특징으로 한다.
상기 이미지 입력단계(S10)는, 검사대상(p)의 이미지가 입력되는 단계이다.
상기 이미지는, 도 1과 같이, 상기 검사대상(p)에 대한 복수의 부분이미지(a, b, c, d) 또는 상기 복수의 부분이미지(a, b, c, d)를 합성모듈(12)에 의해 합성한 합성이미지일 수 있다.
본 발명은 부분이미지에 대해서도 적용 가능하다. 한편, 크기가 큰 대형제품의 경우에는, 그 제품 전체에 대해 물리적으로 다수의 이미지 입력장치(카메라, 10)를 설치하는 것은 바람직하지 못하다. 제품 전체에 대한 다수의 이미지 입력장치(10)를 설치하게 되면, 검사장비가 지나치게 대형화되고 비용경제에서 불리하게 된다.
그보다는, 도 1과 같이, 소수의 이미지 입력장치(10)로 근접 촬영한 부분이미지를 다수 합성하여 전체 합성이미지를 생성하는 것이 유리하다. 컨베이어 벨트 또는 롤러로 이송되어 나오는 제품의 경우, 진행속도와 동기화된 촬영간격으로 촬영한 부분이미지를 진행방향(화살표)에 대해 합성하여 전체 합성이미지를 생성할 수 있다. 이런 경우, 폭방향으로 너비가 큰 경우에는, 폭방향으로 다수의 이미지 입력장치(10: 1, 2, 3, 4)를 설치할 수 있다. 도 1에서 점선 원으로 나타낸 영역은, 이들 각 이미지 입력장치(1, 2, 3, 4)의 촬영범위이고, 이러한 촬영범위가 겹치도록 배치함으로써 전체 영역을 촬영할 수 있다. 이러한 방식으로, 작은 소형제품 뿐만 아니라 큰 크기의 대형제품까지도 카메라로 검사할 수 있다.
한편, 도 1과 같이, 상기 이미지를 생성하는 이미지 생성장치(10)는, 초점거리가 짧은 장치와 초점거리가 긴 장치 중 적어도 하나를 포함하여 이루어져도 좋다.
초점거리가 긴 것과 짧은 것을 모두 갖추는 구성은, 크기가 큰 대형제품에 대한 비전검사의 경우에 유용하다. 이러한 대형제품에서는, 결함의 위치와 종류를 아는 것이 중요하고, 이러한 다양한 크기의 결함을 검출(위치 및 종류 추정)하기 위해서는, 서로 다른 초점거리의 이미지 입력장치(10)가 필요하기 때문이다. 이 구성에 의하면, 다음과 같이 운용할 수 있다.
－ 미세결함은 초점거리가 긴 이미지 입력장치(10)로 관측한다.
－ 대형결함은 초점거리가 짧은 이미지 입력장치(10)로 관측한다.
이하의 이상검출 단계(S20), 이상분류 단계(S30), 속성추정 단계(S40)는, 인공지능을 이용하게 되므로, 인공지능, 특히 바람직하게는 딥러닝을 이용하게 된 이유에 대해 간단히 설명한다.
종래 방식의 일반적인 결함검출 방법은, 다양한 위치에서 그 위치마다의 다양한 종류의 결함데이터를 필요로 하므로, 많은 데이터를 필요로 한다. 하지만 일반적으로, 결함의 발생빈도는 매우 낮은 편이며, 거기에 종류별로 결함데이터가 필요하므로 결함 데이터베이스 생성 구축에 어려움이 많다. 결함 데이터베이스 생성 구축에 소요되는 시간이 크고, 생성된 결함데이터의 불균형으로 인한 성능 불균형 문제가 없을 수 없으며, 학습에 많은 시간이 소요된다. 따라서, 완벽한 데이터 구축은 이론적으로도 불가능하고, 실용상 이용가능할 정도로 타협한 경우에도 데이터 양이 극히 방대하게 된다. 게다가, 결함데이터가 없는 경우, 기존에 존재하지 않던 결함이 발생하는 경우에는, 그 결함을 검출할 수가 없다. 또한, 품질관리 규정에 따라서는, 비슷한 결함이 결함의 속성값에 따라 정상으로 분류될 수도 있다. 이런 경우, 곧바로 결함판정을 하는 것보다는 속성값 추정을 하고, 추정된 속성값에 의해 결함판정을 하는 것이 유리하지만, 종래의 방식에서는 그러한 기능이 구비되어 있지 않았다.
딥러닝 방법을 사용하면, 획득된 이미지에서 결함을 검출할 수 있다. 일반적으로 결함은, 임의의 위치에서 임의의 형상, 특징, 크기로 발생하기 때문에, 딥러닝 기반의 검출방법으로 검사하면 유리하게 된다. 딥러닝 기반의 결함검출 방법으로는 YOLO, Faster R-CNN, SSD 등이 적용될 수 있다.
종래의 일반적인 결함검출 방법의 문제점들을 해결하기 위해, 본 발명에서는 다음과 같은 방법으로 결함후보 검출을 수행한다.
- 3 스텝(Step) 결함후보 검출
Step 1 : 딥러닝 기반의 이상(異常; anomaly)검출
Step 2 : 딥러닝 기반의 이상분류
Step 3 : 딥러닝 기반의 이상의 속성값 추정
여기서, Step 1 내지 3은 각각, 상기 이상검출 단계(S20), 이상분류 단계(S30), 속성추정 단계(S40)에 해당된다. Step 1의 이상검출 딥러닝 모델은, 이상을 판단하기 위하여 각 위치별로 특징벡터(feature vector)를 생성하고, 기존의 학습된 정상 특징들과 비교작업을 수행한다. 이상으로 검출된 위치의 특징벡터들은, step 2와 step 3의 딥러닝 모델에 입력으로 제공되어, 분류나 속성값 추정 작업시간을 단축시킬 수 있다.
상기 이상검출 단계(S20)는, 상기 이미지의 일부 또는 전부가 이상(異常)에 해당되는지를 제1 인공지능으로 결정하는 단계이다. 이상검출을 위해, 이미지를 입력받는데, 이는 상기 부분이미지이거나 합성이미지이다.
이 단계에서는, 딥러닝 기반의 이상검출 (Anomaly Detection)을 이용한 결함검출을 수행한다. 이상으로 결정하면 이상검출, 정상으로 결정하면 정상검출이 된다. 이상검출이 되면 이미지의 이상 위치 또는 범위가 이상영역으로 설정되고, 특징벡터를 산출한 후, 다음 단계로 넘어간다. 즉, 검출된 각 이상은 별도의 이상영역으로 분할되어, 각각의 위치와 크기를 가지게 된다.
상기 제1 인공지능은, 정상데이터를 학습한 정상 분류기를 포함하여 이루어짐이 바람직하다. 정상데이터만을 학습하므로, 학습데이터 생성에 필요한 시간이 최소화될 수 있다.
딥러닝 기반의 이상검출은, 정상데이터만을 학습하여 비정상인 이상데이터를 찾아내는 방식이다. 제품 이미지 상의 결함을 이러한 이상검출 방식을 이용하여 찾아낼 수 있다.
참고로, 결함을 학습하는 종래의 일반적인 결함검출 방법은, 학습데이터에 존재하지 않는 결함을 찾을 수 없다는 맹점이 있다. 이상 현상은 매우 드물게 발생하여서, 학습데이터의 심각한 불균형을 초래한다. 특히 종래 방식은 대부분의 경우, 데이터 셋이 레이블링 되어있지 않기 때문에, 어느 부분이 이상이 있고, 왜 발생했는지 알지 못한다.
이와 대비하여, 본 발명에서의 이상검출은 정상과 다른 점을 찾기 때문에, 학습데이터에 존재하지 않는 결함도 찾을 수가 있는 큰 장점이 있다. 본 발명자는, 이상검출이 비지도 학습의 일종으로 활용될 수 있다는 점에 착안했다. 대다수의 데이터에서 유효한 모델을 학습하는데, 데이터의 대다수는 정상이기 때문이다. 이에 의하면, 이상은 어떤 정상에 대한 개념에서 상당히 벗어난 상태라는 점을 인지하고, 정상의 개념과 상당히 벗어난 것의 정의가 필요하다.
딥러닝 기반의 이상검출은, 크게 3가지 방법으로 구분할 수 있다.
(1) 이상을 하나의 클래스로 보고, 배경으로부터 이상을 찾아내는 계층적(Classification) 타입의 방법: OC-NN, OC-SVM, MVE, DSVDD, DSAD, SVDD, SSAD 등
(2) 정상의 개념을 확률적으로 표현하고, 데이터가 확률적으로 정상에 속할지 이상에 속할지를 판단하는 확률적(Probabilistic) 방법: Histogram, Mahalanobis, KDE, GMM EBMs, Flows 등
(3) 정상을 잘 복원할 수 있는 복원 네트워크를 학습하고, 복원시 에러가 발생하면 이상으로 판단하는 재구성(Reconstruction) 방법: PCA, rPCA, pPCA, kPCA, VAE, AAEs, CAEs, DAEs 등
상기 이상분류 단계(S30)는, 이상으로 결정(이상검출)되면, 이상의 종류를 제2 인공지능으로 판별하는 단계이다. 이상분류를 위해, 이상결정, 이미지, 이상영역을 입력받는다. 상기 이미지는 부분이미지 또는 합성이미지이다. 상기 특징벡터를 더 입력받아서 활용할 수 있다.
이 단계에서는 딥러닝을 이용한 이상분류를 수행한다. 이에 의하면, 이상검출 단계(S20)에서 검출된 이상영역에 대해, 이상을 종류별로 분류한다. 종류별 분류의 예로서, 판재의 경우 흠집, 찍힘, 긁힘, 녹음(melt), 착색 등을 들 수 있고, 섬유의 경우 올 풀림, 착색, 바느질 누락 등을 들 수 있으며, 이에 한하지 않는다.
상기 제2 인공지능은, 이상의 종류별 특징을 학습한 종류 분류기를 포함하여 이루어짐이 바람직하다. 상기 종류 분류기는, 이상의 종류별 분류가 가능한 이상의 분류기이다. 이상의 크기나 위치와 상관없이 종류만을 분류하기 때문에, 더 적은 수의 데이터로 학습이 가능하고, 데이터 불균형에 강인하며, 학습속도가 빠르다. 그리고, 새로운 종류의 이상이 발견되면, 종류 분류기만 재학습하여, 빠르게 이상을 추가할 수 있고, 현장 적용할 수 있다. 많은 딥러닝 기반의 분류기를 활용할 수 있다. 예컨대, AlexNet, Resnet, VGG16, GoogleNet, InceptionNet, SPPnet, EfficientNet 등을 사용할 수 있다.
이상분류에 필요한 특징을 추출하기 위해 새로운 특징 추출기를 학습할 수도 있고, 이전 단계에서 이미 추출된 특징벡터를 재사용하여 시간을 절약할 수도 있다.
상기 속성추정 단계(S40)는, 판별된 이상의 종류에 따라 속성값을 제3 인공지능으로 추정하는 단계이다. 속성추정을 위해, 종류판별, 이미지, 이상영역을 입력받는다. 상기 이미지는 부분이미지 또는 합성이미지이다. 상기 특징벡터를 더 입력받아서 활용할 수 있다.
이 단계에서는 딥러닝 기반의 이상 속성값의 추정(Regression)을 수행한다. 이에 의하면, 이상분류 단계(S30)에서 분류된 이상들 중, 특정 속성을 갖는 이상들에 대해 추가적인 판정을 진행한다. 이로써, 이상의 다양한 속성값, 예컨대 깊이, 길이, 폭, 면적 등을 추정할 수 있다.
상기 제3 인공지능은, 결함판정에 영향을 미칠 속성의 정의 및 특징을 학습한 추정 분류기를 포함하여 이루어짐이 바람직하다.
상기 결함판정 단계(S50)는, 추정된 속성값과 속성별로 미리 정해져 있는 기준치에 따라 결함을 판정하는 단계이다. 결함판정을 위해, 속성값, 기준치를 입력받을 수 있다. 상기 특징벡터를 더 입력받아서 활용할 수 있다.
일부 결함의 경우, 이상이 존재하더라도 그 속성값이 기준치 이하면, 정상으로 판정할 수 있게 된다.
예 1: 판재 흠집의 경우, 결함 깊이가 1mm 이하, 길이가 1mm 이하 흠집은 정상
예 2: 섬유 올 풀림의 경우, 올 풀림 1칸/1㎡ 은 정상
다만, 산업현장의 복잡한 필요에 따라, 결함판정 기준치의 조정이 가능하다.
그리고, 선택사항으로서, 이상분류 단계(S30)와 마찬가지로, 이상 속성추정에 필요한 특징을 추출하기 위해 새로운 특징 추출기를 학습할 수도 있고, 이전 단계에서 이미 추출된 특징벡터를 재사용하여 시간을 절약할 수도 있다.
<실시예>
(1) 연속적으로 제품이 출하될 때, 진행방향, 즉 라인의 길이방향의 수직방향(폭 방향)으로 다수의 이미지 입력장치(10)를 구성하여, 각각 일정 길이영역을 촬영한다.
(2) 촬영된 다수의 부분이미지는, 설비의 구성에 따라 하나의 전체 합성이미지로 합성(S10)된다.
(3) 부분이미지와 전체 합성이미지로부터 이상의 위치를 빠르게 특정, 검출(S20)한다. 특징벡터를 추출한다.
(4) 특정된 이상을 그 형상과 특징에 따라 분류(S30)한다. 특징벡터를 활용할 수 있다.
(5) 분류된 이상으로부터 필요한 속성을 추정(S40)한다. 특징벡터를 활용할 수 있다.
(6) 속성값을 기준치와 비교하여, 결함을 판정한다.
<효과>
기준치와의 단순비교가 아니라, 인공지능을 이용한 3단계 처리를 거쳐서 이상을 검출하고 그 이상의 종류를 판별하고 그 종류의 속성치를 기준치와 비교하여 결함판정을 함으로써, 결함의 판정속도와 정확성, 유연성에 있어서 극히 우수하다.
<장치>
상기 설명된 본 발명의 방법은, 롬, 램, EPROM, PLC 등의 하드웨어에 실행 가능한 형태로 하드 와이어링을 통해 모듈별로 장치화될 수 있다.
본 발명의 장치는, 인공지능을 이용한 표면결함 검사장치로서, 검사대상(p)의 이미지가 입력되도록 하는 이미지 입력모듈(10)과, 상기 이미지의 일부 또는 전부가 이상(異常)에 해당되는지를 제1 인공지능으로 결정하는 이상검출 모듈(20)과, 이상으로 결정(이상검출)되면, 이상의 종류를 제2 인공지능으로 판별하는 이상분류 모듈(30)과, 판별된 이상의 종류에 따라 결함의 판정에 영향을 미칠 속성값을 제3 인공지능으로 추정하는 속성추정 모듈(40)과, 추정된 속성값과 속성별로 미리 정해져 있는 기준치에 따라 결함을 판정하는 결함판정 모듈(50)을 포함하여 이루어짐을 특징으로 한다.
<프로그램>
본 발명의 프로그램은, 정보기기에 상기에 기재된 방법의 각 단계를 실행시키기 위한 정보기기용 프로그램을 기록한, 정보기기로 읽을 수 있는 저장매체에 기록된 정보기기용 프로그램이다.
여기서, 상기 정보기기는, 컴퓨터, 스마트폰, 태블릿 컴퓨터 등 휴대용 정보처리기기를 통칭한다.
이상 본 발명의 바람직한 실시예에 대해 설명했지만, 본 발명은, 상기 개시되는 실시예들에 한정되는 것이 아니라, 특허청구범위와 발명의 상세한 설명 및 첨부 도면의 범위 안에서 서로 다른 다양한 형태로 변형하여 구현 실시될 수 있고, 균등한 타 실시예가 가능하며, 이 또한 본 발명의 범위에 속하는 것은 당해 분야에서 통상적 지식을 가진 자에게 당연하며, 단지 실시예들은, 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은, 청구항의 범주에 의해 정의될 뿐이다.
본 발명은, 인공지능을 이용한 표면결함 검사방법, 장치 및 프로그램의 산업에 이용될 수 있다.
10: 이미지 입력모듈
20: 이상검출 모듈
30: 이상분류 모듈
40: 속성추정 모듈
50: 결함판정 모듈
p: 검사대상
f: 이송장치(컨베이어 벨트)
1, 2. 3, 4: 이미지 입력장치
a, b, c, d: 부분이미지
20: 이상검출 모듈
30: 이상분류 모듈
40: 속성추정 모듈
50: 결함판정 모듈
p: 검사대상
f: 이송장치(컨베이어 벨트)
1, 2. 3, 4: 이미지 입력장치
a, b, c, d: 부분이미지
Claims (8)
- 인공지능을 이용한 표면결함 검사방법으로서,
검사대상의 이미지가 입력되는 이미지 입력단계와,
상기 이미지의 일부 또는 전부가 이상(異常)에 해당되는지를 제1 인공지능으로 결정하는 이상검출 단계와,
이상으로 결정되면, 이상의 종류를 제2 인공지능으로 판별하는 이상분류 단계와,
판별된 이상의 종류에 따라 속성값을 제3 인공지능으로 추정하는 속성추정 단계와,
추정된 속성값과 속성별로 미리 정해져 있는 기준치에 따라 결함을 판정하는 결함판정 단계
를 포함하여 이루어지고,
상기 제1 인공지능은, 이상데이터를 학습하지 않고 정상데이터만을 학습한 정상 분류기를 포함하여 이루어지고,
상기 제1 인공지능은, 상기 이미지의 일부 또는 전부가 정상과 다른 점을 찾아서, 이상에 해당되는지를 결정하도록 이루어지며,
상기 제1 인공지능은, 이상을 판단하기 위하여 입력된 이미지의 각 위치별로 특징벡터(feature vector)를 생성하고, 상기 특징벡터를 이미 학습된 정상데이터의 특징들과 비교하도록 이루어지고,
상기 이상검출 단계에서 생성된 상기 특징벡터는, 상기 이상분류 단계 및 상기 속성추정 단계 중 적어도 어느 하나에 입력되어 이용되도록 이루어짐
을 특징으로 하는, 인공지능을 이용한 표면결함 검사방법. - 청구항 1에 있어서,
상기 이미지 입력단계에 있어서 입력되는 상기 이미지는, 상기 검사대상에 대한 복수의 부분이미지 또는 상기 복수의 부분이미지를 합성한 합성이미지임
을 특징으로 하는, 인공지능을 이용한 표면결함 검사방법. - 청구항 1에 있어서,
상기 이미지를 생성하는 이미지 생성장치는, 초점거리가 짧은 장치와 초점거리가 긴 장치 중 적어도 하나를 포함하여 이루어짐
을 특징으로 하는, 인공지능을 이용한 표면결함 검사방법. - 삭제
- 청구항 1에 있어서,
상기 이상분류 단계에서 이용되는 제2 인공지능은, 이상의 종류별 특징을 학습한 종류 분류기를 포함하여 이루어짐
을 특징으로 하는, 인공지능을 이용한 표면결함 검사방법. - 청구항 1에 있어서,
상기 속성추정 단계에서 이용되는 제3 인공지능은, 결함판정에 영향을 미칠 속성의 정의 및 특징을 학습한 추정 분류기를 포함하여 이루어짐
을 특징으로 하는, 인공지능을 이용한 표면결함 검사방법. - 인공지능을 이용한 표면결함 검사장치로서,
검사대상의 이미지가 입력되도록 하는 이미지 입력모듈과,
상기 이미지의 일부 또는 전부가 이상(異常)에 해당되는지를 제1 인공지능으로 결정하는 이상검출 모듈과,
이상으로 결정되면, 이상의 종류를 제2 인공지능으로 판별하는 이상분류 모듈과,
판별된 이상의 종류에 따라 결함의 판정에 영향을 미칠 속성값을 제3 인공지능으로 추정하는 속성추정 모듈과,
추정된 속성값과 속성별로 미리 정해져 있는 기준치에 따라 결함을 판정하는 결함판정 모듈
을 포함하여 이루어지고,
상기 제1 인공지능은, 이상데이터를 학습하지 않고 정상데이터만을 학습한 정상 분류기를 포함하여 이루어지고,
상기 제1 인공지능은, 상기 이미지의 일부 또는 전부가 정상과 다른 점을 찾아서, 이상에 해당되는지를 결정하도록 이루어지며,
상기 제1 인공지능은, 이상을 판단하기 위하여 입력된 이미지의 각 위치별로 특징벡터(feature vector)를 생성하고, 상기 특징벡터를 이미 학습된 정상데이터의 특징들과 비교하도록 이루어지고,
상기 이상검출 모듈에서 생성된 상기 특징벡터는, 상기 이상분류 모듈 및 상기 속성추정 모듈 중 적어도 어느 하나에 입력되어 이용되도록 이루어짐
을 특징으로 하는, 인공지능을 이용한 표면결함 검사장치. - 정보기기에 청구항 1에 기재된 방법의 각 단계를 실행시키기 위한 정보기기용 프로그램을 기록한, 정보기기로 읽을 수 있는 저장매체에 기록된 정보기기용 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210149780A KR102666787B1 (ko) | 2021-11-03 | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210149780A KR102666787B1 (ko) | 2021-11-03 | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230064319A KR20230064319A (ko) | 2023-05-10 |
| KR102666787B1 true KR102666787B1 (ko) | 2024-05-17 |
Family
ID=
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011038905A (ja) | 2009-08-11 | 2011-02-24 | Okayama Univ | 欠陥検査方法及び欠陥検査装置 |
| KR102118809B1 (ko) | 2018-12-03 | 2020-06-03 | 세종대학교산학협력단 | 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치 |
| KR102261323B1 (ko) * | 2019-06-14 | 2021-06-07 | 주식회사 한국건설방재연구원 | 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법 |
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011038905A (ja) | 2009-08-11 | 2011-02-24 | Okayama Univ | 欠陥検査方法及び欠陥検査装置 |
| KR102118809B1 (ko) | 2018-12-03 | 2020-06-03 | 세종대학교산학협력단 | 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치 |
| KR102261323B1 (ko) * | 2019-06-14 | 2021-06-07 | 주식회사 한국건설방재연구원 | 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106920219B (zh) | 物品缺陷检测方法、图像处理系统与计算机可读记录介质 | |
| KR20190063839A (ko) | 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템 | |
| KR102168724B1 (ko) | 이미지 검사를 이용한 이상 판별 방법 및 장치 | |
| US11127134B2 (en) | Film defect detection method and system | |
| CN111179250B (zh) | 一种基于多任务学习的工业品缺陷检测系统 | |
| KR101477665B1 (ko) | 불균일한 텍스쳐 표면의 불량 검출방법 | |
| CN109462999B (zh) | 通过数据平衡基于学习的视觉检查方法以及利用其的视觉检查装置 | |
| CN115953373B (zh) | 玻璃缺陷检测方法、装置、电子设备及存储介质 | |
| CN116542984A (zh) | 五金件缺陷检测方法、装置、计算机设备及存储介质 | |
| JP2021143884A (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
| CN117274245B (zh) | 基于图像处理技术的aoi光学检测方法及系统 | |
| CN117689646A (zh) | 一种正负样本融合的高精度缺陷检测方法、系统及介质 | |
| CN113554645A (zh) | 基于wgan的工业异常检测方法和装置 | |
| JPH08189904A (ja) | 表面欠陥検出装置 | |
| CN114226262A (zh) | 瑕疵检测方法、瑕疵分类方法及其系统 | |
| KR102666787B1 (ko) | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 | |
| WO2020175666A1 (ja) | カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法 | |
| TWI749714B (zh) | 瑕疵檢測方法、瑕疵分類方法及其系統 | |
| CN115947066A (zh) | 皮带撕裂检测方法、装置及系统 | |
| KR20230064319A (ko) | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 | |
| TWM606740U (zh) | 瑕疵檢測系統 | |
| JP6769447B2 (ja) | 鋼板の疵検査装置及び疵検査方法 | |
| Niskanen et al. | Experiments with SOM based inspection of wood | |
| KR20230036650A (ko) | 영상 패치 기반의 불량 검출 시스템 및 방법 | |
| Revathy et al. | Fabric defect detection and classification via deep learning-based improved Mask RCNN |