KR20240030907A - 머신비전 기반 피검사체 표면 결함 자동 검출 시스템 - Google Patents
머신비전 기반 피검사체 표면 결함 자동 검출 시스템 Download PDFInfo
- Publication number
- KR20240030907A KR20240030907A KR1020220141119A KR20220141119A KR20240030907A KR 20240030907 A KR20240030907 A KR 20240030907A KR 1020220141119 A KR1020220141119 A KR 1020220141119A KR 20220141119 A KR20220141119 A KR 20220141119A KR 20240030907 A KR20240030907 A KR 20240030907A
- Authority
- KR
- South Korea
- Prior art keywords
- inspection
- data
- vision
- inspected
- algorithm
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 85
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000012360 testing method Methods 0.000 title description 9
- 238000007689 inspection Methods 0.000 claims abstract description 328
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 56
- 230000002950 deficient Effects 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000004519 manufacturing process Methods 0.000 claims abstract description 34
- 239000000126 substance Substances 0.000 claims abstract description 13
- 238000013500 data storage Methods 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 206010047571 Visual impairment Diseases 0.000 claims description 8
- 238000011179 visual inspection Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 3
- 230000008685 targeting Effects 0.000 claims description 3
- 206010064127 Solar lentigo Diseases 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000003908 quality control method Methods 0.000 abstract description 4
- 238000012937 correction Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 230000006641 stabilisation Effects 0.000 abstract description 2
- 238000011105 stabilization Methods 0.000 abstract description 2
- 239000000047 product Substances 0.000 description 48
- 238000010586 diagram Methods 0.000 description 15
- 238000002347 injection Methods 0.000 description 5
- 239000007924 injection Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 206010027146 Melanoderma Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000011344 liquid material Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/94—Investigating contamination, e.g. dust
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
- G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/888—Marking defects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
본 발명은 피검사체의 품질관리를 위하여 피검사체를 특정 위치에서 촬영한 후 영상데이터를 획득하고, 비전검사 알고리즘에 따라 촬영한 이미지와 설계데이터 값을 비교 및 분석하여 피검사체의 찍힘, 긁힘, 교정자국 및 변형 또는 이물질 검출 등 피검사체의 불량 여부를 판단할 수 있는 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에 관한 것으로, 피검사체의 모델별 바코드데이터를 읽어 들이는 바코드스캐너; 상기 피검사체의 전면 및 측면을 촬영하여 검사하는 비전검사장치; 상기 비전검사장치에서 검사한 피검사체의 전면 검사데이터를 처리하는 전면 검사데이터 처리장치; 상기 비전검사장치에서 검사한 피검사체의 측면 검사데이터를 처리하는 측면 검사데이터 처리장치; 상기 피검사체의 바코드데이터와 전면 검사데이터 및 측면 검사데이터를 비전검사 알고리즘의 수행으로 피검사체의 불량 여부를 비교 판단하여 양품 또는 불량품 검사데이터를 생성하고, 피검사체를 검사하는 검사설비를 제어하며, 피검사체의 검사결과를 가시적인 정보데이터로 표출하는 표시장치를 제어하고, 불량품으로 판정된 피검사체를 제거하는 불량품 제거장치를 제어하는 제어장치; 상기 제어장치에서 생성된 피검사체의 양품 또는 불량품 여부를 포함하는 검사데이터를 저장하는 검사데이터 저장장치를 포함하여 이루어진 것이다. 본 발명은 스마트팩토리 제조공정의 품질관리를 위한 것으로, 라인 스캔 카메라를 이용한 비전검사를 통하여 피검사체의 품질향상 및 불량품을 감소시키고, 비전검사 알고리즘으로 피검사체의 양산 및 품질 안정화를 위한 기간을 단축시킬 수 있으며, 공정의 최적화에 따른 사이클 타임을 단축시킬 수 있고, 생산 및 검사 정보의 빅데이터화가 가능한 것이다.
Description
본 발명은 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에 관한 것으로, 더욱 상세하게는 피검사체의 품질관리를 위하여 피검사체를 특정 위치에서 촬영한 후 영상데이터를 획득하고, 비전검사 알고리즘에 따라 촬영한 이미지와 설계데이터 값을 비교 및 분석하여 피검사체의 찍힘, 긁힘, 교정자국 및 변형 또는 이물질 검출 등 피검사체의 불량 여부를 판단할 수 있는 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에 관한 것이다.
일반적으로 각종 기술의 발전에 따라 다양한 형태의 물품을 다양한 방법으로 생산하는 것이 가능해졌다. 예를 들어, 종래에는 절삭이나 연삭을 통해 원하는 형태의 외형을 갖춘 물품을 생산할 수 있었다.
또한, 다양한 재질로 이루어진 금속 주형에 액상의 재료, 예를 들면 액상 플라스틱을 주입한 후 이를 냉각, 사출하여 부품을 형성하는 이른바 플라스틱 사출방법도 활용되고 있다. 한편, 인구의 증가와 시장의 성장에 대응하기 위하여, 물품을 제조하는 제조업자들은 저렴한 비용으로 다양한 물품을 생산하여야 하는 과제에 직면하게 되었다. 특히, 각종 제품들의 사용 주기가 점차 짧아짐에 따라 물품의 대량생산 설비를 갖추어야 하는 시간도 짧아지게 되었다.
여기서, 신속한 대량생산과 함께 제조업자들에게 주어진 또 다른 과제로는 생산된 물품의 수율을 유지하는 것이 있다. 수공업에 의해서 제품이 생산되던 시기에는 노동자가 직접 모든 생산 작업을 수행 및 통제하였기 때문에 동일한 물품에 대한 설계에도 불구하고 노동자 개개인의 숙련도나 피로도 등의 다양한 환경적 요인에 의해서 물품의 품질을 일관성 있게 유지하는 것이 현실적으로 불가능하였다.
또한, 기계에 의한 대량 자동생산 시대가 열린 이후로 제조에서의 균일성은 상당 부분 획득할 수 있게 되었으나, 각 물품의 생산 및 조립 과정에서 발생하는 다양한 기계적 오류 및 물품의 불량 여부에 대한 검사는 여전히 노동자들이 일일이 육안으로 검사하는 방법이 활용되고 있어 비용이 많이 들 뿐만 아니라 수공업 제품 생산 시대의 문제점과 마찬가지로 노동자 개개인의 숙련도나 피로도 또는 개개인의 기준의 상이함으로 인해 제품의 품질을 판단하는 일관적인 기준이 적용되지 않을 수 있는 문제점이 여전히 남아 있다. 또한, 품질에 대한 소비자들의 기준도 나날이 높아지고 있어, 물품을 생산함에 있어서 제조업자들은 물품의 생산 및 조립 공정에서, 중간 과정 및 최종 조립 완료 과정에서 불량품을 제거하기 위한 노력을 기울이고 있는 실정이다.
이러한 노력의 일환으로, 조립 공정에서는 다양한 검사장비를 이용하여 물품이 기준 품질을 만족시키는지의 여부를 판단하고, 품질이 불량한 것으로 판단되는 중간 조립품을 사전에 제거함으로써 최종 완성품에 대한 높고 균일한 품질을 유지하여 높은 수율을 얻어내는 것이 하나의 과제로 되어 있다.
상기에서 물품의 제조 과정에서 발생하는 중간 물품 또는 최종 완성품의 검사 방법을 보다 상세히 살펴보면, 산업 현장에서 현재 활용되고 있는 방법은 검사 대상이 되는 물품에 대해서 촬영장비를 이용하여 영상을 촬영하고, 촬영된 영상을 검사를 수행하는 노동자들이 수작업을 통해 하나하나 확인하는 과정을 거치는 방법이 있다. 이러한 방법은 숙련된 작업자의 육안으로 검사하는 과정에서 작업자의 피로도 증가와 실수로 인한 불량품 검사 정확도에 한계가 발생하고, 제품의 품질이 저하되며, 제품별 검사이력 정보가 누락되고, 제품별 주요 불량요인의 분석과 원인에 대한 판단이 불가능하며, 작업자 및 업무의 효율성을 측정하는 것이 불가능하다는 문제가 있었다.
본 발명은 상기 문제를 해결하기 위하여, 설정된 복수의 위치에서 비전검사장치로 피검사체를 촬영하여 영상을 획득하고, 비전검사 알고리즘을 통한 설계된 이미지와 영상처리 후 이미지를 비교 분석하여 피검사체에 대한 표면의 찍힘, 긁힘, 교정자국 및 변형 또는 이물질 검출 등으로부터 피검사체의 표면 결함 여부를 판단하기 위한 것이 목적이다.
또한, 본 발명은 피검사체의 검사품질 안정성과 결함검출의 민감성을 향상시켜 결함에 대한 신속한 대응이 가능하도록 하고, 피검사체의 검사항목의 다양성을 확보하기 위한 것이 다른 목적이다.
또한, 본 발명은 피검사체의 표면결함의 검사결과 신뢰도를 개선하여 피검사체의 결함 발생 때에 신속한 대응체계의 구축으로 생산 효율성 및 품질향상과 관리의 편의성을 증대시키기 위한 것이 또 다른 목적이다.
본 발명은 상기 목적을 달성하기 위하여, 피검사체의 모델별 바코드데이터를 읽어 들이는 바코드스캐너; 상기 피검사체의 전면 및 측면을 촬영하여 검사하는 비전검사장치; 상기 비전검사장치에서 검사한 피검사체의 전면 검사데이터를 처리하는 전면 검사데이터 처리장치; 상기 비전검사장치에서 검사한 피검사체의 측면 검사데이터를 처리하는 측면 검사데이터 처리장치; 상기 피검사체의 바코드데이터와 전면 검사데이터 및 측면 검사데이터를 비전검사 알고리즘의 수행으로 피검사체의 불량 여부를 비교 판단하여 양품 또는 불량품 검사데이터를 생성하고, 피검사체를 검사하는 검사설비를 제어하며, 피검사체의 검사결과를 가시적인 정보데이터로 표출하는 표시장치를 제어하고, 불량품으로 판정된 피검사체를 제거하는 불량품 제거장치를 제어하는 제어장치; 상기 제어장치에서 생성된 피검사체의 양품 또는 불량품 여부를 포함하는 검사데이터를 저장하는 검사데이터 저장장치를 포함하여 이루어진 머신비전 기반 피검사체 표면 결함 자동 검출 시스템을 제공한 것이 특징이다.
또한, 본 발명에서, 상기 비전검사장치는, 피검사체의 전면을 촬영하는 전면 카메라와, 피검사체의 전면 표면의 굴곡에 대응하여 레이저 거리 값으로 실시간 오토 포커싱을 수행하는 전면 오토포커싱 스캐너와, 피검사체의 측면을 촬영하는 측면 카메라와, 피검사체의 측면 표면의 굴곡에 대응하여 레이저 거리 값으로 실시간 오토 포커싱을 수행하는 측면 오토포커싱 스캐너를 포함할 수 있다.
또한, 본 발명에서, 상기 비전검사 알고리즘은 피검사체의 외관검사의 속도, 외관검사 정밀도, 표면 홀 검사, 표면 이물 검사, 표면 찍힘 검사, 표면 긁힘 검사, 양품 및 불량품 검사의 정밀도, 결함 자동 검출의 정확도, 불량 예측 모델의 정확도를 측정하여 제어장치의 표시장치를 통해 표출할 수 있다.
또한, 본 발명에서, 상기 비전검사 알고리즘은 비전검사장치에서 검사하여 획득된 영상이미지로부터 콘트라스트(Contrast)를 조정하고 잔상을 제거한 후 이진화된 영상의 얼룩(Blob) 면적을 구한 다음에 양품 또는 불량품의 계산 및 판단 결과를 출력하는 스크래치 검출알고리즘과, 비전검사장치에서 검사하여 획득된 영상이미지로부터 콘트라스트(Contrast)를 조정하고 잔상을 제거한 후 이진화된 영상의 얼룩(Blob) 면적을 구한 다음에 그라데이션(Gradation)이 있는 영상이미지에서 이물 및 흑점을 검출하여 검출된 이물을 출력하는 이물/흑점 검출알고리즘과, 비전검사장치에서 검사 영역 내에서 평균들의 표준편차를 구한 후 양품에 대한 범위(Range)를 설정하고, 그 범위를 벗어나는 평균값을 가지는 영역을 불량품으로 판정하여 출력하는 표준편차 검출알고리즘과, 비전검사장치에서 검사하여 획득되어 서브 픽셀(Sub Pixel)이 적용된 영상이미지에서 확대된 영상이미지로부터 일정 개수의 픽셀을 이용하여 일차 미분방식으로 에지(Edge)를 검출하는 에지 검출알고리즘을 포함할 수 있다.
또한, 본 발명에서, 상기 전면 검사데이터 처리장치와 측면 검사데이터 처리장치는 비전검사장치에서 획득된 영상이미지를 일정 간격 및 픽셀로 분할하여 이미지 처리할 수 있다.
또한, 본 발명에서, 상기 비전검사 알고리즘은 비전검사장치에서 획득된 영상이미지로부터 피검사체의 생산일자, 검사 유형, 불량발생 유형을 포함하는 검사 결과데이터를 검사데이터 저장장치에 저장할 수 있도록 데이터베이스(DB)를 구축할 수 있다.
또한, 본 발명에서, 상기 검사 유형으로 정밀도, 이물질, 찍힘, 긁힘, 홀을 포함하는 항목별 유형으로 분류하여 해당 이미지를 데이터베이스로 구축할 수 있다.
또한, 본 발명에서, 상기 비전검사 알고리즘은 검사공정에서 획득된 데이터로부터 피검사체의 불량 여부를 예측하기 위한 학습데이터를 딥러닝을 통해 예측모델을 구현하되, 학습데이터는 불량이 발생된 해당 일자의 누적데이터를 대상으로 날짜, 모델번호, 상태 및 결함요소를 포함하는 변수에 따라 불량이 발생하는지를 의사결정 트리모델을 활용하여 추정하고, 상기 딥러닝은 복수의 샘플이미지를 입력하여 결함 유형별로 학습데이터를 라벨링하고, 딥러닝 알고리즘으로 학습을 수행하여 제조 현장에서의 최적화를 위한 검사모델을 생성하며, 검사를 원하는 이미지를 입력하여 검사결과를 표시장치를 통해 표출할 수 있다.
또한, 본 발명에서, 상기 표시장치는 대시보드의 형태로 모니터링 환경을 통해 name node 및 data node 시스템의 정보를 제공하고, Map/Reduce 작업 개수 및 프로그램의 성공/실패 정보 제공하며, 시스템의 진행 상황의 모니터링과 로그/이벤트를 추적할 수 있다.
또한, 본 발명에서, 상기 비전검사 알고리즘은 전면 검사데이터 처리장치와 측면 검사데이터 처리장치를 거쳐 평활화된 검사이미지를 설정된 기준이미지와의 차이를 계산하고, 계산된 차이 값에 오프셋(Offset)과 문턱(Threshold) 값을 입력한 다음, 오프셋과 문턱 값으로부터 픽셀 값 차이를 판단한 후, 픽셀 값의 차이가 설정된 범위 이내이면 양품으로 판정하고, 픽셀 값의 차이가 설정된 범위 밖이면 불량품으로 판정할 수 있다.
본 발명에 따르면, 생산된 피검사체의 최종 검수를 수행함에 있어 검사시간 및 비용을 대폭 절감하고 공정라인의 생산성 및 관리의 편의성을 증대하여 제조 공정을 개선하고, 피검사체의 생산단가를 획기적으로 절감할 수 있는 비전검사 기술의 기반을 마련하여 제품화의 완성도를 한층 고양할 수 있으며, 피검사체에 대한 제반의 검사기록에 따른 통계자료의 제공으로 최적화된 품질자료의 획득과 피검사체에 대한 추적관리가 가능하여 품질데이터의 기록 및 관리가 용이하고, 피검사체의 제조 단계에서 완성까지 원스톱(One-Stop)의 품질검사가 가능하여 품질의 만족도가 증대되며, 비전검사의 신속성, 안정성 및 검사결과의 축적을 통한 생산 및 제조 공정의 빅데이터화로 스마트공장 구현이 가능하고, 생산 공정의 모니터링을 통해 공정 능력의 지수 변화를 즉각 감지하며, 이상 발생 때에 등록, 통보, 처리 등의 이상 요인을 처리하는 시간을 단축할 수 있어 공정 가동률이 향상되고, 공정 데이터에 대한 다차원 분석을 통해 품질문제를 사전에 감지하여 불량률 개선을 통한 생산 효율을 증대시키며, 피검사체의 사출 금형의 데이터, 불량데이터를 취득하고 분석하여 불량이 발생하지 않는 최적의 공정변수의 조합을 도출할 수 있어 공정변수의 재조합에 따른 시간 및 비용을 절감할 수 있는 이점이 있다.
도 1은 본 발명에 따른 실시 예로, 머신비전 기반 피검사체 표면 결함 자동 검출 시스템을 나타낸 블록도이다.
도 2는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 비전검사장치를 나타낸 블록도이다.
도 3은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 이미지 프로세싱 검사 영상처리를 개략적으로 나타낸 블록도이다.
도 4는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 스크래치 검출알고리즘을 나타낸 예시도이다.
도 5는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 이물/흑점 검출알고리즘을 나타낸 예시도이다.
도 6은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 표준편차 검출알고리즘을 나타낸 예시도이다.
도 7은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 에지 검출알고리즘을 나타낸 예시도이다.
도 8은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 데이터베이스의 구축을 샘플링한 예시를 나타낸 도표이다.
도 9는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 외관 비전검사 데이터베이스의 구축을 예시로 나타낸 도표이다.
도 10은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 데이터 셋의 구축을 위한 생성 및 학습 분류 및 검출을 도식화한 것이다.
도 11은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 데이터 셋의 구축과정을 나타낸 예시도이다.
도 12는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 검사결과에 따른 유형별 분류를 적용한 예시도이다.
도 13은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 빅데이터 관리 플랫폼 아키텍처의 논리구조를 나타낸 예시도이다.
도 14는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 딥러닝을 이용하여 사출 금형 결함을 자동으로 검출하는 알고리즘을 나타낸 흐름도이다.
도 15는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 사출 금형의 외관 비전을 모니터링한 결과를 나타낸 예시도이다.
도 16은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 피검사체를 비전검사장치의 검사로부터 양품과 불량품으로 구분하여 분류하는 흐름을 나타낸 예시도이다.
도 17은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 피검사체를 비전검사장치의 검사로부터 불량을 검출하는 흐름을 나타낸 예시도이다.
도 2는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 비전검사장치를 나타낸 블록도이다.
도 3은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 이미지 프로세싱 검사 영상처리를 개략적으로 나타낸 블록도이다.
도 4는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 스크래치 검출알고리즘을 나타낸 예시도이다.
도 5는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 이물/흑점 검출알고리즘을 나타낸 예시도이다.
도 6은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 표준편차 검출알고리즘을 나타낸 예시도이다.
도 7은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 에지 검출알고리즘을 나타낸 예시도이다.
도 8은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 데이터베이스의 구축을 샘플링한 예시를 나타낸 도표이다.
도 9는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 외관 비전검사 데이터베이스의 구축을 예시로 나타낸 도표이다.
도 10은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 데이터 셋의 구축을 위한 생성 및 학습 분류 및 검출을 도식화한 것이다.
도 11은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 데이터 셋의 구축과정을 나타낸 예시도이다.
도 12는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 검사결과에 따른 유형별 분류를 적용한 예시도이다.
도 13은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 빅데이터 관리 플랫폼 아키텍처의 논리구조를 나타낸 예시도이다.
도 14는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 딥러닝을 이용하여 사출 금형 결함을 자동으로 검출하는 알고리즘을 나타낸 흐름도이다.
도 15는 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 사출 금형의 외관 비전을 모니터링한 결과를 나타낸 예시도이다.
도 16은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 피검사체를 비전검사장치의 검사로부터 양품과 불량품으로 구분하여 분류하는 흐름을 나타낸 예시도이다.
도 17은 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서, 피검사체를 비전검사장치의 검사로부터 불량을 검출하는 흐름을 나타낸 예시도이다.
이하 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에 관한 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1에서, 비전검사장치(10)는 피검사체(1)의 전면 및 측면을 촬영하여 검사하기 위한 것으로, 피검사체(1)로서 각종 전자제품을 구성하는 부품이나 부속품들의 외관 결함을 검사하는 것이다.
도 2에서, 비전검사장치(10)는 검사설비(20)의 상부에 설치된 전면 카메라(11)와 검사설비(20)의 측부에 설치된 측면 카메라(13)로 검사설비(20)의 정렬 컨베이어(21)를 따라 일정 속도로 이동하는 피검사체(1)의 전면 및 측면의 해당 표면을 촬영하여 실시간을 통한 영상데이터를 획득한다. 전면 오토포커싱 스캐너(12)는 피검사체(1)의 전면의 표면 굴곡에 대응하여 레이저 거리 값으로 실시간 오토포커싱을 수행하여 전면 카메라(11)의 포커싱을 자동으로 조절한다. 그리고 측면 오토포커싱 스캐너(14)는 피검사체(1)의 측면 표면의 굴곡에 대응하여 레이저 거리 값으로 실시간을 통해 오토포커싱을 수행하여 측면 카메라(13)의 포커싱을 자동으로 조절한다. 또한, 검사설비(20)에 유입된 피검사체(1)가 고정된 상태에서 전면 카메라(11) 및 전면 오토포커싱 스캐너(12)와 측면 카메라(13) 및 측면 오토포커싱 스캐너(14)가 각각 피검사체(1)의 전면과 측면을 이동하면서 영상데이터를 획득할 수도 있을 것이다.
더욱이 전면 오토포커싱 스캐너(12)와 측면 오토포커싱 스캐너(14)가 레이저를 주사하여 피검사체(1)의 전면과 측면을 스캔하는 동안 전면 오토포커싱 스캐너(12)와 측면 오토포커싱 스캐너(14)에서 검출된 레이저의 거리 값을 이용하여 실시간 오토포커싱으로 스캔할 때 피검사체(1)의 굴곡에 대응하여 저속의 영상데이터를 획득할 수 있다. 또한, 복수의 전면 오토포커싱 스캐너(12)와 측면 오토포커싱 스캐너(14)가 상부와 하부에 복수로 설치된 경우에는 2점의 레이저 거리 값으로 기울기를 계산한 후 Z축에 설치된 전면 카메라(11)와 측면 카메라(13)로 전면과 측면의 표면 굴곡에 대응하지 못하더라도 단축된 스캔시간으로 영상데이터를 획득할 수 있을 것이다. 또한, 검사설비(20)의 정렬 컨베이어(21)는 피검사체(1)의 모델별로, 대략 ±5mm 이내의 오차범위로 센터 기준정렬이 가능하도록 설치될 수 있다.
바코드스캐너(30)는 피검사체(1)의 모델별 바코드데이터를 읽어 들이는 것으로, 피검사체(1)의 표면에 부착된 바코드를 읽어 피검사체(1)의 모델별 또는 부품별로 구분하거나 분류할 수 있을 것이다. 또한, 바코드스캐너(30)는 피검사체(1)에 모델별 또는 부품별 해당 정보를 포함하는 QR코드가 부착된 경우에 QR코드데이터를 읽어 들일 수 있는 QR코드스캐너 기능을 포함할 수 있을 것이다.
전면 검사데이터 처리장치(40)는 비전검사장치(10)에서 검사한 피검사체(1)의 전면 검사데이터를 처리하는 것으로, 획득된 영상데이터를 변환하여 처리하는 프로그램이 내장된 PC일 수 있다. 또, 측면 검사데이터 처리장치(42)는 비전검사장치(10)에서 검사한 피검사체(1)의 측면 검사데이터를 처리하는 것으로, 획득된 영상데이터를 변환하여 처리하는 프로그램이 내장된 PC일 수 있다.
제어장치(50)는 바코드스캐너(30), 전면 검사데이터 처리장치(40) 및 측면 검사데이터 처리장치(42)에서 각각 입력된 피검사체(1)의 바코드데이터와 전면 검사데이터 및 측면 검사데이터를 내장된 비전검사 알고리즘의 수행으로 피검사체(1)의 불량 여부를 구축된 데이터베이스에 설계된 이미지와 비교 판단하여 양품 또는 불량품 검사데이터를 생성한다. 제어장치(50)는 피검사체(1)를 검사하는 검사설비(20)의 작동을 제어하고, 검사결과로서 불량품으로 판정된 피검사체(1)를 분리 제거하는 불량품 제거장치(70)의 작동을 제어한다. 제어장치(50)는 바코드스캐너(30), 전면 검사데이터 처리장치(40) 및 측면 검사데이터 처리장치(42)에서 입력된 데이터를 내장된 비전검사 알고리즘으로 검사하는 PC 또는 서버일 수 있다.
또한, 표시장치(52)는 제어장치(50)에서 출력된 검사결과를 가시적인 정보데이터로 표출하는 것이다.
검사데이터 저장장치(60)는 제어장치(50)에서 생성된 피검사체(1)의 양품 또는 불량품 여부를 포함하는 검사데이터를 저장하는 것이다. 검사데이터 저장장치(60)에는 비전검사장치(10), 검사설비(20), 바코드스캐너(30), 전면 검사데이터 처리장치(40), 측면 검사데이터 처리장치(42), 불량품 제거장치(70)의 제어를 위한 프로그램이 저장되고, 제어장치(50)로 입출력되는 데이터, 즉, 비전검사장치(10)에서 입력되는 영상데이터, 검사설비(20)로 출력되어 제어데이터, 바코드스캐너(30)에서 입력되는 바코드데이터, 전면 검사데이터 처리장치(40) 및 측면 검사데이터 처리장치(42)의 검사데이터, 그리고 불량품 제거장치(70)로 출력되는 제어데이터 등을 저장한다.
도 3에서, 전면 검사데이터 처리장치(40)와 측면 검사데이터 처리장치(42)에는 비전검사장치(10)에서 획득된 영상이미지를 일정 간격 및 픽셀로 분할하여 이미지 처리하는 영상처리 프로그램이 내장된다. 영상처리 프로그램은 예를 들어, 피검사체(1)의 전체 실제 검사영역(Field Of View, FOV)으로 간격이 368mm로 해상도는 4096pixel이고, 간격이 358mm로 해상도는 3388pixel의 검사 유효부분으로 검사할 수 있으며, 라인의 검사 속도는 초당 300mm로 영상처리 프로그램은 최대 13M의 검사가 가능할 것이다. 또한, 영상처리 프로그램이 설치된 PC의 운용능력은 2대의 전면 카메라(11)나 측면 카메라(13)로부터 초당 72M의 검사가 가능하고, 4K 라인 검사 속도는 시간당 3.3Km일 수 있으며, 180um이상의 검출 때에 대략 초당 300mm의 검출이 가능한 것이 좋다.
본 발명에서, 제어장치(50)에 내장된 비전검사 알고리즘은 피검사체(1)의 외관검사의 속도, 외관검사 정밀도, 표면 홀 검사, 표면 이물 검사, 표면 찍힘 검사, 표면 긁힘 검사, 양품 및 불량품 검사의 정밀도, 결함 자동 검출의 정확도, 불량 예측 모델의 정확도 등을 측정하여 제어장치(50)에 연결된 표시장치(52)를 통해 표출하고, 검사데이터 저장장치(60)에 그 결과 값을 저장한다.
외관검사의 속도는 피검사체(1)를 전면 카메라(11)와 측면 카메라(13)를 이용하여 촬영한 시점부터 표시장치(52)의 화면에 검사 결과를 표출하기까지의 소요 시간을 측정한다. 외관검사 속도는 대략 30초 이내이다.
외관검사의 정밀도는 피검사체(1)에 홀, 이물질, 찍힘, 긁힘 등의 결함을 검사하고, 검사 결과가 완료되었을 때 불량 인식개수를 확인함으로써 검사정밀도를 산출한다. 그리고 피검사체(1)에 대하여 외관을 검사한 결과 값을 판정한 전체 값 중에서 분해능이 대략 200um 이상의 결과 값으로 판정한 성공률을 측정한다. 외관검사 정밀도의 성공률은 대략 90% 이상이다.
표면 홀 검사는 피검사체(1)의 표면에 가공된 대략 20mm 이상의 표면 홀을 검출하여 그 결과를 표시장치(52)의 화면에 표출하는지를 확인한다.
표면 이물 검사는 피검사체(1)의 표면에 얼룩(Blob)이나 그라데이션(Gradation) 등이 대략 0.5mm 이상의 이물질을 검출하여 그 결과를 표시장치(52)의 화면에 표출하는지를 확인한다.
표면 찍힘 검사는 피검사체(1)의 표면에 대략 0.5mm 이상의 찍힘을 검출하여 그 결과를 표시장치(52)의 화면에 표출하는지를 확인한다.
표면 긁힘 검사는 피검사체(1)의 표면에서 획득한 영상데이터를 기반으로 하여 콘트라스트(Contrast)를 조정하여 잔상을 제거하고, 이진화된 영상의 얼룩 면적을 이용하여 대략 폭 0.5mm 이상, 길이 10mm 이상의 긁힘을 검출하고, 그 결과를 표시장치(52)의 화면에 표출하는지를 확인한다.
또한, 양품 및 불량품 검사의 정밀도는 피검사체(1)의 외관검사 정밀도를 시험한 후에 정밀도 결과를 기준으로 대략 95% 이상이면 양품으로 판정하고, 대략 95% 미만이면 불량품으로 판정하는지를 확인한다.
결함 자동 검출의 정확도는 피검사체(1)의 표면 홀, 이물질, 찍힘, 긁힘을 검사하여 검출한 결함과 실제 결함을 비교하여 정확도가 대략 95% 이상인지를 측정한다.
그리고 불량 예측 모델의 정확도는 제어장치(50)의 비전검사 알고리즘에서 예측한 피검사체(1)의 불량과 실제 피검사체(1)의 불량을 비교하여 불량 예측 모델의 정확도가 대략 95% 이상인지를 측정한다.
한편, 도 4에서, 비전검사 알고리즘은 비전검사장치(10)에서 검사하여 획득된 영상이미지로부터 콘트라스트(Contrast)를 조정하고 잔상을 제거한 후 이진화된 영상의 얼룩(Blob) 면적을 구한 다음에 양품 또는 불량품의 계산 및 판단 결과를 출력하는 스크래치 검출알고리즘을 포함한다.
또한, 도 5에서, 비전검사 알고리즘은 비전검사장치(10)에서 검사하여 획득된 영상이미지로부터 콘트라스트(Contrast)를 조정하고 잔상을 제거한 후 이진화된 영상의 얼룩(Blob) 면적을 구한 다음에 그라데이션이 있는 영상이미지에서 이물 및 흑점을 검출하여 검출된 이물을 출력하는 이물/흑점 검출알고리즘을 포함한다.
또한, 도 6에서, 비전검사장치(10)에서 검사 영역 내에서 평균들의 표준편차를 구한 후 양품에 대한 범위(Range)를 설정하고, 그 범위를 벗어나는 평균값을 가지는 영역을 불량품으로 판정하여 출력하는 표준편차 검출알고리즘을 포함한다.
또한, 도 7에서, 비전검사장치(10)에서 검사하여 획득되어 서브 픽셀(Sub Pixel)이 적용된 영상이미지에서 확대된 영상이미지로부터 일정 개수의 픽셀을 이용하여 일차 미분방식으로 에지(Edge)를 검출하는 에지 검출알고리즘을 포함한다.
즉, 도 7에 도시된 바와 같이 비전검사장치(10)에서 획득된 서브 픽셀(Sub Pixel)은 y축이 Pixel 값이고, x축이 Pixel 위치인 그래프에서 기울기가 가장 큰 지점일 수 있다. 즉, 서브 픽셀 적용구간에서 에지를 검출하는 에지 검출 알고리즘이 도출될 수 있다.
도 8에서, 비전검사 알고리즘은 비전검사장치(10)에서 획득된 영상이미지로부터 피검사체의 생산일자, 검사 유형, 불량발생 유형을 포함하는 검사 결과데이터를 검사데이터 저장장치(60)에 저장할 수 있도록 데이터베이스(DB)를 구축한다. 그리고 검사 결과데이터로서 검사 유형은 정밀도, 이물질, 찍힘, 긁힘, 홀 등을 포함하는 항목별 유형으로 분류하여 촬영된 영상데이터와 비교하기 위하여 해당하는 설계된 이미지를 데이터베이스로 구축하는 것이다. 이러한 데이터베이스의 구축으로 도 9의 샘플 예를 참조할 수 있다.
한편, 본 발명에서, 피검사체의 품질 문제를 해소하기 위하여 현장에서 생성되는 데이터 셋(Data Set)을 이용하여 분석할 수도 있다. 즉, 검사데이터들 사이의 상관관계를 찾고 다양한 알고리즘을 활용하여 피검사체(1)의 불량 예측모델을 학습할 수 있을 것이다. 데이터 셋은 비전검사장치(10)를 통해 일별, 유형별 불량을 학습한 데이터이고 다양한 확장자의 변수를 수집한다. 학습데이터는 생산 환경의 온도 및 습도 정보, 비전검사장치의 정보 및 공정별 PLC 정보, 제품의 제조연월일, 생산 시간 등이다. 데이터 셋의 분석을 위한 알고리즘으로, 출력값을 입력값과 근사하게 모델을 학습시키는 오토 인코더 알고리즘, 분류를 위해 다수의 신경망을 연속적으로 쌓고, 최종적으로 각 클래스별 확률을 출력하도록 각 신경망의 모수를 업데이트하는 심층신경망(Deep Neural Network) 모델, 기계학습 분야 중의 하나로 패턴 인식, 자료 분석을 위한 지도학습 모델이며, 주로 분류와 회귀 분석을 위해 사용하는 서포트 벡터 머신(Support Vector Machine, SVM)을 포함할 수 있다. 보다 향상된 분류를 위해서 어떤 분류된 점에 대해서 가장 가까운 학습 데이터와 가장 먼 거리를 가지는 초평면을 찾는 것이 바람직하다.
도 10에서, 데이터 셋의 구축을 위한 생성 및 학습 분류 및 검출을 도식화한 것으로, 양·불량의 검사데이터를 입력한 후 데이터를 압축하고 변환하여 특징을 추출 및 학습을 수행하고, 복수의 데이터를 분석하여 불량을 분류하고 검출한다.
또한, 데이터 셋의 구축은 정밀도, 표면 홀 검사, 표면 이물질 검사, 표면 찍힘 검사, 표면 긁힘 검사 등의 검사 유형별로 스캔된 이미지를 항목별로 분류하여 구축한다.
도 11에서, 데이터 셋의 구축과정을 도식화한 것으로, 이미지로 이루어진 데이터를 로딩하여 이미지를 분류하고, 분류된 이미지를 라벨링하여 모델을 생성하고 테스트한다. 그리고 도 12는 검사 결과에 대한 유형별 분류를 적용한 예를 나타낸 것이다. 예컨대, 도 12에 도시된 바와 같이, 검사 결과의 데이터가 다수 유형의 그래프를 통해 시각화될 수 있다.
도 13에서, 인공지능(AI) 기반의 분석을 위하여 데이터의 수집, 저장, 교환, 보안 등의 통합데이터 관리 플랫폼 아키텍처를 설계하여 피검사체(1)의 제조공정에서 발생하는 대량의 정형 및 비정형 데이터를 분석하고 저장하여 제공한다. 즉, 빅데이터 관리 플랫폼의 아키텍처의 논리구조는 소스(Source)가 되는 데이터를 저장소에 저장하고, 저장된 데이터를 일괄 처리(Batch Processing)하며, 소스 데이터를 실시간으로 유입되는 메시지를 스트림 처리(Stream Processing)하고, 처리된 데이터들을 분석데이터 저장소에 저장한다.
다음으로, 비전검사 알고리즘은 검사공정에서 획득된 데이터로부터 피검사체(1)의 불량 여부를 예측하기 위한 학습데이터를 딥러닝(Deep Learning)을 통해 예측모델을 구현한다. 학습데이터는 불량이 발생된 해당 일자의 누적데이터를 대상으로 날짜, 모델번호, 상태 및 결함요소를 포함하는 변수에 따라 불량이 발생하는지를 의사결정 트리모델을 활용하여 추정한다.
또한, 비전검사 알고리즘에서 최적제어 변수를 도출하는 방법으로, 공정 모델에서 발생하는 로그 데이터를 비전검사장치(10)에 포함된 센서를 통해 데이터를 취득하고, 데이터 매니저가 데이터를 전처리한 후 경험적 데이터와 노하우를 기반으로 개선된 공정 변수를 포함하는 모델을 제안할 수 있다. 또한, 공정변수 제어모델로서, 네 가지 분류 모델의 투표를 통해 최적 공정 변수 지역(Process Window)을 도출하는 앙상블 분류모델을 적용할 수 있다. 최적 공정 변수 지역이란 불량이 발생하는 변수의 여백 경계(Margin Border)를 정의하고 불량이 발생하지 않는 최적 공정 변수의 조합 지역 앙상블 분류모델이다.
또한, 도 14에서, 딥러닝을 이용하여 피검사체(1)의 결함을 검출하는 알고리즘으로, 딥러닝은 복수의 샘플이미지를 입력하여 결함 유형별로 학습데이터를 라벨링하고, 딥러닝 알고리즘으로 학습을 수행하여 제조 현장에서의 최적화를 위한 검사모델을 생성하며, 검사를 원하는 이미지를 입력하여 검사결과를 표시장치(52)를 통해 표출한다.
도 15에서, 피검사체(1)의 사출 금형 외관을 비전 모니터링하여 적용한 예를 나타낸 것으로, 학습을 통하여 검사에 필요한 요구조건을 모두 만족하는 모델이 생성되면 실제 제조 현장에서 외관 품질을 모니터링하기 위한 시스템을 구축한다. 대시보드(Dashboard) 형태의 모니터링 환경을 통해 name node 및 data node 시스템의 정보를 제공한다. 그리고 Map/Reduce 작업 개수 및 프로그램의 성공/실패 정보 제공하고, 시스템 진행 상황 모니터링 및 로그/이벤트를 추적할 수 있다.
이와 같이 이루어진 본 발명에 따른 머신비전 기반 피검사체 표면 결함 자동 검출 시스템에서 비전검사 알고리즘의 실시 예를 도 16 및 도 17을 참조하여 설명한다.
본 발명은 모니터링 플랫폼으로 머신비전 기반의 생활가전 품질관리를 위한 모니터링 시스템의 하드웨어를 구성할 인프라를 제공한다. 그리고 피검사체(1)의 외형을 검사하는 광학 및 오토포커스(Auto-Focus) 검사 처리를 위한 하드웨어를 제공하고, 피검사체(1)를 사출할 금형의 외관 영상(Image)의 분할과 이미지 프로세싱(Image Processing) 검사를 위한 영상처리 알고리즘 기술을 제공한다.
도 16에서, 피검사체(1)를 비전검사장치(10)의 검사로부터 양품과 불량품으로 구분하여 분류하는 흐름도로, 검사설비(20)의 정렬 컨베이어(21)에서 이동 중인 피검사체(1)를 바코드스캐너(30), 비전검사장치(10)의 전면 카메라(11) 및 전면 오토포커싱 스캐너(12)와 측면 카메라(13) 및 측면 검사데이터 처리장치(42)에서 각각 바코드를 촬영하고, 전면 및 측면의 영상데이터를 촬영한다(S1). 그리고 검사이미지가 획득되면(S2), 전면 검사데이터 처리장치(40)와 측면 검사데이터 처리장치(42)는 검사이미지를 평활화한다(S3). 그리고 제어장치의 비전검사 알고리즘은 설정된 기준이미지와 검사이미지의 차이를 계산하고(S4), 여기에 오프셋(Offset)과 문턱(Threshold) 값을 입력한 다음(S5), 오프셋(Offset)과 문턱(Threshold) 값으로부터 픽셀 값 차이를 판단한다(S6). 따라서 픽셀 값의 차이가 설정된 범위 이내이면 양품으로 판정하고(S7), 픽셀 값의 차이가 설정된 범위 밖이면 불량품으로 판정한다(S8).
또한, 도 17에서, 피검사체(1)를 비전검사장치(10)의 검사로부터 불량을 검출하는 흐름도로, 전면 카메라(11)와 측면 카메라(13)에서 각각 촬영된 영상이미지가 입력되면(S11), 비전검사 알고리즘은 피라미드 이미지 기법과 경사연산자를 사용하여(S12), 강도 기울기의 크기와 방향을 획득한다(S13). 그리고 NTGST(Noise-Tolerant Generalized Symmetry Transform) 기반의 연산자를 적용하고(S14), 이로부터 대칭 크기 맵을 획득한다(S15). 대칭 크기 맵에서 피크, 즉 이물이나 흑점을 찾아(S16), 피검사체(1)의 불량 검출을 완료한다(S17).
본 발명의 머신비전 기반 피검사체 표면 결함 자동 검출 시스템은 스마트팩토리 제조공정의 품질관리를 위한 것으로, 라인 스캔 카메라를 이용한 비전검사를 통하여 피검사체의 품질향상 및 불량품을 감소시키고, 비전검사 알고리즘으로 피검사체의 양산 및 품질 안정화를 위한 기간을 단축시킬 수 있으며, 공정의 최적화에 따른 사이클 타임을 단축시킬 수 있고, 생산 및 검사 정보의 빅데이터화가 가능한 장점이 있다.
이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 이 기술분야에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
1: 피검사체
10: 비전검사장치 11: 전면 카메라 12: 전면 오토포커싱 스캐너 13: 측면 카메라 14: 측면 오토포커싱 스캐너
20: 검사설비 21: 정렬 컨베이어
30: 바코드스캐너
40: 전면 검사데이터 처리장치 42: 측면 검사데이터 처리장치
50: 제어장치 52: 표시장치
60: 검사데이터 저장장치
70: 불량품 제거장치
10: 비전검사장치 11: 전면 카메라 12: 전면 오토포커싱 스캐너 13: 측면 카메라 14: 측면 오토포커싱 스캐너
20: 검사설비 21: 정렬 컨베이어
30: 바코드스캐너
40: 전면 검사데이터 처리장치 42: 측면 검사데이터 처리장치
50: 제어장치 52: 표시장치
60: 검사데이터 저장장치
70: 불량품 제거장치
Claims (10)
- 피검사체의 모델별 바코드데이터를 읽어 들이는 바코드스캐너;
상기 피검사체의 전면 및 측면을 촬영하여 검사하는 비전검사장치;
상기 비전검사장치에서 검사한 피검사체의 전면 검사데이터를 처리하는 전면 검사데이터 처리장치;
상기 비전검사장치에서 검사한 피검사체의 측면 검사데이터를 처리하는 측면 검사데이터 처리장치;
상기 피검사체의 바코드데이터와 전면 검사데이터 및 측면 검사데이터를 비전검사 알고리즘의 수행으로 피검사체의 불량 여부를 비교 판단하여 양품 또는 불량품 검사데이터를 생성하고, 피검사체를 검사하는 검사설비를 제어하며, 피검사체의 검사결과를 가시적인 정보데이터로 표출하는 표시장치를 제어하고, 불량품으로 판정된 피검사체를 제거하는 불량품 제거장치를 제어하는 제어장치;
상기 제어장치에서 생성된 피검사체의 양품 또는 불량품 여부를 포함하는 검사데이터를 저장하는 검사데이터 저장장치;를 포함하여 이루어진, 머신비전 기반 피검사체 표면 결함 자동 검출 시스템.
- 제1항에 있어서, 상기 비전검사장치는, 피검사체의 전면을 촬영하는 전면 카메라와,
피검사체의 전면 표면의 굴곡에 대응하여 레이저 거리 값으로 실시간 오토 포커싱을 수행하는 전면 오토포커싱 스캐너와,
피검사체의 측면을 촬영하는 측면 카메라와,
피검사체의 측면 표면의 굴곡에 대응하여 레이저 거리 값으로 실시간 오토 포커싱을 수행하는 측면 오토포커싱 스캐너를 포함하는, 머신비전 기반 피검사체 표면 결함 자동 검출 시스템.
- 제1항에 있어서, 상기 비전검사 알고리즘은 피검사체의 외관검사의 속도, 외관검사 정밀도, 표면 홀 검사, 표면 이물 검사, 표면 찍힘 검사, 표면 긁힘 검사, 양품 및 불량품 검사의 정밀도, 결함 자동 검출의 정확도, 불량 예측 모델의 정확도를 측정하여 제어장치의 표시장치를 통해 표출하는, 머신비전 기반 피검사체 표면 결함 자동 검출 시스템.
- 제1항에 있어서, 상기 비전검사 알고리즘은 비전검사장치에서 검사하여 획득된 영상이미지로부터 콘트라스트(Contrast)를 조정하고 잔상을 제거한 후 이진화된 영상의 얼룩(Blob) 면적을 구한 다음에 양품 또는 불량품의 계산 및 판단 결과를 출력하는 스크래치 검출알고리즘과,
비전검사장치에서 검사하여 획득된 영상이미지로부터 콘트라스트(Contrast)를 조정하고 잔상을 제거한 후 이진화된 영상의 얼룩(Blob) 면적을 구한 다음에 그라데이션(Gradation)이 있는 영상이미지에서 이물 및 흑점을 검출하여 검출된 이물을 출력하는 이물/흑점 검출알고리즘과,
비전검사장치에서 검사 영역 내에서 평균들의 표준편차를 구한 후 양품에 대한 범위(Range)를 설정하고, 그 범위를 벗어나는 평균값을 가지는 영역을 불량품으로 판정하여 출력하는 표준편차 검출알고리즘과,
비전검사장치에서 검사하여 획득되어 서브 픽셀(Sub Pixel)이 적용된 영상이미지에서 확대된 영상이미지로부터 일정 개수의 픽셀을 이용하여 일차 미분방식으로 에지(Edge)를 검출하는 에지 검출알고리즘을 포함하는, 머신비전 기반 피검사체 표면 결함 자동 검출 시스템.
- 제1항에 있어서, 상기 전면 검사데이터 처리장치와 측면 검사데이터 처리장치는 비전검사장치에서 획득된 영상이미지를 일정 간격 및 픽셀로 분할하여 이미지 처리하는, 머신비전 기반 피검사체 표면 결함 자동 검출 시스템.
- 제1항에 있어서, 상기 비전검사 알고리즘은 비전검사장치에서 획득된 영상이미지로부터 피검사체의 생산일자, 검사 유형, 불량발생 유형을 포함하는 검사 결과데이터를 검사데이터 저장장치에 저장할 수 있도록 데이터베이스(DB)를 구축하는, 머신비전 기반 피검사체 표면 결함 자동 검출 시스템.
- 제6항에 있어서, 상기 검사 유형으로 정밀도, 이물질, 찍힘, 긁힘, 홀을 포함하는 항목별 유형으로 분류하여 해당 이미지를 데이터베이스로 구축하는, 머신비전 기반 피검사체 표면 결함 자동 검출 시스템.
- 제1항에 있어서, 상기 비전검사 알고리즘은 검사공정에서 획득된 데이터로부터 피검사체의 불량 여부를 예측하기 위한 학습데이터를 딥러닝을 통해 예측모델을 구현하되, 학습데이터는 불량이 발생된 해당 일자의 누적데이터를 대상으로 날짜, 모델번호, 상태 및 결함요소를 포함하는 변수에 따라 불량이 발생하는지를 의사결정 트리모델을 활용하여 추정하고, 상기 딥러닝은 복수의 샘플이미지를 입력하여 결함 유형별로 학습데이터를 라벨링하며, 딥러닝 알고리즘으로 학습을 수행하여 제조 현장에서의 최적화를 위한 검사모델을 생성하고, 검사를 원하는 이미지를 입력하여 검사결과를 표시장치를 통해 표출하는, 머신비전 기반 피검사체 표면 결함 자동 검출 시스템.
- 제1항에 있어서, 상기 표시장치는 대시보드의 형태로 모니터링 환경을 통해 name node 및 data node 시스템의 정보를 제공하고, Map/Reduce 작업 개수 및 프로그램의 성공/실패 정보 제공하며, 시스템의 진행 상황의 모니터링과 로그/이벤트를 추적할 수 있도록 하는, 머신비전 기반 피검사체 표면 결함 자동 검출 시스템.
- 제1항에 있어서, 상기 비전검사 알고리즘은 전면 검사데이터 처리장치와 측면 검사데이터 처리장치를 거쳐 평활화된 검사이미지를 설정된 기준이미지와의 차이를 계산하고, 계산된 차이 값에 오프셋(Offset)과 문턱(Threshold) 값을 입력한 다음, 오프셋과 문턱 값으로부터 픽셀 값 차이를 판단한 후, 픽셀 값의 차이가 설정된 범위 이내이면 양품으로 판정하고, 픽셀 값의 차이가 설정된 범위 밖이면 불량품으로 판정하는, 머신비전 기반 피검사체 표면 결함 자동 검출 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220108321 | 2022-08-29 | ||
| KR1020220108321 | 2022-08-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240030907A true KR20240030907A (ko) | 2024-03-07 |
Family
ID=90272405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220141119A KR20240030907A (ko) | 2022-08-29 | 2022-10-28 | 머신비전 기반 피검사체 표면 결함 자동 검출 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240030907A (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101012139B1 (ko) | 2008-12-31 | 2011-02-07 | (주)제이티 | 비전검사장치 |
| KR101380653B1 (ko) | 2008-06-12 | 2014-04-04 | 한미반도체 주식회사 | 비전검사장비의 비전검사방법 |
| KR20150138917A (ko) | 2014-05-30 | 2015-12-11 | 라온피플 주식회사 | 전자 제품의 외관 검사 방법 및 장치 |
| KR101611823B1 (ko) | 2015-12-18 | 2016-04-12 | 김문석 | 외관 검사방법 |
| KR102121142B1 (ko) | 2019-02-26 | 2020-06-10 | (주)다원엔지니어링 | 가전제품 외관 검사 장치 |
-
2022
- 2022-10-28 KR KR1020220141119A patent/KR20240030907A/ko unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101380653B1 (ko) | 2008-06-12 | 2014-04-04 | 한미반도체 주식회사 | 비전검사장비의 비전검사방법 |
| KR101012139B1 (ko) | 2008-12-31 | 2011-02-07 | (주)제이티 | 비전검사장치 |
| KR20150138917A (ko) | 2014-05-30 | 2015-12-11 | 라온피플 주식회사 | 전자 제품의 외관 검사 방법 및 장치 |
| KR101611823B1 (ko) | 2015-12-18 | 2016-04-12 | 김문석 | 외관 검사방법 |
| KR102121142B1 (ko) | 2019-02-26 | 2020-06-10 | (주)다원엔지니어링 | 가전제품 외관 검사 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9582872B2 (en) | Optical film defect detection method and system thereof | |
| CN105021628B (zh) | 一种用于光纤倒像器表面缺陷的检测方法 | |
| US20190164270A1 (en) | System and method for combined automatic and manual inspection | |
| KR20190075707A (ko) | 딥러닝을 이용한 양품 선별 방법 | |
| CN109840900A (zh) | 一种应用于智能制造车间的故障在线检测系统及检测方法 | |
| JP5168215B2 (ja) | 外観検査装置 | |
| Eshkevari et al. | Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method | |
| KR102108956B1 (ko) | 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체 | |
| US11521120B2 (en) | Inspection apparatus and machine learning method | |
| CN115035092A (zh) | 基于图像的瓶体检测方法、装置、设备及存储介质 | |
| Kunze et al. | Efficient deployment of deep neural networks for quality inspection of solar cells using smart labeling | |
| Mirbod et al. | Industrial parts change recognition model using machine vision, image processing in the framework of industrial information integration | |
| JPWO2020071234A1 (ja) | 画像処理装置、画像処理方法、外観検査システムおよびコンピュータプログラム | |
| TWI822968B (zh) | 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法 | |
| KR20240030907A (ko) | 머신비전 기반 피검사체 표면 결함 자동 검출 시스템 | |
| Lei | A machine vision system for inspecting bearing-diameter | |
| CN115100110A (zh) | 一种偏光镜片缺陷检测方法、装置、设备及可读存储介质 | |
| KR102658479B1 (ko) | 품질 검사 서버 및 이의 실행 방법 | |
| KR102618194B1 (ko) | Ai와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3d 자동 공정검사 방법 및 시스템 | |
| US20240046617A1 (en) | Machine Learning-Based Generation of Rule-Based Classification Recipes for Inspection System | |
| CN114881987B (zh) | 基于改进YOLOv5的热压导光板缺陷可视化检测方法 | |
| KR102666787B1 (ko) | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 | |
| Brook | Automatic inspection in industry today | |
| CN116681675A (zh) | 一种基于大数据分析的自动化控制系统及方法 | |
| KR102575508B1 (ko) | Ai 기반 신발 부품용 직물 패턴 검사 시스템 |