KR20220101373A - 영상 기반 pcb 결함 검출 장치 및 방법 - Google Patents

영상 기반 pcb 결함 검출 장치 및 방법 Download PDF

Info

Publication number
KR20220101373A
KR20220101373A KR1020210003319A KR20210003319A KR20220101373A KR 20220101373 A KR20220101373 A KR 20220101373A KR 1020210003319 A KR1020210003319 A KR 1020210003319A KR 20210003319 A KR20210003319 A KR 20210003319A KR 20220101373 A KR20220101373 A KR 20220101373A
Authority
KR
South Korea
Prior art keywords
defect
pcb
image
component
candidate region
Prior art date
Application number
KR1020210003319A
Other languages
English (en)
Inventor
이문수
김정시
배수영
석종수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210003319A priority Critical patent/KR20220101373A/ko
Publication of KR20220101373A publication Critical patent/KR20220101373A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/1717—Systems in which incident light is modified in accordance with the properties of the material investigated with a modulation of one or more physical properties of the sample during the optical investigation, e.g. electro-reflectance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0118—Apparatus with remote processing
    • G01N2021/0137—Apparatus with remote processing with PC or the like
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's

Abstract

영상 기반 PCB 결함 검출 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 영상 기반 PCB 결함 검출 장치는 부품 데이터에 기반하여 입력 받은 타겟 영상의 PCB의 부품 종류를 식별하고, 기저장된 기준 영상과 상기 타겟 영상을 비교하여 상기 PCB에서 결함 가능성이 있는 후보 영역을 추출하는 결함 후보 영역 추출부; 상기 식별된 PCB의 부품 종류에 기반하여 부품 모델 정보를 이용하여 상기 추출된 후보 영역에 대한 결함 유무를 판단하고, 결함이 있는 것으로 판단된 경우, 부품 분류 모델에 기반하여 상기 후보 영역 대한 결함 유형을 식별하는 결함 식별부 및 상기 PCB의 결함 유무와 결함 유형을 출력하는 결함 출력부를 포함한다.

Description

영상 기반 PCB 결함 검출 장치 및 방법 {APPARATUS AND METHOD FOR DETECTING DEFECTS IN PCB BASED ON VIDEO}
본 발명은 영상 처리 기술에 관한 것으로, 보다 상세하게는 PCB(Printed Circuit Board)를 촬영한 영상에 기반하여 PCB의 결함을 검출하는 기술에 관한 것이다.
최근 4차산업혁명과 같이 산업용 로봇을 이용한 제품 생산에 있어 사람의 개입없이 전 공정이 점차 무인화/자동화되는 가고 있다. 이를 통해 다양한 종류의 스마트 기기들이 짧은 주기로 계속해서 생산되고 있다. 제품 생산 기간이 단축되면 상대적으로 많은 제품을 빠르게 검사를 해야함으로 정밀한 검사가 이루어지지 않게되고 이로 인해 품질 저하가 많이 발생할 수 있다. 반면에 소비자는 눈높이가 높아져 보다 높은 품질의 제품을 사용하고자 한다. 따라서 일정한 수준의 고품질 제품을 생산하기 위해서는 생산 마지막 단계인 제품 품질 검사에서 최대한 결함을 최소화해야만 한다. 이처럼 공장 자동화로 제품을 생산 시 결함 검사 장비의 중요성이 계속 증가해지고 있으며, 관련 시장도 지속적으로 확대되고 있다.
현재 스마트폰과 같은 소형 임베디드 기기들은 작은 공간에서 과거에 비해 많은 부품을 탑재해야 하므로 이들을 검사하기 위해 고가의 자동 광학 검사(AOI, Auto Optical Inspection) 장비를 사용하고 있다. 이들 장비는 제품이 변경될 때마다 해당 PCB(Printed Circuit Board)에 대한 특화된 비전 처리를 새롭게 개발하여 적용해야 함으로 소품종 대량 생산에는 적합하지만, 다품종 소규모 생산에 있어서는 생산 단가가 증가하기 때문에 최종 생산 제품의 가격 경쟁력을 확보하기 어렵게 된다. 최근에는 딥러닝과 같은 인공지능 기술 개발이 활성화되고 보편화 되어감에 따라 전문적인 비전 인식 처리가 일반인도 개발할 수 있을 만큼 쉽고 정확도도 높아지고 있다. 따라서 다품종 소규모 PCB 시장도 이러한 인공지능을 이용한 검사 장비가 증가되고 있는 추세이다.
일반적으로 딥러닝을 이용한 객체 검출에 있어서 우선 찾고자 하는 객체가 어느 위치에 있는지 알아내기 위한 객체 후보 영역을 추출 부분과 그 영역내의 존재하는 객체가 어떠한 상태인지를 식별하는 부분으로 구분할 수 있다. 상업용으로 널리 사용되고 있는 YOLO 네트워크에서는 두 부분을 동시에 연산이 이루어지기도 한다. 하지만 개념적으로는 처리해야 하는 기능 측면에서 보면 크게 두 가지 영역의 처리 절차를 거쳐야 한다. 또한, 딥러닝의 경우 자체 네트워크을 수행하는데, 많은 연산량이 필요하기 때문에 가능하면 고해상도의 입력 영상을 그대로 사용하지 않고 일정 크기로 축소/변환하여 처리하고 있다.
앞서 서술한 딥러닝 네트워크를 PCB 결함 검사 시스템에 그대로 적용 할 경우 몇가지 문제점이 발생한다. 첫째로 PCB 상에는 동종 또는 이종의 패키지 부품들이 다수 존재하고, 기기의 소형화로 인해 부품들의 크기가 아주 작게 만들어지게 된다. 따라서 PCB 내의 부품을 식별하고 결함을 검출하기 위해서는 고해상도의 영상을 처리해야 한다. 고가의 PCB 검사장비는 영역을 나누어 검사를 하기도 하지만 이럴 경우에 카메라 위치를 이동하기 위한 추가 하드웨어 장치를 필요로 한다. 둘째로 정상 PCB와 결함이 있는 PCB 영상간 비교할 경우 카메라 렌즈의 왜곡과 두 개의 영상 정합 시 발생하는 에러로 인해 수 많은 결함 후보들이 생성될 수 있다. 그리고 이들 결함 후보들이 많을 경우 전체 검사시간이 늘어나게 된다. 마지막으로 딥러닝네트워크를 적용하기 위해서는 대상 PCB에 대해 정상와 비정상 PCB 영상 데이터를 많이 확보해야 하고, 오랜 시간과 컴퓨팅 리소스를 투입하여 전체 학습해야 한다. 또한, PCB 레이아웃이나 부품이 변경될 경우 기존 학습된 네트워크를 그대로 활용할 수 없어 매번 그에 따른 학습 데이터 구축과 머신 러닝 학습 과정을 반복 수행해야만 한다.
한편, 한국공개특허 제 10-2018-0022619 호“PCB 패널 검사 방법 및 그 장치”는 기준 이미지와 검사 대상인 패널 이미지의 위치를 정합한 후 기준 이미지와 패널 이미지의 차를 통해 관심영역에 존재하는 이상부위를 추출하여 이상 부위의 정상 또는 결함을 결정하는 장치 및 방법에 관하여 개시하고 있다.
본 발명은 PCB(Printed Circuit Board)의 결함 후보를 빠르고, 정확하게 추출하는 것을 목적으로 한다.
또한, 본 발명은 소량의 데이터만으로 최적화된 영상 결함 검사를 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 영상 기반 PCB 결함 검출 장치는 부품 데이터에 기반하여 입력 받은 타겟 영상의 PCB의 부품 종류를 식별하고, 기저장된 기준 영상과 상기 타겟 영상을 비교하여 상기 PCB에서 결함 가능성이 있는 후보 영역을 추출하는 결함 후보 영역 추출부;상기 식별된 PCB의 부품 종류에 기반하여 부품 모델 정보를 이용하여 상기 추출된 후보 영역에 대한 결함 유무를 판단하고, 결함이 있는 것으로 판단된 경우, 부품 분류 모델에 기반하여 상기 후보 영역 대한 결함 유형을 식별하는 결함 식별부; 및 상기 PCB의 결함 유무와 결함 유형을 출력하는 결함 출력부를 포함한다.
본 발명은 PCB(Printed Circuit Board)의 결함 후보를 빠르고, 정확하게 추출하는 것을 목적으로 한다.
또한, 본 발명은 소량의 데이터만으로 최적화된 영상 결함 검사를 제공하는 것을 목적으로 한다.
도 1은 본 발명의 일실시예에 따른 영상 기반 PCB 결함 검출 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 CAD 데이터로부터 생성된 부품 공간 정보를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 결함 후보 영역 추출부의 동작 과정을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 영상간 블록 매칭을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 결함 식별부에서 사용되는 부품별 분류기 모델 정보 설정을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 결함 식별 과정을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 영상 기반 PCB 결함 검출 방법을 나타낸 동작흐름도이다.
도 8은 도 7에 도시된 결함 후보 영역 추출 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 9는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 영상 기반 PCB 결함 검출 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 영상 기반 PCB 결함 검출 장치(100)는 입력 데이터로 기준영상(101), CAD 데이터(102), 타겟 영상(103) 등을 포함한다.
또한, 본 발명의 일실시예에 따른 영상 기반 PCB 결함 검출 장치(100)는 부품 공간 정보 저장부(104), 부품별 분류기 모델 정보 저장부(105), 결함 후보 영역 추출부(106), 결함 식별부(107) 및 결함 결과 출력부(108)를 포함한다.
기준영상(101)은 타겟 영상(103)과 비교를 하기 위한 무결함(Non-defect) 영상을 말하며 RGB(A) 컬러, GrayScale 흑백, IR 영상 등 다양한 영상 채널과 포맷을 가질 수 있다.
CAD 데이터(102)는 PCB 회로 구성을 위해 배선, 부품의 위치, 방향 등 PCB 제작에 필요한 정보를 포함하고 있는 저장 매체를 말하며, 일반적으로 거버(Gerber) 파일, DXF(Drawing Interchange Format)파일, 텍스트 파일, 데이터베이스 등 다양한 형태를 가질 수 있다.
PCB 내 결함을 보다 정확하게 찾기 위해 CAD 데이터(102)가 활용될 수 있다.
타겟 영상(103)은 결함을 찾고자 하는 PCB 입력 영상을 말한다.
부품 공간 정보 저장부(104)는 CAD 데이터(102)로부터 PCB 전체 크기, 부품모델명, 부품의 2D 또는 3D 위치/자세, 부품의 배치 방향 등의 정보를 CAD 데이터(102)로부터 자동 추출하여 저장할 수 있다.
또한, 부품 공간 정보 저장부(104)는 사용자가 직접 수작업으로 구축할 수도 있다.
부품별 분류기 모델 정보 저장부(105)는 딥러닝 네트워크에서 마지막 레이어의 객체 분류를 위한 모듈로서 부품별 특화된 결함 분류기에 대한 추론 모델 정보를 포함할 수 있다. 추론 모델은 딥러닝에 사용되는 완전연결층(Fully Connectd Layer), SVM(Support Vector Machine) 레이어, 퍼지(Fuzzy) 레이어 등으로 구성될 수 있다.
결함 후보 영역 추출부(106)는 부품 데이터인 CAD 데이터(102)에 기반하여 입력 받은 타겟 영상의 PCB의 부품 종류를 식별하고, 기저장된 기준 영상(101)과 상기 타겟 영상을 비교하여 상기 PCB에서 결함 가능성이 있는 후보 영역을 추출할 수 있다.
이 때, 결함 후보 영역 추출부(106)는 타겟 영상(103)을 입력으로 받게 되면 기준 영상(101)과 비교하여 변경이 많은 부분을 식별할 수 있다.
이 때, 결함 후보 영역 추출부(106)는 부품 공간 정보 저장부(104)에 저장된 정보를 이용하여 정확한 부품 정보 및 영상 영역 정보를 추출할 수 있다.
결함 식별부(107)는 상기 식별된 PCB의 부품 종류에 기반하여 부품 모델 정보를 이용하여 상기 추출된 후보 영역에 대한 결함 유무를 판단하고, 결함이 있는 것으로 판단된 경우, 부품 분류 모델에 기반하여 상기 후보 영역 대한 결함 유형을 식별할 수 있다.
결함 결과 출력부(108)는 사용자에게 결함 검사에 따른 결과를 출력할 수 있다.
이 때, 결함 결과 출력부(108)는 PCB의 결함 유무와 결함 유형을 출력할 수 있다.
도 2는 본 발명의 일실시예에 따른 CAD 데이터로부터 생성된 부품 공간 정보를 나타낸 도면이다.
도 2를 참조하면, 부품 공간 정보(200)는 PCB에 탑재되는 저항, 콘덴서, 패키지, 커넥트 등 복수개 부품들에 대한 상세 정보를 포함할 수 있다.
부품 공간 정보(200)는 부품에 대한 고유 식별자(201), 부품 종류에 따른 모델 정보(202), 그리고 해당 부품에 대한 공간 정보(203)를 포함할 수 있다.
공간 정보(203)는 PCB 상에 부품이 장착되어 있는 상태를 표시한 것으로 해당 부품의 위치, 크기, 회전 방향 정보 등을 포함할 수 있다.
이 때, 공간 정보(203)는 3D를 고려할 경우 Z-축 방향의 깊이 정보도 포함할 수 있다.
특히, 회전 방향 정보는 결함 식별부(107)를 위해 입력 영상을 학습 시와 동일한 조건으로 타겟 영상의 부품 방향을 회전 변형하는데 활용될 수 있다. 이는 일반적으로 CNN 네트워크의 경우 인식하고자 하는 객체에 회전되어 있을 경우 정확도가 떨어지게 되는데, 이러한 회전 관련 공간정보(203)를 이용하면 식별된 객체를 학습할 때와 같은 회전 방향으로 설정하여 정확도를 높일 수 있다.
도 3은 본 발명의 일실시예에 따른 결함 후보 영역 추출부의 동작 과정을 나타낸 도면이다.
도 3을 참조하면, 결함 후보 영역 추출부(106)는 기준 영상(300)을 이용하여 타겟 영상(301)의 변화 탐지를 통해 결함이 있을 가능성이 높은 영상들의 영역을 추출할 수 있다.
단순히 두 개의 영상의 화소값만을 비교할 경우 영상간 정합시 발생한 오차와 조명 차이에 따른 오차들이 발생하게 된다.
따라서, 결함 후보 영역 추출부(106)는 지역적인(Local) 영상 패턴과 블록 매칭 기법을 이용하여 보다 강인한 영상 변화 탐지를 하고, 그 결과를 부품 공간정보 저장부(304)에 저장된 정보를 기반으로 필터링하여 최종적으로 결함 후보 영역을 추출할 수 있다.
이 때, 결함 후보 영역 추출부(106)는 기준영상(300)과 타겟 영상(301)을 LBP(Local Binary Pattern) 필터링(302) 처리를 거쳐 영상의 밝기 정보를 주변 패턴 정보로 변경할 수 있다.
이 때, 결함 후보 영역 추출부(106)는 LBP 필터링(302)을 통해 기준영상(300)과 타겟영상(301)간의 전체 밝기를 보정해주는 역할을 할 수 있다.
이 때, 결함 후보 영역 추출부(106)는 LBP 필터링(302)을 통해 지역(Local)/전역(Global)적 영상의 히스토그램, 통계값 등을 이용하여 기준영상(300)과 타겟영상(301)간 유사도를 측정할 수도 있다.
또한, 결함 후보 영역 추출부(106)는 영상간 블록 매칭(303)을 통해 기준영상(300)과 타겟영상(301)에서 추출한 패턴 영상들을 일정 크기의 블록 수준에서 비교 할 수 있다.
이 때, 결함 후보 영역 추출부(106)는 영상간 블록 매칭(303)을 통해 단순히 1:1형태로 동일 좌표의 화소값만 비교가 아니라 화소 중심의 일정 크기의 블록 영역을 설정하여 기준영상(300)과 타겟영상(301)간의 값들을 비교함으로써 보다 넓은 영역의 패턴을 적용하여 매칭 정확도를 높여줄 수 있다.
또한, 결함 후보 영역 추출부(106)는 결함 후보 추출(305)을 통해 영상간 블록 매칭(303)에서 결함 가능성이 높은 영역과 부품 공간 정보(200)에 정의된 부품 영역을 매칭하여 최종적인 결함 후보를 식별할 수 있다.
또한, 결함 후보 영역 추출부(106)는 이미지 영역 변환(306)을 통해 식별된 결함 후보들의 위치와 공간 정보를 이용하여 실제 타겟 영상(301)의 해당 영역을 추출할 수 있다.
이 때, 결함 후보 영역 추출부(106)는 부품 공간 정보(200)의 회전 방향 정보를 이용하여 결함 식별부(107)의 입력 크기와 회전 방향에 맞는 결함 후보 영상 패치(307)들을 생성할 수 있다.
도 4는 본 발명의 일실시예에 따른 영상간 블록 매칭을 나타낸 도면이다.
도 4를 참조하면, 기준영상(401)과 타겟영상(402)간 영상 블록 매칭을 통해서 이들이 동일 지점인지를 구분할 수 있다.
[수학식 1]
수학식 1은 영상 블록 매칭의 유사도 측정 판단 기준을 나타낸 것을 알 수 있다.
Figure pat00001
은 기준영상(401)에서의 매칭하고자 하는 영상 블록이고,
Figure pat00002
는 타겟영상(402)에서의 영상 블록을 나타낸 것을 알 수 있다.
결함 후보 영역 추출부(106)는 기준영상(401)에서의
Figure pat00003
의 좌표와 동일한 지점에서 타겟영상(402)에서의 영역 중심으로 설정하고,
Figure pat00004
블록을 상하좌우로 이동하면서 매칭을 할 수 있다.
이 때, 결함 후보 영역 추출부(106)는
Figure pat00005
과 같이 매번
Figure pat00006
블록 위치를 변경하고,
Figure pat00007
블록 위치를 변경할 때마다
Figure pat00008
과
Figure pat00009
블록내의 각 화소끼리 유사도를 판단할 수 있다.
이 때, 결함 후보 영역 추출부(106)는
Figure pat00010
과
Figure pat00011
블록내의 각 화소가 동일한 값을 가지게 되면 유사성이 높은 것으로 판단하고, 그렇지 않을 경우 유사성이 없는 것으로 판단할 수 있다.
이 때, 결함 후보 영역 추출부(106)는
Figure pat00012
과
Figure pat00013
블록내의 동일한 값의 픽셀 개수가 기설정된 개수(문턱값(Threshold)) 이상인 경우, 유사도가 높은 것으로 판단할 수 있다.
이 때, 유사도가 낮을수록 결함 가능성이 높아지기 때문에 사용자가 상기 문턱값(Threshold)을 임의로 설정하여 최종적으로 결함 후보를 생성할 수 있다.
도 5는 본 발명의 일실시예에 따른 결함 식별부에서 사용되는 부품별 분류기 모델 정보 설정을 나타낸 도면이다.
도 5을 참조하면, 결함 식별부(107)는 부품 분류 모델 설정 화면(500)을 사용자에게 출력하고, 사용자가 검사 대상인 PCB에서 사용되는 부품 모델(501) 목록을 사전에 확인하고, 그에 따른 부품 분류 모델(502)을 선택하면, 결함 식별부(107)는 해당 PCB에 맞는 부품별 분류기 모델 정보(503)를 생성할 수 있다.
결함 식별부(107)는 부품별 분류기 모델 정보를 수동으로 설정하여 생성할 수도 있고, 부품 공간 정보 저장부(104)에 저장된 부품 모델 정보를 이용하여 자동으로 생성/구축 할 수도 있다.
도 6은 본 발명의 일실시예에 따른 결함 식별 과정을 나타낸 도면이다.
도 6을 참조하면, 결함 식별부(104)에 포함되는 다중 분류기(600)는 일반적으로 전이학습에 사용되는 CNN을 이용한 특징 추출 베이스 레이어(602)와 소규모 데이터를 학습하여 해당 객체에 특화된 분류 레이어(604)를 포함할 수 있다.
특징 추출 베이스 레이어(602)는 일반적인 PCB내 부품들을 학습하여 PCB 부품들에 대한 특징점을 추출하는 역할을 하는 네트워크 모듈로 추후 변경하지 않는다.
반면에, 다중 분류 레이어(604)는 특징 추출 베이스 레이어(602)를 이용하여 부품별로 별도 학습하고, 추론 시 부품의 각 모델에 따라 실행할 수 있다.
이 때, 다중 분류 레이어(604)는 부품별 분류기 모델 정보 저장부(105)를 통해 플러그인 형식으로 해당 모델을 등록/실행할 수 있다.
또한, 다중 분류 레이어(604)는 딥러닝의 완전 연결 계층(Fully Connected Layer)뿐만 아니라 SVM, 퍼지 등 다양한 분류 기법 알고리즘을 포함할 수 있다.
결함 식별부(107)는 결함 후보 영역 추출부(106)에서 생성된 결함 후보 영상 패치(601)을 입력으로 받아 특징 추출 베이스 레이어(602)를 통해 해당 영상의 특징점 영상을 추출할 수 있다.
결함 식별부(107)는 결함 후보 영상 패치(601)가 이전 단계에서 부품 위치에 따라 어느 부품인지 알고 있으므로 분류 레이어 스위칭(603)은 다중 분류 레이어(604)에 포함된 부품 분류 레이어들 중 해당 부품의 부품 분류 레이어로 추출된 특징점 영상을 전달할 수 있다.
다중 분류 레이어(604)는 전달된 영상을 통해 해당 부품이 정상/결함인지 여부와 결함이 있을 경우 어떠한 결함인지에 대한 결함 분류 코드를 결함 분류 코드 정보 저장부(606)에서 확인할 수 있다.
결함 목록 저장 관리부(605)는 다중 분류 레이어(604)로부터 전달된 정보를 종합하여 저장할 수 있다.
또한. 다중 분류 레이어(604)는 대상 PCB의 부품 모델별로 1:1 형태로 복수개의 부품 분류 레이어를 포함하고, 각 부품 분류 레이어의 출력은 부품 특성별로 결함 분류 항목개수가 다를 수 있다.
따라서, 다중 분류 레이어(604)는 결함 분류 코드 저장부(606)를 참조하여 다중 분류 레이어(606)의 출력 인터페이스를 동일한 형태로 유지함으로써 전체적으로 플러그인 형태의 시스템 구성을 지원할 수 있다.
도 7은 본 발명의 일실시예에 따른 영상 기반 PCB 결함 검출 방법을 나타낸 동작흐름도이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 영상 기반 PCB 결함 검출 방법은 먼저 결함 후보 영역을 추출할 수 있다(S710).
즉, 단계(S710)는 부품 데이터에 기반하여 입력 받은 타겟 영상의 PCB의 부품 종류를 식별하고, 기저장된 기준 영상과 상기 타겟 영상을 비교하여 상기 PCB에서 결함 가능성이 있는 후보 영역을 추출할 수 있다.
이 때, 단계(S710)는 타겟 영상(103)을 입력으로 받게 되면 기준 영상(101)과 비교하여 변경이 많은 부분을 식별할 수 있다.
이 때, 단계(S710)는 부품 공간 정보 저장부(104)에 저장된 정보를 이용하여 정확한 부품 정보 및 영상 영역 정보를 추출할 수 있다.
또한, 본 발명의 일실시예에 따른 영상 기반 PCB 결함 검출 방법은 PCB의 결함을 식별할 수 있다(S720).
즉, 단계(S720)는 상기 식별된 PCB의 부품 종류에 기반하여 부품 모델 정보를 이용하여 상기 추출된 후보 영역에 대한 결함 유무를 판단하고, 결함이 있는 것으로 판단된 경우, 상기 후보 영역 대한 결함 유형을 식별할 수 있다.
또한, 본 발명의 일실시예에 따른 영상 기반 PCB 결함 검출 방법은 결함 결과를 출력할 수 있다(S730).
즉, 단계(S730)는 사용자에게 PCB의 결함 유무와 결함 유형을 출력할 수 있다.
도 8은 도 7에 도시된 결함 후보 영역 추출 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 8을 참조하면, 단계(S710)는 먼저 타겟 영상 및 기준 영상을 입력 받을 수 있다(S711).
또한, 단계(S710)는 LBP 필터링을 수행할 수 있다(S712).
즉, 단계(S712)는 기준영상(300)과 타겟 영상(301)을 LBP(Local Binary Pattern) 필터링 처리를 거쳐 영상의 밝기 정보를 주변 패턴 정보로 변경할 수 있다.
이 때, 단계(S712)는 기준영상(300)과 타겟영상(301)간의 전체 밝기를 보정해주는 역할을 할 수 있다.
이 때, 단계(S712)는 지역(Local)/전역(Global)적 영상의 히스토그램, 통계값 등을 이용하여 기준영상(300)과 타겟영상(301)간 유사도를 측정할 수도 있다.
또한, 단계(S710)는 영상 간 블록 매칭을 수행할 수 있다(S713).
즉, 단계(S713)는 기준영상(300)과 타겟영상(301)에서 추출한 패턴 영상들을 일정 크기의 블록 수준에서 비교 할 수 있다.
이 때, 단계(S713)는 단순히 1:1형태로 동일 좌표의 화소값만 비교가 아니라 화소 중심의 일정 크기의 블록 영역을 설정하여 기준영상(300)과 타겟영상(301)간의 값들을 비교함으로써 보다 넓은 영역의 패턴을 적용하여 매칭 정확도를 높여줄 수 있다.
또한, 단계(S710)는 결함 후보를 추출할 수 있다(S714).
즉, 단계(S714)는 영상간 블록 매칭(303)에서 결함 가능성이 높은 영역과 부품 공간 정보(200)에 정의된 부품 영역을 매칭하여 최종적인 결함 후보를 식별할 수 있다.
또한, 결함 후보 영역 추출부(106)는 이미지 영역 변환(306)을 통해 식별된 결함 후보들의 위치와 공간 정보를 이용하여 실제 타겟 영상(301)의 해당 영역을 추출할 수 있다.
이 때, 결함 후보 영역 추출부(106)는 부품 공간 정보(200)의 회전 방향 정보를 이용하여 결함 식별부(107)의 입력 크기와 회전 방향에 맞는 결함 후보 영상 패치(307)들을 생성할 수 있다.
도 9는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 영상 기반 PCB 결함 검출 장치(100)는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 9에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이상에서와 같이 본 발명의 일실시예에 따른 영상 기반 PCB 결함 검출 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 영상 기반 PCB 결함 검출 장치
104: 부품 공간 정보 저장부
105: 부품별 분류기 모델 정보 저장부
106: 결함 후보 영역 추출부
107: 결함 식별부
108: 결함 결과 출력부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (1)

  1. 부품 데이터에 기반하여 입력 받은 타겟 영상의 PCB의 부품 종류를 식별하고, 기저장된 기준 영상과 상기 타겟 영상을 비교하여 상기 PCB에서 결함 가능성이 있는 후보 영역을 추출하는 결함 후보 영역 추출부;
    상기 식별된 PCB의 부품 종류에 기반하여 부품 모델 정보를 이용하여 상기 추출된 후보 영역에 대한 결함 유무를 판단하고, 결함이 있는 것으로 판단된 경우, 부품 분류 모델에 기반하여 상기 후보 영역 대한 결함 유형을 식별하는 결함 식별부; 및
    상기 PCB의 결함 유무와 결함 유형을 출력하는 결함 출력부;
    를 포함하는 것을 특징으로 하는 영상 기반 PCB 결함 검출 장치.
KR1020210003319A 2021-01-11 2021-01-11 영상 기반 pcb 결함 검출 장치 및 방법 KR20220101373A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210003319A KR20220101373A (ko) 2021-01-11 2021-01-11 영상 기반 pcb 결함 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210003319A KR20220101373A (ko) 2021-01-11 2021-01-11 영상 기반 pcb 결함 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220101373A true KR20220101373A (ko) 2022-07-19

Family

ID=82607341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210003319A KR20220101373A (ko) 2021-01-11 2021-01-11 영상 기반 pcb 결함 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20220101373A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117007611A (zh) * 2023-09-28 2023-11-07 杭州百子尖科技股份有限公司 片状材料的周期性缺陷检测方法、装置、设备以及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117007611A (zh) * 2023-09-28 2023-11-07 杭州百子尖科技股份有限公司 片状材料的周期性缺陷检测方法、装置、设备以及介质
CN117007611B (zh) * 2023-09-28 2024-01-09 杭州百子尖科技股份有限公司 片状材料的周期性缺陷检测方法、装置、设备以及介质

Similar Documents

Publication Publication Date Title
CN109829914B (zh) 检测产品缺陷的方法和装置
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
US11216932B1 (en) Electronic substrate defect detection
US20190197356A1 (en) Data generation apparatus, data generation method, and data generation program
US10043090B2 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
US20190139213A1 (en) Data generation apparatus, data generation method, and data generation program
WO2017176304A1 (en) Automatic assessment of damage and repair costs in vehicles
JP2012032370A (ja) 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体
CN111160301A (zh) 基于机器视觉的隧道病害目标智能识别及提取方法
CN111340796A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
TWI743837B (zh) 訓練資料增量方法、電子裝置與電腦可讀取記錄媒體
CN117413292A (zh) 基于对象的机器学习分析的基于图像的异常检测
CN113344888A (zh) 一种基于联合模型的表面缺陷检测方法及装置
Mukhopadhyay et al. PCB inspection in the context of smart manufacturing
CN110288040B (zh) 一种基于拓扑验证的图像相似评判方法及设备
CN115512381A (zh) 文本识别方法、装置、设备、存储介质及作业机械
WO2014103617A1 (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
JPWO2020071234A1 (ja) 画像処理装置、画像処理方法、外観検査システムおよびコンピュータプログラム
KR20220101373A (ko) 영상 기반 pcb 결함 검출 장치 및 방법
Wang et al. Local defect detection and print quality assessment
Hridoy et al. A framework for industrial inspection system using deep learning
WO2018121414A1 (zh) 电子设备、目标图像识别方法及装置
CN115131596A (zh) 缺陷分类装置、方法以及程序
US11978189B2 (en) Defect detection method and apparatus
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质