KR102203441B1 - 전자부품 분류장치 및 그 방법 - Google Patents

전자부품 분류장치 및 그 방법 Download PDF

Info

Publication number
KR102203441B1
KR102203441B1 KR1020180098641A KR20180098641A KR102203441B1 KR 102203441 B1 KR102203441 B1 KR 102203441B1 KR 1020180098641 A KR1020180098641 A KR 1020180098641A KR 20180098641 A KR20180098641 A KR 20180098641A KR 102203441 B1 KR102203441 B1 KR 102203441B1
Authority
KR
South Korea
Prior art keywords
image
classified
component
classification
electronic component
Prior art date
Application number
KR1020180098641A
Other languages
English (en)
Other versions
KR20200023712A (ko
Inventor
박태형
임대의
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020180098641A priority Critical patent/KR102203441B1/ko
Publication of KR20200023712A publication Critical patent/KR20200023712A/ko
Application granted granted Critical
Publication of KR102203441B1 publication Critical patent/KR102203441B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

전자부품 분류장치 및 그 방법을 개시한다.
본 실시예에 의하면, 분류대상 부품을 카메라로 촬영하여 획득한 촬영영상을 분석하고, 분석정보를 기반으로 분류대상 부품의 소재가 금속 속성인지 여부를 판단하여 금속 속성인 경우, 분류대상 부품의 촬영영상을 가공하여 자동 광학 검사기에 정확한 부품 코드(Code)를 제공하여 자동으로 분류대상 부품을 분류하는 전자부품 분류장치 및 그 방법을 제공한다.

Description

전자부품 분류장치 및 그 방법{Apparatus and Method for Classifying Electronic Components}
본 실시예는 전자부품 분류장치 및 그 방법에 관한 것이다. 보다 상세하게는, 조명을 분류대상 부품에 비추어 촬영한 영상을 기반으로 분류대상 부품의 소재가 금속 속성인지 여부를 판단하고, 금속 속성인 경우 필터연산을 통해 분류대상 부품을 분류하는 전자부품 분류장치 및 그 방법에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
자동 광학 검사기(Automated Optical Inspection, AOI)는 카메라와 같은 촬영장치로 인쇄 회로 기판(Printed Circuit Board, PCB)을 영상으로 촬영하여 인쇄 회로 기판에 조립된 부품들의 불량 여부를 자동으로 판단하는 장비를 말한다. 최근 4차 산업 혁명에 따라 스마트 팩토리(Smart Factory)가 확산되고, 이에 따라 인쇄 회로 기판 검사 장비의 성능 향상이 중요시되고 있다.
자동 광학 검사기는 인쇄 회로 기판 검사를 위해 검사할 인쇄 회로 기판의 티칭데이터(Teaching Data)를 작성해야 한다. 티칭데이터는 부품 위치 데이터, 부품 라이브러리 코드로 구성되는데, 부품 위치 데이터는 캐드(CAD) 데이터와 거버(Gerber) 데이터로부터 얻을 수 있으나, 부품 라이브러리 코드는 직접 사람이 부품 영상을 보고 어떤 부품인지 인식하여 작성해야 한다.
최근 딥 러닝 기술이 발달함에 따라, 이를 이용한 영상 인식 방법이 인쇄 회로 기판 검사에 사용되고 있다. 딥 러닝 기술을 이용한 부품 인식 방법은 물체의 형상, 색상, 밝기 등에 민감하게 반응한다. 따라서, 카메라에 의해 촬영되는 영상은 금속성 부품인 경우, 분류대상 부품과 이를 비추는 조명의 위치에 따라 다르게 촬영되기 때문에 같은 부품 임에도 불구하고 많은 오차를 발생시키고, 이로 인해 부품을 제대로 인식할 수 없게 되는 문제점이 존재한다.
본 실시예는, 분류대상 부품을 카메라로 촬영하여 획득한 촬영영상을 분석하고, 분석정보를 기반으로 분류대상 부품의 소재가 금속 속성인지 여부를 판단하여 금속 속성인 경우, 분류대상 부품의 촬영영상을 가공하여 자동 광학 검사기에 정확한 부품 코드(Code)를 제공하고, 이를 기반으로 자동으로 전자부품을 분류하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 복수의 조명 위치에 따라 복수의 분류대상 부품을 촬영한 부품 촬영영상을 각각 수신하는 조명영상 수신부; 상기 부품 촬영영상을 분석하여 분류대상 부품을 식별하고 상기 분류대상 부품의 소재가 금속 속성인지 여부를 확인하는 부품속성 판단부; 상기 분류대상 부품의 소재가 금속 속성으로 확인되면, 상기 부품 촬영영상에 대해 필터연산을 수행하여 분석결과 데이터를 생성하는 필터연산부; 및 상기 분석결과 데이터에 대응하는 부품 코드(Code)를 추출하고, 상기 부품 코드를 기반으로 부품을 분류하는 부품분류부를 포함하는 것을 특징으로 하는 전자부품 분류장치를 제공한다.
본 실시예의 다른 측면에 의하면, 복수의 조명 위치에 따라 복수의 분류대상 부품을 촬영한 부품 촬영영상을 각각 수신하는 조명영상 수신단계; 상기 부품 촬영영상을 분석하여 분류대상 부품을 식별하고 상기 분류대상 부품의 소재가 금속 속성인지 여부를 확인하는 부품속성 판단단계; 상기 분류대상 부품의 소재가 금속 속성으로 확인되면, 상기 부품 촬영영상에 대해 필터연산을 수행하여 분석결과 데이터를 생성하는 필터연산 단계; 및 상기 분석결과 데이터에 대응하는 부품 코드(Code)를 추출하고, 상기 부품 코드를 기반으로 부품을 분류하는 부품분류 단계를 포함하는 것을 특징으로 하는 전자부품 분류방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 분류대상 부품을 촬영하여 획득한 촬영영상을 기반으로 분류대상 부품의 금속성 여부를 판단하고, 금속성 부품으로 판단된 경우, 촬영영상을 필터 연산 및 에지 추출 연산을 통해 가공하여 금속성 부품에 대한 분류 성능을 향상시켜 전체 부품분류 성능을 향상시키는 효과가 있다.
도 1은 본 실시예에 따른 전자부품 분류장치를 포함하는 표면 실장 기술(SMT) 전체 시스템의 구조를 개략적으로 나타낸 도면이다.
도 2는 본 실시예에 따른 전자부품 분류장치의 구조를 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 수평조명 영상과 수직조명 영상의 차이점을 설명하기 위한 예시도이다.
도 4의 (a) 및 (b)는 본 실시예에 따른 비금속성 부품 및 금속성 부품의 수직조명 영상 및 수평조명 영상을 나타낸 예시도이다.
도 5는 본 실시예에 따라 전자부품 분류장치를 이용하여 분류하는 방법을 설명하기 위한 순서도이다.
도 6은 본 실시예에 따라 분류대상 부품의 금속성 여부를 판단하는 방법을 설명하기 위한 순서도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 실시예에서 '포함'이라는 용어는 명세서 상에 기재된 구성요소, 특징, 단계 또는 이들을 조합한 것이 존재한다는 것이지, 하나 또는 복수 개의 구성요소나 다른 특징, 단계 또는 이들을 조합한 것의 존재 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다. 또한, 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 실시예에 따른 전자부품 분류장치를 포함하는 표면 실장 기술(SMT) 전체 시스템의 구조를 개략적으로 나타낸 도면이다.
도 1을 참조하면, 표면 실장 기술 시스템(100)은 자동 광학 검사기(110)를 포함하고, 자동 광학 검사기(110)는 부품위치 데이터 소스(130) 및 전자부품 분류장치(120)로부터 각각 부품위치 데이터, 부품 코드(Code)를 수신한다.
표면 실장 기술 시스템(100)은 인쇄 회로 기판에 전자 부품을 땜납재 등으로 부착시키는 패키징 기술을 수행하는 시스템으로, 이를 수행하는 전체 공정을 의미한다. 표면 실장 기술 시스템(100)은 인쇄 공정(Print), 장착 공정(Mount), 납땜 공정(Reflow), 검사 공정(Inspection) 등으로 구성된다.
자동 광학 검사기(110)는 검사 공정에서 이용되는 장치이다. 자동 광학 검사기(110)는 장착 공정 또는 납땜 공정에서 조립된 부품들의 불량 여부를 자동으로 판단하는 장치이다. 자동 광학 검사기(110)는 조립된 부품의 검사를 수행하기 위해 검사할 인쇄 회로 기판의 티칭 데이터(Teaching Data)를 필요로 하는데, 티칭 데이터는 부품 위치 데이터와 부품 라이브러리 코드로 구성된다.
전자부품 분류장치(120)는 조명으로 분류대상 부품(340)을 비추고, 촬영기기로 분류대상 부품(340)을 촬영한다. 전자부품 분류장치(120)는 조명이 분류대상 부품(340)을 비추는 각도에 따라 수평조명 영상 및 수직조명 영상을 획득한다. 여기서, 수직조명 영상은 분류대상 부품(340)에 대해 수직한 위치에 조명을 설치하여 카메라로 촬영한 영상이고, 수평조명 영상은 분류대상 부품(340)에 대해 수평한 위치에 조명을 설치하여 촬영장치(310)로 촬영한 영상을 의미한다. 수평조명 영상은 분류대상 부품(340)의 완벽히 수평한 위치에 조명을 위치하게 되면 카메라로 촬영하여 영상을 획득할 수 없으므로, 촬영이 가능하도록 비스듬한 위치에 조명을 설치하고 카메라로 촬영하여 획득한다.
전자부품 분류장치(120)는 촬영된 수평조명 영상 및 수직조명 영상을 기반으로 분류대상 부품(340)의 속성을 판단한다. 보다 상세하게는, 전자부품 분류장치(120)는 수평조명 영상과 수직조명 영상을 기반으로 차영상을 획득하고, 차영상을 이진화한 이진영상 데이터를 생성한다. 여기서, 차영상이란 수평조명 영상 각각의 픽셀(Pixel)값에서 수직조명 영상의 픽셀(Pixel)값을 뺀 영상을 의미한다. 전자부품 분류장치(120)는 이진영상 데이터를 수평으로 투영시켜 음영을 계산한다. 전자부품 분류장치(120)는 투영된 영상을 서포트 벡터 머신(Support Vector Machine, SVM)으로 분류대상 부품(340)의 금속성 여부를 판단한다. 서포트 벡터 머신은 주어진 데이터 집합을 바탕으로 이진 선형 분류 모델을 만들고, 새로운 데이터를 입력받으면 어느 항목에 속할지를 판단하는 분류기를 말한다.
전자부품 분류장치(120)는 분류대상 부품(340)이 금속성 부품으로 판단된 경우, 금속성 부품의 촬영영상을 가공한다. 보다 상세하게는, 전자부품 분류장치(120)는 금속성 부품의 촬영영상에 대해 필터 연산 및 에지(Edge) 추출 연산을 수행하고, 분류 네트워크를 이용하여 분류대상 부품(340)에 대응하는 부품 코드를 결정한다. 전자부품 분류장치(120)는 필터 연산의 경우, 가버(Gabor) 필터를 이용하는데, 여기서 가버 필터는 선형 필터로 영상 처리 분야에서 질감 분석, 윤곽선 검출, 특징 추출 등에서 사용되는 필터이다. 또한, 전자부품 분류장치(120)는 에지 추출 연산을 수행하는데 이는 가버 필터 연산에 의해 인쇄 회로 기판과 부품의 경계가 모호해져 부품 형상 정보의 손상에 대해 보완하기 위함이다. 전자부품 분류장치(120)는 분류 네트워크로서 딥 러닝 알고리즘 중 하나인 컨볼루션 신경망(Convolutional Neural Network, CNN)을 이용하여 분류대상 부품(340)에 대응하는 부품코드를 결정한다.
전자부품 분류장치(120)는 분류대상 부품(340)이 비금속성 부품으로 판단된 경우, 비금속성 부품의 촬영영상을 분류 네트워크를 이용하여 분류대상 부품(340)에 대응하는 부품코드를 결정한다. 전자부품 분류장치(120)는 분류대상 부품(340)이 금속성 부품인 경우 촬영영상을 가공하는 것과는 다르게 비금속성 부품의 촬영영상을 가공하지 않고 분류 네트워크를 이용하여 분류대상 부품(340)에 대응하는 부품코드를 결정한다. 비금속성 부품의 촬영영상은 금속성 부품의 촬영영상과는 다르게 수평조명 영상과 수직조명 영상의 차이가 없기 때문이다. 부품의 속성에 따른 촬영영상은 도 4와 관련하여 후술한다.
부품위치 데이터 소스(130)는 CAD 데이터 및 Gerber 데이터에 근거하여 부품 위치 데이터를 자동 광학 검사기(110)에 제공한다. 부품 위치 데이터는 티칭 데이터의 일부로, 자동 광학 검사기(110)가 인쇄 회로 기판을 검사할 수 있도록 지원한다. 부품위치 데이터 소스(130)는 CAD 데이터 및 Gerber 데이터만을 포함하는 것처럼 도시되어 있으나, 반드시 그러한 것은 아니고, 부품 위치 데이터로 이용될 수 있는 것이라면 이를 포함하는 것으로 이해되어야 할 것이다.
도 2는 본 실시예에 따른 전자부품 분류장치의 구조를 나타낸 블록 구성도이다.
도 2를 참조하면, 본 실시예에 따른 전자부품 분류장치(120)는 촬영영상 수신부(210), 부품속성 판단부(220), 필터연산부(230) 및 부품분류부(240)를 포함한다.
촬영영상 수신부(210)는 촬영기기로 분류대상 부품(340)을 촬영한 촬영영상을 수신한다.
촬영영상 수신부(210)는 조명이 분류대상 부품(340)을 비추는 각도에 따라 수평조명 영상 및 수직조명 영상을 획득한다. 수평조명 영상은 분류대상 부품(340)과 수평한 위치에 조명을 설치하여 촬영기기로 분류대상 부품(340)을 촬영한 영상이다. 수평조명 영상은 분류대상 부품(340)에 대해 조명을 완벽한 수평 위치에 설치하게 되면 촬영기기로 촬영할 수 있을 만큼 충분히 밝지 못하므로, 분류대상 부품(340)의 음영이 드러날 만큼 기울어진 각도에 조명을 설치하여 촬영한 영상을 의미한다. 수평조명 영상에 대해서는 도 3과 관련하여 후술한다.
부품속성 판단부(220)는 촬영된 수평조명 영상 및 수직조명 영상을 이용하여 두 영상의 픽셀값의 차를 기반으로 차영상을 획득하고, 획득한 차영상을 이진화한 이진영상 데이터를 생성한다. 차영상을 획득하는 이유는 금속성 부품의 경우, 표면이 금속 재질이기 때문에 빛이 반사되어 수평조명 영상과 수직조명 영상의 차이가 발생하기 때문이다. 수직조명 영상에 대해서는 도 3과 관련하여 후술한다.
부품속성 판단부(220)는 이진영상 데이터를 히스토그램에 수평방향으로 투영한다. 이는 금속성 부품의 경우, 분류대상 부품(340)의 부분마다 밝기 차이가 크기 때문에 비금속성 부품과 다른 패턴을 나타내기 때문이다. 비금속성 부품은 금속성 부품과는 달리 빛을 반사시키지 않으므로, 수직조명 영상과 수평조명 영상의 픽셀값의 차이가 크지 않다. 또한, 부품속성 판단부(220)는 서포트 벡터 머신을 기반으로 수평방향으로 투영된 영상에 대해 분류대상 부품(340)의 금속성 여부를 판단한다.
필터연산부(230)는 부품속성 판단부(220)에서 분류대상 부품(340)을 금속성 부품으로 판단한 경우, 금속성 부품의 촬영영상을 가공한다. 즉, 필터연산부(230)는 분류대상 부품(340)이 금속성 부품인 경우 촬영영상을 가공하기 위해 금속성 부품의 촬영영상에 대해 필터 연산 및 에지 추출 연산을 수행한다. 필터연산부(230)는 가버 필터를 이용하여 연산을 수행한다. 가버 필터는 질감 분석, 윤곽선 검출 등에 사용되는 필터로, 금속성 부품의 촬영영상에 대해 분류대상 부품(340)의 질감을 분석하여 분류대상 부품(340)에 해당하는 부품코드를 보다 명확하게 결정하도록 지원한다. 가버 필터는 다음과 같은 수학식으로 구성된다.
Figure 112018083729956-pat00001
(x, y: 픽셀의 좌표값, λ: sin파 파장, θ: 필터의 방향성, ψ: sin파의 위상, σ: 가우시안(gaussian) 분포의 표준편차, γ: 공간 종횡비)
필터연산부(230)는 금속성 부품을 촬영한 촬영영상에서 여러 방향의 특징을 추출하기 위해서 다양한 회전의 가버 필터로 구성된 필터 뱅크(Filter Bank)를 만든다. 필터연산부(230)는 필터 뱅크를 이용하여 추출한 여러 방향의 특징을 결합하여 분류대상 부품(340)의 질감을 분석한다.
필터연산부(230)는 캐니(Canny) 에지 검출기를 이용하여 에지를 추출한다. 필터연산부(230)는 에지를 검출하기 위해 4단계의 과정을 거친다. 먼저, 필터연산부(230)는 가우시안 필터연산을 통해 영상의 노이즈를 제거한다. 필터연산부(230)는 영상의 미분값을 이용하여 에지를 계산한다. 그리고 필터연산부(230)는 NMS(Non-Maximum Suppression)를 이용하여 잘못 계산된 에지를 제거한다. NMS는 현재 픽셀과 주변의 픽셀을 비교하여 현재픽셀이 최댓값인 경우에는 그대로, 최댓값이 아닌 경우에는 억제하는 방법이다. 마지막으로, 필터연산부(230)는 높은 임계값과 낮은 임계값을 결정하고, 임계값들을 이용하여 에지를 연결한다. 에지를 계산하는 방법은 영상을 미분하여 밝기값이 크게 변하는 부분을 에지로 결정한다. 필터연산부(230)는 필터 연산 및 에지 추출 연산을 수행한 결과로 분석결과 데이터를 생성한다. 필터연산부(230)는 필터 연산과 에지 추출 연산을 동시에 수행하는 것으로 기재되어 있으나, 반드시 그러한 것은 아니고, 에지추출부와 같은 별도의 부를 이용하여 에지 추출 연산을 수행할 수도 있다.
부품분류부(240)는 분류대상 부품(340)이 금속성 부품인 경우, 필터연산부(230)에서 생성한 분석결과 데이터를 기반으로 분류 네트워크를 이용하여 분류대상 부품(340)에 대응하는 부품 코드를 결정한다. 또한, 부품분류부(240)는 분류대상 부품(340)이 비금속성 부품인 경우, 비금속성 부품의 촬영영상을 가공하지 않고 그대로 분류 네트워크를 이용하여 분류대상 부품(340)에 대응하는 부품코드를 결정한다.
도 3은 본 실시예에 따른 수평조명 영상과 수직조명 영상의 차이점을 설명하기 위한 예시도이다.
전자부품 분류장치(120)는 분류대상 부품(340)의 속성을 판단하기 위해 수직조명 영상과 수평조명 영상을 이용한다. 도 3을 참조하면, 전자부품 분류장치(120)는 분류대상 부품에 대한 조명의 위치를 바꿔가며 촬영한 영상을 수신한다. 보다 상세하게는, 수직조명 영상으로서 분류대상 부품(340)의 수직방향에 조명을 설치하여 촬영장치(310)로 촬영한 영상과 수평조명 영상으로서 분류대상 부품(340)의 수평방향에 조명을 설치하여 촬영장치(310)로 촬영한 영상을 수신한다. 수직조명(320) 및 수평조명은 분류대상 부품(340)에 대해 완벽히 수직 또는 수평에 위치하지 않고, 촬영장치(310)로 촬영이 가능하도록 기울어진 위치에 설치된다.
도 3에 도시된 바와 같이, 금속성 부품은 표면이 금속 재질이기 때문에, 빛을 반사시켜 수평조명 영상과 수직조명 영상의 픽셀차가 커진다. 도 3에서 수직조명(320)의 빛의 경로는 굵은 선으로, 수평조명(330)의 빛의 경로는 가는 선으로 표시한다. 수직조명(320)의 경우 왼쪽 빛의 경로는 분류대상 부품(340)에서 반사되어 촬영장치(310)의 렌즈로 들어가는 반면, 오른쪽 빛의 경로는 납에서 반사되어 촬영장치(310)의 렌즈를 벗어난다. 수평조명(330)의 경우 위쪽 빛의 경로는 분류대상 부품(340)에서 반사되어 촬영장치(310)의 렌즈를 벗어나는 반면, 아래쪽 빛의 경로는 납에서 반사되어 촬영장치(310)의 렌즈로 들어온다. 또한, 수직조명(320)과 수평조명(330)의 빛의 경로가 촬영장치(310)의 렌즈에 도달하는 위치도 달라진다. 즉, 수직조명(320)을 이용하여 촬영한 수직조명 영상과 수평조명(330)을 이용하여 촬영한 수평조명 영상은 영상의 픽셀차가 발생한다.
도 4의 (a) 및 (b)는 본 실시예에 따른 비금속성 부품 및 금속성 부품의 수직조명 영상 및 수평조명 영상을 나타낸 예시도이다.
도 4의 (a)는 비금속성 부품의 수평조명 영상(410) 및 수직조명 영상(420)을 나타낸 도면이다. 도 4의 (a)를 참조하면, 비금속성 부품의 수평조명 영상(410)과 수직조명 영상(420)은 차이가 없다. 비금속성 부품은 빛을 반사시키지 않으므로 수평조명 영상(410)과 수직조명 영상(420)의 픽셀차가 거의 없기 때문이다. 반면에 도 4의 (b)를 참조하면, 금속성 부품의 수평조명 영상(430)과 수직조명 영상(440)은 음영의 차이가 있다. 보다 상세하게는, 금속성 부품의 수평조명 영상(430)은 가운데 가장 돌출된 부분을 둘러싸고 있는 테두리 부분이 어둡게 촬영되는 반면, 금속성 부품의 수직조명 영상(440)은 가운데 가장 돌출된 부분이 어둡게 촬영된다. 금속성 부품은 전술한 바와 같이, 표면이 금속 재질이므로 빛을 반사시켜 수평조명 영상(430)과 수직조명 영상(440)의 픽셀값의 차이가 존재하기 때문이다.
도 5는 본 실시예에 따라 전자부품 분류장치를 이용하여 분류하는 방법을 설명하기 위한 순서도이다.
전자부품 분류장치(120)는 분류대상 부품(340)을 비추는 조명의 각도에 따라 촬영장치(310)를 이용하여 촬영한 수평조명 영상과 수직조명 영상을 수신한다(S502). 전자부품 분류장치(120)는 수평조명 영상과 수직조명 영상의 픽셀값의 차이를 이용한 차영상을 획득하고, 획득한 차영상을 기반으로 분류대상 부품(340)의 금속성 여부를 판단한다(S504). 전자부품 분류장치(120)는 분류대상 부품(340)을 금속성 부품과 비금속성 부품으로 나누고, 분류대상 부품(340)의 금속성 여부를 판단한다(S506). 보다 상세하게는, 전자부품 분류장치(120)는 획득한 차영상의 픽셀값을 이진화하여 획득한 이진영상 데이터를 수평으로 투영시켜 음영을 계산한다. 여기서, 이진영상 데이터를 수평으로 투영하는 것은 히스토그램(Histogram)에 수평방향으로 이진영상 데이터를 투영하여 픽셀의 빈도수를 계산하는 것을 의미한다. 전자부품 분류장치(120)는 투영시킨 영상을 서포트 벡터 머신을 이용하여 금속성 부품 여부를 판단한다.
전자부품 분류장치(120)는 분류대상 부품(340)을 금속성 부품으로 판단한 경우, 분류대상 부품(340)을 촬영한 촬영영상에 대해 필터 연산 및 에지 추출 연산을 수행하여 촬영영상을 가공한다(S508). 여기서, 촬영영상은 수직조명 영상 또는 수평조명 영상을 말한다. 반면, 전자부품 분류장치(120)가 분류대상 부품(340)을 비금속성 부품으로 판단한 경우, 분류대상 부품(340)을 촬영한 영상을 가공하지 않고 분류 네트워크로 제공한다(S510). 전자부품 분류장치(120)는 분류대상 부품(340)이 금속성 부품인 경우에는 가공된 영상을, 비금속성 부품인 경우에는 촬영영상을 기반으로 분류 네트워크를 이용하여 분류대상 부품(340)에 대응하는 부품 코드를 결정한다(S512). 전자부품 분류장치(120)는 결정된 부품 코드를 기반으로 분류대상 부품(340)을 분류한다(S514).
도 6은 본 실시예에 따라 분류대상 부품(340)의 금속성 여부를 판단하는 방법을 설명하기 위한 순서도이다.
전자부품 분류장치(120)는 촬영장치(310)를 이용하여 촬영한 수평조명 영상과 수직조명 영상을 수신한다(S602). 전자부품 분류장치(120)는 수신한 수평조명 영상과 수직조명 영상의 픽셀 차이를 이용한 차영상을 획득한다(S604). 전자부품 분류장치(120)는 획득한 차영상을 이진화하여 이진영상 데이터를 획득한다(S606). 마지막으로, 전자부품 분류장치(120)는 이진영상 데이터를 서포트 벡터 머신에 대입하여 금속성 부품 여부를 판단한다(S608).
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 표면 실장 기술 시스템 110: 자동 광학 검사기
120: 전자부품 분류장치 130: 부품위치 데이터 소스
210: 촬영영상 수신부 220: 부품속성 판단부
230: 필터연산부 240: 부품분류부
310: 촬영장치 320: 수직조명
330: 수평조명 340: 분류대상 부품
410, 430: 수평조명 영상 420: 440: 수직조명 영상

Claims (8)

  1. 복수의 조명 위치에 따라 복수의 분류대상 부품을 촬영한 부품 촬영영상을 각각 수신하는 조명영상 수신부;
    상기 부품 촬영영상을 분석하여 분류대상 부품을 식별하고 상기 분류대상 부품의 소재가 금속 속성인지 여부를 확인하는 부품속성 판단부;
    상기 분류대상 부품의 소재가 금속 속성으로 확인되면, 상기 부품 촬영영상에 대해 복수의 필터 방향값을 기초로 가버(Gabor)필터연산을 수행하고, 연산으로부터 추출된 상기 부품의 각 특징 데이터를 결합한 것을 포함하는 분석결과 데이터를 생성하는 필터연산부; 및
    상기 분석결과 데이터에 대응하는 부품 코드(Code)를 추출하고, 상기 부품 코드를 기반으로 부품을 분류하는 부품분류부
    를 포함하는 것을 특징으로 하는 전자부품 분류장치.
  2. 제 1 항에 있어서,
    상기 부품속성 판단부는,
    상기 부품 촬영영상에 대한 수평조명 영상 및 수직조명 영상의 픽셀(pixel) 차를 이용한 차영상을 획득하고, 상기 차영상을 이진화하여 이진영상 데이터를 획득하고, 상기 이진영상 데이터를 기반으로 상기 부품 촬영영상으로부터 상기 분류대상 부품을 식별하는 것을 특징으로 하는 전자부품 분류장치.
  3. 제 2 항에 있어서,
    상기 부품속성 판단부는,
    상기 이진영상 데이터를 기 학습된 서포트 벡터 머신(Support Vector Machine, SVM)에 적용하여 상기 분류대상 부품의 소재가 금속 속성인지에 대해 확인하는 것을 특징으로 하는 전자부품 분류장치.
  4. 제 2 항에서,
    상기 부품분류부는,
    상기 분류대상 부품의 소재가 비금속 속성을 갖는 것으로 확인되면, 비금속성 부품으로 판단된 경우, 상기 이진영상 데이터에 대응하는 상기 부품 코드를 기반으로 상기 분류대상 부품을 분류하는 것을 특징으로 하는 전자부품 분류장치.
  5. 제 1 항에 있어서,
    상기 필터연산부는,
    상기 부품 촬영영상에 대한 에지(edge) 추출 연산을 수행하여 상기 분석결과 데이터를 생성하는 것을 특징으로 하는 전자부품 분류장치.
  6. 제 1 항에 있어서,
    상기 부품분류부는,
    컨볼루션 신경망(Convolutional Neural Network)을 이용한 분류 네트워크를 기반으로 상기 분류대상 부품의 상기 부품 코드를 결정하는 것을 특징으로 하는 전자부품 분류장치.
  7. 복수의 조명 위치에 따라 복수의 분류대상 부품을 촬영한 부품 촬영영상을 각각 수신하는 조명영상 수신단계;
    상기 부품 촬영영상을 분석하여 분류대상 부품을 식별하고 상기 분류대상 부품의 소재가 금속 속성인지 여부를 확인하는 부품속성 판단단계;
    상기 분류대상 부품의 소재가 금속 속성으로 확인되면, 상기 부품 촬영영상에 대해 복수의 필터 방향값을 기초로 가버(Gabor)필터연산을 수행하고, 연산으로부터 추출된 상기 부품의 각 특징 데이터를 결합한 것을 포함하는 분석결과 데이터를 생성하는 필터연산 단계; 및
    상기 분석결과 데이터에 대응하는 부품 코드(Code)를 추출하고, 상기 부품 코드를 기반으로 부품을 분류하는 부품분류 단계
    를 포함하는 것을 특징으로 하는 전자부품 분류방법.
  8. 제 7 항에 있어서,
    상기 부품속성 판단단계는,
    상기 부품 촬영영상에 대한 수평조명 영상 및 수직조명 영상의 픽셀(pixel) 차를 이용한 차영상을 획득하고, 상기 차영상을 이진화하여 이진영상 데이터를 획득하고, 상기 이진영상 데이터를 기반으로 상기 부품 촬영영상으로부터 상기 분류대상 부품을 식별하는 것을 특징으로 하는 전자부품 분류 방법.
KR1020180098641A 2018-08-23 2018-08-23 전자부품 분류장치 및 그 방법 KR102203441B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180098641A KR102203441B1 (ko) 2018-08-23 2018-08-23 전자부품 분류장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180098641A KR102203441B1 (ko) 2018-08-23 2018-08-23 전자부품 분류장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200023712A KR20200023712A (ko) 2020-03-06
KR102203441B1 true KR102203441B1 (ko) 2021-01-18

Family

ID=69802466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180098641A KR102203441B1 (ko) 2018-08-23 2018-08-23 전자부품 분류장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102203441B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101141312B1 (ko) * 2011-05-16 2012-05-04 동국대학교 산학협력단 영상의 융합 기법을 이용한 의료용 혈관영상 처리방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901961B1 (ko) * 2011-12-21 2018-09-28 한국전자통신연구원 부품을 인식하기 위한 장치 및 그 방법
KR101690719B1 (ko) * 2011-12-26 2016-12-29 한화테크윈 주식회사 부품 인식 장치 및 부품 인식 방법
KR101678771B1 (ko) * 2015-03-09 2016-11-22 충북대학교 산학협력단 Ｓｍｔ 불량 판별 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101141312B1 (ko) * 2011-05-16 2012-05-04 동국대학교 산학협력단 영상의 융합 기법을 이용한 의료용 혈관영상 처리방법

Also Published As

Publication number Publication date
KR20200023712A (ko) 2020-03-06

Similar Documents

Publication Publication Date Title
Cai et al. A new IC solder joint inspection method for an automatic optical inspection system based on an improved visual background extraction algorithm
CN106501272B (zh) 机器视觉焊锡定位检测系统
Wu et al. Automated visual inspection of surface mounted chip components
CN105718931B (zh) 用于确定采集图像中的杂斑的系统和方法
CN106651802B (zh) 机器视觉焊锡定位检测方法
CN115908420A (zh) 印刷电路板的缺陷检测方法、装置、设备及存储介质
CN114998314A (zh) 一种基于计算机视觉的pcb电路板缺陷检测方法
Mukhopadhyay et al. PCB inspection in the context of smart manufacturing
US20220207686A1 (en) System and method for inspecting an object for defects
Singh et al. Image processing based automatic visual inspection system for PCBs
De Oliveira et al. Detecting modifications in printed circuit boards from fuel pump controllers
de Mello et al. Inspecting surface mounted devices using k nearest neighbor and multilayer perceptron
Piliposyan et al. Computer vision for hardware trojan detection on a PCB using siamese neural network
KR102203441B1 (ko) 전자부품 분류장치 및 그 방법
KR101563332B1 (ko) 표면실장부품 패키지의 분류 시스템 및 방법
KR101678771B1 (ko) Ｓｍｔ 불량 판별 장치 및 방법
CN206470210U (zh) 机器视觉焊锡定位检测系统
JP2016070723A (ja) 半田検査装置および方法
CN115343313A (zh) 基于人工智能的视觉识别方法
KR20180087090A (ko) 검사 기준 화상을 통한 자동 조명 설정 방식의 머신 비전 시스템 및 동작 방법
Kim et al. An automated visual inspection of solder joints using 2D and 3D features
KR101383827B1 (ko) 인쇄회로기판의 솔더링 영역 자동검출 시스템 및 방법
Xie et al. Evolving PCB visual inspection programs using genetic programming
Kleber et al. Optical sensor evaluation for vision based recognition of electronics waste
Ulger et al. A standalone open-source system for optical inspection of printed circuit boards

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant