KR20220026439A - 인쇄회로기판의 부품 미실장 검출 방법 및 그 장치 - Google Patents

인쇄회로기판의 부품 미실장 검출 방법 및 그 장치 Download PDF

Info

Publication number
KR20220026439A
KR20220026439A KR1020200107436A KR20200107436A KR20220026439A KR 20220026439 A KR20220026439 A KR 20220026439A KR 1020200107436 A KR1020200107436 A KR 1020200107436A KR 20200107436 A KR20200107436 A KR 20200107436A KR 20220026439 A KR20220026439 A KR 20220026439A
Authority
KR
South Korea
Prior art keywords
technique
image
component
target image
printed circuit
Prior art date
Application number
KR1020200107436A
Other languages
English (en)
Inventor
조인표
이상엽
이재규
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020200107436A priority Critical patent/KR20220026439A/ko
Publication of KR20220026439A publication Critical patent/KR20220026439A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Operations Research (AREA)
  • Geometry (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

본 발명의 인쇄회로기판의 부품 미실장 검출 방법은 검사 대상 기판에 실장되는 검사 대상 부품의 실장 위치를 촬영하여 대상 이미지를 획득하는 단계; 상기 대상 이미지의 전처리를 수행하기 위해, 히스토그램 카운트 기법, 윤곽 검출 기법 및 원형 허프 변환 기법 중에서 어느 하나의 전처리 기법을 선정하는 단계; 상기 선정된 전처리 기법에 따라, 상기 대상 이미지를 전처리 하는 단계; 상기 대상 이미지의 전처리 결과를 기반으로 직사각형 또는 원형의 리드 단자의 개수를 카운팅 하는 단계; 및 상기 카운팅된 직사각형 또는 원형의 리드 단자의 개수를 기반으로 상기 인쇄회로기판의 부품 실장 여부를 판정하는 단계를 포함한다.

Description

인쇄회로기판의 부품 미실장 검출 방법 및 그 장치{Apparatus and method for checking whether a part is inserted in PCB}
본 발명은 인쇄회로기판의 부품 미삽 여부를 검출하는 기술에 관한 것으로, 더욱 상세하게는 이미지 전처리 및 분석을 이용하여 인쇄회로기판의 부품 미삽 여부를 검출하는 기술에 관한 것이다.
최근 인쇄회로기판(PCB)의 부품 미삽 여부를 검출하기 위해, 히스토그램 카운트 기반의 검출 기법이 있다. 히스토그램 카운트 기반의 검출은 부품이 실장된 PCB를 촬영하여 획득한 이미지의 히스토그램을 분석하여 부품 미삽 여부를 검출하는 기술이다.
인쇄회로기판(PCB)의 부품 미삽 여부를 검출하기 위해, 종래의 히스토그램 카운트 기반의 검출 기법만을 통해, 이미지 분석 및 전처리를 수행할 경우, 베어보드와 부품의 색상이 유사한 경우, 미삽과 실장을 판단하기 위한 상관관계(Correlation) 기준값을 결정할 수가 없다.
인쇄회로기판(PCB)의 부품 미삽 여부를 검출하기 위한 다른 기술로 CNN(convolutional neural network)과 같은 딥러닝 모델 기반의 검출 방법이 있다. 그러나 이 검출 방법은 대용량의 샘플 데이터를 입력해야 문제가 있다.
상술함 문제점을 해결하기 위한 본 발명의 목적은 베어보드와 실장부품의 색상이 동일한 경우에 미삽 검사를 효율적으로 수행하고, PCB의 형태가 핀형인지 홀형(또는 원형)인지 파악하고, 이에 다른 알고리즘을 수행하여 해당 위치의 부품이 실장되었는 지를 검사할 수 있는 인쇄회로기판의 부품 미삽 검출 방법 및 그 장치를 제공하는데 있다.
본 발명의 전술한 목적들 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해진다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 인쇄회로기판의 부품 미실장 검출 방법은 검사 대상 기판에 실장되는 검사 대상 부품의 실장 위치를 촬영하여 대상 이미지를 획득하는 단계; 상기 대상 이미지의 전처리를 수행하기 위해, 히스토그램 카운트 기법, 윤곽 검출 기법 및 원형 허프 변환 기법 중에서 어느 하나의 전처리 기법을 선정하는 단계; 상기 선정된 전처리 기법에 따라, 상기 대상 이미지를 전처리 하는 단계; 상기 대상 이미지의 전처리 결과를 기반으로 직사각형 또는 원형의 리드 단자의 개수를 카운팅 하는 단계; 및 상기 카운팅된 직사각형 또는 원형의 리드 단자의 개수를 기반으로 상기 인쇄회로기판의 부품 실장 여부를 판정하는 단계를 포함한다.
본 발명의 다른 일면에 따라 인쇄회로기판의 부품 미실장 여부를 검출하기 위한 컴퓨팅 장치는, 검사 대상 기판에 실장되는 검사 대상 부품의 실장 위치를 촬영하여 대상 이미지를 획득하는 카메라; 상기 대상 이미지의 전처리를 수행하기 위해, 히스토그램 카운트 기법, 윤곽 검출 기법 및 원형 허프 변환 기법 중에서 어느 하나의 전처리 기법을 선정하고, 상기 선정된 전처리 기법에 따라, 상기 대상 이미지를 전처리 하고, 상기 대상 이미지의 전처리 결과를 기반으로 직사각형 또는 원형의 리드 단자의 개수를 카운팅 하고, 상기 카운팅된 직사각형 또는 원형의 리드 단자의 개수를 기반으로 상기 인쇄회로기판의 부품 실장 여부를 판정하는 프로세서; 및 상기 프로세서의 판정 결과를 시각적 또는 청각적 형태의 정보로 출력하는 출력부를 포함한다.
본 발명에 따르면, PCB의 베어보드 색상과 부품의 색상이 동일한 경우에 대해서도 효율적인 컴퓨팅 연산을 통해 해당 위치의 부품 삽입(실장) 여부를 검사할 수 있고, 또한 본 발명에 따라 선정된 전처리 기법(히스토그램 카운트 기법, 윤곽 검출기법 또는 원형 허브 변환 기법)에 따라 전처리된 이미지를 입력데이터로 활용함으로써, 대용량의 샘플 데이터 없이도 해당 위치의 부품 삽입(실장) 여부를 검사함으로써, 저사향의 컴퓨팅 환경에서도 효율적인 컴퓨팅 연산을 수행할 수 있다.
도 1은 히스토그램 카운트 기법으로 미삽(미실장) 검출이 가능한 베어 보드와 부품의 색상을 보여주는 사진 이미지이다.
도 2는 인쇄회로기판에 부품이 실장된 경우와 미실장된 경우의 히스토그램 그래프들을 예시한 도면이다.
도 3은 히스토그램 카운트 기법으로 미삽(미실장) 검출이 불가능한 베어 보드와 부품의 사진 이미지이다.
도 4는 본 발명의 실시 예에 따른 인쇄회로기판의 부품 미실장 여부를 검출하는 방법을 설명하기 위한 흐름도이다.
도 5는 도 4에 도시한 윤곽 검출 기법의 세부 처리 과정을 도식적으로 보여주는 도면이다.
도6은 도 4의 420에 따라 수행되는 윤곽 검출 기법 대신에 적용될 수 있는 원형 허프 변환(Circular Hough Transform) 기법의 세부 처리 과정을 도식적으로 보여주는 도면이다.
도 7은 본 발명의 다른 실시 예에 따른 인쇄회로기판의 부품 미실장 여부를 검출하는 방법을 설명하기 위한 흐름도이다.
도 8은 도 7의 단계 720에서 수행하는 전처리 기법을 선정하기 위한 세부 처리 과정을 나타내는 흐름도이다.
도 9는 본 발명의 실시 예에 따른 부품 미실장 검출을 위한 컴퓨팅 장치의 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
종래는 PCB에 부품이 실장된 상태와 미삽된(미실장) 상태의 칼라분포가 유사할 경우 히스토그램 카운트 값의 차이가 크게 발생하지 않게 되어 상관관계(Correlation) 기준값을 결정하기가 모호해진다.
이에, 본 발명은 초기에 부품이 실장되지 않은 이미지와 실장된 이미지를 입력받고 이를 기준으로 히스토그램 카운트를 통해 효과적 전처리를 수행할 수 있는지를 판단한다.
이후, 본 발명은 히스토그램 카운트 기법(또는 히스토그램 픽셀 칼라 카운팅 기법)으로 처리하기 힘든 경우(베어 보드(bare board)와 실장부품의 색상이 동일 또는 유사한 경우)에는 윤곽 검출 기법을 통하여 베어 보드의 특성상 검출되어지는 다각형의 개수에 따라 양호/불량을 판정하거나 처리된 이미지를 컨벌루션 신경망(Convolutional Neural Network, CNN)과 같은 딥러닝 모델의 입력으로 사용한다.
도 1은 히스토그램 카운트 기법으로 미삽(미실장) 검출이 가능한 베어 보드와 부품의 색상을 보여주는 사진 이미지이고, 도 2는 인쇄회로기판에 부품이 실장된 경우와 미실장된 경우의 히스토그램 그래프들을 예시한 도면이다.
도 1의 (A)는 인쇄회로기판에 부품이 실장되지 않은 베어 보드를 보여주는 사진이고, (B)는 인쇄회로기판에 실장된 부품(IC 칩)을 보여주는 사진이다.
도 2의 (A)는 인쇄회로기판에 실장된 부품에 대한 이미지를 히스토그램 카운트 기법으로 분석하여 획득한 히스토그램 그래프이고, (B)는 인쇄회로기판에 부품이 실장되지 않은 베어 보드에 대한 이미지를 히스토그램 카운트 기법으로 분석하여 획득한 히스토그램 그래프이다.
본 발명은 히스토그램 카운팅 기법을 활용하여 인쇄회로기판의 부품 실장여부 검출을 상대적으로 적은 컴퓨팅 파워로 수행한다.
도 1과 같이, PCB의 베어 보드와 IC칩 부품의 색상이 다를 경우에는 본 발명에서 제안하는 검출 방법이 유용하게 사용될 수 있다.
도 2의 (B)와 같이, 부품이 실장되지 않은 경우, RGB의 히스토그램이 고루 분포되는 반면, 도 2의 (A)와 같이, 부품이 올바르게 실장된 경우 한 지점에 RGV 카운트가 몰려있는 것을 확인할 수 있다. 두 히스토그램을 비교하여 획득한 상관관계(Correlation) 값은 0.27로서, 0.5를 기준으로 하여 이보다 작으면 미실장으로 판별할 수 있다.
도 3은 히스토그램 카운트 기법으로 미삽(미실장) 검출이 불가능한 베어 보드와 부품의 사진 이미지이다.
도 3의 (A)는 부품이 실장되지 않은 베어 보드의 사진 이미지이고, (B)는 베어 보드에 실장된 부품의 사진 이미지이다.
전술한 바와 같이, 히스토그램 카운팅 기법을 이용하여 부품의 미삽(미실장) 검출 방법은 간단하게 수행할 수 있는 장점이 있다.
그러나, 부품이 실장되지 않은 상태를 촬영하여 획득한 불량 이미지와 부품이 올바르게 실장된 상태를 촬영획득한 정상 이미지의 색상이 비슷하여 히스토그램 카운팅 기법만으로 구별이 힘든 경우에는 상관관계(Correlation) 기준 값을 결정할 수가 없다.
예를 들어 도 3의 (A)에서 볼 수 있는 베어 보드의 색상과 도 3의 (B)에서 볼 수 있는 부품의 색상이 모두 검정인 경우, 색상의 카운트만으로는 구별이 어렵다.
이러한 경우에는 본 발명의 실시 예에 따른 윤곽 검출 기법을 기반으로, 부품이 미삽된(미실장된) 베어 보드의 형상적 특징을 파악하여 부품의 미삽(미실장) 여부를 판정한다. 여기서, 부품의 미삽(미실장) 여부를 판정하기 위한 기준으로 사용되는 베어 보드의 형상적 특징은, 예를 들면, 사진 이미지에서 나타나는 리드 단자(LEAD TERMINAL) 영역일 수 있다. 즉, 사진 이미지에서 리드 단자 영역의 검출 여부에 따라 미삽(미실장) 여부를 결정한다.
도 3의 (A)의 베어 보드를 촬영한 사진 이미지를 예로 들면, 리드 단자 영역(30)에 납만 도포되고 부품까지는 실장이 되지 않은 미삽의 상태이다. 이 경우 직사각 형상의 리드 단자(30)를 인식하고, 인식된 직사각 형상의 리드 단자(30)가 일정 개수 이상을 검출된 경우, 미삽(미실장)으로 판정한다.
도 4는 본 발명의 실시 예에 따른 인쇄회로기판의 부품 미실장 여부를 검출하는 방법을 설명하기 위한 흐름도이다.
먼저, 단계 410에서, 카메라를 이용하여 전체 PCB를 촬영하여, PCB 이미지를 획득한 후, 획득한 PCB 이미지에서 부품의 실장 위치에 대응하는 영역만을 크롭(crop)하여, 부품 실장 여부를 검사하기 위한 대상 이미지를 획득한다.
이어, 단계 420에서, 윤곽 검출 기법을 이용하여 대상 이미지로부터 PCB 상에 패터닝된 리드 단자의 윤곽선을 검출하여 리드 단자를 인식한다. 단계 420의 윤과 검출 과정에 대해서는 도 5를 참조하여 상세히 설명하기로 한다.
이어, 단계 430에서, 리드 단자의 윤곽선 검출을 통해, 인식된 리드 단자의 개수를 카운팅하는 과정이 수행된다.
이어, 단계 440에서, 카운팅 된 리드 단자의 개수와 기준 개수를 비교하는 과정이 수행된다.
단계 440의 비교 결과, 카운팅 된 리드 단자의 개수가 기준 개수를 초과하면, 단계 450으로 진행하여, 부품(예, IC칩)이 PCB 상의 실장 위치에 실장되지 않은 것으로 판정(불량)한다.
여기서, 리드 단자의 개수가 기준 개수 이상으로 카운팅되었다는 의미는 리드 단자가 납땜 공정 등으로 인해 그 직사각 형상의 변형이 일어나지 않았다는 것을 의미한다. 즉, 부품이 실장되지 않았음을 의미하는 것이다. 따라서, 리드 단자의 개수가 기준 개수 이상이면, 부품(예, IC칩)이 PCB 상의 실장 위치에 실장되지 않은 불량으로 판정한다.
기준 개수는 설계자에 따라 다양하게 변경될 수 있으며, 실험 횟수에 따라 통계학적으로 측정된 결과치에 따라 결정될 수 있다. 예를 들면, 리드 단자의 개수가 전체 14개이고, 기준 개수를 5개로 설정한 경우, 윤곽 검출에 따라 대상 이미지로부터 4개의 리드 단자가 검출되면, 기준 개수보다 작으므로, 부품이 실장된 상태임을 나타내는 '양호(부품 실장)'로 판정하고, 윤곽 검출에 따라 대상 이미지에서 9개의 리드 단자가 검출되면, 기준개수보다 크므로, 부품이 실장되지 않은 '불량(부품 미실장)'으로 판정한다.
반대로, 단계 440의 비교 결과, 카운팅 된 리드 단자의 개수가 기준 개수 이하이면, 단계 460으로 진행하여, 부품(예, IC칩)이 PCB 상의 실장 위치에 실장된 것으로 판정한다(양호).
도 5는 도 4에 도시한 윤곽 검출 기법의 세부 처리 과정을 도식적으로 보여주는 도면이다.
도 5를 참조하면, 단계 421에서, 단계 410에서 획득한 대상 이미지(칼라 이미지)에 포함된 각 픽셀의 RGB값을 그레이 스케일로 표현한 그레이 이미지로 변환한다.
이어, 단계 423에서, 그레이 이미지를 이진 이미지로 변환한다. 예를 들면, 그레이 이미지는 각 픽셀의 그레이값(계조값)을 '0'과 '1'로 표현하는 이진화 과정을 통해 검은색과 흰색으로만 이루어진 이진화된 이미지로 변환된다.
이처럼 그레이 이미지가 검은색과 흰색으로만 이루어진 이진 이미지로 변환됨으로써, 이진 이미지 내에서 리드 단자의 형상이 뚜렷하게 강조될 수 있다.
이진화의 경계값의 조정은 이미지에 따라 수동으로 설정할 수 있다. 다만, 리드 단자의 형태가 직사각형 이외에 원형일 수도 있으므로, 이진화의 경계값의 조정은 자동으로 설정할 수도 있다.
이어, 단계 425에서, 이진 이미지의 모멘트(moment)를 계산하고, 계산된 모멘트를 기반으로 직사각형의 리드 단자의 윤곽선을 검출한다. 검출한 윤곽선들 중 특정 크기 이상의 직사각형으로 이루어진 윤곽선들을 최종 검출된 리드 단자로 결정한다. 도 5에서 최종 검출된 리드 단자는 초록색의 직사각형으로 표시된다.
이처럼 최종 검출된 리드 단자의 개수는 기준 개수와 비교되고, 기준 개수 이상인 경우, 해당 부품은 PCB 상의 실장 위치에 실장되지 않은 것으로 판정된다.
도6은 도 4의 420에 따라 수행되는 윤곽 검출 기법 대신에 적용될 수 있는 원형 허프 변환(Circular Hough Transform) 기법의 세부 처리 과정을 도식적으로 보여주는 도면이다.
도 6을 참조하면, 베어 보드의 리드 단자가 도 3과 같은 직사각형이 아니라 원형인 경우도 있을 수 있다. 이런 경우에는 원형 허프 변환(Circular Hough Transform)을 사용하여 원형의 리드 단자를 인식한다.
구체적으로, 단계 610에서, 단계 410에서 전체 PCB 이미지에서 실장 위치에 대응하는 영역만을 크롭하여 획득한 대상 이미지를 입력받는다.
이어, 단계 620에서, 대상 이미지를 그레이 스케일로 표현된 그레이 이미지로 변환한다.
이어, 단계 630에서, 그레이 이미지를 이진 이미지로 변환한다.
이어, 단계 640에서, 이진 이미지의 모멘트(moment)를 계산하고, 계산된 모멘트와 원형 허프 변환 기법에 따라 원형을 검출한다. 이때, 검출된 원형 중에서 일정 크기(면적) 이상인 원형을 최종 검출된 원형의 리드 단자로 인식한다. 도 6에서 검출된 리드 단자는 초록색 원으로 표시되었다.
전술한 윤곽 검출 기법에 기반한 부품 미실장 여부 검출 방법과 유사하게, 검출한 원형의 리드 단자의 개수가 기준 개수 이상인 경우, 부품 미실장으로 판정한다.
또한 아래에서 설명하겠지만, 도 5 및 6의 처리 과정에 따라 처리된 이진 이미지는 그대로 CNN의 입력으로 사용되고, CNN는 부품 미실장 여부를 나타내는 출력값을 출력한다. 이때, 이진 이미지의 모멘트가 CNN의 입력으로 더 사용될 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 인쇄회로기판의 부품 미실장 여부를 검출하는 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 본 발명의 다른 실시 예에 따른 검출 방법은 히스토그램 카운트 기법, 도 5의 윤곽 검출 기법 및 도 6의 원형 허프 변환 기법을 선택적으로 사용하여 부품 미실장 여부를 검출하는 방법이다.
이하에서 설명하는 각 단계는 컴퓨팅 장치의 프로세서(예, 하나 이상의 CPU, 하나 이상의 GPU 또는 이들의 조합)에 의해 실행되는 소프트웨어 모듈에 의해 수행되거나 프로세서에 의해 제어되는 하드웨어 모듈에 의해 수행될 수 있다.
단계 710에서, 카메라를 이용하여, 검사 대상에 해당하는 PCB 상의 부품 위치를 촬영하여 획득한 대상 이미지를 획득하는 과정이 수행된다.
이어, 단계 720에서, 촬영된 대상 이미지에서 대한 전처리 기법을 선정하는 과정이 수행된다. 여기서, 선정된 전처리 기법은 히스토그램 카운트 기법, 윤곽 검출 기법 및 원형 허프 변환 기법 중에서 어느 하나일 수 있다. 단계 720의 선정 과정은 도 8에서 상세히 설명하기로 한다.
이어, 단계 730에서, 단계 710에서 획득한 대상 이미지를 단계 720에서 선정된 전처리 기법에 따라 전처리를 수행하여 전처리 결과를 획득하는 과정이 수행된다. 여기서, 전처리 결과는 히스토그램값, 직사각형의 리드 단자가 포함된 전처리 이미지(모멘트가 계산된 이진 이미지) 또는 원형의 리드 다자가 포함된 전처리 이미지(모멘트가 계산된 이진 이미지)일 수 있다.
이하에서는 윤곽 검출 기법 또는 원형 허프 변환 기법에 기반한 전처리 결과를 이용하여 부품 미실장 여부를 판정하는 과정에 대해서만 설명하기로 하고, 히스토그램 카운트 기법에 기반한 전처리 결과를 이용하여 부품 미실장 여부를 판정하는 과정에 대해서는 공지된 기술로 대신한다.
이어, 단계 740에서, 상기 전처리된 이미지에서 직사각형 또는 원형의 리드 단자의 개수를 카운팅 하는 과정이 수행된다. 여기서, 단계 740은 단계 730에 통합될 수 있다. 즉, 단계 730의 전처리 과정은 전처리된 이미지 내의 직사각형 또는 원형의 리드 단자를 인식하고, 그 인식된 직사각형 또는 원형의 리드 단자의 개수를 카운팅하는 과정을 포함할 수 있다.
이어, 단계 750에서, 카운팅 된 직사각형 또는 원형의 리드 단자의 개수와 기준 개수를 비교하는 과정이 수행된다. 카운팅 된 직사각형 또는 원형의 리드 단자의 개수가 기준 개수를 초과하면, 단계 770에서 부품 미실장, 즉 불량으로 판정하고, 카운팅 된 직사각형 또는 원형의 리드 단자의 개수가 기준 개수 이하이면, 단계 770에서 부품 실장, 즉 양호로 판정하는 과정이 수행된다.
단계 770 또는 780의 판정 결과는 컴퓨팅 장치 내의 표시 장치를 통해 텍스트 형태의 시각적 데이터로 표시되거나 컴퓨팅 장치 내의 오디오 장치를 통해 음성 형태의 청각적 데이터로 출력될 수 있다.
한편, 760에서, 단계 730의 처리 과정에 따라 생성된 전처리 이미지는 그대로 컨벌루션 신경망(CNN)의 입력으로 사용되고, 컨벌루션 신경망 (CNN)은 컨벌루션 연산(합성곱 연산)을 수행하여 부품 미실장 여부를 나타내는 출력값을 출력한다. 이때, 이진 이미지의 모멘트가 CNN의 입력으로 더 사용될 수 있다.
도 8은 도 7의 단계 720에서 수행하는 전처리 기법을 선정하기 위한 세부 처리 과정을 나타내는 흐름도이다.
도 8을 참조하면, 우선, 단계 721에서, 단계 710에서 촬영된 검사 대상 PCB와 동일한 종류의 베어 보드를 촬영하여 부품 미실장 이미지를 획득하고, 상기 베어 보드에 단계 710에서 촬영된 검사 대상 부품과 동일한 종류의 샘플 부품이 실장된 완성 보드를 촬영하여 부품 실장 이미지를 획득하는 과정이 수행된다.
이어, 단계 722에서, 히스토그램 키운트 기법을 이용하여 부품 미실장 이미지에 대한 제1 히스토그램값과 부품 실장 이미지에 대한 제2 히스토그램값을 획득한 후, 상관 분석 기법을 이용하여 제1 히스토그램값과 제2 히스토그램값을 비교하여 상관 관계값을 계산하는 과정이 수행된다.
이어, 단계 723에서, 상기 계산된 상관 관계값과 사전에 설정한 기준값을 비교하는 과정이 수행된다. 상관 관계값이 기준값을 초과하면, 단계 724로 진행하고, 반대이면, 단계 725로 진행한다.
단계 724에서, 단계 723의 비교 과정을 통해 상관 관계값이 기준값을 초과하면, 히스토그램 카운트 기법이 전처리 기법으로 선정된다.
단계 725에서, 상관 관계값이 기준값 이하이면, 윤곽 검출 또는 원형 허프 변환 기법이 전처리 기법으로 선정된다.
윤곽 검출 및 원형 허프 변환 기법의 선정은 사용자가 베어 보드 상의 리드 단자의 형태를 시각적으로 확인한 후, 컴퓨팅 장치 내의 사용자 인터페이스를 통해 직접 선택할 수 있다.
도 9는 본 발명의 실시 예에 따른 부품 미실장 검출을 위한 컴퓨팅 장치의 블록도이다.
도 9를 참조하면, 부품 미실장 검출을 위한 컴퓨팅 장치(900)는 카메라(910), 프로세서(920), 사용자 인터페이스(930), 메모리/저장매체(940) 및 출력부(950)를 포함한다.
카메라(910)는 PCB 상의 부품 실장 위치를 촬영한다.
프로세서(920)는 카메라(910)에 의해 획득된 이미지에 대해 도 7의 각 단계를 처리하고, 각 단계에서 처리한 중간 데이터 및/또는 결과 데이터를 생성하고, 생성된 중간 데이터 및/또는 결과 데이터를 다른 단계로 전달한다. 중간 데이터 및/또는 결과 데이터는 메모리/저장매체(940)에 일시적 또는 영구적으로 저장될 수 있다. 프로세서(920)는 적어도 하나의 CPU, 적어도 하나의 GPU 또는 이들의 조합일 수 있다.
사용자 인터페이스(930)는 사용자로부터 입력된 사용자 입력값을 프로세서(920)에 전달하는 것으로, 윤곽 검줄 기법 또는 원형 허프 변환 기법을 선택하기 위한 사용자 입력값을 프로세서(920)에 전달하는 것일 수 있다. 사용자 인터페이스(930)는, 예를 들면, 키보드, 마우스, 터치 패널 등과 같은 키 입력 장치일 수 있다.
메모리/저장매체(940)는 프로세서(920)에 의해 호출되는 명령어, 알고리즘, 운영 체제등을 저장하는 것으로, 알고리즘은 히스토그램 카운트 기법과 관련된 알고리즘, 윤곽 검출과 관련된 알고리즘, 원형 호프 변환과 관련된 알고리즘, CNN 알고리즘 및 도 4 내지 8의 각 단계를 수행하는데 필요한 공지의 알고리즘 등을 포함한다.
출력부(950)는 프로세서(920)에 의해 판정된 부품 미실장 검출 결과를 시각적 및/또는 청각적 정보 형태로 출력하는 것으로, 표시 장치 및/또는 오디오 장치를 포함하는 것일 수 있다.
본 발명은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예 들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (8)

  1. 컴퓨팅 장치 내의 프로세서에 의해 수행되는 인쇄회로기판의 부품 미실장 검출 방법에서,
    검사 대상 기판에 실장되는 검사 대상 부품의 실장 위치를 촬영하여 대상 이미지를 획득하는 단계;
    상기 대상 이미지의 전처리를 수행하기 위해, 히스토그램 카운트 기법, 윤곽 검출 기법 및 원형 허프 변환 기법 중에서 어느 하나의 전처리 기법을 선정하는 단계;
    상기 선정된 전처리 기법에 따라, 상기 대상 이미지를 전처리 하는 단계;
    상기 대상 이미지의 전처리 결과를 기반으로 직사각형 또는 원형의 리드 단자의 개수를 카운팅 하는 단계; 및
    상기 카운팅된 직사각형 또는 원형의 리드 단자의 개수를 기반으로 상기 인쇄회로기판의 부품 실장 여부를 판정하는 단계
    를 포함하는 인쇄회로기판의 부품 미실장 검출 방법.
  2. 제1항에서,
    상기 전처리 기법을 선정하는 단계는,
    상기 검사 대상 기판과 동일한 종류의 샘플 베어 보드를 촬영하여 부품 미실장 이미지를 획득하고, 상기 베어 보드에 상기 검사 대상 부품과 동일한 종류의 샘플 부품이 실장된 완성 보드를 촬영하여 부품 실장 이미지를 획득하는 단계;
    히스토그램 키운트 기법을 이용하여 상기 부품 미실장 이미지에 대한 제1 히스토그램값과 상기 부품 실장 이미지에 대한 제2 히스토그램값을 획득하는 단계;
    상관 분석 기법을 이용하여 제1 히스토그램값과 제2 히스토그램값을 비교하여 상관 관계값을 계산하는 단계; 및
    상기 계산된 상관 관계값과 사전에 설정한 기준값을 비교한 비교 결과를 기반으로 상기 히스토그램 카운트 기법, 상기 윤곽 검출 기법 또는 상기 원형 허프 변환 기법을 선정하는 단계
    를 포함하는 인쇄회로기판의 부품 미실장 검출 방법.
  3. 제2항에서,
    상기 히스토그램 카운트 기법, 상기 윤곽 검출 기법 또는 상기 원형 허프 변환 기법을 선정하는 단계는,
    상기 상관 관계값이 기준값을 초과하면, 상기 히스토그램 카운트 기법을 상기 전처리 기법으로 선정하는 단계; 및
    상기 상관 관계값이 기준값 이하이면, 상기 윤곽 검출 기법 또는 원형 허프 변환 기법을 상기 전처리 기법으로 선정하는 단계
    를 포함하는 인쇄회로기판의 부품 미실장 검출 방법.
  4. 제1항에서,
    상기 대상 이미지를 전처리 하는 단계는,
    상기 대상 이미지를 그레이 이미지로 변환하는 단계;
    상기 그레이 이미지를 이진 이미지로 변환하는 단계;
    상기 이진 이미지의 모멘트를 계산한 후, 상기 계산된 모멘트를 기반으로 상기 직사각형의 리드 단자의 윤곽선을 검출하는 단계; 및
    상기 검출한 윤곽선들 중 특정 크기 이상의 상기 직사각형으로 이루어진 윤곽선들을 최종 검출된 리드 단자로 인식하는 단계
    를 포함하는 인쇄회로기판의 부품 미실장 검출 방법.
  5. 제1항에서,
    상기 대상 이미지를 전처리 하는 단계는,
    상기 대상 이미지를 그레이 이미지로 변환하는 단계;
    상기 그레이 이미지를 이진 이미지로 변환하는 단계;
    상기 이진 이미지의 모멘트를 계산하고, 계산된 모멘트와 상기 원형 허프 변환 기법에 따라 원형을 검출하는 단계; 및
    검출된 원형 중에서 일정 크기 이상의 원형을 최종 검출된 원형의 리드 단자로 인식하는 단계
    를 포함하는 인쇄회로기판의 부품 미실장 검출 방법.
  6. 제1항에서,
    상기 부품 실장 여부를 판정하는 단계는,
    상기 카운팅된 직사각형 또는 원형의 리드 단자의 개수를 기준 개수와 비교하는 단계;
    상기 카운팅된 직사각형 또는 원형의 리드 단자의 개수가 상기 기준 개수를 초과하면, 부품 미실장으로 판정하는 단계; 및
    상기 카운팅된 직사각형 또는 원형의 리드 단자의 개수가 상기 기준 개수를 이하이면, 부품 실장으로 판정하는 단계
    를 포함하는 인쇄회로기판의 부품 미실장 검출 방법.
  7. 제1항에서,
    상기 대상 이미지를 전처리 하는 단계에서 획득한 전처리 이미지를 컨벌루션 신경망으로 입력하는 단계; 및
    상기 컨벌루션 신경망이 컨벌루션 연산(합성곱 연산)을 수행하여 부품 미실장 여부를 판정하기 위한 출력값을 출력하는 단계를 더 포함하고,
    상기 전처리 이미지는
    상기 직사각형 또는 상기 원형의 리드 단자의 형상이 강조되도록 전처리된 이미지인 것인 인쇄회로기판의 부품 미실장 검출 방법.
  8. 인쇄회로기판의 부품 미실장 여부를 검출하기 위한 컴퓨팅 장치로서,
    검사 대상 기판에 실장되는 검사 대상 부품의 실장 위치를 촬영하여 대상 이미지를 획득하는 카메라;
    상기 대상 이미지의 전처리를 수행하기 위해, 히스토그램 카운트 기법, 윤곽 검출 기법 및 원형 허프 변환 기법 중에서 어느 하나의 전처리 기법을 선정하고, 상기 선정된 전처리 기법에 따라, 상기 대상 이미지를 전처리 하고, 상기 대상 이미지의 전처리 결과를 기반으로 직사각형 또는 원형의 리드 단자의 개수를 카운팅 하고, 상기 카운팅된 직사각형 또는 원형의 리드 단자의 개수를 기반으로 상기 인쇄회로기판의 부품 실장 여부를 판정하는 프로세서; 및
    상기 프로세서의 판정 결과를 시각적 또는 청각적 형태의 정보로 출력하는 출력부
    를 포함하는 컴퓨팅 장치.
KR1020200107436A 2020-08-25 2020-08-25 인쇄회로기판의 부품 미실장 검출 방법 및 그 장치 KR20220026439A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200107436A KR20220026439A (ko) 2020-08-25 2020-08-25 인쇄회로기판의 부품 미실장 검출 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200107436A KR20220026439A (ko) 2020-08-25 2020-08-25 인쇄회로기판의 부품 미실장 검출 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20220026439A true KR20220026439A (ko) 2022-03-04

Family

ID=80814093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200107436A KR20220026439A (ko) 2020-08-25 2020-08-25 인쇄회로기판의 부품 미실장 검출 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20220026439A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599785B1 (ko) * 2023-02-27 2023-11-08 (주)일주지앤에스 Ai비전 결함탐지 시스템 및 방법
CN117197073A (zh) * 2023-09-07 2023-12-08 石家庄铁道大学 基于机器视觉的矩形物体自动计数方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599785B1 (ko) * 2023-02-27 2023-11-08 (주)일주지앤에스 Ai비전 결함탐지 시스템 및 방법
CN117197073A (zh) * 2023-09-07 2023-12-08 石家庄铁道大学 基于机器视觉的矩形物体自动计数方法
CN117197073B (zh) * 2023-09-07 2024-03-05 石家庄铁道大学 基于机器视觉的矩形物体自动计数方法

Similar Documents

Publication Publication Date Title
Annaby et al. Improved normalized cross-correlation for defect detection in printed-circuit boards
US11189019B2 (en) Method for detecting defects, electronic device, and computer readable medium
CN111028213A (zh) 图像缺陷检测方法、装置、电子设备及存储介质
KR102611224B1 (ko) 전처리를 포함하는 선 결함 감지 시스템 및 방법
CN110930390B (zh) 基于半监督深度学习的芯片管脚缺失检测方法
WO2021195873A1 (zh) 识别sfr测试卡图像中感兴趣区域的方法及装置、介质
KR20220026439A (ko) 인쇄회로기판의 부품 미실장 검출 방법 및 그 장치
CN116703909B (zh) 一种电源适配器生产质量智能检测方法
CN114119489A (zh) 一种电连接器多余物及缩针倒针缺陷自动化检测方法
US10395090B2 (en) Symbol detection for desired image reconstruction
CN113469944A (zh) 一种产品质检方法、装置和电子设备
CN113506243A (zh) Pcb焊接缺陷检测方法、装置及存储介质
CN117871545A (zh) 一种电路板元器件缺陷检测方法、装置、终端及存储介质
CN116993654B (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品
CN114155179A (zh) 光源缺陷检测方法、装置、设备和存储介质
CN110310341B (zh) 颜色算法中默认参数的生成方法、装置、设备和存储介质
TWI748184B (zh) 瑕疵檢測方法、電子裝置及電腦可讀存儲介質
CN108805883B (zh) 一种图像分割方法、图像分割装置及电子设备
CN107527011B (zh) 一种非接触式皮肤电阻变化趋势检测方法、装置及设备
US20030185432A1 (en) Method and system for image registration based on hierarchical object modeling
CN110085529B (zh) 检测方法、检测设备和计算机可读存储介质
CN115115596A (zh) 电子元器件检测方法、装置及自动质检设备
KR101126759B1 (ko) 칩 마운터의 부품 정보 티칭방법
US10958899B2 (en) Evaluation of dynamic ranges of imaging devices
CN111598943A (zh) 基于书本辅助阅读设备的书本就位检测方法、装置及设备