KR19990003235A

KR19990003235A - 납땜시각 검사장치 및 방법

Info

Publication number: KR19990003235A
Application number: KR1019970027062A
Authority: KR
Inventors: 김상희
Original assignee: 이종수; 엘지산전 주식회사
Priority date: 1997-06-25
Filing date: 1997-06-25
Publication date: 1999-01-15
Also published as: KR100240956B1

Abstract

본 발명은 납땜시각 검사장치 및 방법에 관한 것으로, 서로다른 조사각도를 갖는 3단계의 링형 LED조명을 사용하고, 연속적으로 3장의 영상을 얻은 후, 그 영상으로부터 납땜 영역을 분할하고, 2차원 특징값인 평균밝기 값과 하이라이트의 비율을 추출함으로써 뉴럴네트웍에 기반하여 각 납땜은 이미 정의된 타입 중 하나로 분류할 수 있고, 1차 분류결과가 신뢰구간에서 벗어난 경우에는 납땜 영역의 3차원 표면각도를 복원한 후, 그 각도의 상대적 비율을 특징값으로 하여 베이즈 분류기를 이용하여 2차적으로 분류함으로써 시간적으로 우수하고, 검사결과의 신뢰성이 우수한 효과가 있다.

Description

납땜시각 검사장치 및 방법

본 발명은 납땜시각 검사장치 및 방법에 관한 것으로, 특히 서로다른 조사각도의 조명을 이용하여 3장의 영상을 구하고 이를 이용하여 2차원 및 3차원 특징값을 구하고 그 특징값을 뉴럴네트웍 및 베이즈분류하여 납땜의 양불량 상태를 판단 하도록 한 납땜시각 검사장치 및 방법에 관한 것이다.

표면장착 기술의 발전에 따라 자동화된 납땜검사 방법에 대한 요구는 날로 증가하고 있다. 영상정보를 이용한 여러 납땜 검사 시스템에 관한 연구는 조명방식과 분류기법의 두 가지 범주로 나누어 볼 수 있는데, 먼저 조명방식은 대부분 LED와 형광램프를 조명원으로 하는 구조화된 조명과, 칼라영상을 이용한 칼라 하이라이트 기법을 이용하고 있다. 분류기법에는 최소거리 분류기, 트리 분류기, 그리고 퍼지나 뉴럴네트웍을 이용하는 방법들이 있다.

이때 사용하는 특정값들은 평균그레이레벨, 표면면적, 색상의 표준편차, 곡률과 같은 2차원적 특징값과 표면의 높이와 방향, 볼록/오목과 같은 3차원 특징값을 사용한다. 이러한 특징값들을 사용하여 검사하는 납땜의 형태는 정상, 과다, 부족, 없음 등이 있다.

도1은 종래 납땜시각 검사장치의 블록 구성도로서, 이에 도시된 바와같이 검사부품을 놓기 위한 XY테이블(10)과; RGB 3색의 칼라형광조명이 환형으로 3개의 층으로 구성되어 제어신호에 따라 상기 XY테이블(10)에 놓인 부품을 3단계로 비추는 조명부(20)와; 제어신호에 따라 상기 조명부(20)의 온/오프를 제어하는 조명제어부(30)와; 상기 조명부(20)에 의해 비추어진 상기 XY테이블(10)에 놓인 부품을 촬영하는 카메라(40)와; 상기 카메라(40)의 출력신호를 영상신호로 처리하여 출력하는 영상취득부(50)와; 상기 영상취득부(50)의 출력신호을 입력받아 해당 부품의 납땜상태를 판단하는 등 상기 각부를 총괄 제어하는 호스트컴퓨터(60)로 구성된다.

이와같이 구성된 종래 장치의 동작을 첨부한 도2를 참조하여 설명하면 다음과 같다.

먼저, XY테이블(10)에 검사부품이 로딩되면 조명제어부(30)는 호스트컴퓨터(60)의 제어에 따라 조명부(20)의 조명을 온/오프하기 위한 제어신호를 출력한다.

이에따라 상기 조명부(20)는 3단의 RGB형광조명을 동시에 온하여 검사부품을 조사한다. 이때, 카메라(40)는 조사된 검사부품을 촬영한다.

영상취득부(50)는 상기 카메라의 출력신호를 처리하여 영상을 취득한 후, 해당 영상에서 RGB각각의 성분을 추출한다.

그리고 상기 추출된 각각의 성분에 대해서 미리 정해진 일정한 값 이상인 것만 선택하여 해당하는 영역을 구하여 호스트컴퓨터(60)에 전달 한다.

상기와 같이 구해진 영역은 RGB 각 성분에 따라 면적과 모양이 다르게 나타나는데, 호스트컴퓨터(60)는 이것을 특징값으로 하여 납땜 상태를 정상, 납부족 그리고 납과다 등로 분류한다.

이상에서 설명한 바와같이 종래의 장치는 3단조명을 동시에 온하여 영상을 획득하였기 때문에 그 획득한 영상에서 RGB 이외의 다른 칼라성분이 섞이게 되고, 이로인해 정확한 영역을 추출할 수 없고, 조명을 장시간 조사하게 되면 불균일한 조도를 나타내므로 검사영역에 대한 집중도가 떨어지며, 납땜 상태를 분류하는 과정에서 사용하는 특징값들이 2차원적인 것들을 사용하므로 정확한 납땜의 형태를 구분할 수 없는 문제점이 있었다.

본 발명의 목적은 이러한 종래의 문제점을 해결하기 위해 조사각도가 다른 다단의 LED 링형 조명을 사용하고, 납땜 상태를 분류하는 과정에서 2차원 특징값 및 3차원 특징값을 사용함으로써 정확한 검사를 할 수 있도록 한 납땜시각 검사장치 및 방법을 제공하는데 있다.

도 1은 종래 납땜시각 검사장치의 블록 구성도.

도 2는 도1에 있어서, 각 부 동작 흐름도.

도 3은 본 발명의 일 실시예시도.

도 4는 도3에 있어서, 검사헤드부의 단면도.

도 5는 검사할 납땜의 종류를 나타낸 도.

도 6은 SMD부품의 모양과 3단조명을 통해 얻은 영상을 나타낸 도.

도 7은 이진영상을 나타낸 도.

도 8은 각 단의 조명을 조사하여 취득한 영상을 나타낸 도.

도 9는 20도,45도,70도의 세각도를 갖는 반사함수를 나타낸 그래프.

도10은 본 발명의 납땜시각 검사동작 흐름도.

*****도면의 주요부분에 대한 부호의 설명*****

100 : 컨베이어부200 : 검사헤드부

300 : XY테이블400 : 제어부

500 : 영상취득부600 : 조명제어부

700 : 호스트컴퓨터800 : 입/출력제어부

900 : 검사기판210 : 카메라

220 : 조명부

상기 본 발명의 목적을 달성하기 위한 납땜시각 검사방법은 검사헤드부의 각단 조명을 연속적으로 구동시켜 여러장의 영상신호를 취득하는 제1단계와; 상기 단계에서 취득한 영상신호를 이진화하는 제2단계와; 상기 제2단계에서 변환한 이진화영상신호를 수직/수평투사하여 납땜영역을 분할하는 제3단계와; 상기 제3단계에서 분할한 각 영역의 2차원특징값을 추출하는 제4단계와; 상기 제4단계에서 추출한 2차원 특징값을 뉴럴네트웍을 이용한 분류를 하여 신뢰구간이 존재하는가를 판단하는 제5단계와; 상기 제5단계의 판단결과 신뢰구간이 존재하면 종료하고, 존재하지 않으면 형상을 복구하여 3차원특징값을 추출하는 제6단계와; 상기 제6단계에서 추출한 3차원 특징값을 베이즈분류하여 최대값을 출력하는 타입으로 정하는 제7단계로 이루어진 것을 특징으로 한다.

상기 본 발명의 목적을 달성하기 위한 납땜시각 검사장치는 검사기판이 컨베이어부에 로딩되면 그 검사기판에 조명을 비추어 촬영을 하는 검사헤드부와; 제어신호에 따라 상기 검사헤드부를 이동시켜주는 XY테이블과; 상기 검사헤드부의 출력신호를 입력받아 이를 처리하여 해당 영상을 취득하는 영상취득부와; 조명의 온/오프를 제어하기 위한 제어신호를 상기 검사헤드부에 인가하는 조명제어부와; 상기 영상취득부의 출력신호를 입력받아 납땜영역을 분할하고, 2차원 및 3차원 특징값을 추출하여 납땜상태를 판단하는 호스트컴퓨터로 구성한다.

이하, 본 발명의 작용 및 효과에 관하여 일 실시예를 들어 설명한다.

도3은 본 발명의 일 실시예시도로서, 이에 도시한 바와같이 검사기판(900)을 이송시키기 위한 컨베이어부(100)와; 상기 검사기판(900)에 조명을 비추어 촬영을 하는 검사헤드부(200)와; 상기 검사헤드부(200)를 이동시켜주는 XY테이블(300)과; 상기 XY테이블(300)을 제어하는 제어부(400)와; 상기 검사헤드부(200)의 출력신호를 입력받아 이를 처리하여 해당 영상을 취득하는 영상취득부(500)와; 조명의 온/오프를 제어하기 위한 제어신호를 상기 검사헤드부(200)에 인가하는 조명제어부(600)와; 상기 영상취득부(500)의 출력신호를 입력받아 납땜영역을 분할하고, 2차원 및 3차원 특징값을 추출하여 납땜상태를 판단하는 호스트컴퓨터(700)와; 상기 영상취득부(500)와 상기 호스트컴퓨터(700) 사이에 입/출력을 제어하는 입/출력제어부(800)로 구성한다.

상기 검사헤드부(200)는 도4에 도시한 바와같이 촬영을 위한 카메라(210)와; 여러단의 LED링형 조명으로 이루어진 조명부(220)로 구성한다.

상기 검사헤드부(200)는 고배율용과 저배율용의 2개의 헤드로 이루어 지고, 조명은 1단, 2단, 3단으로 구성되며, 각 단은 여러개의 LED를 일정 간격으로 배치하여 1단의 LED는 20도, 2단의 LED는 45도, 3단의 LED는 70의 각도를 가지도록 구부려서 구성한다.

이때, 상기 조명의 각 단은 개별적으로 제어가 가능하며 검사에 필요한 조명만을 선택하여 영상을 얻을 수 있다.

이와같이 구성한 본 발명의 일 실시예의 동작을 첨부한 도면을 참조하여 설명하면 다음과 같다.

먼저, 전체 동작을 개략적으로 살펴보면 검사기판(900)이 컨베이어부(100)에 로딩되면 검사헤드부(200)는 조명제어부(600)의 제어에따라 검사기판(900)에 조명을 비추고, 촬영을 한다.

영상취득부(500)는 상기 검사헤드부(200)에 의해 촬영된 영상신호를 처리하여 2진영상을 구하고, 이를 수평/수직방향으로 투사함으로서 납땜영역을 분할 한 후 그에따른 신호를 호스트컴퓨터(700)에 인가한다.

이에따라 상기 호스트컴퓨터(700)는 각 납땜 영역에 대해 평균 밝기값과 하이라이트 비율의 2차원 특징값들을 추출하고, 뉴럴 네트웍을 이용하여 4가지 분류타입 중 하나로 분류한다.

만약, 추출값이 신뢰구간내에 있지 않으면 혼성반사모델을 이용하여 납땜표면의 3차원 형상을 복구하여 이로부터 표면각도의 분포를 계산한 후, 3차원 특징값을 구하고, 이를 베이즈분류기에 기반한 분류방법으로 분류하여 최종적인 분류결과를 얻는다.

각 단계별 과정을 좀더 자세히 설명하면 다음과 같다.

먼저, 상기 검사할 납땜의 형태는 도5에 도시한 바와같이 정상, 과다, 부족, 없음의 4가지 타입으로 이루어 지는데, 납땜의 위치는 부품의 리드와 PCB기판 표면의 납땜패드부분 사이의 지점에 위치한다. 이때, 리드 끝부분으로부터 패드로 분포하는 납땜부위는 빗금으로 표시되어 있다.

도5의 (a)는 정상으로서 부품의 리드부분에서 기판의 패드부분까지 납이 오목하게 잘 덮혀있다.

도5의 (b)는 납땜이 안된 것인데, 금속성분으로된 패드부분이 그대로 드러나 있고, 다리가 패드부분에서 떠있는 상태가 된다.

도5의 (c)는 부족으로서 납이 리드와 부품에 묻어있기는 하지만 소량이기 때문에 차후에 충격이 가해질 경우 떨어질 우려가 있어 불량인 타입이다.

도5의 (d)는 필요이상으로 납이 많이 묻은 과다의 불량타입 이다.

다음으로 검사헤드부(200)에 의해 영상을 취득하는 과정을 설명한다.

상기 검사헤드부(200)는 조사각도를 달리하는 3단의 LED링형 조명(220)을 연속적으로 하나씩 조사시키면서 3장의 영상을 얻는다.

도6은 SMD부품의 모양과 3단조명으로 부터 얻은 영상을 나타내고 있는데, 납땜영역분할은 패드(A)와 리드(B) 사이의 어두운 부분만 납땜영역들을 구분하는 것이다.

이를 위해 먼저 3단조명으로부터 얻은 영상을 도7과 같이 이진화하고 납땜영역을 분할하기 위해서는 먼저, 이진 영상을 수직으로 투사하여 각 리드패드쌍을 구별하는데, 이는 도7의 x₁,x₂사이 부분이다.

이로부터 수평방향으로 투사하여 도8의 y₁,y₂사이의 실제 납땜 영역을 구분하여 실제 구해진 납땜 영역은 (x₁,y₁)-(x₂,y₂)의 사각형 영역이 된다.

그리고 납땜상태를 분류하는 단계에서 사용할 특징값은 2차원 특징값과 3차원 특징값을 함께 사용하는데, k번째 단의 조명을 조사하여 얻은 영상을 I_k라 할 때, 2차원 특징값으로는 I₁, I₃의 평균밝기값과 I₁,I₂의 납땜영역에서 매우 밝게 나타나는 하이라이트의 비율을 사용한다.

상기 2차원 특징값에 대하여 좀더 자세히 설명하면, 2차원 특징값은 I₁,I₃의 평균밝기값과 I₁,I₂의 하이라이트의 비율로 이루어져 있고, 아래 식(1)과 같이 표현된다.

= (X₁,X₂,X₃,X₄)-------------------------------(1)

단, X₁=I₁(x,y), X₂=I₃(x,y)

X₃=u₁(x,y)×100, X₄=u₂(x,y)×100

: 2차원특징벡터, I_i(x,y) : i번째 단의 영상, N : 납땜 영역의 면적

u_i(x,y) = 1 if I_i(x,y)T

0 otherwise

이와 같이 각 단의 조명을 사용하여 취득한 영상을 도8에 나타내었다. (31)은 1단에서 얻은 영상이고, (32)는 2단, (33)은 3단에서 얻은 영상이다.

I₁의 평균 그레이 레벨값 X₁은 정상과 과다에서 밝게 나타나는 반면 납땜 부족이나 납땜없음은 상대적으로 높다.

정상과 과다의 경우 리드에 가까운 부분은 1단에서 비치는 것이 가장 밝고, 3단에서 비치는 부분은 가장 어둡다.

I₁의 하이라이트 비율 X3은 정상과 과다에서, I₂의 하이라이트 비율 X₄는 정상과 과다 그리고 부족의 세 경우에 비교적 크게 나타나는데, 정량적인 수치는 서로 다르다.

이와같이 3단의 뉴럴네트웍은 입력층은 모든 2차원 특징값을 입력받도록 4개의 노드로 구성되어 있고, 출력층은 4개의 분류타입에 따라 출력결과를 내기 위하여 4개의 노드로 되어 있으며 , 은닉층은 5개의 노드를 갖는다.

대부분의 경우 2차원 특징값은 네 가지타입으로 분류하는데, 충분한 정보를 가지고 있음을 볼 수 있다.

그리고 2차원 특징값을 사용하여 분류한 결과가 신뢰구간에 존재하지 않으면 즉, 만약, 출력값의 최대치가 0.7보다 작으면 이는 신뢰구간에 존재하지 않는 것으로 간주하여 3차원 특징값을 추출하여 베이즈 분류기를 사용하여 2차적으로 재분류한다.

이때, 상기 3차원 특징값은 표면각도의 상대적 비율을 사용한다.

상기 3차원 특징값에 대해 좀더 자세히 설명하면, 먼저, 혼성반사모델을 이용하여 납땜의 표면각도를 복구한다.

상기 납땜의 표면은 전반사와 난반사의 반사특성을 모두 가지고 있기 때문에 물체의 반사성분을 전반사와 난반사 성분의 선형조합으로 표현하는 혼성반사모델이 표면각도를 복구하는데, 사용된다.

혼성반사모델은 4개의 인자들을 갖는데, 조명벡터 i, 표면법선벡터n, 시선벡터v, 조명과 물체 사이의 거리r을 이용하여 아래 식(2)으로 표현된다.

Lr() = PdLd() + PsLs()----(2)

여기서 Lr은 점광원에 대한 반사도이고, Pd,Ps는 가중치이다.

난반사 성분 Ld와 전반사성분 Ls는 아래와 같이 표현된다.

Ld = ^T

Ls = ^T

= cos^-1( ^T ),

여기서 k와 I₀는 표면거침도와 조명원의 반사도를 나타낸다. a는 max[0,a]를 나타낸다.

도9는 20도, 45도, 70도의 세 각도를 갖는 반사함수의 예를 보인 그래프로서, 이 반사율(reflectance)그래프는 각 조명각도에 대한 천정각의 함수로서 그 밝기값을 나타낸다.

영상내 각 지점의 표면각도를 계산하기 위하여 3개의 밝기값과 반사도가 사용된다. 이 반사도를 이용하여 하나의 밝기값에 대하여 후보각도들을 추출할 때 최대 4개의 값이 추출된다.

각 단의 후보값들을 모두 비교하여 최소의 오차를 갖는 최상의 조합이 표면각도의 추정치가 되고, 표면각도로부터 다음과 같은 3차원 특징값이 추출된다.

: 3차원 특징벡터,: 표면각도

이와같이 3차원 특징값이 추출되면 이를 이용하여 납땜상태를 판단하는 결정함수는 아래 식(3)으로 표현된다.

^-1 )------------------------(3)

d_i: i번째 타입에 대한 결정함수값

: 입력벡터,: 평균벡터,: 5×5 covariance matrix

여기서 3차원 특징값인를 입력으로 했을 때, 4개의 출력값을 얻는다. 분류결과는 이중 최대값을 출력하는 타입으로 정하게 된다.

이상에서 상세히 설명한 바와같이 본 발명은 서로다른 조사각도를 갖는 3단계의 링형 LED조명을 사용하고, 연속적으로 3장의 영상을 얻은 후, 그 영상으로부터 납땜 영역을 분할하고, 2차원 특징값인 평균밝기 값과 하이라이트의 비율을 추출함으로써 뉴럴네트웍에 기반하여 각 납땜은 이미 정의된 타입 중 하나로 분류할 수 있고, 1차 분류결과가 신뢰구간에서 벗어난 경우에는 납땜 영역의 3차원 표면각도를 복원한 후, 그 각도의 상대적 비율을 특징값으로 하여 베이즈 분류기를 이용하여 2차적으로 분류함으로써 시간적으로 우수하고, 검사결과의 신뢰성이 우수한 효과가 있다.

Claims

검사헤드부의 각단 조명을 연속적으로 구동시켜 여러장의 영상신호를 취득하는 제1단계와; 상기 단계에서 취득한 영상신호를 이진화하는 제2단계와; 상기 제2단계에서 변환한 이진화영상신호를 수직/수평투사하여 납땜영역을 분할하는 제3단계와; 상기 제3단계에서 분할한 각 영역의 2차원특징값을 추출하는 제4단계와; 상기 제4단계에서 추출한 2차원 특징값을 뉴럴네트웍을 이용한 분류를 하여 신뢰구간이 존재하는가를 판단하는 제5단계와; 상기 제5단계의 판단결과 신뢰구간이 존재하면 종료하고, 존재하지 않으면 형상을 복구하여 3차원특징값을 추출하는 제6단계와; 상기 제6단계에서 추출한 3차원 특징값을 베이즈분류하여 최대값을 출력하는 타입으로 정하는 제7단계로 이루어진 것을 특징으로 하는 납땜시각 검사방법.
제1항에 있어서, 2차원 특징값은 k번째 단의 조명을 조사하여 얻은 영상을 I_k라 할 때, I₁, I₃의 평균밝기값과 I₁,I₂의 납땜영역에서 매우 밝게 나타나는 하이라이트의 비율을 사용하는 것을 특징으로 하는 납땜시각 검사방법.
제1항에 있어서, 2차원 특징값의 출력의 최대치가 0.7보다 작으면 신뢰구간이 존재하지 않는 것으로 간주하는 것을 특징으로 하는 납땜시각 검사방법.
제1항에 있어서, 3차원 특징값은 아래 식으로 추출하는 것을 특징으로하는 납땜시각 검사방법.

: 3차원 특징벡터,: 표면각도
제1항에 있어서, 베이즈분류의 결정함수는 아래 식으로 표현되는 것을 특징으로 하는 납땜시각 검사방법.

^-1 )

d_i: i번째 타입에 대한 결정함수값

: 입력벡터,: 평균벡터,: 5×5 covariance matrix
검사기판이 컨베이어부에 로딩되면 그 검사기판에 조명을 비추어 촬영을 하는 검사헤드부와; 제어신호에 따라 상기 검사헤드부를 이동시켜주는 XY테이블과; 상기 검사헤드부의 출력신호를 입력받아 이를 처리하여 해당 영상을 취득하는 영상취득부와; 조명의 온/오프를 제어하기 위한 제어신호를 상기 검사헤드부에 인가하는 조명제어부와; 상기 영상취득부의 출력신호를 입력받아 납땜영역을 분할하고, 2차원 및 3차원 특징값을 추출하여 납땜상태를 판단하는 호스트컴퓨터로 구성한 것을 특징으로 하는 납땜시각 검사장치.
제6항에 있어서, 상기 검사헤드부는 다수개의 단으로 이루어지고, 상기 조명제어부에 의해 개별적으로 구동가능한 조명부와; 상기 조명부에 의해 비추어진 검사기판을 촬영하기 위한 카메라로 이루어진 것을 특징으로 하는 납땜시각 검사장치.
제7항에 있어서, 상기 조명부의 각 단은 서로다른 조사각도를 갖는 것을 특징으로 하는 납땜시각 검사장치.