KR20150085386A

KR20150085386A - 부품 패턴 인식 방법

Info

Publication number: KR20150085386A
Application number: KR1020140005208A
Authority: KR
Inventors: 유연걸; 박주형; 백영민
Original assignee: 한화테크윈 주식회사
Priority date: 2014-01-15
Filing date: 2014-01-15
Publication date: 2015-07-23
Also published as: KR101912791B1

Abstract

본 발명은 부품 실장 시스템 및 그의 부품 패턴 인식 방법을 개시한다.
본 발명의 부품 패턴 인식 방법은, 기준 영상으로부터 에지를 추출하여 기준 에지 영상을 생성하는 단계; 상기 기준 에지 영상에 가중치를 적용한 가중 에지 맵을 생성하는 단계; 노즐에 흡착된 전자부품의 입력 영상으로부터 에지를 추출하여 검사 에지 영상을 생성하는 단계; 상기 검사 에지 영상으로부터 에지를 기준으로 하는 거리 분포 맵을 생성하는 단계; 및 상기 가중 에지 맵과 상기 거리 분포 맵의 매칭 여부를 판단하는 단계;를 포함할 수 있다.

Description

부품 패턴 인식 방법{Method for recognizing pattern of components}

본 발명은 부품 실장 시스템 및 그의 부품 패턴 인식 방법에 관한 것이다.

최근 들어 고성능의 초소형 전자부품의 제조 기술의 중요성은 더욱 증가하고 있다.

전자부품들을 인쇄회로기판에 장착하기 위해서는 부품 실장 장치를 사용한다. 부품 실장 장치는 트레이 피이더 또는 테이프 피이더와 같은 부품 공급부를 통해서 공급되는 전자부품을 진공 흡착하여 인쇄회로기판의 소정 위치에 장착하게 된다. 이때 헤드 모듈은 전자부품을 흡착한 흡착 노즐에서의 부품의 자세에 대한 정보를 얻기 위하여 부품을 카메라로 가져가고, 카메라는 부품이 부품 흡착부에 흡착되어 있는 상태를 센싱함으로써 부품의 자세에 대한 정보를 획득할 수 있다. 부품 흡착부는 이미지 정보에 따라서 흡착된 부품의 자세를 교정하게 되며, 이후에 인쇄회로기판에 부품을 장착하게 된다.

일본공개특허 JP 2001-043366

본 발명은 실장할 전자부품의 인식 불량을 최소화할 수 있는 부품 실장 시스템 및 그의 부품 패턴 인식 방법을 제공하고자 한다.

본 발명의 실시예에 따른 부품 패턴 인식 방법은, 기준 영상으로부터 에지를 추출하여 기준 에지 영상을 생성하는 단계; 상기 기준 에지 영상에 가중치를 적용한 가중 에지 맵을 생성하는 단계; 노즐에 흡착된 전자부품의 입력 영상으로부터 에지를 추출하여 검사 에지 영상을 생성하는 단계; 상기 검사 에지 영상으로부터 에지를 기준으로 하는 거리 분포 맵을 생성하는 단계; 및 상기 가중 에지 맵과 상기 거리 분포 맵의 매칭 여부를 판단하는 단계;를 포함할 수 있다.

상기 가중 에지 맵 생성 단계는, 상기 기준 에지 영상에서 크기 편차가 큰 취약 에지에 낮은 가중치를 설정하고 크기 편차가 작은 강한 에지에 높은 가중치를 설정하는 단계;를 포함할 수 있다.

상기 가중 에지 맵 생성 단계는, 기 정해진 기준에 따라 자동으로 또는 사용자의 선택에 따라 상기 기준 에지 영상의 에지에 상이한 가중치를 설정하는 단계;를 포함할 수 있다.

상기 거리 분포 맵 생성 단계는, 하우스도르프 거리를 기반으로 상기 거리 분포 맵을 생성하는 단계;를 포함할 수 있다.

상기 매칭 판단 단계는, 상기 매칭 판단 단계는, 하기 식1을 만족할 때 상기 가중 에지 맵과 상기 거리 분포 맵을 매칭으로 판단하고, 상기 식1은,

이고, 여기서, MAP_edge_weight(x, y)는 상기 가중 에지 맵의 각 좌표의 에지 가중치이고, MAP_HDD((x,y);(Tx,Ty,θ))는 상기 가중 에지 맵의 각 좌표를 X축 및 Y축으로의 이격 거리와 회전 각도로 오프셋한 위치에 대응하는 거리 분포 맵의 값을 나타낼 수 있다.

상기 방법은, 상기 식1에 의해 매칭으로 판단될 때의 오프셋 값인 Tx,Ty,θ를 기초로 상기 흡착된 전자부품의 위치를 보정하는 단계;를 더 포함할 수 있다.

본 발명의 일 측면에 따른 부품 실장 시스템은 전자부품의 흡착 위치를 보정하기 위한 기준데이터에 가중치를 다르게 설정함으로써, 전자부품의 인식 불량을 최소화할 수 있다.

도 1은 본 발명의 실시예에 따른 부품 실장 시스템을 개략적으로 나타낸 블록도이다.
도 2는 도 1의 제어부를 개략적으로 나타낸 블록도이다.
도 3은 도 1의 제어부에 의한 전자부품 패턴 매칭 방법을 개략적으로 설명하는 흐름도이다.
도 4는 도 3의 패턴 매칭 방법에 따라 생성되는 영상의 예시도이다.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다.

도 1은 본 발명의 실시예에 따른 부품 실장 시스템을 개략적으로 나타낸 블록도이다. 도 2는 도 1의 제어부를 개략적으로 나타낸 블록도이다.

도 1을 참조하면, 본 실시예에 따른 부품 실장 시스템은 부품 실장기(110), 부품 인식부(130), 제어부(150), 디스플레이부(170) 및 입력부(190)를 포함할 수 있다.

부품 실장기(110)는 개별 단위로 제조가 완료된 집적 회로, 다이오드, 콘덴서, 저항 등과 같은 대량의 전자부품을 공급받고, 전자부품을 인쇄회로기판의 실장위치까지 이송시킨 다음 인쇄회로기판에 실장하는 장비이다.

부품 실장기(110)는 베드와, 인쇄회로기판을 소정 위치로 안내하는 동시에 기판 지지 스테이지로서 기능하는 X, Y축 이송 장치와, 인쇄회로기판에 실장될 각종 전자부품을 지지하는 부품 공급장치와, 부품 공급장치에 지지되어 있는 전자부품을 인쇄회로기판에 실장시키기 위해 수직이동을 하여 부품을 흡착(픽업; pick-up) 또는 착탈하는 노즐을 포함하는 헤드 모듈 등을 구비할 수 있다.

부품 인식부(130)는 헤드 모듈에 흡착된 전자부품의 위치를 검사, 보정하기 위하여 전자 부품의 하면을 촬영하는 카메라 및 조명부를 포함할 수 있다.

부품 실장기(110)가 전자부품이 흡착된 노즐을 카메라 상측의 설정 위치로 이동시키면, 부품 인식부(130)의 카메라가 노즐에 흡착된 전자부품의 하면을 촬영한다. 카메라는 라인 스캔 카메라(line scan camera)이거나 영역 카메라(area camera)일 수 있다.

제어부(150)는 실장되는 전자부품의 정확한 위치 및 장착되는 전자부품의 형태가 정상적인가를 판단하기 위하여, 카메라를 이용하여 전자부품이 장착되는 위치 및 형태를 감지하여 그에 따라 전자부품의 위치를 보정하거나 전자부품의 정상 여부를 판단할 수 있다. 제어부(150)는 카메라가 촬영한 전자부품의 영상데이터와 미리 설정된 기준데이터를 비교하여 전자부품이 정확한 위치에 흡착되었는지 여부를 판단하여 전자부품이 정확한 위치에 흡착되지 않은 경우에는 이를 보정하도록 부품 실장기(110)의 동작을 제어할 수 있다. 제어부(150)는 인쇄회로기판 상의 장착위치를 파악하여, 헤드 모듈을 인쇄회로기판 상으로 이동시켜서 전자부품을 실장하도록 부품 실장기(110)의 동작을 제어할 수 있다.

그리고, 제어부(150)는 전자부품을 촬영한 영상을 분석하여, 전자부품을 양품과 불량품으로 선별하고, 불량 전자부품을 수거하도록 할 수 있다.

한편, 제어부(150)는 부품 실장기(110)를 구성하는 장치들에 대해 제어를 수행할 수 있다.

제어부(150)는 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 제어부(150)는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 제어부(150)의 기능은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.

디스플레이부(170)는 카메라가 촬영한 영상을 디스플레이할 수 있다. 디스플레이부(170)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다.

입력부(190)는 사용자의 입력에 따라 선택된 기능을 제어부(150)로 전송할 수 있다. 입력부(190)는 키버튼 방식이나 터치스크린방식 등이 이용될 수 있다. 터치스크린 방식으로 이용될 때는 디스플레이부(170)에 그 방식이 사용될 수 있으며, 디스플레이부(170)의 일부 영역은 영상이 표시되고, 일부 영역에는 특정 기능 선택의 입력을 위한 그래픽 사용자 인터페이스(GUI)가 표시될 수 있다.

도 2를 참조하면, 제어부(150)는 제1영상변환부(152), 제2영상변환부(154) 및 매칭판단부(156)를 포함할 수 있다.

제1영상변환부(152)는 기준 전자부품에 대한 기준 영상으로부터 기준 에지 영상을 생성할 수 있다. 기준 영상으로부터 에지를 추출하는 방법은 본 실시예에서 특별히 한정하지 않고, 공지의 다양한 방법이 사용될 수 있다. 기준 에지 영상의 에지는 크기 편차가 큰 취약 에지(Weak Edge)와 크기 편차가 작은 강한 에지(Strong Edge)를 포함할 수 있다.

제1영상변환부(152)는 기준 에지 영상의 에지에 가중치를 적용한 가중 에지 맵을 생성할 수 있다. 제1영상변환부(152)는 크기 편차가 큰 에지일수록 낮은 가중치가 설정되고, 크기 편차가 작은 에지일수록 높은 가중치가 설정될 수 있다.

예를 들어, 칩의 본체는 생산시 고정된 크기를 갖는 반면, 칩 리드(chip lead)는 길이 및/또는 폭이 생산 공정에서 편차를 가질 수 있다. 이에 따라 칩의 입력 영상을 기준 영상과 불일치하다고 판단하는 칩 인식 오류가 발생할 수 있다. 본 실시예에서는 고정된 크기를 갖는 에지는 강한 에지로 설정하고 강한 에지에 높은 가중치를 설정하는 반면, 편차가 큰 에지는 취약 에지로 설정하고 취약 에지에 낮은 가중치를 설정할 수 있다. 이에 따라, 취약 에지의 크기 불일치에 의한 인식 불량을 방지할 수 있다.

제1영상변환부(152)는 리드의 길이 및 폭과 같은 크기, 영상의 그래디언트(gradient) 등에 따라 에지 추출시 자동으로 높은 가중치 또는 낮은 가중치를 적용할 수 있다. 또는 제1영상변환부(152)는 사용자가 전자부품(패턴)의 편차를 고려하여 특정 에지에 높은 가중치 또는 낮은 가중치를 적용할 수 있다.

제2영상변환부(154)는 노즐에 흡착된 전자부품을 촬영한 입력 영상으로부터 검사 에지 영상을 생성할 수 있다. 입력 영상으로부터 에지를 추출하는 방법은 본 실시예에서 특별히 한정하지 않고, 공지의 다양한 방법이 사용될 수 있다.

제2영상변환부(154)는 검사 에지 영상으로부터 에지를 기준으로 하는 거리 분포 맵을 생성할 수 있다. 제2영상변환부(154)는 거리 분포 맵으로서, 하우스도르프 거리(HausDorff Distance)를 기반으로, 에지가 0의 값을 갖고 에지로부터 멀어질수록 큰 값을 갖는 하우스도르프 거리 맵을 생성할 수 있다.

매칭판단부(156)는 흡착된 전자부품의 영상데이터와 기준데이터 간의 매칭 여부를 판단할 수 있다. 매칭판단부(156)는 가중 에지 맵과 거리 분포 맵을 비교하여 매칭 여부를 판단할 수 있다. 매칭판단부(156)는 가중 에지 맵의 위치를 오프셋하고, 오프셋된 가중 에지 맵의 위치에 대응하는 거리 분포 맵의 값을 반전할 수 있다. 그리고, 매칭판단부(156)는 거리 분포 맵의 반전 값과 가중 에지 맵의 가중치를 곱한 값의 합이 최대일 때 가중 에지 맵과 거리 분포 맵을 매칭으로 판단할 수 있다.

매칭판단부(156)는 매칭으로 판단될 때의 가중 에지 맵의 오프셋 값으로부터 전자부품의 X축 및 Y축에 대한 위치와 회전된 각도(θ)를 산출할 수 있다.

제어부(150)는 산출된 X축 및 Y축에 대한 위치와 회전된 각도(θ), 즉 보정 파라미터를 이용하여 실장할 전자부품의 흡착 위치를 보정할 수 있다.

도 3은 도 1의 제어부에 의한 전자부품 패턴 매칭 방법을 개략적으로 설명하는 흐름도이다. 도 4는 도 3의 패턴 매칭 방법에 따라 생성되는 영상의 예시도이다.

도 3을 참조하면, 본 실시예에 따른 부품 실장 시스템의 제어부는 기준 영상 변환(S31) 및 입력 영상 변환(S41)을 수행할 수 있다.

제어부는 기준 영상으로부터 에지를 추출하여 기준 에지 영상을 생성할 수 있다(S33). 기준 영상으로부터 에지를 추출하는 방법은 본 실시예에서 특별히 한정하지 않고, 공지의 다양한 방법이 사용될 수 있다.

도 4(a)는 전자부품의 기준 영상의 예시도이고, 도 4(b)는 기준 영상으로부터 생성된 기준 에지 영상의 예시도이다. 기준 에지 영상의 에지는 크기 편차가 큰 취약 에지(Weak Edge)와 크기 편차가 작은 강한 에지(Strong Edge)를 포함할 수 있다.

제어부는 기준 에지 영상의 에지에 상이한 가중치를 적용한 가중 에지 맵을 생성할 수 있다(S35). 제어부는 기준 에지 영상의 취약 에지에 낮은 가중치를 설정하고 강한 에지에 높은 가중치를 설정할 수 있다. 가중치는 1에서 9 사이의 값을 가질 수 있다. 에지 위치마다 가중치를 달리 설정함으로써, 제조상 크기 편차가 큰 영역에서의 매칭 불일치로 판단하는 인식 불량을 방지할 수 있다.

제어부는 리드의 길이 및/또는 폭과 같은 크기 외에 입력 영상의 그래디언트(gradient)에 따라 에지 추출시 자동으로 높은 가중치 또는 낮은 가중치를 적용할 수 있다. 그러나, 본 발명의 실시예에는 전술된 가중치 기준 외에 전자부품의 종류 및 설계에 따라 다양한 가중치 기준을 적용할 수 있다.

한편, 제어부는 사용자가 개별적으로 지정한 가중치에 따라 특정 에지에 높은 가중치 또는 낮은 가중치를 적용할 수 있다.

도 4(c)는 에지에 상이한 가중치가 적용된 가중 에지 맵의 예시도이다. 도 4(c)의 예에서는 취약 에지에 1의 가중치가 설정되고, 강한 에지에 9의 가중치가 설정되고, 그 외 에지에 중간값인 5의 가중치가 설정되어 있다.

한편, 제어부는 노즐에 흡착된 전자부품의 입력 영상으로부터 에지를 추출하여 검사 에지 영상을 생성할 수 있다(S43). 입력 영상으로부터 에지를 추출하는 방법은 본 실시예에서 특별히 한정하지 않고, 공지의 다양한 방법이 사용될 수 있다.

제어부는 검사 에지 영상으로부터 에지를 기준으로 하는 거리 분포 맵을 생성할 수 있다(S45). 제어부는 거리 분포 맵으로서 하우스도르프 거리를 기반으로 하는 하우스도르프 거리 맵을 생성할 수 있다. 하우스도르프 거리 맵의 각 픽셀은 0에서 255의 값을 가질 수 있으며, 에지는 0의 값을 갖고, 에지로부터 멀어질수록 높은 값을 가질 수 있다.

도 4(d)는 노즐에 의해 공급되는 전자부품의 입력 영상의 예시도이고, 도 4(e)는 입력 영상으로부터 생성된 검사 에지 영상의 예시도이다. 검사 에지 영상은 영상의 중심으로부터 X방향, Y방향으로 소정 거리 이격되고 회전되어 있다. 본 실시예에서는 전자부품의 이격 거리 및 회전 각도를 보정하기 위해 입력 영상과 기준 영상의 매칭을 수행할 수 있다.

제어부는 가중 에지 맵과 거리 분포 맵을 비교하여 매칭 여부를 판단할 수 있다(S51).

매칭 여부는 기준 영상의 가중 에지 맵과 입력 영상의 거리 분포 맵 간의 비교에 의해 수행될 수 있다. 도 4(f)는 거리 분포 맵으로서 하우스도르프 거리 맵의 예시도이다. 이하에서는 하우스도르프 거리 맵을 예로 설명하겠다.

제어부는 하기 식 (1)과 같이 도 4(c)의 가중 에지 맵(MAP_edge_weight)과 도 4(f)의 하우스도르프 거리 맵(MAP_HDD)의 곱의 합이 최대일 때, 가중 에지 맵과 하우스도르프 거리 맵이 매칭이라고 판단할 수 있다.

식 (1)에서 Tx, Ty, θ는 기준 에지 영상의 오프셋 값으로, 영상의 중심으로부터 각각 X방향 및 Y방향으로의 이격 거리와 회전 각도이다. 식 (2)는 임의의 위치 좌표(x, y)의 오프셋을 나타내는 식을 나타낸다.

MAP_edge_weight(x, y)는 상기 가중 에지 맵의 각 좌표의 에지 가중치이고, MAP_HDD((x,y);(Tx,Ty,θ))는 상기 가중 에지 맵의 각 좌표를 X축 및 Y축으로의 이격 거리와 회전 각도로 오프셋한 위치에 대응하는 거리 분포 맵의 값을 나타낸다.

...(1)

...(2)

식 (1)을 참조하면, 제어부는 하우스도르프 거리 맵(MAP_HDD)에서, 기준 에지 영상의 이격 거리와 회전 각도를 가변하며 오프셋하면서 각각의 위치에 대응하는 하우스도르프 값(MAP_HDD((x,y);(Tx,Ty,θ))을 찾고, 하우스도르프 값을 255로부터 차감함으로써, 하우스도르프 거리 맵(MAP_HDD)을 반전하고, 여기에 가중 에지 맵(MAP_edge_weight)을 곱한 후 합산한 값이 최대일 때를 매칭으로 판단할 수 있다.

매칭으로 판단될 때의 오프셋 값(Tx, Ty, θ)은 전자부품이 흡착시 기준 위치로부터 오프셋된 값에 대응할 수 있다. 제어부는 매칭시의 오프셋 값(Tx, Ty, θ)을 보정 파라미터 값으로 하여 부품 실장기(110)가 흡착 위치를 보정하도록 할 수 있다.

본 발명에 따른 부품 패턴 인식 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명의 일 측면들은 첨부된 도면에 도시된 실시예들을 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

10: 부품 실장 시스템
110: 부품 실장기
130: 부품 인식부
150: 제어부
170: 디스플레이 장치
190: 입력부

Claims

기준 영상으로부터 에지를 추출하여 기준 에지 영상을 생성하는 단계;
상기 기준 에지 영상에 가중치를 적용한 가중 에지 맵을 생성하는 단계;
노즐에 흡착된 전자부품의 입력 영상으로부터 에지를 추출하여 검사 에지 영상을 생성하는 단계;
상기 검사 에지 영상으로부터 에지를 기준으로 하는 거리 분포 맵을 생성하는 단계; 및
상기 가중 에지 맵과 상기 거리 분포 맵의 매칭 여부를 판단하는 단계;를 포함하는, 부품 패턴 인식 방법.
제1항에 있어서, 상기 가중 에지 맵 생성 단계는,
상기 기준 에지 영상에서 크기 편차가 큰 취약 에지에 낮은 가중치를 설정하고 크기 편차가 작은 강한 에지에 높은 가중치를 설정하는 단계;를 포함하는, 부품 패턴 인식 방법.
제1항에 있어서, 상기 가중 에지 맵 생성 단계는,
기 정해진 기준에 따라 자동으로 또는 사용자의 선택에 따라 상기 기준 에지 영상의 에지에 상이한 가중치를 설정하는 단계;를 포함하는, 부품 패턴 인식 방법.
제1항에 있어서, 상기 거리 분포 맵 생성 단계는,
하우스도르프 거리를 기반으로 상기 거리 분포 맵을 생성하는 단계;를 포함하는, 부품 패턴 인식 방법.
제1항에 있어서, 상기 매칭 판단 단계는,
하기 식1을 만족할 때 상기 가중 에지 맵과 상기 거리 분포 맵을 매칭으로 판단하고, 상기 식1은,

이고,
여기서, MAP_edge_weight(x, y)는 상기 가중 에지 맵의 각 좌표의 에지 가중치이고, MAP_HDD((x,y);(Tx,Ty,θ))는 상기 가중 에지 맵의 각 좌표를 X축 및 Y축으로의 이격 거리와 회전 각도로 오프셋한 위치에 대응하는 거리 분포 맵의 값을 나타내는, 부품 패턴 인식 방법.
제5항에 있어서,
상기 식1에 의해 매칭으로 판단될 때의 오프셋 값인 Tx,Ty,θ를 기초로 상기 흡착된 전자부품의 위치를 보정하는 단계;를 더 포함하는, 부품 패턴 인식 방법.