KR20210071806A - 컨포멀 코팅된 pcb에서 기포를 검출하는 방법 및 장치와 이를 위한 컴퓨터로 판독 가능한 기록매체 - Google Patents

Abstract

본 발명은 컨포멀 코팅된 기판(PCB)에서 기포를 검출하는 방법을 개시한다. 본 발명에 따른 기포 검출 방법은, 기판을 촬영하여 검사영역 영상을 획득하는 단계; 검사영역 영상으로부터 그레이(Gray) 영상과 블루(Blue) 채널 영상을 생성하는 단계; 그레이 영상과 블루 채널 영상을 각각 이진화 하고, 그레이 영상의 이진화 영상으로부터 기포의 밝은 띠에 대응하는 제1 예비 후보영역을 추출하는 한편 블루 채널 영상의 이진화 영상으로부터 기포의 음영에 대응하는 제2 예비 후보영역을 추출하는 단계; 제1 예비 후보영역과 제2 예비 후보영역에서 설정 조건을 만족하는 영역을 최종 후보영역으로 추출하는 단계; 최종 후보영역의 영상을 딥러닝 영상 분석 모델에 입력하여 기포인지 여부를 판단하는 단계를 포함한다.
본 발명에 따르면, PCB 영상으로부터 최종 후보영역을 자동으로 추출하고 인공지능 분류기를 이용하여 최종 후보영역을 분석함으로써 기포의 존재 여부를 매우 신속하고 정확하게 판단할 수 있다. 또한 본 발명에 따르면 종래의 육안 검사에 비해 검사 시간과 인력을 절감할 수 있을 뿐만 아니라 검사의 정확도를 크게 향상시킬 수 있다.

Description

컨포멀 코팅된 PCB에서 기포를 검출하는 방법 및 장치와 이를 위한 컴퓨터로 판독 가능한 기록매체{Method and apparatus for bubble detection in conformal coated PCB and computer readable recording medium thereof}

본 발명은 인쇄회로기판(PCB)의 컨포멀 코팅영역에서 기포를 검출하는 방법에 관한 것으로서, 구체적으로는 이미지 전처리를 통해 최종 후보영역을 추출하고 인공지능 분류기를 이용하여 기포 여부를 최종적으로 판단하는 기포 검출 방법과 장치에 관한 것이다.

일반적으로 컴퓨터, 전자기기, 가전기기, 산업용 기기, 휴대용 전자기기, 로봇, 차량 등에 사용되는 전자제어장치를 제조하기 위해서는 인쇄회로기판(PCB)에 반도체칩, 컨덴서, 저항 등의 다양한 전자부품을 실장해야 한다.

또한 전자제어장치의 안정적인 동작을 위해서는 인쇄회로기판에 실장된 전자부품이 안정적으로 고정 및 유지되어야 할 뿐만 아니라 먼지, 습기 등의 외부 요인으로부터 완벽하게 보호될 수 있어야 한다.

특히, 자동차, 항공, 철도분야의 전자제어장치는 진동, 고온, 혹한, 습기 등의 가혹환경에서 사용되는 데다 오작동이 발생하면 엄청난 인명피해가 초래될 수 있기 때문에 매우 높은 수준의 신뢰성과 안전성이 요구된다.

이에 따라 최근에는 전자제어장치를 구성하는 전자부품, 기판과 전자부품의 결합부분, 전자부품의 단자 등에 코팅제를 얇게 도포하여 보호막을 형성하는 컨포멀 코팅(conformal coating)이 널리 사용되고 있다.

컨포멀 코팅 작업은 코팅제 도포, 건조, 검사 등의 순으로 진행되며, 검사 단계에서는 코팅대상영역에 코팅제가 제대로 도포되었는지 여부를 검사하는 영역 검사와 코팅영역에 기포, 박리, 균열 등이 발생하였는지 여부를 검사하는 불량 검사를 진행한다.

코팅 영역의 기포는 박리나 균열처럼 직접적인 불량은 아니지만 가혹 환경에서 장기간 사용할 경우 코팅층의 균열이나 박리를 초래하여 제품 오작동을 유발할 가능성이 높기 때문에 코팅 영역에 기포가 형성된 제품은 검사 단계에서 코팅불량으로 걸러내는 것이 바람직하다.

그런데 종래의 기포 검출 방식은 카메라로 기판을 촬영한 후 코팅영역의 이미지를 검사자가 육안으로 관찰하는 방식이며, 검사자의 숙련도에 따라 검사 정확도의 차이가 클 뿐만 아니라 기포 검사에 너무 많은 시간이 걸리는 문제가 있다.

또한 도 1 및 도 2에 예시한 바와 같이, 기포(20)는 반도체 칩(10)과 같은 주요 부품의 주변이나 리드(12) 사이의 매우 좁은 공간에 많이 발생하고 크기나 모양이 매우 다양하기 때문에 검사자가 육안으로 모든 기포를 정확히 검출해 내는 것은 매우 어려운 것이 현실이다.

또한 조명에 반사된 리드(12)와 기포(20)의 색상이 비슷한 경우가 많기 때문에 숙련된 검사자라도 짧은 시간에 기포(20)를 검출하는 것이 쉽지 않다.

또한 최근에는 전자제어장치의 기능이 다양해지면서 PCB에 실장된 부품의 종류도 많아지고 집적도도 높아지는 추세이므로 기포 검사의 정확도를 높이고 검사시간을 단축시키기 위해서는 보다 신속하고 정확하게 기포를 검출할 수 있는 방법을 개발할 필요가 있다.

등록특허 제10-1848173호(2018.05.24 공고)

본 발명은 이러한 배경에서 고안된 것으로서, 카메라로 촬영한 PCB 영상을 분석하여 컨포멀 코팅영역의 기포를 보다 신속하고 정확하게 검출할 수 있도록 하는데 그 목적이 있다.

이러한 목적을 달성하기 위하여, 본 발명의 일 양상은, 컨포멀 코팅된 기판(PCB)에서 기포를 검출하는 방법에 있어서, 기판을 촬영하여 검사영역 영상을 획득하는 단계; 검사영역 영상으로부터 그레이(Gray) 영상과 블루(Blue) 채널 영상을 생성하는 단계; 그레이 영상과 블루 채널 영상을 각각 이진화 하고, 그레이 영상의 이진화 영상으로부터 기포의 밝은 띠에 대응하는 제1 예비 후보영역을 추출하는 한편 블루 채널 영상의 이진화 영상으로부터 기포의 음영에 대응하는 제2 예비 후보영역을 추출하는 단계; 제1 예비 후보영역과 제2 예비 후보영역에서 설정 조건을 만족하는 영역을 최종 후보영역으로 추출하는 단계; 최종 후보영역의 영상을 딥러닝 영상 분석 모델에 입력하여 기포인지 여부를 판단하는 단계를 포함하는 기포 검출 방법을 제공한다.

본 발명의 일 양상에 따른 기포 검출 방법에서, 그레이 영상은 검사영역의 각 픽셀마다 Red 채널의 밝기 값과 Green 채널의 밝기 값을 평균하여 생성될 수 있다.

또한 본 발명의 일 양상에 따른 기포 검출 방법에서, 그레이 영상을 이진화 하는 과정은, 그레이 영상의 밝기 값 히스토그램으로부터 산출된 임계값을 적용하는 전역 이진화 과정과, 그레이 영상의 밝기 값을 낮춘 후에 진행하는 적응적 이진화 과정을 포함하고, Bitwise AND 연산을 적용하여 전역 이진화 영상과 적응적 이진화 영상에서 공통된 부분을 제1 예비 후보영역으로 추출할 수 있다. 이때, 그레이 영상의 각 픽셀의 밝기 값에서 그레이 영상의 전체 밝기 값을 빼서 그레이 영상의 밝기 값을 낮춘 후에 적응적 이진화 과정을 진행할 수 있다.

또한 본 발명의 일 양상에 따른 기포 검출 방법에서, 블루 채널 영상을 이진화 하는 과정에서는 블루 채널의 평균 밝기 값 보다 큰 임계값을 적용하여 전역 이진화할 수 있다.

또한 본 발명의 일 양상에 따른 기포 검출 방법에서, 제1 예비 후보영역과 제2 예비 후보 영역 중에서, 음영의 반지름 보다 1.5배 큰 영역을 검사하여 검사 영역에 밝은 띠가 존재하거나 밝은 띠 영역의 크기가 설정 기준보다 크면 최종 후보영역으로 추출할 수 있다.

본 발명의 다른 양상은, 앞서 설명한 기포 검출 방법을 구현하는 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체를 제공한다.

본 발명의 또 다른 양상은, 컨포멀 코팅된 기판(PCB)에서 기포를 검출하는 장치에 있어서, 카메라를 통해 획득한 검사영역 영상으로부터 그레이(Gray) 영상과 블루(Blue) 채널 영상을 각각 생성하는 채널추출부; 그레이 영상을 이진화 하는 그레이 영상 이진화부; 블루 채널 영상을 이진화 하는 블루 채널 이진화부; 그레이 영상의 이진화 영상으로부터 기포의 밝은 띠에 대응하는 제1 예비 후보영역을 추출하는 제1 예비 후보영역 추출부; 블루 채널 영상의 이진화 영상으로부터 기포의 음영에 대응하는 제2 예비 후보영역을 추출하는 제2 예비 후보영역 추출부; 제1 예비 후보영역과 제2 예비 후보영역에서 설정 조건을 만족하는 영역을 최종 후보영역으로 추출하는 기포 후보영역 추출부; 기포 후보영역 추출부에서 추출된 최종 후보영역의 영상을 딥러닝 영상 분석 모델로 분석하여 기포인지 여부를 판단하는 분류기를 포함하는 기포 검출 장치를 제공한다.

본 발명에 따르면, PCB 영상으로부터 기포 가능성이 높은 최종 후보영역을 자동으로 추출하고 딥러닝 기반의 분류기로 최종 후보영역을 분석함으로써 기포의 존재 여부를 매우 신속하고 정확하게 판단할 수 있다.

또한 본 발명에 따르면 종래의 육안 검사에 비해 검사 시간과 인력을 절감할 수 있을 뿐만 아니라 검사의 정확도를 크게 향상시킬 수 있다.

도 1은 컨포멀 코팅영역에서 반도체 칩 주변에서 발생한 여러 유형의 기포를 예시한 사진
도 2는 반도체 칩의 리드 사이에서 발생한 여러 유형의 기포를 예시한 사진.
도 3은 본 발명의 일 실시예에 따른 기포 검출 장치의 개략 구성도
도 4는 본 발명의 일 실시예에 따른 기포 검출 장치의 기능 블록도
도 5는 기포 영역의 3차원 밝기 그래프를 예시한 도면
도 6은 영상처리부의 기능 블록도
도 7은 분류기의 구성도
도 8은 딥러닝 영상 분석 모델의 아키텍처를 예시한 도면
도 9는 딥러닝 분석모델 학습을 위한 데이터 세트를 예시한 도면
도 10은 본 발명의 일 실시예에 따른 기포 검출 방법을 예시한 흐름도
도 11은 컨포멀 코팅된 기판을 다양한 밝기로 촬영한 영상을 예시한 도면
도 12는 기판 영상에서 추출한 검사영역 영상을 나타낸 도면
도 13은 검사영역 영상에서 추출한 Gray 영상과 Blue 채널 영상을 나타낸 도면
도 14a는 Gray 영상의 전역 이진화 영상을 나타낸 도면
도 14b는 Gray 영상의 적응적 이진화 영상을 나타낸 도면
도 15는 전역 이진화 영상과 적응적 이진화 영상에서 공통 부분을 추출한 영상을 나타낸 도면
도 16은 기포의 밝은 띠 영역을 제1 예비 후보영역으로 추출하고 라벨링을 하는 모습을 나타낸 도면
도 17은 Blue 채널 영상의 이진화 영상을 나타낸 도면
도 18은 기포의 음영 영역을 제2 예비 후보영역으로 추출하고 라벨링을 하는 모습을 나타낸 도면
도 19는 제1 예비 후보영역과 제2 예비 후보영역을 이용하여 추출한 최종 후보영역을 나타낸 도면

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

참고로 본 명세서에서 어떤 부분이 어떤 구성요소를 포함 또는 구비하는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다. 또한 하나의 구성요소(element)가 다른 구성요소와 연결, 결합, 또는 통신하는 경우는, 다른 구성요소와 직접적으로 연결, 결합, 또는 통신하는 경우 뿐 만 아니라 중간에 다른 요소를 사이에 두고 간접적으로 연결, 결합, 또는 통신하는 경우도 포함한다. 또한 하나의 구성요소가 다른 구성요소와 직접 연결 또는 직접 결합되는 경우는 중간에 다른 요소가 개재되지 않는 것을 의미한다. 또한 본 명세서에 첨부된 도면은 발명의 요지를 이해하기 쉽도록 예시한 것에 불과하므로 이로 인해 본 발명의 권리범위가 제한되어서는 아니 됨을 미리 밝혀 둔다.

본 발명의 일 실시예에 따른 기포 검출 장치(100)는, 도 3의 개략 구성도에 나타낸 바와 같이, 인쇄회로기판(50)(이하에서는 편의상'기판'이라 한다)이 놓이는 기판 안치대(60), 기판 안치대(60)의 상부에서 기판(50)을 촬영하는 카메라(150), 카메라(150)의 주변에 설치된 조명(160), 카메라(150)를 촬영위치로 이동시키는 카메라 이송수단(152), 제어부(101), 입력부(170), 디스플레이(180), 통신부(190) 등을 포함한다.

도 4의 기능 블록도를 참조하면, 제어부(101)는 프로세서(110), 메모리(120), 영상처리부(130), 분류기(140)를 포함한다. 또한 기포 검출 장치(100)의 각 구성요소는 버스(109)를 통해 다른 구성요소들과 연결될 수 있다.

또한 본 발명의 일 실시예에 따른 기포 검출 장치(100)는, 도면에는 나타내지 않았지만, 기판을 검사위치로 이송하는 리니어 가이드, 피커(picker) 등의 기판 이송수단을 포함할 수 있다.

또한 본 발명의 일 실시예에 따른 기포 검출 장치(100)는, 기판에 코팅액을 도포하는 컨포멀 코팅 장비의 내부에 설치될 수도 있고, 컨포멀 코팅 장비의 출구 측에 인접하여 설치될 수도 있고, 컨포멀 코팅 장비와는 독립적으로 설치될 수도 있다.

이하에서는 본 발명의 일 실시예에 따른 기포 검출 장치(100)의 각 구성 요소를 보다 구체적으로 설명한다.

먼저 카메라(150)는 검사대상 기판을 촬영하여 영상데이터를 획득하며, 하나의 기판에서 검사영역이 다수인 경우에는 카메라 이송수단(152)을 따라 각 검사영역의 상부로 이동하여 촬영할 수 있다. 카메라(150)는 높은 해상도의 고배율 카메라인 것이 바람직하지만 구체적인 종류나 배율이 특별히 한정되지는 않는다.

조명(160)은 카메라(150)의 일 측에 결합하여 카메라(150)와 함께 이동하도록 설치하는 것이 바람직하지만 반드시 이에 한정되는 것은 아니므로 카메라(150)와 별도로 설치되거나 별도의 이동수단을 이용하여 조명(160)을 이동시킬 수도 있다. 한편 컨포멀 코팅액은 자외선에 반응하는 형광물질을 포함하는 경우가 대부분이므로 이러한 경우에는 자외선 조명(160)을 사용하는 것이 바람직하다.

한편 기포는 조도나 RGB채널에 따라 영상의 특징이 달라지는 특성이 있으므로 기포를 촬영할 때는 조도를 달리하면서 여러 번 촬영하여 다양한 밝기의 영상을 확보하고, 이 중에서 최적의 영상을 선택하거나 서로 다른 밝기의 영상을 소정의 방법으로 통합한 후에 최종 후보영역을 추출하는 것이 바람직하다.

입력부(170)는 기포 검출 장치(100)의 사용자를 위한 입력 수단으로서, 키보드, 버튼, 터치패드, 터치스크린, 마우스, 조이스틱, 트랙볼 등과 같은 다양한 입력 수단 중에서 적어도 하나를 포함할 수 있다.

디스플레이(180)는 카메라(150)에서 촬영한 기판의 영상, 영상처리부(130)에서 수행한 영상처리 결과, 기포 분석 결과, 기포 검출 장치(100)의 동작 상태 등을 표시할 수 있다.

통신부(190)는 외부 전자기기 또는 서버와 통신하기 위한 유선 또는 무선 통신수단을 포함한다. 무선 통신수단은 Wi-Fi, 블루투스, 지그비 등의 근거리 무선통신수단, 이동통신수단 등을 포함할 수 있다.

버스(109)는 기포 검출 장치(100)의 각 구성요소들 간에 데이터 또는 전기적 신호의 전송 경로이며, 회로패턴 또는 케이블의 형태로 제공될 수 있다.

이하에서는 본 발명의 일 실시예에 따른 기포 검출 방법을 실행하는 제어부(101)에 대해 설명한다.

먼저 프로세서(110)는 메모리(120)에 저장된 컴퓨터프로그램을 실행하여 소정의 연산을 수행한다.

메모리(120)에는 기포 검출 장치(100)의 동작을 위한 컴퓨터 프로그램, 각종 파라미터, 데이터 등이 저장될 수 있다. 메모리(120)는 플래쉬 메모리 등의 비휘발성 메모리와 RAM 등의 휘발성메모리를 포함할 수 있다. 메모리(120)는 HDD, ODD, SDD 등의 대용량 저장장치를 포함할 수도 있다.

영상처리부(130)는 카메라(150)에서 촬영한 검사대상 기판(50)의 영상을 소정 방식으로 처리하여 인공지능 기반의 분류기(140)에서 기포인지 여부를 분석할 최종 후보영역을 추출하는 역할을 한다.

일반적으로 기포를 촬영한 영상을 살펴보면, 도 5의 3차원 밝기 그래프에 예시한 바와 같이, 기포의 가장자리는 밝기 값이 매우 높은 데 반하여 기포의 중앙 부분은 밝기 값이 매우 낮게 나타나는 특성이 있다.

또한 컨포멀 코팅된 기판의 영상을 색상 채널별로 분리해서 비교해 보면, Blue 채널 영상은 UV 형광물질의 특성상 전반적으로 높은 밝기 값을 가지므로 기포 중앙 부분의 음영이 보다 선명하게 나타나고, Red 채널과 Green 채널 영상에서는 기포 가장자리의 밝은 띠 모양이 보다 선명하게 나타나는 특성이 있다.

본 발명의 실시예에서는 이러한 특성을 고려하여, Red 채널과 Green 채널로부터 생성한 그레이(Gray) 영상으로부터 기포 가장자리의 밝은 띠 영역에 대응하는 제1 예비 후보영역을 검출하고, Blue 채널 영상으로부터 기포 중심의 음영 영역에 대응하는 제2 예비 후보영역을 검출한 후 이로부터 분류기(140)에 입력할 최종 후보영역을 추출한다.

영상처리부(130)는, 도 6의 기능 블록도에 나타낸 바와 같이, 검사영역선택부(131), 채널추출부(132), 노이즈 필터링부(133), Gray 영상 이진화부(134), Blue 채널 이진화부(135), 제1 예비 후보영역 추출부(136), 제2 예비 후보영역 추출부(137), 기포 후보영역 추출부(138) 등을 포함할 수 있다.

검사영역선택부(131)는 절단대상 기판(50)의 영상에서 검사영역을 설정하고 해당 영역의 이미지를 추출하는 역할을 한다. 이때 작업자가 지정한 영역을 검사영역으로 선택할 수도 있고, 사전 설정된 좌표를 이용하여 검사영역을 선택할 수도 있다.

채널추출부(132)는 검사영역선택부(131)에서 추출한 검사영역의 컬러영상에서 Blue 채널 영상을 추출하는 한편 Gray 영상을 생성하는 역할을 한다.

본 발명의 실시예에서는 검사영역의 컬러 영상에 다음의 수학식 1을 이용하여 Gray을 생성한다.

<수학식 1>

Gray image = (Red + Green) * 1/2

즉, 검사영역의 각 픽셀마다 Red 채널의 밝기 값과 Green 채널의 밝기 값을 평균하여 그레이 영상을 생성한다. 그러나 검사영역의 컬러영상을 그레이 영상으로 변환하는 방법이 이에 한정되는 것은 아니므로 다른 방법으로 그레이 영상을 생성할 수도 있다.

노이즈 필터링부(133)는 그레이 영상과 Blue 채널 영상에 대해 노이즈 필터를 이용하여 노이즈를 제거하는 역할을 한다. 노이즈 필터의 종류는 특별히 한정되지 않으며, 예를 들어 OpenCV의 fastNIMeansDenosing 함수 등이 사용될 수 있다.

Gray 영상 이진화부(134)는 기포의 밝은 띠 영역을 제1 예비 후보영역으로 추출하기 위하여 그레이 영상을 이진화 한다.

특히, 본 발명의 실시예에서는, Gray 영상 이진화부(134)는 Otsu 임계값을 적용하여 그레이 영상을 이진화 하는 전역 이진화와, 적응적(adaptive) 임계값을 적용하여 그레이 영상을 이진화 하는 적응적 이진화를 모두 수행한다.

전역 이진화 단계에서는 밝기 값 분포 히스토그램에서 설정된 임계값 보다 큰 영역과 작은 영역의 밝기 값을 각각 255와 0으로 치환하며, 히스토그램을 이용하므로 전역적으로 이진화가 이루어지며 기포의 밝은 띠 영역이 추출되기는 하지만 기판 영상 중에서 기포 이외의 밝은 영역이 노이즈로 나타나는 문제가 있다.

적응적 이진화는 전역 이진화의 이러한 문제점을 보완하기 위한 것이며, 적응적 이진화 단계에서는 지역적으로 임계값을 적용함으로써 작은 블록 단위로 이진화가 이루어지며, 작은 블록 단위에서 밝은 영역을 추출하기 때문에 노이즈가 작은 반면에 기포의 밝은 띠 영역이 끊어진 형태로 추출될 수 있다.

또한 적응적 이진화 과정에서는 지역적으로 임계값이 적용되기 때문에 밝은 띠 영역의 부근에서는 너무 높은 임계값이 적용되므로 실제 기포의 밝은 띠 영역이 누락될 수도 있다.

이러한 현상을 방지하기 위해서는, 그레이 영상의 전체 밝기를 낮춘 이후에 적응적 이진화를 진행하는 것이 바람직하다. 그레이 영상의 전체 밝기를 낮추는 방법에는 그레이 영상의 각 픽셀의 밝기 값에서 그레이 영상의 평균 밝기 값을 빼는 방법이 있다. 이와 다른 방법을 적용하여 그레이 영상의 전체 밝기를 낮추는 것도 가능하다.

Blue 채널 이진화부(135)는 기포의 음영 영역을 추출하기 위하여 Blue 채널 영상을 이진화 한다. 이때 기포의 음영 영역을 보다 효과적으로 검출하기 위하여 Blue 채널의 평균 밝기 값 보다 큰 임계값을 적용하여 전역 이진화 하되 임계값 보다 큰 영역과 작은 영역의 밝기 값을 각각 0과 2550로 치환하여 기포 중심의 음영 영역을 흰색으로 표시할 수 있다. 다만 Blue 채널 영상에 대한 이진화 방법이 반드시 이에 한정되는 것은 아니다.

제1 예비 후보영역 추출부(136)는 Gray 영상 이진화부(134)에서 생성된 전역 이진화 영상과 적응적 이진화 영상에서 공통적인 부분을 추출하여 기포 가능성이 높은 밝은 띠 영역을 제1 예비 후보영역으로 추출한다.

이때 제1 예비 후보영역 추출부(136)는 검출해야 하는 기포의 최소 크기, 최대 크기 등을 기준으로 필터링하여 밝은 띠를 포함하는 윤곽선을 표시하여 제1 예비 후보영역으로 라벨링 할 수 있다.

제2 예비 후보영역 추출부(137)는 Blue 채널 이진화부(135)에서 생성된 이진화 영상에서 검출해야 하는 기포의 최소 크기, 최대 크기 등을 기준으로 필터링하여 기포 가능성이 높은 음영 영역을 제2 예비 후보영역으로 추출한다. 또한 음영을 포함하는 윤곽선을 표시하여 제2 예비 후보영역으로 라벨링 할 수 있다.

기포 후보영역 추출부(138)는 제1 예비 후보영역 추출부(136)와 제2 예비 후보영역 추출부(137)에서 각각 추출한 다수의 제1 예비 후보영역과 다수의 제2 예비 후보영역 중에서 다음 2가지 조건 중에서 적어도 하나를 만족하는 영역을 인공지능 기반의 분류기(140)에 입력할 최종 후보영역으로 추출한다.

첫째, 음영의 반지름 보다 1.5배 큰 영역을 검사하여 검사 영역에 밝은 띠가 존재하면 최종 후보영역으로 추출한다.

둘째, 검출해야 하는 기포의 크기를 기준으로 설정된 기준 이상의 밝은 띠 영역은 최종 후보영역으로 추출한다.

이상에서 설명한 영상처리부(130)의 기능 중에서 일부 또는 전부는 메모리(120)에 저장되어 프로세서(110)에 의해 실행되는 컴퓨터 프로그램의 형태로 제공될 수 있다. 또한 영상처리부(130)의 일부 또는 전부의 기능은 ASIC(Application Specific Integrated Circuit) 등의 하드웨어 형태로 제공될 수도 있고, 하드웨어와 소프트웨어가 통합된 형태로 제공될 수도 있다.

한편, 분류기(140)는 영상처리부(130)에서 추출한 다수의 최종 후보영역을 인공지능 기반의 영상 분석 모델로 분석하여 기포인지 여부를 최종적으로 판단한다.

분류기(140)는, 도 7의 개략 구성도에 예시한 바와 같이, 영상 분석 모델(200), 후보영역 입력부(210), 분석결과 출력부(220), 모델 생성부(250) 등을 포함할 수 있다.

영상 분석 모델(200)은 영상처리부(130)에서 추출한 다수의 최종 후보영역의 영상이 입력되면 딥러닝 알고리즘을 수행하여 각각의 최종 후보영역이 기포 인지 여부를 판단한다.

후보영역 입력부(210)는 영상처리부(130)에서 추출한 최종 후보영역의 영상을 영상 분석 모델(200)에 입력하기 적합한 영상으로 변환하는 역할을 한다. 예를 들어 최종 후보영역의 영상을 32*32 픽셀의 그레이 스케일로 변환하여 입력할 수 있다. 후보영역 입력부(210)는 경우에 따라 생략될 수도 있다.

분석결과 출력부(220)는 영상 분석 모델(200)의 분석결과를 프로세서(110)의 제어에 따라 디스플레이(180)로 출력하거나 통신부(190)를 거쳐 외부의 전자기기 또는 서버로 전송할 수 있다.

또한 분석결과 출력부(220)는 최종 후보영역으로 표시된 영역 중에서 기포로 판정된 영역을 검사자가 쉽게 알 수 있도록 다른 색상으로 표시하거나 다른 방식의 시각 효과를 출력할 수 있다.

모델생성부(250)는 임의의 가중치가 설정된 딥러닝 기반의 모델 아키텍처를 학습시켜 영상 분석 모델(2000)을 생성하는 역할을 한다.

딥러닝 기반의 모델 아키텍처는 도 8에 예시한 바와 같이 입력 레이어와 출력 레이어의 사이에 하나 이상의 히든 레이어(hidden layer)를 가지며, 반복 학습을 통해 임의의 제1 레이어의 노드(뉴런)와 제2 레이어의 노드(뉴런) 사이에 부여된 가중치([W]1,,,,,[W]n)를 최적값으로 갱신함으로써 출력값의 정확도를 향상시킬 수 있다.

딥러닝 기반의 모델 아키텍처는 예를 들어 ResNet50 일 수 있으나 반드시 이에 한정되는 것은 아니다.

또한 모델생성부(250)는 데이터증폭부(252)와 모델학습부(254)를 포함할 수 있다. 데이터증폭부(252)는 다양한 필터링 요소를 적용하여 하나의 학습용 영상으로부터 밝기, 방향 등이 다른 다양한 학습용 영상을 생성할 수 있다.

또한 모델학습부(254)는 도 9에 예시한 바와 같이 다양한 학습용 영상 세트를 모델 아키텍처의 입력단으로 입력하여 출력값을 산출하고, 역전파 알고리즘을 이용하여 가중치를 갱신하는 과정을 반복하여 모델 아키텍처를 학습시킴으로써 영상 분석 모델(200)을 생성할 수 있다.

또한 모델학습부(254)는 기포 검출의 정확도를 높이기 위하여 기포 검출 장치에서 사용 중인 영상 분석 모델(200)을 주기적으로 학습시킬 수 있다.

한편, 기포 검출의 정확도를 높이기 위해서는 학습용 영상을 다양한 클래스로 분류하여 제공하는 것이 바람직하다.

예를 들어 도 9에 예시한 바와 같이, 기포에 대한 학습용 영상(a)은 둥근 형상의 기포 영상을 주로 포함하는 제1 클래스와 반도체 칩의 리드 사이에 주로 발생하는 이빨 형상의 기포 영상을 주로 포함하는 제2 클래스로 분류하여 제공할 수 있다.

또한 기포가 아닌 것에 대한 학습용 영상(b)은 칩 리드 영상을 포함하는 클래스, 숫자 영상을 포함하는 클래스, 기타 클래스 등과 같이 더 많은 개수로 분류하여 제공할 수 있다.

한편 이와 같이 다양한 클래스의 학습용 영상을 제공하면, 영상 분석 모델(200)은 입력된 최종 후보영역에 대해 단순히 기포인지 여부만을 판단하는데 그치지 않고 최종 후보영역이 기포, 리드, 숫자 중에서 어디에 해당하는지 여부를 분류할 수도 있다.

분류기(140)의 이러한 기능 중에서 일부 또는 전부는 메모리(120)에 저장되어 프로세서(110)에 의해 실행되는 컴퓨터 프로그램의 형태로 제공될 수 있다. 또한 분류기(140)의 일부 또는 전부의 기능은 ASIC(Application Specific Integrated Circuit) 등의 하드웨어 형태로 제공될 수도 있고, 하드웨어와 소프트웨어가 통합된 형태로 제공될 수도 있다.

이하에서는 도 10의 흐름도를 참조하여 본 발명의 일 실시예에 따른 기포 검출 방법을 설명한다.

먼저, 검사자는 검사대상 기판(50)을 기판 안치대(60)에 올려 놓고 카메라(150)를 이용하여 기판(50)을 촬영한다. 이때 검사 영역을 지정해서 촬영할 수도 있고 기판(50) 전체를 촬영할 수도 있다.

또한 카메라(150)로 촬영할 때는, UV조명(160)을 다양한 조도로 변경해가면서 도 11에 예시한 바와 같이 다수의 영상을 획득할 수도 있다. (ST11, ST12)

이어서, 도 12에 예시한 바와 같이, 촬영된 기판 영상에서 기포를 검사할 검사영역을 선택한다. 만일 촬영단계에서 검사영역을 정확하게 촬영하였다면 이러한 선택 절차는 생략될 수 있다. (ST13)

이어서 도 13에 예시한 바와 같이, 검사영역의 컬러 영상으로부터 Blue 채널 영상을 추출하는 한편 Gray 영상을 생성한다. Gray 영상은 예를 들어 검사영역의 컬러 영상에서 추출한 Red 채널과 Green 채널의 밝기 값을 평균하여 생성할 수도 있고, 이와 다른 방법으로 생성할 수도 있다. (ST14)

이어서 기포의 밝은 띠 영역을 추출하기 위하여 Gray 영상을 이진화 한다. 이때 도 14(a) 및 도 14(b)에 예시한 바와 같이, Gray 영상에 대해 히스토그램을 이용하여 Otsu 임계값을 적용하는 전역 이진화 과정과 적응적 이진화 과정을 함께 수행하여 전역 이진화 영상과 적응적 이진화 영상을 함께 생성할 수 있다.

한편 적응적 이진화 과정에서는 실제 기포의 밝은 띠 영역이 누락되는 것을 방지하기 위하여, Gray 영상의 각 픽셀의 밝기 값에서 Gray 영상의 평균 밝기 값을 빼는 방식을 적용하여 전체 밝기를 낮춘 이후에 적응적 이진화를 진행할 수 있다. (ST15, ST16)

이어서 도 15에 예시한 바와 같이, Bitwise AND 연산을 적용하여 Gray 영상으로부터 생성한 전역 이진화 영상과 적응적 이진화 영상에서 공통 부분을 추출한다.

이어서 도 16에 예시한 바와 같이, 검출해야 하는 기포의 최소 크기, 최대 크기 등을 기준으로 필터링하여 기포의 밝은 띠를 포함하는 윤곽선을 제1 예비 후보영역으로 추출하고 라벨링 한다. (ST17, ST18)

이어서 기포의 음영 영역을 추출하기 위하여 도 17에 예시한 바와 같이, Blue 채널 영상을 이진화 한다. 이때 기포의 음영 영역을 보다 효과적으로 검출하기 위하여 Blue 채널의 평균 밝기 값 보다 큰 임계값을 적용하여 전역 이진화 할 수 있다. (ST19)

이어서 도 18에 예시한 바와 같이, Blue 채널 영상에서 생성된 이진화 영상에서 검출해야 하는 기포의 최소 크기, 최대 크기 등을 기준으로 필터링하여 기포의 음영을 포함하는 윤곽선을 제2 예비 후보영역으로 추출하고 라벨링 한다. (ST20)

이어서 기포의 밝은 띠 영역에 대응하는 제1 예비 후보영역과 기포의 음영 영역에 대응하는 제2 예비 후보영역의 정보를 통합하여 분류기(140)에 입력할 최종 후보영역을 도 19에 예시한 바와 같이 추출한다.

이때 음영의 반지름 보다 1.5배 큰 영역을 검사하여 검사 영역에 밝은 띠가 존재하면 최종 후보영역으로 추출할 수 있다. 또한 검출해야 하는 기포의 크기를 기준으로 설정된 기준 이상의 밝은 띠 영역은 최종 후보영역으로 추출할 수 있다. (ST21)

이어서 추출된 최종 후보영역의 각 영상을 분류기(140)에 입력하여 딥러닝 기반의 영상 분석 모델(200)을 통해 기포인지 여부를 분석한다. 이때 최종 후보영역의 각 영상은 소정의 크기로 스케일링 하는 등의 전처리를 거친 후에 영상 분석 모델(200)로 순차적으로 입력될 수 있다.

영상 분석 모델(200)은 최종 후보영역의 영상이 순차적으로 입력되면 학습된 알고리즘을 실행하여 각 후보영역이 기포인지 여부에 대한 결과값을 출력한다.

출력된 결과값은 기포 검출 장치(100)의 디스플레이(180)를 통해 표시된다. 예를 들어 검사 영역의 최종 후보영역마다 기포 여부에 대한 식별 표시가 출력될 수 있다. (ST22)

분류기(140)가 입력된 모든 기포 후보 영상에 대한 결과값을 출력하면, 프로세서(110)는 해당 기판(50)에 대한 기포 검사가 종료되었음을 디스플레이(180) 등을 통해 출력하여 기판(50)의 반출을 요청할 수 있다.

한편, 도 10에는 ST15 내지 ST18의 과정을 수행한 후에 ST19 내지ST20의 과정을 수행하는 것으로 나타나 있으나 이는 예시에 불과하다. 따라서 두 과정을 이와 반대 순서로 진행할 수도 있고 동시에 진행할 수도 있다.

한편 이상에서 설명한 본 발명의 실시예에 따른 기포 검출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.

이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 관련 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터로 판독 가능한 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM), 램(RAM), 플래시 메모리, SSD 등에서 적어도 하나를 포함할 수 있다.

또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

또한 이상에서는 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 앞서 설명한 실시예에 한정되지 않고 구체적인 적용 과정에서 다양하게 변형 또는 수정되어 실시될 수 있으며, 변형 또는 수정된 실시예도 후술하는 특허청구범위에 개시된 본 발명의 기술적 사상을 포함한다면 본 발명의 권리범위에 속함은 당연하다 할 것이다.

50: 기판 60: 기판 안치대 100: 기포 검출 장치
101: 제어부 109: 버스 110: 프로세서
120: 메모리 130: 영상처리부 131: 검사영역선택부
132: 채널추출부 133: 노이즈 필터링부 134: Gray 영상 이진화부
135: Blue 채널 이진화부 136: 제1 예비 후보영역 추출부
137: 제2 예비 후보영역 추출부 138: 최종 후보영역 추출부
140: 분류기 150: 카메라 152: 카메라 이송수단
160: 조명 170: 입력부 180: 디스플레이
190: 통신부 200: 영상 분석 모델 210: 후보영역 입력부
220: 분석결과 출력부 250: 모델생성부 252: 데이터 증폭부
254: 모델 학습부

Claims (11)

1. 컨포멀 코팅된 기판(PCB)에서 기포를 검출하는 방법에 있어서,
   기판을 촬영하여 검사영역 영상을 획득하는 단계;
   검사영역 영상으로부터 그레이(Gray) 영상과 블루(Blue) 채널 영상을 생성하는 단계;
   그레이 영상과 블루 채널 영상을 각각 이진화 하고, 그레이 영상의 이진화 영상으로부터 기포의 밝은 띠에 대응하는 제1 예비 후보영역을 추출하는 한편 블루 채널 영상의 이진화 영상으로부터 기포의 음영에 대응하는 제2 예비 후보영역을 추출하는 단계;
   제1 예비 후보영역과 제2 예비 후보영역에서 설정 조건을 만족하는 영역을 최종 후보영역으로 추출하는 단계;
   최종 후보영역의 영상을 딥러닝 영상 분석 모델에 입력하여 기포인지 여부를 판단하는 단계
   를 포함하는 기포 검출 방법
2. 제1항에 있어서,
   그레이 영상은 검사영역의 각 픽셀마다 Red 채널의 밝기 값과 Green 채널의 밝기 값을 평균하여 생성하는 것을 특징으로 하는 기포 검출 방법
3. 제1항에 있어서,
   그레이 영상을 이진화 하는 과정은, 그레이 영상의 밝기 값 히스토그램으로부터 산출된 임계값을 적용하는 전역 이진화 과정과, 그레이 영상의 밝기 값을 낮춘 후에 진행하는 적응적 이진화 과정을 포함하고,
   Bitwise AND 연산을 적용하여 전역 이진화 영상과 적응적 이진화 영상에서 공통된 부분을 제1 예비 후보영역으로 추출하는 것을 특징으로 하는 기포 검출 방법
4. 제3항에 있어서,
   그레이 영상의 각 픽셀의 밝기 값에서 그레이 영상의 전체 밝기 값을 빼서 그레이 영상의 밝기 값을 낮춘 후에 적응적 이진화 과정을 진행하는 것을 특징으로 하는 기포 검출 방법
5. 제1항에 있어서,
   블루 채널 영상을 이진화 하는 과정에서는 블루 채널의 평균 밝기 값 보다 큰 임계값을 적용하여 전역 이진화 하는 것을 특징으로 하는 기포 검출 방법
6. 제1항에 있어서,
   제1 예비 후보영역과 제2 예비 후보영역 중에서, 음영의 반지름 보다 1.5배 큰 영역을 검사하여 검사 영역에 밝은 띠가 존재하거나 밝은 띠 영역의 크기가 설정 기준보다 크면 최종 후보영역으로 추출하는 것을 특징으로 하는 기포 검출 방법.
7. 제1항 내지 제6항 중 어느 한 항의 기포 검출 방법을 구현하는 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
8. 컨포멀 코팅된 기판(PCB)에서 기포를 검출하는 장치에 있어서,
   카메라를 통해 획득한 검사영역 영상으로부터 그레이(Gray) 영상과 블루(Blue) 채널 영상을 각각 생성하는 채널추출부;
   그레이 영상을 이진화 하는 그레이 영상 이진화부;
   블루 채널 영상을 이진화 하는 블루 채널 이진화부;
   그레이 영상의 이진화 영상으로부터 기포의 밝은 띠에 대응하는 제1 예비 후보영역을 추출하는 제1 예비 후보영역 추출부;
   블루 채널 영상의 이진화 영상으로부터 기포의 음영에 대응하는 제2 예비 후보영역을 추출하는 제2 예비 후보영역 추출부;
   제1 예비 후보영역과 제2 예비 후보영역에서 설정 조건을 만족하는 영역을 최종 후보영역으로 추출하는 기포 후보영역 추출부;
   기포 후보영역 추출부에서 추출된 최종 후보영역의 영상을 딥러닝 영상 분석 모델로 분석하여 기포인지 여부를 판단하는 분류기
   를 포함하는 기포 검출 장치
9. 제8항에 있어서,
   상기 채널추출부는, 검사영역 영상의 각 픽셀마다 Red 채널의 밝기 값과 Green 채널의 밝기 값을 평균하여 그레이 영상을 생성하는 것을 특징으로 하는 기포 검출 장치
10. 제8항에 있어서,
    상기 그레이 영상 이진화부는, 그레이 영상의 밝기 값 히스토그램으로부터 산출된 임계값을 적용하는 전역 이진화와, 그레이 영상의 밝기 값을 낮춘 후에 진행하는 적응적 이진화를 수행하고,
    상기 제1 예비 후보영역 추출부는, Bitwise AND 연산을 적용하여 전역 이진화 영상과 적응적 이진화 영상에서 공통된 부분을 제1 예비 후보영역으로 추출하는 것을 특징으로 하는 기포 검출 장치.
11. 제8항에 있어서,
    상기 블루 채널 이진화부는, 블루 채널의 평균 밝기 값 보다 큰 임계값을 적용하여 전역 이진화 하는 것을 특징으로 하는 기포 검출 장치.

Images