KR20230068445A - 인공지능 기반 홀 이미지의 자동 품질 검사 장치및 방법 - Google Patents

Abstract

본 발명은 홀 이미지의 품질 검사 기술에 관한 것으로, 더욱 상세하게는 레이저 가공 공정에서 수행되는 반도체 인쇄기판에 포함된 홀 이미지의 품질을 자동으로 검사하는 품질 검사 장치 및 방법에 관한 것이다.

Description

인공지능　기반　홀　이미지의　자동　품질　검사　장치　및　방법{AUTOMATIC QUALITY INSPECTION DEVICE AND METHOD OF HOLE IMAGE BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 홀 이미지의 품질 검사 기술에 관한 것으로, 더욱 상세하게는 레이저 가공 공정에서 수행되는 반도체 인쇄기판에 포함된 홀 이미지의 품질을 자동으로 검사하는 품질 검사 장치 및 방법에 관한 것이다.

PCB 홀은 매우 정밀한 작업을 요하는 공정으로, TOP/BOTTOM 홀의 원 사이즈는 40㎛~100㎛(약 0.04mm~ 0.1mm) 정도로 판넬 당 최대 800만 개의 홀을 가공하고 있다. 가공한 홀은 1차 저배율 전역 검사, 2차 고배율 현미경 검사와 홀 사이즈 측정 프로그램을 사용하여 작업자가 육안으로 검사와 측정작업을 하고 있다.

한편, 품질관리 측면에서 핵심 공정인 레이저 가공 공정에서 수행되는 초중종물 반도체 인쇄기판 품질 측정 검사방식은 작업자의 육안검사에 의존하여 양품과 불량품을 판정하고 있어 작업 능률과 육안 검사의 한계점을 안고 있다. 수작업으로 이루어지는 홀 사이즈 크기 측정방식은 작업자의 숙련도와 홀 판단 기준에 따라 정확성과 측정 사이즈에 오차가 발생할 수 있으며 많은 시간이 소요된다.

본 발명의 배경기술은 대한민국 공개특허 제10-2021-0005976 호에 게시되어 있다.

본 발명은 기존 작업자의 숙련도와 홀 사이즈 측정 기준에 의해 수행되고 있는 초·중·종·물 품질측정검사 작업을 자동화된 AI 시스템을 도입하여 불량 DATA를 축적하고 품질 예측을 통해 검사의 정확성을 높이고 작업 능률과 설비가동율을 증가시켜 생산성을 극대화하는 인공지능 기반 홀 이미지의 자동 품질 검사 장치 및 방법을 제공한다.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 인공지능 기반 홀 이미지의 자동 품질 검사 장치가 제공된다.

본 발명의 일 실시 예에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 장치는 고배율 현미경으로부터 수집한 이미지를 입력하는 입력부, 수집한 이미지를 전처리하는 전처리부 및 기학습된 신경망을 이용하여 전처리된 홀 이미지에 대한 불량 판정을 수행하는 불량판정부를 포함할 수 있다.

본 발명의 다른 일 측면에 따르면, 인공지능 기반 홀 이미지의 자동 품질 검사 방법이 제공된다.

본 발명의 일 실시 예에 따른 인공지능 기반 홀 이미지의 자동 품질 검사 방법은 고배율 현미경으로부터 수집한 이미지를 입력하는 단계, 수집한 이미지를 전처리하는 단계 및 기학습된 신경망을 이용하여 전처리된 홀 이미지에 대한 불량 판정을 수행하는 단계를 포함할 수 있다.

본 발명의 실시 예에 따르면, 레이저공정 불량 원인 파악으로 설비 최적화 및 작업조건을 도출하고, 불량 DATA 축적으로 불량 유형별 분석이 가능하여 동일 불량 건수가 감소한다.

본 발명의 실시 예에 따르면, 개발된 AI학습 모델 활용을 바탕으로 검사 시간 단축으로 설비가동율이 증가하고, AI 데이터 분석을 통한 품질 예측을 위한 관리데이터 분석 기본 자료를 축적할 수 있다.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.

도 1내지 도 13은 본 발명의 일 실시 예에 따른 인공지능　기반　홀　이미지의　자동　품질　검사　장치　및　방법을 설명하기 위한 도면들.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1내지 도 13은 본 발명의 일 실시 예에 따른 인공지능　기반　홀　이미지의　자동　품질　검사　장치　및　방법을 설명하기 위한 도면들이다.

도 1을 참조하면, 본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사　장치는 스마트 팩토리 공정에 포함될 수 있다.

도 2를 참조하면, 본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 방법은 에지 서버에 구축되어 홀 이미지의 자동 품질 검사를 진행할 수 있다.

도 3을 참조하면, 본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 방법은 관리자용 단말기에 자동 품질 검사를 위한 솔루션이 구축되어 이를 제어할 수 있다.

도 4를 참조하면, 인공지능　기반　홀　이미지의　자동　품질　검사　장치는 텍스처 분석에 사용되는 선형필터인 Gabor 필터와 바이오 의료영상 분할을 위해 도입된 딥러닝 알고리즘인 UNET 알고리즘이 색깔과 재질에 따라서 이미지 분할을 하는 전처리 과정을 수행하고, 검출 부분에서 활용된 RANSAC 알고리즘은 기존의 알고리즘보다 더 정확하고 이상 적인 결과를 반환하는데 특히 노이즈가 심한(outlier 데이터가 많은) 이미지 처리에 있어서 특히 뛰어난 성능을 발휘할 수 있다.

인공지능　기반　홀　이미지의　자동　품질　검사　장치는 입력부, 전처리부 및 불량판정부를 포함한다.

입력부는 고배율 현미경으로부터 수집한 이미지를 입력한다.

전처리부는 수집한 이미지를 전처리한다. 고배율 현미경으로부터 수집한 이미지에는 측정하고자 하는 레이저 홀이 포함되어 있다. 현미경으로부터 수집한 이미지는 육안으로 쉽게 원의 형태를 감지할 수 있지만 컴퓨터가 인식하기에는 노이즈가 심하고 원의 형태로 잘못 인지할 부분들이 많이 있으므로 일반적인 원 인식 알고리즘으로는 정확한 원을 검출하는 것이 어렵기 때문에 이미지 전처리 과정이 필수적이고 이러한 과정에 대하여 이미지 분할을 적용하여 필요한 홀의 원 부분만을 구분해 낼 수 있다면 더 정확한 홀의 사이즈를 측정할 수 있다.

불량판정부는 기학습된 신경망을 이용하여 전처리된 홀 이미지에 대한 불량 판정을 수행한다.

구체적으로, 불량판정부는 텍스처 분석에 사용되는 선형필터인 Gabor 필터와 바이오 의료영상 분할을 위해 도입된 딥러닝 모델인 UNET을 이용하여 홀 이미지에 대한 불량 판정을 수행한다.

Gabor 필터는 재질을 해석하고 분할하기 위한 포유류의 다중 채널 시각 접근 방식을 가장 잘 모델링한 필터로 알려져있으며 재질 인식 알고리즘을 설계할 때 유용하게 사용할 수 있는 모델이다.

본 솔루션에서 활용된 UNET은 FCN 알고리즘을 개선한 모델로써 적은 훈련 데이터셋으로도 최적화된 학습이 가능한 장점을 가지며, 훈련 데이터가 충분히 수집되어 있지 않은 공장이나 기업에서 활용성이 높다.

UNET은 Olag Ronneberger et al.에 의해 바이오 의료영상 분할(BioMedical Image segmentation)을 위해 도입되었으며 이미지의 컨텍스트(context)를 캡처하는 데 사용되는 축소 경로(인코더라고도 함) 및 전치된 컨볼루션을 사용하여 정확한 지역화(localizataion)를 가능하게 하는 데 사용되는 대칭 확장 경로(디코더라고도 함)가 존재한다. UNET은 Fully Convolution Network(FCN)를 기반으로 하며, 기존 FCN 알고리즘에 비해 속도 및 컨텍스트(context) 인식 측면에서 향상된 효과를 나타내며, 지역화(localization)간의 trade-off를 해결한다.

UNET의 원 검출 부분에서 활용된 RANSAC 알고리즘은 기존의 알고리즘보다 더 정확하고 이상 적인 결과를 반환하는데 특히 노이즈가 심한(outlier 데이터가 많은) 이미지 처리에 있어서 특히 뛰어난 성능을 발휘한다.

RANSAC은 RANdom SAmple Consensus의 약자로, 데이터셋에서 노이즈를 제거하고 모델을 예측하는 알고리즘이며 매우 많은 분야에서 활용되며 특히 컴퓨터 비전 분야에서 광범위하게 사용되고 있다. RANSAC은 특정 임계값 이상의 데이터를 완전히 무시해버리는 특성이 있어 outlier에 강건한 알고리즘으로, 노이즈가 매우 크지만, 노이즈를 반영하지 않고 최대 데이터가 일치하는 이상적인 모델을 추출해내는 것을 확인할 수 있다.

불량판정부는 기존 작업자의 숙련도와 홀 사이즈 측정 기준에 의해 수행되고 있는 초·중·종·물 품질측정검사 작업을 자동화된 AI 시스템을 도입하여 불량 DATA를 축적하고 품질 예측을 통해 검사의 정확성을 높이고 작업 능률과 설비가동율을 증가시켜 생산성을 극대화한다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 방법은 에지 서버에 구축되어 홀 이미지의 자동 품질 검사는 설계 과정, 수집 과정, 정제 과정, 분석 과정 및 적용 과정을 통하여 진행될 수 있다.

인공지능 기반 홀　이미지의　자동　품질　검사 장치는 프로세스 설계 공정 전·후 관계, 홀 이미지 크기 측정에 영향을 주는 인자를 조사한다. 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 DataSet 구조 설계 홀 이미지 수집 및 측정, 양/불량 판정, 결과 리포팅 데이터 구조를 설계한다.

S1에서 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 데이터수집 홀 이미지 데이터를 취득해 Database에 수집한다.

S2에서 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 마스킹 이미지를 마스킹 처리한다.

S3에서 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 분할 색깔/재질을 분할 처리한다.

S4에서 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 스케일링 그레이스케일링 처리한다.

S5에서 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 모델구성 데이터에 가장 적합한 AI Algorithm을 선정한다.

S6에서 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 AI모델링 선정된 Algorithm, 학습데이터 이용해 패턴을 학습한다.

S7에서 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 모델평가 학습된 Algorithm을 검증데이터를 통해 평가한다.

S8에서 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 시스템 구축 홀 이미지 생성 폴더 감시 및 수집 시스템을 구축한다.

S9에서 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 시스템 실증 구성된 시스템의 작동 상태 및 효율성을 실증 분석한다.

도 5를 참조하면, 본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 개발된 AI 모델을 활용한 AI솔루션 적용으로 검사시간 단축으로 설비가동율 증가에 따른 생산성을 향상시킬 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 체계적인 이미지 데이터 저장 관리 및 양/불량 정보 활용하여 품질 예측 자료로 활용할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 불량 데이터 축적에 따른 불량 원인 및 유형 분석이 가능하다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 하이지노 에센텍MES와 연계하여 측정 검사에 필요한 기준정보 연동과 리포팅 기능을 강화할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 활용 제조데이터 수집·가공·처리 방안을 구축할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 PCB 홀 가공 이미지 데이터를 고배율 현미경(Axio Scope Ai)으로 캡처한 PCB 홀 가공 이미지 데이터로 사용할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 고배율 현미경으로 T-code(T1~T6) 별 홀의 윗면/밑면 이미지를 캡쳐하여 이미지 데이터를 추출할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 원본 이미지를 LOT 별, 일자별 디렉토리 생성 후 홀 캡처 이미지를 저장할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 전처리 이미지 및 AI 측정 이미지 DB 정보를 생성할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 원본 이미지 디렉토리 검색·측정 대상 이미지 파일정보 분석 후, DB에 AI 측정 이미지 데이터 정보 생성 및 이미지 전처리 작업 후, 전처리 디렉토리에 일자별 디렉토리 생성 후 전처리 이미지를 저장할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 현미경 캡처 원본 이미지 저장 서버와는 별도로 AI 전처리 과정과 홀 사이즈 측정 및 학습, 그리고 분석 데이터를 저장 관리할 별도 AI 서버를 이용할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 이미지 정보 분석 결과 및 MES 연계 LOT별 기준정보를 이용하여 데이터 정합성을 확인한 후 저장할 수 있다.

도 6 내지 도 13을 참조하면, 본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 데이터 추출 시 고배율 현미경으로 T코드별(T1~T6) 홀 TOP/BOTTOM 이미지 캡쳐 후 저장할 수 있다. 본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 데이터 수집 및 저장 관리 시, 원본 이미지는 LOT별 일자별 디렉토리 생성 후 홀 이미지 저장할 수 있다. 본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 전처리 이미지 및 AI 측정 이미지 DB 정보 생성 원본 이미지 디렉토리 검색, 측정 대상 이미지 파일정보 분석 후 DB에 AI 측정 이미지 데이터 정보 생성하며 이미지 전처리 작업 후 전처리 디렉토리에 일자별 디렉토리 생성 후 전처리 홀 이미지를 저장할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 전처리 이미지를 기반으로 정확한 원 크기 파악 후 원본 이미지 바탕으로 사이즈를 표시한 측정 이미지를 측정 디렉토리에 일자별 디렉토리 생성 후 저장하고 LOT 기준정보 (MES 연동)와 측정 사이즈를 분석하여 양/불 판정 정보와 사이즈 정보 등 분석정보를 DB에 업데이트할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 작업자에 의해 이루어지는 홀 사이즈 측정을 AI알고리즘을 적용하여 홀 사이즈 측정을 수행할 경우 정확성과 양품/불량품의 차이를 비교 분석할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 분석 예측 결과 AI로 이미지 데이터를 분석하여 기준에 따라 홀의 양/불량 판단 원본 이미지의 홀 사이즈를 측정 한 결과를 표시(원, 지름) - 실증 공정의 정량적 예측 결과 수집된 모든 이미지 데이터의 원 사이즈 측정값과 표시된 이미지를 분석하여 양/불량 판정의 결과를 통합적으로 저장할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는AI 솔루션 학습 데이터 구축 및 훈련 제시 실증 AI 솔루션 개발에 필요한 딥러닝 모델(U-Net)의 적합성을 판단하기 위해 샘플 레이저 공정 이미지를 사용하여 학습 훈련 데이터 구축 및 단위 훈련 테스트를 진행할 수 있다.

이 때, 학습 훈련 데이터는 홀 사이즈 측정 후 생성된 원본 이미지이며, Label 이미지는 원본 이미지로부터 홀 검출을 위해 라벨링한 바이너리 이미지일 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 라벨링 작업 과정에서 VIA(VGG Image Annotator)툴을 사용할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 데이터 전처리 시 학습 효과를 올리기 위해 Input 이미지를 그레이 스케일링할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 학습에 필요한 이미지 크기를 512x512 사이즈로 zero-padding 전처리 하여 크기 비율을 조정할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 이미지 데이터를 numpy 배열 형식으로 변환하고, 학습/평가 데이터를 분리 및 변수 설정 (데이터셋: 288장, train: 200장, val: 56장, test: 32장)하고, 하이퍼 파라미터 설정 (Batch: 4, Epoch: 100)할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 데이터 개수에 따른 Batch 크기는 4로, Epoch는 100으로써 비교적 크게 설정하여 모델 구축 및 훈련 U-Net 네트워크를 구현하고 훈련을 진행할 수 있다.

본 발명에 따른 인공지능 기반 홀　이미지의　자동　품질　검사 장치는 결과 분석 및 샘플을 출력할 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (2)

1. 인공지능　기반　홀　이미지의　자동　품질　검사　장치에 있어서,
   고배율 현미경으로부터 수집한 이미지를 입력하는 입력부;
   상기 수집한 이미지를 전처리하는 전처리부; 및
   기학습된 신경망을 이용하여 전처리된 홀 이미지에 대한 불량 판정을 수행하는 불량판정부를 포함하는 인공지능 기반 홀 이미지의 자동 품질 검사 장치.
   
2. 인공지능　기반　홀　이미지의　자동　품질　검사　방법에 있어서,
   고배율 현미경으로부터 수집한 이미지를 입력하는 단계;
   상기 수집한 이미지를 전처리하는 전처리하는 단계; 및
   기학습된 신경망을 이용하여 전처리된 홀 이미지에 대한 불량 판정을 수행하는 단계를 포함하는 인공지능 기반 홀 이미지의 자동 품질 검사 방법.
   
   

Images