KR102150673B1

KR102150673B1 - 외관불량 검사방법 및 외관불량 검사 시스템

Info

Publication number: KR102150673B1
Application number: KR1020180117506A
Authority: KR
Inventors: 고영준
Original assignee: (주)지엘테크
Priority date: 2018-10-02
Filing date: 2018-10-02
Publication date: 2020-09-01
Also published as: KR20200039049A

Abstract

본 발명의 외관불량 검사방법은 검사용 영상을 획득하는 단계; 상기 검사용 영상을 학습된 dA(Denoising Auto-Encoder)로 복원하고, 상기 복원된 영상과 상기 검사용 영상의 차이를 복원에러맵으로 추출하는 단계; 상기 복원에러맵을 이진에러맵으로 변환하는 단계; 상기 이진에러맵에 모폴로지 프로세싱(morphology image processing) 및 블롭처리(blob processing)로 불량영역의 크기를 계산하고, 상기 불량영역의 크기가 미리 설정된 크기 보다 큰 불량후보를 검출하는 단계; 상기 불량후보의 ROI(region of interest) 패치를 추출하고, 미리 설정된 크기로 스케일링 하는 단계; 및 상기 스케일링된 불량후보의 ROI 패치를 학습된 CNN(Convolution Neural Network)으로 불량확률을 산출하고, 상기 불량확률이 미리 설정된 수치보다 크면 불량품으로 판단하고, 상기 수치 이하이면 양품으로 판단하는 단계;를 포함한다.

Description

외관불량 검사방법 및 외관불량 검사 시스템{INSPECTION METHOD FOR APPEARANCE BADNESS AND INSPECTION SYSTEM FOR APPEARANCE BADNESS}

본 발명은 외관불량 검사방법 및 외관불량 검사 시스템에 관한 것이다.

외관 불량을 검사하는 기술은 비교적 오래된 기술로서 제품 생산이 자동화 되면서 등장하기 시작하였다. 그동안 사람이 일일이 검사하던 것을 대체하여 카메라와 영상 처리 기술을 이용한 자동화 검사 시스템에 의해 생산성은 향상되었으며 일관성 있는 검사를 통해 품질이 높아지는 결과를 가져왔다.

그런데, IT 기술의 급격한 발전과 폭발적인 IT 수요가 생기면서 반도체, 디스플레이, pcb 공정의 트랜드 역시 급변하고 있는 추세이며, 특히 경박단소화로 불리는 기술 트랜드로 인해 공정이 복잡해지고 미세화 되면서 불량 검사에 대한 새로운 수요가 증가하고 있으나 불량의 종류가 다양해지고 양품과의 경계가 모호해 지면서 종래 검사 방식에 의한 검사 기술로는 효과적인 검사가 이루어지지 않고 있는 실정이다.

기존의 외관 불량 검사 시스템에서는 숙련된 전문가가 경험을 바탕으로 전처리 및 특징 추출 과정을 수행하여야 했고, 피검사체에 따라 적절한 전처리 및 특징 추출이 필요한 점에서 외관 검사 시스템을 자동화하는데 어려움이 있었다.

따라서, 최적화된 영상 전처리 및 최적의 프로세스를 통해 고도의 추상적인 특징도 추출 가능하여, 검사 정확도 개선, 자동화 및 생산성 향상이 가능한 외관불량 검사방법 및 외관불량 검사 시스템이 필요한 실정이다.

본 발명의 목적은 검사 정확도가 개선된 외관불량 검사방법 및 외관불량 검사 시스템을 제공하기 위한 것이다.

본 발명의 다른 목적은 자동화가 가능하고, 생산성이 향상된 외관불량 검사방법 및 외관불량 검사 시스템을 제공하기 위한 것이다.

본 발명의 상기 및 기타의 목적들은 하기 설명되는 본 발명에 의하여 모두 달성될 수 있다.

본 발명의 하나의 관점은 외관불량 검사방법에 관한 것이다.

일 구체예에 따르면, 상기 외관불량 검사방법은 검사용 영상을 획득하는 단계; 상기 검사용 영상을 학습된 dA(Denoising Auto-Encoder)로 복원하고, 상기 복원된 영상과 상기 검사용 영상의 차이를 복원에러맵으로 추출하는 단계; 상기 복원에러맵을 이진에러맵으로 변환하는 단계; 상기 이진에러맵에 모폴로지 프로세싱(morphology image processing) 및 블롭처리(blob processing)로 불량영역의 크기를 계산하고, 상기 불량영역의 크기가 미리 설정된 크기 보다 큰 불량후보를 검출하는 단계; 상기 불량후보의 ROI(region of interest) 패치를 추출하고, 미리 설정된 크기로 스케일링 하는 단계; 및 상기 스케일링된 불량후보의 ROI 패치를 학습된 CNN(Convolution Neural Network)으로 불량확률을 산출하고, 상기 불량확률이 미리 설정된 수치보다 크면 불량품으로 판단하고, 상기 수치 이하이면 양품으로 판단하는 단계;를 포함한다.

또한, 상기 dA(Denoising Auto-Encoder)는 양품의 영상으로만 학습시키는 것일 수 있다.

또한, 상기 이진에러맵으로 변환하는 단계는 하기 식 1의

을 문턱값으로 사용할 수 있다.

[식 1]

,

(상기 식 1에서,

는 입력 영상의 (i, j) 위치에 해당하는 픽셀의 밝기,

는 복원된 영상의 픽셀 밝기,

는 입력 영상의 폭,

는 입력 영상의 높이 이며,

은 학습 시 사용된 영상의 총 개수임).

또한, 상기 불량후보의 ROI(region of interest) 패치를 스케일링 하는 단계는 128x128의 크기로 스케일링할 수 있다.

다른 구체예에 따르면, 상기 CNN(Convolution Neural Network)은 CAE(Convolutional Auto-Encoder)와 CFN(Convolutional Fully-connected Net)로 구성될 수 있다.

또한, 상기 외관불량 검사방법은 상기 CAE로부터 활성화맵(activation map)을 활용하여 불량의 위치를 검출하고, 상기 활성화맵의 임의의 픽셀 (i, j)의 양품 및 불량품 판단은 하기 식 2에 의할 수 있다.

[식 2]

(상기 식 2에서,

는 (i,j) 픽셀 위치에서의 활성화 맵(activation map)의 활성화 값(activation value)을 나타내며

는 알고 있는 R개의 양품 영상 패치(patch)를 CNN에 투입했을 때 CAE(Convolutional Auto-Encoder)로부터 얻은 활성화 맵(activation map)에서의 활성화 값(activation value)들의 전체 평균값이며, H는 양품 영상 패치의 높이, W는 양품 영상 패치의 폭, m은 채널 깊이임).

본 발명의 다른 관점은 외관불량 검사 시스템에 관한 것이다.

일 구체예에 따르면, 상기 외관불량 검사 시스템은 피검사품의 외관을 촬영하는 카메라; 상기 카메라에서 촬영된 영상을 학습된 dA(Denoising Auto-Encoder)로 불량후보를 검출하고, 학습된 CNN(Convolution Neural Network)으로 불량품을 판단하는 제어부; 및 상기 제어부에서 불량품으로 판단되면 상기 제어부의 신호에 따라 신호를 출력하는 알림부를 포함하고, 상기 제어부는 제1항 내지 제6항 중 어느 한 항의 검사방법으로 불량을 판단할 수 있다.

본 발명은 검사 정확도가 개선되고, 자동화가 가능하며, 생산성이 향상된 외관불량 검사방법 및 외관불량 검사 시스템을 제공하는 효과를 갖는다.

도 1은 본 발명의 일 구체예에 따른 외관불량 검사방법의 순서도를 간단히 도시한 것이다.
도 2는 본 발명의 다른 구체예에 따른 외관불량 검사방법의 CNN 구성에 대한 개념도를 간단히 도시한 것이다.

이하, 본 발명에 대해 보다 구체적으로 설명한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

본 명세서 상에서 언급한 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

또한, 구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

또한, 본 명세서에 있어서, 범위를 나타내는 'X 내지 Y'는 'X 이상 Y 이하'를 의미한다.

도 1을 참고하여 본 발명의 일 구체예에 따른 외관불량 검사방법을 설명한다. 도 1은 본 발명의 일 구체예에 따른 외관불량 검사방법의 순서도를 간단히 도시한 것이다.

도 1을 참고하면, 본 발명의 일 구체예에 따른 외관불량 검사방법은 검사용 영상을 획득하는 단계; 상기 검사용 영상을 학습된 dA(Denoising Auto-Encoder)로 복원하고, 상기 복원된 영상과 상기 검사용 영상의 차이를 복원에러맵으로 추출하는 단계; 상기 복원에러맵을 이진에러맵으로 변환하는 단계; 상기 이진에러맵에 모폴로지 프로세싱(morphology image processing) 및 블롭처리(blob processing)로 불량영역의 크기를 계산하고, 상기 불량영역의 크기가 미리 설정된 크기 보다 큰 불량후보를 검출하는 단계; 상기 불량후보의 ROI(region of interest) 패치를 추출하고, 미리 설정된 크기로 스케일링 하는 단계; 및 상기 스케일링된 불량후보의 ROI 패치를 학습된 CNN(Convolution Neural Network)으로 불량확률을 산출하고, 상기 불량확률이 미리 설정된 수치보다 크면 불량품으로 판단하고, 상기 수치 이하이면 양품으로 판단하는 단계;를 포함한다.

이하, 각 단계들에 대해 구체적으로 설명한다.

상기 검사용 영상을 획득하는 단계는 영상을 얻을 수 있는 수단을 사용할 수 있다. 예를 들어 카메라를 사용하여 피검사체의 외관을 촬영하는 방법으로 검사용 영상을 획득할 수 있으며, 이에 제한되는 것은 아니다.

본 발명에서 적용되는 dA(Denoising Auto-Encoder)는 양품의 영상에 임의로 노이즈(noise)를 부가한 후, 이러한 노이즈(noise)를 제거하여 노이즈(noise)를 추가하기 부가하기 전의 양품 영상을 추출하는 모델로써, 추출된 영상이 노이즈 부가 전의 순수 양품의 영상 값인지를 확인하는 과정으로 학습한다. 또한, 상기 학습은 다양한 종류 및 정도의 노이즈를 부가(예를 들어 노이즈가 25% 내지 50% 범위)하여 학습 시킬 수 있고, 이렇게 학습된 dA는 좀더 분명한 특징을 학습하도록 만들어 줄 수 있다. 따라서, 본원발명에서 dA는 불량품을 포함하는 라벨링된 데이터로 학습되지 않았지만, 불량후보를 검출하기 충분한 효과를 낼 수 있으며, 후술하는 CNN 단계 이전에 불량후보를 추출하고, 특정 크기 이하의 ROI를 CNN에 제공하게 됨으로써, 판단 속도도 우수한 장점이 있다. 또한, 불량품을 포함하는 라벨링된 데이터를 충분히 확보하는 것이 현실적으로 어려운 점에서 dA를 학습시키기 용이한 장점이 있다.

상기 학습은 예를 들어 양품의 영상에 랜덤 노이즈나 일정 영역 전체를 일정한 값으로 채우는 방식으로 원 영상을 변환하고, 정규화를 통해 입력 영상의 값을 0 내지 1.0 값으로 변경하고, 학습되지 않은 dA에 투입하여 dA의 예측을 얻는다. 상기 dA의 예측은 0 내지 1.0 사이의 값을 갖는 복원된 영상이며, 이는 원 영상과 차이가 있다. 이러한 차이를 cost(복원에러)로 정의(하기 식 3)하고, 역전파(back propagation) 방법을 이용하여 cost(복원에러) 값이 미리 설정해둔 기준 이상 변하지 않거나 dA 내부의 가중치와 바이어스가 더 이상 변하지 않거나 미리 정해진 반복 회수에 도달하면 학습이 끝나게 된다.

[식 3]

(상기 식 3에서,

는 입력 영상의 (i, j) 위치에 해당하는 픽셀의 밝기,

는 복원된 영상의 픽셀 밝기,

는 입력 영상의 폭,

는 입력영상의 높이 이며

은 한 묶음(batch) 의 영상의 개수이다

상기 검사용 영상은 상기 학습된 dA(Denoising Auto-Encoder)로 복원하는 단계를 수행한다. 그리고, 상기 복원된 영상과 상기 검사용 영상의 차이를 복원에러맵으로 추출하는 단계를 거친다.

상기 복원에러맵은 이진에러맵으로 변환하는 단계를 거치는데, 이 경우 하기 식 1의

을 문턱값으로 사용할 수 있다. 이 경우, 검사 정확도가 개선되는 효과가 있다. 한편,

값 정도의 에러는 정상 상태의 복원에서도 발생할 수 있는 에러임을 의미할 수 있다.

[식 1]

,

(상기 식 1에서,

는 입력 영상의 (i, j) 위치에 해당하는 픽셀의 밝기,

는 복원된 영상의 픽셀 밝기,

는 입력 영상의 폭,

는 입력 영상의 높이 이며,

은 학습 시 사용된 영상의 총 개수임).

상기 이진에러맵은 시스템 노이즈로 인하여 불량이 아니지만 불량으로 인식 될 수 있는 작은 크기의 데이터들을 제거하기 위하여 모폴로지 프로세싱(morphology image processing)을 수행하고, 불량영역의 위치, 크기 들을 계산할 수 있도록 블롭처리(blob processing)를 수행할 수 있다. 상기 과정으로 계산된 불량영역의 크기가 미리 설정(검사 환경 및 검사 목적 등에 따라 적절히 정할 수 있음)된 크기 보다 큰 경우 불량후보로 판단한다.

불량후보로 판단된 블롭(blob)에 대해서는 ROI(region of interest) 패치를 추출하고, 후술하는 CNN의 계산속도 및 활성화 맵의 크기 등을 고려하여 미리 설정된 크기로 스케일링 될 수 있다. 예를 들어, 상기 불량후보의 ROI(region of interest) 패치를 스케일링 하는 단계는 128x128의 크기로 스케일링할 수 있다. 이 경우 검사 속도가 우수하여, 생산성을 향상시킬 수 있는 장점이 있다.

본 발명에 적용되는 CNN(Convolution Neural Network)은 특징 추출과 양품, 불량의 분류를 목적으로 한다. 분류 목적에 사용 가능한 모든 형태의 딥 뉴럴넷과 SVM(Support Vector Machine)을 사용 할 수 있다. 보통은 여러 단의 컨벌류션 층(Convolution layers)에 몇 단의 완전 연결 층(fully connected layers)을 붙여 사용할 수 있다. 본 명세서에서는 이러한 구조의 일반적인 뉴럴넷을 통상 CNN(컨벌루션얼 뉴럴넷)으로 지칭한다. CNN은 구조적인 특성상 여러 단의 컨벌루션 커널(3x3, 5x5, 7x7 등)을 이용하여 특징을 추출할 수 있다. 풀링(Max pooling)이라는 메커니즘을 사용하여 입력 영상의 크기를 점진적으로 축소(dimension reduction)시키며 영상 안에서 객체의 위치에 관계없이(position invariant) 의미 있는 정보를 추출할 수 있도록 되어 있다. 때문에 CNN의 깊은 층으로 갈수록 더욱더 추상화된 특징 추출이 가능하다. 이러한 고도의 추상화는 관련 분야의 전문적인 지식(domain knowledge)를 가지고 있는 전문가도 상상하지 못하는 수준으로 이루어지기 때문에 딥 뉴럴넷을 잘 구성하면 검사 대상이 바뀔 때마다 새로운 특징을 추출하기 위하여 코드를 수정하고 알고리즘을 새로 개발해야하는 현실적 번거로움도 해결할 수 있는 장점이 있다.

또한, 학습 과정 자체가 역전파(back propagation)방법을 이용하여 전체 학습 에러를 줄여가는 최적화를 사용하므로 종래의 기술처럼 특징을 이용하여 엔지니어가 일일이 분류 규칙(selection rule)을 만들 필요가 없으며 학습 과정을 통해 자연스럽게 다차원 결정 경계면(multi-dimensional decision boundary)을 얻을 수 있는 장점이 있다.

구체적으로, 상기 CNN의 학습은 하기 식 4에서 정의되는 cost(총에러)가 미리 설정해둔 기준 이상 변하지 않거나, 미리 정해진 반복회수에 도달하면 학습이 끝나게 된다.

[식 4]

상기 불량후보의 ROI 패치를 학습된 CNN(Convolution Neural Network)에 투입하면, 출력 값은 불량에 대한 확률 지도로 나타나는데, 즉 상기 불량후보의 ROI 패치를 학습된 CNN(Convolution Neural Network)으로 불량확률을 산출하고, 상기 불량확률이 미리 설정된 수치보다 크면 불량품으로 판단하고, 상기 수치 이하이면 양품으로 판단한다.

일 구체예에 따르면, 본 발명에 적용되는 CNN(Convolution Neural Network)은 CFN(Convolutional Fully-connected Net)으로만 구성되어 학습된 것일 수 있다. 이 경우 검사 속도를 극대화하여 생산성을 더욱 향상시킬 수 있는 장점이 있다.

도 2를 참고하면 특징 추출과 분류용 딥 뉴럴넷인 CNN은 CAE(Convolutional Auto-Encoder)와 CFN(Convolutional Fully-Connected Net) 두 부분으로 구성되며 동시에 학습된다. 활성화 맵(activation map)(30)은 W x H x m 차원이며 m은 채널 깊이이다.

상기 활성화 맵(activation map)(30)의 임의의 픽셀 (i,j)가 양품 픽셀(

)인지 불량 픽셀(

)인지 아래 식 2에 의해 정해질 수 있다.

[식 2]

(상기 식 2에서,

일 구체예에 따르면, 상기 외관불량 검사 시스템은 피검사품의 외관을 촬영하는 카메라, 상기 카메라에서 촬영된 영상을 학습된 dA(Denoising Auto-Encoder)로 불량후보를 검출하고, 학습된 CNN(Convolution Neural Network)으로 불량품을 판단하는 제어부, 및 상기 제어부에서 불량품으로 판단되면 상기 제어부의 신호에 따라 신호를 출력하는 알림부를 포함하고, 상기 제어부는 상기 본 발명의 일 관점에 따른 검사방법으로 불량을 판단할 수 있다.

이상 본 발명의 구체예들을 설명하였으나, 본 발명은 상기 구체예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 구체예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

Claims

검사용 영상을 획득하는 단계;
상기 검사용 영상을 학습된 dA(Denoising Auto-Encoder)로 복원하고, 상기 복원된 영상과 상기 검사용 영상의 차이를 복원에러맵으로 추출하는 단계;
상기 복원에러맵을 이진에러맵으로 변환하는 단계;
상기 이진에러맵에 모폴로지 프로세싱(morphology image processing) 및 블롭처리(blob processing)로 불량영역의 크기를 계산하고, 상기 불량영역의 크기가 미리 설정된 크기 보다 큰 불량후보를 검출하는 단계;
상기 불량후보의 ROI(region of interest) 패치를 추출하고, 미리 설정된 크기로 스케일링 하는 단계; 및
상기 스케일링된 불량후보의 ROI 패치를 학습된 CNN(Convolution Neural Network)으로 불량확률을 산출하고, 상기 불량확률이 미리 설정된 수치보다 크면 불량품으로 판단하고, 상기 수치 이하이면 양품으로 판단하는 단계;
를 포함하는 외관불량 검사방법.
제1항에 있어서,
상기 dA(Denoising Auto-Encoder)는 양품의 영상으로만 학습시키는 것을 특징으로 하는 외관불량 검사방법.
제1항에 있어서,
상기 이진에러맵으로 변환하는 단계는 하기 식 1의
을 문턱값으로 사용하는 외관불량 검사방법:
[식 1]

,
(상기 식 1에서,
는 입력 영상의 (i, j) 위치에 해당하는 픽셀의 밝기,
는 복원된 영상의 픽셀 밝기,
는 입력 영상의 폭,
는 입력 영상의 높이 이며,
은 학습 시 사용된 영상의 총 개수임).
제1항에 있어서,
상기 불량후보의 ROI(region of interest) 패치를 스케일링 하는 단계는 128x128의 크기로 스케일링하는 외관불량 검사방법.
제1항에 있어서,
상기 CNN(Convolution Neural Network)은 CAE(Convolutional Auto-Encoder)와 CFN(Convolutional Fully-connected Net)로 구성되는 외관불량 검사방법.
삭제
피검사품의 외관을 촬영하는 카메라;
상기 카메라에서 촬영된 영상을 학습된 dA(Denoising Auto-Encoder)로 불량후보를 검출하고, 학습된 CNN(Convolution Neural Network)으로 불량품을 판단하는 제어부; 및
상기 제어부에서 불량품으로 판단되면 상기 제어부의 신호에 따라 신호를 출력하는 알림부를 포함하고,
상기 제어부는 제1항 내지 제5항 중 어느 한 항의 검사방법으로 불량을 판단하는 외관불량 검사 시스템.