KR102619486B1 - 고해상도 컬러 변환이 구현된 검사시스템 - Google Patents

Abstract

본 발명에서는 검사시스템이 개시된다. 상기 검사시스템은, 검사 대상으로부터 촬상 이미지를 생성하기 위한 카메라 모듈과, 검사 대상의 양불 판별에 관한 분류를 수행하는 제1 기계학습모듈과, 저해상도의 상기 촬상 이미지를 고해상도 이미지로 변환하기 위한 영상 처리를 수행하는 제2 기계학습모듈과, 제1, 제2 기계학습모듈을 제어하기 위한 제어 유닛을 포함할 수 있다.
본 발명의 검사시스템에 의하면, 저해상도 그레이 스케일의 1채널의 이미지로부터 고해상도 R,G,B 3채널의 이미지를 생성할 수 있는 신경망을 통하여 광학 렌즈의 심도에 따른 착란원(circle of confusion) 또는 상퍼짐(blurring)과 같은 아웃 포커스(out of focus)가 없는 선명한 고해상도의 이미지가 제공될 수 있으며, 특히, 결함 여부와 밀접하게 관련되어 있는 패턴의 에지에서와 같이 심도 방향을 따라 불연속적인 경계에서 상퍼짐(blurring)이 없는 선명한 이미지를 제공함으로써, 결함 여부 내지는 양불 판별에 관한 자동화된 검사의 정확도가 향상될 수 있다.

Description

고해상도 컬러 변환이 구현된 검사시스템{Inspection system implementing image conversion for super resolution and colorization}

본 발명은 고해상도 컬러 변환이 구현된 검사시스템에 관한 것이다.

검사시스템은, 절연 필름을 지지 기반으로 하여, 절연 필름의 적어도 일면 상에 형성된 패턴을 포함하는 기판을 검사 대상으로 하며, 단위기판으로 절단되기 이전의 연속적인 릴 형태 또는 판상의 모 기판 형태로 형성된 기판을 대상으로 하여, 기판 상의 결함 유무 내지는 양불 판별에 관한 자동화된 검사를 수행할 수 있다.

본 발명의 일 실시형태는, 저해상도 그레이 스케일의 1채널의 이미지로부터 고해상도 R,G,B 3채널의 이미지를 생성할 수 있는 신경망을 통하여 결함 여부와 밀접하게 관련되어 있는 패턴의 에지에서와 같이 광학 렌즈의 심도 방향을 따라 불연속적인 경계에서 상퍼짐(blurring)이 없는 선명한 이미지를 제공함으로써, 결함 여부 내지는 양불 판별에 관한 자동화된 검사의 정확도가 향상될 수 있는 검사시스템을 포함할 수 있다.

상기와 같은 과제 및 그 밖의 과제를 해결하기 위하여, 본 발명의 일 실시형태에 따른 검사시스템은,

검사 대상으로부터 촬상 이미지를 생성하기 위한 카메라 모듈;

상기 검사 대상의 양불 판별에 관한 분류를 수행하는 제1 기계학습모듈;

저해상도의 상기 촬상 이미지를 고해상도 이미지로 변환하기 위한 영상 처리를 수행하는 제2 기계학습모듈; 및

상기 제1, 제2 기계학습모듈을 제어하기 위한 제어 유닛;을 포함할 수 있다.

예를 들어, 상기 카메라 모듈은, 저해상도 카메라 모듈 및 고해상도 카메라 모듈을 포함하고,

상기 저해상도 카메라 모듈은,

상기 제1 기계학습모듈의 분류를 위한 입력으로서 그레이 스케일의 저해상도 촬상 이미지를 제공하거나 또는,

상기 제2 기계학습모듈의 영상 처리를 위한 입력으로서 그레이 스케일의 저해상도 촬상 이미지를 제공할 수 있다.

예를 들어, 상기 제2 기계학습모듈은 상기 저해상도 카메라 모듈에 의해 생성된 그레이 스케일의 저해상도 촬상 이미지를 R,G,B, 컬러의 고해상도 이미지로 변환할 수 있다.

예를 들어, 상기 제2 기계학습모듈은, 상기 저해상도 카메라 모듈 및 고해상도 카메라 모듈에 의해 함께 제공된 학습 데이터로부터 학습된 가중치를 포함하고,

상기 저해상도 카메라 모듈로부터 생성된 저해상도 촬상 이미지를 입력으로 하고, 상기 고해상도 카메라 모듈로부터 생성된 고해상도 촬상 이미지를 타겟으로 하여, 상기 제2 기계학습모듈의 가중치가 갱신될 수 있다.

예를 들어, 상기 고해상도 카메라 모듈에 의해 제공되는 광학적인 배율과 상기 제2 기계학습모듈에 의해 업-스케일(up-scale)되는 배율은 실질적으로 동일할 수 있다.

예를 들어, 상기 제1 기계학습모듈은 제2 기계학습모듈의 전단에 연결되며,

상기 제1 기계학습모듈은 상기 촬상 이미지로부터 양불 판별에 관한 분류를 수행하고,

상기 제2 기계학습모듈은 상기 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 분류된 이미지에 대해 선별적으로 상기 촬상 이미지를 고해상도 이미지로 변환하여, 제1 기계학습모듈의 분류에 대한 재검에 제공할 수 있다.

예를 들어, 상기 제1 기계학습모듈은 상기 제2 기계학습모듈의 후단에 연결되며,

상기 제2 기계학습모듈은 상기 촬상 이미지를 고해상도 이미지로 변환하고,

상기 제1 기계학습모듈은 상기 제2 기계학습모듈에 의해 변환된 고해상도 이미지로부터 양불 판별에 관한 분류를 수행할 수 있다.

예를 들어, 상기 제어 유닛은, 상기 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 분류된 이미지에 대해 선별적으로 제2 기계학습모듈로부터 변환된 고해상도 이미지를 제1 기계학습모듈의 분류에 대한 재검에 제공할 수 있다.

예를 들어, 상기 제어 유닛은, 상기 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 분류된 이미지에 대해 선별적으로, 상기 제1 기계학습모듈의 분류에 대한 재검에 제공할 수 있다.

예를 들어, 상기 제어 유닛은, 상기 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 양품으로 분류된 이미지에 대해서는, 상기 제1 기계학습모듈의 분류에 대한 재검에 제공하지 않을 수 있다.

예를 들어, 상기 제어 유닛은, 상기 재검을 통하여 상기 제1 기계학습모듈의 오류적인 분류로 판단된 과검 데이터에 대해, 제1 기계학습모듈의 재학습을 위한 학습 데이터로 분류하여 저장 장치에 축적할 수 있다.

예를 들어, 상기 제어 유닛은, 상기 과검 데이터에 대해, 상기 재검을 통하여 판단된 양품을 지시하는 타겟 레이블을 부여하며, 상기 과검 데이터를 타겟 레이블과 연계시켜 저장할 수 있다.

예를 들어, 상기 제어 유닛은, 상기 과검 데이터에 대한 재검을 완료한 검사자의 입력에 따라 상기 타겟 레이블을 부여할 수 있다.

예를 들어, 상기 제1 기계학습모듈은 상기 과검 데이터를 학습 데이터로 하여 재학습된 가중치를 포함하고,

상기 제2 기계학습모듈은 상기 과검 데이터를 학습 데이터로 하여 재학습된 가중치를 포함하지 않고, 상기 카메라 모듈 중, 저해상도 카메라 모듈 및 고해상도 카메라 모듈에 의해 제공된 학습 데이터로부터 학습된 가중치를 포함할 수 있다.

예를 들어, 상기 과검 데이터는,

i) 상기 제1 기계학습모듈이 제2 기계학습모듈의 전단에 연결되면, 상기 제1 기계학습모듈의 입력으로서 상기 카메라 모듈로부터 생성된 저해상도 촬상 이미지를 포함하고,

ii) 상기 제1 기계학습모듈이 상기 제2 기계학습모듈의 후단에 연결되면, 상기 제1 기계학습모듈의 입력으로서 상기 제2 기계학습모듈에 의해 변환된 고해상도 이미지를 포함할 수 있다.

본 발명의 다른 측면에 따른 검사시스템은,

각각 검사 대상에 대한 촬상 이미지를 제공하는 것으로, 저해상도 촬상 이미지를 생성하기 위한 저해상도 카메라 모듈 및 고해상도 촬상 이미지를 생성하기 위한 고해상도 카메라 모듈을 포함하는 카메라 모듈;

상기 저해상도 카메라 모듈로부터 생성된 저해상도 촬상 이미지를 고해상도 이미지로 변환하기 위한 제2 기계학습모듈;

상기 제2 기계학습모듈로부터 변환된 고해상도 이미지로부터 상기 검사 대상의 양불 판별에 관한 검사를 수행하기 위한 비전검사모듈; 및

상기 카메라 모듈, 제2 기계학습모듈 및 비전검사모듈을 제어하기 위한 제어 유닛;을 포함할 수 있다.

예를 들어, 상기 제2 기계학습모듈은 상기 저해상도 카메라 모듈에 의해 생성된 그레이 스케일의 저해상도 촬상 이미지를 R,G,B, 컬러의 고해상도 이미지로 변환할 수 있다.

예를 들어, 상기 제2 기계학습모듈은, 상기 저해상도 카메라 모듈 및 고해상도 카메라 모듈에 의해 함께 제공된 학습 데이터로부터 학습된 가중치를 포함하고,

상기 저해상도 카메라 모듈로부터 생성된 저해상도 촬상 이미지를 입력으로 하고, 상기 고해상도 카메라 모듈로부터 생성된 고해상도 촬상 이미지를 타겟으로 하여, 상기 제2 기계학습모듈의 가중치가 갱신될 수 있다.

예를 들어, 상기 고해상도 카메라 모듈에 의해 제공되는 광학적인 배율과 상기 제2 기계학습모듈에 의해 업-스케일(up-scale)되는 배율은 실질적으로 동일할 수 있다.

예를 들어, 상기 제어 유닛은, 상기 비전검사모듈의 구동 중에,

상기 비전검사모듈과 연결된 제2 기계학습모듈로 입력되는 저해상도 촬상 이미지를 생성하기 위한 저해상도 카메라 모듈의 온(ON) 상태를 유지하고,

상기 제2 기계학습모듈의 학습 데이터에 대한 타겟 레이블을 부여하기 위한 고해상도 카메라 모듈은, 학습 데이터의 수집을 위해 선택적으로 온(ON) 상태를 유지할 수 있다.

본 발명의 검사시스템에 의하면, 저해상도 그레이 스케일의 1채널의 이미지로부터 고해상도 R,G,B 3채널의 이미지를 생성할 수 있는 신경망을 통하여 광학 렌즈의 심도에 따른 착란원(circle of confusion) 또는 상퍼짐(blurring)과 같은 아웃 포커스(out of focus)가 없는 선명한 고해상도의 이미지가 제공될 수 있으며, 특히, 결함 여부와 밀접하게 관련되어 있는 패턴의 에지에서와 같이 심도 방향을 따라 불연속적인 경계에서 상퍼짐(blurring)이 없는 선명한 이미지를 제공함으로써, 결함 여부 내지는 양불 판별에 관한 자동화된 검사의 정확도가 향상될 수 있다.

도 1에는 본 발명의 제1 실시형태에 따른 검사시스템의 전체적인 구성을 보여주는 도면이 도시되어 있다.
도 2에는 본 발명의 제1 실시형태에서 촬상 이미지로부터 제공되는 그레이 스케일의 1채널 이미지를 입력으로 하는 제1 기계학습모델에 적용될 수 있는 CNN (Convolution Neural Network) 신경망을 설명하기 위한 도면으로, 이해의 편의를 위하여 단순화된 CNN 신경망 모델이 도시되어 있다.
도 3에는 본 발명의 제2 실시형태에서 촬상 이미지로부터 제공되는 그레이 스케일 저해상도의 1채널 이미지를 입력으로 하여, R,G,B 컬러 고해상도의 3채널 이미지를 출력하는 제2 기계학습모듈에 적용될 수 있는 CNN (Convolution Neural Network) 신경망을 설명하기 위한 도면으로, 이해의 편의를 위하여 단순화된 CNN 신경망 모델이 도시되어 있다.
도 4에는 도 3에 도시된 CNN 신경망 모델에서 특성 맵의 연산을 위한 전치 합성곱(transposed convolution)을 설명하기 위한 개략적인 도면이 도시되어 있다.
도 5에는 광학적인 배율의 증가에 따른 아웃 포커스를 설명하기 위한 개략적인 도면이 도시되어 있다.
도 6 및 7에는 본 발명의 제1 실시형태에서 가치평가 모듈에 의해 수행되는 가치평가의 기준으로서 가중치의 변화량의 연산을 설명하기 위한 도면으로, 제1 기계학습모듈에 적용되는 CNN 신경망을 여러 개의 단일 뉴런이 연결된 신경망으로 단순화시킨 모델에서 가중치의 변화량이 연산되는 역전파 알고리즘을 설명하기 위한 도면이 도시되어 있다.
도 8에는 시간의 경과에 따라 제1 기계학습모듈의 예측의 정확도가 변화하는 프로파일이 도시되어 있다.
도 9에는 재학습을 통하여 양불의 두 분류를 결정하는 결정 경계가 정교하게 생성되는 것을 모식적으로 보여주는 도면이 도시되어 있다.
도 10에는 본 발명의 제2 실시형태에 따른 검사시스템의 전체적인 구성을 보여주는 도면이 도시되어 있다.
도 11에는 본 발명의 제2 실시형태에서 제2 기계학습모듈로부터 제공되는 R,G,B 컬러의 3채널의 이미지를 입력으로 하는 제1 기계학습모델에 적용될 수 있는 CNN (Convolution Neural Network) 신경망 모델을 설명하기 위한 도면으로, 이해의 편의를 위하여 단순화된 CNN 신경망 모델이 도시되어 있다.
도 12에는 본 발명의 제3 실시형태에 따른 검사시스템의 전체적인 구성을 보여주는 도면이 도시되어 있다.

이하, 첨부된 도면을 참조하여, 본 발명의 바람직한 실시형태에 관한 검사시스템에 대해 설명하기로 한다.

<제1 실시형태>

도 1에는 본 발명의 제1 실시형태에 따른 검사시스템의 전체적인 구성을 보여주는 도면이 도시되어 있다.

본 발명의 제1 실시형태에 따른 검사시스템은, 검사 대상인 기판에 대한 촬상 이미지를 제공하는 적어도 하나의 카메라 모듈과, 상기 카메라 모듈로부터 생성된 촬상 이미지로부터 기판의 결함 유무 내지는 양불 판별에 관한 이진 분류를 수행하기 위한 제1 기계학습모듈과, 카메라 모듈로부터 생성된 촬상 이미지를 고해상도의 이미지로 변환하기 위한 제2 기계학습모듈을 포함할 수 있다.

본 발명의 제1 실시형태에서, 카메라 모듈로부터 제공되는 촬상 이미지란, 그레이 스케일의 저해상도의 이미지에 해당될 수 있으며, 본 발명의 일 실시형태에 따른 검사시스템은, 상대적으로 낮은 저배율의 광학 렌즈 및/또는 상대적으로 낮은 저해상도의 촬상 소자를 포함하는 카메라 모듈을 적용하면서도, 제2 기계학습모듈을 통하여 카메라 모듈로부터 출력되는 그레이 스케일의 저해상도 이미지로부터 R,G,B 컬러의 고해상도 이미지를 생성할 수 있으며, 제2 기계학습모듈을 통하여 획득된 고해상도 이미지는 기판의 결함 여부 내지는 양불 판별에 관한 육안 검사를 위하여 검사자에게 제공될 수 있다. 이와 같이, 본 발명의 제1 실시형태에 따른 검사시스템은, 카메라 모듈로부터 생성된 촬상 이미지에 근거하여 양불 판별에 관한 이진 분류를 수행하는 제1 기계학습모듈을 통하여 검사 대상인 기판에 대한 자동화 검사를 지원할 수 있으며, 자동화 검사와 병행하여, 제1 기계학습모듈에 의해 판단된 결함의 재검(또는 리뷰)을 위하여 제2 기계학습모듈을 통하여 저해상도의 촬상 이미지를 고해상도의 이미지로 변환하여 검사자에게 지원하는 방식으로 육안 검사를 지원할 수 있다.

본 발명의 제1 실시형태에서, 상기 제1 기계학습모듈은 제2 기계학습모듈의 전단에 연결될 수 있으며, 이때, 상기 제1 기계학습모듈은 카메라 모듈로부터 생성된 촬상 이미지로부터 양불 판별에 관한 분류를 수행하고, 제2 기계학습모듈은 제1 기계학습모듈에 의한 양불 판별의 재검을 위하여 촬상 이미지를 고해상도 이미지로 변환할 수 있다. 즉, 본 발명의 제1 실시형태에서, 상기 제1 기계학습모듈은 카메라 모듈로부터 제공되는 그레이 스케일의 저해상도 촬상 이미지를 입력으로 하여 양불 판별에 관한 이진 분류를 수행할 수 있다.

상기 제1 기계학습모듈은, 카메라 모듈에 의해 포착된 촬상 이미지로부터 시각적인 정보 내지는 시각적인 정보를 바탕으로 하는 추상적인 정보와 같은 고수준의 특성을 추출하도록 특성 맵을 생성하고, 양불 판별에 관한 클래스 레이블을 예측하기 위한 인공지능의 신경망 모델을 포함할 수 있으며, 보다 구체적으로, CNN (Convolution Neural Network) 신경망 모델을 포함할 수 있다.

도 2에는 본 발명의 제1 실시형태에서 촬상 이미지로부터 제공되는 그레이 스케일의 1채널 이미지를 입력으로 하는 제1 기계학습모델에 적용될 수 있는 CNN (Convolution Neural Network) 신경망을 설명하기 위한 도면으로, 이해의 편의를 위하여 단순화된 CNN 신경망 모델이 도시되어 있다.

본 발명의 제1 실시형태에서, 상기 제1 기계학습모듈은 카메라 모듈로부터 생성된 그레이 스케일의 촬상 이미지를 입력으로 하고, 행열에 해당되는 2차원의 화소 배열과 2차원 배열의 가중치에 해당되는 커널(또는 필터)의 합성곱(convolution)을 수행하여 특성 맵을 생성할 수 있으며, 본 발명의 일 실시형태에서는 촬상 이미지를 구현하는 2차원의 화소 배열과 2차원 배열의 학습된 가중치(커널 또는 필터)의 합성곱 및 이들 합성곱에 활성화 함수가 적용되는 합성곱층을 포함하는 다계층 신경망의 심층 신경망 모델(deep neural network)이 적용될 수 있으며, 본 발명의 일 실시형태에 따른 제1 기계학습모듈은 심층 신경망 모델이 적용된 딥 러닝 기반의 자동화 검사를 수행할 수 있다.

본 발명의 제1 실시형태에서, 상기 가중치는, 사전에 준비된 학습 데이터 세트로서, 양불 판별에 관한 클레스 레이블이 타겟으로 주어진 촬상 이미지를 입력으로 하는 신경망 모델의 출력으로서의 추정 클래스 레이블(양불 판별에 관한 추정)과 주어진 타겟 레이블 사이의 오차가 감소되도록 최소화시키려는 비용 함수(또는 손실 함수)의 편도 함수를 계산해주는 역전파(backpropagation) 알고리즘을 적용하고, 비용 함수의 최소값을 향하여 수렴하도록 가중치를 갱신할 수 있으며, 이때, 상기 가중치는, 각각의 학습 데이터 마다 갱신되거나(확률적 경사 하강법, stochastic gradient descent) 또는 학습 데이터 세트 중에서 일부 학습 데이터 마다 갱신되거나(미니 배치 경사 하강법, minibatch gradient descent) 또는 모든 학습 데이터 세트에 관한 1에포크 마다 갱신될 수 있으며(배치 경사 하강법, batch gradient descent), 예를 들어, 본 발명의 일 실시형태에서는, 확률적 경사 하강법을 이용하여 비용 함수의 전역 최소(global minimum)를 향하여 수렴하도록 가중치(커널 또는 필터)를 갱신할 수 있으며, 예를 들어, 상기 가중치(커널 또는 벡터)는 비용 함수의 그래디언트(gradient)와 학습률(learning rate)의 승산을 가중치의 변화량으로 하여, 현재의 가중치(커널 또는 필터)로부터 차감하는 방식으로 갱신될 수 있으며, 이때, 0~1 사이의 값으로 설정될 수 있는 학습률을 조정하여 국부 최소(local minimum)에 빠지지 않고 전역 최소(global minimum)를 지나침이 없이 전역 최소(global minimum)를 향하여 수렴하도록 학습률을 조정할 수 있다. 본 발명의 일 실시형태에서, 상기 활성화 함수로는 시그모이드(sigmoid) 함수 또는 소프트 맥스(softmax) 함수와 같은 다양한 활성화 함수가 적용될 수 있으며, 예를 들어, 다중 분류에 적합한 소프트 맥스(softmax) 함수 보다는 양불 판별에 관한 이진 분류에 적합한 시그모이드(sigmoid) 함수가 적용될 수 있으며, 예를 들어, 상기 시그모이드(sigmoid) 함수는 임의 실수 값을 갖는 뉴런의 출력을 0~1 사이의 값으로 변환할 수 있다. 본 발명의 일 실시형태에서, 상기 비용 함수로는 로지스틱(logistic) 비용 함수가 적용될 수 있다.

도 2를 참조하면, 본 발명의 제1 실시형태에서 상기 제1 기계학습모듈은, 촬상 이미지로부터 제공되는 그레이 스케일의 1채널 이미지를 입력으로 하는 제1 기계학습모델에 적용될 수 있는 CNN (Convolution Neural Network) 신경망을 포함할 수 있다. 상기 CNN 신경망 모델은, 다수의 커널(또는 필터)을 포함하는 합성곱층과, 합성곱층으로부터 산출된 특성 맵의 크기를 줄이기 위한 풀링층(예를 들어, 최대 풀링 max pooling 또는 평균 풀링 average pooling)을 교대로 포함할 수 있으며, 최종적으로 행열 형태의 2차원과 깊이 차원을 갖는 3차원의 특성 맵을 1차원 형태로 펼치는 플래트닝(flattening)과 상기 플래트닝된 1차원 특징 벡터와 완전 연결(fully connected)되어 있는 밀집층을 통하고, 출력층의 출력 값에 대해 활성화 함수(예를 들어, 시그모이드 sigmoid 함수)를 적용하여 양불 판별에 관한 이진 분류로서 추정된 클래스 레이블(양품/불량품에 속할 확률)을 출력할 수 있다. 본 발명의 제1 실시형태에서, 상기 제1 기계학습모듈은 다수의 합성곱층과 하나의 밀집층을 포함하는 CNN 신경망을 포함할 수 있다.

예를 들어, 상기 합성곱층은 다수의 커널(또는 필터)을 포함할 수 있으며, 카메라 모듈로부터 제공되는 그레이 스케일의 촬상 이미지(촬상 이미지를 형성하는 각 화소의 휘도 값, 0~255 사이의 휘도 값) 상에 다수의 커널(커널의 각 요소로서 가중치)이 합성곱(convolution) 되어, 행열의 2차원 크기는 줄어들면서 깊이 차원이 증가한 형태의 특성 맵이 생성될 수 있으며, 카메라 모듈에 의해 제공되는 촬상 이미지의 주변을 따라 0으로 패딩하는 세임 패딩(same padding)이나 촬상 이미지 자체로 특성 맵을 생성하는 밸리드 패딩(valid padding)을 적용할 수 있다.

예를 들어, 상기 합성곱층에서는 카메라 모듈에 의해 제공되는 2차원 촬상 이미지 상에서 사전에 설정된 스트라이드(stride)에 해당되는 화소의 개수만큼 커널을 이동시키면서 서로 대응되는 행과 열의 위치의 화소 값(또는 픽셀 값)과 커널의 가중치의 선형 조합을 산출하여 특성 맵을 생성할 수 있으며, 예를 들어, 카메라 모듈로부터 제공되는 촬상 이미지의 픽셀 값과 커널의 가중치의 선형 조합에 활성화 함수를 적용하는 방식으로 특성 맵을 생성할 수 있다. 본 발명의 일 실시형태에서, 상기 합성곱층에서는 3x3 크기, 5x5 크기 또는 8x8 크기와 같은 다양한 크기의 커널이 적용될 수 있다.

상기 풀링층은 합성곱층으로부터 생성된 특성 맵의 크기를 줄이기 위하여, 최대 풀링(max pooling)이나 평균 풀링(average pooling)이 적용될 수 있으며, 상기 밀집층은 행열의 2차원과 깊이 차원을 갖는 3차원의 특성 맵을 1차원 특징 벡터로 플래트닝(flattening)하고, 1차원 특징 벡터를 형성하는 다수의 요소들에 대한 선형 조합 내지는 선형 조합에 활성화 함수를 적용함으로써, 양품 판별에 관한 이진 분류로서 추정된 클래스 레이블(양품/불량품에 속할 확률)을 출력할 수 있다.

본 발명의 제1 실시형태에서, 합성곱층에서 적용되는 필터의 가중치는, 다수의 학습 데이터를 포함하는 학습 데이터 세트와 각각의 학습 데이터 마다 주어지는 타겟 클래스 레이블을 이용하여 학습될 수 있으며, 예를 들어, CNN 신경망 모델로부터 추정되는 추정 클래스 레이블과 주어진 타겟 레이블 사이의 오차가 감소되도록 최소화시키려는 비용 함수의 그래디언트(gradient)를 계산해주는 역전파 알고리즘을 적용하여 가중치(커널 또는 필터)를 갱신할 수 있다.

본 발명의 제1 실시형태에서는 제1 기계학습모듈에 의한 양불 판별에 관한 이진 분류를 재검(리뷰)하도록 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 판별된 촬상 이미지를 입력으로 하여, 그레이 스케일의 저해상도의 촬상 이미지를 R,G,B 컬러의 고해상도의 이미지로 변환하기 위한 제2 기계학습모듈을 포함할 수 있다.

예를 들어, 본 발명의 제1 실시형태에서, 상기 제2 기계학습모듈은 제1 기계학습모듈의 후단에 연결되어, 제1 기계학습모듈로부터 상대적으로 높은 예측 확률로 불량으로 판별된 촬상 이미지를 R,G,B 컬러의 고해상도의 이미지로 변환하여 재검(예를 들어, 육안 검사)에 제공할 수 있으며, 이러한 제1 실시형태에서, 데이터 처리 흐름을 살펴보면, 촬상 이미지를 생성하기 위한 카메라 모듈과, 촬상 이미지를 입력으로 하여 양불 판별에 관한 이진 분류를 수행하기 위한 제1 기계학습모듈과, 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 판별된 촬상 이미지를 입력으로 하여 해당되는 촬상 이미지를 고해상도의 컬러 이미지로 변환하여 재검(예를 들어, 육안 검사)에 제공하기 위한 제2 기계학습모듈의 순서로 연결될 수 있다.

본 발명의 제1 실시형태에서, 상기 제1, 제2 기계학습모듈은 인공지능의 신경망 모델을 포함할 수 있으나, 제1 기계학습모듈은 입력 이미지에 대한 양불 판별에 관한 이진 분류(회귀 분석)를 수행하는 것이고 양불 판별에 관한 추정된 확률(예를 들어, 시그모이드 함수의 출력에 해당되는 0~1 사이의 값)을 제공할 수 있으며, 이와 달리, 상기 제2 기계학습모듈은 그레이 스케일의 저해상도의 촬상 이미지를 R,G,B 컬러의 고해상도의 이미지로 변환하는 영상 처리를 수행하는 것으로 이해될 수 있으며, 본 명세서를 통하여 영상 처리란 이미지를 형성하는 각각의 화소에 대해 새로운 화소의 값(0~255 사이의 휘도 값)을 부여하기 위한 연산 처리를 의미할 수 있고, 후술하는 바와 같이, 상기 제2 기계학습모듈은 각각의 화소에 대해 새로운 화소 값을 부여할 때, 이웃한 다른 주변 화소의 값을 고려한다는 점에서 영상 처리 중에서 영역 연산(area operation)을 수행하는 것으로 볼 수 있고, 이런 점에서, 상기 제1 기계학습모듈은 영상 처리를 수행하지 않고, 양불 판별에 관한 이진 분류(회귀 분석)를 수행하는 것으로 이해될 수 있다.

본 발명의 제2 실시형태에서, 상기 제2 기계학습모듈은 저해상도의 그레이 스케일의 촬상 이미지를 고해상도의 컬러 이미지로 변환하기 위한 영상 처리를 수행하고, 상기 제1 기계학습모듈은 양불 판별에 관한 이진 분류(회귀 분석)를 수행하며, 이와 같이, 상기 제1, 제2 기계학습모듈은 서로 다른 연산 처리를 수행하는 것으로 이해될 수 있다.

도 3에는 본 발명의 제2 실시형태에서 촬상 이미지로부터 제공되는 그레이 스케일 저해상도의 1채널 이미지를 입력으로 하여, R,G,B 컬러 고해상도의 3채널 이미지를 출력하는 제2 기계학습모듈에 적용될 수 있는 CNN (Convolution Neural Network) 신경망을 설명하기 위한 도면으로, 이해의 편의를 위하여 단순화된 CNN 신경망 모델이 도시되어 있다. 도 4에는 도 3에 도시된 CNN 신경망 모델에서 특성 맵의 연산을 위한 전치 합성곱(transposed convolution)을 설명하기 위한 개략적인 도면이 도시되어 있다.

도 2에 도시된 바와 같이, 본 발명의 제1 실시형태에서, 상기 제1 기계학습모듈이 입력 이미지와 다수의 커널 간의 합성곱을 통하여 행열에 해당되는 2차원 크기는 줄이면서 깊이 차원이 증가하는 형태로 특성 맵을 생성한다면, 이와 반대로 도 3에 도시된 바와 같이, 상기 제2 기계학습모듈은 전치 합성곱(transposed convolution)을 통하여 행열에 해당되는 2차원 크기를 늘리면서 깊이 차원을 줄이는 형태로 특성 맵을 생성할 수 있다.

예를 들어, 도 3에 도시된 바와 같이, 상기 제2 기계학습모듈은 다수의 커널을 포함하는 전치 합성곱층을 포함할 수 있으며, 그레이 스케일의 1채널의 이미지와 다수의 커널 사이의 전치 합성곱을 통하여 최종적으로 R,G,B 컬러의 3채널의 깊이 차원(채널 깊이)을 갖는 이미지를 출력할 수 있다. 본 발명의 일 실시형태에서, 상기 제2 기계학습모듈은 다수의 전치 합성곱층을 포함할 수 있으며, 각각의 전치 합성곱층에서는 특성 맵을 형성하는 화소의 개수를 행열의 2차원으로 확장시키는 방식으로 고해상도의 이미지를 생성할 수 있으며, 최종적으로 촬상 이미지의 해상도를 4배로 업-스케일링(up-scaling)할 수 있고, 예를 들어, 상기 제2 기계학습모듈은 카메라 모듈에서 생성된 촬상 이미지의 영상 좌표계에서 행열의 2차원으로 배열된 화소의 개수를 각각의 행열을 따라 2배씩 증대시킬 수 있으며, 최종적으로 촬상 이미지의 해상도를 4배로 높인 고해상도의 이미지를 생성할 수 있다.

예를 들어, 본 발명의 일 실시형태에 따른 제2 기계학습모듈은, 카메라 모듈로부터 제공되는 촬상 이미지의 2μm 분해능의 저해상도를 0.5μm 분해능의 고해상도(super-resolution)의 이미지로 변환할 수 있다. 예를 들어, 검사 대상의 기판 상에서 1μm의 불량을 검출하기 위해서는 최소한 0.5μm의 분해능이 요구되며, 상대적으로 고배율의 광학 렌즈 및/또는 고해상도의 촬상 소자를 포함하는 카메라 모듈이 요구된다. 본 발명의 일 실시형태에서, 상기 제2 기계학습모듈은 2μm 분해능의 저해상도를 0.5μm 분해능의 고해상도(super-resolution)의 이미지로 변환하여 자동화 검사 및/또는 재검(예를 들어, 육안 검사)에 제공함으로써, 검사 대상의 기판 상의 1μm의 불량을 검출하기 위한 최소한 0.5μm의 분해능을 갖는 고배율의 광학 렌즈 및/또는 고해상도의 촬상 소자를 포함하는 카메라 모듈이 요구되지 않고, 제2 기계학습모듈의 4배의 업-스케일링을 통하여 2μm 분해능의 저배율의 광학 렌즈 및 저해상도의 촬상 소자를 갖춘 카메라 모듈을 적용하더라도, 검사 대상의 기판 상에서 1μm의 불량을 검출해낼 수 있다.

도 5에는 광학적인 배율의 증가에 따른 아웃 포커스를 설명하기 위한 개략적인 도면이 도시되어 있다.

통상적으로 광학적인 배율의 증가와 더불어 초점 심도가 얕아짐에 따라 상대적으로 고배율의 광학 렌즈(20)에서 검사 대상인 기판(S) 상에 형성된 패턴(P)의 두께에 따라 패턴의 결상면(80`, 특히 패턴의 에지의 결상면)이 촬상 소자의 촬상면(80)으로부터 초점 심도를 벗어난 위치에 형성되면서, 촬상 소자의 촬상면(80)에는 패턴(P) 또는 패턴의 에지를 포착한 불선명한 착란원(85, circle of confusion) 또는 상퍼짐(blurring)이 형성되는 아웃 포커스(out of focus)에 취약한 문제가 있으나, 본 발명의 제1 실시형태에서는, 상대적으로 저배율의 광학 렌즈를 적용함으로써, 고배율의 광학 렌즈에서 상대적으로 취약한 패턴 또는 패턴의 에지를 포착한 착란원 또는 상퍼짐과 같은 아웃 포커스 문제를 해결할 수 있으며, 본 발명의 제1 실시형태에 따른 카메라 모듈에 적용되는 상대적으로 저배율의 광학 렌즈는 고배율의 광학 렌즈 보다 상대적으로 깊은 초점 심도를 유지하여, 예를 들어, 비교적 두꺼운 두께의 패턴에 대해서도 패턴의 에지가 선명하게 포착될 수 있으며, 패턴의 에지 주변으로 불선명한 착란원이나 상퍼짐이 발생되지 않을 수 있다. 이와 같이 본 발명의 제1 실시형태에서는 저배율의 촬상 이미지를 고배율의 이미지로 변환시켜주는 제2 기계학습모듈을 적용함으로써, 상대적으로 낮은 저배율의 광학 렌즈를 적용하여, 검사 대상인 기판 상에 형성된 패턴을 선명하게 인식할 수 있으면서도(고배율의 광학 렌즈에서 얕은 초점 심도로 인한 상퍼짐을 해결함), 제2 기계학습모듈을 통하여 검사 대상인 기판 상의 1μm의 불량을 검출하기 위한 최소한 0.5μm의 분해능을 갖는 고배율의 광학 렌즈 및/또는 고해상도의 촬상 소자를 포함하는 카메라 모듈이 요구되지 않고, 제2 기계학습모듈의 4배의 업-스케일링을 통하여 2μm 분해능의 저배율의 광학 렌즈 및 저해상도의 촬상 소자를 포함하는 카메라 모듈을 적용하더라도, 검사 대상의 기판 상에서 1μm의 불량을 검출해낼 수 있다.

도 3 및 도 4를 참조하면, 본 발명의 일 실시형태에서 적용 가능한 제2 기계학습모듈은 다수의 전치 합성곱층을 포함할 수 있으며, 각각의 전치 합성곱층에서는 도 4에 도시된 바와 같은 전치 합성곱이 수행될 수 있다. 즉, 상기 전치 합성곱에서는 촬상 이미지의 각 화소 사이에 추가적으로 0의 값을 갖는 화소들을 추가하여, 촬상 이미지의 각 화소 사이를 스트라이드(stride)의 크기만큼 떨어트린 중간 격자를 형성하고, 중간 격자가 형성된 이미지의 테두리를 따라서도 0값을 갖는 화소들을 추가하여, 커널과 합성곱 되는 화소 영역 마다 촬상 이미지의 하나의 화소가 배치되도록 하고, 중간 격자를 포함하는 이미지와 커널(또는 필터)의 합성곱을 통하여 촬상 이미지 보다 확장된 2차원 크기를 갖는 특성 맵을 형성할 수 있으며, 예를 들어, 다수의 커널(또는 필터)와의 합성곱을 통하여 깊이 차원으로 증가한 형태로 특성 맵을 생성할 수 있다. 본 발명의 제1 실시형태에서는, 다수의 전치 합성곱층을 통하여 촬상 이미지의 영상 좌표계에서 행열의 2차원으로 배열된 화소의 개수를 각각의 행열을 따라 2배씩 증대시킨 고해상도의 이미지를 생성할 수 있으며, 다수의 커널(또는 필터)와의 합성곱을 통하여 R,G,B의 3채널에 해당되는 채널의 깊이를 갖는 컬러 이미지를 생성할 수 있다.

상기 제2 기계학습모듈은, 제1 기계학습모듈과 같은 이진 분류(회귀 분석)를 수행하지 않고, 그레이 스케일의 저해상도 촬상 이미지를 R,G,B 컬러의 고해상도 이미지로 변환하는 영상 처리를 수행하므로, 제2 기계학습모듈의 학습 데이터 세트는 동일한 검사 대상인 기판을 포착한 R,G,B 컬러의 고해상도 이미지가 타겟으로 주어진 그레이 스케일의 저해상도 촬상 이미지를 입력으로 하는 신경망 모델의 출력으로서의 R,G,B 컬러의 고해상도 이미지 사이의 오차가 감소되도록 최소화시키려는 비용 함수의 그래디언트(gradient)를 계산해주는 역전파 알고리즘을 적용하여 가중치(커널 또는 필터)를 갱신할 수 있다. 본 발명의 다양한 실시형태에서, 제2 기계학습모듈의 학습 데이터는 학습 데이터의 입력으로서 그레이 스케일의 저해상도 촬상 이미지와 동일한 기판을 포착한 R,G,B 컬러의 고해상도 이미지가 타겟으로 주어지거나 또는 상기 저해상도 촬상 이미지와 동일한 기판을 포착한 R,G,B 컬러의 고해상도 이미지로부터 고수준의 특징을 추출한 특성 맵(또는 특징 벡터)이 타겟으로 주어질 수도 있으며, 촬상 이미지로부터 추출한 특성 맵(또는 특징 벡터) 사이의 오차가 감소되도록 최소화시키려는 비용 함수의 그래디언트를 산출하여 가중치(커널 또는 필터)를 갱신할 수도 있다.

도 1에 도시된 바와 같이, 본 발명의 제1 실시형태에 따른 검사시스템은 그레이 스케일의 저해상도 이미지를 생성하는 상대적으로 저배율의 광학 렌즈 및/또는 저해상도의 촬상 소자를 포함하는 저해상도 카메라 모듈과, 상대적으로 고배율의 광학 렌즈 및/또는 고해상도의 촬상 소자를 포함하는 고해상도 카메라 모듈을 포함할 수 있으며, 상기 제2 기계학습모듈의 가중치(커널 또는 필터)의 학습에서는, 저해상도 카메라 모듈로부터 생성된 그레이 스케일의 저해상도 이미지를 입력으로 하고, 고해상도 카메라 모듈로부터 생성된 R,G,B 컬러 이미지를 타겟으로 하여, 상기 가중치(커널 또는 필터)를 갱신할 수 있으며, 본 발명의 일 실시형태에 따른 검사시스템에 함께 마련된 저해상도 카메라 모듈과 고해상도 카메라 모듈로부터 생성된 서로 다른 해상도의 이미지를 이용하여 제2 기계학습모듈의 가중치를 학습시킨다는 점에서, 각각의 학습 데이터에 대해 하나 하나씩 확인하여 타겟 레이블을 부여하는 작업이 필요하지 않을 수 있다. 예를 들어, 본 발명의 제1 실시형태에서는, 저해상도 카메라 모듈로부터 생성된 저해상도의 촬상 이미지를 입력으로 하고, 고해상도 카메라 모듈로부터 생성된 고해상도의 촬상 이미지를 타겟으로 하는 학습 알고리즘을 통하여 제2 기계학습모듈의 가중치를 갱신할 수 있다. 예를 들어, 본 발명의 제1 실시형태에 따른 고해상도 카메라 모듈은, 제2 기계학습모듈의 가중치 학습을 위한 타겟 레이블에 해당되는 고해상도 이미지를 제공할 수 있으며, 이에 따라, 상기 고해상도 카메라 모듈과 제2 기계학습모듈은 실질적으로 동일한 배율 내지는 해상도를 구현할 수 있다. 다시 말하면, 상기 고해상도 카메라 모듈에 의해 제공되는 광학적인 배율과 상기 제2 기계학습모듈에 의해 업-스케일(up- scale)되는 배율은 실질적으로 동일할 수 있다.

본 발명의 제1 실시형태에서, 상기 검사시스템은, 그레이 스케일의 저해상도 촬상 이미지를 생성하는 저해상도 카메라 모듈과 G,R,B 컬러의 고해상도 촬상 이미지를 생성하는 고해상도 카메라 모듈을 겸비하면서도, 저해상도 카메라 모듈로부터 생성된 그레이 스케일의 저해상도의 이미지를 R,G,B 컬러의 고해상도의 이미지로 변환하기 위한 제2 기계학습모듈을 적용함으로써, 고해상도 카메라 모듈에 구비된 상대적으로 고배율의 광학 렌즈의 상대적으로 얕은 심도로 인한 착란원(circle of confusion) 또는 상퍼짐(blurring)과 같은 아웃 포커스(out of focus)가 없는 선명한 고해상도의 이미지가 제공될 수 있으며, 특히, 검사 대상인 기판 상에 형성된 패턴 간의 단락이나 기판 상에 설계된 패턴의 부재 등과 밀접하게 관련되어 있는 기판의 결함 여부를 재검(리뷰)하기 위해서는 패턴의 에지에서와 같이 심도 방향을 따라 불연속적인 경계에서 상퍼짐(blurring)이 없는 선명한 이미지를 제공할 필요가 있기 때문에, 본 발명의 제1 실시형태에 따른 검사시스템은, R,G,B 컬러의 고해상도 촬상 이미지를 제공하는 고해상도 카메라 모듈과 함께, 그레이 스케일의 저해상도 촬상 이미지를 R,G,B 컬러의 고해상도 이미지로 변환하기 위한 제2 기계학습모듈을 포함할 수 있다. 예를 들어, 본 발명의 제1 실시형태에서, 상기 카메라 모듈은 저해상도 카메라 모듈과 고해상도 카메라 모듈을 포함하면서도, 고해상도 카메라 모듈로부터 포착된 불선명한 에지를 갖는 촬상 이미지를 입력으로 하기 보다는, 저해상도 카메라 모듈 및 고해상도 카메라 모듈에 의해 제공된 학습 데이터로부터 학습된 가중치를 포함하는 제2 기계학습모듈을 통하여 저해상도 카메라 모듈로부터 생성된 그레이 스케일의 저해상도 이미지를 R,G,B 컬러의 고해상도 이미지로 변환해주는 제2 기계학습모듈의 영상 처리로부터 생성된 선명한 에지를 갖는 고해상도 이미지를 입력으로 하여, 양불 판별에 관한 제1 기계학습모듈의 분류의 재검(예를 들어, 육안 검사)에 제공함으로써, 검사시스템의 검사 정확도를 높일 수 있다.

본 발명의 제1 실시형태에서, 상기 제2 기계학습모듈은 상기 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 분류된 촬상 이미지를 R,G,B 컬러의 고해상도 이미지로 변환하여 제1 기계학습모듈의 분류에 대한 재검(리뷰)를 위한 육안 검사에 제공할 수 있는데, 상기 제2 기계학습모듈에 의해 변환된 R,G,B 컬러의 고해상도 이미지는, 고해상도 카메라 모듈로부터 생성된 광학 이미지와 달리, 패턴 에지와 같은 불연속적인 경계에서 상퍼짐(blurring)과 같은 아웃 포커스가 배제된 선명한 이미지를 제공할 수 있다는 점에서, 제1 기계학습모듈의 분류에 대한 재검(리뷰)을 위한 육안 검사가 보다 용이하게 이루어질 수 있다. 다만, 본 발명의 다양한 실시형태에서, 상기 재검(리뷰)을 위한 육안 검사에는 상기 제2 기계학습모듈에 의해 변환된 고해상도 이미지와 함께, 고해상도 카메라 모듈로부터 생성된 고해상도 이미지(광학 이미지)가 함께 제공될 수도 있으며, 상기 육안 검사에서는 제2 기계학습모듈에 의해 변환된 이미지와 고해상도 카메라 모듈로부터 생성된 고해상도 이미지(광학 이미지)를 함께 검토할 수도 있다.

본 발명의 제1 실시형태에서, 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 분류된 이미지는 제1 기계학습모듈의 분류에 관한 재검을 위하여 육안 검사에 제공될 수 있다. 이때, 본 발명의 제1 실시형태에서는, 상기 제1 기계학습모듈이 제2 기계학습모듈의 전단에 연결되면서, 제1 기계학습모듈의 분류의 근거가 된 저해상도 이미지로부터 제2 기계학습모듈에 의해 변환된 고해상도 이미지가 재검에 제공될 수 있다.

본 발명의 제1 실시형태에서, 상기 제1, 제2 기계학습모듈을 포함하는 신경망은 전단에 연결된 제1 기계학습모듈과 후단에 연결된 제2 기계학습모듈을 포함할 수 있으며, 저해상도 카메라 모듈로부터 생성된 촬상 이미지는 제1 기계학습모듈로 입력되어 양불 판별에 관한 이진 분류가 수행되고, 불량으로 판별된 촬상 이미지는 제1 기계학습모듈의 후단에 연결된 제2 기계학습모듈에 의해 고해상도 이미지로 변환되어 제1 기계학습모듈의 이진 분류에 관한 재검을 위하여 육안 검사에 제공될 수 있다.

이와 같이, 본 발명의 제1 실시형태에서, 상기 저해상도 카메라 모듈은 양불 판별을 위한 제1 기계학습모듈의 입력으로서의 촬상 이미지를 제공할 수 있으며, 상기 저해상도 카메라 모듈은 기판검사 중에는 온(on) 상태를 유지할 수 있으나, 상기 고해상도 카메라 모듈은, 제2 기계학습모듈의 학습 데이터를 수집하기 위한, 보다 구체적으로, 제2 기계학습모듈의 학습 데이터에 대한 타겟 레이블을 부여하기 위한 목적으로 선택적으로 가동될 수 있으며, 이에 따라, 상기 고해상도 카메라 모듈은 기판검사 중에 선택적으로 온(on) 상태를 유지할 수 있다. 예를 들어, 상기 고해상도 카메라 모듈은 기판검사 자체를 목적으로 하기 보다는, 기판검사를 위한 제2 기계학습모듈의 학습 데이터의 수집(보다 구체적으로, 학습 데이터의 타겟 레이블링)을 위한 목적으로 가동될 수 있다. 다시 말하면, 기판검사 중에, 그러니까, 기판검사를 수행하는 제1 기계학습모듈의 구동 중에, 상기 제1 기계학습모듈로 입력되는 촬상 이미지를 출력하는 저해상도 카메라 모듈은 온(ON) 상태를 유지할 수 있으나, 상기 제2 기계학습모듈의 학습 데이터에 대한 타겟 레이블을 부여하기 위한 고해상도 카메라 모듈은, 학습 데이터의 수집을 위해 기판검사 중에 선택적으로 온(ON) 상태를 유지할 수 있다.

본 발명의 다양한 실시형태에서는, 상기 제1 기계학습모듈의 이진 분류를 재검(리뷰)하기 위한 육안 검사를 위하여, 상기 제2 기계학습모듈로부터 변환된 고해상도 이미지와 함께, 상기 고해상도 카메라 모듈로부터 생성된 고해상도 이미지가 함께 제공될 수도 있으며, 이러한 목적으로 상기 고해상도 카메라 모듈은 저해상도 카메라 모듈과 유사하게, 기판검사 중에 온(on) 상태를 유지할 수도 있다.

본 발명의 제1 실시형태에 따른 검사시스템에서는, 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 분류된 촬상 이미지를 고해상도의 컬러 이미지로 변환하여 육안 검사에 제공할 수 있다. 통계적으로 검사 대상인 기판 중에서 20~30% 정도의 영역이 결함에 해당된다고 할 때, 70~80% 정도의 대부분 영역은 양호한 것으로 이해될 수 있고, 이러한 고려로부터 본 발명의 제1 실시형태에 따른 검사시스템은 기계학습모듈로부터 불량으로 판단된 이미지만을 선별하여 제2 기계학습모듈을 통하여 고해상도 컬러 이미지로 변환한 후에, 검사자에 의한 육안 검사를 통하여 제1 기계학습모듈에 의한 양불 판별에 관한 이진 분류가 재검(또는 리뷰)되도록 할 수 있다. 즉, 본 발명의 제1 실시형태에서는, 카메라 모듈로부터 포착된 모든 촬상 이미지를 대상으로 고해상도의 이미지로 변환하는 제2 기계학습모듈의 영상 처리를 거치기 보다는, 제1 기계학습모듈로부터 불량으로 분류된 촬상 이미지만을 선별하여 제2 기계학습모듈의 영상 처리를 거치도록 할 수 있으며, 대부분의 양품 중에서 혼재되어 있는 낮은 확률의 결함을 포착한 제1 기계학습모듈의 추정에 대해 선별적으로 제1 기계학습모듈의 양불 판별에 관한 이진 분류를 재검(리뷰)하도록 하는 것이, 연산 부담을 줄이면서도 제1 기계학습모듈의 양불 판별을 효율적으로 재검(리뷰)할 수 있는 방안으로 이해될 수 있다. 예를 들어, 본 발명의 제1 실시형태에 따른 검사시스템은 제1 기계학습모듈로부터 불량으로 판단된 촬상 이미지만을 선별하여 제2 기계학습모듈을 통하여 고해상도의 이미지로 변환한 후에, 육안 검사를 통하여 제1 기계학습모듈의 분류를 재검(리뷰)하도록 할 수 있으며, 만일 본 발명에서와 달리, 제1 기계학습모듈에 의한 양불 판별에 무관하게 모든 촬상 이미지를 대상으로 제2 기계학습모듈에 의한 영상 처리를 거치도록 하고, 영상 처리로부터 획득된 고해상도의 이미지를 검사자에게 제공하여 모든 촬상 이미지에 대한 제1 기계학습모듈의 분류를 재검하도록 한다면, 카메라 모듈로부터 이어지는 연속적인 검사의 흐름 상에서 카메라 모듈로부터 전송되는 모든 촬상 이미지에 대해 제2 기계학습모듈을 가동하고 또한 검사자에게 제2 기계학습모듈을 통하여 변환된 고해상도의 이미지를 제공하여 육안 검사가 이루어지도록 하는 것은 전체 검사 프로세스를 지연시키는 원인이 될 수 있으므로, 본 발명의 제1 실시형태에 따른 검사시스템에서는 제1 기계학습모듈로부터 불량으로 판단된 촬상 이미지에 대해서만 육안 검사가 이루어지도록 하고, 육안 검사를 위한 고해상도의 이미지를 제공하도록 제2 기계학습모듈을 선별적으로 가동할 수 있다.

본 발명의 제1 실시형태에 따른 검사시스템에서는, 제1 기계학습모듈의 이진 분류에 대한 재검(예를 들어, 육안 검사)을 수행한 검사자의 입력에 따라 제1 기계학습모듈의 분류에 오류가 있을 경우, 오류로 분류된 데이터(또는 오류로 분류된 데이터 중에서 평가가치가 높은 것으로 선별된 데이터)를 학습 데이터로 하여, 제1 기계학습모듈을 재학습시킬 수 있다. 즉, 본 발명의 일 실시형태에 따른 검사시스템은 일정한 조건이 충족되면 재학습을 개시할 수 있으며, 예를 들어, 검사시스템의 전체적인 동작을 제어하는 제어 유닛의 판단에 따라 사전에 설정된 재학습의 개시조건이 충족되면 별도의 조작이나 외부 명령이 없이 자동으로 재학습을 개시할 수 있다.

본 발명의 제1 실시형태에 따른 검사시스템에서는, 제1 기계학습모듈의 양불 판별에 관한 이진 분류에서 높은 예측 확률로 불량으로 분류된 촬상 이미지를 선별하여 고해상도 이미지로의 변환을 위한 제2 기계학습모듈로 전송할 수 있으며, 제2 기계학습모듈로부터 변환된 고해상도의 이미지를 제1 기계학습모듈의 이진 분류에 대한 재검에 제공할 수 있다.

이와 같이, 본 발명의 제1 실시형태에서, 상기 제2 기계학습모듈에 의해 변환된 고해상도의 이미지는 디스플레이 장치로 전송되어 검사자에 의한 육안 검사가 이루어지도록 할 수 있다. 그리고, 육안 검사를 완료한 검사자의 입력에 따라, 예를 들어, 제1 기계학습모듈의 분류에 오류가 있다고 판단한 검사자의 입력에 따라, 오류로 분류된 과검 데이터(오류로 분류된 고해상도의 과검 이미지)는 재학습을 위한 학습 데이터(또는 학습 데이터의 선별을 위한 기초 데이터)로 분류되어 저장 장치에 축적될 수 있다.

본 발명의 제1 실시형태에서, 재검을 통하여 양불 판별에 관한 제1 기계학습모듈의 분류가 오류적인 것으로 판단된 과검 데이터는, 제1 기계학습모듈의 재학습을 위한 학습 데이터(학습 데이터의 선별을 위한 기초 데이터)로 제공될 수 있으며, 오류로 분류된 고해상도의 과검 이미지를 입력으로 하고 양불 판별에 관한 클레스 레이블(육안 검사에 의해 판단된 양불 판별)을 타겟으로 하는 재학습이 수행될 수 있고, 제1 기계학습모듈의 출력으로서의 추정 클레스 레이블(양불 판별에 관한 예측 확률)과 주어진 타겟 레이블(육안 검사에 의한 양불 판별) 사이의 오차가 감소하도록 최소화시키려는 비용 함수의 그래디언트(gradient)와 학습률(learning rate)의 승산을 가중치의 변화량으로 하여, 현재의 가중치(커널 또는 필터)로부터 차감하는 방식으로 제1 기계학습모듈에 구현된 CNN 신경망 모델의 가중치(커널 또는 필터)를 갱신할 수 있다.

본 발명의 제1 실시형태에서는, 상기 제1 기계학습모듈의 양불 판별에 관한 이진 분류에서 높은 예측 확률로 불량으로 판단된 이미지에 대해 육안 검사를 통한 재검이 이루어지며, 제1 기계학습모듈의 양불 판별과 육안 검사를 통한 양불 판별이 서로 일치하지 않는 과검 데이터에 대해 재학습을 위한 학습 데이터(또는 학습 데이터의 선별을 위한 기초 데이터)로 분류하여 저장 장치에 축적해둘 수 있다. 본 발명의 제1 실시형태에서, 제1 기계학습모듈의 양불 판별과 육안 검사를 통한 양불 판별이 서로 일치하지 않는 과검 데이터란 제1 기계학습모듈에서 불량으로 분류하였으나, 불량으로 분류된 고해상도 이미지에 대한 육안 검사를 통하여 양품으로 판별된 과검 데이터로서, 제2 기계학습모듈을 통하여 고해상도로 변환된 과검 이미지를 포함할 수 있다. 이와 같이, 제1 기계학습모듈의 양불 판별과 육안 검사의 판별이 서로 일치하지 않는 과검 데이터는, 제1 기계학습모듈의 재학습을 위한 학습용 데이터(또는 학습 데이터의 선별을 위한 기초 데이터)로서, 해당되는 고해상도의 과검 이미지와 함께, 재학습을 위한 타겟 레이블로서 육안 검사의 판별, 그러니까, 양품임을 지시하는 타겟 레이블이 서로 연관되어 저장될 수 있다.

본 발명의 제1 실시형태에 따른 검사시스템은, 재학습 개시를 위한 조건이 충족되면, 저장 장치에 축적되어 있는 과검 데이터를 학습 데이터(또는 학습 데이터의 선별을 위한 기초 데이터)로 하여 제1 기계학습모듈을 재학습시킬 수 있다.

본 발명의 제1 실시형태에 따른 검사시스템은, 저장 장치에 축적되어 있는 과검 데이터를 평가 대상으로 하여 가치평가 알고리즘을 수행할 수 있으며, 가치평가 알고리즘을 통하여 상대적으로 높은 가치로 평가된 과검 데이터를 선별하여 재학습을 위한 학습 데이터로 제공하기 위한 가치평가 모듈을 포함할 수 있다. 본 발명의 제1 실시형태에서, 상기 가치평가 모듈은 제1 기계학습모듈의 분류에 대한 재검(리뷰)을 통하여 오류로 분류된 과검 데이터를 학습 데이터로 하여, 가중치(커널 또는 필터)를 갱신하였을 때, 가중치의 변화량이 상대적으로 큰 과검 데이터를 평가가치가 높은 과검 데이터로 분류할 수 있고, 평가가치가 높은 과검 데이터를 제1 기계학습모듈의 재학습을 위한 학습 데이터로 제공할 수 있다. 이와 같이, 본 발명의 제1 실시형태에서, 제1 기계학습모듈의 분류에 대한 재검(리뷰)을 수행하면서 저장 장치에 축적되어 있는 모든 과검 데이터를 재학습을 위한 학습 데이터로 하기 보다는, 과검 데이터 중에서 평가가치가 높은 일부의 과검 데이터를 선별하여 제1 기계학습모듈의 재학습을 위한 학습 데이터로 제공함으로써, 재학습을 위하여 소요되는 연산 자원의 부담과 시간을 줄일 수 있으며, 평가가치가 높은 과검 데이터를 선별하여 재학습을 위한 학습 데이터 세트로 제공함으로써, 재학습을 위한 소요 시간을 단축시킬 수 있으며, 상대적으로 짧은 시간 내에 제1 기계학습모듈의 가중치를 효과적으로 갱신할 수 있다.

본 발명의 제1 실시형태에서, 상기 가치평가 모듈은 저장 장치에 축적되어 있는 과검 데이터 각각을 학습 데이터로 하여 제1 기계학습모듈의 가중치(커널 또는 필터)를 갱신하기 위한 가중치의 변화량을 산출하고, 산출된 가중치의 변화량의 대소 관계에 따라 평가가치를 차등적으로 부여할 수 있다. 본 발명의 일 실시형태에서 가중치의 변화량은, 과검 데이터의 이미지를 입력으로 하여 제1 기계학습모듈로부터 추정되는 추정 클래스 레이블(양불 판별에 관한 예측 확률)과 주어진 타겟 레이블(육안 검사를 통한 양불 판별) 사이의 오차가 감소되도록 최소화시키려는 비용 함수의 그래디언트(gradient)에 해당될 수 있으며, 제1 기계학습모듈의 초기 학습을 통하여 가중치(커널 또는 필터)를 갱신하기 위한 가중치의 변화량과 유사할 수 있으나, 초기 학습의 가중치의 변화량은 비용 함수의 그래디언트(gradient)와 학습률의 승산으로 표현될 수 있는데 반하여, 가치평가의 기준으로서의 가중치의 변화량에서는 학습률을 고려하지 않는다는 점에서 차이가 있을 수 있으며, 또한, 초기 학습에서는 각각의 학습 데이터 마다 가중치의 변화량을 산출하여 각각의 학습 데이터 마다 가중치를 갱신할 수도 있지만(확률적 경사 하강법, stochastic gradient descent), 학습 데이터 세트 중에서 일부 학습 데이터 마다 가중치의 변화량을 산출하여 가중치를 갱신하거나(미니 배치 경사 하강법, minibatch gradient descent) 또는 모든 학습 데이터 세트에 관한 1에포크 마다 가중치의 변화량을 산출하여 가중치를 갱신할 수도 있다(배치 경사 하강법, batch gradient descent). 이와 달리, 재학습을 위하여 축적된 과검 데이터를 평가 대상으로 하는 가치평가에서는 축적된 일군의 과검 데이터 각각을 하나의 학습 데이터로 하여, 각각의 학습 데이터(각각의 과검 데이터) 마다 가중치의 변화량을 산출하되, 산출된 가중치의 변화량에 근거하여 제1 기계학습모듈의 가중치를 갱신하지는 않으며, 각각의 과검 데이터를 학습 데이터로 하여 산출된 가중치의 변화량을 비교하여, 각각의 과검 데이터에 대한 가치를 평가한다는 점에서 차이가 있을 수 있다.

도 6 및 7에는 본 발명의 제1 실시형태에서 가치평가 모듈에 의해 수행되는 가치평가의 기준으로서 가중치의 변화량의 연산을 설명하기 위한 도면으로, 제1 기계학습모듈에 적용되는 CNN 신경망을 여러 개의 단일 뉴런이 연결된 신경망으로 단순화시킨 모델에서 가중치의 변화량이 연산되는 역전파 알고리즘을 설명하기 위한 도면이 도시되어 있다. 도 6 및 7에서는 이해의 편의를 위하여 제1 기계학습모듈에 구현된 CNN (Convolution Neural Network) 신경망 모델을, 입력층과 입력층과 연결되어 있는 은닉층과 은닉층과 연결되어 있는 출력층을 포함하는 다계층의 심층 신경망 모델로 단순화하여 표현하였다. 예를 들어, 상기 입력층에는 도 2에 도시된 입력 이미지의 2차원 화소 배열을 1차원 형태로 펼친 입력 벡터가 입력될 수 있으며, 상기 은닉층은 입력 벡터와 학습된 가중치 행렬의 선형 결합 및 이들 결합 결합에 활성화 함수를 적용한 출력을 생성할 수 있으며, 상기 출력층은 은닉층의 출력을 입력으로 하여 은닉층의 출력에 학습된 가중치 행열의 선형 결합 및 이들 결합 결합에 활성화 함수를 적용한 출력을 생성할 수 있으며, 상기 출력층은 도 2에 도시된 출력층에 해당될 수 있다. 이때, 상기 은닉층 및 출력층의 가중치 행열은 도 2에 도시된 합성곱층의 각각의 커널 또는 필터에 해당될 수 있다.

도 7에 도시된 바와 같이 단순화시킨 제1 기계학습모듈에서 출력층에서 가중치의 변화량(그래디언트)은 은닉층의 출력과 각각의 과검 데이터를 학습 데이터로 하여 추정된 클레스 레이블(양불 판별에 관한 예측 확률)과 타겟 레이블(육안 검사에 의한 양불 판별)의 오차(출력층의 오차) 사이의 행열곱으로 산출될 수 있다.

또한, 도 7에 도시된 바와 같이 단순화시킨 제1 기계학습모듈에서 은닉층에서 가중치의 변화량(그래디언트)은 입력층의 출력(입력 벡터)과 은닉층의 오차 사이의 행열곱으로 산출될 수 있으며, 은닉층의 오차는 각각의 과검 데이터를 학습 데이터로 하여 추정된 클레스 레이블(양불 판별에 관한 예측 확률)과 타겟 레이블(육안 검사에 의한 양불 판별)의 오차(출력층의 오차)와 출력층의 가중치 행열 사이의 행열곱과, 활성화 함수의 도함수 사이의 원소별 곱으로 산출될 수 있으며, 제1 기계학습모듈에서 출력층 및 은닉층의 가중치의 변화량(그래디언트)으로서 비용 함수의 그래디언트는, 도 7에 도시된 바와 같은 역전파 알고리즘에 의해 산출될 수 있다. 본 발명의 제1 실시형태에서, 상기 활성화 함수로는 시그모이드(sigmoid) 함수가 적용될 수 있으며, 시그모이드 함수의 도함수를 이용하여 산출될 수 있다.

본 발명의 제1 실시형태에서, 상기 가치평가 모듈은 산출된 가중치의 변화량을 가치평가의 기준으로 하여, 가중치의 변화량의 대소 관계에 따라, 각각의 과검 데이터를 평가가치가 높은 일군의 데이터와 평가가치가 낮은 또 다른 일군의 데이터로 분류할 수 있으며, 평가가치가 높은 일군의 데이터를 재학습을 위한 학습 데이터 세트로 저장해둘 수 있다. 예를 들어, 본 발명의 일 실시형태에서는, 각각의 과검 데이터 마다 각각의 과검 데이터를 하나의 학습 데이터로 하여 가중치의 변화량을 산출하고, 각각의 과검 데이터에 대해, 출력층에서 가중치의 변화량과 은닉층에서 가중치의 변화량, 예를 들어, 도 2에 도시된 CNN (Convolution Neural Network) 신경망 모델에서 합성곱층과 밀집층에서 적용되는 커널(또는 필터)의 가중치의 변화량을 산출하고, 저장 장치에 축적된 모든 과검 데이터에 대한 가중치의 변화량이 산출되면, 서로 다른 과검 데이터 사이에서 가중치의 변화량을 서로 대소 비교하고, 가중치의 변화량이 가장 큰 과검 데이터로부터 가중치의 변화량이 가장 작은 과검 데이터까지 가중치의 변화량의 대소 관계에 따른 순위에 따라 가중치의 변화량이 가장 큰 과검 데이터로부터 우선 순위를 부여하여 재학습을 위한 학습 데이터 세트에 편입시킬 수 있으며, 예를 들어, 사전에 설정된 학습 데이터 세트의 개수에 따라 가중치의 변화량이 가장 큰 과검 데이터로부터 설정된 학습 데이터 세트의 개수를 충족시킬 때까지 해당되는 과검 데이터를 재학습을 위한 학습 데이터 세트에 편입시킬 수 있다. 본 발명의 일 실시형태에서, 상기 가중치의 변화량은, 출력층 및 은닉층에서의 가중치 벡터(또는 가중치 행렬, 커널 또는 필터)에 대해 산출될 수 있으며, 예를 들어, 상기 가중치의 변화량은 가중치 벡터의 각 요소(또는 가중치 행렬을 형성하는 각각의 행 및 열의 요소, 커널 또는 필터의 행렬을 형성하는 각각의 행 및 열의 요소)에 대해 산출될 수 있으며, 가중치 벡터의 각각의 가중치 요소에 대한 가중치의 변화량의 총합으로 산출될 수 있으며, 예를 들어, 각각의 가중치 요소에 대한 가중치의 변화량의 절대값의 총합으로 산출될 수 있다.

본 발명의 다양한 실시형태에서, 상기 가치평가 모듈은 가중치의 변화량을 가치평가의 기준으로 하지 않고, Sharply-based Method나 Training Procedure-based Method와 같은 다양한 가치평가 알고리즘을 통하여 과검 데이터에 대한 가치를 평가할 수도 있으며, 예를 들어, Sharply-based Method에서는 연합에 포함된 특성 간의 관계가 모델 예측에 끼치는 순수한 영향력(Fair answer)을 판단하기 위하여, 모든 marginal contribution을 구해서 더하고 평균을 내는 방식으로 과검 데이터의 가치를 평가할 수 있으며, Procedure-based Method에서는 Backbone 네트워크의 데이터 활용 학습을 통하여 정확도 상승 및 하락 폭을 통하여 과검 데이터에 대한 가치를 평가할 수 있다.

본 발명의 제1 실시형태에서는 제1 기계학습모듈에 의해 불량으로 분류된 촬상 이미지에 대해 제2 기계학습모듈에 의해 고해상도 이미지로 변환하고 육안 검사를 통하여 제1 기계학습모듈의 분류에 대한 재검을 수행하여 제1 기계학습모듈에 의해 오류로 분류된 촬상 이미지에 대해 양품을 지시하는 타겟 레이블을 부여하여, 타겟 레이블과 함께 과검 데이터로서 저장 장치에 축적해두며, 사전에 설정된 재학습의 개시조건이 충족되면, 별도로 외부의 지시나 명령이 없이 제1 기계학습모듈의 재학습이 개시될 수 있다.

본 발명의 다양한 실시형태에서, 상기 저장 장치에 축적된 과검 데이터에 대한 가치평가와 가치평가의 결과 평가가치가 높은 데이터를 학습 데이터로 하는 제1 기계학습모듈의 재학습은 서로 연계되어 개시되거나 또는 사전에 설정된 서로 다른 개시조건의 충족 여부에 따라 개시될 수도 있다. 예를 들어, 검사시스템을 총괄적으로 제어하는 제어 유닛은, 재학습의 개시조건이 충족됨에 따라, 상기 가치평가 모듈을 가동하여 저장 장치에 축적된 과검 데이터를 대상으로 가치평가를 수행하고, 가치평가 결과에 따라 평가가치가 높은 데이터를 학습 데이터로 하는 제1 기계학습모듈의 재학습을 개시할 수 있다.

본 발명의 다양한 실시형태에서, 저장 장치에 축적된 과검 데이터에 대한 가치평가와 제1 기계학습모듈의 재학습은 사전에 설정된 서로 다른 개시조건의 충족 여부에 따라 개시될 수 있다. 예를 들어, 상기 저장 장치에 축적된 과검 데이터에 대한 가치평가는 재학습 이전에 이루어질 수 있으며, 예를 들어, 일정한 개수 이상의 과검 데이터가 축적되면, 가치평가가 수행되도록 가치평가 개시조건이 사전에 설정될 수 있고, 사전에 설정된 가치평가 개시조건이 충족되면, 별도의 외부의 지시나 명령이 없이 가치평가 모듈은 가치평가를 개시할 수 있다. 즉, 본 발명의 일 실시형태에서, 상기 가치평가 개시조건으로는, 저장 장치에 축적된 과검 데이터의 개수(육안 검사를 통하여 제1 기계학습모듈의 오류적인 분류가 포착된 과검 데이터의 개수)로 설정될 수 있으며, 특정한 개수 이상으로 설정된 가치평가 개시조건이 충족되면, 저장 장치에 축적된 과검 데이터를 평가 대상으로 하여, 상대적으로 높은 가치로 평가된 일군의 데이터를 선별적으로 재학습을 위한 학습 데이터로 편입시킬 수 있으며, 추후 재학습의 개시조건이 만족될 때, 제1 기계학습모듈의 재학습을 위하여 선별된 높은 가치의 일군의 데이터를 학습 데이터로 제공할 수 있다.

본 발명의 일 실시형태에서, 상기 재학습의 개시조건은, 제1 기계학습모듈의 예측의 정확도에 근거하여 설정될 수 있으며, 예를 들어, 도 8에 도시된 바와 같이, 제1 기계학습모듈의 예측의 정확도는 시간의 경과에 따라 점진적으로 떨어질 수 있고, 예측의 정확도가 일정한 수준 이하로 떨어지면, 제1 기계학습모듈의 가중치(커널 또는 필터)를 갱신할 필요가 있으므로, 재학습을 통하여 가중치를 갱신하도록 재학습이 개시될 수 있다. 본 발명의 일 실시형태에서, 제1 기계학습모듈의 예측의 정확도(양불 판별에 관한 분류의 정확도)는 제1 기계학습모듈에 의한 오류적인 분류를 척도로 할 수 있으며, 오류적인 분류를 제외한 나머지 올바른 분류가 전체 검사 대상 중에서 차지하는 비율로 정의되는 과검 필터링율에 의해 표현될 수 있다. 예를 들어, 본 발명의 일 실시형태에서, 상기 과검 필터링율이란, 제1 기계학습모듈의 전체 검사 대상 중에서 양품을 양품으로 올바르게 분류한 비율을 의미하는 것으로, 예를 들어, 본 발명의 일 실시형태에서, 상기 과검 데이터란 양불 판별에 관한 제1 기계학습모듈의 분류에서 상대적으로 높은 예측 확률로 불량으로 분류된 데이터 중에서 재검을 통하여 제1 기계학습모듈의 오류적인 분류로 판단한 것이고, 불량으로 판별한 제1 기계학습모듈의 분류와 달리, 재검에서 양품으로 판단한 것이므로, 이러한 과검 데이터는 양품을 불량으로 판단한 과검에 해당될 수 있다. 본 발명의 일 실시형태에서는 저장 장치에 축적된 과검 데이터의 개수를 계수하는 방식으로, 전체 검사 대상 중에서 과검 데이터를 제외하고 제1 기계학습모듈에 의해 올바르게 분류된 비율에 해당되는 과검 필터링율을 산출할 수 있으며, 산출된 과검 필터링율로부터 제1 기계학습모듈의 예측 정확도를 판단할 수 있고, 과검 필터링율로서 제1 기계학습모듈의 예측 정확도를 표현할 수 있다.

본 발명의 일 실시형태에서는 제1 기계학습모듈의 예측의 정확도(양불 판별에 관한 분류의 정확도)가 직전 수준의 예측 정확도 대비하여 경시적으로 임계값 이상으로 떨어졌는지 여부를 재학습의 개시조건으로 설정할 수 있으며, 본 발명의 일 실시형태에서, 제1 기계학습모듈의 예측의 정확도가 직전 수준의 예측의 정확도 대비하여 경시적으로 10% 이상 감소하였을 때를 재학습의 개시조건으로 설정할 수 있다. 여기서, 직전 수준의 예측 정확도란, 재학습의 이력 여부에 따라, 초기 제1 기계학습모듈의 예측 정확도 또는 직전 재학습 직후의 예측 정확도를 의미할 수 있으며, 예를 들어, 초기 내지는 직전 재학습 직후 대략 90%의 예측 정확도로부터 경시적으로 10% 이상의 감소가 나타나는 대략 80%의 예측 정확도를 보이는 시점을 재학습의 개시조건으로 설정할 수 있고, 재학습의 개시조건이 충족되면, 제1 기계학습모듈의 재학습이 개시될 수 있다.

본 발명의 일 실시형태에서, 재학습의 개시조건의 충족 여부는 검사시스템을 전체적으로 제어하는 제어 유닛에 의해 판단될 수 있고, 상기 제어 유닛은 수시로 또는 일정한 주기로 제1 기계학습모듈의 예측의 정확도를 산출하고 재학습의 개시조건의 충족 여부를 점검할 수 있다. 즉, 제1 기계학습모듈에 의해 불량으로 분류된 이미지는 제1 기계학습모듈의 분류에 대한 재검에 제공될 수 있고, 재검(육안 검사)을 통하여 제1 기계학습모듈의 분류에 오류가 있다고 판단한 검사자의 입력에 따라 오류로 분류된 과검 데이터는 재학습을 위한 학습 데이터(또는 학습 데이터의 선별을 위한 기초 데이터)로 분류되어 저장 장치에 축적될 수 있다. 이때, 상기 제어 유닛은 재학습의 이력 여부에 따라, 초기 또는 직전 재학습 직후의 누적된 전체 검사 대상의 개수 대비하여 저장 장치에 축적된 오류로 분류된 과검 데이터의 개수에 따라, 예를 들어, 초기 또는 직전 재학습 직후의 누적된 전체 검사 대상에 대한, 저장 장치에 축적된 오류로 분류된 과검 데이터의 상대적인 비율에 따라, 제1 기계학습모듈의 예측의 정확도를 산출할 수 있다.

본 발명의 다양한 실시형태에서, 상기 제어 유닛은 초기 또는 직전 재학습 직후의 누적된 전체 검사 대상에 대한, 저장 장치에 축적된 오류로 분류된 과검 데이터를 제외하고 제1 기계학습모듈에 의해 올바르게 분류된 데이터의 상대적인 비율에 따라, 상기 제1 기계학습모듈의 예측의 정확도를 산출할 수 있다. 예를 들어, 상기 제어 유닛은, 누적된 전체 검사 대상 중에서 저장 장치에 축적된 과검 데이터를 제외하고 제1 기계학습모듈에 의해 올바르게 분류된 데이터의 상대적인 비율에 해당되는 과검 필터링율을 산출할 수 있으며, 과검 필터링율로서 제1 기계학습모듈의 예측의 정확도를 산출할 수 있다.

본 발명의 제1 실시형태에서는 제1 기계학습모듈에 의해 불량으로 분류된 이미지에 대해 선별적으로 재검(리뷰)을 위한 육안 검사에 제공하고, 재검(리뷰)을 통하여 검출된 과검 데이터로부터 제1 기계학습모듈의 재학습을 위한 학습 데이터(또는 학습 데이터의 선별을 위한 기초 데이터)가 수집될 수 있다. 이와 같이, 본 발명의 일 실시형태에서는 기판검사의 일부로서 육안 검사를 통하여 이루어지는 재검(리뷰)으로부터 학습 데이터가 수집되므로, 별도로 제1 기계학습모듈의 재학습을 위한 학습 데이터를 준비하기 위한 연산 자원 및 시간의 할애를 막을 수 있다.

본 발명의 제1 실시형태에 따른 검사시스템은 제어 유닛에 의해 총괄적으로 제어될 수 있으며, 예를 들어, 상기 제어 유닛은 카메라 모듈을 제어하여 검사 대상인 기판에 대한 촬상 이미지를 출력하고, 제1 기계학습모듈을 제어하여 카메라 모듈로부터 출력된 촬상 이미지에 근거하여 양불 판별에 관한 이진 분류를 수행하며, 제2 기계학습모듈을 제어하여 제1 기계학습모듈에 의해 불량으로 분류된 촬상 이미지를 고해상도의 이미지로 변환하고, 변환된 고해상도의 이미지를 제1 기계학습모듈의 분류에 대한 재검(리뷰)를 위하여 육안 검사에 제공하고, 육안 검사의 결과로부터 오류로 분류된 과검 이미지를 재학습을 위한 기초 데이터로 분류하고, 사전에 설정된 가치평가 개시조건의 충족 여부에 따라 가치평가 모듈을 제어하여 과검 이미지를 대상으로 가치평가를 수행하고 상대적으로 높은 가치로 평가된 과검 이미지를 선별하여 재학습을 위한 학습 데이터로 분류하며, 사전에 설정된 재학습의 개시조건의 충족 여부에 따라 제1 기계학습모듈의 재학습을 수행할 수 있다.

이와 같이, 본 발명의 다양한 실시형태에서, 기계학습모듈의 재학습을 위한 학습 데이터 세트는 제어 유닛에 의해 이루어지는 일련의 제어 프로세스(기판 검사) 중에서 자연스럽게 수집될 수 있으며, 기판 검사의 일부로서 육안 검사로 이루어지는 재검(리뷰)을 통하여 수집될 수 있으며, 육안 검사를 완료한 검사자의 입력에 따라 상기 제어 유닛은 오류로 분류된 촬상 이미지를 재학습을 위한 학습 데이터 내지는 학습 데이터의 선별을 위한 기초 데이터로 분류할 수 있으므로, 본 발명의 일 실시형태에서, 상기 제1 기계학습모듈의 재학습을 위한 별도의 학습 데이터 세트를 수집하기 위한 별도의 준비 작업이 요구되지 않을 수 있다. 예를 들어, 본 발명에서와 달리, 제1 기계학습모듈의 재학습을 위하여 별도로 학습 데이터 세트를 준비하기 위해서는 각각의 학습 데이터를 수집하고, 특히 각각의 학습 데이터에 대한 타겟 레이블을 부여하는 레이블링에 많은 시간이 소요되며, 각각의 학습 데이터에 대해 하나 하나씩 확인하여 타겟 레이블을 부여하는 레이블링에 많은 공수와 시간이 소요되지만, 본 발명의 일 실시형태에서는 기판검사 중에 이루어지는 재검(리뷰)을 통하여 별도의 추가적인 작업 없이 작업자의 입력만으로 타겟 레이블이 부여되므로, 학습 데이터의 준비를 위한 별도의 공수와 시간을 절약할 수 있다.

본 발명의 제1 실시형태에서, 제1 기계학습모듈의 재학습을 위한 학습용 데이터 세트는 제1 기계학습모듈에 의해 불량으로 분류된 데이터 중에서 재검을 통하여 양품으로 판별된 과검 데이터로부터 제공될 수 있으며, 제1 기계학습모듈에 의해 양품으로 분류된 데이터 중에서 재검을 통하여 불량으로 판별된 미검 데이터로부터는 제공되지 않을 수 있다. 예를 들어, 본 발명의 일 실시형태에서, 제1 기계학습모듈의 분류에 대한 재검(리뷰)은 불량으로 분류된 데이터만을 대상으로 이루어지며, 양품으로 분류된 데이터를 대상으로는 이루어지지 않을 수 있다. 앞서 설명된 바와 같이, 검사 대상인 기판의 불량율을 고려하면, 대부분의 양품 중에 낮은 확률로 혼재되어 있는 결함을 포착한 제1 기계학습모듈의 분류에 대해 선별적으로 재검(리뷰)을 수행함으로써, 연산 부담을 줄이면서도 제1 기계학습모듈의 분류를 효율적으로 재검(리뷰)할 수 있다.

본 발명의 제1 실시형태에서, 상기 제1 기계학습모듈의 재학습에 적용되는 학습 데이터는, 제1 기계학습모듈에 의해 오류로 분류된 과검 데이터로서, 이러한 과검 데이터는 육안 검사에 의한 재검(리뷰)에서 모두 양품으로 판별되어, 이들을 학습 데이터에 대한 타겟 레이블은 모두 양품을 지시할 수 있다. 이와 같이, 본 발명의 일 실시형태에서, 제1 기계학습모듈의 재학습을 위한 학습 데이터의 타겟 레이블이 양불의 두 부류 중에서 어느 일 측으로 치우치는 편향을 갖는다고 볼 수도 있으나, 제1 기계학습모듈의 전체 검사 대상에 비해 제1 기계학습모듈의 초기 학습에 사용되는 학습 데이터의 양이 많다고 보기 어려운 경우가 대부분일 것이고, 이에 따라 추후의 재학습을 통하여 양불의 두 부류를 구분하는 결정 경계가 보다 정교하게 생성될 수 있으며, 제1 기계학습모듈의 예측의 정확도를 높일 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 양불의 두 부류 중에서 양품의 부류로 치우친 학습 데이터로 재학습을 진행하더라도, 재학습을 통하여 보다 정교한 결정 경계가 생성될 수 있으며, 재학습을 통하여 제1 기계학습모듈의 예측의 정확도를 높일 수 있다.

본 발명의 다양한 실시형태에서, 양불 판별에 관한 제1 기계학습모듈의 오류적인 분류로 판단된 과검 데이터가 축적된 저장 장치에는, 상기 과검 데이터와 함께, 초기 또는 직전 재학습 이후에 누적된 데이터가 함께 저장될 수 있으며, 과검 데이터와 함께 누적된 데이터가 더불어 제1 기계학습모듈의 재학습을 위한 학습 데이터(또는 학습 데이터의 선별을 위한 기초 데이터)로 제공될 수 있다. 본 발명의 일 실시형태에서는 과검 데이터만으로 제1 기계학습모듈을 재학습할 경우, 재학습을 위한 학습 데이터의 타겟 레이블이 양불의 두 부류 중에서 어느 일 측(양품임을 지시하는 타겟 레이블)으로 치우치는 편향을 가질 수 있으므로, 본 발명의 일 실시형태에서, 상기 제1 기계학습모듈의 재학습을 위한 학습 데이터는, 제1 기계학습모듈의 오류적인 분류로 판단된 과검 데이터를 포함하고, 과검 데이터 외에 초기 또는 직전의 재학습 이후로 누적되어 저장 장치에 축적된 다른 데이터를 포함할 수 있으며, 상기 가치평가 모듈은 저장 장치에 축적된 데이터들을 대상으로 가치평가를 수행할 수 있으며, 본 발명의 다양한 실시형태에서, 상기 가치평가 모듈은 가치평가를 위한 연산 부담을 줄이고 평가가치가 높은 데이터를 선별하여 제1 기계학습모듈의 재학습을 위한 학습 데이터로 편입시킨다는 취지에 부합하도록, 예를 들어, 저장 장치에 축적된 데이터들 중에서 평가가치가 높은 데이터에 해당되는 것으로 판단될 수 있는 과검 데이터에 대해서는 별도의 가치평가를 수행하지 않고, 평가가치가 높은 일군의 데이터에 속하는 것으로 분류할 수 있으며, 과검 데이터를 제외한 다른 데이터를 대상으로 가치평가를 수행하여, 이들 데이터 중에서 평가가치가 높은 데이터와 상기 과검 데이터를 재학습을 위한 학습 데이터로 하여, 제1 기계학습모듈을 재학습시킬 수도 있다. 과검 데이터 외의 다른 데이터를 대상으로 하는 가치평가는, 앞서 설명된 과검 데이터를 대상으로 하는 가치평가와 실질적으로 동일하게 이루어질 수 있으며, 다만, 상기 과검 데이터 외의 다른 데이터에는 양불의 두 부류로 타겟 레이블이 주어질 수 있다.

본 발명의 제1 실시형태에서, 상기 제1 기계학습모듈은 제2 기계학습모듈의 전단에 연결될 수 있으며, 상기 제1 기계학습모듈은 카메라 모듈로부터 제공되는 그레이 스케일의 저해상도 촬상 이미지를 입력으로 하여 양불 판별에 관한 이진 분류를 수행할 수 있고, 제1 기계학습모듈에 의해 불량으로 분류된 촬상 이미지를 선별하여 제1 기계학습모듈의 후단에 연결된 제2 기계학습모듈의 영상 처리를 통하여 R,G,B 컬러의 고해상도 이미지로 변환하여 제1 기계학습모듈의 분류에 대한 재검(리뷰)를 위하여 육안 검사에 제공할 수 있고, 이를 통하여 제1 기계학습모듈의 재학습을 위한 학습 데이터를 마련할 수 있다.

본 발명의 제1 실시형태에서, 제1 기계학습모듈의 분류를 재검(리뷰)하기 위해 육안 검사에 제공되는 이미지는 그레이 스케일의 저해상도 촬상 이미지로부터 제2 기계학습모듈의 영상 처리를 통하여 변환된 R,G,B 컬러의 고해상도 이미지이지만, 육안 검사를 통하여 오류적인 분류로 판단되어 재학습을 위한 학습 데이터로 축적되는 과검 데이터는 제1 기계학습모듈의 입력에 해당되는 촬상 이미지일 수 있다. 양불 판별에 관한 이진 분류를 위하여 제1 기계학습모듈로 입력되는 이미지는, 카메라 모듈로부터 생성된 촬상 이미지이기 때문에, 재학습을 위한 학습 데이터 세트의 입력 역시 촬상 이미지로 주어질 수 있다.

본 발명의 제1 실시형태에서, 상기 제1 기계학습모듈의 재학습에서 갱신되는 가중치(가중치 행렬, 커널 또는 필터)는 제1 기계학습모듈의 가중치(가중치 행렬, 커널 또는 필터)이며, 제2 기계학습모듈의 가중치는 갱신하지 않을 수 있다. 상기 제2 기계학습모듈은 저해상도의 그레이 스케일의 촬상 이미지를 고해상도의 컬러 이미지로 변환하기 위한 영상 처리를 수행하고, 상기 제1 기계학습모듈은 양불 판별에 관한 이진 분류(회귀 분석)를 수행하므로, 제1, 제2 기계학습모듈의 학습 데이터는 서로 다른 데이터이며, 본 발명의 일 실시형태에서 재학습이란, 육안 검사를 통하여 수집되는 재학습을 위한 학습 데이터를 이용하여 제1 기계학습모듈의 오류적인 분류를 재학습하기 위한 것이므로, 제1 기계학습모듈의 가중치만을 갱신할 수 있다.

앞서 설명된 바와 같이, 상기 제2 기계학습모듈은 저해상도 카메라 모듈로부터 생성된 저해상도 촬상 이미지를 입력으로 하고, 고해상도 카메라 모듈로부터 생성된 고해상도 촬상 이미지를 타겟으로하여, 제2 기계학습모듈의 가중치가 갱신될 수 있으며, 제1 기계학습모듈의 재학습을 통하여 제2 기계학습모듈의 가중치는 갱신되지 않을 수 있다.

본 발명의 제1 실시형태에서, 상기 제1 기계학습모듈의 재학습은, 제1 기계학습모듈에 의한 이진 분류와 유사한 양상으로 진행될 수 있으며, 예를 들어, 제1 기계학습모듈의 재학습 및 이진 분류 모두에서 촬상 이미지를 입력으로 할 수 있으며, 카메라 모듈로부터 생성된 그레이 스케일의 저해상도 이미지를 입력으로 할 수 있다. 예를 들어, 본 발명의 제1 실시형태에서, 상기 제1 기계학습모듈의 재학습 및 이진 분류에서 제2 기계학습모듈은 필요하지 않을 수 있으며, 제1 기계학습모듈의 재학습 및 이진 분류를 위한 신경망은 제1 기계학습모듈을 포함하되, 제2 기계학습모듈은 포함하지 않을 수 있다.

본 발명의 제1 실시형태에 따른 제1 기계학습모듈의 재학습에서, 학습 데이터의 입력은 제1 기계학습모듈로 입력될 수 있고, 제1 기계학습모듈로부터 출력되는 추정 클레스 레이블과 타겟 레이블 간의 차이를 오차로 하여, 제1 기계학습모듈의 가중치(가중치 행렬, 커널 또는 필터)가 갱신될 수 있다. 즉, 본 발명의 제1 실시형태의 재학습에서, 학습 데이터가 입력되는 제1 기계학습모듈의 입력과 타겟 레이블과 비교되는 제1 기계학습모듈의 출력 사이의 신경망은 제1 기계학습모듈만을 포함하고, 제2 기계학습모듈은 포함하지 않을 수 있다.

<제2 실시형태>

도 10에는 본 발명의 제2 실시형태에 따른 검사시스템의 전체적인 구성을 보여주는 도면이 도시되어 있다.

본 발명의 제2 실시형태에 따른 검사시스템은, 검사 대상인 기판에 대한 촬상 이미지를 제공하는 적어도 하나의 카메라 모듈과, 상기 카메라 모듈로부터 생성된 촬상 이미지를 고해상도의 이미지로 변환하기 위한 제2 기계학습모듈과, 상기 제2 기계학습모듈로부터 변환된 고해상도의 이미지로부터 기판의 결함 유무 내지는 양불 판별에 관한 이진 분류를 수행하기 위한 제1 기계학습모듈을 포함할 수 있다.

본 발명의 제2 실시형태에서, 상기 제1 기계학습모듈은 제2 기계학습모듈의 후단에 연결될 수 있으며, 이때, 상기 제2 기계학습모듈은 카메라 모듈로부터 생성된 촬상 이미지를 고해상도 이미지로 변환하고, 제1 기계학습모듈은 상기 제2 기계학습모듈에 의해 변환된 고해상도 이미지로부터 양불 판별에 관한 분류를 수행할 수 있다. 즉, 상기 제1 기계학습모듈은 그레이 스케일의 저해상도 촬상 이미지를 R,G,B 컬러의 고해상도 이미지로 변환하기 위한 제2 기계학습모듈의 후단에 연결되어 제2 기계학습모듈에 의해 변환된 R,G,B 컬러의 고해상도 이미지를 입력으로 하여, 양불 판별에 관한 이진 분류를 수행할 수 있다.

도 11에는 본 발명의 제2 실시형태에서 제2 기계학습모듈로부터 제공되는 R,G,B 컬러의 3채널의 이미지를 입력으로 하는 제1 기계학습모델에 적용될 수 있는 CNN (Convolution Neural Network) 신경망 모델을 설명하기 위한 도면으로, 이해의 편의를 위하여 단순화된 CNN 신경망 모델이 도시되어 있다.

도 11에 도시된 제1 기계학습모듈은 제2 기계학습모듈에 의해 변환된 R,G,B 컬러의 3채널 이미지를 입력으로 하고, 행열에 해당되는 2차원의 화소 배열과 R,G,B 채널에 해당되는 깊이 차원(또는 채널 차원)을 포함하는 3차원의 배열을 입력으로 할 수 있으며, 3차원의 배열과 합성곱 되는 각각의 커널도 행열에 해당되는 2차원의 화소 배열과 깊이 차원을 갖는 3차원을 가질 수 있다. 이때, 3차원 배열의 입력(R,G,B의 채널 차원을 갖는 촬상 이미지)과 3차원 배열의 커널의 합성곱을 통하여 2차원 배열의 특성 맵이 생성될 수 있으며, 본 발명의 제2 실시형태에서 상기 제1 기계학습모듈은 각각 3차원 배열을 갖는 다수의 커널을 포함하여, 행열의 2차원 크기는 줄어들면서 깊이 차원이 증가하는 형태로 특성 맵이 생성될 수 있다. 상기 제1 기계학습모듈은 다수의 합성곱층과 하나의 밀집층을 포함할 수 있으며, 상기 밀집층은 행열의 2차원과 깊이 차원을 갖는 3차원의 특성 맵을 1차원 특징 벡터로 플래트닝(flattening)하고, 1차원 특징 벡터를 형성하는 다수의 요소들에 대한 선형 조합 내지는 선형 조합에 활성화 함수를 적용함으로써, 양품 판별에 관한 이진 분류로서 양품/불량품에 속할 추정된 확률을 출력할 수 있다.

본 발명의 제2 실시형태에서는 양불 판별에 관한 제1 기계학습모듈의 이진 분류를 위하여 카메라 모듈로부터 생성된 촬상 이미지 자체가 아닌 촬상 이미지의 영상 처리를 통하여 제1 기계학습모듈로 입력되는 이미지를 생성하도록, 그레이 스케일의 저해상도의 촬상 이미지를 R,G,B 컬러의 고해상도의 이미지로 변환하기 위한 제2 기계학습모듈을 포함할 수 있다. 예를 들어, 본 발명의 제2 실시형태에서, 상기 제2 기계학습모듈은 제1 기계학습모듈의 전단에 연결되어 카메라 모듈로부터 생성된 그레이 스케일의 저해상도의 이미지를 R,G,B 컬러의 고해상도의 이미지로 변환하고, 제2 기계학습모듈에 의해 변환된 고해상도의 이미지가 양불 판별에 관한 이진 분류(자동화된 검사)를 위하여 제1 기계학습모듈로 제공될 수 있다.

앞서 살펴본 제1 실시형태에서와 유사하게, 상기 제2 실시형태에서도, 제2 기계학습모듈에 의해 변환된 고해상도 컬러 이미지는 재검(예를 들어, 육안 검사)을 위하여 검사자에게 제공될 수 있다. 다만, 본 발명의 제2 실시형태에서, 상기 재검(예를 들어, 육안 검사)을 위하여 제공되는 이미지는 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 판별된 이미지에 국한될 수 있으며, 제1 기계학습모듈의 출력(양품/불량품에 속할 확률)에 따라 불량으로 판별된 이미지만을 선별하여 해당 이미지, 예를 들어, 제2 기계학습모듈에 의해 카메라 모듈에 의해 제공되는 저해상도의 이미지로부터 고해상도로 변환된 이미지가 재검(예를 들어, 육안 검사)에 제공될 수 있다. 이러한 제2 실시형태에서, 데이터 처리 흐름을 살펴보면, 촬상 이미지를 생성하기 위한 카메라 모듈과, 카메라 모듈로부터 제공되는 촬상 이미지를 고해상도의 컬러 이미지로 변환하기 위한 제2 기계학습모듈과, 상기 제2 기계학습모듈에 의해 변환된 고해상도의 컬러 이미지를 입력으로 하여 양불 판별에 관한 이진 분류를 수행하기 위한 제1 기계학습모듈의 순서로 연결될 수 있다.

본 발명의 제1, 제2 실시형태를 포괄하는 본 발명의 다양한 실시형태에서, 상기 제1, 제2 기계학습모듈은 검사시스템의 전체적인 데이터 처리 흐름 상에서 서로에 대해 전후로 연결될 수 있으며, 예를 들어, 상기 제1 기계학습모듈과 제2 기계학습모듈의 연결 순서는 구체적인 제1, 제2 실시형태에서, 서로에 대해 역 순서로 연결될 수 있다.

본 발명의 제2 실시형태에서, 상기 제2 기계학습모듈은, 도 3에 도시된 바와 같이, 전치 합성곱(transposed convolution)을 통하여 행열에 해당되는 2차원 크기를 늘리면서 깊이 차원을 줄이는 형태로 특성 맵을 생성할 수 있다. 예를 들어, 상기 제2 기계학습모듈은, 다수의 커널을 포함하는 전치 합성곱층을 포함할 수 있으며, 그레이 스케일의 1채널의 이미지와 다수의 커널 사이의 전치 합성곱을 통하여 최종적으로 R,G,B 컬러의 3채널의 깊이 차원(채널 깊이)을 갖는 이미지를 출력할 수 있다.

본 발명의 제2 실시형태에서, 상기 검사시스템은, 그레이 스케일의 저해상도 촬상 이미지를 생성하는 저해상도 카메라 모듈과 G,R,B 컬러의 고해상도 촬상 이미지를 생성하는 고해상도 카메라 모듈을 겸비하면서도, 저해상도 카메라 모듈로부터 생성된 그레이 스케일의 저해상도의 이미지를 R,G,B 컬러의 고해상도의 이미지로 변환하기 위한 제2 기계학습모듈을 적용함으로써, 고해상도 카메라 모듈에 구비된 상대적으로 고배율의 광학 렌즈의 상대적으로 얕은 심도로 인한 착란원(circle of confusion) 또는 상퍼짐(blurring)과 같은 아웃 포커스(out of focus)가 없는 선명한 고해상도의 이미지가 제공될 수 있으며, 특히, 검사 대상인 기판 상에 형성된 패턴 간의 단락이나 기판 상에 설계된 패턴의 부재 등과 밀접하게 관련되어 있는 기판의 결함 여부를 추정하기 위해서는 기판의 에지와 양불 판별의 분류 사이의 상관관계를 분석할 필요가 있고, 양불 판별의 분류를 추정하기 위한 제1 기계학습모듈의 입력으로서, 패턴의 에지에서와 같이 심도 방향을 따라 불연속적인 경계에서 상퍼짐(blurring)이 없는 선명한 이미지를 제공함으로써, 검사시스템의 검사 정확도를 높일 수 있다.

본 발명의 제2 실시형태에서, 상기 제2 기계학습모듈은 카메라 모듈로부터 생성된 그레이 스케일의 저해상도 촬상 이미지를 R,G,B 컬러의 고해상도 이미지로 변환하여 제1 기계학습모듈의 분류를 위한 입력으로 제공할 수 있는데, 상기 제2 기계학습모듈에 의해 변환된 R,G,B 컬러의 고해상도 이미지는, 고해상도 카메라 모듈로부터 생성된 광학 이미지와 달리, 패턴 에지와 같은 불연속적인 경계에서 상퍼짐(blurring)과 같은 아웃 포커스가 배제된 선명한 이미지를 제공할 수 있다는 점에서, 양불 판별에 관한 제1 기계학습모듈의 분류의 예측 정확도가 향상될 수 있다. 본 발명의 제2 실시형태에서, 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 분류된 고해상도의 컬러 이미지(제2 기계학습모듈로부터 변환된 고해상도의 컬러 이미지)는 제1 기계학습모듈의 분류에 대한 재검(예를 들어, 육안 검사)을 위하여 육안 검사에 제공할 수 있으며, 제2 기계학습모듈에 의해 변환된 R,G,B 컬러의 고해상도 이미지는, 고해상도 카메라 모듈로부터 생성된 광학 이미지와 달리, 패턴 에지와 같은 불연속적인 경계에서 상퍼짐(blurring)과 같은 아웃 포커스가 배제된 선명한 이미지를 제공할 수 있다는 점에서, 제1 기계학습모듈의 분류에 대한 재검(리뷰)을 위한 육안 검사가 보다 용이하게 이루어질 수 있다. 다만, 본 발명의 다양한 실시형태에서, 상기 재검(리뷰)을 위한 육안 검사에는 상기 제2 기계학습모듈에 의해 변환된 고해상도 이미지와 함께, 고해상도 카메라 모듈로부터 생성된 고해상도 이미지(광학 이미지)가 함께 제공될 수도 있으며, 상기 육안 검사에서는 제2 기계학습모듈에 의해 변환된 이미지와 고해상도 카메라 모듈로부터 생성된 고해상도 이미지(광학 이미지)를 함께 검토할 수도 있다.

본 발명의 제2 실시형태에서, 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 분류된 이미지는 제1 기계학습모듈의 분류에 관한 재검을 위하여 육안 검사에 제공될 수 있다. 이때, 본 발명의 제2 실시형태에서는, 상기 제1 기계학습모듈이 상기 제2 기계학습모듈의 후단에 연결되면서, 제1 기계학습모듈의 분류된 근거가 되는 고해상도 이미지가 재검에 제공될 수 있다.

본 발명의 제2 실시형태에서, 제1, 제2 기계학습모듈을 포함하는 신경망은 전단에 연결된 제2 기계학습모듈과 후단에 연결된 제1 기계학습모듈을 포함할 수 있으며, 저해상도 카메라 모듈로부터 생성된 촬상 이미지는 제2 기계학습모듈에 의해 고해상도 이미지로 변환되고, 제2 기계학습모듈에 의해 변환된 고해상도 이미지는 제1 기계학습모듈로 입력되어 양불 판별에 관한 이진 분류가 수행되고, 불량으로 판별된 고해상도 이미지는 제1 기계학습모듈의 이진 분류에 관한 재검을 위하여 육안 검사에 제공될 수 있다. 이와 같이, 본 발명의 제2 실시형태에서, 상기 저해상도 카메라 모듈은 고해상도 이미지로의 변환을 위한 제2 기계학습모듈의 입력으로서의 촬상 이미지를 제공할 수 있으며, 상기 저해상도 카메라 모듈은 기판검사 중에는 온(on) 상태를 유지할 수 있으나, 상기 고해상도 카메라 모듈은, 제2 기계학습모듈의 학습 데이터를 수집하기 위한, 보다 구체적으로, 제2 기계학습모듈의 학습 데이터에 대한 타겟 레이블을 부여하기 위한 목적으로 선택적으로 가동될 수 있으며, 이에 따라, 상기 고해상도 카메라 모듈은 기판검사 중에 선택적으로 온(on) 상태를 유지할 수 있다. 예를 들어, 상기 고해상도 카메라 모듈은 기판검사 자체를 목적으로 하기 보다는, 기판검사를 위한 제2 기계학습모듈의 학습 데이터의 수집(보다 구체적으로, 학습 데이터의 타겟 레이블링)을 위한 목적으로 가동될 수 있다. 다시 말하면, 기판검사 중에, 그러니까, 기판검사를 수행하는 제1 기계학습모듈의 구동 중에, 상기 제1 기계학습모듈로 입력되는 고해상도 이미지를 출력하는 제2 기계학습모듈은 온(ON) 상태를 유지할 필요가 있으며, 상기 제2 기계학습모듈에 대해 저해상도 촬상 이미지를 제공하는 저해상도 카메라 모듈도 온(ON) 상태를 유지할 수 있으나, 상기 제2 기계학습모듈의 학습 데이터에 대한 타겟 레이블을 부여하기 위한 고해상도 카메라 모듈은, 학습 데이터의 수집을 위해 기판검사 중에 선택적으로 온(ON) 상태를 유지할 수 있다.

본 발명의 제2 실시형태에서는, 상기 제1 기계학습모듈의 이진 분류를 재검(리뷰)하기 위한 육안 검사를 위하여, 상기 제2 기계학습모듈로부터 변환된 고해상도 이미지와 더불어, 상기 고해상도 카메라 모듈로부터 생성된 고해상도 이미지가 함께 제공될 수도 있으며, 이러한 목적으로 상기 고해상도 카메라 모듈은 저해상도 카메라 모듈과 유사하게, 기판검사 중에 온(on) 상태를 유지할 수도 있다.

본 발명의 제1, 제2 실시형태를 포괄하는 다양한 실시형태에 따른 검사시스템에서는, 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 분류된 촬상 이미지를 고해상도의 컬러 이미지로 변환하여 육안 검사에 제공하거나 또는 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 분류된 고해상도의 컬러 이미지를 육안 검사에 제공할 수 있다.

본 발명의 제2 실시형태에 따른 검사시스템에서는, 카메라 모듈로부터 생성되는 모든 촬상 이미지에 대해, 제2 기계학습모듈을 가동하여, 저해상도의 촬상 이미지를 고해상도의 컬러 이미지로 변환할 수 있으며, 제2 기계학습모듈에 의해 변환된 고해상도의 이미지는 제1 기계학습모듈로 입력되어 양불 판별에 관한 이진 분류가 수행될 수 있고, 상대적으로 높은 예측 확률로 불량으로 분류된 이미지를 선별하여 제1 기계학습모듈의 이진 분류에 관한 재검에 제공될 수 있다. 이러한 제2 실시형태에서, 카메라 모듈로부터 이어지는 연속적인 검사의 흐름 상에서 카메라 모듈로부터 전송되는 모든 촬상 이미지에 대해 제1 기계학습모듈의 이진 분류에 대한 재검이 이루어지도록 하는 것은 전체 검사 프로세스를 지연시키는 원인이 될 수 있기 때문에, 본 발명의 제2 실시형태에서는 제1 기계학습모듈로부터 불량으로 판별된 이미지에 대해서만 제1 기계학습모듈의 이진 분류에 대한 재검이 이루어지도록 할 수 있다.

본 발명의 제2 실시형태에 따른 검사시스템에서는, 제2 기계학습모듈의 영상 처리를 통하여 변환된 고해상도의 이미지를 입력으로 하는 제1 기계학습모듈의 양불 판별에 관한 이진 분류에서 높은 예측 확률로 불량으로 분류된 촬상 이미지를 선별하여 제2 기계학습모듈에 의해 변환된 고해상도 이미지를 제1 기계학습모듈의 이진 분류에 대한 재검에 제공할 수 있다.

본 발명의 제1, 제2 실시형태를 포괄하는 다양한 실시형태에서, 상기 제2 기계학습모듈에 의해 변환된 고해상도의 이미지는 디스플레이 장치로 전송되어 검사자에 의한 육안 검사가 이루어지도록 할 수 있다. 그리고, 육안 검사를 완료한 검사자의 입력에 따라, 예를 들어, 제1 기계학습모듈의 분류에 오류가 있다고 판단한 검사자의 입력에 따라, 오류로 분류된 과검 데이터(오류로 분류된 고해상도의 과검 이미지)는 재학습을 위한 학습 데이터(또는 학습 데이터의 선별을 위한 기초 데이터)로 분류되어 저장 장치에 축적될 수 있다.

본 발명의 제2 실시형태에서는, 상기 제1 기계학습모듈의 양불 판별에 관한 이진 분류에서 높은 예측 확률로 불량으로 판단된 이미지에 대해 육안 검사를 통한 재검이 이루어지며, 제1 기계학습모듈의 양불 판별과 육안 검사를 통한 양불 판별이 서로 일치하지 않는 과검 데이터에 대해 재학습을 위한 학습 데이터(또는 학습 데이터의 선별을 위한 기초 데이터)로 분류하여 저장 장치에 축적해둘 수 있다. 본 발명의 제2 실시형태에서, 제1 기계학습모듈의 양불 판별과 육안 검사를 통한 양불 판별이 서로 일치하지 않는 과검 데이터란 제1 기계학습모듈에서 불량으로 분류하였으나, 불량으로 분류된 고해상도 이미지에 대한 육안 검사를 통하여 양품으로 판별된 과검 데이터로서, 제2 기계학습모듈을 통하여 고해상도로 변환된 과검 이미지를 포함할 수 있다.

본 발명의 제2 실시형태에서는 저해상도의 촬상 이미지로부터 제2 기계학습모듈의 영상 처리를 통하여 변환된 고해상도의 이미지를 입력으로 하고, 제1 기계학습모듈에 의해 불량으로 분류된 고해상도의 이미지에 대해 육안 검사를 통하여 제1 기계학습모듈의 분류에 대한 재검을 수행하여 제1 기계학습모듈에 의해 오류로 분류된 고해상도 이미지에 대해 양품을 지시하는 타겟 레이블을 부여하여, 타겟 레이블과 함께 과검 데이터로서 저장 장치에 축적해두며, 사전에 설정된 재학습의 개시조건이 충족되면, 별도로 외부의 지시나 명령이 없이 제1 기계학습모듈의 재학습이 개시될 수 있다.

본 발명의 제2 실시형태에서, 상기 제1 기계학습모듈은 제2 기계학습모듈의 후단에 연결될 수 있으며, 상기 제2 기계학습모듈은 카메라 모듈로부터 제공되는 그레이 스케일의 저해상도 촬상 이미지를 R,G,B 컬러의 고해상도 이미지로 변환하기 위한 영상 처리를 수행할 수 있고, 상기 제2 기계학습모듈의 후단에 연결된 제1 기계학습모듈은 제2 기계학습모듈을 통하여 변환된 R,G,B 컬러의 고해상도 이미지를 입력으로 하여 양불 판별에 관한 이진 분류를 수행할 수 있으며, 제1 기계학습모듈에 의해 불량으로 분류된 R,G,B 컬러의 고해상도 이미지를 제1 기계학습모듈의 분류에 대한 재검(리뷰)를 위하여 육안 검사에 제공할 수 있고, 이를 통하여 제1 기계학습모듈의 재학습을 위한 학습 데이터를 마련할 수 있다.

본 발명의 제1, 제2 실시형태에서, 상기 제1 기계학습모듈의 학습 데이터는 서로 다른 해상도를 가질 수 있으며, 예를 들어, 도 1에 도시된 제1 실시형태에서, 제1 기계학습모듈의 분류를 재검(리뷰)하기 위해 육안 검사에 제공되는 이미지는 그레이 스케일의 저해상도 촬상 이미지로부터 제2 기계학습모듈의 영상 처리를 통하여 변환된 R,G,B 컬러의 고해상도 이미지이지만, 육안 검사를 통하여 오류적인 분류로 판단되어 재학습을 위한 학습 데이터로 축적되는 과검 데이터는 제1 기계학습모듈의 입력에 해당되는 촬상 이미지일 수 있다. 양불 판별에 관한 이진 분류를 위하여 제1 기계학습모듈로 입력되는 이미지는, 카메라 모듈로부터 생성된 촬상 이미지이기 때문에, 재학습을 위한 학습 데이터 세트의 입력 역시 촬상 이미지로 주어질 수 있다. 이러한 제1 실시형태에서와 달리, 도 10에 도시된 제2 실시형태에서 제1 기계학습모듈의 분류를 재검(리뷰)하기 위해 육안 검사에 제공되는 이미지는 그레이 스케일의 저해상도 촬상 이미지로부터 제2 기계학습모듈의 영상 처리를 통하여 변환된 R,G,B 컬러의 고해상도 이미지이며, 육안 검사를 통하여 오류적인 분류로 판단되어 재학습을 위한 학습 데이터로 축적되는 과검 데이터도 제1 기계학습모듈의 입력에 해당되는 R,G,B 컬러의 고해상도 이미지일 수 있다. 양불 판별에 관한 이진 분류를 위하여 제1 기계학습모듈로 입력되는 이미지는, 카메라 모듈로부터 생성된 촬상 이미지가 아닌, 제2 기계학습모듈의 영상 처리를 통하여 변환된 R,G,B 컬러의 고해상도 이미지이기 때문에, 재학습을 위한 학습 데이터 세트의 입력 역시 R,G,B 컬러의 고해상도 이미지로 주어질 수 있다.

본 발명의 제2 실시형태에서, 상기 제1 기계학습모듈의 재학습에서 갱신되는 가중치(가중치 행렬, 커널 또는 필터)는 제1 기계학습모듈의 가중치(가중치 행렬, 커널 또는 필터)이며, 제2 기계학습모듈의 가중치는 갱신하지 않을 수 있다. 상기 제2 기계학습모듈은 저해상도의 그레이 스케일의 촬상 이미지를 고해상도의 컬러 이미지로 변환하기 위한 영상 처리를 수행하고, 상기 제1 기계학습모듈은 양불 판별에 관한 이진 분류(회귀 분석)를 수행하므로, 제1, 제2 기계학습모듈의 학습 데이터는 서로 다른 데이터이며, 본 발명의 일 실시형태에서 재학습이란, 육안 검사를 통하여 수집되는 재학습을 위한 학습 데이터를 이용하여 제1 기계학습모듈의 오류적인 분류를 재학습하기 위한 것이므로, 제1 기계학습모듈의 가중치만을 갱신할 수 있다.

앞서 설명된 바와 같이, 상기 제2 기계학습모듈은 저해상도 카메라 모듈로부터 생성된 저해상도 촬상 이미지를 입력으로 하고, 고해상도 카메라 모듈로부터 생성된 고해상도 촬상 이미지를 타겟으로하여, 제2 기계학습모듈의 가중치가 갱신될 수 있으며, 제1 기계학습모듈의 재학습을 통하여 제2 기계학습모듈의 가중치는 갱신되지 않을 수 있다.

앞서 도 1을 참조하여 설명된 제1 실시형태와 달리, 본 발명의 제2 실시형태에서, 상기 제1 기계학습모듈의 재학습은, 제1 기계학습모듈에 의한 이진 분류와 다른 양상으로 진행될 수 있으며, 예를 들어, 제1 기계학습모듈의 재학습에서는 제1 기계학습모듈의 오류적인 분류의 근거가 된 고해상도의 이미지를 입력으로 하므로, 별도로 제2 기계학습모듈을 필요로 하지 않을 수 있으나, 제1 기계학습모듈의 이진 분류에서는 카메라 모듈로부터 생성된 그레이 스케일의 저해상도 이미지를 R,G,B 컬러의 고해상도 이미지로 변환하기 위한 제2 기계학습모듈을 필요로 할 수 있다. 예를 들어, 본 발명의 제2 실시형태에서, 상기 제1 기계학습모듈의 재학습에서 제2 기계학습모듈은 필요하지 않을 수 있으며, 제1 기계학습모듈의 재학습을 위한 신경망은 제1 기계학습모듈은 포함하되, 제2 기계학습모듈은 포함하지 않을 수 있다. 제1 기계학습모듈의 재학습과 달리, 제1 기계학습모듈의 이진 분류에서는 제2 기계학습모듈을 필요로 할 수 있으며, 제1 기계학습모듈의 이진 분류를 위한 신경망은 제1 기계학습모듈과 함께, 제2 기계학습모듈을 포함할 수 있다.

본 발명의 제2 실시형태에 따른 제1 기계학습모듈의 재학습에서, 학습 데이터의 입력은 제1 기계학습모듈로 입력될 수 있고, 제1 기계학습모듈로부터 출력되는 추정 클레스 레이블과 타겟 레이블 간의 차이를 오차로 하여, 제1 기계학습모듈의 가중치(가중치 행렬, 커널 또는 필터)가 갱신될 수 있다. 즉, 본 발명의 제2 실시형태의 재학습에서, 학습 데이터가 입력되는 제1 기계학습모듈의 입력과 타겟 레이블과 비교되는 제1 기계학습모듈의 출력 사이의 신경망은 제1 기계학습모듈만을 포함하고, 제2 기계학습모듈은 포함하지 않을 수 있다.

본 발명의 제2 실시형태에 따른 검사시스템은, 저장 장치에 축적되어 있는 과검 데이터를 평가 대상으로 하여 가치평가 알고리즘을 수행할 수 있으며, 가치평가 알고리즘을 통하여 상대적으로 높은 가치로 평가된 과검 데이터를 선별하여 재학습을 위한 학습 데이터로 제공하기 위한 가치평가 모듈을 포함할 수 있다.

<제3 실시형태>

도 12에는 본 발명의 제3 실시형태에 따른 검사시스템의 전체적인 구성을 보여주는 도면이 도시되어 있다.

본 발명의 제3 실시형태에 따른 검사시스템은, 각각 검사 대상인 기판에 대한 촬상 이미지를 제공하는 것으로, 그레이 스케일의 저해상도 촬상 이미지를 생성하는 저해상도 카메라 모듈과 R,G,B 컬러의 고해상도 촬상 이미지를 생성하는 고해상도 카메라 모듈을 포함하는 카메라 모듈과, 상기 저해상도 카메라 모듈로부터 생성된 저해상도 촬상 이미지를 고해상도의 이미지로 변환하기 위한 제2 기계학습모듈을 포함할 수 있으며, 상기 제2 기계학습모듈로부터 변환된 고해상도의 이미지로부터 기판의 결함 유무 내지는 양불 판별에 관한 검사를 수행하기 위한 비전검사모듈을 포함할 수 있다. 상기 비전검사모듈에 의해 불량으로 판별된 고해상도 이미지는 비전검사모듈의 검사에 대한 재검(리뷰)를 위하여 육안 검사에 제공될 수 있으며, 비전검사모듈의 판별의 근거가 된 고해상도 이미지는 디스플레이 장치로 전송되어 검사자에 의한 육안 검사가 이루어지도록 할 수 있다.

본 발명의 제3 실시형태에 따른 검사시스템은, 그레이 스케일의 저해상도 촬상 이미지를 생성하는 저해상도 카메라 모듈과 R,G,B 컬러의 고해상도 촬상 이미지를 생성하는 고해상도 카메라 모듈을 포함할 수 있으며, 저해상도 카메라 모듈과 고해상도 카메라 모듈을 겸비하면서도, 저해상도 카메라 모듈로부터 생성된 그레이 스케일의 저해상도의 이미지를 R,G,B 컬러의 고해상도의 이미지로 변환하기 위한 제2 기계학습모듈을 적용함으로써, 고해상도 카메라 모듈에 구비된 상대적으로 고배율의 광학 렌즈의 상대적으로 얕은 심도로 인한 착란원(circle of confusion) 또는 상퍼짐(blurring)과 같은 아웃 포커스(out of focus)가 없는 선명한 고해상도의 이미지가 제공될 수 있으며, 특히, 검사 대상인 기판 상에 형성된 패턴 간의 단락이나 기판 상에 설계된 패턴의 부재 등과 밀접하게 관련되어 있는 기판의 결함 여부를 포착하기 위해서는 패턴의 에지에서와 같이 심도 방향을 따라 불연속적인 경계에서 상퍼짐(blurring)이 없는 선명한 이미지를 제공할 필요가 있기 때문에, 본 발명의 제3 실시형태에 따른 검사시스템은, R,G,B 컬러의 고해상도 촬상 이미지를 제공하는 고해상도 카메라 모듈과 함께, 그레이 스케일의 저해상도 촬상 이미지를 R,G,B 컬러의 고해상도 이미지로 변환하기 위한 제2 기계학습모듈을 포함할 수 있다. 예를 들어, 본 발명의 제3 실시형태에서, 상기 카메라 모듈은 저해상도 카메라 모듈과 고해상도 카메라 모듈을 포함하면서도, 고해상도 카메라 모듈로부터 포착된 불선명한 에지를 갖는 촬상 이미지를 비전검사모듈의 입력으로 하기 보다는, 저해상도 카메라 모듈 및 고해상도 카메라 모듈에 의해 제공된 학습 데이터로부터 학습된 가중치를 포함하는 제2 기계학습모듈을 통하여 저해상도 카메라 모듈로부터 생성된 그레이 스케일의 저해상도 이미지를 R,G,B 컬러의 고해상도 이미지로 변환해주는 제2 기계학습모듈의 영상 처리로부터 생성된 선명한 에지를 갖는 고해상도 이미지를 입력으로 하여, 양불 판별을 위한 비전검사모듈에 제공함으로써, 검사시스템의 검사 정확도를 높일 수 있다.

상기 비전검사모듈은 결함 유무 내지는 양불 판별에 관한 검사를 수행할 수 있으며, 룰 기반 검사(rule-based inspection)를 수행할 수 있다. 예를 들어, 본 발명의 제3 실시형태에서, 상기 비전검사모듈은 제2 기계학습모듈로부터 변환된 고해상도 이미지 상으로부터 에지(에지 성분 및 코너 성분)를 검출하거나 또는 고해상도 이미지 상의 화소 값의 분포로부터 임계값을 산출하고 산출된 임계값을 기준으로 고해상도 이미지 상에서 서로 다른 두 부류 이상의 영역을 분할하는 임계화를 이용한 영역 분할 방식 등으로, 결함 여부 내지는 양불 판별을 수행할 수 있다. 본 발명의 제3 실시형태에서는 광학적인 배율에 의하지 않고, 저해상도 카메라 모듈 및 고해상도 카메라 모듈에 의해 제공된 학습 데이터로부터 학습된 가중치를 포함하는 제2 기계학습모듈을 통하여 저해상도 카메라 모듈로부터 생성된 그레이 스케일의 저해상도 이미지를 R,G,B 컬러의 고해상도 이미지로 변환하여 선명한 에지를 갖는 고해상도 이미지를 양불 판별을 위한 비전검사모듈에 제공할 수 있다.

본 발명의 제3 실시형태에서는 검사시스템에 함께 마련된 저해상도 카메라 모듈과 고해상도 카메라 모듈로부터 생성된 서로 다른 해상도의 이미지를 이용하여 제2 기계학습모듈의 가중치를 학습시킬 수 있으며, 예를 들어, 저해상도 카메라 모듈로부터 생성된 저해상도의 촬상 이미지를 입력으로 하고, 고해상도 카메라 모듈로부터 생성된 고해상도의 촬상 이미지를 타겟으로 하는 학습 알고리즘을 통하여 제2 기계학습모듈의 가중치를 갱신할 수 있다. 예를 들어, 상기 고해상도 카메라 모듈은, 제2 기계학습모듈의 가중치 학습을 위한 타겟 레이블에 해당되는 고해상도 이미지를 제공할 수 있으며, 이에 따라, 상기 고해상도 카메라 모듈과 제2 기계학습모듈은 실질적으로 동일한 배율 내지는 해상도를 구현할 수 있다. 다시 말하면, 상기 고해상도 카메라 모듈에 의해 제공되는 광학적인 배율과 상기 제2 기계학습모듈에 의해 업-스케일(up- scale)되는 배율은 실질적으로 동일할 수 있다.

본 발명의 제3 실시형태에서, 상기 저해상도 카메라 모듈은 고해상도 이미지로의 변환을 위한 제2 기계학습모듈의 입력으로서의 촬상 이미지를 제공할 수 있으며, 상기 저해상도 카메라 모듈은 기판검사 중에는 온(on) 상태를 유지할 수 있으나, 상기 고해상도 카메라 모듈은, 제2 기계학습모듈의 학습 데이터를 수집하기 위한, 보다 구체적으로, 제2 기계학습모듈의 학습 데이터에 대한 타겟 레이블을 부여하기 위한 목적으로 선택적으로 가동될 수 있으며, 이에 따라, 상기 고해상도 카메라 모듈은 기판검사 중에 선택적으로 온(on) 상태를 유지할 수 있다. 예를 들어, 상기 고해상도 카메라 모듈은 기판검사 자체를 목적으로 하기 보다는, 기판검사를 위한 제2 기계학습모듈의 학습 데이터의 수집(보다 구체적으로, 학습 데이터의 타겟 레이블링)을 위한 목적으로 선택적으로 가동될 수 있다. 다시 말하면, 기판검사 중에, 그러니까, 기판검사를 수행하는 비전검사모듈의 구동 중에, 상기 비전검사모듈로 입력되는 고해상도 이미지를 출력하는 제2 기계학습모듈은 온(ON) 상태를 유지할 필요가 있으며, 상기 제2 기계학습모듈에 대해 저해상도 촬상 이미지를 제공하는 저해상도 카메라 모듈도 온(ON) 상태를 유지할 수 있으나, 상기 제2 기계학습모듈의 학습 데이터에 대한 타겟 레이블을 부여하기 위한 고해상도 카메라 모듈은, 학습 데이터의 수집을 위해 기판검사 중에 선택적으로 온(ON) 상태를 유지할 수 있다.

본 발명의 제3 실시형태에서는, 상기 비전검사모듈의 검사를 재검(리뷰)하기 위한 육안 검사를 위하여, 상기 제2 기계학습모듈로부터 변환된 고해상도 이미지와 더불어, 상기 고해상도 카메라 모듈로부터 생성된 고해상도 이미지가 함께 제공될 수도 있으며, 이러한 목적으로 상기 고해상도 카메라 모듈은 저해상도 카메라 모듈과 유사하게, 기판검사 중에 온(on) 상태를 유지할 수도 있다.

본 발명의 제3 실시형태에서, 상기 카메라 모듈로부터 생성된 저해상도 이미지는 제2 기계학습모듈로부터 고해상도 이미지로 변환될 수 있으며, 제2 기계학습모듈로부터 변환된 고해상도 이미지는 결함 여부 내지는 양불 판별을 위한 비전검사모듈로 입력될 수 있다. 이때, 상기 비전검사모듈에 의해 불량으로 판별된 고해상도 이미지는 비전검사모듈의 검사에 대한 재검(리뷰)를 위하여 육안 검사에 제공될 수 있다. 본 발명의 제3 실시형태에서는 비전검사모듈로부터 불량으로 판별된 이미지에 대해 선별적으로 비전검사모듈의 검사에 대한 재검이 이루어지도록 함으로써, 전체 검사 프로세스의 지연을 방지하면서도, 비전검사모듈의 판별에 대한 재검이 효과적으로 이루어지도록 할 수 있다.

상기 비전검사모듈과 앞서 설명된 제1, 제2 실시형태의 제1 기계학습모듈은, 모두 검사 대상인 기판의 결함 유무에 관한 양불 판별을 수행하지만, 상기 비전검사모듈은 제1 기계학습모듈과 같이 레이블링된 학습 데이터에 의한 사전 학습이 요구되지 않을 수 있다.

본 발명의 다양한 실시형태에서, 양불의 판별을 수행하는 신경망은 신경망의 출력으로서, 예를 들어, 양불의 2가지 클래스 각각에 속할 확률을 예측할 수 있으며, 시그모이드 또는 소프트 맥스와 같은 출력 함수를 적용하여, 양불의 2가지 클래스 각각에 속할 확률을 예측하는 외에, 양불 이외의 다중 클래스 각각에 속할 확률을 예측할 수도 있으며, 이런 의미에서 본 명세서에서, 양불 판별에 관한 이진 분류란 양불의 2가지의 클래스 각각에 속할 확률을 예측하는 것만을 한정적으로 의미하기 보다는, 양불에 관한 다중 분류로서 2 이상의 클래스 각각에 속할 확률을 예측하는 것도 포함하는 광의적인 의미로 해석될 수 있다.

본 발명은 첨부된 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다.

S: 검사 대상인 기판 P: 기판 상의 패턴
20: 광학 렌즈 80: 촬상면
80`: 결상면 85: 착란원
B: 결정 경계

Claims (20)

1. 검사 대상으로부터 촬상 이미지를 생성하기 위한 카메라 모듈;
   상기 검사 대상의 양불 판별에 관한 이진 분류를 수행하는 제1 기계학습모듈;
   저해상도의 상기 촬상 이미지를 고해상도 이미지로 변환하기 위한 영상 처리를 수행하는 제2 기계학습모듈; 및
   상기 제1, 제2 기계학습모듈을 제어하기 위한 제어 유닛을 포함하되,
   상기 카메라 모듈은, 상대적으로 고배율의 광학 렌즈를 포함하여 고해상도의 촬상 이미지를 생성하는 고해상도 카메라 모듈 및 상대적으로 저배율의 광학 렌즈를 포함하여 저해상도의 촬상 이미지를 생성하는 저해상도 카메라 모듈을 포함하고,
   상기 제1 기계학습모듈은 상기 저해상도 카메라 모듈로부터 출력되는 저해상도의 촬상 이미지를 입력으로 하며,
   상기 제어 유닛은, i)제1 기계학습모듈이 불량으로 분류한 제1 촬상 이미지와 ii)제1 기계학습모듈이 양품으로 분류한 제2 촬상 이미지 중에서, ii)제1 기계학습모듈로부터 양품으로 분류된 제2 촬상 이미지는 제외하고 i)제1 기계학습모듈로부터 불량으로 분류된 제1 촬상 이미지를 선별적으로 상기 제2 기계학습모듈을 통하여 고해상도 이미지로 변환하고 제1 기계학습모듈의 재검에 제공함으로써, i)제1 촬상 이미지 중에서 양품을 제1 기계학습모듈의 오류로 불량으로 분류한 과검 데이터는 제1 기계학습모듈의 재검을 통하여 양품을 지시하는 타겟 레이블과 연계시켜 제1 기계학습모듈의 재학습을 위한 학습 데이터로 저장하되, ii)제2 촬상 이미지는 제1 기계학습모듈의 재검 및 재학습을 위한 학습 데이터에서 제외하고,
   상기 제2 기계학습모듈은 i)제1 촬상 이미지로서 그레이 스케일의 1채널의 저해상도의 촬상 이미지를 입력으로 하여, 입력된 촬상 이미지의 2차원 행열 방향을 따라 화소 배열을 증가시키고 행열 방향과 다른 채널 깊이를 따라 R 채널, G 채널, B 채널의 이미지를 생성하여, R,G,B 컬러의 3채널 고해상도 이미지를 생성하는 것을 특징으로 하는 검사시스템.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 제2 기계학습모듈은, 상기 저해상도 카메라 모듈 및 고해상도 카메라 모듈에 의해 함께 제공된 학습 데이터로부터 학습된 가중치를 포함하고,
   상기 저해상도 카메라 모듈로부터 생성된 저해상도 촬상 이미지를 입력으로 하고, 상기 고해상도 카메라 모듈로부터 생성된 고해상도 촬상 이미지를 타겟으로 하여, 상기 제2 기계학습모듈의 가중치가 갱신되는 것을 특징으로 하는 검사시스템.
5. 제1항에 있어서,
   상기 고해상도 카메라 모듈에 의해 제공되는 광학적인 배율과 상기 제2 기계학습모듈에 의해 업-스케일(up-scale)되는 배율은 실질적으로 동일한 것을 특징으로 하는 검사시스템.
6. 제1항에 있어서,
   상기 제1 기계학습모듈은 제2 기계학습모듈의 전단에 연결되며,
   상기 제1 기계학습모듈은 저해상도의 촬상 이미지로부터 양불 판별에 관한 분류를 수행하고,
   상기 제2 기계학습모듈은 상기 제1 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 분류된 제1 촬상 이미지에 대해 선별적으로 상기 촬상 이미지를 고해상도 이미지로 변환하여, 제1 기계학습모듈의 분류에 대한 재검에 제공하는 것을 특징으로 하는 검사시스템.
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 제1항에 있어서,
    상기 제어 유닛은, 상기 과검 데이터에 대한 재검을 완료한 검사자의 입력에 따라 상기 타겟 레이블을 부여하는 것을 특징으로 하는 검사시스템.
14. 제1항에 있어서,
    상기 제1 기계학습모듈은 상기 과검 데이터를 학습 데이터로 하여 재학습된 가중치를 포함하고,
    상기 제2 기계학습모듈은 상기 과검 데이터를 학습 데이터로 하여 재학습된 가중치를 포함하지 않고, 상기 카메라 모듈 중, 저해상도 카메라 모듈 및 고해상도 카메라 모듈에 의해 제공된 학습 데이터로부터 학습된 가중치를 포함하는 것을 특징으로 하는 검사시스템.
15. 제1항에 있어서,
    상기 과검 데이터는,
    상기 제1 기계학습모듈의 입력으로서 상기 카메라 모듈로부터 생성된 저해상도 촬상 이미지를 포함하는 것을 특징으로 하는 검사시스템.
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images