KR20200044172A

KR20200044172A - 표면검사를 위한 딥러닝 학습방법

Info

Publication number: KR20200044172A
Application number: KR1020180118942A
Authority: KR
Inventors: 이재일; 장상휘
Original assignee: 주식회사 지앤아이
Priority date: 2018-10-05
Filing date: 2018-10-05
Publication date: 2020-04-29

Abstract

본 발명은 샘플수 분석장치에 관한 것으로, 샘플수가 수용되는 챔버; 상기 챔버에 빛을 조사하는 광원; 상기 샘플수에서 방출된 빛의 세기를 측정하는 센서부; 및 상기 센서부에서 측정값을 입력받는 제어부;를 포함하되, 상기 제어부는, 샘플수가 소정기준을 만족하는지를 분석한 정밀분석값과, 형광분석하여 측정된 피측정물질의 농도값을 포함하는 측정데이터를 입력하여 기계학습을 통해 생성된 모델데이터(model data)를 이용하고, 신규 샘플수를 형광분석하여 측정된 상기 피측정물질의 농도값을 상기 모델데이터와 비교하여 정밀분석 결과를 생성하도록 구성됨으로써, 인공지능 기계학습을 통해 보다 신속하고 정확한 분석결과를 제공하는 효과가 있다.

Description

표면검사를 위한 딥러닝 학습방법{Deep learning method for analyzing defectiveness}

본 발명은 표면검사를 위한 딥러닝 학습방법에 관한 것이다. 보다 상세하게는 비전검사 및 딥러닝을 동시에 사용하여 제품의 표면을 보다 효과적으로 검사할 수 있도록 하는 표면검사를 위한 딥러닝 학습방법에 관한 것이다.

비전검사 기술을 최초에 도입하기 위하여서는 초기에 환경 구성에 필요한 제약사항들이 많이 존재하게 된다. 또한, 불량의 유형이나 제품의 특징에 따라서 다양한 기술이 요구되며 상용 프로그램의 사용시 별도의 모듈 구매에 따른 비용이 들어가며 필요 기술을 개발시에도 개발자의 숙련도에 따라서 원하는 결과가 도출되기 까지의 시간을 정확히 판단하기가 힘들다.

이런 문제점을 극복하기 위해 딥러닝 기술을 사용할 경우, 충분한 수(불량 유형별 100~1000장)의 샘플 이미지를 확보하면 개발자의 숙련도에 상관없이 일정한 시간과 일정한 탐지률을 보장할 수 있으며 불량 유형의 특징을 학습하기 때문에 조명이나 제품의 위치(회전, 기울기, 크기)등의 환경적인 변화와 제품의 질감, 색상등 제품의 특징 변화에도 어느정도 유연하게 표면 불량 탐지를 보장하게 된다.

그러나, 초기 불량 유형별 샘플 이미지의 확보의 어려움, 표면 불량에 대한 라벨링의 번거로움 등 초기 데이터 수집에 많은 시간이 소요되기 때문에 그 시간동안에는 표면검사를 제대로 할 수 없는 문제점이 있었다.

한국등록특허 제10-1863196호

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 딥러닝 초반에 학습데이터를 효과적으로 수집할 수 있는 표면검사를 위한 딥러닝 학습방법을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위해 안출된 본 발명의 일실시예에 따른 표면검사를 위한 딥러닝 학습방법은, (a) 비전검사를 통해 제품 표면을 검사하고, 딥러닝을 통해 제품 표면을 검사하는 단계; (b) 딥러닝 검출 이미지와 비전검사 검출 이미지를 비교하는 단계 ; 및 (c) (b)단계에서의 비교결과에 따라 딥러닝 검출 이미지 또는 비전검사 검출 이미지를 딥러닝 학습에 사용하는 단계;를 포함한다.

여기서, (b)단계는, 딥러닝 검출 이미지가 비전검사 검출 이미지를 모두 포함하는지를 체크할 수 있다.

또한, (c)단계는, (b)단계에서 딥러닝 검출 이미지가 비전검사 검출 이미지를 모두 포함할 경우, 딥러닝 검출 이미지를 사용하고, (b)단계에서 딥러닝 검출 이미지가 비전검사 검출 이미지를 모두 포함하지 않을 경우, 비전검사 검출 이미지를 사용할 수 있다.

본 발명의 일실시예에서 (c)단계는, 딥러닝 학습을 위해 확보된 이미지 갯수가 설정치의 배수인지 확인하는 단계를 더 포함할 수 있다.

여기서, 딥러닝 학습 대상 이미지 갯수가 설정치의 배수인 경우, 딥러닝 학습을 진행하고, 딥러닝 학습 대상 이미지 갯수가 설정치의 배수가 아닌 경우, 제품 표면 검사를 종료할 수 있다.

또한, 본 발명의 일실시예에서 (c)단계에서, 딥러닝 학습이 완료된 후, 이전 학습데이터의 존재여부를 체크하는 단계를 수행할 수 있다.

여기서, 이전 학습데이터가 존재할 경우, 신규 학습이미지의 테스트를 진행하고, 테스트 결과, 신규 학습이미지가 이전 학습테이터보다 검출율이 높을 때에 신규 학습이미지를 학습데이터로 생성할 수 있다.

또한, (c)단계에서, 딥러닝 학습 대상 이미지는, 필터를 적용하여 이미지 갯수를 늘릴 수 있다.

본 발명에 의하면 초반 표면검사에 비전 검사에서 검출된 이미지를 사용하여 딥러닝 학습에 활용함으로써 딥러닝의 초반 학습 데이터를 효과적으로 수집할 수 있게 된다.

도 1은 본 발명의 일실시예에 따른 표면검사를 위한 딥러닝 학습방법을 도시한 순서도이고,
도 2는 본 발명의 일실시예에 따른 표면검사를 위한 딥러닝 학습방법에서 학습 대상 이미지를 생성하는 과정을 도시한 것이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 일실시예에 따른 표면검사를 위한 딥러닝 학습방법을 도시한 순서도이다.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 표면검사를 위한 딥러닝 학습방법은, 비전검사를 통해 제품 표면을 검사하고(S110), 딥러닝을 통해 제품 표면을 검사하는 단계(S125)를 동시에 진행한다.

비전 표면검사 기술은, 일관성 있게 검사할 수 있고, 간단한 알고리즘의 추가로 새로운 유형의 문제점을 검출할 수 있는 장점이 있지만, 환경 변화와 제품 특징 변화에 취약(조명, 제품의 색상, 제품의 재질 등등)하며 개발자의 경력에 따라 제품의 특징에 맞는 알고리즘 및 세팅값을 찾기 위한 시간이 달라지는 단점이 있다.

딥러닝 표면검사 기술은, 환경의 변화와 제품 특징 변화에 유연성을 가질 수있지만, 초기 불량 유형별 이미지를 확보하기 어렵고, 불량 유형 및 분류 유형 추가시 데이터 확보 및 새로운 학습이 필요한 단점이 있다.

본 발명의 일실시예에 따른 표면검사를 위한 딥러닝 학습방법은, 이러한 비전 검사기술과 딥러닝 검사기술의 잘 조합함으로써 각 기술의 장점을 부각하고 단점을 해소시킬 수 있도록 구성된다.

딥러닝을 통해 제품 표면을 검사하는 단계(S125)에서는, 딥러닝 학습데이터가 이미 존재하는 지를 체크하는 단계(S121)를 미리 수행하고, 딥러닝 학습데이터가 이미 존재할 경우에만 딥러닝을 통해 제품 표면을 검사하는 단계(S125)를 수행한다.

다음으로, 딥러닝을 통해 제품 표면을 검사하는 단계(S125)에서 검출된 딥러닝 검출 이미지와, 비전검사를 통해 제품 표면을 검사하는 단계(S110)에서 검출된 비전검사 검출 이미지를 비교한다(S130).

본 발명의 일실시예에 따른 표면검사를 위한 딥러닝 학습방법에서는, 상기 비교단계(S130)에서 딥러닝 검출 이미지가 비전검사 검출 이미지를 모두 포함하는지를 체크하게 된다.

비교단계(S130)의 결과에 따라 딥러닝 검출 이미지 또는 비전검사 검출 이미지를 딥러닝 학습에 사용하게 되는데, 본 발명의 실시예에서는, 딥러닝 검출 이미지가 비전검사 검출 이미지를 모두 포함할 경우, 딥러닝 검출 이미지를 사용하고(S137), 딥러닝 검출 이미지가 비전검사 검출 이미지를 모두 포함하지 않을 경우, 비전검사 검출 이미지를 사용하게 된다(S135).

즉, 본 발명의 표면검사를 위한 딥러닝 학습방법은, 딥러닝 초반의 제품 표면 불량 검출 이미지를 확보하기 위해 비전검사에서 검출된 이미지를 사용하게 되는데, 비전검사 기술과 딥러닝 기술의 검출 교집합을 비교하여 검출 기술을 선택하는 단계(S130)를 통해 딥러닝 검출 이미지가 부족한 초반에는 비전검사 검출 이미지를 딥러닝학습에 이용할 수 있게 된다.

다음으로, 본 발명의 일실시예에서는, 딥러닝 학습을 위해 확보된 이미지 갯수가 설정치의 배수인지 확인한다(S140).

여기서, 딥러닝 학습 대상 이미지 갯수가 설정치의 배수인 경우, 딥러닝 학습을 진행하고(S147), 딥러닝 학습 대상 이미지 갯수가 설정치의 배수가 아닌 경우, 제품 표면 검사를 종료한다(S145).

딥러닝 학습 대상 이미지는, 불량 유형별로 100~1000장 정도의 샘플 이미지가 충분히 확보되어야 하는데, 본 발명의 실시예에서는 설정치(일례로 100장)를 단위로 하여 설정치의 소정 배수만큼 학습 대상이미지가 확보되었는지를 체크한 다음, 딥러닝 학습을 진행(S147)하게 된다.

딥러닝 학습(S147)이 완료된 후에는, 이전 학습데이터의 존재여부를 체크한다(S150).

여기서, 이전 학습데이터가 존재할 경우, 신규 학습이미지의 테스트를 진행한다(S160).

신규 학습이미지의 테스트 후, 신규 학습이미지의 검출율과 이전 학습테이터의 검출율을 비교하고(S170), 신규 학습이미지의 검출율이 이전 학습데이터의 검출율보다 높을 때에 신규 학습이미지를 학습데이터로 생성한다(S180).

이와 같이, 본 발명의 일실시예에 따른 표면검사를 위한 딥러닝 학습방법은, 학습이 완료된 데이터와 이전에 학습된 학습데이터를 학습에 사용되지 않은 이미지로 각각 테스트 하여 더 나은 성능의 학습 데이터로 검사를 진행함으로써 딥러닝 학습시 특정 유형의 데이터가 많이 포함되어 해당 유형으로 Over Fitting되어 유연성이 떨어지는 문제점을 해소할 수 있게 된다.

한편, 도 2는 본 발명의 일실시예에 따른 표면검사를 위한 딥러닝 학습방법에서 학습 대상 이미지를 생성하는 과정을 도시한 것이다.

도 2에 도시된 바와 같이, 비전검사를 통해 검출된 이미지를 확보(S210)한 다음, 검출 이미지에 필터를 적용하여 추가 이미지를 생성하고(S220), 검출 이미지와 추가 생성 이미지를 근거로 다양한 유형의 데이터를 학습하게 된다(S230).

즉, 본 발명의 일실시예에 따른 표면검사를 위한 딥러닝 학습방법에서는, 초기 불량률이 높지 않은 제품의 경우, 학습 이미지를 확보하는데 오랜 시간이 소요될 수 있는데, 딥러닝 초반의 학습 대상 이미지를 확보하기 위해 비전검사를 통해 검출된 딥러닝 학습 대상 이미지에 필터를 적용하여 이미지 갯수를 늘리게 된다.

학습 대상이미지에는. 크기 변화, 회전, 이동, 밝기 변화, 색상 변화, 노이즈 생성, 블러 생성과 같은 필터를 적용할 수 있다.

이와 같이 본 발명의 일실시예에 따른 표면검사를 위한 딥러닝 학습방법은, 검출된 이미지에 필터를 적용하여 학습대상 이미지의 수를 늘릴 뿐만 아니라 다양한 유형의 이미지를 생성함으로써 딥러닝 표면검사에서 환경과 제품 특징에 대한 유연성을 더욱 높일 수 있게 된다.

전술된 바와 같이, 본 발명의 일실시예에 따른 표면검사를 위한 딥러닝 학습방법은, 초기의 표면검사는 비전검사에서 검출된 이미지를 딥러닝을 통해 학습하도록 함으로써 딥러닝의 초반 학습 데이터 수집의 어려움도 해결할 수 있게 된다.

또한, 학습데이터가 어느 정도 축적이 되고 나면, 비전검사기술에서 딥러닝검사기술로 변환되도록 알고리즘을 구성함으로써 비전검사의 환경과 제품의 변화에 유연하지 못하는 단점도 해결할 수 있게 된다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

(a) 비전검사를 통해 제품 표면을 검사하고, 딥러닝을 통해 제품 표면을 검사하는 단계;
(b) 딥러닝 검출 이미지와 비전검사 검출 이미지를 비교하는 단계 ; 및
(c) (b)단계에서의 비교결과에 따라 딥러닝 검출 이미지 또는 비전검사 검출 이미지를 딥러닝 학습에 사용하는 단계;를 포함하는, 표면검사를 위한 딥러닝 학습방법.
청구항 1에 있어서,
(b)단계는,
딥러닝 검출 이미지가 비전검사 검출 이미지를 모두 포함하는지를 체크하는, 표면검사를 위한 딥러닝 학습방법.
청구항 2에 있어서,
(c)단계는,
(b)단계에서 딥러닝 검출 이미지가 비전검사 검출 이미지를 모두 포함할 경우, 딥러닝 검출 이미지를 사용하고,
(b)단계에서 딥러닝 검출 이미지가 비전검사 검출 이미지를 모두 포함하지 않을 경우, 비전검사 검출 이미지를 사용하는, 표면검사를 위한 딥러닝 학습방법.
청구항 3에 있어서,
(c)단계는,
딥러닝 학습을 위해 확보된 이미지 갯수가 설정치의 배수인지 확인하는 단계를 더 포함하는, 표면검사를 위한 딥러닝 학습방법.
청구항 4에 있어서,
(c)단계는,
딥러닝 학습 대상 이미지 갯수가 설정치의 배수인 경우, 딥러닝 학습을 진행하고,
딥러닝 학습 대상 이미지 갯수가 설정치의 배수가 아닌 경우, 제품 표면 검사를 종료하는, 표면검사를 위한 딥러닝 학습방법.
청구항 5에 있어서,
(c)단계에서,
딥러닝 학습이 완료된 후, 이전 학습데이터의 존재여부를 체크하는 단계를 수행하는, 표면검사를 위한 딥러닝 학습방법.
청구항 6에 있어서,
(c)단계에서,
이전 학습데이터가 존재할 경우, 신규 학습이미지의 테스트를 진행하고, 테스트 결과, 신규 학습이미지가 이전 학습테이터보다 검출율이 높을 때에 신규 학습이미지를 학습데이터로 생성하는, 표면검사를 위한 딥러닝 학습방법.
청구항 7에 있어서,
(c)단계에서,
딥러닝 학습 대상 이미지는, 필터를 적용하여 이미지 갯수를 늘리는, 표면검사를 위한 딥러닝 학습방법.