KR20210086303A

KR20210086303A - 딥러닝 기반 패턴 검사 장치 및 그 장치를 이용한 검사 방법

Info

Publication number: KR20210086303A
Application number: KR1020190180130A
Authority: KR
Inventors: 이성규; 김성균
Original assignee: 엘지디스플레이 주식회사
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2021-07-08

Abstract

본 발명은 딥러닝 기반으로 패턴 결함의 특성 추출 및 판정 기준을 심층 신경망 (Deep Neural Networks, DNN)을 통해 자동으로 학습시켜 불량 판정의 정확도를 개선할 수 있는 딥러닝 기반 패턴 검사 장치 및 그 장치에 관한 것으로서, 딥러닝 기반 패턴 검사 장치는 검사 대상 패널의 회로 패턴을 촬영하는 카메라, 카메라에 의해 촬영된 이미지를 수신하여 패턴 영상 내의 현재 검사하고자 하는 픽셀과 동일한 패턴을 갖는 인접 픽셀을 비교하여 패턴들 사이에 차이가 나는 결함이 있는 위치 정보와 패턴 영상에 대한 차이 정보를 기반으로 분할 영상 및 결함 영상을 생성하는 피치 비교부와, 피치 비교부로부터 제공된 위치 정보와 분할 영상을 기반으로 딥 러닝 기술(Deep learning)을 사용하여 불량 판정을 위한 특성(feature) 추출 및 판정 기준을 자동으로 학습시키고 적용하여 불량 여부를 판정하는 심층 신경망부(Deep Neural Networks: DNN)를 구비한 검사부, 및 검사부의 심층 신경망부에 의해 판정된 결과를 표시하는 표시 장치를 포함하여 이루어지며, 사람이 판정한 결과를 이용해서 심층 신경망을 학습시켜 동일한 입력에 대하여 동일한 결과를 출력하여 사람이 판정한 것과 같은 수준의 정확도를 가질 수 있는 효과를 갖는다.

Description

딥러닝 기반 패턴 검사 장치 및 그 장치를 이용한 검사 방법{Pattern inspection apparatus based on deep learning and inspection method using the same}

본 발명은 딥러닝 기반 패턴 검사 장치 및 그 장치를 이용한 검사 방법에 관한 것으로서, 더욱 상세하게는 딥러닝 기반으로 패턴 결함의 특성 추출 및 판정 기준을 심층 신경망 (Deep Neural Networks, DNN)을 통해 자동으로 학습시켜 불량 판정의 정확도를 개선할 수 있는 딥러닝 기반 패턴 검사 장치 및 그 장치를 이용한 검사 방법에 관한 것이다.

태블릿 PC, 스마트폰 등 새로운 전자기기가 보급되고 있는 현대 사회에서 그 정보를 출력하는 장치로서 TFT-LCD, LED, AMOLED, 전자 종이 등 다양한 화면 출력 장치가 개발되어 사용되고 있다. 이러한 평판 디스플레이는 전자기기의 발전에 따라 점진적으로 집적화되고 있어 사용자에게 큰 편의를 가져다 주었지만, 생산자 입장에서는 불량률을 줄이고 생산 효율을 극대화하기 위해 더욱 높은 해상도를 가지는 다양한 검사장비가 필요하게 되었다. 실제 평판 디스플레이 제조에는 다양한 결함에 대응하기 위해 패턴 검사기, 매크로 검사기, 어레이 검사기 등 여러 장비가 이용되고 있다. 이들 중 패턴 검사기는 패널 화소의 미세한 패턴 결함을 광학식으로 검출하는 장비로서 가장 범용성이 높은 검사 장비이다. 이러한 패턴 검사기는 검사부와 리뷰단으로 구성되는데 검사부에서는 신속하게 패널 전체를 검사하여 결함의 위치를 검출하고 리뷰단에서는 검출된 불량을 정확히 찾아내 분석하여 수리(repair)하거나 재작업(rework)하여 종합수율을 향상시키는 역할을 한다.

한편 컴퓨터 모니터를 중심으로 사용되던 평판 디스플레이들이 다양한 기기에 적용되기 시작하면서 검사 대상의 형태 또한 다양해져 지금까지 다수의 결함 검출 알고리즘들이 연구되어왔다. 이러한 결함 검출 알고리즘들 중에는 패턴 불량이나 얼룩(mura)을 검출하기 위해 1차원 또는 2차원의 코사인 변환을 이용하는 방법, 신경망을 이용하는 방법, 멀티 스케일을 이용하여 결함 영역을 구분하는 방법, 카메라 특성에 기인한 기학학적 특성을 제거하여 성능을 개선하는 방법 등이 있다. 이러한 방법들의 수행 시간과 결함 검출 성능은 생산 효율과 직결되기 때문에 각 제조업체는 개별 공정 환경에 맞추어 적합한 알고리즘을 채택하여 사용하게 된다.

패턴검사기의 검사부에는 고속 검사를 위하여 검출하고자 하는 결함의 크기에 맞춘 해상도에 따라 복수의 라인 스캔 카메라가 패널의 한 라인 전체를 같은 시간에 검사할 수 있도록 병렬로 설치된다. 패널은 수평 이송 장치에 의해 한 방향으로 전송되는데 이 때 라인 스캔 카메라를 통해 패널의 각 라인에 대한 영상 정보를 얻게 된다.

검사부에서는 검사할 화소와 인접한 패턴의 대응하는 화소의 밝기를 비교하여 결함을 판단한다. 리뷰단에서는 고배율의 영역 카메라를 검사부에서 판단된 결함의 위치들로 이동하여 영상 정보를 얻고 작업자가 육안으로 불량을 진단하여 수리나 재작업을 선택하게 된다. 이때 검사자는 정확한 결함을 찾아내는데 특히, 이미지가 불규칙하고 비정형인 경우엔 불량의 특징 벡터(Feature)를 검사자가 정의하기 어려운 경우, 오랜 시간이 걸리고 검사부에서 판단된 결함의 위치가 다수인 경우 주어진 택트 타임(tact time)내에 전체 결함에 대한 진단을 할 수 없게 된다.

즉, 불량 판정의 임계값 근처의 이미지가 형성된 경우, 미세한 차이로 불량 판정이 달라지므로, 불량을 양품으로 판정하지 않도록 임계값을 결정한다. 따라서, 양품을 불량으로 오검출하는 경우 발생하며, 이 비율이 높아지면 생산성이나 수율 등이 저하될 수 있다.

본 발명은 지도 학습 방식으로 입력 데이터에 대한 정답을 학습시켜 안정된 수준의 판정 정확도를 갖는 딥러닝 기반 패턴 검사 장치 및 그 장치를 이용한 검사 방법을 제공하는 것을 목적으로 한다.

본 발명의 다른 목적은 사람이 판정한 결과를 이용해서 심층 신경망을 학습시켜 사람이 판정한 것과 같은 수준의 정확도를 갖는 딥러닝 기반 패턴 검사 장치 및 그 장치를 이용한 검사 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 차이 정보를 사용하여 심층 신경망에 불량 판정에 중요한 특성을 제공하여 불량 판정의 정확도를 개선할 수 있는 딥러닝 기반 패턴 검사 장치 및 그 장치를 이용한 검사 방법을 제공하는 것이다.

이러한 목적을 달성하기 위한 본 발명에 따른 딥러닝 기반 패턴 검사 장치는 검사 대상 패널의 회로 패턴을 촬영하는 카메라; 카메라에 의해 촬영된 이미지를 수신하여 패턴 영상 내의 현재 검사하고자 하는 픽셀과 동일한 패턴을 갖는 인접 픽셀을 비교하여 패턴들 사이에 차이가 나는 결함이 있는 위치 정보와 패턴 영상에 대한 차이 정보를 기반으로 분할 영상 및 결함 영상을 생성하는 피치 비교부와, 피치 비교부로부터 제공된 위치 정보와 분할 영상을 기반으로 딥 러닝 기술(Deep learning)을 사용하여 불량 판정을 위한 특성(feature) 추출 및 판정 기준을 자동으로 학습시키고 적용하여 불량 여부를 판정하는 심층 신경망부(Deep Neural Networks: DNN)를 구비한 검사부, 및 검사부의 심층 신경망부에 의해 판정된 결과를 표시하는 표시 장치를 포함하여 이루어진다.

본 발명에 따른 딥러닝 기반 패턴 검사 장치의 심층 다수의 콘볼루션 블럭(convolution block)으로 구성된 콘볼루션 신경망(convolutional neural network: CNN) 형태를 가지고, 피치 비교부로부터 제공된 분할 영상과 결함 영상을 결합하여 입력 정보로 이용하여 특성 맵(feature map)을 생성하고, 결함의 특성(feature)을 추출하는 특성 추출부, 및 완전 접속망(fully-connected network) 구조로 이루어져 특성 추출부에 의해 추출된 특성을 분석하여 결함에 대한 불량 여부를 판정하는 판정부를 포함하여 이루어질 수 있다.

본 발명에 따른 딥러닝 기반 패턴 검사 장치에서 특성 추출부의 콘볼루션 신경망(CNN)은 풀링 레이어(pooling layer), 콘볼루션 레이어(convolution layer), 배치 평준화 레이어(batch normalization layer), 활성화 레이어(activation layer) 등 다수의 레이어를 포함할 수 있다.

본 발명에 따른 딥러닝 기반 패턴 검사 장치의 심층 신경망부는 피치 비교부로부터 제공된 차이 정보를 평준화하고 검출된 결함을 포함하는 일정 영역을 어텐션 맵(attention map)으로 추출하는 어텐션 맵 생성부를 더 포함할 수 있다.

본 발명에 따른 딥러닝 기반 패턴 검사 장치의 특성 추출부는 콘볼루션 신경망(convolutional neural network: CNN)을 구성하는 다수의 콘볼루션 블럭(convolution block)에서 출력되는 중간 특성 맵(feature map)에 어텐션 맵 생성부로부터 제공되는 어텐션 맵(attention map)을 적용할 수 있다.

본 발명에 따른 딥러닝 기반 패턴 검사 장치에서 어텐션 맵 생성부에 의해 생성되는 어텐션 맵(attention map) 은 특성 맵(feature)과 배열 연산에서 같은 위치의 요소별로 연산(element-wise)을 수행하여 특성 맵(feature map)과 동일한 크기(N X M)를 갖는 것을 특징으로 한다.

본 발명에 따른 딥러닝 기반 패턴 검사 장치의 판정부는 어텐션 맵 생성부 및 특성 추출부로부터 제공되는 원소별 연산(element-wise) 결과를 입력으로 받고, 입력받은 결과를 딥러닝 기술(Deep learning)로 학습한 환정완전 접속망(Fully-connected network)으로 구성된 심층 신경망부에서 분석하여 불량 판정 결과를 출력할 수 있다.

본 발명에 따른 딥러닝 기반 패턴 검사 장치의 판정부의 완전 접속망(fully-connected network)은 풀링 레이어(pooling layer), 완전 접속 레이어(fully-connected layer), 활성화 레이어(activation layer) 등 다수의 레이어를 포함할 수 있다.

본 발명에 따른 딥러닝 기반 패턴 검사 방법은 검사 대상 패널을 촬영한 영상을 획득하는 단계, 획득된 이미지 내의 현재 검사하고자 하는 픽셀과 동일한 패턴을 갖는 인접 픽셀을 비교하여 결함이 있는 위치 정보와 패턴 영상에 대한 차이 정보를 근거로 분할 영상으로 생성하는 단계, 딥러닝 기술(Deep learning)을 기반으로 다수의 콘볼루션 블럭(convolution block)으로 구성된 콘볼루션 신경망(convolutional neural network: CNN) 형태를 가지는 특성 추출부에서 분할 영상으로부터 특성 맵(feature map)을 생성하고, 결함의 특성(feature)을 추출하는 단계, 완전 접속망(fully-connected network) 형태를 가지는 판정부에서 추출된 결함의 특성을 분석하여 결함에 대한 불량 여부를 판정하는 단계, 및 판정 결과를 검사자가 인식할 수 있는 형태로 표시하는 단계로 이루어질 수 있다.

본 발명에 따른 딥러닝 기반 패턴 검사 장치 및 검사 방법은 사람이 판정한 결과를 이용해서 심층 신경망을 학습시켜 동일한 입력에 대하여 동일한 결과를 출력하여 사람이 판정한 것과 같은 수준의 정확도를 가질 수 있는 효과를 갖는다.

도 1은 본 발명에 따른 딥러닝 기반 패턴 검사 장치의 구성을 개략적으로 나타낸 예시도이다.
도 2는 딥러닝 기반 패턴 검사 장치의 검사부의 구성과 동작관계를 나타낸 블록도이다.
도 3은 본 발명의 제1 실시 예에 따른 심층 신경망의 구성을 포함한 검사부의 구성을 나타낸 예시도이다.
도 4는 본 발명의 제2 실시 예에 따른 심층 신경망의 구성을 포함한 검사부의 구성을 나타낸 예시도이다.
도 5는 본 발명의 제3 실시 예에 따른 심층 신경망의 구성을 포함한 검사부의 구성을 나타낸 예시도이다.
도 6은 본 발명의 피치 비교부가 분할 영상을 추출하는 것을 나타낸 예시도이다.
도 7은 본 발명의 특성 추출부의 구성을 개략적으로 나타낸 예시도이다.
도 8은 본 발명에 적용되는 콘볼루션의 동작을 나타낸 예시도이다.
도 9는 특성 추출부의 풀링 레이어(Pooling layer)의 기능을 나타낸 예시도이다.
도 10은 특성 추출부의 콘볼루션 레이어(Convolution layer)의 기능을 나타낸 예시도이다.
도 11은 어텐션 맵 생성부가 어텐션 맵(attention map)을 추출하는 것을 나타낸 예시도이다.
도 12는 본 발명의 제3 실시 예에 따라 어텐션 맵 생성부의 어텐션 맵(attention map)을 특성 추출부의 콘볼루션 블록 사이에 적용되는 것을 나타낸 예시도이다.
도 13은 본 발명의 제1 실시 예에 따른 딥러닝 기반 패턴 검사 방법을 나타낸 흐름도이다.
도 14는 본 발명의 제2 및 제3 실시 예에 따른 딥러닝 기반 패턴 검사 방법을 나타낸 흐름도이다.

본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 없는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가진다" 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 나타내는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블럭 내에 명기된 기능 또는 동작이 흐름도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블럭이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블럭들이 거꾸로 수행될 수도 있다.

이하에서, 첨부된 도면을 참조하여 본 발명에 딥러닝 기반 패턴 검사 장치의 구성을 개략적으로 나타낸 예시도이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 딥러닝 기반 패턴 검사 장치의 구성은 검사 대상 패널(100), 카메라(200), 검사부(300) 및 표시 장치(400)를 포함한다.

상기 검사 대상 패널(100)은 제조 공정 라인의 패널로서, 어레이 검사기 등의 검사기를 통해 검사 대상 패널(100)에서 결함 위치 좌표를 추출한 후에, 카메라(200)를 이용하여 해당 위치의 회로 패턴을 고해상도 영상으로 촬영한다.

검사부(300)에서 촬영한 영상에 포함된 화소들의 패턴을 비교하여 정확한 결함 위치를 찾는다.

검사자는 검사부(300)에서 찾은 결함 위치의 영상을 보고 불량 여부를 판단한다. 본 발명에서는 검사자가 하던 불량 판정 일부 또는 전체를 딥러닝 기반으로 자동화하는 것이다.

표시 장치(400)는 검사부(300)에 의해 판정된 결함 위치결과를 검사자가 인식할 수 있는 형태로 표시한다.

도 2는 본 발명에 따른 딥러닝 기반 패턴 검사 장치의 구성을 나타낸 블럭도이다. 도시한 바와 같이 딥러닝 기반 패턴 검사 장치의 검사부(300)는 카메라(200)로부터 제공된 영상에 대하여 딥러닝 기술을 기반으로 불량 여부를 검사한 후 표시 장치(400)를 통해 검사 결과를 표시하도록 제어한다. 검사부(300)는 피치 비교부(310)와 심층 신경망(320)을 포함하여 이루어진다.

심층 신경망(Deep neural network: DNN)과 일반적인 신경망의 핵심적인 차이점은 층의 깊이이다.　전통적인 기계학습 알고리즘은 하나의 입력층과 하나의 출력층으로 이루어져 있으며 많아야 중간에 하나의 은닉층을 가지고 있다.　이러한 구조의 신경망을 얕은 신경망(shallow neural network: SNN)이라 하고,　입력층과 출력층을 포함해　3계층 이상인 즉, 2개 이상의 은닉층을 가진 경우에 심층 신경망(DNN)이라고 한다.

도 3은 본 발명의 제1 실시 예에 따른 딥러닝 기반 패턴 검사 장치의 구성을 나타내는 블럭도로서, 심층 신경망부(320)가 특성 추출부(321)와 판정부(322)로 구성될 수 있는 것을 나타낸다.

도 4는 본 발명의 제2 실시 예에 따른 딥러닝 기반 패턴 검사 장치의 구성을 나타내는 블럭도로서, 심층 신경망부(320)가 특성 추출부(321)와 판정부(322) 및 어텐션 맵 생성부(323)로 구성될 수 있는 것을 나타낸다.

도 5는 본 발명의 제3 실시 예에 따른 딥러닝 기반 패턴 검사 장치의 구성을 나타내는 블럭도로서, 심층 신경망부(320)의 어텐션 맵 생성부(323)에서 생성한 어텐션 맵(attention map)을 특성 추출부(321)의 중간 콘볼루션 블럭(convolution block)들 사이의 특성 맵(feature map)에 원소별 연산(element-wise)할 수 있다는 것을 나타낸 실시 예이다.

각 실시 예에서 피치 비교부(310)는 도 6에 도시한 바와 같이 카메라(200)에 의해 촬영된 이미지(image 1)를 수신하여 패턴 영상 내의 현재 검사하고자 하는 픽셀과 동일한 패턴을 갖는 인접 픽셀을 비교하여 패턴들 사이에 차이가 나는 결함이 있는 위치 정보와 패턴 영상에 대한 차이 정보를 기반으로 분할 영상(image 2) 및 결함 영상(image 2b)을 생성한다. 피치 비교부(310)는 획득한 초기 영상으로부터 일부분의 영역만을 추출하여 분할 영상(crop) (image 2)을 생성한다. 피치 비교부(310)는 분할 영상(image 2)에서 정상 영상(image 2a)를 제외하여 결함 영상(image 2b)를 생성한다. 각 실시 예에서의 특성 추출부(321)는 피치 비교부(310)로부터 제공된 분할 영상(image 2)으로부터 특성 맵(feature map)을 생성하고, 결함의 특성(feature)을 추출한다.

특성 추출부(321)은 도 7에 도시한 바와 같이, 다수의 콘볼루션 블럭(convolution block)(321-1, 321-2, ···, 321-n)으로 구성된 콘볼루션 신경망(convolutional neural network: CNN) 형태를 가진다. 각 콘볼루션 블럭(convolution block)은 풀링 레이어(pooling layer)(layer 1), 콘볼루션 레이어(convolution layer)(layer 2), 배치 평준화 레이어(batch normalization layer)(layer 3), 활성화 레이어(activation layer)(layer 4) 등 다수의 레이어를 포함할 수 있다.

예를 들어, 특성 추출부(321)의 최초 콘볼루션 블럭(321-1)에 입력되는 값은 분할 영역의 계조값이 될 수 있다. 각 콘볼루션 블럭(321-1)의 동작에 의해 각 콘볼루션 블럭들의 사이값과 마지막 콘볼루션 블럭(321-n)의 출력값은 계조값과 다른 형태의 값으로 나타날 수 있다.

콘볼루션 신경망(convolutional neural network: CNN)은　복수의 콘볼루션 블럭의 다수의 레이어를 통해 입력 받은 이미지에 대한 특징(Feature)를 추출한다. 콘볼루션 연산은 신호처리 분야에서 가장 많이 사용되는 연산 중 하나이다. 도 8에 도시한 바와 같이 기본적으로 입력 신호에 특정 형태의 필터를 씌어 슬라이딩하여 결과를 얻는다. 예를 들어 원시 이미지의 좌측 상단 3X 3의 값이

이고, 필터가

일때, 동일 행 및 동일 열의 값을 곱한 후 모두 더하면 콘볼루션 연산값은 "4"와 같이 나타난다.

풀링 레이어(pooling layer)(layer 1)는 도 9에 예시한 바와 같이 가장 중요한 정보를 유지하는 동시에 각 특성(feature)의 정보량을 줄이는 기능을 수행한다. 예를 들어, 2X2 필터를 적용하면 [1,1]에 해당하는 값은

의 값 중 가장 큰 값을 갖게 된다.

콘볼루션 레이어(convolution layer)(layer 2)는 도 10에 예시한 바와 같이 한 번에 몇 개의 픽셀(N X M)을 스캔하고 필터를 통해 각 픽셀에 대응하는 특성(feature)를 추출해서 특성 맵(feature map)을 생성한다. 마지막 콘볼루션 레이어에서 생성되는 특성 맵(feature map)을 기반으로 입력 영상의 클래스(양품/불량)을 판정하게 된다.

배치 평준화 레이어(batch normalization layer)(layer 3)는 앞서 입력된 데이터의 분포가 뒤로 갈수록 변화되어 결국 최종 출력층에 좋지 않은 영향을 끼쳐 분포가 변하는 현상을 방지한다.

활성화 레이어(activation layer)(layer 4)는 어떠한 신호를 입력받아 이를 적절히 처리해주는 역할을 하며, 이를 통해 출력된 신호가 다음 단계에서 활성화되는지를 결정하는 기능을 수행한다.

어텐션 맵 생성부(323)는 도 11에 도시한 바와 같이 피치 비교부(310)로부터 제공된 차이 정보(결함 영상 혹은 차영상 등)(image 2b)를 평준화하여 제3 이미지(image 3)을 생성하고, 검출된 결함을 포함하는 일정 영역을 어텐션 맵(attention map)(image 4)으로 추출한다. 이때, 어탠션 맵(image 4)으로 대표값이 선택될 수 있으며, 이는 설정에 따라 가변될 수 있다. 예를 들어, 대표값은 평균값이 될 수도 있고, 최대값이나 최소값 또는 임의의 기준에 의한 임계값과의 상관정도 등을 수치화한 값으로도 설정될 수도 있다.

어텐션 맵 생성부(323)에 의해 생성되는 어텐션 맵(attention map)은 특성 추출부(321)에 의해 생성되는 특성 맵(feature)과 배열 연산에서 같은 위치의 요소별로 연산(element-wise)을 수행하여 특성 맵(feature map)과 동일한 크기(N X M)를 가질 수 있다.

본 발명의 제3 실시 예에 따른 딥러닝 기반 패턴 검사 장치에서는 도 12에 도시한 바와 심층 신경망부(320)의 어텐션 맵 생성부(323)에서 생성한 어텐션 맵(attention map)을 특성 추출부(321)의 중간 콘볼루션 블럭(convolution block)들(321-(m-1), 321-(m)) 사이의 특성 맵(feature map)에 원소별 연산(element-wise)할 수 있다.

판정부(322)는 어텐션 맵 생성부(323) 및 특성 추출부(321)로부터 제공되는 원소별 연산(element-wise) 결과를 완전 접속망(fully-connected network)의 입력으로 사용하여 불량 판정 결과를 출력한다.

판정부(322)의 완전 접속망(fully-connected network)은 풀링 레이어(pooling layer), 완전 접속 레이어(fully-connected layer), 활성화 레이어(activation layer) 등 다수의 레이어를 포함할 수 있다. 완전 접속망(fully-connected network)을 통해 학습을 시키게 되면 2차원 영상 정보로부터 토폴로지(topology) 변화에 강한 인식 능력을 갖게 된다. 판정 결과는 바이너리(binary)의 형태로 출력될 수 있으며, 입력값과 그에 따른 판정 결과 값은 심층 신경망에서 자동으로 학습된다. 딥러닝(Deep learning) 기술로 심층 신경망부를 학습시킬 때는 분할 영상(crop)과 차영상 외에 판정 결과의 정답이 심층 신경망부에 입력된다. 따라서, 입력한 정답을 맞추도록 학습 되기 때문에 심층 신경망은 사람이 판정하는 것과 동일한 정확도로 불량을 판정하도록 학습할 수 있다. 사람이 판정하는 경우에는 판정 시의 환경에 따라서 판정 결과가 달라질 수 있지만, 학습 시킨 심층 신경망은 동일 입력에 대해서는 동일한 판정 결과를 출력하기 때문에 불량 판정의 정확도가 일정한 수준으로 유지될 수 있다. 만일, 불량 판정의 경우에는 일반적인 경우와 달리 요구되는 불량과 양품 판정의 정확도 동일하지 않고 불량 판정의 경우 더 높은 정확도가 요구 되는데 반해서 불량 데이터의 수가 더 적기 때문에 어탠션 맵(attention map)을 통해서 중요한 특성(feature)를 추출함으로써, 불량 데이터가 상대적으로 적더라도 불량 판정의 정확도를 개선할 수 있다.

도 13은 본 발명의 제1 실시 예에 따른 딥러닝 기반 패턴 검사 방법을 나타낸 흐름도이다.

카메라(200)를 이용하여 검사 대상 패널의 회로를 확대하여 촬영한다. 검사부(300)는 검사 대상 패널을 촬영한 영상을 획득한다 (S100).

검사부(300)는 획득된 이미지 내의 현재 검사하고자 하는 픽셀과 동일한 패턴을 갖는 인접 픽셀을 비교하여 결함이 있는 위치 정보를 근거로 분할 영상 및 결함 영상을 생성한다 (S200).

검사부(300)의 특성 추출부(321)는 다수의 콘볼루션 블록(convolution block)으로 구성된 콘볼루션 신경망(convolutional neural network: CNN) 형태를 가지고, 분할 영상으로부터 특성 맵(feature map)을 생성하고, 결함의 특성(feature)을 추출한다 (S300).

검사부(300)의 판정부(322)는 완전 접속망(fully-connected network) 기술을 기반으로 추출된 결함의 특성을 분석하여 결함에 대한 불량 여부를 판정한다 (S400).

검사부(300)는 검사자가 인식할 수 있도록 표시 장치(400)를 제어하여 판정된 결과를 표시한다.

한편, 본 발명의 제2 및 제3 실시 예에 따른 딥러닝 기반 패턴 검사 방법은 도 14에 도시한 바와 같다. 검사부(300)의 어텐션 맵 생성부(323)이 더 구성된 검사 장치를 이용하는 것으로서, 어텐션 맵 생성부(323)에서 어텐션 맵(attention map)을 추출한 후 특성 추출부(321)에 제공하는 단계(S310)를 더 포함할 수 있다.

이상에서 설명한 바와 같이, 본 발명에 따른 딥러닝 기반 패턴 검사 장치 및 검사 방법은 사람이 판정한 결과를 이용해서 심층 신경망을 학습시켜 동일한 입력에 대하여 동일한 결과를 출력하여 사람이 판정한 것과 같은 수준의 정확도를 가질 수 있는 효과를 갖는다.

상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 표시 패널 200: 카메라
300: 검사부 310: 피치 비교부
320: 심층 신경망부 321: 특성 추출부
322: 판정부 323: 어텐션 맵 생성부
400: 표시 장치

Claims

검사 대상 패널의 회로 패턴을 촬영하는 카메라;
상기 카메라에 의해 촬영된 이미지를 수신하여 패턴 영상 내의 현재 검사하고자 하는 픽셀과 동일한 패턴을 갖는 인접 픽셀을 비교하여 패턴들 사이에 차이가 나는 결함이 있는 위치 정보와 패턴 영상에 대한 차이 정보를 기반으로 분할 영상 및 결함 영상을 생성하는 피치 비교부와, 상기 피치 비교부로부터 제공된 위치 정보와 분할 영상을 기반으로 딥 러닝 기술(Deep learning)을 사용하여 불량 판정을 위한 특성(feature) 추출 및 판정 기준을 자동으로 학습시키고 적용하여 불량 여부를 판정하는 심층 신경망부(Deep Neural Networks: DNN)를 구비한 검사부; 및
상기 검사부의 심층 신경망부에 의해 판정된 결과를 표시하는 표시 장치를 포함하여 이루어지는 딥러닝 기반 패턴 검사 장치.
제 1 항에 있어서, 상기 심층 신경망부(DNN)는,
다수의 콘볼루션 블럭(convolution block)으로 구성된 콘볼루션 신경망(convolutional neural network: CNN) 형태를 가지고, 상기 피치 비교부로부터 제공된 분할 영상과 결함 영상을 결합하여 입력 정보로 이용하여 특성 맵(feature map)을 생성하고, 결함의 특성(feature)을 추출하는 특성 추출부; 및
완전 접속망(fully-connected network) 구조로 이루어져 상기 특성 추출부에 의해 추출된 특성을 분석하여 결함에 대한 불량 여부를 판정하는 판정부를 포함하여 이루어지는 것을 특징으로 하는 딥러닝 기반 패턴 검사 장치.
제 2 항에 있어서, 상기 특성 추출부의 콘볼루션 신경망(CNN)은 풀링 레이어(pooling layer), 콘볼루션 레이어(convolution layer), 배치 평준화 레이어(batch normalization layer), 활성화 레이어(activation layer) 등 다수의 레이어를 포함하는 것을 특징으로 하는 딥러닝 기반 패턴 검사 장치.
제 2 항에 있어서, 상기 심층 신경망부(DNN)는,
상기 피치 비교부로부터 제공된 차이 정보를 평준화하고 검출된 결함을 포함하는 일정 영역을 어텐션 맵(attention map)으로 추출하는 어텐션 맵 생성부를 더 포함하는 것을 특징으로 하는 딥러닝 기반 패턴 검사 장치.
제 4 항에 있어서, 상기 특성 추출부는 콘볼루션 신경망(convolutional neural network: CNN)을 구성하는 다수의 콘볼루션 블럭(convolution block)에서 출력되는 중간 특성 맵(feature map)에 상기 어텐션 맵 생성부로부터 제공되는 어텐션 맵(attention map)을 적용하는 것을 특징으로 하는 딥러닝 기반 패턴 검사 장치.
제 5 항에 있어서, 상기 어텐션 맵 생성부에 의해 생성되는 어텐션 맵(attention map)은 상기 특성 맵(feature)과 배열 연산에서 같은 위치의 요소별로 연산(element-wise)을 수행하여 특성 맵(feature map)과 동일한 크기(N X M)를 갖는 것을 특징으로 하는 딥러닝 기반 패턴 검사 장치.
제 6 항에 있어서, 상기 판정부는 상기 어텐션 맵 생성부 및 특성 추출부로부터 제공되는 연산(element-wise) 결과를 딥러닝 기술(Deep learning)을 기반으로 완전 접속망(fully-connected network)의 입력으로 사용하여 불량 판정 결과를 출력하는 것을 특징으로 하는 딥러닝 기반 패턴 검사 장치.
제 7 항에 있어서, 상기 판정부의 완전 접속망(fully-connected network)은 풀링 레이어(pooling layer), 완전 접속 레이어(fully-connected layer), 활성화 레이어(activation layer) 등 다수의 레이어를 포함하는 것을 특징으로 하는 딥러닝 기반 패턴 검사 장치.
검사 대상 패널을 촬영한 영상을 획득하는 단계;
획득된 이미지 내의 현재 검사하고자 하는 픽셀과 동일한 패턴을 갖는 인접 픽셀을 비교하여 결함이 있는 위치 정보와 패턴 영상에 대한 차이 정보를 근거로 분할 영상으로 생성하는 단계;
다수의 콘볼루션 블럭(convolution block)으로 구성된 콘볼루션 신경망(convolutional neural network: CNN) 형태를 가지고, 상기 분할 영상으로부터 특성 맵(feature map)을 생성하고, 결함의 특성(feature)을 추출하는 단계;
완전 접속망(fully-connected network) 기술을 기반으로 상기 추출된 결함의 특성을 분석하여 결함에 대한 불량 여부를 판정하는 단계; 및
상기 판정 결과를 검사자가 인식할 수 있는 형태로 표시하는 단계를 포함하여 이루어지는 딥러닝 기반 패턴 검사 방법.
제 9 항에 있어서, 상기 콘볼루션 신경망(CNN)은 풀링 레이어(pooling layer), 콘볼루션 레이어(convolution layer), 배치 평준화 레이어(batch normalization layer), 활성화 레이어(activation layer) 등 다수의 레이어를 포함하는 것을 특징으로 하는 딥러닝 기반 패턴 검사 방법.
제 9 항에 있어서, 상기 위치 정보와 차이 정보를 근거로 결함을 포함하는 일정 영역을 어텐션 맵(attention map으로 추출하는 단계를 더 포함하는 것을 특징으로 하는 딥러닝 기반 패턴 검사 방법.
제 11 항에 있어서, 콘볼루션 신경망(convolutional neural network: CNN)을 구성하는 다수의 콘볼루션 블럭(convolution block)에서 출력되는 중간 특성 맵(feature map)에 상기 어텐션 맵(attention map)을 적용하는 것을 특징으로 하는 딥러닝 기반 패턴 검사 방법.