KR102541574B1 - 태양광 모듈의 외관 결함 검사 장치 - Google Patents

Abstract

본 발명은 태양광 모듈의 외관 결함 검사 장치에 관한 것으로서, 보다 구체적으로는 태양광 모듈의 외관 결함 검사 장치로서, 태양광 모듈 제조 공정 설비에서 수집된 태양광 모듈 영상으로부터 외관 결함을 판정하되, 상기 설비에서 수집된 태양광 모듈 영상을 전처리하여, 셀 단위의 복수의 부분 이미지로 자르는 전처리부; 비지도 이상 탐지기(Unsupervised Anomaly Detector)를 통해 상기 부분 이미지에서 결함 부분을 분할(Segmentation)하고, 분할 결과를 이용해 결함 이미지를 생성하는 제1 딥러닝부; 및 상기 결함 이미지에서 결함 영역이 미리 설정된 값 이상이면 자기-라벨링(self-labeling)을 처리하고, 라벨링된 부분 이미지를 학습하여 부분 이미지로부터 외관 결함을 판정하는 분류기를 생성하는 제2 딥러닝부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 태양광 모듈의 외관 결함 검사 장치에 따르면, 태양광 모듈 제조 공정의 설비에서 수집된 태양광 모듈 영상을 셀 단위의 부분 이미지로 자르고, 정상 이미지를 학습한 비지도 이상 탐지기(Unsupervised Anomaly Detector)에 부분 이미지를 입력해 얻은 출력값인 결함 점수를 부분 이미지와 결합해 결함 이미지를 생성하며, 결함 이미지를 자기-라벨링 처리하여 라벨링된 부분 이미지를 학습하여 외관 결함을 판정하는 분류기를 생성함으로서, 데이터 부족 및 양품과 불량의 데이터 불균형을 극복하고 머신비전을 적용해 외관 결함 검사를 자동으로 수행할 수 있다.

Description

태양광 모듈의 외관 결함 검사 장치{INSPECTION APPARATUS FOR APPEARANCE OF SOLAR MODULE}

본 발명은 태양광 모듈의 외관 결함 검사 장치에 관한 것으로서, 보다 구체적으로는 머신비전을 사용한 태양광 모듈의 외관 결함 검사 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명의 일실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

태양광 모듈(Solar Module)은 태양전지를 종 및 횡으로 연결하여 결합한 형태로, 개별 태양전지에서 생산된 전기가 모듈에 동시에 모이게 된다. 태양전지를 많이 붙일수록 태양광 모듈의 발전 용량은 커지게 되는데, 점차 대형화 추세에 있다.

태양광 모듈의 제조 공정은 여러 개의 태양전지를 배열해 라미네이션(Lamination)을 통해 모듈을 제조하는 과정으로 이루어진다. 태양광 모듈은 여러 단계로 구성된 연속적인 과정을 통해 제조되므로, 앞 공정의 불량이 뒤 공정의 불량과 직결되므로, 최종 생산된 태양광 모듈의 품질을 관리하는 것뿐만 아니라 중간 단계에서의 품질관리도 매우 중요하다. 태양광 모듈 제조 공정에서는 이물질, 크랙, 와이어 이탈 등의 불량이 발생할 수 있는데, 이러한 불량은 태양광 모듈의 외관을 검사하는 방법으로 찾아낼 수 있다.

외관 결함을 검사하는 기술은 비교적 오래된 기술로서 제품 생산이 자동화 되면서 등장하기 시작하였다. 그동안 사람이 일일이 검사하던 것을 대체하여 카메라와 영상 처리 기술을 이용한 자동화 검사 시스템에 의해 생산성은 향상되었으며 일관성 있는 검사를 통해 품질이 높아지는 결과를 가져왔다. 또한, 최근 급격하게 발달하고 있는 인공지능 기반의 머신비전 기술의 적용 시, 품질 검사의 자동화에 기여할 수 있을 것이다.

그러나 태양광 모듈 제조 현장에서는 이러한 영상 처리 기술 적용을 위한 데이터가 부족할 때가 많다. 즉, 양품 데이터에 비해 불량 데이터가 부족하고, 이러한 불균등한 데이터는 머신비전 모델을 적절하게 학습시키는 데 장애 요인이 되며, 충분한 데이터가 확보될 때까지 지도 학습 모델을 만들 수가 없어 사람이 장기간 모니터링하며 데이터를 확보해야 하는 문제가 있다. 따라서 부족한 양의 데이터를 이용해 머신비전을 적용해 외관 결함 검사를 자동으로 수행할 수 있는 기술의 개발이 필요하다.

한편, 본 발명과 관련된 선행기술로, 한편, 본 발명과 관련된 선행기술로, 등록특허 제10-1567550호(발명의 명칭: 제조업에서의 데이터 수집 및 제공 방법, 등록일자: 2015년 11월 03일) 등이 개시된 바 있다.

전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지 기술이라 할 수는 없다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 태양광 모듈 제조 공정의 설비에서 수집된 태양광 모듈 영상을 셀 단위의 부분 이미지로 자르고, 정상 이미지를 학습한 비지도 이상 탐지기(Unsupervised Anomaly Detector)에 부분 이미지를 입력해 얻은 출력값인 결함 점수를 부분 이미지와 결합해 결함 이미지를 생성하며, 결함 이미지를 자기-라벨링 처리하여 라벨링된 부분 이미지를 학습하여 외관 결함을 판정하는 분류기를 생성함으로서, 데이터 부족 및 양품과 불량의 데이터 불균형을 극복하고 머신비전을 적용해 외관 결함 검사를 자동으로 수행할 수 있는, 태양광 모듈의 외관 결함 검사 장치를 제공하는 것을 그 목적으로 한다.

다만, 본 발명이 이루고자 하는 기술적 과제는 상기한 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있고, 명시적으로 언급하지 않더라도 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 이에 포함됨은 물론이다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 태양광 모듈의 외관 결함 검사 장치는,

태양광 모듈의 외관 결함 검사 장치로서,

태양광 모듈 제조 공정 설비에서 수집된 태양광 모듈 영상으로부터 외관 결함을 판정하되,

상기 설비에서 수집된 태양광 모듈 영상을 전처리하여, 셀 단위의 복수의 부분 이미지로 자르는 전처리부;

비지도 이상 탐지기(Unsupervised Anomaly Detector)를 통해 상기 부분 이미지에서 결함 부분을 분할(Segmentation)하고, 분할 결과를 이용해 결함 이미지를 생성하는 제1 딥러닝부; 및

상기 결함 이미지에서 결함 영역이 미리 설정된 값 이상이면 자기-라벨링(self-labeling)을 처리하고, 라벨링된 부분 이미지를 학습하여 부분 이미지로부터 외관 결함을 판정하는 분류기를 생성하는 제2 딥러닝부를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 전처리부는,

상기 태양광 모듈 영상에서 관심 영역을 검출하는 검출 모듈; 및

상기 검출된 관심 영역에 기초하여 상기 태양광 모듈 영상을 잘라 복수의 부분 이미지를 생성하는 분할 모듈을 포함할 수 있다.

바람직하게는, 상기 비지도 이상 탐지기는,

정상의 태양광 모듈 영상을 전처리하여 얻은 복수의 부분 이미지를 학습 데이터로 하여 비지도 학습한 모델일 수 있다.

더욱 바람직하게는, 상기 비지도 이상 탐지기는,

픽셀 단위로 마하라노비스 거리(Pixel-wise Mahalanobis Distance)를 이용해 비지도 학습을 수행할 수 있다.

더욱 바람직하게는, 상기 제1 딥러닝부는,

상기 비지도 이상 탐지기를 이용해 상기 부분 이미지를 픽셀 단위로 처리하여 결함 점수를 생성하는 비지도 탐지 모듈; 및

상기 비지도 탐지 모듈의 처리 결과에 기초하여, 상기 부분 이미지와 결함 점수를 결합하여 결함 이미지를 생성하는 결함 이미지 생성 모듈을 포함할 수 있다.

더더욱 바람직하게는, 상기 결함 이미지 생성 모듈은,

G 채널은 원본 이미지, R 채널 및 B 채널은 결함 점수를 나타내도록, RGB로 표현된 상기 결함 이미지를 생성할 수 있다.

바람직하게는,

상기 전처리부, 제1 딥러닝부 및 제2 딥러닝부에서 생성한 분류기를 이용해, 입력 태양광 모듈 영상으로부터 외관 결함을 판정하는 예측부를 더 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 태양광 모듈의 외관 결함 검사 장치는,

태양광 모듈의 외관 결함 검사 장치로서,

태양광 모듈 제조 공정 설비에서 수집된 태양광 모듈 영상으로부터 외관 결함을 판정하되,

상기 설비에서 수집된 태양광 모듈 영상을 전처리하여, 복수의 부분 이미지로 자르는 전처리부; 및

비지도 이상 탐지기(Unsupervised Anomaly Detector)를 통해 상기 부분 이미지에서 결함 부분을 분할(Segmentation)하고, 분할 결과를 이용해 결함 이미지를 생성해 와이어 결함을 판정하는 제1 딥러닝부를 포함하며,

상기 전처리부는,

상기 태양광 모듈 영상을 미리 설정된 크기로 잘라 제1 부분 이미지를 생성하는 분할 모듈;

상기 제1 부분 이미지에서 와이어를 검출하고, 검출된 와이어 영역을 자른 와이어 이미지를 생성하며, 생성한 와이어 이미지 내의 선 개수에 따라 와이어 미부착을 검출하는 와이어 추출 모듈; 및

상기 제1 부분 이미지에서 태양광 셀의 비율을 검출하고, 검출된 셀의 비율에 따라 셀 미분리를 검출하는 셀 분리 추출 모듈을 포함하는 것을 그 구성상의 특징으로 한다.

본 발명에서 제안하고 있는 태양광 모듈의 외관 결함 검사 장치에 따르면, 태양광 모듈 제조 공정의 설비에서 수집된 태양광 모듈 영상을 셀 단위의 부분 이미지로 자르고, 정상 이미지를 학습한 비지도 이상 탐지기(Unsupervised Anomaly Detector)에 부분 이미지를 입력해 얻은 출력값인 결함 점수를 부분 이미지와 결합해 결함 이미지를 생성하며, 결함 이미지를 자기-라벨링 처리하여 라벨링된 부분 이미지를 학습하여 외관 결함을 판정하는 분류기를 생성함으로서, 데이터 부족 및 양품과 불량의 데이터 불균형을 극복하고 머신비전을 적용해 외관 결함 검사를 자동으로 수행할 수 있다.

더불어, 본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치의 외관 검사 방법을 설명하기 위해 도시한 도면.
도 3은 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치의 외관 검사 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치에 의한 검사 결과를 나타낸 도면.
도 5는 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치의 성능을 혼동 행렬(confusion matrix)로 나타낸 도면.
도 6은 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치의 구성을 도시한 도면.
도 7은 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치의 외관 검사 흐름을 도시한 도면.
도 8은 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치에 의한 검사 결과를 나타낸 도면.
도 9는 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치의 성능을 혼동 행렬로 나타낸 도면.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.

또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.

도 1은 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치(100)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치(100)는, 태양광 모듈 제조 공정 설비에서 수집된 태양광 모듈 영상으로부터 외관 결함을 판정하되, 설비에서 수집된 태양광 모듈 영상을 전처리하여, 복수의 부분 이미지로 자르는 전처리부(110); 비지도 이상 탐지기(Unsupervised Anomaly Detector)를 통해 부분 이미지에서 결함 부분을 분할(Segmentation)하고, 분할 결과를 이용해 결함 이미지를 생성하는 제1 딥러닝부(120); 및 결함 이미지에서 결함 영역이 미리 설정된 값 이상이면 자기-라벨링(self-labeling)을 처리하고, 라벨링된 부분 이미지를 학습하여 부분 이미지로부터 외관 결함을 판정하는 분류기를 생성하는 제2 딥러닝부(130)를 포함하여 구성될 수 있으며, 전처리부(110), 제1 딥러닝부(120) 및 제2 딥러닝부(130)에서 생성한 분류기를 이용해, 입력 태양광 모듈 영상으로부터 외관 결함을 판정하는 예측부(140)를 더 포함하여 구성될 수 있다.

도 2는 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치(100)의 외관 검사 방법을 설명하기 위해 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치(100)의 외관 검사 흐름을 도시한 도면이다. 도 2 및 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치(100)는, 태양광 모듈 제조 공정 중 EL(Electroluminescence) 설비에서 수집된 태양광 모듈 영상으로부터 외관 결함을 판정하되, EL 설비에서 수집된 태양광 모듈 영상을 셀 단위로 자른 이미지인 부분 이미지를 사용해 학습을 수행하고 외관 결함을 판정할 수 있다. 이하에서는, EL 설비에서 수집된 태양광 모듈 영상으로부터 외관 결함을 판정하는 과정을 통해, 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치(100)의 각 구성을 상세히 설명하도록 한다.

전처리부(110)는, 설비에서 수집된 태양광 모듈 영상을 전처리하여, 복수의 부분 이미지로 자를 수 있다. 도 1에 도시된 바와 같이, 전처리부(110)는 검출 모듈(111) 및 분할 모듈(112)을 포함하여 구성될 수 있다.

검출 모듈(111)은, 태양광 모듈 영상에서 관심 영역을 검출할 수 있다. 즉, 도 2 및 도 3에 도시된 바와 같이 태양광 모듈은 복수의 셀로 구성되어 있는데, 검출 모듈(111)은 각각의 개별 셀을 관심 영역으로 검출할 수 있다.

분할 모듈(112)은, 검출된 관심 영역에 기초하여 태양광 모듈 영상을 잘라 복수의 부분 이미지를 생성할 수 있다. 여기서, 부분 이미지는 태양광 모듈 영상을 셀 단위로 자른 셀 이미지일 수 있다.

제1 딥러닝부(120)는, 비지도 이상 탐지기를 통해 부분 이미지에서 결함 부분을 분할하고, 분할 결과를 이용해 결함 이미지를 생성할 수 있다. 여기서, 비지도 이상 탐지기는, 정상의 태양광 모듈 영상을 전처리하여 얻은 복수의 부분 이미지를 학습 데이터로 하여 비지도 학습한 모델일 수 있다. 보다 구체적으로, 비지도 이상 탐지기는, 픽셀 단위로 마하라노비스 거리(Pixel-wise Mahalanobis Distance)를 이용해 비지도 학습을 수행할 수 있다.

태양광 모듈 제조 공정에서 수집되는 영상은, 양품 영상은 많은 데 반하여 불량 영상은 적어서 지도 학습이 어려운 문제가 있다. 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치(100)의 제1 딥러닝부(120)는, 이러한 문제를 해결하기 위해 정상 또는 양품 영상만을 이용해 비지도 학습된 비지도 이상 탐지기를 이용해, 결함 부분을 분할할 수 있다. 보다 구체적으로, 전처리부(110)에서 셀 단위로 잘라 생성한 복수의 부분 이미지를 이용해 학습에 필요한 데이터양을 확보하고, 상대적으로 적은 라벨링 데이터를 이용해서도 안정적인 결과물을 낼 수 있는 비지도 학습 방법을 사용하여, 비지도 이상 탐지기를 생성해 사용할 수 있다.

예를 들어, 정상의 태양광 모듈 영상 12장을 이용하되, 태양광 모듈 영상을 셀 단위로 잘라 영상마다 144개의 부분 이미지를 생성하였다. 생성된 1728(12*144)개의 부분 이미지로 픽셀 단위로 마하라노비스 거리를 이용하는 비지도 학습을 수행해 비지도 이상 탐지기를 구성했다.

한편, 도 1에 도시된 바와 같이 제1 딥러닝부(120)는, 비지도 이상 탐지기를 이용해 부분 이미지를 픽셀 단위로 처리하여 결함 점수를 생성하는 비지도 탐지 모듈(121); 및 비지도 탐지 모듈(121)의 처리 결과에 기초하여, 부분 이미지와 결함 점수를 결합하여 결함 이미지를 생성하는 결함 이미지 생성 모듈(122)을 포함할 수 있다.

비지도 탐지 모듈(121)은, 학습 완료된 비지도 이상 탐지기를 이용해 픽셀 단위로 영상을 처리함으로써, 각 픽셀이 정상 상태와 얼마나 거리가 먼지를 결함 점수로 판단할 수 있다. 따라서 비지도 탐지 모듈(121)은, 픽셀마다 판단된 거리(결함 점수)를 이용해 결함을 분할할 수 있다.

결함 이미지 생성 모듈(122)은, G 채널은 원본 이미지, R 채널 및 B 채널은 결함 점수를 나타내도록, RGB로 표현된 결함 이미지를 생성할 수 있다. 즉, 결함 이미지는 픽셀 단위로 히트맵(heatmap)으로 표현된 이미지일 수 있으며, 도 2의 제1 딥러닝부(120)의 하단에 도시된 바와 같이 붉은색이나 노란색의 따뜻한 계열의 색상으로 표시된 부분이 결함이 있는 부분을 나타내게 된다.

제2 딥러닝부(130)는, 결함 이미지에서 결함 영역이 미리 설정된 값 이상이면 자기-라벨링(self-labeling)을 처리하고, 라벨링된 부분 이미지를 학습하여 부분 이미지로부터 외관 결함을 판정하는 분류기를 생성할 수 있다. 즉, 제2 딥러닝부(130)는, 반지도 학습(Semi-supervised learning) 방식으로 분류기를 생성할 수 있다. 예를 들어, 결함 이미지에서 결함 영역이 1% 이상이면 자기-라벨링을 처리하고, 라벨링 된 셀 단위의 결함 이미지를 인공지능 알고리즘으로 지도 학습하여 외관 결함을 판정하는 분류기를 생성할 수 있다. 이때, 제2 딥러닝부(130)가 생성한 분류기는, 정상, 이물질, 크랙(Crack), 다크 스팟(Dark spot) 및 이물질(solder Dark) 등을 분류하도록 학습된 모델로, ResNet 기반의 분류기일 수 있다.

본 실시예에서, 제2 딥러닝부(130)가 반지도 학습 시 사용한 데이터는 다음 표 1과 같다.

여기서, “OK 1”의 데이터는 제1 딥러닝부(120)의 비지도 이상 탐지기 학습 시에 전수 사용하였고, “OK 2”의 데이터 전부와 Crack, Dark Area, Dark Spot, Dead Zone, Solder Dark의 데이터 일부는 제2 딥러닝부(130)의 분류기 학습 시에 사용하였다. “OK 1”과 “OK 2”는 모두 정상 상태의 태양광 모듈 영상으로, 그 통과 수준이 서로 상이한 것일 수 있다.

예측부(140)는, 전처리부(110), 제1 딥러닝부(120) 및 제2 딥러닝부(130)에서 생성한 분류기를 이용해, 입력 태양광 모듈 영상으로부터 외관 결함을 판정할 수 있다. 즉, EL 설비에서 촬영된 태양광 모듈 영상이 입력되면, 전처리부(110)에서 입력 영상을 부분 이미지로 자르고, 제1 딥러닝부(120)에서 비지도 이상 탐지기를 통해 결함 이미지를 생성하며, 제2 딥러닝부(130)에서 생성한 분류기에 결함 이미지를 입력해 정상, 결함 종류 등을 예측해 판정 결과를 출력할 수 있다.

도 4는 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치(100)에 의한 검사 결과를 나타낸 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치(100)는, 정상(OK), Crack, Dark Area/Spot, Solder Dark, 이물질을 분류한 것을 확인할 수 있으며, 일부 오분류 사례도 있었다.

도 5는 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치(100)의 성능을 혼동 행렬로 나타낸 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치(100)는, 5개의 분류로 외관 결함을 판정했을 때 98.5%의 정확도(Accuracy)를 나타냈다.

도 6은 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치(200)의 구성을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치(200)는, 태양광 모듈 제조 공정 설비에서 수집된 태양광 모듈 영상으로부터 외관 결함을 판정하되, 설비에서 수집된 태양광 모듈 영상을 전처리하여, 복수의 부분 이미지로 자르는 전처리부(210); 및 비지도 이상 탐지기를 통해 부분 이미지에서 결함 부분을 분할하고, 분할 결과를 이용해 결함 이미지를 생성해 와이어 결함을 판정하는 제1 딥러닝부(220)를 포함하여 구성될 수 있으며, 전처리부(210) 및 제1 딥러닝부(220)를 이용해, 입력 태양광 모듈 영상으로부터 외관 결함을 판정하는 예측부(230)를 더 포함하여 구성될 수 있다.

또한, 전처리부(210)는, 태양광 모듈 영상을 미리 설정된 크기로 잘라 제1 부분 이미지를 생성하는 분할 모듈(211); 제1 부분 이미지에서 와이어를 검출하고, 검출된 와이어 영역을 자른 와이어 이미지를 생성하며, 생성한 와이어 이미지 내의 선 개수에 따라 와이어 미부착을 검출하는 와이어 추출 모듈(212); 및 제1 부분 이미지에서 태양광 셀의 비율을 검출하고, 검출된 셀의 비율에 따라 셀 미분리를 검출하는 셀 분리 추출 모듈(213)을 포함하여 구성될 수 있다.

도 7은 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치(200)의 외관 검사 흐름을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치(200)는, 태양광 모듈 제조 공정 중 태버(Tabber) 설비에서 수집된 태양광 모듈 영상으로부터 외관 결함을 판정하되, 태버 설비에서 수집된 태양광 모듈 영상을 와이어 단위로 자른 와이어 이미지를 사용해 학습을 수행하고 외관 결함을 판정할 수 있다. 특히, 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치(200)는, 제2 딥러닝부(130)의 반지도 학습을 수행하기 어려울 정도로 불량 데이터가 적을 때, 전처리부(210)의 영상 분석과 제1 딥러닝부(220)를 통해 외관 검사를 할 수 있는 구성이다. 이하에서는, 태버 설비에서 수집된 태양광 모듈 영상으로부터 외관 결함을 판정하는 과정을 통해, 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치(200)의 각 구성을 상세히 설명하도록 한다.

전처리부(210)는, 설비에서 수집된 태양광 모듈 영상을 전처리하여, 복수의 부분 이미지로 자를 수 있다. 도 6에 도시된 바와 같이, 전처리부(210)는 분할 모듈(211), 와이어 추출 모듈(212), 셀 분리 추출 모듈(213)을 포함하여 구성될 수 있다.

분할 모듈(211)은, 태양광 모듈 영상을 미리 설정된 크기로 잘라 제1 부분 이미지를 생성할 수 있다. 여기서, 제1 부분 이미지는, 딥러닝을 위한 부분 이미지 생성 전에, 원활한 영상 처리를 위해 미리 정해진 크기로 자른 것으로, 태양광 모듈 영상을 4x9 크기로 잘라 제1 부분 이미지를 생성할 수 있다.

와이어 추출 모듈(212)은, 제1 부분 이미지에서 와이어를 검출하고, 검출된 와이어 영역을 자른 와이어 이미지를 생성하며, 생성한 와이어 이미지 내의 선 개수에 따라 와이어 미부착을 검출할 수 있다. 와이어 추출 모듈(212)은, 제1 부분 이미지에서, 와이어 부분을 관심 영역(ROI)으로 검출하고, 관심 영역을 잘라서 와이어 이미지를 생성할 수 있다. 도 7의 와이어 추출 모듈(212)에 도시된 바와 같이, 생성한 와이어 이미지에서 와이어 부분의 선(line) 개수에 따라 정상과 와이어 미부착을 검출할 수 있다.

셀 분리 추출 모듈(213)은, 제1 부분 이미지에서 태양광 셀의 비율을 검출하고, 검출된 셀의 비율에 따라 셀 미분리를 검출할 수 있다. 보다 구체적으로, 도 7의 셀 분리 추출 모듈(213)에 도시된 바와 같이, 셀 분리 추출 모듈(213)은, 제1 부분 이미지에서 셀 마스크(Cell Mask)를 추출한 다음, 셀 분리 부분을 관심 영역(ROI)으로 검출해, 검출된 영역의 셀 비율에 따라 정상과 셀 미분리를 검출할 수 있다.

제1 딥러닝부(220)는, 비지도 이상 탐지기를 통해 부분 이미지에서 결함 부분을 분할하고, 분할 결과를 이용해 결함 이미지를 생성해 와이어 결함을 판정할 수 있다. 여기서, 비지도 이상 탐지기는, 정상의 태양광 모듈 영상을 전처리하여 얻은 복수의 부분 이미지를 학습 데이터로 하여 비지도 학습한 모델일 수 있다. 보다 구체적으로, 비지도 이상 탐지기는, 픽셀 단위로 마하라노비스 거리를 이용해 비지도 학습을 수행할 수 있다. 비지도 이상 탐지기 생성과 관련된 세부적인 내용은, 본 발명의 일실시예에 따른 태양광 모듈의 외관 결함 검사 장치(200)에서 상세히 설명한 바 있다.

예를 들어, 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치(200)에서는, 정상의 태양광 모듈 영상 482장 중 80%인 377장을 이용하되, 태양광 모듈 영상 한 장에는 36개의 와이어가 포함되어 있으므로, 총 13,572개의 와이어 이미지를 사용해 비지도 학습을 수행해 비지도 이상 탐지기를 구성했다. 평가를 위해서는 정상의 태양광 모듈 중 나머지 105장, 셀 미분리 6장, 와이어 미부착 4장, 와이어 이탈 326장을 사용했다.

한편, 도 6에 도시된 바와 같이 제1 딥러닝부(220)는, 전처리부(210)에서 검출된 와이어 미부착을 제외한 나머지 와이어 이미지를 전달받고, 비지도 이상 탐지기를 이용해 전달받은 와이어 이미지를 픽셀 단위로 처리하여 결함 점수를 생성하는 비지도 탐지 모듈(221); 및 비지도 탐지 모듈(221)의 처리 결과에 기초하여, 와이어 이미지와 결함 점수를 결합해 결함 이미지를 생성하고, 결함 이미지에서 와이어 단위로 결함 영역이 미리 설정된 값 이상이면 와이어 결함으로 판정하는 결함 이미지 생성 모듈(222)을 포함할 수 있다.

비지도 탐지 모듈(221)은, 학습 완료된 비지도 이상 탐지기를 이용해 픽셀 단위로 영상을 처리함으로써, 각 픽셀이 정상 상태와 얼마나 거리가 먼지를 결함 점수로 판단할 수 있다. 따라서 비지도 탐지 모듈(221)은, 픽셀마다 판단된 거리(결함 점수)를 이용해 결함을 분할할 수 있다. 비지도 탐지 모듈(221)은, 와이어 이미지 내에서 와이어 단위로 결함 영역이 1% 이상인 경우를 와이어 결함으로 판정하였고, 태양광 모듈 영상에서 와이어 결함이 하나 이상 존재할 때 최종 와이어 결함으로 판정할 수 있다.

결함 이미지 생성 모듈(222)은, G 채널은 원본 이미지, R 채널 및 B 채널은 결함 점수를 나타내도록, RGB로 표현된 결함 이미지를 생성할 수 있다. 즉, 결함 이미지는 픽셀 단위로 히트맵으로 표현된 이미지일 수 있으며, 도 7의 제1 딥러닝부(220)의 하단에 도시된 바와 같이 빨간색으로 표시된 부분이 결함이 있는 부분을 나타내게 된다.

예측부(230)는, 전처리부(210) 및 제1 딥러닝부(220)를 이용해, 입력 태양광 모듈 영상으로부터 외관 결함을 판정할 수 있다. 즉, 태버 설비에서 촬영된 태양광 모듈 영상이 입력되면, 전처리부(210)에서 입력 영상을 처리하여 와이어 미부착 및 셀 미분리를 판정하고, 와이어 이탈을 판정하기 위해 제1 딥러닝부(220)에서 와이어 이미지를 분류해 와이어 이탈 또는 와이어 결함을 판정할 수 있다.

도 8은 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치(200)에 의한 검사 결과를 나타낸 도면이다. 도 8에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치(200)는, 정상과 와이어 이탈을 분류한 것을 확인할 수 있으며, 일부 오분류 사례도 있었다.

도 9는 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치(200)의 성능을 혼동 행렬로 나타낸 도면이다. 도 9에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 태양광 모듈의 외관 결함 검사 장치(200)는, 비지도 이상 탐지기를 이용해 정상과 와이어 이탈 분류 시 Accuracy 98.14%, Precision 98.47%, Recall 99.08%의 성능을 보였다.

전술한 바와 같이, 본 발명에서 제안하고 있는 태양광 모듈의 외관 결함 검사 장치(100, 200)에 따르면, 태양광 모듈 제조 공정의 설비에서 수집된 태양광 모듈 영상을 셀 단위의 부분 이미지로 자르고, 정상 이미지를 학습한 비지도 이상 탐지기에 부분 이미지를 입력해 얻은 출력값인 결함 점수를 부분 이미지와 결합해 결함 이미지를 생성하며, 결함 이미지를 자기-라벨링 처리하여 라벨링된 부분 이미지를 학습하여 외관 결함을 판정하는 분류기를 생성함으로서, 데이터 부족 및 양품과 불량의 데이터 불균형을 극복하고 머신비전을 적용해 외관 결함 검사를 자동으로 수행할 수 있다.

본 발명의 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명된 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명된 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100, 200: 외관 결함 검사 장치
110, 210: 전처리부
111: 검출 모듈
112: 분할 모듈
120, 220: 제1 딥러닝부
121, 221: 비지도 탐지 모듈
122, 222: 결함 이미지 생성 모듈
130: 제2 딥러닝부
140, 230: 예측부
211: 분할 모듈
212: 와이어 추출 모듈
213: 셀 분리 추출 모듈

Claims (8)

1. 태양광 모듈의 외관 결함 검사 장치(100)로서,
   태양광 모듈 제조 공정 중 EL(Electroluminescence) 설비에서 수집된 태양광 모듈 영상으로부터 외관 결함을 판정하되,
   상기 설비에서 수집된 태양광 모듈 영상을 전처리하여, 셀 단위의 복수의 부분 이미지로 자르는 전처리부(110);
   비지도 이상 탐지기(Unsupervised Anomaly Detector)를 통해 상기 부분 이미지에서 결함 부분을 분할(Segmentation)하고, 분할 결과를 이용해 결함 이미지를 생성하는 제1 딥러닝부(120);
   상기 결함 이미지에서 결함 영역이 미리 설정된 값 이상이면 자기-라벨링(self-labeling)을 처리하고, 라벨링된 부분 이미지를 학습하여 부분 이미지로부터 외관 결함을 판정하는 분류기를 생성하는 제2 딥러닝부(130); 및
   상기 전처리부(110), 제1 딥러닝부(120) 및 제2 딥러닝부(130)에서 생성한 분류기를 이용해, 입력 태양광 모듈 영상으로부터 외관 결함을 판정하는 예측부(140)를 포함하며,
   상기 전처리부(110)는,
   상기 태양광 모듈 영상에서 각각의 개별 셀을 관심 영역으로 검출하는 검출 모듈(111); 및
   상기 검출된 관심 영역에 기초하여 상기 태양광 모듈 영상을 셀 단위로 잘라 복수의 부분 이미지를 생성하는 분할 모듈(112)을 포함하며,
   상기 비지도 이상 탐지기는,
   정상의 태양광 모듈 영상을 전처리하여 얻은 복수의 부분 이미지를 학습 데이터로 하여 비지도 학습한 모델이고,
   상기 비지도 이상 탐지기는,
   픽셀 단위로 마하라노비스 거리(Pixel-wise Mahalanobis Distance)를 이용해 비지도 학습을 수행하며,
   상기 제1 딥러닝부(120)는,
   상기 비지도 이상 탐지기를 이용해 상기 부분 이미지를 픽셀 단위로 처리하여 결함 점수를 생성하는 비지도 탐지 모듈(121); 및
   상기 비지도 탐지 모듈(121)의 처리 결과에 기초하여, 상기 부분 이미지와 결함 점수를 결합하여 결함 이미지를 생성하는 결함 이미지 생성 모듈(122)을 포함하며,
   상기 결함 이미지 생성 모듈(122)은,
   G 채널은 원본 이미지, R 채널 및 B 채널은 결함 점수를 나타내도록, RGB로 표현된 상기 결함 이미지를 생성하며,
   상기 제2 딥러닝부(130)는,
   정상의 태양광 모듈 영상으로부터 얻은 셀 단위의 부분 이미지와 자기-라벨링 된 셀 단위의 부분 이미지를 인공지능 알고리즘으로 지도 학습하여, 정상, 이물질, 크랙(Crack), 다크 스팟(Dark spot) 및 소더 다크(Solder dark)를 분류해 외관 결함을 판정하는 분류기를 생성하는 것을 특징으로 하는, 태양광 모듈의 외관 결함 검사 장치(100).
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제

Images