KR101477665B1

KR101477665B1 - 불균일한 텍스쳐 표면의 불량 검출방법

Info

Publication number: KR101477665B1
Application number: KR1020130036944A
Authority: KR
Inventors: 고진석; 임재열
Original assignee: 한국기술교육대학교 산학협력단
Priority date: 2013-04-04
Filing date: 2013-04-04
Publication date: 2014-12-30
Also published as: KR20140120716A

Abstract

본 발명의 다른 측면에 따른 불균일한 텍스처 표면의 불량 검출방법은,불량이 없는 기준 영상을 복수의 기준 패치영상들로 분할하는 단계와, 상기 복수의 기준 패치영상들을 이진화시키고, 이진화된 기준 패치영상들로부터 기준 특징벡터를 계산하는 단계와, 상기 기준 특징 벡터들의 집합을 이용하여, 가우시안 혼합모델의 모델 파라미터를 생성하는 단계와, 검사 대상물에 대한 검사 영상을 복수의 검사 패치영상으로 분할하는 단계와, 상기 복수의 검사 패치영상들을 이진화시키고, 이진화된 검사 패치영상들로부터 검사 특징 벡터를 계산하는 단계와, 상기 모델 파라미터에 상기 검사 특징 벡터를 적용하여, 각 검사 패치영상에 대한 로그-우도값을 계산하는 단계와, 상기 계산된 로그-우도값을 로그-우도 임계값과 비교하고, 상기 로그-우도 임계값보다 낮은 값을 갖는 패치영상에 불량이 있다고 판단하는 단계를 포함한다.

Description

불균일한 텍스쳐 표면의 불량 검출방법{Defect detection method in heterogeneously textured surface}

본 발명은 불균일한 텍스쳐 표면의 불량 검출방법에 관한 것으로, 보다 상세하게는 불규칙하게 표현되는 랜덤한 텍스쳐 표면의 불량을 보다 신속하고 정확하게 검출할 수 있는 불균일한 텍스쳐 표면의 불량 검출방법에 관한 것이다.

일반적으로 산업 현장에서는 머신 비전을 이용하여 불량 자동 검사를 실시하고 있다. 상기 불량 자동 검사는 반도체, 디스플레이, 제지, 그리고 목재 등 다양한 제조업에서 사용하고 있다.

상기 머신 비전을 이용한 표면 불량검사시스템의 검사 알고리즘은, 검사 대상물의 표면 특성에 따라 산업용 카메라로 획득한 검사 대상물에 대한 표면 영상의 픽셀 밝기 값이 균일한 경우와 불균일한 경우로 구분할 수 있다. 상기 표면 영상의 픽셀 밝기 값이 균일한 경우는, 검사 대상물의 재질이 균일하거나 카메라의 해상도에 따라 검사 대상물의 표면이 균일해 보이는 경우이다. 상기 표면 영상의 픽셀 밝기 값이 불균일한 경우는, 상기 검사 대상물의 표면이 질감이 표현되는 재질로 구성된 경우이며, 이를 텍스쳐(Texture) 표면이라고 한다. 상기 텍스쳐 표면은, 균일하거나 일정한 패턴을 갖는 텍스쳐 표면과, 매우 불규칙한 랜덤 텍스처 표면으로 분류된다. 균일하거나 일정한 패턴의 텍스쳐 표면을 갖는 검사 대상물은 섬유, PCB, 그리고 웨이퍼 등을 예로 들 수 있으며, 이들의 불량을 검사하는 방법에 대해서는 많은 연구가 이루어져 왔다. 한편, 상기 랜덤 텍스처 표면에 대한 연구는 많이 이루어지지 못하였다.

최근에는 다결정형 솔라셀의 상용화가 추진되면서, 랜덤한 텍스처 표면을 갖는 상기 다결정형 솔라셀의 표면 불량 검사를 위한 연구가 시도되고 있다. Tsai et al.는 다결정형 솔라셀의 불량을 검출하기 위하여 비등방성 확산 모델(anisotropic diffusion model)기반의 마이크로 크랙 검출 기법, mean-shif 기반의 불량 검출 기법, Fourier image reconstruction 기반의 불량 검출 기법 등을 발표하였다.(비특허문헌 [15]~[17] 참조) Li와 Tsai는 다결정형 솔라셀의 saw-mark를 검사하기 위한 기법과 wavelet 기반의 불량 검사 기법을 발표하였다.(비특허문헌 [18],[19]참조)

상기 다결정형 솔라셀은 마이크로 크랙, 지문, 얼룩, 그리고 외부 오염 등의 불량 유형들이 있으며, 이들은 영상에서 밝기값이 주변에 비하여 어둡게 표현된다. 그러나, 상기 불량 유형들은 각각 형태가 다르기 때문에, 각각의 불량 유형에 따라 검출 알고리즘이 별도로 연구되어 왔다. 즉, 마이크로 크랙은 가늘고 긴 형태적 특징을 가지며, 마이크로 크랙과 배경부분 사이의 에지부분의 기울기 값이 큰 값을 갖는다.(비특허문헌 [15]참조) 상기 마이크로 크랙 검출을 위한 비등방성 확산 모델 기반의 알고리즘은 밝기 값이 어둡고, 에지부분의 기울기가 큰 특징을 이용하였다. 지문이나 얼룩과 같은 불량은, 상기 마이크로 크랙에 비해 영상에서 상대적으로 넓은 영역을 차지하며, 에지부분의 기울기 값이 상대적으로 작은 특징들을 이용하여 wavelet 기반의 불량검사, mean-shift기반의 불량검사 방법 등을 제안하였다.

그러나, 상기와 같은 불량 검출방법들은, 각각의 불량 유형에 대해 별도의 검사 알고리즘을 수행해야 하는 단점이 있다. 따라서, 상기 머신 비전 시스템에서 각각의 검사 알고리즘을 수행해야 하므로, 전체 검사시간이 늘어나고, 전체 검사시간이 증가되면 생산성이 감소되는 문제점이 있다.

[1] S.-K. S. Fan and Y.-C. Chuang, "Automatic detection of Mura defect in TFT-LCD based on regression diagnostics," Pattern Recognition Letters, vol. 31, no. 15, pp. 23972404, 2010. [2] K. Wiltschi, A. Pinz, T. Lindeberg, "Automatic assessment scheme for steel quality inspection", Machine Vision and Applications, vol. 12, pp.113128, 2000. [3] S.-M. Chao, D.-M. Tsai, "Anisotropic diffusion-based defect detection for low-contrast glass substrates", Image and Vision Computing, vol. 26, pp. 187200, 2008. [4] S.-S. Liu, M.E. Jernigan, Texture analysis and discrimination in additive noise, Computer Vision, Graphics and Image Processing 49 (1990) 5267. [5] R. Azencott, J.-P. Wang, L. Younes, Texture classification using windowed Fourier filters, IEEE Transactions on Pattern Analysis and Machine Intelligence 19 (1997) 148153. [6] K. Maruo, T. Shibata, T. Yamaguchi, M. Ichikawa, T. Ohmi, Automatic defect pattern detection on LSI wafers using image processing techniques, IEICE Transactions on Electronics E82-C (1999) 10031012. [7] H. Sari-Sarraf, J.S. Goddard Jr., Robust defect segmentation in woven fabrics, Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (1998) 938944. [8] L. Norton-Wayne, M. Bradshaw, and A. J. Jewell, "Machine vision inspection of web textile fabric," in Proc. Brit. Mach. Vis. Conf., Leeds, U.K., Sep. 1992, pp. 217226. [9] L. Norton-Wayne, M. Bradshaw, and C. Sandby, "Machine vision for the automated inspection of web materials," Proc. SPIE, vol. 1989, pp. 213, 1993. [10] M. Bradshaw, "The application of machine vision to the automated inspection of knitted fabrics," Mechatronics, vol. 5, no. 2/3, pp. 233 243, 1995. [11] H. Sari-Sarraf and J. S. Goddard, "On-line optical measurement and monitoring of yarn density in woven fabrics," Proc. SPIE, vol. 2899, pp. 444452, 1996. [12] C. H. Chan and G. Pang, "Fabric defect detection by Fourier analysis," IEEE Trans. Ind. Appl., vol. 36, no. 5, pp. 12671276, Sep./Oct. 2000. [13] R. Cross and A. K. Jain, "Markov random field texture models," IEEE Trans. Pattern Anal. Mach. Intell., vol. PAMI-5, no. 1, pp. 2539, Jan. 1983. [14] F. S. Cohen, Z. Fan, and S. Attali, "Automated inspection of textile fabrics using textural models," IEEE Trans. Pattern Anal. Mach. Intell., vol. 8, no. 13, pp. 803808, Aug. 1991. D. M. Tsai, C. C. Chang and S. M. Chao, "Micro-crack inspection in heterogeneously textured solar wafers using anisotropic diffusion", Image and Vision Computing, vol. 28, no. 3, pp. 491501, 2010. D. M. Tsai and J. Y. Luo, "Mean Shift-Based Defect Detection in Multicrystalline Solar Wafer Surfaces", Industrial Informatics, IEEE Transactions on, vol. 7, no. 1, pp. 125135, 2011. D. M. Tsai, S. C. Wu and W. C. Li, "Defect detection of solar cells in electroluminescence images using Fourier image reconstruction", Solar Energy Materials and Solar Cells, 2012. W. C. Li and D. M. Tsai, "Wavelet-based defect detection in solar wafer images with inhomogeneous texture", Pattern Recognition, vol. 45, no. 2, pp. 742756, 2012. W. C. Li and D. M. Tsai, "Automatic saw-mark detection in multicrystalline solar wafer images", Solar Energy Materials and Solar Cells, 2011. 고진석, 임재열, "가우시안 혼합모델과 지역적 이진 특징 기반의 다결정형 솔라 웨이퍼 마이크로 크랙 검출", 2012년 한국음향학회 추계학술대회 논문집 고진석, 임재열, "적응 뉴로-퍼지와 지역적 이진 특징을 이용한 솔라 웨이퍼의 불량 검출", 2012년 대한전자공학회 추계학술대회 논문집 [22] G. J. McLachlan and K. E. Basford. Mixture Models: Inference and Applications to Clustering. New York: Marcel Dekker, 1988. [23] A. Dempster, N. Laird, and D. Rubin, "Maximum likelihood estimation from incomplete data via the EM algorithm," J. R. Statist. Soc. B, vol.39, pp. 138, 1977. [28] G. McLachlan and T. Krishnan, The EM Algorithm and Extensions. New York: Wiley, 1997. [29] L. Besacier and J. Bonastre, "Frame pruning for speaker recognition," Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing, vol. 2, pp. 765-768, 1998.

본 발명의 목적은, 불균일한 텍스쳐 표면의 불량을 보다 신속하고 정확하게 검출할 수 있는 불균일한 텍스쳐 표면의 불량 검출방법을 제공하는 데 있다.

본 발명에 따른 불균일한 텍스처 표면의 불량 검출방법은, 기준 영상을 복수의 기준 패치영상들로 분할하는 단계와, 상기 복수의 기준 패치영상들을 이진화시키고, 이진화된 기준 패치영상들로부터 기준 특징벡터를 계산하는 단계를 포함한다.

또한, 본 발명의 다른 측면에 따른 불균일한 텍스처 표면의 불량 검출방법은, 불량이 없는 기준 영상을 복수의 기준 패치영상들로 분할하고, 각 기준 패치영상들에 대한 기준 특징벡터들을 이용하여, 가우시안 혼합모델의 모델 파라미터를 학습하는 단계와, 검사 대상물에 대한 검사 영상을 복수의 검사 패치영상들로 분할하고, 상기 가우시안 혼합모델의 모델 파라미터에 각 검사 패치 영상들에 대한 검사 특징벡터들을 입력하여, 각 검사 패치영상들에 대한 로그-우도를 계산하는 단계와, 상기 검사 패치영상들에 대한 상기 로그-우도값이 설정 범위를 벗어나면, 해당 검사 패치영상에 불량이 있다고 판단하는 단계를 포함한다.

또한, 본 발명의 또 다른 측면에 따른 불균일한 텍스처 표면의 불량 검출방법은, 불량이 없는 기준 영상을 복수의 기준 패치영상들로 분할하는 단계와, 상기 복수의 기준 패치영상들에 가중치를 적용하여 이진화시키는 단계와, 상기 이진화된 기준 패치영상들에서 각 픽셀들의 밝기에 대한 평균과 표준편차로 구성된 기준 특징벡터를 계산하는 단계와, 상기 기준 특징 벡터들의 집합을 이용하여, 가우시안 혼합모델의 모델 파라미터를 생성하는 단계와, 검사 대상물에 대한 검사 영상을 복수의 검사 패치영상으로 분할하는 단계와, 상기 복수의 검사 패치영상들에 가중치를 적용하여 이진화시키는 단계와, 상기 이진화된 검사 패치영상들에서 각 픽셀들의 밝기에 대한 평균과 표준편차로 구성된 검사 특징 벡터를 계산하는 단계와, 상기 모델 파라미터에 상기 검사 특징 벡터를 적용하여, 각 검사 패치영상에 대한 로그-우도를 계산하는 단계와, 상기 복수의 검사 패치영상들중에서 일부 패치영상들의 로그-우도의 평균과 표준편차를 고려하여 로그-우도 임계값을 설정하는 단계와, 상기 계산된 로그-우도를 상기 로그-우도 임계값과 비교하는 단계와, 상기 로그-우도 임계값보다 낮은 값을 갖는 패치영상을 불량으로 판단하고, 영상을 출력하는 단계를 포함한다.

본 발명에 따른 불균일한 텍스처 표면의 불량 검출방법은, 복수의 패치영상들을 이진화시키고, 이진화된 패치영상으로부터 평균과 표준편차로 구성되는 지역적 이진 특징을 이용함으로써, 영상에서 어둡게 표현되는 불량 유형들에 대한 분별력이 보다 향상될 수 있고, 불량 유형에 관계없이 어두운 특징을 갖는 모든 불량에 대한 검출이 용이한 이점이 있다.

또한, 불량이 없는 영상을 이용하여 가우시안 혼합 모델의 모델 파라미터를 학습하기 때문에, 학습 단계에서 불량 영상과 양품 영상을 구분할 필요가 없는 이점이 있다. 또한, 학습 단계에서 불량 영상과 양품 영상을 구분하기 위해 비전 검사 시스템을 사용해야 하는 과정이 생략될 수 있으며, 사용자가 불량과 양품을 오분류하여 학습하여 검출 성능이 저하되는 문제점을 방지할 수 있다.

또한, 불량 유형에 따라 서로 다른 검사 알고리즘을 수행할 필요가 없으므로, 검사 시간이 단축되고, 생산성 향상에 기여할 수 있다.

또한, 로그-우도 스코어 프루닝 기법을 적용함으로써, 보다 정확하게 불량 판정을 할 수 있다.

도 1은 본 발명의 실시예에 따라 불량이 없는 영상의 지역적 이진 특징을 이용해 가우시안 혼합모델을 학습하는 방법 도시된 순서도이다.
도 2는 본 발명의 실시예에 따라 검사 대상물의 불량 검사방법이 도시된 순서도이다.
도 3은 본 발명의 실시예에 따른 패치 영상들을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 불량이 없는 영상의 지역적 이진 특징 분포를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 불량이 있는 영상의 지역적 이진 특징 분포를 나타낸 도면이다.
도 6은 마이크로 크랙과 지문이 포함된 불량 영상과 불량 검출 결과를 나타낸 도면이다.
도 7은 도 6에 도시된 불량 영상에 대한 로그-우도를 나타낸 도면이다.

이하, 본 발명의 실시예에서는 첨부된 도면을 참조하여, 다결정 솔라셀에서 마이크로 크랙, 지문, 얼룩 등의 불량 항목을 검사하는 방법을 예로 들어 설명하나, 이에 한정되지 않고 솔라셀 이외의 검사 부재에 적용하는 것도 물론 가능하다.

도 1은 본 발명의 실시예에 따라 불량이 없는 영상의 지역적 이진 특징을 이용해 가우시안 혼합모델을 학습하는 방법 도시된 순서도이다. 도 2는 본 발명의 실시예에 따라 검사 대상물의 불량 검사방법이 도시된 순서도이다.

본 발명에서는, 표면이 매우 불규칙하게 변화하는 다결정 솔라웨이퍼의 표면 영상을 이용하여 실험하였다. 본 발명은, 불량이 없는 솔라셀 영상의 특징벡터를 이용하여 가우시안 혼합모델을 학습하는 단계(S11~S17)와, 이후 불량이 포함된 패치영상의 특징벡터를 가우시안 혼합모델의 입력벡터로 사용하여, 해당 패치영상의 불량 유무에 따라 로그-우도값 편차가 발생하는 것을 이용해 불량을 검출하는 검사단계(S21~S30)를 포함한다.

도 1을 참조하면, 먼저, 불량이 없는 솔라셀에 대한 기준영상을 획득한다.(S11)

상기 기준영상은 후술하는 수학식 1로 표현된다.

여기서, Z는 기준 영상, p(x,y)는 기준영상(Z)에서 좌표(x,y)의 픽셀 밝기, I,J는 영상의 가로, 세로의 길이를 나타낸다.

상기 기준영상(Z)을 복수의 패치영상들로 분할한다.(S12) 상기 기준영상(Z)은 수학식 2와 같은 패치영상(p_k)의 집합으로 표현된다.

여기서, K는 전체 패치영상의 개수이고, M,N은 패치영상의 가로, 세로의 길이를 의미한다.

상기 기준 패치영상들로부터 지역적 이진 특징을 얻기 위하여, 각각의 기준 패치영상의 픽셀에 대해서 수학식 3과 같은 가중치를 계산한다. (S13)

여기서, T는 이진화시키기 위한 이진화 임계값이다.

상기 수학식 3에서 제안한 가중치를 이용하여, 상기 기준 패치영상들을 이진화시킨다.(S14) 상기 이진화된 기준패치영상을 구하는 식은 수학식 4와 같다.

상기 수학식 3과 수학식 4를 통해 상기 이진화된 기준패치영상을 구할 수 있다. 상기 p'_k는 이진화된 기준패치영상에서 각 좌표의 픽셀 밝기를 나타낸다.

상기 이진화된 기준패치영상으로부터 평균과 표준편차를 계산한다.(S15) 상기 이진화된 기준패치영상으로부터 계산된 평균과 표준편차를 지역적 이진 특징이라고 한다.

상기 수학식 3 및 4를 참조하면, 상기 기준 패치영상에서 불량영역의 픽셀 밝기가 임계값(T)보다 어두운 경우, 상기 이진화된 기준패치영상의 평균은 1보다 작은 값을 갖게 된다. 또한, 상기 이진화된 기준 패치영상의 표준편차는 불량이 없는 이진패치영상에 비해서 큰 값을 갖는다. 따라서, 상기 이진화된 기준패치영상의 평균과 표준편차는 불량 픽셀이 포함되었는지를 판단하는 척도가 된다. 도 4를 참조하면, 불량 여부에 따른 지역적 이진 특징 분포가 나타나 있다.

상기 이진화된 기준패치영상의 평균과 표준편차는 가우시안 혼합모델 기반의 불량검출기에서 특징벡터로 적용된다. (S16)

상기 이진화된 기준패치영상의 평균과 표준편차를 계산하는 방법은 후술하는 수학식 5와 수학식 6과 같다.

도 3은 본 발명의 실시예에 따른 패치 영상들을 나타낸 도면이다.

도 3을 참조하면, 불량이 포함된 패치영상(a)과 불량이 포함되지 않은 패치영상들(b)을 구분해서 보여준다.

상기와 같은 방법은, 불량의 구체적인 형태를 세밀하게 표현하지 못하나, 제조 현장에서는 불량의 정밀한 모양보다는 불량의 존재 유무와 위치, 대략적인 크기, 그리고 형태를 중요시하기 때문에, 상기와 같이 분할된 작은 패치영상 크기로도 불량이 충분히 표현될 수 있다.

상기 수학식 5와 상기 수학식 6에서 얻은 이진화된 기준패치영상의 평균과 표준편차를 검사 특징벡터로 이용한다. 상기 검사 특징벡터는 후술하는 수학식 7과 같다.

상기 검사 특징벡터를 가우시안 혼합모델에 적용한다. (비특허문헌[22],[23],[24]참조)

가우시안 혼합 성분 밀도는 후술하는 수학식 8로 표현된다.

여기서, y_k는 d-차원의 특징벡터이며, p_i는 i번째 혼합성분의 가중치이다.

차원이 d일 때, 각 성분밀도 b_i(y_k)는 정규확률분포를 사용하며, 후술하는 수학식 8로 정의된다.

여기서, μ_i는 I번째 성분의 평균벡터이고, ∑_i는 공분산 행렬이다.

상기와 같은 가우시안 혼합 모델을 사용하여 데이터의 분포를 나타내기 위한 모델 파라미터 λ는 후술하는 수학식 10으로 표시된다. 상기 모델 파라미터 λ는 가우시안 혼합성분 밀도의 가중치(p_i), 평균벡터(μ_i), 공분산 행렬(∑_i)로 구성된다.

여기서, M은 혼합성분의 개수이다.

가우시안 혼합모델의 우도(likelihood)를 최대화하기 위하여, 최대-우도 추정(Maximum-likelihood estimation)이 사용된다. 최대 우도를 위한 파라미터는 이엠(EM, Expectation-Maximization) 알고리즘을 반복적으로 계산하여 구한다. 후술하는 수학식 11부터 수학식 14는 이를 위한 과정으로 사후 확률, 혼합성분 가중치, 평균벡터 그리고 분산행렬을 나타낸다.

도 2에는 검사 대상물의 불량 측정 방법이 도시되어 있다.

도 2를 참조하면, 검사 대상물에 대한 검사 영상을 얻고(S21), 상기 검사 영상을 복수의 검사 패치영상들로 분할한다.(S22)

이후, 상기 복수의 검사 패치영상들을 이진화시킨다.(S23) 상기 복수의 검사 패치영상들을 이진화시키는 방법은, 상기에서 설명한 기준 패치영상들을 이진화시키는 방법과 동일하므로, 그에 따른 상세한 설명은 생략한다.

상기 이진화된 검사 패치영상들로부터 검사 특징벡터를 추출한다. 상기 검사 특징 벡터는 상기 이진화된 검사 패치영상들에 대한 좌표의 픽셀 밝기의 평균과 표준편차이다. (S24)(S25)

상기 검사 특징벡터와 상기 모델 파라미터를 이용하여, 로그-우도(Log-likelihood)값을 계산한다. (S26)

상기 계산된 로그-우도값은 미리 설정된 로그-우도 임계값과 비교하여, 불량 검출 판단에 사용된다. 이 때, 텍스쳐의 분포에 따라 발생할 수 있는 이상치를 제거하고, 보다 세밀한 임계값을 결정하기 위하여 로그-우도 스코어 프루닝(Log-likelihood score pruning)기법을 사용한다. 상기 로그-우도 스코어 프루닝 기법은 검사영상의 전체 패치영상을 이용하여 평균 로그-우도값을 구하지 않고, 일부 제한된 패치영상들만을 이용하여 평균 로그-우도값을 구하는 방법이다. 정확한 인식에서의 최대 로그-우도값은 잘못 인식된 경우의 최대 로그-우도값보다 높다는 가정에서 유래된다.(비특허문헌 [29]참조) 즉, 상기 로그-우도 스코어 프루닝 기법에서는 비교적 낮은 로그-우도값을 갖는 패치영상들은 불량판별의 성능을 저하시킨다고 판단된다. 따라서, 가우시안 혼합 모델 방법에서 스코어 프루닝 기법을 적용하여 보다 정확한 불량 검출이 가능해진다.

먼저, 전체 검사패치영상의 로그-우도값에 대한 평균과 표준편차를 계산한다. 로그-우도값에 대한 평균은 후술하는 수학식 15와 같다.

여기서, λ는 기준 영상을 통해 학습된 모델 파라미터이고, K는 전체 검사 패치영상들의 개수이고, M은 혼합성분의 개수이다.

상기 이상치로 추정되는 패치영상의 영향을 감소시키기 위하여 모든 검사패치영상의 로그-우도값을 순서대로 정렬하고, 로그-우도값이 하위 ζ%에 속하는 검사패치영상을 제외하고, 나머지 검사패치영상들로 최종 로그-우도값을 계산한다.

스코어 프루닝 후의 평균 로그-우도값은 후술하는 수학식 16으로 표시된다.

여기서, K는 전체 검사패치영상들의 개수이고, K'는 하위 ζ%를 제외하고 남은 검사패치영상들의 개수이다.

즉, K'는 스코어 푸르닝 기법이 적용된 후 검사패치영상들의 개수이고, 후술하는 수학식 17로 표시된다.

상기 수학식 16에 나타난 스코어 프루닝 후의 평균 로그-우도값을 이상치에 대한 가중치를 이용한 표현으로 다시 정리하면, 후술하는 수학식 18과 같다.

여기서, ω_k는 k번째 패치영상에서의 가중치를 의미하며, 후술하는 수학식 19로 정의된다.

즉, 하위 ζ%에 속하는 검사 패치영상에서는 상기 가중치가 0이 되고, 나머지 검사 패치영상들에서는 상기 가중치가 1이 되어, 제한된 검사패치영상들로부터 평균 로그-우도값을 계산할 수 있다.

또한, 스코어 프루닝 기법이 적용된 로그-우도값의 표준편차는 후술하는 수학식 20과 같다.

따라서, 불량 판정에 사용될 로그-우도 임계값은 상기 수학식 18과 상기 수학식 20으로부터 구할 수 있다.

이후, 상기 이진화된 검사 패치영상으로부터 구한 로그-우도값을 상기 로그-우도 임계값과 비교하여 불량 유무를 판정한다.(S28~S30) 후술하는 수학식 21을 이용하여, 상기 이진화된 검사 패치영상에서 불량이 있는 부분과 없는 부분을 구분하여 세그멘테이션한다.

여기서, C는 세그멘테이션을 제어하는 컨트롤 파라미터이다.

상기 수학식 21과 같이, 상기 로그-우도값이 상기 로그-우도 임계값보다 크면 불량이 없다고 판단하여 0으로 표시하고, 상기 로그-우도값이 상기 로그-우도 임계값보다 작거나 같으면 불량이 있다고 판단하여 좌표(x,y)에서 픽셀 밝기를 표시한다.

따라서, 검사결과 영상 B는 후술하는 수학식 22와 같이 표현된다.

따라서, 상기 검사결과 영상B는 상기 로그-우도값이 상기 로그-우도 임계값보다 작거나 같아서 불량이 있다고 판단되는 영상만을 출력한다.

상기와 같은 본 발명의 실시예에 따른 불량 검출 방법의 타당성을 검증하기 위하여, 실제 불량 영상을 이용하여 실험을 수행하였다. 실험에 사용된 영상의 획득조건은 측면 45도 입사각을 갖는 확산된 백색 LED 면조명을 사용하였으며, 영상의 픽셀 해상도는 23μm으로 설정하여 영상을 획득하였다. 사용된 카메라는 DALSA 4M15영역 카메라를 이용하였으며, 2048× 2048 픽셀사이즈의 영상을 획득하였다. 실험에 사용된 영상은 총113장을 이용하였다. 표 1은 본 실험에서 사용한 이미지의 종류를 나타낸다.

도 4 및 도 5는, 상기 지역적 이진 특징을 특징공간에서의 분포현황으로 보여주고 있다. 도 4는 불량이 없는 경우의 이진화된 영상의 평균과 분산으로 구성되는 지역적 이진 특징의 분포를 나타내고, 도 5는 불량이 있는 경우의 이진화된 영상의 평균과 분산으로 구성되는 지역적 이진 특징의 분포를 나타내고 있다. 도 4 및 도 5에서 A는 불량이 없는 특징을 나타내고, B는 불량이 있는 특징을 나타낸다.

도 4 및 도 5를 참조하면, 불량이 있는 영역(B)과 불량이 없는 영역(A)의 지역적 이진 특징의 분포가 확연히 구분되는 것을 확인할 수 있다. 상기 수학식 3과 수학식 4를 참조하면, 불량이 있는 영역(B)의 평균은 1보다 작은 값을 갖고, 표준 편차는 불량이 없는 영역에 비해서 큰 값을 갖는다. 따라서, 이진화된 패치 영상에 추출된 평균과 표준편차는 불량 검출을 위한 분별 척도로 활용될 수 있다. 또한, 불규칙한 텍스쳐 표면에서 불량이 어두운 밝기를 갖더라도 상기 지역적 이진 특징이 불량을 구분해내는 데 효과적임을 알 수 있다.

한편, 상기 지역적 이진 특징의 타당성을 확인하기 위하여, 가우시안 혼합모델을 이용하여 다결정형 솔라셀의 불량 검출 성능을 확인하였다.

이 때, 가우시안 혼합모델의 혼합성분의 개수는 사전에 알고 있다고 가정하였으며, 임의로 혼합성분의 개수와 초기값을 선정하였다. 또한, 패치영상의 이진화를 위한 수학식 3의 임계값 T는 입력영상의 평균 밝기의 1/2값을 이용하였다. 상기 임계값 T는 불량은 평균밝기보다 어둡다는 가정하에 실험적으로 결정하였다.

후술하는 표2는 지역적 이진특징과 가우시안 혼합모델을 이용한 불량 검출 방법의 성능을 나타낸다. 본 실험에서 패치영상의 크기는 12× 12 픽셀의 크기로 설정하였다. 최적의 혼합성분의 개수는 3,5,7 그리고 9로 가정하고 실험을 수행하였다. 또한, 스코어 프루닝 방법에서 ζ는 10%로 설정하였고, 수학식 20의 세그멘테이션 컨트롤 파라미터 C는 1.5로 설정하였다.

실험결과, 마이크로크랙 불량은 약 90%이상의 검출율을 보여주었다. 일반 불량은 100%의 검출율을 보여주었다. 전체 검출율은 약 94%의 성능을 보여주었다. 혼합성분의 개수가 증가할수록 과검출율이 감소하였다. 실제 최적의 혼합성분 개수가 생대적으로 9에 가깝다는 것을 의미한다.

도 6은 본 발명에 따른 불량 검출 결과를 나타낸다. 도 6a는 마이크로 크랙과 지문 불량이 포함된 불량 영상이며, 도 6b는 본 발명에 따른 세그멘테이션 결과를 나타낸다. 도 7은 도 6에 도시된 불량에 대한 로그-우도값의 분포를 나타낸다.

도 6 및 도 7을 참조하면, 불량이 존재하는 패치영역에서 낮은 값의 로그-우도값을 갖는 것을 확인할 수 있으며, 마이크로 크랙과 지문 불량이 모두 검출되는 것을 확인할 수 있다.

상기와 같은 본 발명에 따른 불량 검출 방법은, 불량이 없는 솔라셀 영상의 특징벡터를 이용하여 모델을 학습하였다. 따라서, 검사과정에서 불량이 포함된 패치영상의 특징벡터가 로그-우도값 계산을 위한 입력벡터로 활용되어, 얻어지는 로그-우도값은 학습 과정에서 얻어지는 로그-우도값에 비하여 상대적으로 낮은 값을 갖는다.

또한, 비전 검사 시스템이 제조 현장에서 활용될 때, 알고리즘 학습을 위하여 불량 영상과 양품 영상을 구분하는 경우, 상기 비전 검사 시스템의 사용에 제약이 따르는 문제점이 있다. 따라서, 불량이 없는 영상만을 이용하여 학습하고, 검사과정에서 불량을 검출하는 것은 상기 비전 검사 시스템의 사용편의성을 향상시킬 수 있다.

또한, 불량의 형태 및 크기는 제조공정마다 차이가 있기 때문에, 특정 유형의 불량 집합을 학습 데이터로 사용하는 경우 불량 검출 정확도가 저하될 수 있다.

따라서, 본 발명에서는 불량이 없는 솔라셀 영상을 알고리즘 학습에 사용함으로써, 시스템 사용자가 영상에서 불량과 양품을 오분류하고 학습을 수행하여 발생되는 검출 성능 저하를 방지할 수 있는 이점이 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims

기준 영상을 복수의 기준 패치영상들로 분할하는 단계와;
상기 복수의 기준 패치영상들을 이진화시키고, 이진화된 기준 패치영상들로부터 기준 특징벡터를 계산하는 단계를 포함하고,
상기 기준 패치영상들은,
각 좌표의 밝기에 미리 설정된 가중치를 적용하여, 이진화시키며,
상기 가중치는, 상기 기준 패치영상들의 각 좌표 밝기가 미리 설정된 이진화 임계값보다 크면, 1을 상기 각 좌표 밝기로 나눈 값으로 설정되고, 상기 기준 패치영상들의 각 좌표 밝기가 상기 이진화 임계값 이하이면, 0으로 설정되어,
상기 기준 패치영상들의 각 좌표 밝기에 상기 가중치를 곱하여, 상기 이진화된 기준 패치영상들을 구하는 불균일한 텍스쳐 표면의 불량 검출방법.
기준 영상을 복수의 기준 패치영상들로 분할하는 단계와;
상기 복수의 기준 패치영상들을 이진화시키고, 이진화된 기준 패치영상들로부터 기준 특징벡터를 계산하는 단계를 포함하고,
상기 기준 특징 벡터들의 집합을 이용하여, 가우시안 혼합모델의 모델 파라미터를 생성하는 단계와;
검사 대상물에 대한 검사 영상을 복수의 검사 패치영상으로 분할하는 단계와;
상기 복수의 검사 패치영상들을 이진화시키고, 이진화된 검사 패치영상들로부터 검사 특징 벡터를 계산하는 단계와;
상기 모델 파라미터에 상기 검사 특징 벡터를 적용하여, 각 검사 패치영상에 대한 로그-우도값을 계산하는 단계와;
상기 계산된 로그-우도값을 로그-우도 임계값과 비교하고, 상기 로그-우도 임계값보다 낮은 값을 갖는 패치영상에 불량이 있다고 판단하는 단계를 포함하는 불균일한 텍스쳐 표면의 불량 검출방법.
청구항 1 또는 2 에 있어서,
상기 기준 영상은 불량이 없는 대상물에 대한 영상인 불균일한 텍스쳐 표면의 불량 검출방법.
청구항 2 에 있어서,
상기 기준 패치영상들은,
각 좌표의 밝기에 미리 설정된 가중치를 적용하여, 이진화시키는 불균일한 텍스쳐 표면의 불량 검출방법.
청구항 4 에 있어서,
상기 가중치는, 상기 기준 패치영상들의 각 좌표 밝기가 미리 설정된 이진화 임계값보다 크면, 1을 상기 각 좌표 밝기로 나눈 값으로 설정되고, 상기 기준 패치영상들의 각 좌표 밝기가 상기 이진화 임계값 이하이면, 0으로 설정되어,
상기 기준 패치영상들의 각 좌표 밝기에 상기 가중치를 곱하여, 상기 이진화된 기준 패치영상들을 구하는 불균일한 텍스쳐 표면의 불량 검출방법.
청구항 1 또는 2 에 있어서,
상기 기준 특징벡터는,
상기 이진화된 기준 패치영상들에서 각 픽셀들의 밝기에 대한 평균과 표준편차를 포함하는 불균일한 텍스쳐 표면의 불량 검출방법.
청구항 2 에 있어서,
상기 검사 패치영상들은,
각 좌표의 밝기에 미리 설정된 가중치를 적용하여, 이진화시키는 불균일한 텍스쳐 표면의 불량 검출방법.
청구항 7에 있어서,
상기 가중치는, 상기 검사 패치영상들의 각 좌표 밝기가 미리 설정된 이진화 임계값보다 크면, 1을 상기 각 좌표 밝기로 나눈 값으로 설정되고, 상기 검사 패치영상들의 각 좌표 밝기가 상기 이진화 임계값 이하이면, 0으로 설정되어,
상기 검사 패치영상들의 각 좌표 밝기에 상기 가중치를 곱하여, 상기 이진화된 검사 패치영상들을 구하는 불균일한 텍스쳐 표면의 불량 검출방법.
청구항 2에 있어서,
상기 검사 특징벡터는,
상기 이진화된 검사 패치영상들에서 각 픽셀들의 밝기에 대한 평균과 표준편차를 포함하는 불균일한 텍스쳐 표면의 불량 검출방법.
청구항 2에 있어서,
상기 로그-우도 임계값은,
상기 복수의 검사 패치영상들 중에서 일부 패치영상들만의 로그-우도값에 대한 평균과 표준 편차를 포함하는 불균일한 텍스쳐 표면의 불량 검출방법.
청구항 2에 있어서,
상기 로그-우도 임계값은,
상기 복수의 검사 패치 영상들에 대한 각 로그-우도값 중에서 미리 설정된 설정 비율의 하위값들을 제외한 나머지 로그-우도값들의 평균과 표준 편차를 포함하는 불균일한 텍스쳐 표면의 불량 검출방법.
청구항 2에 있어서,
상기 로그-우도값이 상기 로그-우도 임계값보다 낮은 패치영상만을 출력하는 불균일한 텍스쳐 표면의 불량 검출방법.
불량이 없는 기준 영상을 복수의 기준 패치영상들로 분할하고, 각 기준 패치영상들에 대한 기준 특징벡터들을 이용하여, 가우시안 혼합모델의 모델 파라미터를 학습하는 단계와;
검사 대상물에 대한 검사 영상을 복수의 검사 패치영상들로 분할하고, 상기 가우시안 혼합모델의 모델 파라미터에 각 검사 패치 영상들에 대한 검사 특징벡터들을 입력하여, 각 검사 패치영상들에 대한 로그-우도값을 계산하는 단계와;
상기 검사 패치영상들에 대한 상기 로그-우도값이 설정 범위를 벗어나면, 해당 검사 패치영상에 불량이 있다고 판단하는 단계를 포함하는 불균일한 텍스처 표면의 불량 검출방법.
청구항 13에 있어서,
상기 해당 검사 패치영상에 불량이 있다고 판단하면, 불량이 있다고 판단된 검사 패치영상만을 출력하는 단계를 더 포함하는 불균일한 텍스처 표면의 불량 검출방법.
불량이 없는 기준 영상을 복수의 기준 패치영상들로 분할하는 단계와;
상기 복수의 기준 패치영상들에 가중치를 적용하여 이진화시키는 단계와;
상기 이진화된 기준 패치영상들에서 각 픽셀들의 밝기에 대한 평균과 표준편차로 구성된 기준 특징벡터를 계산하는 단계와;
상기 기준 특징 벡터들의 집합을 이용하여, 가우시안 혼합모델의 모델 파라미터를 생성하는 단계와;
검사 대상물에 대한 검사 영상을 복수의 검사 패치영상으로 분할하는 단계와;
상기 복수의 검사 패치영상들에 가중치를 적용하여 이진화시키는 단계와;
상기 이진화된 검사 패치영상들에서 각 픽셀들의 밝기에 대한 평균과 표준편차로 구성된 검사 특징 벡터를 계산하는 단계와;
상기 모델 파라미터에 상기 검사 특징 벡터를 적용하여, 각 검사 패치영상에 대한 로그-우도값을 계산하는 단계와;
상기 복수의 검사 패치영상들중에서 일부 패치영상들의 로그-우도값의 평균과 표준편차를 고려하여 로그-우도 임계값을 설정하는 단계와;
상기 계산된 로그-우도값을 상기 로그-우도 임계값과 비교하는 단계와;
상기 로그-우도 임계값보다 낮은 값을 갖는 패치영상을 불량으로 판단하고, 영상을 출력하는 단계를 포함하는 불균일한 텍스쳐 표면의 불량 검출방법.
청구항 15에 있어서,
상기 불량으로 판단된 패치영상을 출력하는 단계를 더 포함하는 불균일한 텍스처 표면의 불량 검출방법.
청구항 2, 청구항 4, 청구항 5 및 청구항 7 내지 청구항 16 중 어느 한 항에 있어서,
상기 검사 대상물은 솔라셀인 불균일한 텍스쳐 표면의 불량 검출방법.