KR102257734B1 - 표면 결함 검사 방법 및 표면 결함 검사 장치 - Google Patents

Abstract

본 발명의 일 실시 형태인 표면 결함 검사 장치(1)에서는, 텍스처 특징 화상 생성부(43)가, 입력 화상에 대하여 복수의 공간 필터에 의한 필터 처리를 실시함으로써 복수의 텍스처 특징 화상을 생성하고, 텍스처 특징 추출부(44)가, 입력 화상상의 각 위치에 대해서 복수의 텍스처 특징 화상의 대응하는 위치의 값을 각각 추출하여 화상 상의 각 위치에 있어서의 특징 벡터를 생성하고, 이상도 산출부(45)가, 특징 벡터의 각각에 대해서 특징 벡터가 이루는 다차원 분포에 있어서의 이상도를 산출하여, 입력 화상 상의 각 위치에 대한 이상도를 나타낸 이상도 화상을 생성하고, 결함 후보 검출부(46)가, 이상도 화상에 있어서 이상도가 소정값을 초과하는 부분을 결함부 또는 결함 후보부로서 검출한다.

Description

표면 결함 검사 방법 및 표면 결함 검사 장치

본 발명은, 표면 결함 검사 방법 및 표면 결함 검사 장치에 관한 것이다.

일반적으로, 강대(steel strip)의 제조 라인에서는, 제품 표면의 품질 보증이나 품질 관리를 위해 표면 결함의 검사가 행해지고 있다. 최근에는, 표면 결함의 검사에 있어서, 표면 결함 검사 장치의 도입이 진행되고 있어, 검사의 자동화나 생력화(省力化)가 도모되고 있다. 최근 도입되고 있는 표면 결함 검사 장치는, 주로 조명 및 카메라에 의한 광학계와 화상 처리계로 이루어지는 것이 주류가 되어 있다. 종래의 표면 결함 검사 장치에서는, 대상이 되는 표면 결함을 검출할 수 있도록, 취득한 화상에 있어서의 표면 결함부의 정상부에 대한 콘트라스트, 즉 S/N비(신호 잡음비)가 커지도록, 조명이나 카메라의 각도를 조정하는, 광학 필터를 이용하는 등의 고안을 하는 것이 일반적이다. 한편으로, 강대의 표면 결함에는 다종 다양한 형태가 있고, 그들 모두에 대해서 좋은 S/N비가 얻어지는 바와 같은 광학계는 적다.

특히, 요철이 작고, 콘트라스트가 작지만, 강대의 길이 방향으로 길기 때문에 유해도가 큰 표면 결함이 있다. 이러한 표면 결함의 일 예로서, 용융 아연 도금 강판의 모양 형상 벗겨짐 결함이 있다. 이 모양 형상 벗겨짐 결함은, 벗겨짐부라고 칭해지는 개소가 모재와 비교하여 예를 들면 도금 두께에 차이가 있거나, 합금화의 정도에 차이가 있거나 하는 것을 계기로 발생한다. 그 결과, 예를 들면 벗겨짐부의 도금 두께가 두껍고 모재에 대하여 볼록한 경우, 조질 압연을 가함으로써 템퍼부(조질 압연 롤에 의해 평탄하게 짓눌린 부분)의 면적이 비(非)템퍼부의 면적에 비해 많아진다. 한편, 벗겨짐부가 모재에 대하여 오목한 경우에는, 벗겨짐부는 조질 압연 롤에 접촉하지 않기 때문에, 비템퍼부가 대부분을 차지한다. 이 때문에, 벗겨짐부는 모재와 비교하여 현저한 요철을 갖지 않지만, 요철에 따라서 템퍼부의 비율이 상이하기 때문에 빛의 반사 특성이 바뀌고, 외관이 상이함으로써 모양 형상 벗겨짐 결함이 된다. 이 모양 형상 벗겨짐 결함은, 용융 아연 도금 강판의 길이 방향으로 가늘고 길게 발생하기 때문에, 요철은 작지만 외관상 유해해져, 검출할 필요가 발생하는 것이다.

또한, 가늘고 긴 표면 결함 이외의 검출이 곤란한 표면 결함의 예로서, 애쉬가 있다. 애쉬는 용융 아연 도금 강판에서 발생한다. 애쉬는, 아연 포트로부터 증발한 아연의 증기가 포트의 부대물에 부착된 후, 아연욕면에 낙하하여 부유함으로써 생성된 이물이 강판에 부착되어 발생하는 표면 결함으로서, 요철이 작은 모양 형상의 표면 결함이다. 애쉬의 화상은 콘트라스트가 작기 때문에, 지금까지의 표면 결함 검사 장치에서는 자동 검출하는 것이 곤란했다. 그러나, 고객선에서의 육안 검사로 애쉬가 발견되어 외관상 문제가 되는 경우가 있기 때문에, 애쉬도 검출하는 것이 필요한 표면 결함으로 되어 있다.

이들 표면 결함은, 모두 검출이 필요하지만, 콘트라스트가 작아, 종래의 기법에서는 검출이 곤란한 표면 결함이었다. 이러한 표면 결함을 검출하기 위해, 화상 처리계에서 S/N비를 향상시키는 고안도 필요해지는 경우가 많다. 강대의 표면 결함 검사 장치에 있어서의 종래의 화상 처리계에서는, 조명의 조도 불균일 등이 원인으로 발생하는 입력 화상의 휘도 불균일을 보정한 후, 소정의 문턱값과의 비교에 의해 표면 결함부를 검출하는 것이 통상이다. 또한, 정상부의 노이즈가 큰 경우에는 로우패스 필터(low-pass filter)를 적용하여 노이즈 저감을 행하거나, 미분 필터를 적용하여 표면 결함부의 엣지를 강조하거나 하는 등 하여, 표면 결함부의 S/N비를 향상하는 것이 일반적으로 행해지고 있다. 그런데, 이들 고안의 대부분은 특정의 표면 결함종이나 상황에 있어서만 효과를 갖는 경우가 적지 않다. 특히 전술한 바와 같은 길이 방향으로 긴 표면 결함과 길이 방향으로 짧은 표면 결함(작은 표면 결함)이 혼재하는 경우에는, 통상 행해지는 필터 처리에서는, 길이 방향으로 긴 표면 결함의 S/N비를 올려 감도를 올리면 길이 방향으로 짧은 표면 결함의 감도가 내려가고, 반대로 길이 방향으로 짧은 표면 결함의 감도를 올리면 길이 방향으로 긴 표면 결함의 감도가 내려간다는 문제가 있어, 동시에 S/N비를 향상시키는 것이 곤란했다.

한편, 비특허문헌 1에는, 가보 필터(Gabor filter)(가보 웨이브렛(Gabor wavelet))를 적용한 표면 결함 검사 방법이 기재되어 있다. 비특허문헌 1에 기재된 방법에서는, 검사 화상에 가보 웨이브렛을 적용하여 각 웨이브렛 계수의 통계적 해석을 행하고, 무결함의 배경 텍스처에 있어서의 각 웨이브렛 계수의 분포를 계산(추정)한 후, 계산(추정)된 분포로부터 각 웨이브렛 계수에 대한 문턱값을 자동적으로 결정하고, 각 웨이브렛 계수(화상)에 문턱값을 적용한 결과를 결합하여 표면 결함부를 배경으로부터 분리한 2값 화상을 생성한다. 또한, 비특허문헌 1에 기재된 방법은, 포지(布地)와 같은 주기적 배경을 갖는 대상에서도, 랜덤으로 비주기적인 배경을 갖는 대상에도 적용 가능하다.

Rallo et al. "Unsupervised novelty detection using Gabor filters for defect segmentation in　textures", J. Opt. Soc. Am. A, Opt. Image. Sci. Vis., 2009, Sep;26(9):1967-76.

종래의 단순한 화상과 문턱값의 비교에 의한 표면 결함 검사 방법에 의하면, S/N비가 낮은 케이스에서는, 표면 결함 신호와 노이즈를 분리할 수 없다. 즉, 표면 결함을 검출하고자 하면 노이즈를 오검출하고, 노이즈를 오검출하지 않도록 하면 표면 결함도 검출할 수 없다는 딜레마가 발생한다. 또한, 로우패스 필터 등에 의한 대책도 특정의 형태의 표면 결함이나 배경(바탕)에 있어서 효과를 갖는 경우, 다른 형태의 표면 결함이나 배경에서는 검출을 할 수 없다는 문제가 있었다. 한편, 비특허문헌 1에 기재된 표면 결함 검사 방법에서는, 강대 제품의 표면 결함으로서 자주 보이는, 강대의 길이 방향으로 가늘고 긴 선 형상의 표면 결함이 검출하기 어렵다는 문제가 있었다. 도 12(a)는 강대의 선 형상의 표면 결함의 화상예 및 화상 중의 파선부의 휘도 프로파일을 나타내고, 도 12(b)는 비특허문헌 1에 기재된 표면 결함 검사 방법으로 도 12(a)에 나타내는 표면 결함을 검출한 화상 및 화상 중의 파선부의 휘도 프로파일을 나타낸다. 도 12(b)에 나타내는 바와 같이, 비특허문헌 1에 기재된 표면 결함 검사 방법에서는, 강대의 길이 방향으로 가늘고 긴 선 형상의 표면 결함을 검출할 수는 없는 것을 알 수 있다.

본 발명은, 상기 과제를 감안하여 이루어진 것으로서, 그 목적은, 선 형상의 가늘고 긴 표면 결함에 대한 감도를 높임과 함께 선 형상의 가늘고 긴 표면 결함과 짧고 작은 표면 결함이 혼재하는 경우라도 양자를 감도 좋게 검출 가능한 표면 결함 검사 방법 및 표면 결함 검사 장치를 제공하는 것에 있다.

본 발명에 따른 표면 결함 검사 방법은, 검사 대상을 촬영하여 원화상을 취득하는 화상 입력 스텝과, 상기 원화상에 대하여 복수의 공간 필터에 의한 필터 처리를 실시함으로써 복수의 텍스처 특징 화상을 생성하는 텍스처 특징 화상 생성 스텝과, 상기 원화상 상의 각 위치에 대해서 상기 복수의 텍스처 특징 화상의 대응하는 위치의 값을 각각 추출하여 상기 원화상 상의 각 위치에 있어서의 특징 벡터를 생성하는 텍스처 특징 추출 스텝과, 상기 특징 벡터의 각각에 대해서 상기 특징 벡터가 이루는 다차원 분포에 있어서의 이상도(異常度)를 산출하고, 상기 원화상 상의 각 위치에 대한 이상도를 나타낸 이상도 화상을 생성하는 이상도 산출 스텝과, 상기 이상도 화상에 있어서 상기 이상도가 소정값을 초과하는 부분을 결함부 또는 결함 후보부로서 검출하는 검출 스텝을 포함하는 것을 특징으로 한다.

본 발명에 따른 표면 결함 검사 방법은, 상기 발명에 있어서, 상기 텍스처 특징 화상 생성 스텝은, 상기 공간 필터에 의한 필터 처리를, 상기 원화상을 축소한 화상 또는 상기 텍스처 특징 화상을 축소한 화상에 대해서도 실시함으로써, 다른 텍스처 특징 화상을 생성하는 처리를 포함하는 것을 특징으로 한다.

본 발명에 따른 표면 결함 검사 방법은, 상기 발명에 있어서, 상기 원화상 또는 상기 텍스처 특징 화상의 축소 방향이 검출 대상인 선 형상 결함과 평행한 방향인 방향을 포함하는 것을 특징으로 한다.

본 발명에 따른 표면 결함 검사 방법은, 상기 발명에 있어서, 상기 복수의 공간 필터가 웨이브렛 변환에 의해 실현되는 것을 특징으로 한다.

본 발명에 따른 표면 결함 검사 방법은, 상기 발명에 있어서, 상기 복수의 공간 필터가 가보 필터를 포함하는 것을 특징으로 한다.

본 발명에 따른 표면 결함 검사 방법은, 상기 발명에 있어서, 상기 특징 벡터가 이루는 다차원 분포에 있어서의 이상도로서 마하라노비스 거리를 이용하는 것을 특징으로 한다.

본 발명에 따른 표면 결함 검사 장치는, 검사 대상을 촬영하는 촬상 수단과, 상기 촬상 수단이 촬상한 상기 검사 대상의 원화상을 취득하는 화상 입력 수단과, 상기 원화상에 대하여 복수의 공간 필터에 의한 필터 처리를 실시함으로써 복수의 텍스처 특징 화상을 생성하는 텍스처 특징 화상 생성 수단과, 상기 원화상 상의 각 위치에 대해서 상기 복수의 특징 화상의 대응하는 위치의 값을 각각 추출하여 상기 원화상 상의 각 위치에 있어서의 특징 벡터를 생성하는 텍스처 특징 추출 수단과, 상기 특징 벡터의 각각에 대해서 상기 특징 벡터가 이루는 다차원 분포에 있어서의 이상도를 산출하여, 상기 원화상 상의 각 위치에 대한 이상도를 나타낸 이상도 화상을 생성하는 이상도 산출 수단과, 상기 이상도 화상에 있어서 상기 이상도가 소정값을 초과하는 부분을 결함부 또는 결함 후보부로서 검출하는 검출 수단을 구비하는 것을 특징으로 한다.

본 발명에 따른 표면 결함 검사 방법 및 표면 결함 검사 장치에 의하면, 선 형상의 가늘고 긴 표면 결함에 대한 감도를 높임과 함께 선 형상의 가늘고 긴 표면 결함과 짧고 작은 표면 결함이 혼재하는 경우라도 양자를 감도 좋게 검출할 수 있다.

도 1은, 본 발명의 일 실시 형태인 표면 결함 검사 장치의 구성을 나타내는 개략도이다.
도 2는, 본 발명의 일 실시 형태인 표면 결함 검사 처리의 흐름을 나타내는 플로우 차트이다.
도 3은, 입력 화상에 대한 전(前)처리의 흐름을 나타내는 플로우 차트이다.
도 4는, 보정 화상에 대한 결함 검출 처리의 흐름을 나타내는 플로우 차트이다.
도 5는, 3차원 공간에 플롯한 가보 함수의 일 예를 나타내는 도면이다.
도 6은, 본 발명의 실시 형태에 있어서의 가보 필터 처리를 나타내는 블록 선도이다.
도 7은, 본 발명의 실시 형태에 있어서의 가보 필터 처리의 변형예를 나타내는 블록선도이다.
도 8은, 2차원의 주성분 분석의 일 예를 나타내는 도면이다.
도 9는, 결함 판정 처리의 흐름을 나타내는 플로우 차트이다.
도 10은, 강대 표면을 촬영한 화상예를 나타내는 도면이다.
도 11은, 도 10에 나타내는 화상에 대하여 본 발명의 결함 검출 처리를 적용한 실시예를 나타내는 도면이다.
도 12는, 강대의 선 형상의 표면 결함의 화상예, 비특허문헌 1에 기재된 표면 결함 검사 방법으로 표면 결함을 검출한 결과 및, 본 발명의 결함 검출 처리로 표면 결함을 검출한 결과를 나타내는 도면이다.

(발명을 실시하기 위한 형태)

이하, 도면을 참조하여, 본 발명의 일 실시 형태인 표면 결함 검사 장치의 구성 및 이 표면 결함 검사 장치를 이용한 표면 결함 검사 방법에 대해서 설명한다.

〔구성〕

도 1은, 본 발명의 일 실시 형태인 표면 결함 검사 장치의 구성을 나타내는 개략도이다. 도 1에 나타내는 바와 같이, 본 발명의 일 실시 형태인 표면 결함 검사 장치(1)는, 조명 장치(2)와, 촬상 장치(3)와, 화상 처리 장치(4)와, 표시 장치(5)를 구비하고 있다.

조명 장치(2)는, 표면 결함 검사 장치(1)의 검사 대상인 강대(S)의 표면을 조명한다.

촬상 장치(3)는, 조명 장치(2)에 의해 조명된 강대(S) 상의 부위를 촬영하고, 얻어진 강대(S) 표면의 화상(원화상)의 데이터를 화상 처리 장치(4)에 전송한다. 촬상 장치(3)는, 1차원 촬상 소자를 갖는 소위 라인 센서 카메라 또는 2차원 촬상 소자를 갖는 소위 에어리어 카메라 중 어느 것이라도 좋지만, 어느 경우에도 강대(S)의 반송에 동기하여 촬상이 행해진다. 촬상 장치(3)가 라인 센서 카메라인 경우, 조명 장치(2)로서 연속 점등 조명이 이용된다. 촬상 장치(3)가 에어리어 카메라인 경우에는, 조명 장치(2)로서 강대(S)가 일정 거리 나아갈 때마다 섬광을 발하는 플래시 조명이 이용된다.

화상 처리 장치(4)는, 촬상 장치(3)로부터 전송된 강대(S) 표면의 화상의 데이터를 해석하여 강대(S) 표면에 표면 결함이 있으면 그들을 검출하고, 또한, 그들 표면 결함의 종별이나 유해도를 판정하여, 그 정보를 표시 장치(5)에 출력한다.

화상 처리 장치(4)는, 화상 입력부(41), 화상 보정부(42), 텍스처 특징 화상 생성부(43), 텍스처 특징 추출부(44), 이상도 산출부(45) 및, 결함 후보 검출부(46)를 내부에 구비하고 있다. 또한, 화상 처리 장치(4)는, 필요에 따라서, 결함 특징 산출부(47) 및 결함 판정부(48)를 내부에 구비하고 있다.

화상 입력부(41)는, 내부에 일시 기억 영역을 갖고, 촬상 장치(3)로부터 전송된 강대(S) 표면의 화상의 데이터를 순차로 일시 기억 영역에 버퍼링한다.

화상 보정부(42)는, 화상 입력부(41)의 일시 기억 영역으로부터 화상의 데이터를 순차로 읽어내고, 읽어낸 화상의 데이터에 대하여 보정 처리를 행함으로써 보정 화상을 생성한다. 보정 처리에서는, 화상 보정부(42)는, 우선 화상 중에 강대(S)의 양쪽 또는 다른 한쪽의 엣지가 포함되는 경우, 그 엣지 위치를 검출하여, 강대(S)의 엣지의 외측에 상당하는 화상 영역을 검사 대상 외 영역으로 설정함과 함께, 예를 들면 엣지 위치를 경계로 한 강판(S)의 내부 영역의 경상(鏡像)으로 검사 대상 외 영역을 메운다. 다음으로, 화상 보정부(42)는, 조명 장치(2)의 조도 불균일 등에 기인하는 강대(S)의 화상에 있어서의 휘도 불균일을 보정(쉐이딩 보정)하여, 화상 전체의 밝기가 균일해지도록 한다.

텍스처 특징 화상 생성부(43)는, 보정 화상에 대하여 복수의 공간 필터 처리를 실시하여 화상 중의 각 위치에 있어서의 국소적인 모양(텍스처)의 특징(국소적인 주파수 특성)을 나타내는 각 공간 필터에 대응하는 특징 화상(이하에서는 특히 텍스처 특징 화상이라고 하는 경우가 있음)을 복수 생성한다. 여기에서 말하는 공간 필터는, 입력 화상의 대응하는 화소와 그 주위의 화소값을 이용하여 출력 화상을 생성하는 처리이다. 특히 통과 파장역이나 통과하는 신호의 파형의 방향을 바꾼 복수의 공간 필터를 이용하면 좋다.

텍스처 특징 추출부(44)는, 텍스처 특징 화상 생성부(43)에 의해 생성된 복수의 텍스처 특징 화상으로부터 입력 화상 또는 보정 화상 상의 각 위치에 대응한 위치의 값을 추출하여, 화상 상의 각 위치의 텍스처 특징 벡터를 추출한다. 텍스처 특징 벡터의 수는 화상 중의 전체 화소수이고, 텍스처 특징 벡터의 차원은 텍스처 특징 화상의 수와 일치한다.

이상도 산출부(45)는, 텍스처 특징 추출부(44)에서 추출된 복수의 텍스처 특징 벡터가 이루는 다차원 공간에서의 분포를 해석하여, 각 텍스처 특징 벡터의 이상도를 산출한다. 그리고, 이상도 산출부(45)는, 산출된 각 텍스처 특징 벡터의 이상도를 대응하는 화상 상의 위치에 매핑하여, 이상도 화상을 생성한다.

결함 후보 검출부(46)는, 이상도 산출부(45)에 의해 생성된 이상도 화상에 대하여 소정의 이상도를 문턱값으로 하여 2값화를 행하고, 이상도가 소정의 문턱값 이상이 되는 화소가 연속하여 연결되는 화상 영역을 결함부 또는 결함 후보로 하여 검출한다(라벨링). 또한, 결함 후보 검출부(46)는, 검출된 결함 후보 중, 면적이 지나치게 작은 것 등, 유해 결함이 아니라고 간주할 수 있는 결함 후보를 제외하는 처리나, 검출 위치가 가까운 복수의 결함 후보를 통합하여 하나의 결함 후보로서 연결하는 처리를 행해도 좋다.

결함 특징 산출부(47)는, 결함 후보 검출부(46)에 의해 검출된 각 결함 후보에 대해서, 결함 특징량을 산출한다. 결함 특징량은, 보정 화상으로부터 결함 후보의 영역 부분을 잘라낸 결함부 농담 화상 및, 동일하게 이상도 화상으로부터 결함 후보의 영역 부분을 잘라낸 결함부 이상도 화상을 이용하여 산출된다.

결함 판정부(48)는, 결함 특징 산출부(47)에 의해 산출된 결함 특징량에 기초하여, 각 결함 후보의 결함 종별 및 유해도를 판정한다.

표시 장치(5)는, 화상 처리 장치(4)에 의해 검출된 표면 결함에 대한 검출 정보(표면 결함부의 화상이나 표면 결함의 위치), 판정 정보(종별, 유해도), 통계 정보(강대(S) 전체에 대한 또는 결함 종별이나 유해도별의 결함 총수, 발생률 등) 등을 표시한다.

〔표면 결함 검사 처리〕

다음으로, 도 2∼도 6을 참조하여, 본 발명의 일 실시 형태인 표면 결함 검사 처리의 흐름에 대해서 상세하게 설명한다.

도 2는, 본 발명의 일 실시 형태인 표면 결함 검사 처리의 흐름을 나타내는 플로우 차트이다. 표면 결함 검사 장치(1)는, 표면 결함 검사 개시 지령을 받으면 촬상 장치(3)에 의한 강대(S) 표면의 촬상을 개시하고, 촬상된 화상(이하, 입력 화상이라고 표기)의 데이터는 화상 처리 장치(4)의 화상 입력부(41) 내의 일시 기억 영역에 순차로 버퍼링된다.

도 2에 나타내는 바와 같이, 표면 결함 검사 개시 후, 화상 처리 장치(4)는, 화상 입력부(41) 내의 일시 기억 영역에 미처리의 입력 화상의 데이터가 있는지 아닌지를 판별한다(스텝 S1). 라인 센서 카메라의 경우는, 소정의 라인수까지 화상의 데이터가 버퍼링될 때까지는 미처리의 입력 화상의 데이터가 없다고 판단한다. 판별의 결과, 미처리의 입력 화상의 데이터가 없는 경우(스텝 S1: No), 화상 처리 장치(4)는 새로운 화상의 데이터가 입력될 때까지 대기한다. 한편, 미처리의 입력 화상의 데이터가 있는 경우에는(스텝 S1: Yes), 화상 처리 장치(4)는, 전처리(스텝 S2), 결함 검출 처리(스텝 S3) 및, 결함 판정 처리(스텝 S4)를 순차로 실행한다. 다음으로, 화상 처리 장치(4)는, 표면 결함 검사 종료 지시가 나와 있는지 아닌지를 판별한다(스텝 S5). 그리고, 판별의 결과, 표면 결함 검사 종료 지시가 나와 있는 경우(스텝 S5: Yes), 화상 처리 장치(4)는 표면 결함 검사를 종료한다. 한편, 표면 결함 검사 종료 지시가 나와 있지 않은 경우에는(스텝 S5: No), 화상 처리 장치(4)는, 스텝 S1의 처리로 되돌아와, 표면 결함 검사 처리를 속행한다.

[전처리]

다음으로, 도 3을 참조하여, 상기 전처리(스텝 S2)에 대해서 설명한다.

도 3은, 입력 화상에 대한 전처리의 흐름을 나타내는 플로우 차트이다. 도 3에 나타내는 바와 같이, 전처리는, 엣지 검출 스텝(S21), 엣지 외부 보정 스텝(S22) 및, 쉐이딩 보정 스텝(S23)을 포함하고 있다. 이들 처리는 화상 보정부(42)에서 실행된다.

엣지 검출 스텝(S21)에서는, 화상 보정부(42)가, 입력 화상(I)(x, y)으로부터 강대(S)의 엣지 위치를 검출한다. 여기에서, x는 강대(S)의 폭방향에 대응하는 화소 좌표, y는 강대(S)의 길이 방향에 대응하는 화소 좌표이고, x＝0, 1, …, n_x－1, y＝0, 1, …, n_y－1로 한다. 여기에서, n_x는 화상의 x방향의 사이즈, n_y는 y방향의 사이즈이다.

엣지 외부 보정 스텝(S22)에서는, 화상 보정부(42)가, 강대(S)의 엣지의 외측을 검사 처리 대상 외 영역으로서 지정함과 함께, 예를 들면 엣지 내측의 영역의 값을 경상으로 검사 처리 대상 외 영역에 보충함으로써 엣지부가 검출되지 않도록 무해화한 엣지 외부 보정 화상(I_E)(x, y)을 생성한다.

쉐이딩 보정 스텝(S23)에서는, 화상 보정부(42)가, 엣지 외부 보정 화상(I_E)(x, y)의 휘도 불균일을 보정(쉐이딩 보정)하여 화상 전체의 밝기를 균일화한 보정 화상(I_C)(x, y)을 계산한다. 쉐이딩 보정 처리에서는, 예를 들면 1차원의 휘도의 이동 평균값을 원래의 화상의 휘도로부터 빼고 이동 평균값으로 나누어 규격화해도 좋고, 이를 x방향 및 y방향의 양방향으로 한 2차원의 휘도의 이동 평균값으로 해도 좋다. 또한, 휘도의 이동 평균값을 대신하여 임의의 로우패스 필터를 이용해도 좋다. 또한, 간편한 방법으로서는, 휘도의 차분을 이용해도 좋고, 나아가서는 거기에 등가인 하이패스 필터를 이용해도 좋다.

또한, 이상의 일련의 전처리에 있어서, 입력 화상(I)(x, y)의 상태에 따라서 엣지 검출 처리 스텝(S21), 엣지 외부 보정 스텝(S22) 및, 쉐이딩 보정 스텝(S23)을 실시하는지 아닌지는 적절히 선택되어도 좋고, 예를 들면 어느 스텝도 실시하지 않는 경우는 보정 화상(I_C)(x, y)＝입력 화상(I)(x, y)이 된다.

[결함 검출 처리]

다음으로, 도 4∼도 6을 참조하여, 상기 결함 검출 처리(스텝 S3)에 대해서 설명한다.

도 4는, 보정 화상에 대한 결함 검출 처리의 흐름을 나타내는 플로우 차트이다. 도 4에 나타내는 바와 같이, 결함 검출 처리는, 텍스처 특징 화상 생성 스텝(S31), 텍스처 특징 추출 스텝(S32), 이상도 산출 스텝(S33) 및, 결함 후보 검출 스텝(S34)을 포함하고 있다.

텍스처 특징 화상 생성 스텝(S31)에서는, 텍스처 특징 화상 생성부(43)가, 보정 화상(I_C)(x, y)에 대하여 복수의 필터 처리를 실시하여 텍스처 특징 화상(F_j)(x, y)(j＝0, 1, 2, …, N_T－1)을 생성한다. 여기에서, N_T는 공간 필터의 수이다. 본 실시 형태에서는 공간 필터로서, 가보(Gabor) 필터를 이용한다. 가보 필터는 이하의 수식 (1)에 의해 나타나는 가보 함수를 이용한 선형 필터이다.

수식 (1)은, 가보 필터의 일반식을 나타내고, 정현파에 가우스형의 감쇠 함수를 곱셈한 형식으로 되어 있다. 수식 (1)에 있어서, λ는 정현파의 파장, θ는 가보 함수의 줄무늬 모양의 방향, a는 파장의 확장(가우스 함수의 밴드폭)을 나타내고 있다. 또한, b는, 공간 애스펙트비를 나타내고, 가보 함수의 서포트의 타원율을 나타내고 있다. 또한, i는 허수 단위이다. 도 5(a), (b)는, 수식 (1)에 있어서 λ＝8, θ＝120°, a＝0.125, b＝1.5로 한 가보 함수 Gabor(x, y:a, b, λ, θ)를 3차원 공간에 플롯한 도면이다. 도 5(a), (b)에 나타내는 바와 같이, 가보 함수 Gabor(x, y:a, b, λ, θ)는, 가우스 함수를 창 함수로 하여 무한히 확장되는 정현파를 절취한 형태를 하고 있다. a, b, θ를 임의로 바꿈으로써 가보 함수의 방향, 파(wave)의 방향 및, 감쇠율을 바꿀 수 있다.

화상 해석에서는, 수식 (1)에 나타내는 가보 함수를 공간 필터로서 이용하지만, 특히 b＝1, a＝1/λ로 한 이하의 수식 (2)에 나타내는 가보 함수를 이용하는 경우가 있다. 그래서, 이하에서는 수식 (2)에 기초하여 설명한다.

가보 필터를 화상에 합성곱 연산함으로써, 파장(λ)(화소) 및 파의 방향(θ)의 국소적 주파수 성분을 추출할 수 있다. 또한, 파라미터(λ 및 θ)를 여러 가지로 변화시키고, 나아가서는 x방향 및 y방향의 스케일을 여러 가지로 변화시킴(예를 들면 x를 x/4로 치환하면, x방향의 확장을 4배 크게 하게 됨)으로써, 거기에 대응한 화상의 국소적 주파수 성분을 추출할 수 있다. 한편, 실용적인 계산에 있어서 가보 필터의 확장을 크게 하면 합성곱 연산의 계산 시간이 증대해 버린다. 이 때문에, 이하에 설명하는 바와 같이 가보 필터의 확장을 크게 하는 대신에, 다운 샘플링하여 화상을 축소하는 수법을 이용하면 좋다. 단, 앨리어싱을 방지하기 위해, 피(被)필터링 화상에 미리 로우패스 필터를 적용해 두는 것이 바람직하다.

도 6은, 본 발명의 실시 형태에 있어서의 가보 필터 처리를 나타내는 블록선도이다. 도 6에 있어서, G_q(x, y)(q＝0, 1, 2, 3) 및 H_s(x, y)(s＝0, 1, 2)는, 이하의 수식 (3)∼(6)에 나타내는 정의에 따른 k_x×k_y 화소의 필터 계수 행렬이고, 가보 필터를 화상에 합성곱 연산하여 적용하는 것을 의미한다. 단, 필터 계수 행렬의 중앙의 좌표 (x, y)는 (0, 0)으로 한다. 또한, 이하에 나타내는 수식 (3), (5)에서는 λ＝4, 이하에 나타내는 수식 (4), (6)에서는 λ＝4/√2로 하고 있지만, 이는 샘플링 정리(定理)(λ≥2) 및 검출하고 싶은 대상의 신호의 해당하는 방향의 공간 주파수로부터 결정한다.

수식 (3)∼(6)에 나타내는 정의에 있어서는, k_x＝k_y＝11이 적합하다. 이는, 도 5(a)에 나타내는 가보 함수에 있어서의 파의 진행 방향(θ(＝120°) 방향)의 파의 수가 2.5주기 이상을 포함하는 것에 의한다. 이 조건을 충족하기 위해서는, 보다 정확하게는 k_x/(λcosθ)＞2.5, 또한, k_y/(λsinθ)＞2.5라는 조건을 충족할 필요가 있다. 또한, 이때, 수식 (2)의 제1항의 감쇠가 중앙의 10％ 이하로 되어 있고, 가보 필터에 의해 공간적으로 국재(局在)한 신호를 추출할 수 있다.

또한, 도 6에 있어서, LP는 xy의 2차원 방향, LPY는 y방향의 로우패스 필터이고, 예를 들면 이하의 수식 (7), (8)에 나타내는 정의에 따른 필터 행렬을 화상에 적용하는 것을 의미한다. 로우패스 필터(LPY)는 y방향 4점의 이동 평균이 되는 방향으로 합성곱 연산된다. 로우패스 필터(LP, LPY)는 후술하는 다운 샘플링할 때의 앨리어싱을 방지하는 필터로서 설계되어 있다. 앨리어싱을 방지할 수 있으면 반드시 이하의 수식 (7), (8)에 나타내는 로우패스 필터가 아니라도 상관없다.

상기의 2개의 로우패스 필터(LP, LPY)를 화상에 합성곱 연산할 때는, 화상 경계의 외측은 경상이라고 가정하여 계산이 행해진다. 또한, 도 6에 있어서 「X2, Y2」라고 표기한 블록은, 화상의 X방향 및 Y방향으로 각각 2화소 간격으로 추출하여, 화상 사이즈를 X방향 및 Y방향으로 각각 1/2로 하는 다운 샘플링 처리를 나타낸다. 또한, 「Y4」라고 표기한 블록은, Y방향만 4화소 간격으로 추출하여, 화상 사이즈를 Y방향으로 1/4로 하는 다운 샘플링 처리를 나타낸다. 이하, 도 6에 나타내는 블록선도에 따른 일련의 가보 필터 처리에 대해서 설명한다.

우선, 텍스처 특징 화상 생성부(43)는, 초기 화상을 I₀(x, y)＝I_C(x, y)로 한다. 다음으로, 텍스처 특징 화상 생성부(43)는, 초기 화상 I₀(x, y)에 대하여 순차로 로우패스 필터(LP)와 「X2, Y2」형의 다운 샘플링을 실행하여 축소 화상 I_p(p＝1, 2, 3)(x, y)를 계산한다. I_p(x, y)는, 로우패스 필터(LP)와 「X2, Y2」형의 다운 샘플링을 p회 행한 축소 화상이다. 또한, 텍스처 특징 화상 생성부(43)는, 초기 화상을 포함하는 축소 화상 I_p(x, y)(p＝0, 1, 2, 3)의 각각에 대하여, 4종류의 가보 필터 G_q(x, y)(q＝0, 1, 2, 3)를 각각 합성곱 연산하여, 특징 화상 I_pq(x, y)(p＝0, 1, 2, 3, q＝0, 1, 2, 3)를 계산한다.

이 단계에서 합계 16종류의 특징 화상 I_pq(x, y)가 얻어지지만, 특징 화상 I_pq(x, y)는 가보 필터의 정의식(수식 (1))보다 복소수이기 때문에 실부 화상과 허부 화상으로 분해하면 합계 32종류의 특징 화상이 얻어진다. 이 때문에, 이들을 텍스처 특징 화상 F_j(x, y)(j＝0, 1, 2, …, 31, 즉 N_T＝32)로 한다. 단, p≥1의 경우의 특징 화상 I_pq(x, y)는 다운 샘플링에 의해 축소되어 있기 때문에, 초기 화상 I₀(x, y)과 동일한 사이즈로 확대하여 텍스처 특징 화상으로 한다. 확대 방법으로서는, 선형 보간, 가장 근방의 화소와 동일한 값으로 하는 수법, 특징 화상 I_pq(x, y)의 각 화소의 값과 동일한 값을 다운 샘플링된 방향, 수만큼 카피하여 메우는 수법이라도 상관없다.

이 연산에 의해, 공간 주파수가 상이한 공간 필터와 공간 필터의 파형의 방향이 상이한 공간 필터를 조합하여 원래 화상에 가할 수 있다. 특히, 다운 샘플링하고 나서 원래 공간 필터를 연산함으로써, 적은 계산량으로 원래 화상에 대하여 공간 주파수가 큰 공간 필터를 가한 경우와 동일한 효과가 얻어진다. 이상의 처리에 의해 얻어지는 32종류의 텍스처 특징 화상 F_j(x, y)(j＝0, 2, …, 31)를 이용해도 좋지만, 추가로 도 6에 있어서의 점선으로 둘러싸인 「선 형상 결함용 확장 처리」를 실행함으로써, 강대(S)의 흐름 방향으로 가늘고 긴 결함에 대한 검출 감도를 높일 수 있다. 「선 형상 결함용 확장 처리」는 축소 화상 I_p(x, y)(p＝0, 1, 2, 3)를 계산한 후, 다음과 같이 실행한다.

우선, 텍스처 특징 화상 생성부(43)는, 화상 I₀(x, y)에 대하여 「Y4」형의 다운 샘플링을 실시함으로써 생성된 화상J₀(x, y)에 대하여, 3종류의 가보 필터 H_s(x, y)(s＝0, 1, 2)를 각각 합성곱 연산하여 특징 화상 J_0s(x, y)(s＝0, 1, 2)를 계산한다. 또한, 텍스처 특징 화상 생성부(43)는, 화상 J₀(x, y)에 대하여 「Y4」형의 다운 샘플링을 실시함으로써 생성된 화상 J₁(x, y)에 대하여, 3종류의 가보 필터 H_s(x, y)(s＝0, 1, 2)를 각각 합성곱 연산하여 특징 화상 J1_s(x, y)(s＝0, 1, 2)를 계산한다. 또한, 텍스처 특징 화상 생성부(43)는, 화상 J₁(x, y)에 대하여 「Y4」형의 다운 샘플링을 실시함으로써 생성된 화상 J₂(x, y)에 대하여, 3종류의 가보 필터 H_s(x, y)(s＝0, 1, 2)를 각각 합성곱 연산하여 특징 화상 J_2s(x, y)(s＝0, 1, 2)를 계산한다.

다음으로, 텍스처 특징 화상 생성부(43)는, 화상 I₁(x, y)에 대하여 「Y4」형의 다운 샘플링을 실시함으로써 생성된 화상 J₃(x, y)에 대하여, 3종류의 가보 필터 H_s(x, y)(s＝0, 1, 2)를 각각 합성곱 연산하여 특징 화상 J_3s(x, y)(s＝0, 1, 2)를 계산한다. 또한, 텍스처 특징 화상 생성부(43)는, 화상 J₃(x, y)에 대하여 추가로 「Y4」형의 다운 샘플링을 실시함으로써 생성된 화상 J₄(x, y)에 대하여, 3종류의 가보 필터 H_s(x, y)(s＝0, 1, 2)를 각각 합성곱 연산하여 특징 화상 J_4s(x, y)(s＝0, 1, 2)를 계산한다. 다음으로, 텍스처 특징 화상 생성부(43)는, 화상 I₂(x, y)에 대하여 「Y4」형의 다운 샘플링을 실시함으로써 생성된 화상 J₅(x, y)에 대하여, 3종류의 가보 필터 H_s(x, y)(s＝0, 1, 2)를 각각 합성곱 연산하여 특징 화상 J_5s(x, y)(s＝0, 1, 2)를 계산한다. 또한, 텍스처 특징 화상 생성부(43)는, 화상 J₅(x, y)에 대하여 추가로 「Y4」형의 다운 샘플링을 실시함으로써 생성된 화상 J₆(x, y)에 대하여, 3종류의 가보 필터 H_s(x, y)(s＝0, 1, 2)를 각각 합성곱 연산하여 특징 화상 J_6s(x, y)(s＝0, 1, 2)를 계산한다.

다음으로, 텍스처 특징 화상 생성부(43)는, 화상 I₃(x, y)에 대하여 「Y4」형의 다운 샘플링을 실시함으로써 생성된 화상 J₇(x, y)에 대하여, 3종류의 가보 필터 H_s(x, y)(s＝0, 1, 2)를 각각 합성곱 연산하여 특징 화상 J_7s(x, y)(s＝0, 1, 2)를 계산한다. 이상의 연산에 의해, Y방향으로 보다 긴 공간 주파수의 공간 필터를 가하는 것이 가능하게 되어, Y방향으로 긴 표면 결함에 대한 S/N비를 올릴 수 있다. S/N비를 올리는 방향을 Y방향으로 긴 표면 결함이 발생하는 방향, 즉, 강대(S)의 제조 공정에서는 강대(S)의 길이 방향으로 함으로써 긴 표면 결함의 검출이 용이해지는 메리트가 있다.

이상에 의해, 새롭게 32종류의 특징 화상 J_rs(x, y)(r＝0, 1, …, 7, s＝0, 1, 2)가 얻어진다. 먼저 얻어진 16종류의 특징 화상 I_pq와 새롭게 얻어진 32종류의 특징 화상 J_rs를 합한 전체 특징 화상 중, 도 6에 있어서 종단(終端)이 되어 있는 특징 화상 I_pq(x, y)(p＝0, 1, 2, 3, q＝1, 2, 3), J₀₀(x, y), J₀₂(x, y), J₁₀(x, y), J₁₂(x, y), J₂₀(x, y), J₂₁(x, y), J₂₂(x, y), J₃₀(x, y), J₃₂(x, y), J₄₀(x, y), J₄₁(x, y), J₄₂(x, y), J₅₀(x, y), J₅₂(x, y), J₆₀(x, y), J₆₁(x, y), J₆₂(x, y), J₇₀(x, y), J₇₁(x, y), J₇₂(x, y)의 합계 32종류를 실부 화상과 허부 화상으로 분해하여 얻어지는 64종류의 특징 화상을 텍스처 특징 화상 F_j(x, y)(j＝0, 1, 2, …, 64, 즉 N_T＝64)로 한다.

단, 「선 형상 결함용 확장 처리」를 행하지 않는 경우와 동일하게, 특징 화상 J_rs(x, y)도 다운 샘플링 처리에 의해 축소되어 있기 때문에, 초기 화상 I₀(x, y)과 동일한 사이즈로 확대하여 텍스처 특징 화상으로 한다. 또한, j의 값과 각 특징 화상의 대응은 임의로 결정해도 상관없지만 여기에서는 편의적으로 전술한 특징 화상을 I, J의 각각 첨자가 작은 것부터 실부, 허부의 순으로 I₀₀(x, y)의 실부＝0, I₀₀(x, y)의 허부＝1, I₀₁(x, y)의 실부＝2, …, J₀₀(x, y)의 실부＝25, …, J₇₂(x, y)의 허부＝64로 나타낸다.

본 알고리즘에서는, I₀₁(x, y), I₀₂(x, y), I₀₃(x, y), I₁₁(x, y), I₁₂(x, y), I₁₃(x, y), I₂₁(x, y), I₂₂(x, y), I₂₃(x, y), I₃₁(x, y), I₃₂(x, y), I₃₃(x, y)의 12종류에 J₀₀(x, y), J₀₂(x, y), J₁₀(x, y), J₁₂(x, y), J₂₀(x, y), J₂₁(x, y), J₂₂(x, y), J₃₀(x, y), J₃₂(x, y), J₄₀(x, y), J₄₁(x, y), J₄₂(x, y), J₅₀(x, y), J₅₂(x, y), J₆₀(x, y), J₆₁(x, y), J₆₂(x, y), J₇₀(x, y), J₇₁(x, y), J₇₂(x, y)의 20종류를 더한 32종류를 실부와 허부의 화상으로 분해하여 얻어지는 64종류의 텍스처 특징 화상 F_j(x, y)(j＝0, 1, 2, …, 63)를 이용하고 있다. I₀₀(x, y), I₁₀(x, y), I₂₀(x, y), I₃₀(x, y)을 더한 68종류의 텍스처 특징 화상을 이용해도 좋지만, I₀₀(x, y), I₁₀(x, y), I₂₀(x, y), I₃₀(x, y)의 필터를 고속 푸리에 변환(FFT)한 주파수 영역에서의 통과역이 J_xx(x, y)의 필터로 커버되어 있기 때문에 생략이 가능하게 되어 있다. 64종류로 한정함으로써, 단순히 계산량이 적어질 뿐만 아니라, 2의 6승의 화상을 이용하기 때문에 후의 계산에서 숫자를 취급하기 쉬운 메리트가 있다.

또한, 텍스처 특징 화상 생성 스텝 S4에 있어서의 실시 형태는 상기에 한정되지 않고, 다른 임의의 공간 필터군을 이용할 수 있다. 예를 들면 2차원의 웨이브렛 변환이나 웨이브렛 패킷 변환을 적용하는 것이 가능하고, 가장 간단한 것은 Haar 웨이브렛이다. 그 밖에도 미분 필터나 엣지 추출 필터, DoG(Difference of Gaussian) 필터, LoG(Laplacian of Gaussian) 필터 등을 이용하거나, 그들을 조합하여 이용하거나 해도 좋다.

또한, 전술한 바와 같이 다운 샘플링 전의 안티 앨리어싱 필터는 전술한 공간 필터가 아니라도 상관없다. 텍스처 특징 화상을 구하기 위해 이용하는 가보 필터를 사용함으로써 계산량을 삭감할 수 있는 메리트가 있다. 도 7은 그 흐름을 나타낸 도면이고, 로우패스 필터(LPY)의 필터를 대신하여 G₀의 공간 필터를 이용하고 있다.

다음으로, 텍스처 특징 추출 스텝 S32에서는, 텍스처 특징 추출부(44)가, 각 화소에 있어서의 텍스처 특징 벡터를 추출한다. 특징 화상 F_j(x, y)＝{f_j(x, y)}(f_j(x, y)는 좌표 x, y에 있어서의 특징 화상 F_j(x, y)의 값을 나타냄)에 대하여, 이하의 수식 (9)에 나타내는 바와 같이 x, y의 조를 다른 인덱스(i)로 치환하고, 이하의 수식 (10)에 나타내는 바와 같이 F_j'＝{f_i,j}; j＝0, 2, …, N_T－1로 특징 벡터를 정의할 수 있다. 여기에서, i는 입력 화상(보정 화상)의 화소(x, y)에 할당된 유니크한 인덱스이고, 예를 들면 i＝n_x×y＋x라고 정의되고, i＝0, 1, 2, …, n_x×n_y－1이다. 또한, f_i,j＝f_j(x, y)이다.

다음으로, 이상도 산출 스텝 S33에서는, 이상도 산출부(45)가, 텍스처 특징 추출 스텝 S32에서 추출한 텍스처 특징 벡터의 N_T차원 공간에서의 분포를 통계적으로 해석하여, 입력 화상(보정 화상)의 각 화소에 있어서의 이상도를 산출하고, 이상도 화상을 생성한다. 이상도로서는 예를 들면 마하라노비스 거리(Mahalanobis distance)를 이용한다. 구체적으로는, 우선, 이상도 산출부(45)는, 이하의 수식 (11)에 나타내는 바와 같이, 특징 벡터 F_j를 행벡터로 하고 그것을 열 방향으로 나열한 행렬 F를 준비한다.

이에 대하여, 이상도 산출부(45)는, 이하의 수식 (12)에 나타내는 m_j를 계산한다. 수식 (12) 중의 Σ는 전체 화소에 대한 합을 나타내고, m_j는 행렬 F의 전체 화소에 대한 평균이다.

다음으로, 이상도 산출부(45)는, 이하의 수식 (13)에 나타내는 바와 같이 행렬 F로부터 평균 m_j를 뺀 행렬 Z(＝{z_i,j})를 구한다.

여기에서, 이하의 수식 (14)에 나타내는 바와 같이, 이상도 산출부(45)는, 분산 공분산 행렬 C＝{c_j1,j2}(j1, j2＝0, 1, 2, …, N_T－1)를 z_i,j로부터 산출한다.

다음으로, 이상도 산출부(45)는, 이하의 수식 (15)에 나타내는 바와 같이 마하라노비스 거리 D_i(정확하게는 마하라노비스 거리의 2승이지만, 간단히 마하라노비스 거리라고 칭하기로 함)를 산출한다.

단, W＝{w_i,j}는 연립 방정식 WC＝Z의 해(解), 즉 W＝ZC^-1이다. 그리고 마지막으로, 이상도 산출부(45)는, 인덱스(i)로부터 마하라노비스 거리(D_i)를 좌표(x, y)에 다시 매핑하여 이상도 화상 D(x, y)＝D_i(i＝x＋n_x×y)를 얻는다.

또한, 이 마하라노비스 거리를 구하는 계산은, 이하의 조작과 등가이다. 즉, N_T매의 특징 화상 F_j(x, y)를 좌표마다 보면, f₁(x, y), f₂(x, y), …, f_NT(x, y)의 N_T차원의 값을 갖고 있는 것을 알 수 있다. 이를 p(x, y)＝(f₁(x, y), f₂(x, y), …, f_NT(x, y))와 N_T차원 공간의 점으로서 나타낼 수 있다. 이와 같이 화상 상의 전체 화소를 N_T차원 공간에 플롯한다. 플롯한 집합을 편차에 대해서 규격화하고, 그 규격화된 공간에서 원점으로부터의 거리를 구한 것이 마하라노비스 거리이다.

편차에 대한 규격화는, 편차가 큰 방향으로부터 순서로 직교하는 기저를 취하고, 각 기저 방향으로의 편차인 표준 편차를 구하여, 각 기저 방향의 성분을 이 표준 편차로 나눔으로써 이루어진다. 이는, 소위 주성분 분석의 수법과 동일해진다. 도 8에 2차원의 주성분 분석의 일 예를 나타냈다. 도 8에 나타내는 주성분 분석에서는, 편차가 큰 방향으로부터 순서로 직교하는 제1 주성분 및 제2 주성분을 취하고, 각 주성분의 편차를 구하여, 각 주성분 방향의 성분을 편차로 나눔으로써, 편차에 대한 규격화가 이루어진다. 도 8 중, O가 원점, D가 마하라노비스 거리, P가 화소를 나타내고 있다.

다음으로, 결함 후보 검출 스텝 S34에서는, 결함 후보 검출부(46)가, 문턱값(D_thr)에 의해 이상도 화상 D(x, y)를 2값화하여, D(x, y)≥D_thr 되는 화소의 연결 영역을 결함부 또는 결함 후보로서 검출한다. 또한, 본 스텝에 있어서, 결함 후보 검출부(46)는, 연결 영역의 면적이나 연결 영역 내에서의 이상도의 최댓값에 대하여 제약을 형성하여, 제약을 충족하지 않는 결함 후보는 제외해도 좋다. 예를 들면 결함 후보 검출부(46)는, 면적과 이상도의 최댓값의 양쪽이 각각으로 설정된 최솟값보다 작은 결함 후보를 제외한다. 또한, 결함 후보 검출부(46)는, 임의의 2개의 결함 후보에 대해서, 연결 영역 간의 거리가 소정의 조건을 충족하는 경우에 동일한 결함 후보로서 연결하는 처리를 행한다. 예를 들면 결함 후보(1) 내의 좌표를 (x₁, y₁), 결함 후보(2) 내의 좌표를 (x₂, y₂)로 하고, x좌표에 관한 거리 제약을 d_x, y좌표에 관한 거리 제약을 d_y로 하고, ｜x₁－x₂｜＜d_x, 또한, ｜y₁－y₂｜＜d_y를 충족하는 좌표 (x₁, y₁), (x₂, y₂)가 있을 때, 결함 후보 검출부(46)는 결함 후보(1)와 결함 후보(2)를 연결한다. 이 연결은, 화상의 팽창 및 수축의 반복에 의해 행해도 상관없다.

또한, 문턱값(D_thr)은 마하라노비스 거리(의 2승)가 해 2승 분포에 따른다는 가정하에, 이하의 수식 (16)에 나타내는 바와 같이 정하면 좋다. 여기에서, 수식 (16) 중, p_thr은, 이상도가 결함이라고 판단하는 유의 수준(확률)을 나타내고, fχ₂ ^-1(p, n)은 자유도 n의 해 2승 분포의 누적 밀도 함수의 역함수이다. 이에 따라, 이상도에 대하여 확률로서 문턱값을 정할 수 있다.

[결함 판정 처리]

다음으로, 도 9를 참조하여, 상기 결함 판정 처리(스텝 S4)에 대해서 설명한다.

도 9는, 결함 판정 처리의 흐름을 나타내는 플로우 차트이다. 도 9에 나타내는 바와 같이, 결함 판정 처리는, 결함 특징 산출 스텝 S41 및 결함 판정 스텝 S42를 포함한다.

결함 특징 산출 스텝 S41에서는, 결함 특징 산출부(47)가, 보정 화상 I_C(x, y)로부터 결함 후보의 영역 부분을 잘라낸 결함부 농담 화상 및, 이상도 화상 D(x, y)로부터 결함 후보의 영역 부분을 잘라낸 결함부 이상도 화상을 이용하여, 그들에 대하여 각종 연산을 행하여, 결함 특징량을 산출한다. 대표적인 결함 특징량으로서는, 폭, 길이, 면적, 애스펙트비, 주위 길이 등의 결함의 사이즈나 형상에 관한 것, 결함 영역 내의 최대 휘도, 최소 휘도, 평균 휘도, 휘도에 관한 히스토그램 도수 등의 농담에 관한 것 등이 있고, 이들은 결함부 농담 화상으로부터 얻어진다. 또한, 본 실시 형태에 있어서는 결함부 이상도 화상으로부터 결함부의 최대 이상도, 평균 이상도 및, 이상도에 관한 히스토그램 도수 등의 이상도에 관한 특징량도 얻어진다. 또한, 본 실시 형태에 있어서는, 각 텍스처 특징 화상 F_j(x, y)로부터 결함 후보의 영역 부분을 잘라낸 결함부 텍스처 특징 화상으로부터도 각 텍스처 특징에 관한 결함 특징량이 얻어진다.

다음으로, 결함 판정 스텝 S42에서는, 결함 판정부(48)가, 결함 특징 산출 스텝 S41에서 산출된 결함 특징량에 기초하여, 각 결함 후보의 결함 종별 및 유해도를 판정한다. 판정에 있어서는, 유저가 작성한 결함 특징량에 관한 판정 룰(if-then 룰이나 판정 테이블)이나, 소위 기계 학습에 의해 얻어지는 판별기, 혹은 그들의 조합이 이용된다.

이상의 설명으로부터 분명한 바와 같이, 본 발명의 일 실시 형태인 표면 결함 검사 장치(1)에서는, 텍스처 특징 화상 생성부(43)가, 입력 화상에 대하여 복수의 공간 필터에 의한 필터 처리를 실시함으로써 복수의 텍스처 특징 화상을 생성하고, 텍스처 특징 추출부(44)가, 입력 화상 상의 각 위치에 대해서 복수의 텍스처 특징 화상의 대응하는 위치의 값을 각각 추출하여 화상 상의 각 위치에 있어서의 특징 벡터를 생성하고, 이상도 산출부(45)가, 특징 벡터의 각각에 대해서 특징 벡터가 이루는 다차원 분포에 있어서의 이상도를 산출하여, 입력 화상 상의 각 위치에 대한 이상도를 나타낸 이상도 화상을 생성하고, 결함 후보 검출부(46)가, 이상도 화상에 있어서 이상도가 소정값을 초과하는 부분을 결함부 또는 결함 후보부로서 검출한다. 이에 따라, 선 형상의 가늘고 긴 표면 결함에 대한 감도를 높임과 함께 선 형상의 가늘고 긴 표면 결함과 짧고 작은 표면 결함이 혼재하는 경우라도 양자를 감도 좋게 검출할 수 있다.

실시예

도 10은, 강대 표면을 촬영한 화상예이다. 도 10 중의 2개의 장방형으로 둘러싸인 부분에 표면 결함이 존재한다. 좌측의 장방형으로 둘러싸인 표면 결함은 검출이 곤란한 가늘고 긴 결함을 나타내고, 우측의 장방형으로 둘러싸인 표면 결함은 검출이 곤란한 길이 방향으로 짧은 결함을 나타낸다. 도 10에 나타낸 화상은 세로 1024화소, 가로 1024화소로 세로 방향이 강대의 길이 방향에 대응한다. 도 11은 도 10의 화상에 대하여, 본 발명의 결함 검출 처리(스텝 S3)를 적용한 실시예이다. 텍스처 특징 화상 생성 스텝 S31에 있어서, 선 형상 결함용 확장 처리를 선택하여, 64종류의 텍스처 특징 화상을 생성했다. 또한, 결함 후보 검출 스텝 S34에 있어서, 이상도에 대하여 p_thr＝10^-10으로 했을 때의 문턱값(D_thr)을 이용하여 2값화를 행하고, 결함 후보 200화소 미만의 연결 영역은 결함 후보로부터 제외했다. 본 실시예에 있어서는, 주위의 강대의 모양을 오류 검출하는 일 없이, 강대의 길이 방향으로 가늘고 긴 결함 및 길이 방향으로 짧은 결함의 모두 검출할 수 있었다. 또한, 도 12(c)는, 본 발명의 결함 검출 처리(스텝 S3)에서 도 12(a)에 나타내는 표면 결함을 검출한 화상 및 화상 중의 파선부의 휘도 프로파일을 나타낸다. p_thr＝0.0027로 했다. 먼저 나타낸 도 12(b)의 비특허문헌 1의 수법에 의한 결과와 비교하여 선 형상 결함으로의 감도가 향상했다.

이상, 본 발명자들에 의해 이루어진 발명을 적용한 실시 형태에 대해서 설명했지만, 본 실시 형태에 의한 본 발명의 명시된 일부를 이루는 기술 및 도면에 의해 본 발명은 한정되는 일은 없다. 즉, 본 실시 형태에 기초하여 당업자들에 의해 이루어지는 다른 실시 형태, 실시예 및, 운용 기술 등은 모두 본 발명의 범주에 포함된다.

(산업상의 이용 가능성)

본 발명에 의하면, 선 형상의 가늘고 긴 표면 결함에 대한 감도를 높임과 함께 선 형상의 가늘고 긴 표면 결함과 짧고 작은 표면 결함이 혼재하는 경우라도 양자를 감도 좋게 검출 가능한 표면 결함 검사 방법 및 표면 결함 검사 장치를 제공할 수 있다.

1 : 표면 결함 검사 장치
2 : 조명 장치
3 : 촬상 장치
4 : 화상 처리 장치
5 : 표시 장치
41 : 화상 입력부
42 : 화상 보정부
43 : 텍스처 특징 화상 생성부
44 : 텍스처 특징 추출부
45 : 이상도 산출부
46 : 결함 후보 검출부
47 : 결함 특징 산출부
48 : 결함 판정부
S : 강대

Claims (8)

1. 검사 대상을 촬영하여 원화상을 취득하는 화상 입력 스텝과,
   상기 원화상에 대하여 복수의 공간 필터에 의한 필터 처리를 실시함으로써 복수의 텍스처 특징 화상을 생성하는 텍스처 특징 화상 생성 스텝으로서, 상기 공간 필터에 의한 필터 처리를, 상기 원화상을 축소한 화상 또는 상기 텍스처 특징 화상을 축소한 화상에 대해서도 실시함으로써, 다른 텍스처 특징 화상을 생성하는 처리를 포함하는 텍스처 특징 화상 생성 스텝과,
   상기 원화상 상의 각 위치에 대해서 상기 복수의 텍스처 특징 화상과 상기 다른 텍스처 특징 화상의 대응하는 위치의 값을 각각 추출하여 상기 원화상 상의 각 위치에 있어서의 특징 벡터를 생성하는 텍스처 특징 추출 스텝과,
   상기 특징 벡터의 각각에 대해서 상기 특징 벡터가 이루는 다차원 분포에 있어서의 이상도(異常度)를 산출하고, 상기 원화상 상의 각 위치에 대한 이상도를 나타낸 이상도 화상을 생성하는 이상도 산출 스텝과,
   상기 이상도 화상에 있어서 상기 이상도가 소정값을 초과하는 부분을 결함부 또는 결함 후보부로서 검출하는 검출 스텝
   을 포함하는 것을 특징으로 하는 표면 결함 검사 방법.
2. 제1항에 있어서,
   상기 원화상 또는 상기 텍스처 특징 화상의 축소 방향이 검출 대상인 선 형상 결함과 평행한 방향인 방향을 포함하는 것을 특징으로 하는 표면 결함 검사 방법.
3. 제1항에 있어서,
   상기 복수의 공간 필터가 웨이브렛 변환에 의해 실현되는 것을 특징으로 하는 표면 결함 검사 방법.
4. 제2항에 있어서,
   상기 복수의 공간 필터가 웨이브렛 변환에 의해 실현되는 것을 특징으로 하는 표면 결함 검사 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 복수의 공간 필터가 가보 필터(Gabor filter)를 포함하는 것을 특징으로 하는 표면 결함 검사 방법.
6. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 특징 벡터가 이루는 다차원 분포에 있어서의 이상도로서 마하라노비스 거리(Mahalanobis distance)를 이용하는 것을 특징으로 하는 표면 결함 검사 방법.
7. 제5항에 있어서,
   상기 특징 벡터가 이루는 다차원 분포에 있어서의 이상도로서 마하라노비스 거리를 이용하는 것을 특징으로 하는 표면 결함 검사 방법.
8. 검사 대상을 촬영하는 촬상 수단과,
   상기 촬상 수단이 촬상한 상기 검사 대상의 원화상을 취득하는 화상 입력 수단과,
   상기 원화상에 대하여 복수의 공간 필터에 의한 필터 처리를 실시함으로써 복수의 텍스처 특징 화상을 생성하는 텍스처 특징 화상 생성 수단으로서, 상기 공간 필터에 의한 필터 처리를, 상기 원화상을 축소한 화상 또는 상기 텍스처 특징 화상을 축소한 화상에 대해서도 실시함으로써, 다른 텍스처 특징 화상을 생성하는 텍스처 특징 화상 생성 수단과,
   상기 원화상 상의 각 위치에 대해서 상기 복수의 텍스처 특징 화상과 상기 다른 텍스처 특징 화상의 대응하는 위치의 값을 각각 추출하여 상기 원화상 상의 각 위치에 있어서의 특징 벡터를 생성하는 텍스처 특징 추출 수단과,
   상기 특징 벡터의 각각에 대해서 상기 특징 벡터가 이루는 다차원 분포에 있어서의 이상도를 산출하여, 상기 원화상 상의 각 위치에 대한 이상도를 나타낸 이상도 화상을 생성하는 이상도 산출 수단과,
   상기 이상도 화상에 있어서 상기 이상도가 소정값을 초과하는 부분을 결함부 또는 결함 후보부로서 검출하는 검출 수단
   을 구비하는 것을 특징으로 하는 표면 결함 검사 장치.

Images