KR101682744B1

KR101682744B1 - 결함 검사용 화상 처리 장치 및 결함 검사용 화상 처리 방법

Info

Publication number: KR101682744B1
Application number: KR1020127013652A
Authority: KR
Inventors: 오사무 히로세
Original assignee: 스미또모 가가꾸 가부시키가이샤
Priority date: 2009-10-30
Filing date: 2010-09-29
Publication date: 2016-12-05
Also published as: TWI484161B; WO2011052332A1; TW201140040A; CN102630299A; JP2011095171A; CN102630299B; KR20120091249A; JP4726983B2; CA2778128A1; EP2495552A1; US20130128026A1

Abstract

본 발명은, 발생하는 광선 경로의 변화가 상이한 여러 가지 종류의 결함을 한번에 충분한 정밀도로 검출할 수 있는 결함 검사용 화상 처리 장치 등을 실현한다.
결함 검사용 화상 처리 장치(화상 해석 장치)(6)는, 이동중인 성형 시트를 에어리어 카메라(5)로 시간적으로 연속하여 촬영한 화상 데이터를 처리하는 것이고, 화상 데이터상의 상이한 복수의 위치에 대해서, 동일 위치의 라인 데이터를 상이한 화상 데이터로부터 각각 추출하는 데이터 추출부(11)와, 복수의 라인 데이터를 화상 데이터상의 위치마다 시계열로 나열하여 복수의 라인 합성 화상 데이터를 생성하는 데이터 저장부(13)와, 복수의 라인 합성 화상 데이터에 미분 오퍼레이터 연산을 행하여 복수의 강조 화상 데이터를 생성하는 변화량 산출부(15)와, 복수의 강조 화상 데이터로부터 성형 시트의 동일 개소를 나타내는 것을 추출하는 동일 개소 판정 추출부(16)와, 추출된 강조 화상 데이터의 휘도값을 화소마다 적산하여 결함 검사용 화상 데이터를 생성하는 적산부(17)를 구비한다.

Description

결함 검사용 화상 처리 장치 및 결함 검사용 화상 처리 방법{IMAGE PROCESSING DEVICE FOR DEFECT INSPECTION AND IMAGE PROCESSING METHOD FOR DEFECT INSPECTION}

본 발명은, 시트형 등의 피검사물의 결함을 검사하는 결함 검사 시스템, 및, 그것에 이용하는, 결함 검사용 촬영 장치, 결함 검사용 화상 처리 장치, 결함 검사용 화상 처리 프로그램, 결함 검사용 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 및 결함 검사용 화상 처리 방법에 관한 것이다.

일반적으로, 시트형의 피검사물의 결함을 검사하는 경우, 피검사물에 광을 조사하고, 그 투과광 또는 반사광을 측정·해석함으로써, 피검사물의 결함을 검출하는 방법이 자주 이용되고 있다. 이 방법은, 결함 검사 장치의 광학계의 배치에 따라, 도 15에 도시한 바와 같이, 크게 4개로 분류된다.

도 15의 (a)에 도시하는 광학계의 배치는 정투과법이라고 불리는 것이고, 또한, 도 15의 (b)에 도시하는 광학계의 배치는, 투과 산란법이라고 불리는 것이다. 일반적으로, 정투과법 및 투과 산란법과 같이, 투과광을 측정하는 방법은, 광투과율이 높은 피검사물(502)을 검사할 때에 이용된다. 도 15의 (c)에 도시하는 광학계의 배치는 정반사법이라고 불리는 것이고, 또한, 도 15의 (d)에 도시하는 광학계의 배치는 반사 산란법이라고 불리는 것이다. 일반적으로, 정반사법 및 반사 산란법과 같이, 반사광을 측정하는 방법은, 광투과율이 작은 피검사물(502)을 검사할 때에 이용된다.

또한, 정투과법 및 정반사법과 같이, 광원(503)으로부터 조사되는 광의 광축상에 라인 센서(501)를 배치하고, 피검사물(502)로부터의 비산란광(정투과광 또는 정반사광)을 라인 센서(501)로 측정하는 방법을 명시야법이라고도 한다. 한편, 투과 산란법 및 반사 산란법과 같이, 광원(503)으로부터 조사되는 광의 광축상에서 어긋나게 라인 센서(501)를 배치하고, 피검사물(502)로부터의 비산란광이 라인 센서(501)에 직접 입사하지 않도록 광원(503)과 피검사물(502) 사이에 차광체(나이프 에지(knife edge))(504)를 배치하고, 차광체(504)의 단부에 라인 센서(501)의 초점을 맞추어, 피검사물(502)로부터의 산란광(산란 투과광 또는 산란 반사광)을 라인 센서(501)로 측정하는 방법을 암시야법 또는 광축 어긋남법이라고도 한다. 또한, 암시야법 또는 광축 어긋남법으로는, 차광체(504)를 생략하고, 피검사물(502)로부터의 비산란광이 라인 센서(501)에 직접 입사하지 않도록 라인 센서(501)를 배치하는 것도 있다.

명시야법으로는, 광원(503)으로부터의 광이 피검사물(502)의 결함에 의해서 산란함으로써, 라인 센서(501)가 수광하는 비산란광의 광량이 감소한다. 명시야법으로는, 이 라인 센서(501)가 수광하는 광의 감소량(변화량)으로부터 피검사물(502)의 결함의 유무를 판단한다. 명시야법은, 검출 감도가 낮기 때문에, 감소량이 큰, 비교적 큰 결함을 검출하는 경우에 알맞은 방법이다. 또한, 암시야법과 비교하여, 광학계의 배치를 용이하게 행할 수 있기 때문에, 동작이 안정되고 실용화가 간단하다.

한편, 암시야법으로는, 피검사물(502)의 결함에 의해서 산란한 광을 라인 센서(501)가 수광하고, 그 수광량으로부터 피검사물(502)의 결함의 유무를 판단한다. 암시야법은, 명시야법과 비교하여, 결함의 검출 감도가 높아, 미소한 요철(결함)을 검출할 수 있다. 그러나, 광학계(라인 센서(501), 광원(503) 및 차광체(504))를 고정밀도로 배치해야 하기 때문에, 실용화는 한정적이다.

일반적으로, 피검사물의 큰 결함은 눈으로 확인함으로 확인할 수 있기 때문에, 미소한 결함을 검출할 수 있는 것이 결함 검사 장치에 요구된다. 그 때문에, 결함 검사 장치에 암시야법을 이용하는 경우가 많다.

그러나, 암시야법에는, 전술한 바와 같이 실용적으로는 광학계의 배치가 곤란하기 때문에, 피검사물의 결함을 정밀도 좋게 검사하는 것이 어렵다는 문제가 있다.

이 문제를 해결하기 위한 기술이 특허문헌 1에 개시되어 있다. 특허문헌 1에 개시된 기술은, 피검사물의 결함의 유무를 고정밀도로 검출하기 위해서, 광학계의 배치에 대하여 적절한 차광체의 크기가 규정되어 있다.

특허문헌 1 : 일본 특허 공개 제2007-333563호 공보(2007년 12월27일 공개) 특허문헌 2 : 일본 특허 공개 제2008-292171호 공보(2008년 12월4일 공개)

그러나, 피검사물의 결함에 의해서 어떠한 광선 경로의 변화가 일어날지는, 결함의 종류(사이즈 등)에 따라 상이하기 때문에, 적절한 광학계의 배치(광원과 수광 장치의 위치 관계 등)나 차광체의 크기는, 실제로는, 결함의 종류(사이즈 등)에 따라 상이하다. 특허문헌 1에도, 광학 변형(strain)이 미소한 결점을 검출하기 위해서는, 라인형 투과 조명 장치와 수광 수단의 위치를 가까이할 필요가 있는 것이 기재되어 있다(단락 [0009]). 그 때문에, 전술한 바와 같이 종래 기술은, 결함에 의해서 생기는 광선 경로의 변화가 상이한 여러 가지 종류의 결함을 한번에 충분한 정밀도로 검사하는 것이 어렵다는 문제가 있다. 암시야법을 이용하는 결함 검사 장치에서는, 전술한 바와 같이 광학계를 고정밀도로 배치해야 하기 때문에, 결함의 종류에 따라서 광학계의 배치 및 차광체의 크기를 변경하는 것이 실용상, 곤란하다. 그 때문에, 종래의 암시야법을 이용하는 결함 검사 장치에서는, 비교적 많이 존재하는 특정한 종류의 결함을 검출할 수 있는 광학계의 배치 및 차광체의 크기를 선택하여 사용하게 되어, 일부의 종류의 결함을 충분한 정밀도로 검출할 수 없는 경우가 있다는 문제점을 갖고 있다.

본 발명은, 상기한 문제점을 감안하여 이루어진 것으로, 그 목적은, 결함에 의해서 생기는 광선 경로의 변화가 상이한 여러 가지 종류의 결함을 한번에 충분한 정밀도로 검출할 수 있는 결함 검사 시스템, 및, 그것에 이용하는, 결함 검사용 촬영 장치, 결함 검사용 화상 처리 장치, 결함 검사용 화상 처리 프로그램, 및 결함 검사용 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 및 결함 검사용 화상 처리 방법을 실현하는 것에 있다.

본 발명에 따른 결함 검사용 화상 처리 장치는, 상기 과제를 해결하기 위해서, 피검사물과 촬영부가 상대적으로 이동되어 있는 상태로, 촬영부에 의해서 시간적으로 연속하여 촬영된 상기 피검사물의 2차원 화상의 화상 데이터를 처리하고, 그에 따라 상기 피검사물의 결함을 검사하기 위한 결함 검사용 화상 데이터를 생성하는 결함 검사용 화상 처리 장치로서, 복수의 상이한 화상 데이터 중에서 화상 데이터 상에 있어서의 위치가 동일한 1라인의 라인 데이터를 각각 추출하는 동일 라인 추출 수단과, 상기 동일 라인 추출 수단에 의해서 추출된 라인 데이터를 시계열로 나열하여 복수 라인의 라인 합성 화상 데이터를 생성하는 라인 합성 수단을 구비하고, 상기 동일 라인 추출 수단은, 상기 화상 데이터 상에 있어서의 상이한 복수의 위치에 대하여 상기 라인 데이터를 각각 추출하는 것이고, 상기 라인 합성 수단은, 상기 동일 라인 추출 수단에 의해서 추출된 라인 데이터를, 상기 화상 데이터 상에 있어서의 위치마다, 시계열로 나열하여 상이한 복수의 라인 합성 화상 데이터를 생성하는 것이며, 또한, 상기 복수의 라인 합성 화상 데이터에 대하여 각각, 휘도 변화를 강조하는 오퍼레이터를 이용한 연산을 행하여, 1라인 또는 복수 라인의 복수의 강조 화상 데이터를 생성하는 오퍼레이터 연산 수단과, 상기 피검사물의 동일 개소를 나타내는 상기 복수의 강조 화상 데이터의 휘도값을 화소마다 적산하여 결함 검사용 화상 데이터를 생성하는 적산 수단을 구비한다.

또한, 본 발명에 따른 결함 검사용 화상 처리 방법은, 상기 과제를 해결하기 위해서, 피검사물과 촬영부가 상대적으로 이동되어 있는 상태로, 촬영부에 의해서 시간적으로 연속하여 촬영된 상기 피검사물의 2차원 화상의 화상 데이터를 처리하고, 그에 따라 상기 피검사물의 결함을 검사하기 위한 결함 검사용 화상 데이터를 생성하는 결함 검사용 화상 처리 방법으로서, 복수의 상이한 화상 데이터 중에서 화상 데이터 상에 있어서의 위치가 동일한 1라인의 라인 데이터를 각각 추출하는 동일 라인 추출 단계와, 상기 동일 라인 추출 단계에 있어서 추출된 라인 데이터를 시계열로 나열하여 복수 라인의 합성 화상 데이터를 생성하는 라인 합성 단계를 포함하고, 상기 동일 라인 추출 단계는, 상기 화상 데이터 상에 있어서의 상이한 복수의 위치에 대하여 상기 라인 데이터를 각각 추출하는 단계이고, 상기 라인 합성 단계는, 상기 동일 라인 추출 단계에 있어서 추출된 라인 데이터를, 상기 화상 데이터 상에 있어서의 위치마다, 시계열로 나열하여 상이한 복수의 라인 합성 화상 데이터를 생성하는 단계이며, 또한, 상기 복수의 라인 합성 화상 데이터에 대하여 각각, 휘도 변화를 강조하는 오퍼레이터를 이용한 연산을 행하여 1라인 또는 복수 라인의 복수의 강조 화상 데이터를 생성하는 오퍼레이터 연산 단계와, 상기 피검사물의 동일 개소를 나타내는 상기 복수의 강조 화상 데이터의 휘도값을 화소마다 적산하여 결함 검사용 화상 데이터를 생성하는 적산 단계를 포함한다.

상기의 구성에 따르면, 촬영부에 의해서 시간적으로 연속하여 촬영된 상기 피검사물의 2차원 화상에 있어서의 복수의 상이한 화상 데이터 중에서, 화상 데이터 상에 있어서의 위치가 동일한 1라인의 라인 데이터를 각각 추출하고, 이 추출 처리를 상기 화상 데이터 상에 있어서의 상이한 복수의 위치에 대하여 동일하게 행한다. 그리고, 추출된 라인 데이터를, 상기 화상 데이터 상에 있어서의 위치마다 시계열로 나열하여 복수 라인으로 구성되는 상이한 복수의 라인 합성 화상 데이터를 생성한다. 피검사물과 촬영부가 상대적으로 이동되어 있기 때문에, 상기 상이한 복수의 라인 합성 화상 데이터는, 상기 피검사물에 대하여, 각각 상이한 촬영 각도로 촬영된 화상 데이터에 해당하는 것이다. 따라서, 상기 라인 합성 화상 데이터를 생성함으로써, 상기 피검사물에 대한 촬영부의 촬영 각도를 변경하지 않고, 상기 피검사물에 대하여 상이한 촬영 각도로 촬영한 복수의 화상 데이터를 얻을 수 있다. 따라서, 결함에 의해서 생기는 광선 경로의 변화가 상이한 여러 가지 종류의 결함을 각각 검사하는 데 최적인 복수의 촬영 각도로 촬영된 라인 합성 화상 데이터를 얻는 것이 가능해진다. 그 때문에, 이 복수의 라인 합성 화상 데이터를 참조함으로써, 결함에 의해서 생기는 광선 경로의 변화가 상이한 피검사물 상의 여러 가지 종류의 결함을 한번에 충분한 정밀도로 검출할 수 있다는 효과를 나타낸다. 또한, 광학계의 배치 정밀도가 높지 않더라도, 얻어지는 복수의 라인 합성 화상 데이터 중 임의의 것은, 광학계를 정밀도 좋게 배치했을 때에 얻어지는 화상 데이터와 동등해지기 때문에, 결함을 정밀도 좋게 검출할 수 있다.

또한, 상기한 구성에 따르면, 오퍼레이터 연산 수단은, 상기 복수의 라인 합성 화상 데이터에 대하여 각각, 휘도 변화를 강조하는 오퍼레이터를 이용한 연산을 행함으로써, 1라인 또는 복수 라인의 강조 화상 데이터를 각각 생성한다. 그 때문에, 상기 복수의 라인 합성 화상 데이터의 각 화소에 있어서의 휘도 변화가 강조되기 때문에, 미소한 결함, 얇은 결함, 또는 희미한 결함 등을 검출하는 것이 용이해진다.

또한, 상기한 구성에 따르면, 상기 피검사물의 동일 개소를 나타내는 상기 복수의 강조 화상 데이터의 강조 화상 데이터의 휘도값을 화소마다 적산하여 결함 검사용 화상 데이터를 생성한다. 적산함으로써 노이즈를 저감시킬 수 있다.

또한, 상기 피검사물의 동일 개소를 나타내는 상기 복수의 강조 화상 데이터를 얻는 방법은, 특별히 한정되는 것이 아니라, 예컨대, (1) 상기 동일 라인 추출 전에, 복수의 상이한 화상 데이터 중에서 동일 개소를 나타내는 라인 데이터를 각각 특정하여, 각 라인 데이터에 대하여 동일 개소를 나타내는 식별자를 부가하고, 상기 오퍼레이터 연산 후, 상기 적산 전에, 상기 식별자에 기초하여 상기 복수의 강조 화상 데이터 중에서 상기 피검사물의 동일 개소를 나타내는 상기 복수의 강조 화상 데이터를 추출하는 방법; (2) 상기 동일 라인 추출 전에, 복수의 상이한 화상 데이터 중에서 동일 개소를 나타내는 라인 데이터를 각각 특정하여, 각 라인 데이터에 대하여 동일 개소를 나타내는 식별자를 부가하고, 상기 라인 합성 후, 상기 오퍼레이터 연산의 전에, 상기 식별자에 기초하여 상기 복수의 라인 합성 화상 데이터 중에서 상기 피검사물의 동일 개소를 나타내는 상기 복수의 라인 합성 화상 데이터를 추출하고, 추출된 상기 피검사물의 동일 개소를 나타내는 상기 복수의 라인 합성 화상 데이터에 대하여 상기 오퍼레이터 연산을 행함으로써 상기 피검사물의 동일 개소를 나타내는 상기 복수의 강조 화상 데이터를 생성하는 방법; (3) 상기 오퍼레이터 연산 후, 상기 적산 전에, 복수의 상이한 강조 화상 데이터 중에서 동일 개소를 나타내는 강조 화상 데이터를 각각 특정 및 추출하는 방법; (4) 상기 라인 합성 후, 상기 오퍼레이터 연산 전에, 복수의 상이한 라인 합성 화상 데이터 중에서 동일 개소를 나타내는 강조 화상 데이터를 각각 특정 및 추출하고, 추출된 상기 피검사물의 동일 개소를 나타내는 상기 복수의 라인 합성 화상 데이터에 대하여 상기 오퍼레이터 연산을 행함으로써 상기 피검사물의 동일 개소를 나타내는 상기 복수의 강조 화상 데이터를 생성하는 방법; 등을 들 수 있다.

또한, 본 발명에 따른 결함 검사용 화상 처리 장치는, 상기 오퍼레이터 연산 수단은, 상기 복수의 라인 합성 화상 데이터에 대하여 미분 오퍼레이터를 이용한 연산을 행함으로써, 상기 복수의 라인 합성 화상 데이터의 중심 라인에 있어서의 각 화소에서의, 중심 라인에 직교하는 방향을 따른 휘도값의 경사를 산출하고, 상기 복수의 라인 합성 화상 데이터의 중심 라인에 있어서의 각 화소의 휘도값을 각 화소에서의 휘도값의 경사의 절대값으로 치환하여 새로운 1라인의 강조 화상 데이터를 생성하는 것이 바람직하다.

상기한 구성에 따르면, 상기 오퍼레이터 연산 수단이 상기 복수의 라인 합성 화상 데이터에 대하여 미분 오퍼레이터를 이용한 연산을 행하여, 상기 복수의 라인 합성 화상 데이터의 중심 라인에 있어서의 각 화소에서의, 중심 라인에 직교하는 방향을 따른 휘도값의 경사를 산출하고, 상기 복수의 라인 합성 화상 데이터의 중심 라인에 있어서의 각 화소의 휘도값을 각 화소에서의 휘도값의 경사의 절대값으로 치환하여 새로운 1라인의 강조 화상 데이터를 생성한다. 휘도값을 절대값으로 취급함으로써, 휘도값의 경사가 플러스라도 마이너스라도 결함을 나타내는 데이터로서 양자를 구별없이 처리할 수 있다. 즉, 명측에 비치는 결함과 암측에 비치는 결함을 동일하게 취급할 수 있기 때문에, 광학계의 배치 정밀도가 높지 않더라도 결함을 정밀도 좋게 검출할 수 있다. 또한, 상기 복수의 강조 화상 데이터의 휘도값을 화소마다 적산하여 결함 검사용 화상 데이터를 생성함으로써, 결함을 나타내는 데이터를 상쇄하지 않고 가산할 수 있다. 그 때문에, 광학계의 배치에 의해서 명측에 비치거나 암측에 비치거나가 변화되는 결함이라도 검출할 수 있다(실제로 그러한 결함이 많이 존재하는 것이 경험적으로 알려져 있음).

또한, 본 발명에 따른 결함 검사용 화상 처리 장치는, 상기 적산 수단은, 상기 피검사물의 복수의 개소를 각각 나타내는 상기 복수의 강조 화상 데이터를 상기 피검사물의 개소마다, 이 강조 화상 데이터의 휘도값을 화소마다 적산하여, 상기 피검사물의 복수의 개소를 각각 나타내는 복수의 결함 검사용 화상 데이터를 생성하는 것이고, 또한, 상기 피검사물의 복수의 개소를 각각 나타내는 복수의 결함 검사용 화상 데이터를, 상기 피검사물의 개소에 대응시켜 나열하여 새로운 결함 검사용 화상 데이터를 합성하는 화상 생성 수단을 포함하는 것이 바람직하다.

상기한 구성에 따르면, 화상 생성 수단이 상기 피검사물의 개소에 대응시켜 나열하여 새로운 결함 검사용 화상 데이터를 합성한다. 화상 생성 수단이 합성한 결함 검사용 화상 데이터의 위치와 상기 피검사물의 개소가 대응하고 있기 때문에, 피검사물 전체의 어느 위치에 결함이 있는지를 용이하게 검출하는 것이 가능해진다.

또한, 본 발명에 따른 결함 검사용 화상 처리 장치는, 상기 적산 수단은, 상기 촬영부가 촬영할 때마다, 상기 피검사물의 선두 개소에서 순서대로 상기 피검사물의 개소마다, 상기 피검사물의 동일 개소를 나타내는 상기 복수의 강조 화상 데이터의 휘도값을 화소마다 적산하여, 상기 피검사물의 복수의 개소를 각각 나타내는 복수의 결함 검사용 화상 데이터를 생성하는 것이 바람직하다.

상기한 구성에 따르면, 상기 적산 수단이, 상기 촬영부가 촬영할 때마다, 상기 피검사물의 선두 개소로부터 순서대로 상기 피검사물의 개소마다, 상기 피검사물의 동일 개소를 나타내는 상기 복수의 강조 화상 데이터의 휘도값을 화소마다 적산하여, 상기 피검사물의 복수의 개소를 각각 나타내는 복수의 결함 검사용 화상 데이터를 생성한다. 그 때문에, 상기 촬영부가 촬영할 때마다, 강조 화상 데이터로부터 결함 검사용 화상 데이터를 생성할 수 있다. 따라서, 프레임마다 결함의 유무를 식별하기 위한 화상을 출력할 수 있기 때문에, 리얼 타임으로 결함 검사를 행하는 것이 가능해진다.

또한, 본 발명에 따른 결함 검사용 촬영 장치는, 상기 결함 검사용 화상 처리 장치와, 피검사물과 촬영부가 상대적으로 이동되어 있는 상태로, 상기 피검사물의 2차원 화상을 시간적으로 연속하여 촬영하는 촬영부를 포함한다.

상기 구성에 따르면, 상기 결함 검사용 화상 처리 장치를 포함하기 때문에, 결함에 의해서 생기는 광선 경로의 변화가 상이한 여러 가지 종류의 결함을 한번에 충분한 정밀도로 검출할 수 있는 결함 검사용 촬영 장치를 제공할 수 있다.

또한, 본 발명에 따른 결함 검사 시스템은, 피검사물의 결함을 검사하는 결함 검사 시스템으로서, 상기 결함 검사용 촬영 장치와, 상기 피검사물과 상기 촬영부를 상대적으로 이동시키는 이동 수단을 포함한다.

상기 구성에 따르면, 상기 결함 검사용 촬영 장치를 포함하기 때문에, 결함에 의해서 생기는 광선 경로의 변화가 상이한 여러 가지 종류의 결함을 한번에 충분한 정밀도로 검출할 수 있는 결함 검사 시스템을 제공할 수 있다.

또한, 본 발명에 따른 결함 검사 시스템은, 상기 피검사물에 광을 조사하는 광원과, 상기 광원으로부터 상기 피검사물을 투과 또는 반사하여 상기 촬영부에 입사하는 광을 일부 차단하는 차광체를 포함하고, 암시야법을 이용하여 피검사물의 결함을 검사한다.

상기 구성에 따르면, 명시야의 상태로부터 암시야의 상태로 이행하는 과정의 여러 가지 광학 조건이 관측 영역 내에 포함되기 때문에, 암시야법 또는 명시야법을 단독으로 이용한 경우와 비교해서, 감도 좋게 결함을 검출할 수 있고, 또한, 미소한 결함을 검출할 수 있다. 또한, 상기 구성에 따르면, 광학계를 고정밀도로 배치해야 하는 종래의 암시야법을 이용한 결함 검사 시스템과 달리, 광학계를 고정밀도로 배치할 필요가 없다.

또한, 상기 결함 검사용 화상 처리 장치는, 컴퓨터에 의해서 실현해도 좋고, 이 경우에는, 컴퓨터를 상기 결함 검사용 화상 처리 장치의 각 수단으로서 동작시킴으로써, 상기 결함 검사용 화상 처리 장치를 컴퓨터로 실현시키는 제어 프로그램, 및 그것을 기록한 컴퓨터 판독 가능한 기록 매체도 본 발명의 범주에 들어간다.

이상과 같이, 본 발명은, 피검사물의 동일 개소에 대하여 상이한 촬영 각도로 촬영한 복수의 데이터를 얻을 수 있다. 그 때문에, 이 복수의 데이터를 참조함으로써, 피검사물상의 여러 가지 종류의 결함을 검출할 수 있다는 효과를 나타낸다.

도 1은 본 발명의 일 실시형태에 따른 결함 검사 시스템을 구성하는 화상 처리부로서의 화상 해석 장치의, 주요부의 구성을 도시한 기능 블록도이다.
도 2는 에어리어 카메라, 선형 광원 및 나이프 에지를 포함하는 결함 검사용 광학계의 위치 관계를 도시한 도면으로, (a)는 그 사시도이고, (b)는 그 yz 평면을 도시한 도면이다.
도 3은 본 발명의 일 실시형태에 따른 결함 검사 시스템의 개요를 도시한 모식도이다.
도 4는 라인 합성의 프로세스를 도시한 도면으로, (a)는 에어리어 카메라가 촬영한 480장의 화상이 시계열로 나열되어 있는 것을 도시한 개념도이며, (b)는 이 480장의 화상 데이터 #1∼#480을 순서대로 좌측으로부터 가로 나열로 나열하고 있는 상태를 도시한 도면이고, (c)는 480장의 각 화상 데이터로부터 N번째의 라인을 골라내어 나열한 상태를 도시한 도면이다.
도 5의 (a)는 에어리어 카메라가 촬영한 화상을 도시한 도면이고, (b)는 에어리어 카메라가 촬영한 480장의 화상 데이터로부터 나이프 에지 근방 라인을 골라내어 라인 합성한 화상을 도시한 도면이다.
도 6은 화상 처리의 일례를 도시한 도면으로, (a)는 라인 합성한 오리지널의 화상이고, (b)는 (a)에 도시하는 화상에 대하여 7×7의 수직 미분 필터 처리를 행한 화상이며, (c)는 (b)에 도시하는 화상에 대하여 라플라시안 히스토그램법을 이용하여 고정한 임계값에 따라서 2값화한 화상이다.
도 7은 RT-LCI(Real Time Line Composition and Integration:리얼 타임·라인 합성 적산; 이 내용에 대해서는 후술함) 처리에 있어서의 화상 해석 장치의 각부의 동작 플로우를 도시한 도면이다.
도 8a는 RT-LCI 처리의 개요를 도시한 도면으로, 각 기억부에 저장되는 화상 데이터 및 표시부에 표시되는 화상의 상태를 1프레임마다 도시한 상태 천이도이다.
도 8b는 RT-LCI 처리의 개요를 도시한 도면으로, 에어리어 카메라의 촬영 범위와 피검사물의 관계를 도시한 모식도이다.
도 8c는 RT-LCI 처리의 개요를 도시한 도면으로, 최초에 생성되는 RT-LCI 데이터를 생성하는 처리를 도시한 도면이다.
도 9는 제2 기억부에 저장되어 있는 라인 데이터, 변화량 산출부가 이용하는 미분 오퍼레이터, 변화량 산출부가 산출한 휘도 데이터의 값의 일례를 도시한 도면이다.
도 10은 피검사물의 두께나 휘어짐에 따른 광축의 어긋남이 발생하는 모습을 모식적으로 도시한 도면이다.
도 11은 실시예를 도시한 것으로, (a)는 에어리어 카메라가 촬영한 화상의 일례를 도시한 도면이고, (b)는 본 발명의 일 실시예에 따른 결함 검사 시스템에 의해서 얻어지는 RT-LCI 화상의 일례를 도시한 도면이다.
도 12는 실시예를 도시한 것으로, (a)는 에어리어 카메라가 촬영한 화상의 일례를 도시한 도면이고, (b)는 라인 합성 화상의 일례를 도시한 도면이며, (c)는 본 발명의 일 실시예에 따른 결함 검사 시스템에 의해서 얻어지는 RT-LCI 화상의 일례를 도시한 도면이다.
도 13은 실시예를 도시한 것으로, (a)는 에어리어 카메라가 촬영한 화상의 일례를 도시한 도면이고, (b)는 라인 합성 화상의 일례를 도시한 도면이며, (c)는 본 발명의 일 실시예에 따른 결함 검사 시스템에 의해서 얻어지는 RT-LCI 화상의 일례를 도시한 도면이다.
도 14는 실시예를 도시하는 것으로, (a)는 에어리어 카메라가 촬영한 화상의 일례를 도시한 도면이고, (b)는 라인 합성 화상의 일례를 도시한 도면이며, (c)는 본 발명의 일 실시예에 따른 결함 검사 시스템에 의해서 얻어지는 RT-LCI 화상의 일례를 도시한 도면이다.
도 15는 종래 기술인 결함 검사 장치의 광학계의 배치를 도시한 것으로, (a)는 정투과법의 광학계의 배치이고, (b)는 투과 산란법의 광학계의 배치이며, (c)는 정반사법의 광학계의 배치이고, (d)는 반사 산란법의 광학계의 배치이다.

본 발명의 실시의 일 형태에 대하여, 도면을 참조하면서 이하에 설명한다.

본 실시형태에 따른 결함 검사 시스템은, 성형 시트의 결함을 검출하는 것이다. 본 실시형태에 따른 결함 검사 시스템은, 광투과성의 성형 시트, 특히, 열가소성 수지 등의 수지로 이루어지는 성형 시트의 검사에 적합하다. 수지로 이루어지는 성형 시트로서는, 예컨대, 압출기로부터 압출된 열가소성 수지를 롤의 간극에 통과시켜 표면에 평활함이나 광택을 부여하는 처리가 실시되고, 인취 롤(take-up roll)에 의해 반송 롤 상을 냉각시키면서 인취함으로써 성형된 것을 들 수 있다. 본 실시의 형태에 적용 가능한 열가소성 수지는, 예컨대, 메타크릴 수지, 메타크릴산메틸-스티렌 공중합체, 폴리에틸렌이나 폴리프로필렌 등의 폴리올레핀, 폴리카보네이트, 폴리염화비닐, 폴리스티렌, 폴리비닐알코올, 트리아세틸셀룰로오스 수지 등이다. 성형 시트는, 이들 열가소성 수지 중의 하나만으로 이루어져 있어도 좋고, 이들 열가소성 수지의 복수 종류를 적층한 것(적층 시트)이라도 좋다. 또한, 본 실시형태에 따른 결함 검사 시스템은, 편광 필름이나 위상차 필름 등의 광학 필름, 특히 웨브형으로 감아 보관·수송되는 장척의 광학 필름의 검사에 적합하다. 또한, 성형 시트는, 어떠한 두께를 갖는 것이라도 좋고, 일반적으로 필름이라 불리는 비교적 얇은 두께를 갖는 것이라도, 일반적으로 판이라고 불리는 비교적 두꺼운 두께를 갖는 것이라도 좋다.

성형 시트의 결함의 예로서는, 기포(성형시에 생기는 것 등), 피쉬 아이, 이물, 타이어 흔적, 타흔, 상처 등의 점 결함; 크닉(knick), 줄무늬(두께의 차이에 의해 생기는 것 등) 등을 들 수 있다.

암시야법에 있어서, 라인 센서를 이용하여, 상기한 여러 가지 결함을 검출하는 경우, 라인 센서의 촬상 라인의 변동 허용치(일반적으로 수10∼수100 ㎛ 정도) 내에서 라인 센서를 이동시키는 것이 생각된다. 그러나, 전술한 바와 같이, 암시야법으로는, 광학계를 고정밀도로 배치해야 하기 때문에, 라인 센서의 촬상 라인(촬영 각도)을 조금씩 바꾸면서 동일한 조건으로 결함을 검출하는 것은 곤란하다. 또한, 라인 센서를 복수 병렬시켜 복수의 촬상 라인을 동시에 촬영하는 방법도 생각되지만, 라인 센서를 복수 배치함으로써 장치계가 복잡해져, 광학계를 보다 고정밀도로 배치해야 한다.

따라서, 본 발명자는, 이하의 이유에 의해, 근축 조건(paraxial condition) 하라면 에어리어 카메라를 이용함에 따라, 라인 센서를 수10개 나열한 것과 동등한 광학 조건으로 촬영할 수 있다고 생각하였다. 근축 조건 하에 있어서의 에어리어 카메라의 특성을 도 2에 기초하여 설명한다. 도 2는, 에어리어 카메라(5), 선형 광원(4) 및 나이프 에지(7)를 포함하는 결함 검사용 광학계의 위치 관계를 도시한 도면이다. 도 2의 (a)에 도시한 바와 같이, 선형 광원(4)의 중심이 촬영 범위의 중심과 일치하도록 에어리어 카메라(5)를 선형 광원(4)의 상부에 배치하고, 에어리어 카메라(5)로부터 보아 선형 광원(4)의 절반이 덮이도록 나이프 에지(7)를 배치한다. 여기서, 선형 광원(4)의 중심을 원점으로 하고, 선형 광원(4)의 길이 방향을 X축, 선형 광원(4)의 가로지른 방향을 Y축, 에어리어 카메라(5)로부터 선형 광원(4)을 향하는 방향을 Z축으로 한다. 도 2의 (b)는, 도 2의 (a)의 X축 방향에서 본 도면이다. 에어리어 카메라(5)는, CCD(Charge Coupled Device)(51) 및 렌즈(52)를 포함한다. CCD(51)가 렌즈(52)를 통해 촬영하는 각도의 반각 θ이∼0.1도 정도이면, CCD(51)가 촬영하는 범위에 있어서 촬영 거리의 차(1-cosθ)를 무시할 수 있을 정도가 된다. 구체적으로는, 렌즈(52)의 초점 거리 f=35 ㎜인 경우, 렌즈(52)와 피검사물의 거리는 300 ㎜ 정도이고, 해상도가 70㎛/pixel인 에어리어 카메라(5)를 이용하여, X축을 중심으로 ±7화소의 범위를 촬영하는 경우, 촬영 각도의 반각 θ는,

θ=arc tan(70[㎛/pixel]×10^3×7[pixel]/300[㎜])≒0.09[degree]가 된다. 따라서, 촬영 거리의 차는 10^-6의 오더이기 때문에, 무시할 수 있을 정도이다. 따라서, 이 경우, 각각의 촬영 범위가 70 ㎛인 15개의 라인 센서(X축 상의 1개의 라인 센서와, 그 양측에 각각 배치된 7개씩인 라인 센서)가 병렬하여 촬영하는 경우와 동등한 광학 조건으로 촬영할 수 있다.

다음에, 에어리어 카메라(5)를 이용한, 본 실시형태에 따른 결함 검사 시스템(1)의 구성에 대하여, 도 3에 기초하여 이하에 설명한다. 도 3은, 결함 검사 시스템(1)의 개요를 도시한 모식도이다.

도 3에 도시한 바와 같이, 결함 검사 시스템(1)은, 컨베어(이동 수단)(3), 선형 광원(4), 에어리어 카메라(촬영부)(5), 화상 해석 장치(결함 검사용 화상 처리 장치)(6), 표시부(30), 나이프 에지(7) 및 조명 확산판(8)을 포함한다. 피검사물 인 성형 시트(2)는, 컨베어(3) 상에 배치되어 있다. 결함 검사 시스템(1)은, 직사각형의 성형 시트(2)를 컨베어(3)에 의해서 일정 방향으로 반송하면서, 선형 광원(4)에 의해 광이 조사된 성형 시트(2)를 에어리어 카메라(5)가 시간적으로 연속하여 촬영하고, 에어리어 카메라(5)가 촬영한 성형 시트(2)의 2차원 화상 데이터에 기초하여 화상 해석 장치(6)가 성형 시트(2)의 결함을 검출하는 것이다.

컨베어(3)는, 성형 시트(2)에 있어서 선형 광원(4)에 조사되는 위치가 변화되도록, 직사각형의 성형 시트(2)를, 그 두께 방향으로 직교하는 방향, 특히 그 길이 방향으로 반송하는 것이다. 컨베어(3)는, 예컨대, 성형 시트(2)를 일정한 방향으로 반송하는 송출 롤러와 수취 롤러를 구비하고, 로터리 인코더 등에 의해 반송 속도를 계측한다. 반송 속도는, 예컨대 2 m∼12 m/분 정도로 설정된다. 컨베어(3)에 있어서의 반송 속도는, 도시하지 않는 정보 처리 장치 등에 의해서 설정 및 제어된다.

선형 광원(4)은, 그 길이 방향이 성형 시트(2)의 반송 방향과 교차하는 방향(예컨대 성형 시트(2)의 반송 방향과 직교하는 방향)이 되도록 배치되어 있고, 또한, 선형 광원(4)으로부터 조사되는 광이 성형 시트(2)를 투과하여 에어리어 카메라(5)에 입사하도록, 성형 시트(2)를 사이에 끼워 에어리어 카메라(5)에 대향하는 위치에 배치되어 있다. 선형 광원(4)은, 성형 시트(2)의 조성 및 성질에 영향을 주지 않는 광을 발광하는 것이면, 특별히 한정되는 것은 아니고, 예컨대, 형광등(특히 고주파 형광등), 메탈할라이드 램프, 할로겐 전송 라이트 등이다. 또한, 선형 광원(4)을 성형 시트(2)를 향하여 에어리어 카메라(5)와 동일한 측에 배치하고, 선형 광원(4)으로부터 조사된 광이 성형 시트(2)에서 반사하여 에어리어 카메라(5)에 입사하도록 선형 광원(4)을 배치해도 좋다(도 15의 (d)에 도시한 반사 산란법의 광학계의 배치를 참조). 전술한 바와 같은, 성형 시트(2)에서 반사한 광이 에어리어 카메라(5)에 입사하는 구성은, 성형 시트(2)뿐만 아니라, 여러 가지의 형상 및 재질의 피검사물에 있어서의 결함의 검사에 적용할 수 있다.

에어리어 카메라(5)는, 성형 시트(2)를 투과한 광을 수광하여, 성형 시트(2)의 2차원 화상을 시간적으로 연속하여 촬영하는 것이다. 에어리어 카메라(5)는, 촬영한 성형 시트(2)의 2차원 화상의 데이터를 화상 해석 장치(6)에 출력한다. 에어리어 카메라(5)는, 2차원 화상을 촬상하는 CCD 또는 CMOS(Complementary Metal-Oxide Semiconductor) 등의 촬상 소자로 구성되는 에어리어 센서를 포함한다. 에어리어 카메라(5)는, 다계조의 화상 데이터를 출력하면 특별히 한정되는 것은 아니지만, 본 실시형태에서는 8비트 그레이 스케일(256계조)의 화상 데이터를 출력할 수 있는 것이다.

결함 검사 시스템(1)에 의해서 검출되는 결함의 사이즈는, 에어리어 카메라(5)의 분해능에 의존하기 때문에, 검출하고자 하는 결함의 사이즈에 맞춰 에어리어 카메라(5)의 분해능을 선정하면 좋다. 또한, 결함 검사 시스템(1)에 의해서 검출되는 결함의 입체 형상(폭 대 높이의 비)은, 기본적으로는 에어리어 카메라(5)의 분해능에 의존하지 않기 때문에, 검출하고자 하는 결함의 종류에 따라서 카메라 분해능을 선정할 필요는 없다.

에어리어 카메라(5)는, 성형 시트(2)의 폭 방향(성형 시트(2)의 반송 방향에 직교하고, 그리고 성형 시트(2)의 두께 방향에 직교하는 방향)의 전체 영역을 촬영할 수 있도록 배치되어 있는 것이 바람직하다. 에어리어 카메라(5)에 의해서 성형 시트(2)의 폭 방향의 전체 영역을 촬영함으로써, 성형 시트(2)의 전체 영역의 결함을 검사할 수 있다.

에어리어 카메라(5)의 촬영 간격(프레임 레이트)은, 고정되어 있어도 좋고, 사용자가 에어리어 카메라(5) 자체를 조작함으로써 변경 가능하게 되어도 좋으며, 에어리어 카메라(5)에 접속된 정보 처리 장치(도시하지 않음 ; 생략 가능)를 사용자가 조작함으로써 변경 가능하게 되어도 좋다. 또한, 에어리어 카메라(5)의 촬영 간격은, 디지털 스틸 카메라의 연속 촬영의 시간 간격인 수분의 1초 등이라도 좋지만, 검사의 효율화를 향상시키기 위해서, 공업용 CCD 카메라에 통상 구비되어 있는 파셜 스캔 기능(partial imaging function)을 사용하여 1프레임의 라인수를 필요 최소한으로 함으로써, 시간 간격을 짧게 할 수 있다. 예컨대, 유효화 소수가 가로 512×세로 480 화소, 전체 화소 판독 시 30프레임 매초(이후 FPS)의 카메라의 경우, 파셜 스캔에 의해 가로 512×세로 60 화소로 함으로써 240 FPS 정도에서의 판독이 가능한 것이 있다. 또한, 별도의 예로서, 유효 화소수가 가로 1600×세로 1200 화소 정도, 전체 화소 판독 시 프레임 레이트 15 FPS의 카메라를 사용하여 가로 1600×세로 32 화소의 파셜 스캔으로써 구동하는 경우, 150 FPS 정도에서의 판독이 가능한 카메라가 있다. 카메라의 유효 화소수 및 구동 방법은, 피검사물의 반송 속도 및 검출 대상 결함의 사이즈 등에 의해 적절하게 선정할 수 있다.

화상 해석 장치(6)는, 에어리어 카메라(5)로부터 출력된 화상 데이터를 수신하고, 그 화상 데이터에 대하여 화상 처리를 행하여, 그것에 의하여 상기 피검사물의 결함을 검사하기 위한 결함 검사용 화상 데이터를 생성하고, 결함 검사용 화상 데이터를 표시부(30)로 출력하는 것이다. 화상 해석 장치(6)는, 화상 데이터를 기억하는 기억부(20)와, 화상 데이터에 대하여 화상 처리를 행하는 화상 처리부(10)를 구비한다. 에어리어 카메라(5) 및 화상 해석 장치(6)에 의해서 결함 검사용 촬영 장치가 구성되어 있다. 화상 해석 장치(6)는, 2차원 화상 데이터의 화상 처리를 행하는 것이면, 특별히 한정되는 것은 아니고, 예컨대, 화상 처리 소프트웨어가 인스톨된 PC(퍼스널 컴퓨터), 화상 처리 회로가 기술된 FPGA를 탑재하는 화상 캡쳐 보드, 화상 처리 프로그램이 기술된 프로세서를 구비하는 카메라(인텔리전트 카메라 등이라고 불림) 등을 들 수 있다. 화상 해석 장치(6)가 행하는 화상 처리의 상세는 후술한다.

표시부(30)는, 결함 검사용 화상 데이터를 표시하는 것이다. 표시부(30)는, 화상 또는 영상을 표시하는 것이면 좋고, 예컨대, LC(Liquid Crystal) 표시 패널, 플라즈마 표시 패널, EL(Electro Luminescence) 표시 패널 등을 표시부(30)로서 적용할 수 있다. 또한, 화상 해석 장치(6) 또는 결함 검사용 촬영 장치가 표시부(30)를 구비하는 구성이라도 좋다. 또한, 표시부(30)를 결함 검사 시스템(1)으로부터 분리하여 외부의 표시 장치로 해도 좋고, 표시부(30)를 다른 출력 장치, 예컨대 인쇄 장치로 치환해도 좋다.

나이프 에지(7)는, 선형 광원(4)으로부터 조사되는 광을 차단하는 나이프 형상의 차광체이다.

조명 확산판(8)은, 선형 광원(4)으로부터 조사되는 광의 광량을 균일화하기 위해서, 광을 확산하는 것이다.

다음에, 본 실시형태에서 이용하는 알고리즘을 개발한 경위에 대하여 설명한다. 본 실시형태에서 이용하는 알고리즘은, 이하에 설명하는 단순한 라인 합성을 이용한 결함 검출 방법의 과제를 감안하여 개발된 것이다.

에어리어 카메라(5)로 촬영한 복수의 화상으로부터, 병렬로 복수 나열된 라인 센서가 촬영한 화상과 동등한 화상을 생성하는 라인 합성의 방법을 도 4에 기초하여 설명한다. 여기서는, 프레임 레이트가 60 FPS(Frame Per Second)인 에어리어 카메라(5)로 8초간 촬영하여, 480장의 화상을 얻은 것으로 한다. 화상 데이터에 있어서, 성형 시트(2)의 폭 방향(성형 시트(2)의 반송 방향에 직교하고, 그리고 성형 시트(2)의 두께 방향에 직교하는 방향)을 따른 적어도 하나의 분할선에 의해서 균등하게 분할하여 이루어지는 복수의 부분 화상의 각각을 라인이라 칭한다. 화상 전체의 높이(성형 시트(2)의 길이 방향을 따른 사이즈)가 H 화소(H는 자연수), 화상 전체의 폭(성형 시트(2)의 폭 방향을 따른 사이즈)가 W 화소(W는 자연수)라고 하면, 라인의 사이즈는, 높이 H/L 화소(L은 2이상의 정수), 폭 W 화소이다. 라인은, 전형적으로는, 성형 시트(2)의 폭 방향을 따라서 1직선상에 나열하는 1화소×W 화소의 부분 화상이다.

도 4의 (a)는, 그 480장의 화상이 시계열로 나열되어 있는 것을 도시한 개념도이다. 도 4의 (b)는, 이 480장의 화상 데이터 #1∼#480을 순서대로 좌측으로부터 가로 나열로 나열되어 있는 상태를 도시한 도면이다. 도 4의 (b)에 도시한 각 화상 데이터에 있어서, 하부의 어두운 부분은 나이프 에지(7)에 의해서 광이 차단되어 있는 부분이고, 중심 부근의 밝은 부분은 선형 광원(4)으로부터의 광이 투과하고 있는 부분이며, 상부의 어두운 부분은 선형 광원(4)의 광이 닿고 있지 않아, 검사 대상으로부터 떨어져 있는 개소이다. 또한, 피검사물은, 도 4의 (b)의 아래로부터 위를 향하여 반송되고 있다.

우선, 480장의 각 화상 데이터에 대하여, 화상 데이터상의 동일한 위치로부터 1라인(도 4(b)에 도시하는 빨간 선: N번째의 라인)을 골라낸다. 이때 골라내는 1라인의 폭은, 1프레임(1/60초) 당 피검사물이 움직이는 거리이다. 골라낸 각 라인을 위에서부터 순서대로, #1의 화상 데이터로부터 골라낸 라인, #2의 화상 데이터로부터 골라낸 라인, ···#480의 화상 데이터로부터 골라낸 라인이 되도록 나열한다. 도 4의 (c)는, 480장의 각 화상 데이터로부터 N번째의 라인을 골라내어 나열한 상태를 도시한 도면이다. 도 4의 (c)에 도시한 바와 같이, 골라낸 라인을 나열하여 1장의 화상 데이터에 합성함으로써, N번째의 라인을 촬영하는 라인 센서가 촬영한 화상과 동등한 화상을 생성할 수 있다. 이와 같이, 에어리어 카메라(5)가 촬영한 복수의 화상 데이터로부터 동일한 위치의 라인을 골라내어, 해당 어떤 라인을 촬영하는 라인 센서가 촬영한 화상과 동등한 화상을 생성하는 것을 라인 합성이라 칭한다.

480장의 각 화상 데이터로부터 N번째의 라인뿐만 아니라, N+1번째, N+2번째, N-1번째 등의 라인을 골라내어 라인 합성을 행함으로써, 에어리어 카메라(5)가 촬영한 화상 데이터로부터, 복수의 촬영 각도(촬영 위치)로 촬영된 화상 데이터를 한번에 생성할 수 있다. 즉, 에어리어 카메라(5)가 촬영한 화상 데이터에 대하여 라인 합성을 행함으로써, 복수의 라인 센서가 병렬로 배치되어 있는 광학계로 촬영한 복수의 촬영 각도의 화상 데이터와 동등한, 복수매의 화상 데이터를 생성할 수 있다.

다음에, 에어리어 카메라(5)가 촬영한 480장의 화상 데이터로부터 라인 합성한 화상의 구체예를 설명한다. 도 5에 에어리어 카메라(5)가 촬영한 화상과, 에어리어 카메라(5)가 촬영한 480장의 화상 데이터로부터 라인 합성한 화상을 도시한다. 도 5의 (a)는, 에어리어 카메라(5)가 촬영한 화상이다. 도 5의 (a)는, 도 4의 (b)와 동일한 화상으로, 하부의 어두운 부분은 나이프 에지(7)에 의해서 광이 차단되어 있는 부분이며, 중심 부근의 밝은 부분은 선형 광원(4)으로부터의 광이 투과하고 있는 부분이며, 상부의 어두운 부분은 선형 광원(4)의 광이 닿고 있지 않아, 검사 대상으로부터 떨어져 있는 개소이다. 도 5의 (a)의 하단에서 상부를 향하여 돌출되어 있는 어두운 부분은, 표식을 위해 배치한 물체의 그림자이다. 도 5의 (a)의 흰 원으로 둘러싼 개소에 결함이 존재하지만, 에어리어 카메라(5)가 촬영한 화상 그대로에서는 결함을 시인할 수 없다.

도 5의 (b)는, 에어리어 카메라(5)가 촬영한 480장의 화상 데이터로부터 나이프 에지(7) 근방 라인을 골라내어 라인 합성한 화상이다. 구체적으로는, 나이프 에지(7)의 상단에서 조명측으로 210 ㎛ 떨어진 위치의 라인을 추출하여 라인 합성한 화상이다. 도 5의 (a)와 동일하게, 도 5의 (b)의 하단에서 상부를 향하여 돌출되어 있는 어두운 부분은, 표식을 위해 배치한 물체의 그림자이다. 도 5의 (b)를 보면, 겨우 세탁판 형상의 줄무늬(뱅크 마크) 같은 것을 시인할 수 있다. 이와 같이, 에어리어 카메라(5)가 촬영한 화상 그 자체로는 시인할 수 없던 결함이, 에어리어 카메라(5)가 촬영한 화상 데이터에 대하여 라인 합성함으로써 시인할 수 있게 된다.

다만, 라인 합성한 화상 그 자체로는, 결함을 명료히 식별하는 것이 어렵기 때문에, 라인 합성 화상에 대하여 화상 처리를 행한다. 그 화상 처리의 예로서, 도 6에 도시한 바와 같은 방법이 있다. 도 6의 (a)는, 라인 합성한 오리지널의 화상이며, 도 5의 (b)에 도시하는 화상과 동일하다. 도 6의 (b)는, 도 6의 (a)에 도시하는 화상에 대하여 7×7의 수직 미분 필터 처리를 행한 화상이다. 도 6의 (c)는, 도 6의 (b)에 도시하는 화상에 대하여 라플라시안 히스토그램법을 이용하여 고정한 임계값에 따라서 2값화한 화상이다. 이와 같이, 라인 합성한 화상에 대하여 화상 처리를 실시함으로써, 결함을 보다 현저히 식별할 수 있다.

이와 같이, 에어리어 카메라(5)에 의해서 촬영한 화상 데이터에 대하여 라인 합성을 실시함으로써, 복수의 상이한 광학 조건 하(촬영 각도)에서 라인 센서에 의해서 촬영한 화상과 동등한, 복수의 상이한 광학 조건 하의 화상을 한번에 생성할 수 있다. 따라서, 생성한 복수의 화상 중에서, 결함이 가장 잘 보이는 화상(최적의 광학 조건 하의 화상;예컨대, 도 5의 (b)와 같은 나이프 에지(7) 근방 라인을 골라내어 라인 합성한 화상)을 선택하고, 선택한 화상을 이용하여 결함 검출을 행하면, 최적의 광학 조건 하에서 라인 센서에 의해서 촬영한 화상을 이용하여 결함 검출을 행하는 것과 동일한 결과가 얻어진다. 그리고, 최적의 광학 조건이 되도록 라인 센서의 위치를 이동시키는 것보다도, 에어리어 카메라(5)로 촬영한 화상 데이터의 라인 합성에 의해서 얻어지는 복수의 화상 중에서, 결함이 가장 잘 보이는 화상을 선택하는 쪽이 용이하기 때문에, 결함 검사의 실시가 용이해져 결함 검사의 효율이 향상된다.

또한, 생성된 복수의 촬영 각도에 상당하는 각 라인 합성 화상에 대하여, 화상 처리를 행하고, 화상 처리를 실시한 각 라인 합성 화상 중에서 결함이 현저히 나타나 있는 화상을 선택하여 참조함으로써, 피검사물의 여러 가지 결함을 명료하게 인식할 수 있다.

그러나, 각 라인 합성 화상 중에서, 혹은 화상 처리한 각 라인 합성 화상 중에서, 수동으로 화상의 선택을 행하는 것은 그다지 효율적이지 않다. 또한, 피검사물에 결함이 있는 경우, 피검사물의 어느 부위에 결함이 있는지를 파악하기 위해서, 피검사물이 촬영되어 있는 개소에 결함이 있는지 여부를 리얼 타임으로 식별할 수 있는 것이 바람직하다.

따라서, 본 발명자는, 예의 연구의 결과, 생성된 복수의 촬영 각도에 상당하는 각 라인 합성 화상을 모두 사용하여, 피검사물의 여러 가지 결함을 명료하게, 리얼 타임으로 식별 가능한 화상을 생성하는 알고리즘을 개발하였다. 이 개발한 알고리즘을 RT-LCI(Real Time Line Composition and Integration:리얼 타임·라인 합성 적산)라 칭하고, 이하에 RT-LCI를 설명한다.

우선, RT-LCI를 행하는 화상 해석 장치(6)의 각부의 구성에 대해서 도 1에 기초하여 설명한다. 여기서, RT-LCI의 화상 처리를 행할 때에 사용하는 촬영 각도의 종류수를 k(k는 2이상의 정수)로 한다. 또한, 후술하는 미분 오퍼레이터의 행수를 m(m은 자연수)으로 한다.

또한, 촬영 각도의 종류수 k 및 미분 오퍼레이터의 행수 m은 임의로 설정할 수 있고, 미리 정해 두는 것이다. 또한, 설명을 간단히 하기 위해서, 에어리어 카메라(5)가 어느 화상을 촬영하고 나서 다음 화상을 촬영할 때까지(1프레임 기간) 피검사물(2)이 이동하는 거리를 이동 폭으로 하고, 후술의 데이터 추출부가 추출하는 라인 데이터(1라인의 부분 화상 데이터)의 폭이 나타내는 실거리(피검사물(2) 표면에서의 거리)는, 상기 이동 폭과 동일하다고 한다. 또한, 미분 오퍼레이터의 열수는, 2이상이라도 좋지만, 여기서는, 1인 것으로 한다.

도 1은, 화상 해석 장치(6)의 주요부의 구성을 도시한 기능 블록도이다. 전술한 바와 같이, 화상 해석 장치(6)는, 화상 처리부(10) 및 기억부(20)를 구비한다. 화상 처리부(10)는, 데이터 추출부(동일 라인 추출 수단)(11), 제1 구분 판정부(12), 데이터 저장부(라인 합성 수단)(13), 전체 구분 판정부(14), 변화량 산출부(오퍼레이터 연산 수단)(15), 동일 개소 판정 추출부(16), 적산부(적산 수단)(17) 및 화상 생성부(화상 생성 수단)(18)를 구비한다. 기억부(20)는, 제1 기억부(21), 제2 기억부(22), 제3 기억부(23) 및 제4 기억부(24)를 구비한다. 제2 기억부(22)는, 제1 영역(221), 제2 영역(222), 제k 영역(22k)을 구비한다. 제1 영역(221)∼제k 영역(22k)은 각각 m개의 구분으로 분할되어 있다.

데이터 추출부(11)는, 제1 추출부(111), 제2 추출부(112),···제k 추출부(11k)를 구비한다. 제1 추출부(111)는, 제1 기억부(21)에 저장되어 있는 화상 데이터로부터, 화상 데이터 상에 있어서의 소정의 위치의 라인 데이터(예컨대, 가장 아래의 라인 데이터)를 추출하는 것이다. 여기서, 제1 추출부(111)가 추출하는 소정의 위치의 라인 데이터를 1번째의 라인 데이터로 한다. 제2 추출부(112)는, 화상 데이터 상에 있어서의 상기 소정의 위치의 라인 데이터로부터 피검사물(2)의 이동 방향측에 인접하고 있는 라인 데이터(2번째의 라인 데이터)를 추출하는 것이다. 제k 추출부는, 화상 데이터 상에 있어서의 상기 소정의 위치의 라인 데이터로부터 피검사물(2)의 이동 방향을 향하여 k번째의 라인 데이터를 추출하는 것이다. 정리하면, 데이터 추출부(11)는, 복수의 상이한 화상 데이터 중에서 화상 데이터 상에 있어서의 위치가 동일한 1라인의 라인 데이터를 각각 추출하는 것이고, 상기 화상 데이터 상에 있어서의 상이한 복수의 위치에 대하여 상기 라인 데이터를 각각 추출하는 것이다.

제1 구분 판정부(12)는, 제1 판정부(121), 제2 판정부(122),···제k 판정부(12k)를 구비한다. 제1 판정부(121)는, 제2 기억부(22)에 있어서의 제1 영역(221)의 제1 구분에 라인 데이터가 이미 저장되어 있는지 여부를 판정하는 것이다. 제2 판정부(122)는 제2 기억부(22)에 있어서의 제2 영역(222)의 제1 구분에 라인 데이터가 이미 저장되어 있는지 여부를 판정하는 것이다. 제k 판정부(12k)는, 제2 기억부(22)에 있어서의 제k 영역(22k)의 제1 구분에 라인 데이터가 이미 저장되어 있는지 여부를 판정하는 것이다.

데이터 저장부(13)는, 제1 저장부(131), 제2 저장부(132),···제k 저장부(13k)를 구비한다. 제1 저장부(131)는, 제1 구분 판정부(12)의 제1 판정부(121)가 제1 영역(221)의 제1 구분에 라인 데이터가 없다고 판정한 경우, 제1 추출부(111)가 추출한 라인 데이터를 제1 영역(221)의 제1 구분에 저장한다. 한편, 제1 구분 판정부(12)의 제1 판정부(121)가 제1 영역(221)의 제1 구분에 라인 데이터가 있다고 판정한 경우, 제1 저장부(131)는, 제1 영역(221)의 각 구분에 저장되어 있는 데이터의 저장 장소를 각각 1구분씩 앞당겨 이동시킨다. 즉, 제1 구분에 저장되어 있는 라인 데이터를 제2 구분에 이동시키고, 제m-1 구분에 저장되어 있는 라인 데이터를 제 m의 구분에 이동시킨다. 이때, 제m 구분에 라인 데이터가 저장되어 있는 경우는, 그 라인 데이터를 파기 혹은 도시하지 않는 백업용의 장소에 이동시킨다. 제1 저장부(131)는, 각 구분에 저장되어 있는 라인 데이터의 저장 장소를 이동시킨 후, 제1 추출부(111)가 추출한 라인 데이터를 제1 영역(221)의 제1 구분에 저장한다. 또한, 제1 저장부(131)는, 제1 추출부(111)에 의해서 화상 데이터 상에 있어서의 소정의 위치의 라인 데이터가 복수 추출되면, 추출된 복수의 라인 데이터를 제1 영역(221)의 연속하는 구분에 저장시킴으로써, 추출된 복수의 라인 데이터를 하나의 라인 합성 화상 데이터에 합성한다.

제2 저장부(132)는, 제1 저장부(131)와 동일하게, 제1 구분 판정부(12)의 제2 판정부(122)의 판정에 기초하여, 제2 추출부(112)가 추출한 라인 데이터를 제2 영역(222)의 제1 구분에 저장한다. 또한, 제2 저장부(132)는, 제2 추출부(112)에 의해서 화상 데이터 상에 있어서의 동일한 위치의 라인 데이터가 복수 추출되면, 추출된 복수의 라인 데이터를 제2 영역(222)의 연속하는 구분에 저장시킴으로써, 추출된 복수의 라인 데이터를 하나의 라인 합성 화상 데이터에 합성한다.

제k 저장부(13k)는, 제1 저장부(131)와 동일하게, 제1 구분 판정부(12)의 제k 판정부(12k)의 판정에 기초하여, 제k 추출부(11k)가 추출한 라인 데이터를 제k 영역(22k)의 제1 구분에 저장한다. 또한, 제k 저장부(13k)는, 제k 추출부(11k)에 의해서 화상 데이터 상에 있어서의 동일한 위치의 라인 데이터가 복수 추출되면, 추출된 복수의 라인 데이터를 제k 영역(22k)의 연속하는 구분에 저장시킴으로써, 추출된 복수의 라인 데이터를 하나의 라인 합성 화상 데이터에 합성한다.

정리하면, 데이터 저장부(13)는, 데이터 추출부(11)에 의해서 추출된 라인 데이터를 시계열로 나열하여 복수 라인의 라인 합성 화상 데이터를 생성하는 것으로, 데이터 추출부(11)에 의해서 추출된 라인 데이터를, 화상 데이터 상에 있어서의 위치마다 시계열로 나열하여 상이한 복수의 라인 합성 화상 데이터를 생성하는 것이다.

전체 구분 판정부(14)는, 제1 판정부(141), 제2 판정부(142),···제k 판정부(14k)를 구비한다. 제1 판정부(141)는, 제1 영역(221)의 전체 구분(제1∼제m 구분)에 라인 데이터가 저장되어 있는지 여부를 판정하는 것이다. 제2 판정부(142)는, 제2 영역(222)의 전체 구분(제1∼제m 구분)에 라인 데이터가 저장되어 있는지 여부를 판정하는 것이다. 제k 판정부(14k)는, 제k 영역(22k)의 전체 구분(제1∼제m 구분)에 라인 데이터가 저장되어 있는지 여부를 판정하는 것이다.

변화량 산출부(15)는, 제1 산출부(151), 제2 산출부(152),···제k 산출부(15k)를 구비한다. 제1 산출부(151)는, 전체 구분 판정부(14)의 제1 판정부(141)가 전체 구분에 라인 데이터가 저장되어 있다고 판정한 경우에, 제1 영역(221)에 저장되어 있는 복수의 라인 데이터를 포함하는 라인 합성 화상 데이터에 대하여 미분 오퍼레이터 연산을 행하고, 그 결과로서 얻어진 강조 화상 데이터(1라인 또는 복수 라인의 화상 데이터)를 제3 기억부(23)에 저장한다. 제2 산출부(152)는, 전체 구분 판정부(14)의 제2 판정부(142)가 전체 구분에 라인 데이터가 저장되어 있다고 판정한 경우에, 제2 영역(222)에 저장되어 있는 복수의 라인 데이터를 포함하는 라인 합성 화상 데이터에 대하여 미분 오퍼레이터 연산을 행하고, 그 결과로서 얻어진 강조 화상 데이터(1라인 또는 복수 라인의 화상 데이터)를 제3 기억부(23)에 저장한다. 제k 산출부(15k)는, 전체 구분 판정부(14)의 제k 판정부(14k)가 전체 구분에 라인 데이터가 저장되어 있다고 판정한 경우에, 제k 영역(22k)에 저장되어 있는 복수의 라인 데이터를 포함하는 라인 합성 화상 데이터에 대하여 미분 오퍼레이터 연산을 행하고, 그 결과로서 얻어진 강조 화상 데이터(1라인 또는 복수 라인의 화상 데이터)를 제3 기억부(23)에 저장한다. 또한, 변화량 산출부(15)가 행하는 연산 처리의 상세는 후술한다. 정리하면, 변화량 산출부(15)는, 복수의 라인 합성 화상 데이터에 대하여 각각, 휘도 변화를 강조하는 오퍼레이터를 이용한 연산을 행함으로써, 1라인 또는 복수 라인의 강조 화상 데이터를 각각 생성하는 것이다.

동일 개소 판정 추출부(16)는, 제3 기억부(23)에 피검사물(2)의 동일 개소를 나타내는 전체 촬영 각도(k 종류)의 강조 화상 데이터가 저장되어 있는지 여부를 판정한다. 동일 개소 판정 추출부(16)는, 동일 개소를 나타내는 전체 촬영 각도의 강조 화상 데이터가 저장되어 있다고 판정한 경우는, 그 k 종류의 강조 화상 데이터를 각각 추출한다.

적산부(17)는, 동일 개소 판정 추출부(16)가 추출한, 피검사물(2)의 동일 개소를 나타내는 k 종류의 강조 화상 데이터의 휘도값을 화소마다 적산하여 1라인 또는 복수 라인의 결함 검사용 화상 데이터(RT-LCI 데이터)를 생성한다. 적산부(17)는, 적산한 k 종류의 강조 화상 데이터가 나타내는 피검사물(2)의 위치를, 적산한 결과의 결함 검사용 화상 데이터에 대응시켜 제4 기억부(24)에 저장한다.

화상 생성부(18)는, 제4 기억부(24)에 저장되어 있는 각 결함 검사용 화상 데이터에 대응되어 있는 피검사물(2)의 위치에 기초하여, 제4 기억부(24)에 저장되어 있는 각 결함 검사용 화상 데이터를 피검사물(2)의 위치 관계와 동일하게 나열하여 새로운 결함 검사용 화상 데이터(RT-LCI 데이터)를 합성하고, 합성된 결함 검사용 화상 데이터를 표시부(30)에 화상으로서 표시시킨다.

다음에, RT-LCI 를 행할 때의 화상 해석 장치(6)의 각부의 동작에 대해서 도 7에 기초하여 설명한다. 도 7은, RT-LCI 처리에 있어서의 화상 해석 장치(6)의 각부의 동작 플로우를 도시한 도면이다.

우선, 결함 검사 시스템(1)은, RT-LCI의 처리를 개시하면, 프레임 번호 i=1로 한다(S10). 피검사물(2)을 컨베어(3)에서 반송하면서 에어리어 카메라(5)로 촬영을 개시한다. 에어리어 카메라(5)는, 촬영한 화상 데이터를 화상 해석 장치(6)에 출력하고, 화상 해석 장치(6)는 그 화상 데이터를 제1 기억부(21)에 저장한다(S20).

제1 추출부(111)가 제1 기억부(21)에 저장되어 있는 화상 데이터로부터 소정의 위치의 라인 데이터(예컨대, 아래부터 1번째의 라인 데이터)를 추출한다(S41). 제1 추출부(111)는, 추출한 라인 데이터가 나타내는 피검사물(2)의 위치를 그 라인 데이터에 대응시킨다. 예컨대, 이동 폭과 라인 데이터가 나타내는 실거리의 폭이 동일한 경우, 제1 추출부(111)는 추출한 라인 데이터에 피검사물(2)의 위치를 나타내는 기호로서「pi」를 부가한다(i는 프레임 번호). 또한, 소정의 위치의 라인 데이터는, 미리 임의로 설정하여, 어떤 라인으로부터 데이터를 추출하는지를 결정해둔다.

제2 추출부(112)는, i≥2이면(S32에서 YES), 제1 추출부(111)가 추출하는 소정의 위치의 라인 데이터로부터 피검사물(2)의 이동 방향측에 인접하고 있는 라인 데이터를 추출한다(S42). 제2 추출부(112)는 추출한 라인 데이터가 나타내는 피검사물(2)의 위치를 그 라인 데이터에 대응시킨다. 예컨대, 이동 폭과 라인 데이터가 나타내는 실거리의 폭이 동일한 경우, 제2 추출부(112)는, 추출한 라인 데이터에 피검사물(2)의 위치를 나타내는 기호로서「p(i-1)」를 부가한다. S32에서 i=1(NO)이면, S140으로 진행한다.

제k 추출부(11k)는, i≥k이면(S3k에서 YES), 제1 추출부(111)가 추출하는 소정의 위치의 라인 데이터로부터 피검사물(2)의 이동 방향을 향하여 k번째의 라인 데이터를 추출한다(S4k). 제k 추출부(11k)는 추출한 라인 데이터가 나타내는 피검사물(2)의 위치를 그 라인 데이터에 대응시킨다. 예컨대, 이동 폭과 라인 데이터가 나타내는 실거리의 폭이 동일한 경우, 제k 추출부(11k)는, 추출한 라인 데이터에 피검사물(2)의 위치를 나타내는 기호로서「p(i-k+1)」를 부가한다. S3k에서 i<k(NO)이면, S140으로 진행한다.

다음에, 제1 구분 판정부(12)의 제1 판정부(121)는, 제2 기억부(22)의 제1 영역(221)의 제1 구분에 라인 데이터가 이미 저장되어 있는지 여부를 판정한다(S51).

제1 판정부(121)가 제1 영역(221)의 제1 구분에 라인 데이터가 있다고 판정한 경우(S51에서 YES), 제1 저장부(131)는, 제1 영역(221)의 각 구분에 저장되어 있는 라인 데이터의 저장 장소를 각각 1구분씩 앞당겨 이동시킨다(S61). 제1 저장부(131)는, 각 구분에 저장되어 있는 라인 데이터의 저장 장소를 이동시킨 후, 제1 추출부(111)가 추출한 라인 데이터를 제1 영역(221)의 제1 구분에 저장한다(S71). 한편, 제1 판정부(121)가 제1 영역(221)의 제1 구분에 라인 데이터가 없다고 판정한 경우(S51에서 NO), 제1 저장부(131)는, 제1 추출부(111)가 추출한 라인 데이터를 제1 영역(221)의 제1 구분에 저장한다(S71).

또한, 제1 구분 판정부(12)의 제2 판정부(122)는, 제2 기억부(22)의 제2 영역(222)의 제1 구분에 라인 데이터가 이미 저장되어 있는지 여부를 판정한다(S52).

제2 판정부(122)가 제2 영역(222)의 제1 구분에 라인 데이터가 있다고 판정한 경우(S52에서 YES), 제2 저장부(132)는, 제2 영역(222)의 각 구분에 저장되어 있는 라인 데이터의 저장 장소를 각각 1구분씩 앞당겨 이동시킨다(S62). 제2 저장부(132)는, 각 구분에 저장되어 있는 라인 데이터의 저장 장소를 이동시킨 후, 제2 추출부(112)가 추출한 라인 데이터를 제2 영역(222)의 제1 구분에 저장한다(S72). 한편, 제2 판정부(122)가 제2 영역(222)의 제1 구분에 라인 데이터가 없다고 판정한 경우(S52에서 NO), 제2 저장부(132)는, 제2 추출부(112)가 추출한 라인 데이터를 제2 영역(222)의 제1 구분에 저장한다(S72).

또한, 제1 구분 판정부(12)의 제k 판정부(12k)는, 제2 기억부(22)의 제k 영역(22k)의 제1 구분에 데이터가 이미 저장되어 있는지 여부를 판정한다(S5k). 제k 판정부(12k)가 제k 영역(22k)의 제1 구분에 라인 데이터가 있다고 판정한 경우(S5k에서 YES), 제k 저장부(13k)는, 제k 영역(22k)의 각 구분에 저장되어 있는 라인 데이터의 저장 장소를 각각 1구분씩 앞당겨 이동시킨다(S6k). 제k 저장부(13k)는, 각 구분에 저장되어 있는 라인 데이터의 저장 장소를 이동시킨 후, 제k 추출부(11k)가 추출한 라인 데이터를 제k 영역(22k)의 제1 구분에 저장한다(S7k). 한편, 제k 판정부(12k)가 제k 영역(22k)의 제1 구분에 라인 데이터가 없다고 판정한 경우(S5k에서 NO), 제k 저장부(13k)는, 제k 추출부(11k)가 추출한 라인 데이터를 제k 영역(22k)의 제1 구분에 저장한다(S7k).

다음에, 전체 구분 판정부(14)의 제1 판정부(141)가, 제1 영역(221)의 전체 구분에 라인 데이터가 저장되어 있는지 여부를 판정한다(S81). 전체 구분 판정부(14)의 제1 판정부(141)가 전체 구분에 라인 데이터가 저장되어 있다고 판정한 경우(S81에서 YES), 제1 산출부(151)는, 제1 영역(221)에 저장되어 있는 복수의 라인 데이터를 포함하는 라인 합성 화상 데이터에 대하여 미분 오퍼레이터 연산을 행하고, 그 결과로서 얻어진 강조 화상 데이터를 제3 기억부(23)에 저장한다(S91). 이때, 제1 영역(221)의 제m 구분에 저장되어 있는 라인 데이터에 대응되어 있는 피검사물(2)의 위치를 나타내는 기호를 미분 오퍼레이터 연산의 결과인 강조 화상 데이터에 대하여 부가한다. 한편, 제1 판정부(141)가 전체 구분에 라인 데이터가 저장되어 있지 않다고 판정한 경우(S81에서 NO), S140으로 진행한다.

또한, 전체 구분 판정부(14)의 제2 판정부(142)가, 제2 영역(221)의 전체 구분에 라인 데이터가 저장되어 있는지 여부를 판정한다(S82). 전체 구분 판정부(14)의 제2 판정부(142)가 전체 구분에 라인 데이터가 저장되어 있다고 판정한 경우(S82에서 YES), 제2 산출부(152)는, 제2 영역(222)에 저장되어 있는 복수의 라인 데이터를 포함하는 라인 합성 화상 데이터에 대하여 미분 오퍼레이터 연산을 행하고, 그 결과로서 얻어진 강조 화상 데이터를 제3 기억부(23)에 저장한다(S92). 이때, 제2 영역(222)의 제m 구분에 저장되어 있는 라인 데이터에 대응되어 있는 피검사물(2)의 위치를 나타내는 기호를 미분 오퍼레이터 연산의 결과인 강조 화상 데이터에 대하여 부가한다. 한편, 제2 판정부(142)가 전체 구분에 라인 데이터가 저장되어 있지 않다고 판정한 경우(S82에서 NO), S140으로 진행한다.

또한, 전체 구분 판정부(14)의 제k 판정부(14k)가, 제k 영역(22k)의 전체 구분에 라인 데이터가 저장되어 있는지 여부를 판정한다(S8k). 전체 구분 판정부(14)의 제k 판정부(14k)가 전체 구분에 라인 데이터가 저장되어 있다고 판정한 경우(S8k에서 YES), 제k 산출부(15k)는, 제k 영역(22k)에 저장되어 있는 복수의 라인 데이터를 포함하는 라인 합성 화상 데이터에 대하여 미분 오퍼레이터 연산을 행하고, 그 결과로서 얻어진 강조 화상 데이터를 제3 기억부(23)에 저장한다(S9k). 이때, 제k 영역(22k)의 제m 구분에 저장되어 있는 라인 데이터에 대응되어 있는 피검사물(2)의 위치를 나타내는 기호를 미분 오퍼레이터 연산의 결과인 강조 화상 데이터에 대하여 부가한다. 한편, 제k 판정부(14k)가 전체 구분에 라인 데이터가 저장되어 있지 않다고 판정한 경우(S8k에서 NO), S140으로 진행한다.

다음에, 동일 개소 판정 추출부(16)가, 제3 기억부(23)에 저장되어 있는 강조 화상 데이터에 대응되어 있는 피검사물(2)의 위치를 나타내는 기호를 참조하여, 피검사물(2)의 동일 개소를 나타내는 전체 촬영 각도(k 종류)의 강조 화상 데이터가 저장되어 있는지 여부를 판정한다(S100). 동일 개소 판정 추출부(16)가, 피검사물(2)의 동일 개소를 나타내는 전체 촬영 각도의 강조 화상 데이터가 저장되어 있지 않다고 판정한 경우(S100에서 NO), S140으로 진행한다. 한편, 동일 개소 판정 추출부(16)는, 피검사물(2)의 동일 개소를 나타내는 전체 촬영 각도의 강조 화상 데이터가 저장되어 있다고 판정한 경우(S100에서 YES), 그 전체 촬영 각도인 k 종류의 강조 화상 데이터를 추출한다.

적산부(17)는, 동일 개소 판정 추출부(16)가 추출한 k 종류의 강조 화상 데이터의 휘도값을 화소마다 적산한다(S110). 적산부(17)는, 적산한 k 종류의 강조 화상 데이터에 대응되어 있는 피검사물(2)의 위치를 나타내는 기호를 적산한 결과의 결함 검사용 화상 데이터(RT-LCI 데이터)에 대응시켜 제4 기억부에 저장한다. 화상 생성부(18)는, 제4 기억부에 저장되어 있는 각 RT-LCI 데이터에 대응되어 있는 피검사물(2)의 위치를 나타내는 기호에 기초하여, 제4 기억부에 저장되어 있는 각 RT-LCI 데이터를 피검사물(2)의 위치 관계와 동일하게 나열하여 새로운 결함 검사용 화상 데이터(RT-LCI 데이터)를 합성한다(S120). 그리고, 화상 생성부(18)는, 그 나열한 RT-LCI 데이터를 표시부(30)에 표시시킨다(S130). 화상 생성부(18)가 표시부(30)에 RT-LCI 데이터를 표시시킨 후, 프레임 번호 i=i+1로서, S20에 되돌아간다.

이와 같이, 에어리어 카메라(5)가 촬영한 화상 데이터에 대하여 리얼 타임·라인 합성 적산(RT-LCI) 처리를 행함으로써, 복수의 촬영 각도인 산란 광학계 화상의 적산 화상을 연속적으로 얻을 수 있다.

다음에, RT-LCI의 화상 처리를 보다 구체적으로 설명하기 위해서, 제1∼제4 기억부에 저장되는 화상 데이터 및 표시부(30)에 표시되는 화상에 대해서 도 8a, 도 8b 및 도 8c에 기초하여 설명한다. 도 8a는, 각 기억부에 저장되는 화상 데이터 및 표시부(30)에 표시되는 화상의 상태를 1프레임마다 도시한 상태 천이도이다. 도 8a의 횡축은 시간(프레임 단위의 시간)을 도시한다. 또한, 촬영 각도의 종류수 k=3, 미분 오퍼레이터의 행수 m=5로 설정되어 있다고 한다. 또한, 에어리어 카메라(5)의 화소수를 폭 n화소(피검사물(2)의 이동 방향에 직교하는 방향의 사이즈; n은 2이상의 정수)×높이(피검사물(2)의 이동 방향을 따른 사이즈) 9화소로 하고, 1라인의 폭을 1화소로 한다. 즉 1라인의 화소수를 n화소×1화소로 한다. 또한, 여기서도, 1프레임당 피검사물(2)이 컨베어(3)에 의해서 이동하는 거리(이동 폭)와 1라인의 폭이 나타내는 실거리는 동일하다고 한다. 즉, 1화소가 나타내는 실거리(1화소의 해상도)가 상기 이동 폭과 동일하다고 한다.

도 8b에 도시하는 400은, 피검사물(2)을 도시하는 것으로, 400에 기재된 기호 p1, p2···는, 피검사물(2)의 부위를 도시하고, 각 부위 p1, p2···는, 이동 폭마다로 분할되어 있다. 도 8b에 도시한 바와 같이, 피검사물(2)은, 에어리어 카메라(5)의 촬영 범위(401)의 하측으로부터 상측을 향하여 컨베어(3)에 의해서 반송된다고 한다.

도 8a에 도시하는 410은, 제1 기억부(21)에 저장되어 있는 화상 데이터를 도시한다. 즉, 에어리어 카메라(5)가 촬영한 화상 그대로의 화상 데이터이다. 화상 데이터 301∼310는, 각각 프레임 번호 i=1∼10의 시에 촬영된 화상 데이터이다. 화상 데이터 301∼310는, 전술한 바와 같이, n화소×9화소의 화소수이며, 9개의 라인 데이터를 포함한다. 여기서, 각 화상 데이터 301∼310를 9개의 라인 데이터로 분할하고, 각 화상 데이터 301∼310의 아래부터 순서대로 제1 라인, 제2 라인, ···제9 라인이라 칭한다. 또한, 촬영 각도의 종류수 k=3이기 때문에, 여기서는, 제1 라인, 제2 라인, 제3 라인으로부터 라인 데이터를 추출하는 것으로 한다. 즉, 전술한 소정의 위치의 라인 데이터를 제1 라인 데이터(가장 아래의 라인 데이터)로 한다. 후의 화상 데이터의 설명을 위해, 제1 라인을 촬영 각도 A로 하고, 제2 라인을 촬영 각도 B로 하며, 제3 라인을 촬영 각도 C로 한다. 또한, 각 화상 데이터 301∼310에는, 설명의 편의를 위해, 라인 데이터마다 대응하는 피검사물(2)의 부위 p1, p2,··· 및 촬영 각도 A∼C가 부기되어 있다. 구체적으로는, 예컨대, 「p1-A」란, 촬영 각도 A, 즉, 제1 라인에 대응하는 라인 데이터로서, 피검사물(2)의 부위 p1에 대응하는 라인 데이터인 것을 나타낸다.

도 8a에 도시하는 420은, 제2 기억부(22)에 저장되어 있는 1라인 이상 m라인(이 예에서는 5라인) 이하의 라인 데이터를 도시한다. 또한, 421은 제1 영역(221)에, 422는 제2 영역(222)에, 423는 제3 영역(223)에, 각각 저장되어 있는 1라인 이상 m라인(이 예에서는 5라인) 이하의 라인 데이터를 도시한다. 즉, 라인 합성 화상 데이터 311∼320은, 제1 영역(221)에 저장되어 있는 1라인 이상 m라인(이 예에서는 5라인) 이하의 라인 데이터이고, 라인 합성 화상 데이터 321∼330은, 제2 영역(222)에 저장되어 있는 1라인 이상 m라인(이 예에서는 5라인) 이하의 라인 데이터이며, 라인 합성 화상 데이터 331∼340은, 제3 영역(223)에 저장되어 있는 1라인 이상 m라인(이 예에서는 5라인) 이하의 라인 데이터이다. 제1 영역(221)∼제3 영역(223)은, 미분 오퍼레이터의 행수 m=5이기 때문에, 각각 5개의 구분으로 분할되어 있다. 각 라인 합성 화상 데이터 311∼340은, 1개 이상 5개 이하의 라인 데이터로 구성되어 있고, 각 라인 합성 화상 데이터 311∼340의 아래부터 순서대로, 각 영역의 제1 구분, 제2 구분, ···제5 구분에 저장되어 있는 라인 데이터를 도시한다. 또한, 각 라인 합성 화상 데이터 311∼340에는, 설명의 편의를 위해 라인 데이터마다 대응하는 피검사물(2)의 부위 p1, p2,··· 및 촬영 각도 A∼C가 부기되어 있다.

도 8a에 도시하는 430은, 제3 기억부(23)에 저장되어 있는 강조 화상 데이터를 도시한다. 430의 각 강조 화상 데이터에는, 설명의 편의를 위해, 강조 화상 데이터마다, 대응하는 피검사물(2)의 부위 p3, p4,··· 및 촬영 각도 A∼C가 부기되어 있다.

또한, 도 8a에 도시하는 440은, 제4 기억부(24)에 저장되어 있는 결함 검사용 화상 데이터(RT-LCI 데이터)를 도시한다. 그리고, 도 8a에 도시하는 450은, 표시부(30)에 표시되어 있는 화상을 도시한다. RT-LCI 데이터 361∼370 및 화상 381∼384에도, 설명의 편의를 위해, 라인마다, 대응하는 피검사물(2)의 부위 p3, p4,···가 부기되어 있다.

또한, 도 8c는 최초에 생성되는 RT-LCI 데이터를 생성하는 처리를 도시한 도면이다. 도 8c의 종축은 시간(프레임 단위의 시간)을 도시한다. 도 8a와 동일하게, 촬영 각도의 종류수 k=3, 미분 오퍼레이터의 행수 m=5로 설정되어 있다고 한다. 도 8c에 있어서, 도 8a에 도시하는 데이터와 동일한 데이터에는 동일한 참조 부호를 붙이고 있다. 도 8c에 도시하는 a₁, a₂,···a_m 은, 미분 오퍼레이터의 1, 2,···, m행째의 요소를 도시한다.

이들을 근거로 하여, 이하에 RT-LCI의 구체적인 처리를 설명한다. 또한, RT-LCI의 처리의 개시 시에는, 각 기억부에는 아무것도 데이터가 저장되어 있지 않은 것으로 한다. 또한, 에어리어 카메라(5)의 촬영 범위(401)에, 피검사물(2)의 상단부 p1이 들어갔을 때에 RT-LCI의 처리를 개시하는 것으로 한다.

화상 데이터 301은, 프레임 번호 i=1일 때에 촬영된 데이터이며, 피검사물(2)의 상단부 p1이 제1 라인에 걸려 있는 상태를 나타낸다. 이때, 제1 추출부(111)가 화상 데이터 301의 제1 라인(소정의 라인)으로부터 라인 데이터 p1-A를 추출하고, 제1 저장부(131)가, 제1 추출부(111)에 의해서 추출된 라인 데이터 p1-A를 제1 영역(221)의 제1 구분에 저장한다. 라인 합성 화상 데이터 311는, 그때의 제1 영역(221)에 저장되어 있는 라인 데이터를 나타낸다. 프레임 번호 i=1이기 때문에, 제2 추출부(112) 및 제3 추출부(113)는 처리를 행하지 않고, 또한, 제1 영역(221)의 전체 구분에 라인 데이터도 없기 때문에, 다음 프레임으로 이행하는 것을 기다린다.

프레임 번호 i=2일 때, 피검사물(2)의 상단부 p1은 제2 라인에 위치하고, p2가 제1 라인상에 있다. 이때 에어리어 카메라(5)가 촬영한 화상 데이터가 화상 데이터 302이다. 제1 추출부(111)는, 화상 데이터 302의 제1 라인으로부터 라인 데이터 p2-A를 추출한다. 이때, 제1 구분 판정부(12)의 제1 판정부(121)는, 제1 영역(221)의 제1 구분에 라인 데이터가 있다고 판정하기 때문에, 제1 저장부(131)는, 제1 영역(221)의 제1 구분에 있는 라인 데이터 p1-A(부위 p1에 대응되어 있는 제1 라인의 라인 데이터)를 제1 영역(221)의 제2 구분으로 이동하고, 제1 추출부(111)가 추출한 라인 데이터 p2-A(부위 p2에 대응되어 있는 라인 데이터)를 제1 영역(221)의 제1 구분에 저장한다. 또한, 프레임 번호 i=2이기 때문에, 제2 추출부(112)가 화상 데이터 302의 제2 라인으로부터 라인 데이터 p1-B를 추출하고, 제2 저장부(132)가, 제2 추출부(112)에 의해서 추출된 라인 데이터 p1-B를 제2 영역(222)의 제1 구분에 저장한다. 여기서도, 제1 영역(221) 및 제2 영역(222)의 전체 구분에 라인 데이터가 없기 때문에, 다음 프레임으로 이행하는 것을 기다린다.

프레임 번호 i=3일 때, 피검사물(2)의 상단부 p1은 제3 라인에 위치하고, 부위 p3까지가 에어리어 카메라(5)의 촬영 범위(401)에 들어가 있다. 이때 에어리어 카메라(5)가 촬영한 화상 데이터가 화상 데이터 303이다. 조금전까지와 마찬가지로, 제1 추출부(111) 및 제2 추출부(112)는, 각각 화상 데이터 303의 제1 라인, 제2 라인으로부터 라인 데이터 p3-A 및 p2-B를 추출하고, 제1 저장부(131), 제2 저장부(132)가 각각, 제1 영역(221), 제2 영역(222)에 저장이 완료된 라인 데이터를 1구분씩 위로 이동하여, 제1 영역(221), 제2 영역(222)의 제1 구분에 라인 데이터 p3-A 및 p2-B를 저장한다. 여기서, 프레임 번호 i=3이기 때문에, 제3 추출부(113)가 화상 데이터 303의 제3 라인으로부터 라인 데이터 p1-C를 추출하고, 제3 저장부가, 제3 추출부(113)에 의해서 추출된 라인 데이터 p1-C를 제3 영역(223)의 제1 구분에 저장한다. 여기서도, 제1 영역(221), 제2 영역(222) 및 제3 영역(223)의 전체 구분에 라인 데이터가 없기 때문에, 다음 프레임으로 이행하는 것을 기다린다.

프레임 번호 i=4, 5일 때에도 마찬가지로, 제1∼제3 추출부(111∼113)는, 화상 데이터 304, 305의 제1∼제3 라인으로부터 라인 데이터 p4-A, p3-B, p2-C 및 라인 데이터 p5-A, p4-B, p3-C를 각각 추출하고, 제1∼제3 저장부(131∼133)가 각각, 제1∼제3 영역(221∼223)에 저장이 완료된 라인 데이터를 1구분씩 위로 이동하여, 제1∼제3 영역(221∼223)의 제1 구분에 라인 데이터 p4-A, p3-B, p2-C 및 라인 데이터 p5-A, p4-B, p3-C를 저장한다. 이들에 의해, 제1 영역(221)에 저장되어 있는 라인 합성 화상 데이터 315는, 제1∼제5 프레임의 화상 데이터 301∼305에 있어서의 제1 라인(촬영 각도 A)을 합성한 라인 합성 화상 데이터가 된다. 프레임 번호 i=5에 있어서, 라인 합성 화상 데이터 315가 나타내는 바와 같이, 제1 영역(221)의 전체 구분에 라인 데이터가 저장되어 있기 때문에, 전체 구분 판정부(14)의 제1 판정부(141)는, 제1 영역(221)의 전체 구분에 라인 데이터가 있다고 판정하고, 제1 산출부(151)가 라인 합성 화상 데이터 315에 대하여 미분 오퍼레이터 연산(미분 필터를 가하는 연산 처리)을 행하고, 라인 합성 화상 데이터 315)의 중심 라인 데이터, 즉 제1 영역의 제3 구분에 저장되어 있는 라인 데이터 p3-A에 있어서의 휘도 경사의 절대값을 나타내는 강조 화상 데이터 341을 생성하여, 제3 기억부(23)에 저장한다. 또한, 이때 제1 산출부(151)는, 제1 영역의 제3 구분에 저장되어 있는 라인 데이터 p3-A에 대응되어 있는 피검사물(2)의 부위를 나타내는 기호 p3 및 라인 합성 화상 데이터 315의 대응하고 있는 촬영 각도를 나타내는 기호 A를 미분 오퍼레이터 연산 결과의 강조 화상 데이터에 대하여 부가한다. 여기서, 동일 개소 판정 추출부(16)가 제3 기억부(23)에 피검사물(2)의 동일 개소(부위)를 나타내는 전체 촬영 각도(3종류)의 강조 화상 데이터가 저장되어 있는지 여부를 판정하지만, 제3 기억부(23)에는, 강조 화상 데이터 341밖에 없기 때문에, 다음 프레임으로 이행하는 것을 기다린다.

프레임 번호 i=6에서는, 제1∼제3 추출부(111∼113)는, 화상 데이터 306의 제1∼제3 라인으로부터 라인 데이터 p6-A, p5-B, p4-C를 각각 추출하고, 제1∼제3 저장부(131∼133)가 각각, 제1∼제3 영역(221∼223)에 저장이 완료된 라인 데이터를 1구분씩 위로 이동하여, 제1∼제3 영역(221∼223)의 제1 구분에 라인 데이터 p6-A, p5-B, p4-C를 저장한다. 이들에 의해, 제1 영역(221) 및 제2 영역(222)에 저장되어 있는 라인 합성 화상 데이터 316 및 라인 합성 화상 데이터 326은, 제2∼제6 프레임의 화상 데이터 302∼306에 있어서의 제1 라인(촬영 각도 A)을 합성한 라인 합성 화상 데이터, 및 제2∼제6 프레임의 화상 데이터 302∼306에 있어서의 제2 라인(촬영 각도 B)을 합성한 라인 합성 화상 데이터가 된다. 제1 영역(221), 제2 영역(222)의 전체 구분에 라인 데이터가 저장되어 있기 때문에, 제1 산출부(151)가 라인 합성 화상 데이터 316에 미분 오퍼레이터 연산을 행하여, 라인 데이터 p4-A에 있어서의 휘도 경사의 절대값을 나타내는 라인 화상 데이터 344를 생성하고, 제2 산출부(152)가 부분 화상 데이터 326에 미분 오퍼레이터 연산을 행하여, 라인 데이터 p3-B에 있어서의 휘도 경사의 절대값을 나타내는 강조 화상 데이터 343을 생성하며, 생성한 강조 화상 데이터 344를 기호 p4 및 기호 A를 부가하여 제3 기억부(23)에 저장하고, 생성한 강조 화상 데이터 343을 기호 p3 및 기호 B를 부가하여 제3 기억부(23)에 저장한다. 여기서도, 제3 기억부(23)에 피검사물(2)의 동일 개소(부위)를 나타내는 전체 촬영 각도(3종류)의 휘도 데이터가 저장되어 있지 않기 때문에, 다음에 프레임으로 이행하는 것을 기다린다.

프레임 번호 i=7에서는, 제1∼제3 추출부(111∼113)는, 화상 데이터 307의 제1∼제3 라인으로부터 라인 데이터 p7-A, p6-B, p5-C를 각각 추출하고, 제1∼제3 저장부(131∼133)가 각각, 제1∼제3 영역(221∼223)에 저장이 완료된 라인 데이터를 1구분씩 위로 이동하여, 제1∼제3 영역(221∼223)의 제1 구분에 라인 데이터 p7-A, p6-B, p5-C를 저장한다. 이들에 의해, 제1∼제3 영역(221∼223)에 저장되어 있는 라인 합성 화상 데이터 317, 327, 337은, 제3∼제7 프레임의 화상 데이터 303∼307에 있어서의 제1 라인(촬영 각도 A)을 합성한 라인 합성 화상 데이터, 제3∼제7 프레임의 화상 데이터 303∼307에 있어서의 제2 라인(촬영 각도 B)을 합성한 라인 합성 화상 데이터, 및 제3∼제7 프레임의 화상 데이터 303∼307에 있어서의 제3 라인(촬영 각도 C)을 합성한 라인 합성 화상 데이터가 된다. 제1 영역(221), 제2 영역(222), 제3 영역(223)의 전체 구분에 라인 데이터가 저장되어 있기 때문에, 제1 산출부(151)가 라인 합성 화상 데이터 317에 미분 오퍼레이터 연산을 행하여, 라인 데이터 p5-A에 있어서의 휘도 경사의 절대값을 나타내는 강조 화상 데이터 350을 생성하고, 제2 산출부(152)가 라인 합성 화상 데이터 327에 미분 오퍼레이터 연산을 행하여, 라인 데이터 p4-B에 있어서의 휘도 경사의 절대값을 나타내는 강조 화상 데이터 349를 생성하며, 제3 산출부(153)가 라인 합성 화상 데이터 337에 미분 오퍼레이터 연산을 행하여, 라인 데이터 p3-C에 있어서의 휘도 경사의 절대값을 나타내는 강조 화상 데이터 347을 생성하고, 각각 생성한 강조 화상 데이터 350, 349, 347을 제3 기억부(23)에 저장한다. 이때, 제3 기억부(23)에 피검사물(2)의 동일 부위 p3을 나타내는 전체 촬영 각도(A, B, C의 3종류)의 강조 화상 데이터(강조 화상 데이터 345∼347)가 저장되어 있기 때문에, 적산부(17)가 강조 화상 데이터 345, 346, 347의 휘도값을 적산하여, 부위 p3의 RT-LCI 데이터 361을 생성하고 제4 기억부(24)에 저장한다. 그리고, 화상 생성부(18)는 부위 p3의 RT-LCI 데이터 361를 새로운 결함 검사용 화상 데이터로서 표시부(30)에 출력하고, 표시부(30)는 결함 검사용 화상(381)을 표시한다.

여기서, 도 8c에 기초하여, 재차, RT-LCI 데이터(361)의 생성 처리에 대하여 설명한다. 도 8c에 도시한 바와 같이, 프레임 번호 i=5(m)에 있어서, 5(m)프레임의 화상 데이터 301∼305의 동일 라인을 합성한 라인 합성 화상 데이터 315에 대하여 5(m)행 1열의 미분 오퍼레이터 연산을 행하여, 라인 데이터 p3-A에 있어서의 휘도 경사의 절대값을 나타내는 강조 화상 데이터 341(후속의 프레임에서는 강조 화상 데이터 342, 345 등이 됨)을 생성한다. 다음에, 프레임 번호 i=6에 있어서, 5프레임의 화상 데이터 302∼306의 동일 라인을 합성한 라인 합성 화상 데이터 326에 대하여 5행 1열의 미분 오퍼레이터 연산을 행하고, 라인 데이터 p3-B에 있어서의 휘도 경사의 절대값을 나타내는 강조 화상 데이터 343(후속의 프레임에서는 강조 화상 데이터 346 등이 됨)을 생성한다. 그리고, 프레임 번호 i=7(=m+k-1)에 있어서, 5프레임의 화상 데이터 303∼307의 동일 라인을 합성한 라인 합성 화상 데이터 337에 대하여 5행 1열의 미분 오퍼레이터 연산을 행하고, 라인 데이터 p3-C에 있어서의 휘도 경사의 절대값을 나타내는 강조 화상 데이터 347을 생성한다. 생성한 3(k) 프레임의 동일 관측 위치의 강조 화상 데이터 345∼347의 휘도값을 적산하여 부위 p3의 RT-LCI 데이터(361)가 생성된다.

프레임 번호 i=8에서는, 제1∼제3 추출부(111∼113)는, 화상 데이터 308의 제1∼제3 라인으로부터 라인 데이터 p8-A, p7-B, p6-C를 각각 추출하고, 제1∼제3 저장부(131∼133)가 각각, 제1∼제3 영역(221∼223)에 저장이 완료된 라인 데이터를 1구분씩 위로 이동하여, 제1∼제3 영역(221∼223)의 제1 구분에 라인 데이터 p8-A, p7-B, p6-C를 저장한다. 이들에 의해, 제1∼제3 영역(221∼223)에 저장되어 있는 라인 합성 화상 데이터 318, 328, 338은, 제4∼제8 프레임의 화상 데이터 304∼308에 있어서의 제1 라인(촬영 각도 A), 제2 라인(촬영 각도 B), 제3 라인(촬영 각도 C)을 합성한 라인 합성 화상 데이터가 된다. 제1 영역(221), 제2 영역(222), 제3 영역(223)의 전체 구분에 라인 데이터가 저장되어 있기 때문에, 제1 산출부(151)가 라인 합성 화상 데이터 318에 미분 오퍼레이터 연산을 행하여, 라인 데이터 p6-A에 있어서의 휘도 경사의 절대값을 나타내는 강조 화상 데이터 356을 생성하고, 제2 산출부(152)가 라인 합성 화상 데이터 328에 미분 오퍼레이터 연산을 행하여, 라인 데이터 p5-B에 있어서의 휘도 경사의 절대값을 나타내는 강조 화상 데이터 355를 생성하며, 제3 산출부(153)가 라인 합성 화상 데이터 338에 미분 오퍼레이터 연산을 행하여, 라인 데이터 p4-C에 있어서의 휘도 경사의 절대값을 나타내는 강조 화상 데이터 353을 생성하고, 각각 생성한 강조 화상 데이터 356, 355, 353을 제3 기억부(23)에 저장한다. 이때, 제3 기억부(23)에 피검사물(2)의 동일 부위 p4를 나타내는 전체 촬영 각도(A, B, C의 3종류)의 강조 화상 데이터(강조 화상 데이터 351∼353)가 저장되어 있기 때문에, 적산부(17)가 강조 화상 데이터 351∼353의 휘도값을 적산하고, 부위 p4의 RT-LCI 데이터 363을 생성하여 제4 기억부(24)에 저장한다. 그리고, 화상 생성부(18)가 RT-LCI 데이터 362, 363을 피검사물(2)의 위치 관계와 대응하도록 위에서 p3, p4가 되도록 RT-LCI 데이터 362, 363을 나열하여 새로운 결함 검사용 화상 데이터를 합성하고, 표시부(30)에 출력한다. 이때, 표시부(30)는 부위 p3, p4의 결함 검사용 화상(382)을 표시한다.

이하 마찬가지로 하여, 프레임 번호 i=9에서는, 부위 p3, p4, p5의 RT-LCI 데이터를 나열하여 합성한 결함 검사용 화상 데이터가 표시부(30)에 출력되어, 표시부(30)에 부위 p3, p4, p5의 결함 검사용 화상이 표시되고, 프레임 번호 i=10에서는, 부위 p3, p4, p5, p6의 RT-LCI 데이터를 나열하여 합성한 결함 검사용 화상 데이터가 표시부(30)에 출력되어, 표시부(30)에 부위 p3, p4, p5, p6의 결함 검사용 화상이 표시된다. 그리고, 예컨대, 피검사물(2)의 부위가 부위 p1∼p478이라고 하면, 최종적으로, 프레임 번호 i=480에 있어서, 부위 p3∼p476의 RT-LCI 데이터를 모두 합성한 결함 검사용 화상 데이터가 표시부(30)에 출력되어, 표시부(30)에 부위 p3∼p478의 결함 검사용 화상이 표시된다. 따라서, 피검사물(2)의 대부분(474/478)에 대한 결함 검사용 화상 데이터를 얻을 수 있다. 또한, 피검사물(2)의 부위 p3∼p476만을 피검사물로 하면, 그 피검사물 전체에 대한 결함 검사용 화상 데이터를 얻을 수 있다.

다음에, 변화량 산출부(15)가 행하는 연산 처리의 상세를 도 9에 기초하여 설명한다. 여기서는, 설명의 간략화를 위해, 에어리어 카메라(5)의 화소수를 가로 4화소×세로 9화소(n=4)로 한다.

이외에는, 도 8a∼도 8c의 설명에서 이용한 조건을 그대로 적용한다. 도 9는, 제2 기억부(22)에 저장되어 있는 복수의 라인 데이터를 포함하는 라인 합성 화상 데이터, 변화량 산출부(15)가 이용하는 미분 오퍼레이터, 변화량 산출부(15)가 산출한 강조 화상 데이터의 값의 일례를 도시한 도면이다.

도 9에 도시하는 행렬 461은, 제2 기억부(22)에 저장되어 있는 5개의 라인 데이터를 포함하는 라인 합성 화상 데이터(도 8a 및 도 8c에 도시하는 라인 합성 화상 데이터 315, 326, 337 등에 해당함)의 전체 화소의 휘도값을 요소로 하는 5행 4열의 행렬이다. 도 9에 도시하는 행렬 462는, 변화량 산출부(15)가 이용하는 5행 1열의 미분 오퍼레이터(미분 필터)이다. 도 9에 도시하는 행렬 463은, 변화량 산출부(15)가 산출한 세로 방향의 휘도 경사를 요소로 하는 5행 4열의 행렬이다. 도 9에 도시하는 행렬 464는, 행렬 463의 절대값을 취한 것으로, 도 8a에 도시하는 강조 화상 데이터 341∼356의 전체 화소의 휘도값을 도시한다.

변화량 산출부(15)는, 행렬 461에 대하여 미분 오퍼레이터의 행렬 462를 곱한다. 구체적으로는, 우선, 행렬 461의 제1열에 대하여 행렬 462를 곱하여 행렬 463의 제1열의 값을 산출한다. 즉, 행렬 461의 제1열에 대하여 이하의 계산을 행함으로써, 행렬 463의 제1열의 값을 산출한다. 그 계산이란, 98×(-2)+99×(-1)+100×0+101×1+102×2=10이다. 계속해서, 행렬 461의 제2∼4열에 대하여 마찬가지로 행렬 462를 곱하여 행렬 463의 제2∼4열의 값을 산출하고, 행렬 463을 라인 합성 화상 데이터의 중심 라인의 휘도 데이터로서 생성한다. 이와 같이, 변화량 산출부(15)는, 5개의 라인 데이터를 포함하는 라인 합성 화상 데이터에 대하여 미분 오퍼레이터를 곱함으로써, 라인 합성 화상 데이터의 중심 라인 데이터의 세로 방향 휘도 경사를 산출하여, 휘도 데이터를 생성한다. 라인 합성 화상 데이터의 휘도값의 경사를 산출함으로써, 피검사물(2) 상에 있는 미소한 결함, 얇은 결함, 희미한 결함을 검출하는 것이 용이해진다.

또한, 변화량 산출부(15)가 산출한 휘도 경사는, 0이 아니면 피검사물(2)의 그 부위에 결함이 있는 것을 나타내는 것이다(다만, 휘도 경사가 0에 가까운 경우에는, 결함이 아니라 노이즈일 가능성이 있음). 피검사물(2)에 결함이 있는 경우, 피검사물(2)에 있어서, 선형 광원(4)으로부터의 광이 나이프 에지(7)에 의해서 차광되지 않고서 입사하는 영역에서는 결함이 암이 되고, 선형 광원(4)으로부터의 광이 나이프 에지(7)에 의해서 차광되어 직접적으로 입사하지 않는 영역에서는 결함이 명으로서 촬영된다. 그 때문에, 휘도 경사의 값의 부호는 결함의 유무에 영향을 주지 않고, 휘도 경사의 크기가 결함의 유무를 판단할 때에 중요하게 된다. 따라서, 변화량 산출부(15)는, 도 9에 도시하는 행렬 464와 같이, 변화량 산출부(15)가 생성한 휘도 경사의 행렬 463의 절대값을 들어 행렬 464를 생성한다. 이상과 같이 하여, 변화량 산출부(15)는 라인 합성 화상 데이터의 중심 라인에 있어서의 각 화소의 휘도값을 각 화소에서의 세로 방향 휘도 경사의 절대값으로 치환하여 새로운 1라인의 강조 화상 데이터를 생성한다. 이와 같이, 휘도 경사의 절대값을 이용함으로써, 명측에 비치는 결함도 암측에 비치는 결함도 동일하게 플러스에 기여하여, 결함의 유무의 식별이 보다 용이해진다. 또한, 명측 및 암측의 결함을 동일하게 취급할 수 있기 때문에, 광학계의 위치 결정을 할 때에, 에어리어 카메라(5)의 촬영 범위를, 나이프 에지(7)를 걸치도록 배치하는 것만으로 충분해진다. 또한, 나이프 에지(7)의 위치 결정을 할 때에, 에어리어 카메라(5)의 수평 방향과 엄밀하게 맞추지 않더라도 정밀도 좋게 검사를 행할 수 있다. 즉, 종래와 비교하여, 암시야법에 있어서의 광학계의 배치를 고정밀도로 행할 필요가 없어 간단해진다. 그 때문에, 결함 검사 시스템의 검사 능력, 및, 결함 검사 시스템의 장치계, 특히 광학계의 메인터넌스성이 향상된다.

또한, 에어리어 카메라(5)가 촬영한 화상 데이터에 대하여 RT-LCI 처리를 행함으로써, 피검사물(2)의 두께 및 휘어짐의 영향을 받지 않고서, 정밀도 좋게 결함을 검출할 수 있다. 종래의 투과 산란법으로는, 도 10의 (a) 및 (b)에 도시한 바와 같이, 피검사물(2)이 비교적 두껍거나, 혹은, 피검사물(2)이 휘어 있는 경우, 선형 광원(4)으로부터 조사된 광이 피검사물(2)을 투과할 때에, 굴절하여 에어리어 카메라(5)의 광축으로부터 어긋나 입사하는 경우가 있다. 또한, 종래의 반사 산란법으로는, 도 10의 (c)에 도시한 바와 같이, 피검사물(2)이 비교적 두껍거나, 혹은, 피검사물(2)이 휘어 있는 경우, 선형 광원(4)으로부터 조사된 광이 피검사물(2)을 반사할 때에, 광학계의 설계에 있어서 의도한 반사각과는 상이한 각도로 반사하는 경우가 있고, 에어리어 카메라(5)의 광축으로부터 어긋나 입사하는 경우가 있다. 이와 같이, 피검사물(2)의 두께 및 휘어짐의 영향을 받아, 선형 광원(4)으로부터의 광이 의도하지 않고서 광축이 어긋나 에어리어 카메라(5)에 입사함으로써, 피검사물(2)상의 결함에 의한 광축의 어긋남과의 구별이 되지 않아, 피검사물(2)상에 결함이 있다고 오인해 버릴 우려가 있다.

투과 산란법으로는, 도 10의 (a)에 도시한 바와 같이, 피검사물(2)이 비교적 얇고, 피검사물(2)의 곡률이 비교적 작거나, 혹은, 입사각(도 2에 도시하는 Z축과 에어리어 카메라(5)에의 입사광의 광축과의 각도)이 비교적 작은 경우, 광축의 어긋남이 약간이기 때문에, 에어리어 카메라(5)가 촬영한 화상으로의 영향은 비교적 작다. 한편, 도 10의 (b)에 도시한 바와 같이, 피검사물(2)이 비교적 두껍고, 피검사물(2)의 곡률이 비교적 크거나, 혹은, 입사각이 비교적 큰 경우, 광축의 어긋남이 커져, 에어리어 카메라(5)가 촬영한 화상으로의 영향을 무시할 수 없게 된다. 또한, 반사 산란법으로는, 거기에 더하여, 반사각이 약간 상이한 경우라도, 피검사물(2)과 에어리어 카메라(5)의 거리에 비례하여 광축의 어긋남이 커진다.

본 실시형태에 있어서도, 종래와 동일하게, 피검사물(2)의 두께나 휘어짐에 의해서 광축이 어긋나는 경우가 있다. 그러나, 에어리어 카메라(5)가 촬영한 화상 데이터의 휘도값의 경사를 산출하여, 복수의 촬영 각도에 있어서의 경사의 절대값을 적산함으로써, 피검사물(2)의 두께나 휘어짐에 의한 광축의 어긋남의 영향을 억제할 수 있다.

또한, 본 실시형태에서는, 에어리어 카메라(5)가 어떤 화상을 촬영하고 나서 다음 화상을 촬영할 때까지(1프레임 기간) 피검사물(2)이 이동하는 거리를 이동 폭으로, 데이터 추출부(11)가 추출하는 라인 데이터의 폭이 나타내는 실거리가 동일하다고 하고 있지만, 이것에 한정하는 것은 아니다. 예컨대, 컨베어(3)의 반송 속도가 5배이고, 피검사물(2)이 1프레임 기간에 5화소분 이동하는 경우, 데이터 추출부(11)가 추출하는 라인 데이터의 폭을 5화소로 설정하면, 동일한 RT-LCI 처리를 행할 수 있다. 반대로, 컨베어의 반송 속도가 1/5배이고, 피검사물(2)이 1프레임간 1/5화소분 이동하는 경우, 5프레임마다 데이터 추출부(11)가 라인 데이터(n×1화소)를 추출하면, 동일한 RT-LCI 처리를 행할 수 있다. 그 밖에, 데이터 추출부(11)가 추출하는 라인 데이터의 폭이 나타내는 실거리와 이동 폭이 엄밀하게 맞춰지지 않는 경우(예컨대, 에어리어 카메라(5)의 1화소당의 해상도와 이동 폭의 비가 1:1.05라는 불완전한 값이 되는 경우), 패턴 매칭 기술을 사용하여 라인 데이터의 위치를 보정하면, 동일한 RT-LCI 처리를 행할 수 있다. 또한, 상기 패턴 매칭 기술은, 하드화가 용이하고, 여러 가지 방법이 공지이기 때문에, RT-LCI 처리에 적합한 것을 이용하면 좋다.

또한, 본 실시형태의 화상 해석 장치(6)는, 데이터 추출부(11)에서 추출된 제1∼제k 라인의 라인 데이터를 저장하기 위한 수단으로서, 제1∼제k 영역(221∼22k), 제1∼제k 판정부(121∼12k), 및 제1∼제k 저장부(131∼13k)를 구비하고 있었지만, 이들 대신에, 데이터 추출부(11)에서 추출된 제1∼제k 라인의 라인 데이터를 각각 저장하는 k 개의 FIFO(First In, First Out) 메모리를 이용해도 좋다. 이 경우, 각 FIFO 메모리는, 1라인의 라인 데이터를 각각 저장하는 제1∼제5 구분을 구비하고, 새로운 라인 데이터를 수취할 때마다, 수취한 라인 데이터를 제1 구분에 저장하고, 제2∼제4 구분에 저장된 데이터를 제3∼제5 구분에 이동시키며, 제5 구분에 저장된 데이터를 파기한다.

또한, 본 실시형태에서는, 에어리어 카메라(5)를 고정하고, 컨베어(3)를 이용하여 피검사물(2)을 이동시켰지만, 이것에 한정하는 것은 아니고, 에어리어 카메라(5)와 피검사물(2)이 상대적으로 이동하고 있으면 좋다.

또한, 본 실시형태에서는, RT-LCI 처리에 관계가 없는 혹은 사용이 완료된 데이터(화상 데이터, 라인 데이터 등)는, 그때마다 파기해도 좋고, 백업용으로서 동일한 기억부 혹은 별도의 기억부에 보존해 두어도 좋다. 예컨대, 도 8a에 도시하는 화상 데이터 301∼310는, 라인 데이터가 추출된 후에는 RT-LCI 처리에서는 사용되지 않지만, 제1 기억부(21) 등에 보존해 두어도 좋다.

또한, 변화량 산출부(15)가 라인 합성 화상 데이터의 휘도값의 경사를 산출하는 전후에 있어서, 평활화의 처리를 행해도 좋다. 또한, 라인 합성 화상 데이터의 휘도값의 경사를 산출하는 변화량 산출부(15) 대신에, 제1∼제k 영역(221∼22k)의 각각에 저장되어 있는 복수의 라인 데이터를 포함하는 라인 합성 화상 데이터에 대하여, m행 1열의 평활화 오퍼레이터를 이용한 평활화의 처리를 행하여 강조 화상 데이터를 생성하는 평활화 처리부도 설치해도 좋다. 평활화의 처리를 행함으로써, 노이즈에 파묻혀 버리는 작은(희미한, 얇은) 결함을 검출할 수 있다. 이때, 상기 평활화 오퍼레이터로서는, 예컨대, 7행 1열의 행렬(1,1,1,1,1,1,1)^T 등의 평활화 오퍼레이터를 이용할 수 있다. 또한, 라인 합성 화상 데이터의 휘도값의 경사를 산출하는 변화량 산출부(15) 대신에, 라인 합성 화상 데이터에 대하여, 휘도 변화를 강조하는 다른 오퍼레이터(선예화 오퍼레이터 등)를 이용한 연산을 행하는 오퍼레이터 연산 처리부를 설치해도 좋다.

또한, 화상 생성부(18)에서 합성된 결함 검사용 화상 데이터를, 휘도값을 적당한 임계값으로 2값화하고 나서 출력하도록 해도 좋다. 이에 따라, 노이즈가 제거되고, 결함을 보다 명료하게 그리고 정확히 나타내는 결함 검사용 화상 데이터를 출력 및 표시할 수 있다. 또한, 2값화를 행하는 경우에 있어서, 2값화 후의 화상 데이터에 있어서의 결함 영역에 상당하는 영역(본 실시형태에서는 명영역) 중에서, 소정 사이즈 이하의 영역을 노이즈로서 제거해도 좋다. 이에 따라, 결함을 보다 정확히 나타내는 결함 검사용 화상 데이터를 출력 및 표시할 수 있다. 또한, 2값화를 행하는 경우에 있어서, 2값화 후의 화상 데이터에 있어서 각 화소의 휘도값이 결함을 나타내는 휘도(본 실시형태에서는 명휘도)인지 여부에 기초하여 결함 검사를 행해도 좋다.

본 실시형태에 있어서, 나이프 에지(7)를 이용하여 피검사물의 2차원 화상을 촬영하고, 결함 검사용의 화상 데이터에 있어서의 암시야(선형 광원(4)으로부터의 광이 나이프 에지(7)에 의해서 차단되어 직선적으로 입사하지 않는 부분) 중의 명부(피검사물(2)의 결함으로 산란된 광에 기인함)로서 결함을 검출하는 암시야법을 이용하여, 피검사물의 결함을 검사하고 있다. 그러나, 이것에 한하는 것이 아니라, 나이프 에지(7)를 생략하여 피검사물의 2차원 화상을 촬영하고, 결함 검사용의 화상 데이터에 있어서의 명시야(선형 광원(4)으로 조명되고 있는 부분) 중의 암부(피검사물(2)의 결함에 의한 광의 산란에 기인함)로서 결함을 검출하는 명시야법을 이용하여, 피검사물의 결함을 검사해도 좋다.

또한, 본 실시형태에서는, 1프레임 기간마다 RT-LCI 처리를 행하고 있지만, 이것에 한하는 것은 아니라, 예컨대, 소정의 프레임 기간마다 RT-LCI 처리를 행해도 좋고, 촬영한 후에, 촬영한 화상 데이터를 통합하여, RT-LCI 처리와 동일한, 라인 합성 적산의 화상 처리를 행해도 좋다. 구체적으로는, 에어리어 카메라(5)로서, 하이 스피드 카메라를 이용한 경우, 리얼 타임으로(1프레임 기간마다) RT-LCI 처리를 행하기 어렵기 때문에, 하이 스피드 카메라로 촬영한 화상을 한번 하드 디스크 등의 기억 장치에 화상 데이터로서 보존하고, 보존한 화상 데이터를 시계열로 판독하면서 RT-LCI 처리와 동일한, 라인 합성 적산의 화상 처리를 행해도 좋다. 이와 같이, 리얼 타임으로 행하지 않는 라인 합성 적산의 처리를 소프트웨어 LCI 처리라 칭한다.

또한, 본 실시형태에서는, 화상 해석 장치(6)를 화상 처리 소프트웨어가 인스톨된 PC로 하고 있지만, 이것에 한하는 것은 아니고, 예컨대, 에어리어 카메라(5)가 화상 해석 장치(6)를 내장하고 있어도 좋고, PC가 아니라, 에어리어 카메라(5)로부터 화상 데이터를 받아들이는 캡쳐 보드(PC의 확장 카드)가 화상 해석 장치(6)를 내장하고 있어도 좋다.

또한, 본 실시형태에서는, 변화량 산출부(15)는, 제2 기억부(22)의 각 영역에 저장되어 있는 부분 화상 데이터에 대하여 모두 동일한 미분 오퍼레이터를 이용하여 미분 오퍼레이터 연산을 행하고 있지만, 이것에 한하는 것이 아니다. 예컨대, 변화량 산출부(15)의 제1 산출부는, 제1 영역에 저장되어 있는 라인 합성 화상 데이터 315 등)에 대해서는, 어떤 미분 오퍼레이터 A를 이용하여 미분 오퍼레이터 연산을 행하고, 제2 산출부는 제2 영역에 저장되어 있는 라인 합성 화상 데이터 326등)에 대해서는, 미분 오퍼레이터 A와는 상이한 미분 오퍼레이터 B를 이용하여 미분 오퍼레이터 연산을 행하며, 제3 산출부는, 제3 영역에 저장되어 있는 라인 합성 화상 데이터 337 등)에 대해서는, 미분 오퍼레이터 A 및 B와는 상이한 미분 오퍼레이터 C를 이용하여 미분 오퍼레이터 연산을 행해도 좋다. 덧붙여, 미분 오퍼레이터 연산을 행하는 대신에, 평활화 오퍼레이터 등의, 휘도 변화를 강조하는 다른 오퍼레이터를 이용한 연산을 행해도 좋다.

예컨대, 명시야법을 이용하여 피검사물을 촬영한 경우, 촬영한 각 화상 데이터로부터 추출된 라인 합성 화상 데이터가 실질적으로 동일해지는 경우가 있다. 이때, 실질적으로 동일한 복수의 라인 합성 화상 데이터에 대하여, 각각 상이한 미분 오퍼레이터 연산을 이용하여 강조 화상 데이터를 생성해도 좋다. 이 상이한 미분 오퍼레이터 연산을 이용하여 생성된 복수의 강조 화상 데이터를 적산함으로써, 여러 가지의 결함을 검출할 수 있다.

또한, 본 실시형태에서는, 변화량 산출부(15)가 오퍼레이터 연산을 행하여 강조 화상 데이터를 생성한 후, 동일 개소 판정 추출부(16)가, 피검사물(2)의 동일 개소를 나타내는 강조 화상 데이터를 추출하고 있지만, 이 순서에 한하는 것이 아니다. 예컨대, 동일 개소 판정 추출부(16)가, 피검사물(2)의 동일 개소를 나타내는 라인 합성 화상 데이터를 추출한 후에, 변화량 산출부(15)가 동일 개소 판정 추출부(16)가 추출한 라인 합성 화상 데이터에 대하여, 오퍼레이터 연산을 행하여 강조 화상 데이터를 생성해도 좋다.

바꾸어 말하면, 변화량 산출부(15)는, 데이터 저장부(13)에 의해서 합성된 복수의 라인 합성 화상 데이터에 대하여 각각, 휘도 변화를 강조하는 오퍼레이터를 이용한 연산을 행함으로써, 1라인 또는 복수 라인의 복수의 강조 화상 데이터를 각각 생성하고, 동일 개소 판정 추출부(16)는, 변화량 산출부(15)가 생성한 복수의 강조 화상 데이터 중에서 피검사물(2)의 동일 개소를 나타내는 복수의 강조 화상 데이터를 추출하며, 적산부(17)는, 동일 개소 판정 추출부(16)가 추출한 복수의 강조 화상 데이터의 휘도값을 화소마다 적산하여 결함 검사용 화상 데이터를 생성해도 좋다. 또한, 동일 개소 판정 추출부(16)는, 데이터 저장부(13)에 의해서 합성된 복수의 라인 합성 화상 데이터 중에서 피검사물(2)의 동일 개소를 나타내는 복수의 라인 합성 화상 데이터를 추출하고, 변화량 산출부(15)는, 동일 개소 판정 추출부(16)가 추출한 복수의 라인 합성 화상 데이터에 대하여 각각, 휘도 변화를 강조하는 오퍼레이터를 이용한 연산을 행함으로써, 1라인 또는 복수 라인의 복수의 강조 화상 데이터를 각각 생성하고, 적산부(17)는, 변화량 산출부(15)가 생성한 복수의 강조 화상 데이터의 휘도값을 화소마다 적산하여 결함 검사용 화상 데이터를 생성해도 좋다.

또한, 본 실시형태에서는, 데이터 추출부(11)가 촬영한 화상 데이터로부터 라인 데이터를 추출했을 때에, 추출한 라인 데이터에 대하여, 피검사물(2) 상에서의 위치를 특정하는(식별하는) 기호(식별자)를 부가하고 있지만, 이것에 한하는 것은 아니다. 동일 개소 판정 추출부(16)가 피검사물(2)의 동일 개소를 나타내는 라인 합성 화상 데이터(또는 강조 화상 데이터)를 추출하는 처리를 행하기 전까지, 화상 데이터(촬영된 화상 데이터, 라인 데이터, 라인 합성 화상 데이터, 강조 화상 데이터 등)에 피검사물(2) 상에서의 위치를 특정하는 기호가 부가되어 있으면 좋다. 또한, 화상 데이터에 피검사물(2) 상에서의 위치를 특정하는 기호를 부가하지 않고, 동일 개소 판정 추출부(16)가, 피검사물(2)의 동일 개소를 나타내는 라인 합성 화상 데이터(또는 강조 화상 데이터)를 특정 및 추출해도 좋다.

〔실시예〕

이하에, 도 3에 도시하는 결함 검사 시스템(1)에 있어서, 에어리어 카메라(5)로 촬영한 화상 데이터에 대하여 RT-LCI 처리를 실시한 실시예에 대해서 설명한다. 에어리어 카메라(5)의 본체로서, 배속 프로그래시브 스캔 흑백 카메라 모듈(소니가부시키가이샤 제조의 XC-HR50)을 사용하였다. 또한, 에어리어 카메라(5)의 렌즈에는, 가부시키가이샤 다무론 제조 렌즈(초점 거리 f=35 ㎜)에 5 ㎜ 접사 링을 부착한 것을 사용하였다. 에어리어 카메라(5)의 화소수는, 512×480화소이며, 1화소당의 해상도는 70㎛/pixel이다. 에어리어 카메라(5)의 초점은 피검사물의 표면상에 맞추었다. 에어리어 카메라(5)의 프레임 레이트는 60 FPS이며, 통상의 TV 포맷으로 촬영하였다. 에어리어 카메라로 8초간 촬영하고, 480장의 화상에 대하여 RT-LCI 처리를 행하였다. 컨베어(3)의 반송 속도는 4.2 ㎜/초로 설정하였다. 즉, 1프레임당에 피검사물(2)이 70㎛ 이동하도록 설정하였다. 선형 광원(4)으로서 22 kHz의 고주파 형광등을 사용하였다. 조명 확산판(8)으로서, 두께 3 ㎜에서 유백색의 PMM(폴리메틸메타크릴레이트) 시트를 사용하였다. 나이프 에지(7)로서 NT 커터를 사용하였다. 피검사물(2)에는, 뱅크 마크나 구멍(pit) 등의 결함을 갖는 투명의 PMMA 시트를 이용하였다.

RT-LCI 처리에 있어서의 화상 처리의 설정으로서, k=15, m=5 또는 7로 하였다.

데이터 추출부(11)가 추출하는 라인 데이터의 화소수를 512×1화소로 하고, 이동 폭과 라인 데이터의 폭이 나타내는 실거리가 일치하도록 설정하였다.

우선, RT-LCI 처리를 행한 일례를 도 11에 기초하여 설명한다. 도 11의 (a)에 도시하는 화상은, 원화상이며, 에어리어 카메라(5)가 촬영한 동화상의 최후의 프레임(480코마째)의 화상이다. 이 원화상은, 도 5의 (a)에 도시하는 화상과 동종의 것이다. 도 5의 (a)와 마찬가지로, 도 11의 (a)에 도시하는 원화상에 있어서, 하부의 어두운 부분은 나이프 에지(7)에 의해서 광이 차단되어 있는 부분이고, 중심 부근의 밝은 부분은 선형 광원(4)으로부터의 광이 투과하고 있는 부분이며, 상부의 어두운 부분은 선형 광원(4)의 광이 닿지 않고, 검사 대상으로부터 떨어져 있는 개소이다. 도 11의 (a)에 도시하는 원화상의 하단에서 상부를 향하여 돌출되어 있는 어두운 부분은, 식별을 위해 배치한 물체의 그림자이다. 또한, 도 11의 (b)에 도시하는 화상은, 원화상의 나이프 에지(7) 부근의 화상 데이터에 대하여 RT-LCI 처리를 행하고, RT-LCI 데이터를 원화상에 맞추어 나열한 RT-LCI 화상이다. RT-LCI 화상에 있어서의 밝은 부분의 개소에 결함이 있는 것을 도시한다. RT-LCI 화상을 보면, 줄무늬 형상의 뱅크 마크나 점형상의 구멍 등의 결함이 피검사물(2) 상에 있는 것을 알 수 있다. 또한, 피검사물(2)의 위치와 화상의 위치가 대응하고 있기 때문에, RT-LCI 화상을 봄으로써 피검사물(2) 상의 어느 위치에 어떠한 결함이 있는 것인지를 용이하게 식별할 수 있다.

다음에, 변화량 산출부(15)에 있어서, 상이한 미분 오퍼레이터를 이용한 경우의 RT-LCI 화상의 예를 도 11에 기초하여 설명한다. 도 11의 (a)는, 에어리어 카메라(5)가 촬영한 화상(480코마째)이다. 도 11의 (b)는, m=7로 하고, 원화상에 대하여, 미분 오퍼레이터로서 7행 1열의 행렬(-3,-2,-1,0,1,2,3)^T 을 이용하여 RT-LCI 처리를 행함으로써 얻어진 RT-LCI 화상의 예를 도시하는 도면이다. 도 11의 (b)에 도시하는 RT-LCI 화상은, 원화상의 화상 데이터의 세로 방향의 휘도 경사를 강조하도록 처리한 것이다. 이 미분 오퍼레이터는, 매우 희미한 요철인 결함을 검출할 때에 알맞은 연산 처리이다. 또한, 도 11의 (c)은, m=7로 하고, 원화상에 대하여, 미분 오퍼레이터로서 7행 1열의 행렬(-1,-1,-1,6,-1,-1,-1)^T 을 이용하여 RT-LCI 처리를 행함으로써 얻어진 RT-LCI 화상의 예를 도시하는 도면이다. 이 미분 오퍼레이터는, 중간 정도의 점결함만 강조하는 것에 알맞은 연산 처리이다.

또한, 별도의 미분 오퍼레이터를 이용한 예를 도 12에 도시한다. 도 12의 (a)는, 에어리어 카메라(5)가 촬영한 원화상이다. 도 12의 (b)는, 원화상의 에지 근방에서의 어떤 촬영 각도의 라인 합성 화상이다. 또한, 도 12의 (c)는, m=7로 하고, 원화상에 대하여, 미분 오퍼레이터로서 5행 1열의 행렬(-2,-1,0,1,2)^T을 이용한 RT-LCI 처리를 행함으로써 얻어진 RT-LCI 화상이다.

다음에, 에어리어 카메라의 수평 방향에 대하여 나이프 에지가 경사지고 있는 상태로 촬영된 실시예를 도 13에 도시한다. 도 13의 (a)는, 에어리어 카메라(5)가 촬영한 원화상이다. 도 13의 (b)는, 종래의 라인 센서를 이용한 결함 검사 시스템에 의해서 얻어지는 화상과 동등한, 원화상의 에지 근방에서의 어떤 촬영 각도의 라인 합성 화상이다. 도 13의 (b)를 보면, 화상의 좌측이 밝고, 우측이 어둡게 되어 있는 것을 알 수 있다. 이와 같이, 종래의 라인 센서를 이용한 결함 검사 시스템으로는, 라인 센서와 나이프 에지의 배치 관계에 의해서 촬영되는 화상에 큰 영향이 있었다. 즉, 종래는, 라인 센서 및 나이프 에지를 포함하는 광학계의 배치를 고정밀도로 위치 결정하지 않으면 정밀도가 좋은 검사 결과가 얻어지지 않았다. 도 13의 (c)는, m=5로 하고, 원화상에 대하여, 미분 오퍼레이터로서 5행 1열의 행렬(-2,-1,0,1,2)^T를 이용한 RT-LCI 처리를 행함으로써 얻어진 RT-LCI 화상이다. 도 13의 (c)를 보면, 도 13의 (b)와 달리, RT-LCI 화상에서는, 나이프 에지(7)가 경사지고 있는 것에 따른 영향을 받지 않는 것을 알 수 있다. 즉, 본원 발명의 결함 검사 시스템(1)은, 나이프 에지(7)가 에어리어 카메라(5)의 수평 방향에 대하여 경사지고 있는 경우라도, 정밀도 좋게 결함을 검출할 수 있다.

다음에, RT-LCI 처리에 평활화 오퍼레이터를 이용한 예를 도 14에 기초하여 설명한다.

도 14의 (a)는, 에어리어 카메라가 촬영한 원화상이다. 도 14의 (b)는, 원화상의 에지 근방에서의 어떤 촬영 각도의 라인 합성 화상이다. 도 14의 (c)는, m=7로 하고, 원화상에 대하여, 미분 오퍼레이터 대신에 평활화 오퍼레이터로서의 7행 1열의 행렬(1,1,1,1,1,1,1)^T을 이용한 RT-LCI 처리를 행함으로써 얻어진 RT-LCI 화상이다.

본 발명은 전술한 실시형태에 한정되는 것이 아니라, 청구항에 나타낸 범위에서 여러 가지의 변경이 가능하다. 즉, 청구항에 나타낸 범위에서 적절하게 변경한 기술적 수단을 조합시켜 얻어지는 실시형태에 대해서도 본 발명의 기술적 범위에 포함된다.

마지막으로, 화상 해석 장치(6)의 각 블록, 특히 데이터 추출부(11), 제1 구분 판정부(12), 데이터 저장부(13), 전체 구분 판정부(14), 변화량 산출부(15), 동일 개소 판정 추출부(16), 적산부(17) 및 화상 생성부(18)는, FPGA(Field Progra㎜able Gate Array) 회로 등의 하드웨어 논리에 의해서 구성해도 좋고, 다음과 같이 CPU를 이용하여 소프트웨어에 의해서 실현해도 좋다.

즉, 화상 해석 장치(6)는, 예컨대, m행 1열의 미분 오퍼레이터 연산을 실현하는 FPGA 회로에 대하여, 라인 선발을 위한 연산기, 영역 FIFO 메모리, 2값화를 위한 비교기 등을 추가함으로써 실현될 수 있다. m행 1열의 미분 오퍼레이터 연산을 실현하는 FPGA 회로는, 각 행의 화상 데이터를 저장하는 m개의 라인 FIFO 메모리, 미분 오퍼레이터의 계수(필터 계수)를 각각 저장하는 m개의 인에이블 단자 부착 D 플립플롭(DFFE), 각 행의 화상 데이터와 미분 오퍼레이터의 계수를 곱셈하는 m개의 승산기, 곱셈 결과를 가산하는 가산 회로 등에 의해서 실현된다.

〔변형예〕

변화량 산출부(15)는, 제2 기억부(22)에 저장되어 있는 라인 합성 화상 데이터의 라인수에 맞추어, 사용하는 미분 오퍼레이터의 행수 및 열수를 적절하게 설정하면 좋다. 또한, 변화량 산출부(15)가 산출한 결과 생성되는 강조 화상 데이터는, 전술한 바와 같이, 1라인으로 구성되는 것에만 한정하지 않고, 산출한 결과, 복수의 라인을 포함하는 것이라도 좋다.

또한, 전술의 실시형태 및 실시예에서는, 변화량 산출부(15)가 세로 방향의 휘도 경사를 산출했었지만, 이것에 한하는 것이 아니라, 가로 방향의 휘도 경사를 산출해도 좋다.

또한, 전술의 실시형태 및 실시예에서는, 에어리어 카메라(5)가 촬영한 화상 데이터의 크기(화소수)에 맞추어 결함 검사용 화상 데이터를 생성했었지만, 이것에 한하는 것이 아니고, 하나 이상의 RT-LCI 데이터를 결함 검사용의 화상 데이터로서 생성하고, 그것을 바탕으로 피검사물상의 결함을 검출해도 좋다.

또한, 화상 해석 장치(6)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU(central processing unit), 상기 프로그램을 저장한 ROM(read only memory), 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 저장하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 전술한 기능을 실현하는 소프트웨어인 화상 해석 장치(6)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터로 판독 가능하게 기록한 기록 매체를, 상기 화상 해석 장치(6)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록 매체에 기록되어 있는 프로그램 코드를 판독하여 실행함으로써도 달성 가능하다.

상기 기록 매체로서는, 예컨대, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광 디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함함)/광카드 등의 카드계, 혹은 마스크 ROM/EPROM/EEPROM/플래시 ROM 등의 반도체 메모리계 등을 이용할 수 있다.

또한, 화상 해석 장치(6)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를, 통신 네트워크를 통해 공급해도 좋다. 이 통신 네트워크로서는 특별히 한정되지 않고, 예컨대, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상 전용망(virtual private network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 통신 네트워크를 구성하는 전송 매체로서는, 특별히 한정되지 않고, 예컨대, IEEE1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL 회선 등의 유선이라도, IrDA나 리모콘과 같은 적외선, Bluetooth(등록상표), 802.11 무선, HDR, 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매립된 컴퓨터 데이터 신호의 형태로도 실현될 수 있다.

[산업상 이용 가능성]

본 발명은, 시트형 등의 피검사물의 결함을 검사하는 결함 검사 시스템, 및, 그것에 이용하는, 결함 검사용 촬영 장치, 결함 검사용 화상 처리 장치, 결함 검사용 화상 처리 프로그램, 결함 검사용 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 및 결함 검사용 화상 처리 방법에 이용할 수 있다.

1 : 결함 검사 시스템 2 : 피검사물
3 : 컨베어(이동 수단) 4 : 선형 광원
5 : 에어리어 카메라(촬영부, 결함 검사용 촬영 장치의 일부)
6 : 화상 해석 장치(결함 검사용 화상 처리 장치)
7 : 나이프 에지 8 : 조명 확산판
10 : 화상 처리부(결함 검사용 화상 처리 장치의 일부, 결함 검사용 촬영 장치의 일부)
11 : 데이터 추출부(동일 라인 추출 수단)
12 : 제1 구분 판정부
13 : 데이터 저장부(라인 합성 수단)
14 : 전체 구분 판정부
15 : 변화량 산출부(오퍼레이터 연산 수단)
16 : 동일 개소 판정 추출부 17 : 적산부(적산 수단)
18 : 화상 생성부(화상 생성 수단)
20 : 기억부(결함 검사용 화상 처리 장치의 일부, 결함 검사용 촬영 장치의 일부)
21 : 제1 기억부 22 : 제2 기억부
23 : 제3 기억부 24 : 제4 기억부
30 : 표시부

Claims

피검사물과 촬영부가 상대적으로 이동되어 있는 상태로, 촬영부에 의해 시간적으로 연속하여 촬영된 상기 피검사물의 2차원 화상의 화상 데이터를 처리하고, 그에 따라 상기 피검사물의 결함을 검사하기 위한 결함 검사용 화상 데이터를 생성하는 결함 검사용 화상 처리 장치로서,
복수의 상이한 화상 데이터 중에서 화상 데이터 상에 있어서의 위치가 동일한 1라인의 라인 데이터를 각각 추출하는 동일 라인 추출 수단과,
상기 동일 라인 추출 수단에 의해서 추출된 라인 데이터를 시계열로 나열하여 복수 라인의 라인 합성 화상 데이터를 생성하는 라인 합성 수단
을 구비하고,
상기 동일 라인 추출 수단은, 상기 화상 데이터 상에 있어서의 상이한 복수의 위치에 대해서 상기 라인 데이터를 각각 추출하는 것이고,
상기 라인 합성 수단은, 상기 동일 라인 추출 수단에 의해서 추출된 라인 데이터를, 상기 화상 데이터 상에 있어서의 위치마다 시계열로 나열하여 상이한 복수의 라인 합성 화상 데이터를 생성하는 것이고,
상기 복수의 라인 합성 화상 데이터에 대하여 각각, 휘도 변화를 강조하는 오퍼레이터를 이용한 연산을 행하여, 1라인 또는 복수 라인의 복수의 강조 화상 데이터를 생성하는 오퍼레이터 연산 수단과,
상기 피검사물의 동일 개소를 나타내는 상기 복수의 강조 화상 데이터의 휘도값을 화소마다 적산하여 결함 검사용 화상 데이터를 생성하는 적산 수단
을 더 구비하는 결함 검사용 화상 처리 장치.
제1항에 있어서, 상기 오퍼레이터 연산 수단은, 상기 복수의 라인 합성 화상 데이터에 대하여 미분 오퍼레이터를 이용한 연산을 행함으로써, 상기 복수의 라인 합성 화상 데이터의 중심 라인에 있어서의 각 화소에서의, 중심 라인에 직교하는 방향을 따른 휘도값의 경사를 산출하고, 상기 복수의 라인 합성 화상 데이터의 중심 라인에 있어서의 각 화소의 휘도값을 각 화소에서의 휘도값의 경사의 절대값으로 치환하여 새로운 1라인의 강조 화상 데이터를 생성하는 것인 결함 검사용 화상 처리 장치.
제1항 또는 제2항에 있어서, 상기 적산 수단은, 상기 피검사물의 복수의 개소를 각각 나타내는 상기 복수의 강조 화상 데이터를 상기 피검사물의 개소마다, 그 강조 화상 데이터의 휘도값을 화소마다 적산하여, 상기 피검사물의 복수의 개소를 각각 나타내는 복수의 결함 검사용 화상 데이터를 생성하는 것이고,
상기 피검사물의 복수의 개소를 각각 나타내는 복수의 결함 검사용 화상 데이터를, 상기 피검사물의 개소에 대응시켜 나열하여 새로운 결함 검사용 화상 데이터를 합성하는 화상 생성 수단을 더 포함하는 결함 검사용 화상 처리 장치.
제1항 또는 제2항에 있어서, 상기 적산 수단은, 상기 촬영부가 촬영할 때마다, 상기 피검사물의 선두 개소로부터 순서대로 상기 피검사물의 개소마다, 상기 피검사물의 동일 개소를 나타내는 상기 복수의 강조 화상 데이터의 휘도값을 화소마다 적산하여, 상기 피검사물의 복수의 개소를 각각 나타내는 복수의 결함 검사용 화상 데이터를 생성하는 것인 결함 검사용 화상 처리 장치.
제1항 또는 제2항에 기재된 결함 검사용 화상 처리 장치와,
피검사물과 촬영부가 상대적으로 이동되어 있는 상태로, 상기 피검사물의 2차원 화상을 시간적으로 연속하여 촬영하는 촬영부
를 포함하는 결함 검사용 촬영 장치.
피검사물의 결함을 검사하는 결함 검사 시스템으로서,
제5항에 기재된 결함 검사용 촬영 장치와,
상기 피검사물과 상기 촬영부를 상대적으로 이동시키는 이동 수단
을 포함하는 결함 검사 시스템.
제6항에 있어서, 상기 피검사물에 광을 조사하는 광원과,
상기 광원으로부터 상기 피검사물을 투과 또는 반사하여, 상기 촬영부에 입사하는 광을 일부 차단하는 차광체
를 포함하고,
암시야법을 이용하여 피검사물의 결함을 검사하는 결함 검사 시스템.
제1항 또는 제2항에 기재된 결함 검사용 화상 처리 장치를 동작시키기 위한 결함 검사용 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서, 컴퓨터를 상기 수단의 전부로서 기능시키기 위한 결함 검사용 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
피검사물과 촬영부가 상대적으로 이동되어 있는 상태로, 촬영부에 의해서 시간적으로 연속하여 촬영된 상기 피검사물의 2차원 화상의 화상 데이터를 처리하고, 그에 따라 상기 피검사물의 결함을 검사하기 위한 결함 검사용 화상 데이터를 생성하는 결함 검사용 화상 처리 방법으로서,
복수의 상이한 화상 데이터 중에서 화상 데이터 상에 있어서의 위치가 동일한 1라인의 라인 데이터를 각각 추출하는 동일 라인 추출 단계와,
상기 동일 라인 추출 단계에 있어서 추출된 라인 데이터를 시계열로 나열하여 복수 라인의 합성 화상 데이터를 생성하는 라인 합성 단계
를 포함하고,
상기 동일 라인 추출 단계는, 상기 화상 데이터 상에 있어서의 상이한 복수의 위치에 대해서 상기 라인 데이터를 각각 추출하는 단계이고,
상기 라인 합성 단계는, 상기 동일 라인 추출 단계에 있어서 추출된 라인 데이터를, 상기 화상 데이터 상에 있어서의 위치마다 시계열로 나열하여 상이한 복수의 라인 합성 화상 데이터를 생성하는 단계이고,
상기 복수의 라인 합성 화상 데이터에 대하여 각각, 휘도 변화를 강조하는 오퍼레이터를 이용한 연산을 행하여, 1라인 또는 복수 라인의 복수의 강조 화상 데이터를 생성하는 오퍼레이터 연산 단계와,
상기 피검사물의 동일 개소를 나타내는 상기 복수의 강조 화상 데이터의 휘도값을 화소마다 적산하여 결함 검사용 화상 데이터를 생성하는 적산 단계
를 더 포함하는 결함 검사용 화상 처리 방법.
삭제