KR100436294B1 - 머신 비젼에서의 패턴 블록 검출 방법 - Google Patents

Abstract

패턴 블록의 위치를 식별하기 위한 머신 비젼에서의 패턴 블록 검출 방법이 개시되어 있다. 본 발명에 따르면, 표준 검사체의 라인 스켄을 통한 다수 셀의 밝기 정보를 산출하되, 각각의 스켄 라인별로 산출한 후, 산출된 결과값을 스켄 순서에 따라 연속된 그래프로 도시화한 그래디언트 그래프를 생성하여 표준 검사체의 특징을 이루는 표준 검사체 그래디언트 그래프 부위를 선별 및 좌표를 설정한 후 이를 저장하는 학습 과정; 검사체를 라인 스켄하여 그래디언트 그래프를 생성하고, 기 저장된 표준 검사체 그래디언트 그래프 부위와 동일한가를 판단하며, 상기 좌표 정보에 기초하여 상기 검사 패턴 블록의 위치를 판별하는 실행 과정으로 이루어져, 표준 검사체의 그래디언트 그래프를 통해 현재 라인 스켄되는 그래디언트 그래프의 특정 위치를 찾고, 이로 부터 검사 패턴 블록을 찾기 때문에, 상기 검사 패턴 블록이 다수개 연속되고 있다 하더라도, 그래디언트 그래프를 통해 검사 패턴 블록을 산출하여 연속된 검사시 검사 패턴 블록을 정확하고 안정되게 구분할 수 있다.

Description

머신 비젼에서의 패턴 블록 검출 방법{A SEARCH METHOD OF PATTERN BLOCK IN MACHINE VISION}

본 발명은 머신 비젼(Machine Vision)의 패턴 블록 검출에 관한 것으로, 보다 상세히는 각각의 스켄 셀의 밝기 편차를 이용한 스켄 라인의 밝기 변화량에 따른 검사 패턴 그래프를 통해 피씨비 상의 패턴 오류를 판별하기 위한 머신 비젼에서의 패턴 블록 검출 방법에 관한 것이다.

일반적으로, 머신 비젼은 카메라를 통하여 제품의 특정 부분 계측, 공정 프로세서의 모니터링 및 피씨비 상의 패턴 촬영 등을 판단 감시하기 위한 것으로, 프로세서를 통해 영상 정보를 도출해 내어 계측, 공정 및 패턴의 정상 여부를 판단한다. 특히 피씨비 상의 패턴 정보를 얻기 위해 사용될 경우 통상적으로 촬영 방식의 머신 비젼을 사용하며, 하나의 패턴 정보를 한 컷트의 영상 신호로 변환하여 패턴의 유효 여부를 판단한다.

도 1은 상기 피씨비 상의 패턴 정보를 얻고 이로 부터 패턴의 유효 여부를 판단하기 위한 장치를 나타낸 구성도이다. 도 1을 참조하면, 피씨비 패턴 정보를 보유한 검사체(101), 상기 검사체(101)의 패턴 영상을 전기적 신호로 변환시키기 위한 카메라(103), 카메라(103)로 부터 입력되는 영상 정보를 소정의 프로토콜을 갖고 디지트화된 정보로 변환시키는 프레임 그래버(107), 상기 프레임 그래버(107)를 통하여 디지트화된 패턴 정보를 가공, 변형, 단순화 등과 같은 일련의 프로세스를 거쳐 결과 정보를 생성하기 위한 프로세서(109), 상기 검사체(101)를 카메라(103)의 촬영 촛점으로 이송시키기 위한 이송 시스템(115) 및 카메라(103)의 영상 검출 효율을 높이기 위한 조명(105)으로 구성된다.

한편, 도 2는 검사 패턴 블록을 검출하기 위한 원리를 설명한 도면이고, 도 3은 도 2의 플로우챠트이다. 먼저, 도 2에 도시된 바와 같이, 검사체(101)에 프린트된 다수의 검사 패턴 블록(201)을 카메라(103)를 통해 인식하기 위해서 검사 패턴 블록(201)의 일측부 예컨대, 모서리(이하 에지 포인트라 칭함)를 기준점으로 하여 스켄 스타트로 부터의 좌표 값 정보 및 상기 에지 포인트의 밝기 변화도(Gradient, 이하 그래디언트라 칭함) 정보를 표준 정보와 비교하므로써, 검사체(101)의 위치를 설정하여 각 패턴 블록을 구분토록 하는 것이다.

따라서, 관리자는 검사 패턴 블록의 표준 영상 정보를 습득하여(S301), 위치 인식 영역을 설정한다. 예시된 바와 같이, 해당 검사 패턴 블록(201)의 에지 포인트 (203,203',205,205')를 위치 인식을 위한 영역으로 설정한다(S303).

이는 이송 시스템(115)이 검사체(101)를 기준선까지 이송시킨 후, 카메라 (103)를 통해 표준 검사 패턴 블록을 영상 촬영하며 프레임 그래버(107) 및 프로세서 (109)를 통해 출력되는 영상 정보를 디스플레이(111)를 통해 수신한다. 관리자는 수신된 표준 검사 패턴 블록 정보를 토대로 특정의 위치 즉, 에지 포인트를 설정하는 것이다.

에지 포인트는 카메라(103)의 초기화 좌표로 부터 에지 포인트까지의 X,Y 좌표를 설정하여 이를 데이터화 하며, 에지 포인트의 패턴 부위를 조명(105)을 통해 조사하여 반사광에 의한 영상 정보를 신호 처리하므로써, 에지 포인트의 기준 영상 정보를 생성하는 것이다. 이러한 과정은 학습 과정으로 칭하며, 학습 과정을 통해 표준화된 정보를 저장하는 것이다(S307).

상기 학습 과정을 거쳐, 실행 과정을 거치는데 이 때 검사 대상이 되는 피씨비 즉, 검사체(101)를 이송 시스템(115)에 안착시킨 후, 조명(105)과 카메라(103)를 통해 검사체(101)의 검사 패턴 블록(201)을 영상 촬영한다(S401).

촬영된 검사 패턴 블록 정보는 프로세서(109)의 연산하에 상기 기준 에지 포인트의 좌표 정보에 대응한 해당 위치에서의 촬영 정보를 수집하며, 프로세서(109)의 일측 레지스터(미설명)에 저장한 후, 상기 학습 과정에서 학습된 에지 포인트의 기준 영상 정보를 패치(Fetch)한다(S403).

프로세서(109)는 기준 에지 포인트의 좌표 정보에 대응한 현재 검사하고자 하는 검사체(101)의 에지 포인트 촬영 정보와 기준 에지 포인트의 영상 정보와 상호 비교하여, 동일 여부를 판단한다. 여기서, 동일 여부를 판단하기 위해서는 상기 두 에지 포인트 영상 정보의 밝기 차이를 토대로 이루어지며, 물론 실험치에 의한 편차 보정은 감안된다(S405).

단계 S405에서 상기 검사체(101)의 에지 포인트 영상 정보와 기준 에지 포인트 영상 정보가 상호 동일하지 않으면, 에러 표시 후 본 시스템의 동작을 종료한다. 그러나 상기 검사체의 에지 포인트 영상 정보와 기준 에지 포인트 영상 정보가 동일함으로 판단되면 즉, 상기 기준 에지 포인트의 좌표에서 검사체의 에지 포인트 촬영시 반사광에 의한 밝기 정보가 상호 동일(또는 극히 유사)할 경우에는 검사체(101)의 검사 패턴 블록(201) 검사를 진행한다(S407).

그러나, 이와 같은 검사 패턴 블록의 검사는 학습 과정에서 에지 포인트의 좌표 정보 및 조명의 반사광량에 따라 그 결과 값을 달리하게 된다. 예컨대, 관리자로 부터 검사체의 위치를 초기 셋팅할 때, 검사체가 흔들리거나 또는 이송 시스템에 의해 검사체가 진행중 흔들릴 경우에는 기준 좌표에 위치한 검사체의 에지 포인트를 찾지 못하고, 또한 편차 범위를 벗어날 경우 에러 처리하는 문제점이 발생된다.

그리고, 에지 포인트에서의 밝기 정보를 토대로 기준 에지 포인트와 비교를 하기 때문에, 조명의 조광이 바뀌면 에지 포인트의 영상 정보가 서로 다르게 판단되어 정상적인 패턴일지라도 에러 처리되는 경우가 발생할 수 있다는 문제점이 야기되고 있다.

또 다른 문제점으로는 현재의 위치를 계산하는 기준점이 스켄 스타트점 또는 이전 블록의 위치가 되기 때문에, 스켄 스타트가 없는 라인 스켄 카메라를 이용한 웹 검사(Web Inspection)방식의 연속검사에서, 한 블록의 위치 인식 에러가 발생되는 경우 이 후 연결되는 다수의 블록은 기준점을 잃어버리게 되므로 검사가 불가능한 문제점이 있다.

본 발명은 이와 같은 문제점을 해결하기 위해 창출된 것으로, 본 발명의 목적은 피씨비 상의 각 블록의 위치를 정확하게 판별하고, 연속된 블록을 판별함에 있어 보다 용이하도록 하기 위한 머신 비젼에서의 패턴 블록 검출 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 관점에 따른 머신 비젼에서의 패턴 블록 검출 방법은, 머신 비젼의 라인 스켄을 통한 검사체의 검사 패턴 블록을 식별하기 위한 방법에 있어서, a) 표준 검사체의 라인 스켄을 통한 다수 셀의 밝기 정보를 산출하되, 각각의 스켄 라인별로 산출한 후, 산출된 결과값을 연속된 그래프로도시화한 그래디언트 그래프를 생성하는 학습 제 1 과정; b) 상기 표준 검사체의 그래디언트 그래프에서 특정 파형의 표준 검사체 그래디언트 그래프 부위를 선별하는 학습 제 2 과정; c) 상기 특정 파형의 그래디언트 그래프 부위를 저장하는 학습 제 3 과정; d) 상기 특정 파형의 그래디언트 그래프 부위로 부터 상기 검사 패턴 블록의 시작 및 끝 점까지의 좌표 정보를 저장하는 학습 제 4 과정; e) 상기 검사체의 패턴 오류 검사를 위한 명령에 기반하여, 상기 검사체의 라인 스켄을 통한 다수 셀의 밝기 정보를 산출하되, 각각의 라인 스켄별로 산출한 후, 산출된 결과값을 연속된 그래프로 도시화한 검사체 그래디언트 그래프를 생성하는 실행 제 1 과정; f) 기 저장된 상기 표준 검사체의 특정 파형 그래디언트 그래프 부위를 읽어 들인 후, 상기 검사체 그래디언트 그래프와 비교하는 실행 제 2 과정; g) 상기 f)에서 비교된 결과 상기 표준 검사체의 특정 파형 그래디언트 그래프 부위 및 상기 검사체 그래디언트 그래프와 동일하지 않음으로 판단되면, 라인 스켄을 수행하고, 상기 표준 검사체의 특정 파형 그래디언트 그래프 부위 및 상기 검사체 그래디언트 그래프와 동일함으로 판단되면, 상기 d)의 좌표 정보를 패치하는 실행 제 3 과정; 및 h) 상기 좌표 정보에 기초하여 상기 검사 패턴 블록의 위치를 판별하는 실행 제 4 과정으로 이루어진 것을 특징으로 한다.

도 1은 머신 비젼 시스템을 도시한 구성도이고,

도 2는 종래 영상 스켄을 통한 검사 패턴 블록을 식별하는 원리를 도시한 개략도이며,

도 3은 도 2의 플로우챠트이고,

도 4는 본 발명에 따른 그래디언트 그래프를 동시한 파형도이며,

도 5는 도 4의 플로우챠트이다.

<도면의 주요 부분에 대한 부호의 설명>

103 : 카메라 105 : 조명

107 : 프레임 그래버 109 : 프로세서

111 : 디스플레이 401 : 검사체

403 : 검사 패턴 블록 405 : 그래디언트 그래프

이하, 본 발명을 첨부된 예시도면에 의거 상세히 설명하면 다음과 같다.

도 4는 본 발명에 따른 검사 패턴 블록을 도시한 그래디언트 그래프이다. 도 5는 검사체의 블록 위치 식별 과정을 설명하기 위한 플로우챠트이다. 본 발명에 따른 시스템의 구성은 예시한 도 1과 동일하여 반복 설명은 생략하며, 단지 카메라(103)는 라인 스켄용 카메라로써, 패턴 블록을 라인별로 스켄하여 스켄된 라인 조합을 통해 하나의 영상을 얻도록 하기 위한 것이다. 라인 스켄 카메라(103)는 한 라인에 통상 6K ~ 8K의 셀(Cell)로 이루어진 스켄 용량을 갖고 있다.

먼저 학습 과정에서는 카메라(103)는 표준 검사체를 라인 스켄하되, 스켄시 해당 라인의 다수 셀간의 밝기 편차를 연산하므로써, 연속적인 스켄 라인에 대한 그래디언트(Gradient) 그래프를 획득한다.

물론, 그래디언트 그래프는 프로세스에 따라 표준 검사체 전체의 영상 정보를 확보한 후(S501), 각각의 스켄 라인별로 그래디언트 그래프를 생성할 수 있으며 (S503), 또는 카메라(103)의 라인 스켄시 라인별 그래디언트 그래프를 생성하여 표준 검사체 전체에 대한 영상 정보를 추출할 수 있다.

그래디언트는 하나의 스켄 라인을 이루는 다수의 셀에서 상호 근접되는 셀간의 밝기 편차 합을 나타내는 것으로, 이러한 스켄 라인이 하나의 블록 영상을 형성할 때 다수의 스켄 라인 각각으로 생성되는 그래디언트의 연속적인 형태가 그래디언트 그래프가 되는 것이다. 예로서 하나의 스켄 라인이 4개의 셀로 이루어져 있다고 가정하고, 각 셀의 밝기 값이 180, 160, 210, 190라 하면, " ｜180-160｜ + ｜160-210｜ + ｜210-190｜ = 100 "와 같은 그래디언트 값이 발생된다.

예시된 그래디언트 산출 방식에 기반하여 도 4는 그래디언트 그래프를 도시하고 있다. 도 4에서는 검사 패턴 블록(403)이 사각 형상의 피씨비 패턴을 갖고, 중앙으로 사각 형상으로 빈 공간을 형성함을 예로 하고 있다. 카메라(103)가 검사체(401)의 좌측(도면 기준)에서 스켄을 시작하고, 이송 시스템(115)을 통해 검사체(401)가 좌측(도면 기준) 방향으로 이송하면서, 스켄할 경우 그래디언트 그래프 (405)는 연속적인 그래프 형상으로 도시된다.

먼저, 본 발명의 학습 과정은 표준 영상 정보 즉, 에러가 없는 하나의 검사 패턴 블록을 라인 스켄한다(S501). 스켄 라인에 대한 다수 셀의 그래디언트를 산출하고, 각 스켄 라인에 대한 그래디언트 그래프를 생성한다(S503). 그래디언트 그래프는 표준 검사체의 초기 부분 즉, 검사 패턴 블록이 없는 부분에서는 밝기 정도가 낮은 상태에서 균일하며, 밝기가 균일한 것은 다수의 셀간의 편차는 극히 낮게 된다('0'에 가까움). 따라서 편차의 합도 낮으며 결국 그래디언트 그래프는 낮은 상태를 유지한다.

라인 스켄이 진행되는 가운데, 검사 패턴 블록과 검사 패턴 블록이 없는 경계 위치에서는 그래디언트 그래프가 급격하게 높아지는데, 이는 검사 패턴 블록이 없는 부분과 검사 패턴 블록이 있는 부분이 한 라인에 섞여 있어, 두 부분간의 밝기차가 발생되기 때문이다. 그리고 검사 패턴 블록이 존재하는 곳으로 라인 스켄이 이루어지면, 패턴의 형상에 따라 많은 차이가 있겠지만 예시도면을 참조할 경우, 그래디언트 그래프는 급격하게 감소한다.

이는 검사 패턴 블록상에서는 반사광의 밝기가 상호 근접한 셀끼리 동일하기 때문에 편차의 합이 '0'에 가까우며, 단지 검사 패턴 블록의 양 끝단을 넘어선 라인 스켄시에 편차가 발생하기 때문에 해당 라인에서의 그래디언트 그래프는 검사 패턴 블록이 전혀 없는 라인 보다는 높은 그래디언트 그래프가 생성되는 것이다.

표준 검사체의 그래디언트 그래프는 이하 설명된 검사체(401)의 표준 그래디언트 그래프(405)의 0, a ~ e 사이의 그래프 형태와 유사할 것이다. 이와 같이 표준 영상에 대한 그래디언트 그래프를 획득한 후(S503), 관리자는 상기 표준 영상 그래디언트 그래프를 참조하여 특정 부위 즉, 하나의 블록을 구별하기 위한 특정 부위를 설정한다(S507).

특정 부위가 설정되면, 해당 특정 부위로 부터 감사 패턴 블록의 양 끝단까지의 거리를 산출한다(S507). 그리고 산출된 결과 정보와 상기 특정 부위에 해당하는 그래프의 영상 정보를 소정의 레지스터(미도시함)에 저장하는 것이다(S509). 이와 같이 학습 과정을 거친 후, 관리자는 검사체(401)의 검사를 시행하기 위한 실행 과정으로 진입한다.

먼저, 관리자는 검사체(401)를 이송 시스템(115)에 안착시킨 후, 시스템을 가동하며, 이로 부터 카메라(103)는 조명(105)과 더불어 검사체(401)를 라인 스켄한다 (S601). 라인 스켄시는 앞서 설명된 바와 동일하게, 다수 셀의 밝기 편차의 합을 연산하고, 각 스켄 라인에 대한 그래디언트 그래프(405)를 산출한다(S603).

그래디언트 그래프(405)는 동일한 검사 패턴 블록(403)이 다수 프린트되어 있을 경우 동일한 주기의 그래디언트 그래프(405)가 생성되기 때문에, 한 주기의 그래디언트 그래프(405) 상에서 특정 부위의 그래디언트 그래프를 찾아 이를 검사 패턴 블록(403) 간 구분을 위한 척도로 사용되는 것이다.

한편, 현재 라인 스켄에 따른 그래디언트 그래프(405)는 프레임 그래버(107)를 거쳐 프로세서(109)의 제어하에 디스플레이(111)된다. 프로세서(109)는 상기 기저장된 표준 검사체의 그래디언트 그래프의 영상 정보를 패치하여 현재 라인 스켄되는 그래디언트 그래프(405)와 비교 검토를 수행한다. 비교 검토 결과 동일하지 않을 경우(실험 오차 범위를 벗어날 경우)에는 상기 이송시스템(115) 및 카메라(103)를 구동시켜 지속적인 검사체(401)의 라인 스켄을 수행하기 위해 단계 S601로 피드백한다 (S605).

그러나 단계 S605에서 비교 검토 결과 동일 할 경우 즉, 기 저장된 레지스터의 표준 검사체 특정 부위 그래디언트 그래프와 현재 라인 스켄되는 그래디언트 그래프(405)의 영상 정보가 동일(실험 오차 범위내에 존재할 경우)할 경우, 프로세서(109)는 상기 레지스터에 기 저장된 특정 부위 그래디언트 그래프로 부터 검사 패턴 블록까지의 좌표 정보를 패치하여, 현재 라인 스켄되는 그래디언트 그래프(405)의 검사 패턴 블록의 시작점 및 종료 시점을 산출하는 것이다(S607).

이상 설명된 바와 같이, 본 발명에 따르면 기 저장된 표준 검사체의 그래디언트 그래프를 통해 현재 라인 스켄되는 그래디언트 그래프의 특정 위치를 찾고, 이로 부터 검사 패턴 블록을 찾기 때문에, 상기 검사 패턴 블록이 하나의 피씨비 내에 다수개 연속되고 있다 하더라도, 그래디언트 그래프를 통해 검사 패턴 블록을 산출하여 연속된 검사가 가능한 효과를 얻는다.

또한, 조명의 밝기 변화시 각 셀간의 밝기 편차는 변하지 않기 때문에, 조명 변화로 인한 검사체의 검사 값이 변동되지 않게 됨에 따라, 안정적으로 검사체의 블록을 구분하여 검사의 효율성을 향상시키는 효과가 있다.

또한, 그래디언트 그래프를 이용함에 따라 검사체의 초기 설정에 따른 오차에 무관하게 정확한 검사 패턴 블록을 찾게 되는데, 이는 소정의 에지 포인트를 적용할 경우 검사체의 초기 위치 설정에 따른 변동치와 에지 포인트의 좌표 값에 오차가 발생하여 검사 패턴 블록을 찾기 어려움을 완전히 제거할 수 있어 생산의 시간 단축 효과를 얻는다.

이상에서 설명한 것은 본 발명에 따른 머신 비젼에서의 패턴 블록 검출 방법을 실시하기 위한 하나의 실시예에 불과한 것으로, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

Claims (3)

1. 머신 비젼의 라인 스켄을 통한 검사체의 검사 패턴 블록을 식별하기 위한 방법에 있어서,

   a) 표준 검사체의 라인 스켄을 통한 다수 셀의 밝기 정보를 산출하되, 각각의 스켄 라인별로 산출한 후, 산출된 결과값을 연속된 그래프로 도시화한 그래디언트 그래프를 생성하는 학습 제 1 과정;

   b) 상기 표준 검사체의 그래디언트 그래프에서 특정 파형의 표준 검사체 그래디언트 그래프 부위를 선별하는 학습 제 2 과정;

   c) 상기 특정 파형의 그래디언트 그래프 부위를 저장하는 학습 제 3 과정;

   d) 상기 특정 파형의 그래디언트 그래프 부위로 부터 상기 검사 패턴 블록의 시작 및 끝 점까지의 좌표 정보를 저장하는 학습 제 4 과정;

   e) 상기 검사체의 패턴 오류 검사를 위한 명령에 기반하여, 상기 검사체의 라인 스켄을 통한 다수 셀의 밝기 정보를 산출하되, 각각의 라인 스켄별로 산출한 후, 산출된 결과값을 연속된 그래프로 도시화한 검사체 그래디언트 그래프를 생성하는 실행 제 1 과정;

   f) 기 저장된 상기 표준 검사체의 특정 파형 그래디언트 그래프 부위를 읽어 들인 후, 상기 검사체 그래디언트 그래프와 비교하는 실행 제 2 과정;

   g) 상기 f)에서 비교된 결과 상기 표준 검사체의 특정 파형 그래디언트 그래프 부위 및 상기 검사체 그래디언트 그래프와 동일하지 않음으로 판단되면, 라인스켄을 수행하고, 상기 표준 검사체의 특정 파형 그래디언트 그래프 부위 및 상기 검사체 그래디언트 그래프와 동일함으로 판단되면, 상기 d)의 좌표 정보를 패치하는 실행 제 3 과정; 및

   h) 상기 좌표 정보에 기초하여 상기 검사 패턴 블록의 위치를 판별하는 실행 제 4 과정으로 이루어진 것을 특징으로 하는 머신 비젼에서의 패턴 블록 검출 방법.
2. 제 1 항에 있어서, 상기 다수 셀의 밝기 정보는 상기 검사체의 라인 스켄을 통한 다수 셀 간 밝기 편차 합을 산출한 정보인 것을 특징으로 하는 머신 비젼에서의 패턴 블록 검출 방법.
3. 삭제