KR100329098B1 - 고속패턴인식시스템및방법 - Google Patents

Abstract

패턴 인식 시스템은 공통의 특징으로부터 특수한 특징을 분리하기 위해서 카루넨-뢰베 전개법을 사용한다. 급수항의 숫자 감소를 이용하는 접근법은 극적으로 감소된 계산수를 갖는 상관 출력을 발생한다.

Description

고속 패턴 인식 시스템 및 방법

배경

1. 발명분야

본 발명은 고속의 패턴 인식 시스템에 관한 것이다.

특히 본 발명은 영상에 존재하는 특정 패턴의 위치와 방향을 찾기 위한 시스템에 관한 것이다.

2. 발명의 배경

공장 자동화는 조립 분야에서 많이 채택되었다. 인간의 눈에 의존하지 않고, 조립되어야 할 부품의 위치와 방향을 패턴 인식 처리 시스템이 확인해준다. 따라서, 얻은 정보에 기초하여, 로봇을 이용한 조립 처리가 수행된다. 이 패턴 인식 시스템에는 빠른 속도와 높은 정밀도가 요구된다.

제 1 도를 참고하여 상관 기술에 기초하는 일반적인 패턴 인식 시스템을 설명한다. 인식되어야할 패턴이 들어있는 영상은 카메라와 그와 유사한 영상 디바이스로 감지되어 영상 입력포트(1)로 송출된다. 거기에서 영상이 아날로그에서 디지털로 변환되어 다음 단계에서 디지털 처리가 적용될 수도 있다. 커트아우트포트(2)는 입력 영상의 일부를 커트아우트(cut out area)하여 검색한다. 포트(2)에 의해서 커트아우트된 정보량은 인식되어야 할 기준 패턴을 표현하는 벡터 요소의 수와 같다. 기준 패턴은 기억 포트(3)의 메모리에 기억된다. 예컨대 패턴은 (0),(-1),(-2),(1) 및(2)로 지정된 위치에 기억될 수도 있다. 기억 포트(3)에서는 위치(0)에서 부품의 배열이 비교각과 같은 기준 패턴(9)을 위치(+)에서 비교된 기준 패턴이 양방향을 따라서 임의의 각 만큼 회전하는 패턴(10)을, 그리고 위치(+2)에서 기준 패턴이 양방향을 따라서 임의의 각만큼 회전하는 패턴(11)을 기억한다. 또한 기억 포트(3)에서는 위치(-1)에서 비교된 기준 패턴이 음방향을 따라서 임의의 각만큼 회전하는 패턴(8)을, 그리고 위치(-2)에서 기준 패턴이 음방향을 따라서 임의의 각만큼 더 회전하는 패턴(6)을 기억한다.

입력 영상에서 인식되어야할 패턴은 랜덤 방향일 수도 있으므로 복수의 기준패턴이 준비된다. 이 각각의 패턴들은 회전되지 않은 기준 패턴(9)에 대해서 회전된다. 각각의 기준 패턴은(N) 데이터 포인트로 표현되고 여기서(N)은 구조상 수평화소 및 수직 화소수의 곱과 같다. 환언하면 각 기준 패턴은(N) 차원 벡터로 표현된다.

패턴 선택 포트(4)는 위치들(0) 내지(±2)중에서 기억 포트(3)에 기억되어 있는 패턴들중 한 패턴을 특히 선택할 수 있다. 각각의 기준 패턴은(N)차원 벡터로 표현되므로 패턴 선택 포트(4)의 출력도(N)차원 벡터로 표현된다.

상관 연산 포트 즉 상관기(5)는 동일한 차원을 갖는 두 벡터의 교차 상관 연산을 수행한다. 영상 커트아우트포트(2)로부터 출력되는(N)차원 벡터 정보는 상관기(5)의 한 입력단으로 인가되고, 패턴 선택 포트(4)로부터 출력되는(N)차원 벡터정보는 상관기(5)의 다른 입력단으로 인가된다.

제 2 도에 있어서, 상관 연산에 대해 설명한다. 도시한 바와 같이 기준 패턴(12)은 5×5 화소 벡터로 표현되고 벡터 요소수(N)는 25 이다. 기준 패턴(12)은 x_i로 표현되며 i=1, 2, ... 25이다.

더욱이 큰 영역은 감지된 영상(14)의 일부분으로서 입력되고 보다 작은 부분또는 추출된 영역(13)이 인식될 수 있다. 추출된 영역(13)은 기준 패턴에 대한 것과 유사한 방식으로 정의되는 y₁, y₂. . . 및 y₂₅에 상응하는 화소들로 표현된다. 따라서 추출된 영역(13)의 영상은 y_i로 표현되며 i=1, 2, . . . 25 이다. x_i와 y_i가 결정되면 다음의 상관 연산이 수행된다.

이 식은 정규 교차 상관을 정의한다. 그러나 시스템이 식[1]의 연산을 주행하도록 구성되어 있다면 복수의 항들의 순차 계산이 요구되며 따라서 고속 처리가 기대될 수 없다. 따라서 식[1]에 사용된 항수를 최소화하기 위하여 통상 전처리가 제공된다.

다시 말해 모든 정보의 평균값은 추출된 영역(13)의 화소들에 대해서 계산된다. 평균값을 오프셋량으로서 고려하면 정규화기(65)에서 각 화소 데이터 값으로부터 뺄셈 연산이 수행된다. 추출된 영역의 화소들에 대해서 다음식으로부터 오프셋 값(a)을 구할 수 있다.

그후, 각 요소로부터 다음의 정규화된 화소 데이터 값을 구할 수 있다.

이렇게 구한 추출된 화소들로부터의 정보는 다음의 벡터로 표현된다.

반면에 각 기준 패턴에 대해서는, 오프셋 값이 모든 벡터 요소들로부터 차감되어 평균 가변 밀도값이 0 으로 될 수 있다. 이 오프셋값(a_i)은 다음과 같이 계산된다.

이후, 기준 패턴의 각 요소로부터 다음을 구할 수 있다.

이렇게 구한 요소들은 다음과 같이 벡터로 표현된다.

따라서 상관식[1]을 재작성하여 간단하게 할 수 있다.

분모의 제 1 항은 기준 패턴에 대해서만 계산함으로써 미리 결정될 수 있다. 분자 항과 분모의 제 2 항은 패턴 정합의 처리에 대해서 실시간으로 계산되어야 한다.

분자는 기준 패턴을 표현하는 벡터와 입력 영상을 표현하는 벡터의 내적(inner product)을 표현한다. 분모는 각 기준 패턴의 정규와 커트아우트영역의 정규를 표현한다. 따라서 상관식 [10]은 다음과 같이 재작성될 수 있다.

식[10]의 분자의 계수(N)는 계산의 단순화를 위하여 그것이 상수이기 때문에 고려되지 않았음에 주의하자. 식[11]에 나타나 있는 바와 같이 기준 패턴을 갖는 입력 영상에 대한 보통의 교차 상관 연산은 정규화된 커트아우트 영역을 표현하는 벡터와 정규화된 기준 패턴을 표현하는 벡터간의 내적을 구함으로써 실현될 수 있다. 따라서 전술된 순서를 완성하면 식[11]에 따라서 연산기(66)에서 상관 연산을 수행할 수 있다.

이미 검색된 추출 영역(13)을 점증적으로 이동시킴으로써 연산을 수행할 수 있다. 벡터가 동시 발생 패턴을 나타낼 때 두 벡터의 교차 상관값이 최대화된다는것은 알려져 있다. 이 특성을 이용하여, 최대 교차 상관값을 발생하는 입력 영상의 좌표 위치는 이 위치에서 정의된다.

전술된 교차 상관 연산을 수행하는 순서는 다음에서 이미 도시된 구조로 설명된다. 인식되어야 할 대상물을 포함하여 영상 정보는 영상 입력포트(1)를 통해서 얻어지며 이어서 정보의 특정 범위를 검색할 수 있는 영상 커트아우트포트(2)에서 커트아우트한다. 이때 커트아우트 영역의 구성은 기억 포트(3)에 기억되어 있는 기준 패턴의 구성과 같을 수 있다. 환언하면 커트아우트 영상 정보는 기준 패턴의 열과 행에서 화소들로 동시 발생한다. 따라서 커트아우트 영상은(N)차원 벡터로도 표현된다. 반면에 위치(0)의 패턴은 먼저 패턴 선택 포트(4)에 의해서 기준 패턴으로서 선택된다.

이어서 커트아우트 영상과 기준 패턴간의 1대1 관계를 결정한다. 이어서 이 커트아우트 영역의 상관값을 계산하기 위해서 정규 교차 상관 연산을 수행한다.

다음에 패턴 선택 포트(4)에서 선택될 기준 패턴이 위치(-1)에서의 패턴인 다음 패턴으로 변경된다. 상관값은 정규 교차 상관 연산이 위치(0)에서의 패턴(9)으로 이미 수행된 동일 커트아우트 영역에 대해서 계산된다. 마찬가지로 나머지 모든 기준 패턴에 대해서 이 상관 연산을 반복한다. 이 예에서는 동일한 커트아우트 영역에 대해 5회의 상관 연산을 반복한다.

이어서 상기 패턴 정합 처리가 모든 입력 영상에 적용될 수 있도록 커트아우트 부분이 하나의 화소 단계씩 차례로 천이되는 소위 주사 처리(scanning process)가 수행된다. 다음에 기준 패턴에 따라서 대상물이 존재하는 위치는 각 기준 패턴에 대해 최고 수치의 상관값으로 되는 커트아우트 위치를 구함으로써 확인될 수 있다.

이미 언급된 패턴 정합 처리기가 있으면, 주어진 커트아우트 영상에 필요한 계산수를 다음식으로 설명할 수 있다.

곱셈 연산은 식[12]에서(N+l)회, 식[13]에서(N)회 수행되어야 한다. 다른 곱하기 연산도 있지만(N)이 커지므로 고려하지 않아도 된다. 따라서 각 기준 패턴에 대해서 약(2N)회의 곱셈 연산이 필요하다. 인식되어야 할 패턴수가(P)개라고 가정하면 상기 연산은 각 기준 패턴에 대해서 개별적으로 수행되어야 하기 때문에 각 커트아우트 영상에 대해서(2NP)회의 곱셈 연산이 필요하다.

이러한 종류의 패턴 인식 장치가 부품 조립 처리등에 이용되는 경우에는 각 기준 패턴은 각 행과 열에 100개의 화소를 갖도록 요구되며, 그로써 크기 N=10,000를 갖는 벡터를 형성한다. 따라서 하나의 기준 패턴을 인식하는데는(2NP)회 즉 (2x10,000x1)=20,000회의 곱셈 계산이 필요하다. 인식되어야 할 대상물의 수가 증가하면 계산 회수가 극적으로 증가하고 따라서 처리 속도가 불만족스러운 정도로 감소됨을 알 수 있다.

설명된 간단한 패턴 정합 처리에 있어서, 패턴에 어떤 중대한 특징이 존재하는지의 여부에 상관없이 기준 패턴에서는 모든 화소들이 동등하게 취급된다. 영상들이 항상 한 방향으로 배열되어 있지는 않기 때문에, 비교되는 기준 패턴 이외에 약간 다른 회전을 한 복수의 기준 패턴들을 준비해야 한다. 이 경우 대상물로부터 실제로 얻은 영상의 회전각이 준비된 기준 패턴중 하나와 같지 않으면 그의 상관값은 극적으로 감소한다. 이 결과 최적의 기준 패턴을 검색하는데 실패하게 된다.

발명의 개요

따라서 상기 단점을 감안하여, 본 발명의 목적은 패턴 인식을 위한 고속 처리 시스템을 제공하는 것이다.

본 발명의 다른 목적은 인식율의 개선을 기대할 수 있도록 상관값이 극적으로 감소하지 않는 패턴 인식용 시스템을 제공하는 것이다.

본 발명의 실시예에 따른 패턴 인식 방법은 인식되어야 할 영상과 상관(correlation)하기 위해 복수의 템플레이트 패턴(template patern)을 제공하는 단계와, 카루넨-뢰베 전개법(Karhunen-Loeve Expantion)을 이용하여 상기 템플레이트패턴을 공통항과 복수의 특수항으로 각각 전개하는 단계와, 각각의 상기 전개된 템플레이트 패턴에 대해서 상기 공통항과 상기 특수항의 총합을 상기 인식되어야할 영상과 상관시키는 단계 및, 상기 인식되어야할 영상과의 최고 상관(highest correlation)을 갖는 패턴으로서 정합 템플레이트 패턴을 선택하는 단계를 포함한다.

전술된 다른 목적을 달성하기 위하여, 패턴 인식 시스템이 제공된다. 이 시스템은 기준 패턴에 대해 카루넨- 뢰베 전개법(Karhunen-Loeve Expansion)으로 구한 공통항을 기억하기 위한 공통 패턴(common pattern)용 메모리와, 기준 패턴에 대해 카루넨- 뢰베 전개법으로 구한 소정수의 독립된 고유 벡터(eigenvector)를 기억하기 위한 다른 메모리 및, 각 기준 패턴의 고유 벡터에 상응하는 계수들과 같은 무게 정보를 기억하기 위한 또 다른 메모리들 포함한다. 처리되어야 할 화상의 특정 영역이 커트오프부에 의해 커트아우트된다. 커트아우트 영역에 있는 정보의 평균이 밀도 정규화부에 의해 각 화소 정보로부터 차감된다. 밀도 정규화부에 의해 커트아우트 영역의 정규화된 정보와 메모리에 기억된 공통 패턴간의 공통 패턴 상관 요소들의 연산부에 의해서 내적이 연산된다.

밀도 정규화부에 의해 구해진 커트아우트 영역의 정규화된 정보와 다른 메모리에 기억된 고유 벡터 정보간의 고유 벡터 상관 요소들이 연산부에 의해서 다른 내적이 연산된다. 패턴 의존 상관 요소들의 연산부에서는 고유 벡터 상관 요소들과 고유 벡터에 관한 정보에 무게를 부여하기 위해 메모리에 위해서 기억된 계수들간의 곱을 총합한다. 상관 분자값의 덧셈기부에서는 공통 패턴 상관 요소에 패턴 의존성 상관 요소를 더한다. 이 시스템은 y_i의 정규 계산을 위한 ｜｜y_i｜｜ 연산부와 x_i정규 기억을 위한 ｜｜x_i｜｜기억부를 더 구비한다. 상관적인 분모값을 위한 곱셈기부에서는 y_i의 정규에 x_i의 정규를 곱한다. 나눗셈기부는 상관적인 분모값으로 나눈 상관분자값으로 형성된다.

본 발명에 의하면 기준 패턴으로서 등록된 표현의 특징은 카루넨-뢰베 전개법을 영상 처리에 적용함으로써 얻을 수 있다. 실제로 얻은 화성에서의 대상물의각도는 미리 준비된 기준 패턴들중 하나와 같지 않은 경우라도 상관값은 극적으로 감소하지 않는다. 따라서 인식율의 개선을 기대할 수 있다.

또한, 본 발명에 의하면, K-L 전개법으로 표현된 기준 패턴들중에서, 복수의 기준 패턴들에 대해 동일한 연산이 공통적으로 수행되는 부분을 검색한다. 임의의 검색 영역에 대한 연산을 공통으로 이용함으로써 인식율을 감소시키지 않고서도 고속 처리를 위한 신속한 진행이 구해진다.

양호한 실시예의 상세한 설명

카루넨-뢰베 전개법을 다른 문헌에서도 설명되어 있지만 본원에서는 본 발명에서 사용된 바와 같은 연산 절차를 간략히 설명한다. 본 발명에서 모든 기준 패턴에 대한 공통의 특징을 갖는 요소들은 K-L 전개법을 사용함으로써 각 기준 패턴에 대한 특유의 특징을 갖는 요소들로부터 분리될 수 있다. 이 요소들은 선형 커플링의 형태로 표현된다. 기준 패턴에 의존하여 상응하는 계수들의 쌍들을 상응하게 조합하였다면 각 기준 패턴은 상기 요소들에 의해서만 표현된다. 특유의 기준 패턴 특징을 표현하는 요소들은 각 기준 패턴에 독립적인 직교 벡터를 갖는다. 이 전개법에 의하면 공통의 특징을 표현하는 요소들은 기준 패턴 그룹의 대략적인 특징을 나타낸다. 따라서 패턴 인식에 의해서 유사한 모양이 쉽게 검색될 수 있다. 각 기준 패턴에 대한 분리는 독립의 직교 벡터에 관한 벡터 연산으로 수행되므로 특정 연산을 위한 소위 완화법(relaxation method)으로 유사한 효과를 기대할 수 있다.

본 발명에서 K=L 전개법은 기준 패턴에만 적용된다. 특히 연산은 후술하는 바와 같이 수행된다.

(1) 오프셋값은 각 기준 패턴에 대해서 모든 화소들이 평균 가변 밀도값이 0으로 되도록 차감된다. 환언하면 오프셋값(a_i)은 각 기준 패턴에 대해서 다음과 같이 계산된다.

이후, 각 기준 패턴의 요소들에 의존하여 다음의 계산을 수행한다.

이렇게 구해진 요소들은 벡터로 표현된다.

이후, 이것을 정규화된 기준 패턴이라고 칭한다.

(2) 다음에 평균(c_j)은 기준 패턴(P)의 총수에 상응하는 벡터 요소마다 다음과 같이 계산된다.

이 요소들은 다음과 같이 벡터로 표현된다.

(3) 단계(1) 및(2)에서 구해진 벡터를 기초로 하여 다음과 같이 공분산행렬(covariance matrix)(A)를 정의할 수 있다.

(4) 단계(3)로부터 공분산 행렬의 고유값 식을 구한다.

이 식을 풀어서, 고유 벡터 e_j와 고유값 λ_j(j=1,2, . . . P-1)를 찾고 j=1, 2, ..., P-1 에 대한 고유 벡터 e_j와 고유값 λ_j의 할당을 다음과 같이 기재한다.

고유값의 수는 각 기준 패턴에 대해서 공통항이 공분산 행렬로 연산되므로 P-1 이하이고, 따라서 독립성의 정도가 1씩 감소된다. 당해 기술의 숙련자들은 이것이 궁극적으로는 나중에 계산수가 더 적어지게 되는 것을 이해할 것이다.

구해진 고유값 λ_j은 상응하는 고유 벡터 e_j가 기준 패턴의 특징을 어느 정도까지 가지는지를 나타내는 색인이 된다. 따라서 고유값이 커지면 상응하는 고유 벡터는 각 기준 패턴을 분리함에 있어서 더욱 중요해진다. 이 고유값 e_j는 각각(N) 차원 직교 그라운드를 갖는다.

(5) 상기 처리는 구해진 고유 벡터 e_j를 이용하여, K-L 전개법을 적용하는정규화된 기준 패턴을 다음과 같이 고쳐쓴다.

여기서 다음식을 이용하여 P_ij를 결정한다.

따라서, 원래의 기준 패턴은 식[22]와 식[23]으로 표기된 바와 같이 전개된다. 이것이 공통 부분을 표현하는(c)와 특유의 부분을 표현하는 총합항을 갖는 K-L전개 표기법이다.

(6) 각 고유 벡터에 상응하는 고유값은 각 기준 패턴의 특징을 표현한다. 환언하면 고유값이 적은 고유 벡터는 영상 인식에 충분히 기여하지 않는다. K-L 전개법에 의하면 식[22]와 같은 모든 고유 벡터에 대해서 일차 커플링을 수행하지 않더라도 어느 정도 오차를 수용함으로써 일차 커플링되어야 할 항수를 제한할 수 있다. 예컨대 다음과 같이 커플링 항수가(K)(여기서, K<P-1)와 같게 근사를 행할 수 있다.

여기에 사용된 항 P_ij는 식[23]에서 주어진 것과 같다. 식[24]에서 설명된, K-L 전개법으로 전개된 바와 같은 기준 패턴 정보를 구하기 위해서는 수많은 계산이 필요하다. 그러나 이 계산은 결코 입력 영상에 의존하지 않는다. 따라서, 인식되어야 할 기준 패턴이 미리 결정되는 한 그것이 먼저 계산될 수 있고, 필요할 때 그 계산 결과만을 기억하고 검색할 수 있다. 고유값과 수용할 수 있는 인식율을 확인함으로써 실험적으로 값(K)을 결정할 수 있다.

(7) 그러나, 기준 패턴은 식[24]에서 K-L 전개법으로 전개될 뿐이다. 이 결과를 식[11]에 적용해도 앞서 제안된 시스템에서와 마찬가지로 동일한 연산수를 수행해야 한다. 인식율의 개선이 있기는 하지만 처리 속도의 증가를 기대할 수 없다. 상관값의 분자항의 경우 특정 기준 패턴의 특정 커트아우트 위치에 필요한 곱셈 연산수는 약(N)이다. 또한 상관값의 분모항에서의연산의 경우에는 약(N) 연산을 수행한다. (P)개의 상이한 기준 패턴의 경우,연산의 결과를 공통으로 이용할 수 있기 때문에 분모에서는 약(PN)회의 부가 연산이 펄요하다. 그 결과 약 (P+1)N회의 총계산을 수행하는 것을 이해할 수 있다.(8) 본 발명은 기준 패턴에 의존하여 계산을 수행해야 하는 항수를 감소시키는 것에 관한 것이다. 또한 각 패턴에 대해서 공통으로 연산을 수행할 수 있는 항수를 증가시키기 위해서 식[11]을 변형시킨다. 본 발명의 시스템은 이 변형된 식을 기초로 하여 구성되어 있다. 환언하면 식[11]의 분자에는 선형 커플링이 있으므로 다음과 같이 분포 법칙을 적용할 수 있다.

정규의항은 식[24]로 구해진의 근사에 기초를 두고 있다.

제 1 항과 분자의 제 1 항의 항은 특정 영상이 커트아우트될 때마다 단 한번의 계산을 필요로 한다. 이것은 기준 패턴수의 증가로 인한 연산수의 증가가 단지 단한번 수행되는 배수기 연산(scaler operation)에 지나지 않음을 보여준다.

이하, 제 3 도의 흐름도를 참조하여 본 발명의 실시예를 간략히 설명한다. 먼저 영상이 입력되어 영상 입력포트(31)의 메모리에 기억된다. 다음에 처리되어야 할 입력 영상의 특정 부분이 커트아우트되어 커트아우트포트(32)에서 검색된다. 이어서 이 커트아우트 데이터에 관하여 밀도 정규화 포트(33)에서 밀도 정규화 연산을 수행한다. 이어서 더 후술한 상관 계수를 행한다. 각 기준 패턴에 대해서 순시메모리 뱅크(63)에 상관 계산의 결과를 기억시킨다. 커트오프될 부가 데이터가 있으면 다른 영상을 입력하여 상기 단계들을 반복한다. 그렇지 않은 경우에는 순시메모리 뱅크(63)의 최대 데이터값을 인식한다.

이제 제 4 도를 참조하여 본 발명을 더 상세히 설명한다. 영상 입력포트(31)는 인식되어야 할 영상을 수신하고 기억한다. 그 영상은 카메라나 그와 유사한 영상기기로 감지된다. 여기에서 입력은 아날로그에서 디지털로 변환되어 디지털 처리가 가능해진다. 커트아우트포트(32)는 영상 입력포트(31)로부터의 입력 영상중에서 특정 장소를 잘라서 검색한다. 포트(32)에서의 정보 커트아우트량은 인식되어야 할 기준 패턴을 표현하는 벡터와 같은 수의 벡터 요소를 갖는다. 밀도 정규화 포트(33)는 커트아우트 영역의 화소들에 대해서 모든 정보의 평균값을 계산한다. 그 평균값을 오프셋량으로서 사용하여, 그것을 각 화소 데이터값에서 뺌으로서 연산을 수행한다. 특히 커트아우트 영역의 화소에 대해서 다음식으로 오프셋값(a)을 구한다.

이어서 커트아우트 요소의 화소에 관하여 다음식을 수행한다.

이렇게 구해진 커트아우트 화소의 정보를 다음과 같이 벡터 표기로 표현한다.

요소들의 이 정보는 모든 기준 패턴에 대해서 공통으로 사용되므로 소정의 커트아우트를 수행하면 기억된다. 고유 벡터에 대한 기억 포트(36)는 각 기준 패턴에 대해 이미 수행되어 온 K-L 전개법으로 구해진 고유 벡터 정보를 기억하는 메모리로 구성되어 있다. 특히, 기억 포트는 식[20]으로부터 구해지는 e_j(j=1, 2, ..., K)를 기억한다. 고유 벡터로부터의 무게 정보를 위한 다른 기억 포트(39)는 상기 고유 벡터 정보에 상응하는 각 기준 패턴을 기초로하여 결정되는 P_ij를 기억하는 메모리로 구성되어 있다. 항 P_ij(i=1, 2, ..., P)(j=1, 2, ..., K)은 특히 다음식으로 결정된다.

항 P_ij은 배수기량이다. CPU(중앙처리장치)(62)가(i)를 지정하면 출력 항 P_ij은 특정의 기준 패턴에 상응한다.

고유 벡터 상관 요소의 연산부(37)에서 연산을 수행하여, 전술의 고유 벡터정보 e_j(j=1, 2, ..., K)와 이미 정규화된 밀도의 입력 영상 정보간의 내적을 구한다. 연산부(37)는를 계산한다. 그 결과는 배수기값 v_j이다. 그것이 고유벡터 정보 e_j(j=1, 2, ..., K)에 대해서 계산되므로 방법의 유사 단계에서 보다 이 단계에서 더 적은 계산이 요구됨을 인식하자.

연산부(38)에서는 기억 포트(39)로부터의 고유 벡터에 대해서 이미 구한 배수기값 v_j과 무게 정보 P_ij간의 곱셈 연산을 수행한다. 고유 벡터에 대해서 이미 구한 배수기값 v_j과 무게 정보 P_ij는 모두 배수기량이므로, 각 기준 패턴에 대해서 곱셈 연산을 수행한다. 더 적은 요소들 P_ij이 있으므로 더 적은 연산이 필요함을 인식하자.

총합 연산 포트(40)는 배수기값들을 더하는 덧셈기부이다. 패턴 의존 상관요소들의 연산부(38)에서 계산된 항 v_j과 P_ij은 j=1 내지(K)의 각 개별 배수기값에 대해서 더해진다. 따라서 다음의 총합 연산을 수행한다.

공통 패턴 정보의 기억부(34)는 식[18]로부터의 벡터(C)를 기억한다.벡터(C)는 기준 패턴에 공통인 패턴 정보를 표현한다. 환언하면 식[18]에서 설명된 바와 같은(N)차원 벡터를 기억한다.

공통 패턴 상관 요소들의 계산부(35)는 모든 기준 패턴에 대해서 공통의 패턴 정보로서 식[18]의 벡터(C)로 곱한 특정한 커트아우트 입력 영상에 대해 내적을 계산한다. 이 연산으로항 즉 식[25]의 분자의 제 1 항이 계산된다.

덧셈기부(44)는 공통 패턴 상관 요소들의 계산부(35)와 총합 연산 포트(40)의 출력의 배수기 덧셈을 수행한다. 이 덧셈기의 출력은 식[25]의 분자가 되어, 정규화된 상관값에 상응하는 상관값 Ci을 나타낸다.

연산부(41)는 밀도 정규화부(33)에 의해서 커트아우트되고 구해진 입력 화상 벡터의 정규를 계산한다. 특정의 커트아우트에는(N)회의 곱셈(자승)연산을 적용한다. 따라서 출력은 배수기량이 된다.

기억부(42)는 각 기준 패턴(i)에 대해서, 기준 패턴을 나타내는 길이의 벡터를 기억한다. 후술되는 바와 같은 제어 목적상 CPU(62)가(i)를 지정하면 그 지정된 기준 패턴에 상응하는 x_i에 정규가 출력된다. 출력값은 배수기량이다.

곱셈기부(43)는연산부(41)와기억부(42)의 출력값들간의 곱셈 연산을 수행한다. 이 값은 식[25]의 상관값 C_i의 분모항과 같아지고 그것은 정규화된 상관값에 상응한다.

나눗셈기부(45)는 곱셈기부(43)의 출력이 덧셈기부(44)의 출력을 나누는 연산을 수행한다. 이 연산은 특정의 커트아우트 영역과 특정의 기준 패턴에 딱 한번수행된다. 그의 출력은 식[25]의 상관값 C_i이 되며 그것은 정규화된 상관값에 상응한다.

상관 결과의 뱅크(63)는(P)개의 상이한 종류의 기준 패턴에 독립된 메모리 뱅크이다. 특정의 뱅크에서는 입력 영상의 총화소수와 거의 같은 수치값을 기억한다. 그 뱅크는 그 연산이 적용된 기준 패턴과 커트아우트 영역에 상응하는 어드레스에 나눗셈기부(45)의 출력을 기억한다.

CPU(63)은 입력 영상, 커트아우트, 기준 패턴의 명세, 및 상관 결과의 뱅크중에서 선택한다. CPU(62)는 기억된 정보를 상관 결과 뱅크(63)로부터 판독할 수 있다. 최고값을 가장 가까운 영상을 나타내는 것으로서 선택한다.

다음에 본 장치의 동작에 대해 설명한다. 영상 입력부(31)로부터 유도된 영상은 아날로그에서 디지털로 변환된다. 커트아우트(32)의 연산에 의해서 어떤 장소가 커트아우트되고 CPU(62)에 의해서 지정되는 바와 같이 검색된다. 그 검색된 영상 정보는 평균값이 0이 되도록 밀도 정규화부(33)에 의해서 정규화된다.

CPU(62)는 특정 종류(i)의 기준 패턴을 지정한다. 고유 벡터의 무게 정보에 대한 기억 포트(39)는 출력 P_ij을 발생한다.

내적은 공통 패턴 정보에 대해 기억부(34)에 기억된 공통 패턴에 관한 정보(i)와 밀도 정규화부(33)의 출력 사이에 계산된다. 이 연산으로, 식[25]의 분자에 있는 제 1 항인 항이 계산된다. 이 연산은 각 커트아우트 영역에 대해서 딱 한번 수행됨을 인식하자. 그 결과 각 영역에 대해서(N)회의 곱셈 연산이 된다. 반면에, 밀도 정규화부(33)의 출력은 고유 벡터 상관 요소들의 연산부(37)에서를 계산하는 기본이 된다. 특정 커트아우트 영역의 정보에 들어있는 각 고유 벡터에 대해서 연산을 행하므로, 특정 커트아우트 영역의 모든 고유 벡터에 대해서 연산을 수행하는 연산수는(NK)회이다. 그러나 이 연산이 패턴 정합에 대한 기준 패턴의 종류에 상관없이 한번만 요구됨을 인식하는 것은 중요하다.

총합 연산은 패턴 의존 상관 요소들의 연산부(38)를 통해서 수행되므로 식[25]의 분자에 있는 제 2 항을 계산할 수 있다. 패턴 의존 상관 요소들의 연산부(38)는 기준 패턴이 CPU(62)가 지정하는 대로 처리될 때마다 그의 연산을 수행한다. 따라서 특정의 커트아우트 영역에 대해 모든 기준 정합 패턴을 계산함에 있어서(KP)회의 연산을 수행한다.

연산부(41)는 정규화된 커트아우트 영역에 관한 정보에 정규를 구하는 연산을 수행한다. 그 결과를 곱셈기(43)에서로 곱하고, 여기서는 CPU(62)가 지정하는 대로 특정 정류(i)의 기준 패턴에 상응하는 기억부(42)로부터 유도된다. 이것은 상관값 C_i의 분모항을 구하는 연산이다.

다음에 분자값과 분모값을 나눗셈부(45)에서 나눈다. 이 나뉜 결과는 CPU(62)가 지정하는 바와 같은 커트아우트 장소와 지정된 기준 패턴(i)에 상응하는 어드레스 정합 결과 뱅크(63)에 기억된다.

상관 결과 뱅크(63)에서 CPU(62)가 조사(scan)하여, 각 기준 패턴에 대해 첨두값(peak value)을 검출한다. 그 결과 상관의 첨두값이 검출된 어드레스에 상응하는 커트아우트 장소에 기준 패턴에 의해 등록된 바와 같은 대상물이 검출될 수 있다.

모든 기준 패턴의 특정 커트아우트 장소에 대해 곱셈 연산수를 고려하면, 공통 패턴 상관 요소들의 계산부(35)에서는(N)회 연산, 고운 벡터 상관 요소들의 연산부(37)에서는(NK)회 연산, 패턴 의존성 상관 요소들의 계산부(38)에서는(PK)회 연산, 그리고8연산부(41)에서는(N)회 연산이 있다. 따라서 총계 약 N(K+2)+PK회 연산이 있음이 이해된다.

실험상 각각 약 4 도씩 증가적으로 회전되는 여러 개의 기준 패턴을 준비하면 일반 부품을 인식하는데 만족할만한 결과를 얻었다. 이 조건하에서는 P=90, K=10 및 N=10,000의 값을 얻는다. 기초로 하여 약 900,000회 연산을 수행해도 된다. 그러나, 본 발명의 이 실시예를 약 120,000회 연산만이 필요하다. 본 발명에 필요한 연산수는 따라서 선행 방법에 필요한 수의 약 팔분의 일(1/8)이다. 그러므로 본 발명은 고속 처리를 가능케한다.

본 발명의 설명에서, 특정 대상물이 기준 패턴으로서 등록되는 예를 예시하였다. 제 5 도에 도시된 바와 같은 대상물의 부품(50)도 등록되었다. 특정 대상물의 화상(51)이 제 6 도에 도시된 바와 같이 취해지고 제 5 도의 기준 패턴과 정합되는 경우, CPU(62)는 커트아우트부(53)를 차례로 주사하도록 명령을 보낸다. 더욱이 상관값들을 추적함으로써 모서리부(52)에서 첨두값이 검출된다. 따라서 장소의검출을 완성할 수 있다.

제 7 도에는 본 발명에 의한 시스템의 일예를 도시하고 있다. 이 예는 부품을 인쇄 기판에 장착하는 장치이다. 인쇄 기판(71)은 부품이 장착되어야 할 작업대이다. 인쇄 기판(71)은 콘베이어(72)로 운반된다. 콘베이어 벨트(72)는 인쇄 기판을 운반하고, 부품이 장착되는 위치에서 그 인쇄 기판을 멈추고 고정시킨다. 장착도구(73)는 전송과 공급을 가능케하는 로보트일 수 있는 전송 장치의 동작끝에 척장치(chucking device)를 갖는다. CCD(전하 결합 소자) 카메라(74)는 정보를 영상입력포트(31)로 제공하기 위한 영상 수취 장치이다. 그 영상은 부품이 장착되어야 할 장소를 검출하도록 입력으로서 제공된다.

인쇄 기판(71)에 장착되어야 할 부품들은 선반(tray)(75)에 배열되어 놓인다. 그 선반은 장착 도구(73)가 그 부품들을 검색하는 장소에 배치된다.

제어기(76)는 장착 도구, 영상 인식 장치(76), 로보트 및 척장치를 제어한다. 영상 인식 장치(76)는 본 발명의 인식부이다. 그 장치(76)는 CCD 카메라(74)에 의해서 인쇄 기판(71)으로부터 수취된 영상 정보를 기초로 하여 공급된 부품들의 배열과 장소를 판정하여 제어기(77)로 전송시킨다. 감시기(78)는 예컨대 CPU(62)의 상태와 입럭 영상의 결과를 화면 표시하는 장치이다.

다음에 이 시스템의 동작을 설명한다. 인쇄 기판은 콘베이어 벨트에 의해 이송되어 감시하기 위한 특정 위치에 도착할 때 그의 영상이 CCD 카메라에 감지된다. 인쇄 기판의 영상 정보를 기초로 하여, 부품을 공급하는 장소와 배열을 판정한다. 이 결과가 제어기(77)로 전송되면 장착 도구는 특정 부품 선반중에서 필요한 부품들을 검색하고 전송하여 그 부품들은 미리 결정된 장소로 공급하도록 제어된다. 이어서 조립 동작이 수행된다.

필요하다면 기준 패턴들 변경할 수도 있다. 환언하면, 공통 패턴 정보(34), 고유 벡터 정보(36), 고유 벡터(39)의 무게 정보 및 패턴 거리 정보는 다른 부품에 관하여 처리를 수행할 수 있도록 대체될 수 있다.

본 발명은 예컨대 SONY XC-77카메라를 사용하여 512×512NTSC 흑백 영상을 만들어내는 상용화된 SONY VISION SYSTEM을 사용하여 이용될 수도 있다. 이 시스템은 C 언어로 프로그램될 수 있고, 이때 영상 정보(35 및 37)는 일본 특허 출원 번호 제 5 -11807호(본원에 인용됨)의 우선권을 주장하는 미국 특허 출원 번호 제 08/18,075호(1994년 1월 13일 출원)에 개시된 VLSI 회로를 사용하여 계산되고, C 언어로 호출되는 루틴으로서 상용화되어 있다. 본 발명은 회전된 대상물을 찾는 시스템에 대해서 설명되었지만 당해 기술의 숙련자들에게는 이러한 시스템에 대해서 다른 많은 용도를 찾을 수 있다.

본원에 첨부된 부록 I의 논문 초안에는 본 발명을 더 상세히 설명하고 있다. 이 서류의 출원일에 관하여, 부록 I은 출간되지 않았고 소니(주)의 요시무라 신이치와 카네기 멜론 대학의 로보트 연구소의 카나데 타케오 공저이다. 부록 I로 나타낸 이 논문 초안은 본원에서 참증으로 합체되어 있다.

특정의 실시예와 관련하여 설명되었지만 전술의 설명을 감안하여 당해 기술분야의 숙련자들에게는 많은 대체, 변형, 교체 및 변화들이 분명해진다. 예컨대 본 발명은 프로그램된 범용 컴퓨터로 구체화될 수 있고 또는 선택적 요소들이 하드웨어안에 구체화될 수 있다. 당해 기술 분야의 숙련자들에게는 다른 실시예들이 떠오를 것이다.

제 1 도는 일반적인 상관 기술을 기초로 한 패턴 인식 시스템 블록도.

제 2 도는 제 1 도에 도시된 시스템에서 채택된 상관 연산예 블록도.

제 3 도는 본 발명의 실시예로서 패턴 인식 시스템 흐름도.

제 4 도는 본 발명의 실시예로서 패턴 인식 시스템 블록도.

제 5 도는 본 발명이 적용될 수 있는 기준 패턴 실시예 도면.

제 6 도는 본 발명이 적용될 수 있는 영상 실시예 도면.

제 7 도는 본 발명이 적용될 수 있는 조립 시스템 실시예 도면.

* 도면의 주요부분에 대한 부호의 설명

1 : 영상 입력포트 2 : 커트아우트포트

3 : 기억 포트 6, 8, 11 : 회전 패턴

9, 12 : 기준 패턴 14 : 감지된 영상

65 : 정규화기 66 : 연산기

Claims (2)

1. 기준 패턴의 카루넨-뢰베 전개법으로 얻은 공통 패턴을 기억하는 제 1 메모리와,

   상기 기준 패턴의 카루넨-뢰베 전개법으로 얻은 고유 벡터를 기억하는 제 2 메모리와,

   상기 기준 패턴의 상기 고유 벡터에 상응하는 가중치(weghting coefficient)를 기억하는 제 3 메모리와,

   처리되어야 할 영상의 커트아우트 영역을 커트아우트하는 커트아우트 수단과,

   상기 커트아우트 영역에 있는 정보의 평균값을 상기 커트아우트 영역으로부터 감산하여 정규화된 커트아우트 영역을 발생하는 밀도 정규화 수단과,

   상기 공통 패턴과 상기 정규화된 커트아우트 영역간의 내적을 얻음으로써 공통 패턴 상관 요소를 발생하는 수단과,

   상기 고유 벡터와 상기 정규화된 커트아우트 영역간의 내적을 얻음으로써 고유 벡터 상관 요소를 발생하는 수단과,

   상기 고유 벡터와 상기 가중치를 총합함으로써 패턴 의존 상관 요소를 발생하는 수단과,

   상기 공통 패턴 상관 요소와 상기 패턴 의존 상관 요소를 더함으로써 상관분자(피제수)를 발생하는 덧셈기와,

   i 가 화소값의 정수인 상기 커트아우트 영역 ｜y_i｜에서 화소값 y_i의 정규를 계산하는 수단과,

   상기 기준 패턴 ｜x_i｜ 에서 화소값 x_i의 정규를 계산하는 수단과,

   상기 y_i의 정규를 상기 x_i의 정규로 곱함으로써 상관 분모(제수)를 발생하는 곱셈기 및,

   상기 상관 분자를 상기 상관 분모로 나누는 나눗셈기를 포함하는 패턴 인식시스템.
2. 정규화된 패턴의 카루넨-뢰베 전개법으로 얻은 공통 패턴을 기억하는 단계와,

   상기 정규화된 패턴의 카루넨-뢰베 전개법으로 얻은 고유 벡터를 기억하는 단계와,

   상기 정규화된 패턴의 상기 고유 벡터에 상응하는 가중치를 기억하는 단계와,

   처리되어야 할 영상의 커트-아우트 영역을 커트아우트하는 단계와,

   상기 커트-아우트 영역으로부터 상기 커트아우트 영역에 있는 정보의 평균값을 감산하여 정규화된 커트-아우트 영역을 생성하는 밀도 정규화 단계와,

   상기 공통 패턴과 상기 정규화된 커트아우트 영역간의 내적을 얻음으로써 공통 패턴 상관 요소를 발생하는 단계와,

   상기 고유 벡터와 상기 정규화된 커트아우트 영역간의 내적을 얻음으로써 고유 벡터 상관 요소를 발생하는 단계와,

   상기 고유 벡터와 상기 가중치를 총합함으로써 패턴-의존 상관 요소를 발생하는 단계와,

   상기 공통 패턴 상관 요소와 상기 패턴-의존 상관 요소를 더함으로써 상관분자(피제수)를 발생하는 단계와,

   i 가 화소값의 정수인 상기 커트아우트 영역 ｜｜y_i｜｜에서 화소값 y_i의 정규를 계산하는 단계와,

   상기 기준 패턴 ｜｜x_i｜｜ 에서 화소값 xi의 정규를 계산하는 단계와,

   상기 y_i의 정규를 상기 x_i의 정규로 곱함으로써 상관 분모(제수)를 생성하는 단계 및,

   상기 상관 분자를 상기 상관 분모로 나누는 단계를 포함하는 패턴 인식 방법.

   부록 I

   요시무라 신이치와 카나데 타케오 공동의 논문 초안, "Fast Hierachial Matching of Images with the Normalized Correlation by Use of Pyramidal Eigenimages"