KR19980025464A

KR19980025464A - Image recognition method

Info

Publication number: KR19980025464A
Application number: KR1019960043502A
Authority: KR
Inventors: 김창수; 이상기; 안한철; 한갑수; 권순호; 오영석
Original assignee: 최춘길; 태석기계 주식회사
Priority date: 1996-10-01
Filing date: 1996-10-01
Publication date: 1998-07-15
Also published as: KR100227266B1

Abstract

본 발명은 영상 인식방법을 공개한다. 그 방법은 미리 설정된 영상의 소정 영역의 데이타를 저장하는 단계, 입력되는 비교될 영상을 저장하고 상기 비교될 영상을 소정수의 영역으로 나누고 상기 미리 설정된 영상의 소정 영역의 데이타와 상기 소정수의 영역의 데이타의 상관계수를 구하는 제 1 탐색단계, 상기 소정수의 영역중 상관계수가 가장 큰 영역 주위의 탐색 영역의 데이타와 상기 미리 설정된 소정 영역의 데이타의 상관계수를 구하는 제 2 탐색단계, 상기 제 2 탐색단계에서 구해진 상관계수가 설정된 상관계수보다 큰지를 비교하여 큰 경우에는 상기 미리 설정된 영상의 소정 영역과 상기 탐색 영역의 위치오차를 계산하는 위치 오차 계산단계, 및 상기 제 2 탐색단계에서 구해진 상관계수가 설정된 상관계수보다 큰지를 비교하여 작은 경우에는 상기 소정수의 영역중 상관계수가 다음으로 큰 영역 주위의 탐색 영역의 데이타에 대하여 상기 제 2 탐색단계를 수행하는 단계로 이루어져 있다. 따라서, 미리 설정된 영상의 위치로 부터 비교될 영상의 어느 위치로 이동했는지를 찾는데 연산횟수가 줄어든다는 장점이 있다.The present invention discloses an image recognition method. The method includes storing data of a predetermined region of a preset image, storing an input image to be compared, dividing the image to be compared into a predetermined number of regions, and storing data of the predetermined region of the preset image and the predetermined number of regions. A first search step of obtaining a correlation coefficient of the data of the second data; a second search step of obtaining a correlation coefficient of data of the search area around the area having the largest correlation coefficient among the predetermined number of areas and data of the predetermined area; 2, if the correlation coefficient obtained in the search step is larger than the set correlation coefficient, the position error calculation step of calculating a position error of the predetermined area and the search area of the preset image, and the correlation obtained in the second search step. If the coefficient is smaller than the set correlation coefficient, the correlation coefficient is different among the predetermined number of regions. And performing the second search step on the data of the search area around the negatively large area. Therefore, there is an advantage that the number of operations is reduced in finding which position of the image to be compared from the preset position of the image.

Description

Image recognition method

본 발명은 영상 인식방법에 관한 것으로, 특히 미리 설정된 영상과 비교될 영상의 위치오차를 추출하기 위한 영상 인식방법에 관한 것이다.The present invention relates to an image recognition method, and more particularly, to an image recognition method for extracting a position error of an image to be compared with a preset image.

영상 인식방법이란 미리 설정된 영상이 찾아보고자 하는 영역내의 어느 위치에 있는가 또는 미리 설정된 영상과 동일한 영상이 소정 영역내에 존재하는가 등의 판단을 하는 것을 말한다. 이러한 기능을 갖기 위하여 미리 설정된 영상과 비교할 영상을 비교검사하는 하드웨어 또는 소프트웨어적인 도구가 필요로 하게된다. 그런데, 종래의 영상 인식방법은 미리 설정된 영상과 비교할 영상의 영상 데이타를 모두 비교함에 의해서 비교할 영상이 미리 설정된 영상에서 어느 정도 벗어나는지를 판단하게 됨으로써 영상의 움직임을 추출하는데 시간이 오래 걸린다는 단점이 있었다.The image recognition method refers to determining a position of a preset image in an area to be searched or whether an image identical to a preset image exists in a predetermined region. In order to have such a function, a hardware or software tool for comparing and inspecting an image to be compared with a preset image is required. However, the conventional image recognition method has a disadvantage in that it takes a long time to extract the motion of the image by determining how far the image to be compared is out of the preset image by comparing the image data of the image to be compared with the preset image. .

본 발명의 목적은 비교할 영상이 미리 설정된 영상으로 부터 벗어난 정도를 쉽게 찾을 수 있는 영상 인식방법을 제공하는데 있다.An object of the present invention is to provide an image recognition method that can easily find the degree to which the image to be compared is out of the preset image.

이와 같은 목적을 달성하기 위한 본 발명의 영상 인식방법은 미리 설정된 영상의 소정 영역의 데이타를 저장하는 단계, 입력되는 비교될 영상을 저장하고 상기 비교될 영상을 소정수의 영역으로 나누고 상기 미리 설정된 영상의 소정 영역의 데이타와 상기 소정수의 영역의 데이타의 상관계수를 구하는 제 1 탐색단계, 상기 소정수의 영역중 상관계수가 가장 큰 영역 주위의 탐색 영역의 데이타와 상기 미리 설정된 소정 영역의 데이타의 상관계수를 구하는 제 2 탐색단계, 상기 제 2 탐색단계에서 구해진 상관계수가 설정된 상관계수보다 큰지를 비교하여 큰 경우에는 상기 미리 설정된 영상의 소정 영역과 상기 탐색 영역의 위치오차를 계산하는 위치 오차 계산단계, 및 상기 제 2 탐색단계에서 구해진 상관계수가 설정된 상관계수보다 큰지를 비교하여 작은 경우에는 상기 소정수의 영역중 상관계수가 다음으로 큰 영역 주위의 탐색 영역의 데이타에 대하여 상기 제 2 탐색단계를 수행하는 단계를 구비한 것을 특징으로 한다.The image recognition method of the present invention for achieving the above object comprises the steps of storing data of a predetermined region of a preset image, storing the input image to be compared and dividing the image to be compared into a predetermined number of regions and the predetermined image A first search step of obtaining a correlation coefficient between data of a predetermined area of the data and data of the predetermined number of areas, the data of the search area around the area having the largest correlation coefficient among the predetermined number of areas, and the data of the predetermined area; Computing a position error of calculating a position error of the predetermined region of the preset image and the search region when the correlation coefficient obtained in the second search step and the second search step is greater than a set correlation coefficient. And comparing whether the correlation coefficient obtained in the second search step is larger than the set correlation coefficient. The case characterized in that it includes the step of: with respect to data of the search area around the large area is the correlation coefficient of the region of the predetermined number to then perform the second search step.

도 1 은 미리 설정된 영상이 존재하는 위치로 부터 비교할 영상이 존재하는 위치까지의 오차를 측정하는 방법을 나타내는 것이다.1 illustrates a method of measuring an error from a position where a preset image exists to a position where an image to be compared exists.

도 2a, b 는 종래의 영상 인식방법을 설명하기 위한 것이다.2A and 2B illustrate a conventional image recognition method.

도 3a, b, c, 및 d 는 본 발명의 영상 인식방법을 설명하기 위한 것이다.3a, b, c, and d are for explaining the image recognition method of the present invention.

이하, 첨부된 도면을 참고로 하여 본 발명의 영상 인식방법을 설명하기 전에 종래의 영상 인식방법을 설명하면 다음과 같다.Hereinafter, a conventional image recognition method will be described with reference to the accompanying drawings before explaining the image recognition method of the present invention.

일반적으로, 미리 설정된 영상이 존재하는 위치로 부터 비교할 영상이 존재하는 위치까지의 오차를 측정하는 방법은 도 1 에 나타내었다. 물체(T2)까지의 위치벡터(Px)를 알기 위하여는 미리 설정된 위치(T1)에서 위치(T2)까지의 오차벡터(Perror)를 측정함으로써 위치벡터(Px)를 구할 수 있다. 즉,Px =Pknown +Perror의 관계를 이용하여 구할 수 있다. 여기에서, 굵은 글씨는 벡터를 의미한다. 따라서, 오차벡터(Perror)를 구하는 것이 위치를 구하는 관건이다. 영상처리를 이용하여 오차벡터(Perror)를 구하는 방법은 다음과 같다.In general, a method of measuring an error from a position where a preset image exists to a position where an image to be compared exists is illustrated in FIG. 1. An object (T 2) where vector (P x) to know to the pre-set position up to (T 1) where (T 2) to obtain the position vector (P x), by measuring the error vector (P error) to the in have. That is, it can be obtained using the relationship of P x = P known + P error. Here, bold text means a vector. Therefore, finding the error vector ( P error) is the key to finding the position. A method of obtaining an error vector ( P error) using image processing is as follows.

먼저, 오차벡터(Perror)에서 물체(T1)의 영상 데이타를 저장하여 놓고, 물체(T1) 주위에서 물체(T1)와 가장 유사한 영상 데이타가 있는 위치를 찾는데 그 위치까지의 벡터가 오차벡터(Perror)이다. 여기에서, 가장 유사하다의 판단이 문제가 된다.First, the image data of the object T 1 is stored in the error vector P error, and the position of the image data most similar to the object T 1 is found around the object T1, and the vector to the position is the error. Vector ( P error). Here, the judgment of the most similar becomes a problem.

두개의 이차원 영상이 유사하다고 하는 것은 두 영상의 명암도의 오차가 작다는 의미가 된다. 도 2a, b 에 나타낸 것처럼, 미리 설정된 영상(F1)의 소정 영역(T1)내의 영상 데이타를 v(m,n)이라 하고, 비교될 영상(F2)의 영상 데이타를 u(m,n)이라 하자. 여기에서,, N,M은 자연수이다. 그러면, 두 영상(T1, F2)의 오차의 합(SD)은 아래의 식 1로 나타내어진다.The similarity between two two-dimensional images means that the error of contrast between the two images is small. As shown in Figs. 2A and 2B, the image data in the predetermined area T1 of the preset image F1 is referred to as v (m, n), and the image data of the image F2 to be compared is referred to as u (m, n). lets do it. From here, , N, M are natural numbers. Then, the sum SD of the errors of the two images T1 and F2 is represented by Equation 1 below.

[수학식 1][Equation 1]

오차의 합(SD)이 최소인 점을 찾으면 되나, 어떠한 경우에도 최소인 점은 발생하고, 화면에 물체가 없더라도 마치 있는 것처럼 판단할 수 있다. 즉, 어느정도 유사한지를 알 수 없는 단점이 있다. 오차의 제곱의 합도 마찬가지라 할 수 있다. 이러한 문제점을 해결하기 위한 두 영상 u(m,n), v(m,n)간의 상관계수(p)는 아래의 식 2로 나타내어진다.Find the point where the sum of the errors (SD) is the minimum, but in any case, the minimum point occurs, and even if there is no object on the screen, it can be judged as if it is. In other words, there is a disadvantage that can not know how similar. The same can be said for the sum of squares of errors. The correlation coefficient p between two images u (m, n) and v (m, n) for solving this problem is represented by Equation 2 below.

[수학식 2][Equation 2]

상기 식에서 E[ ]는 기대치를 의미하고 E[x], E[xy], E[x²]은 각각 아래의 식 3으로 표현되어진다.In the above equation, E [] means expected value, and E [x], E [xy], and E [x ² ] are each represented by Equation 3 below.

[수학식 3][Equation 3]

만일, 영상 v(m,n)이 미리 설정된 위치에서의 영상이라고 하고 영상 u(m,n)이 그주위에서의 한 위치에서의 영상이라고 한다면, 기대치들()의 값은 미리 계산할 수 있는 값이 되고, 주변에 대하여 기대치들()을 계산하여 상관계수(p)를 구할 수 있다. 이 상관계수(p)가 최대치가 되는 점이 바로 찾고자하는 점이 된다. 그런데, 상관계수(p)가 -1보다 크거나 같고 1보다 작으므로 어느정도 유사한지가 수치로 표현된다. 만일, 상관계수(p)가 0.9이면 90% 유사하다고 할 수 있고, 특정한 값이상이면 물체가 있다고 판단하여 사용자가 그 문턱값을 쉽게 설정할 수가 있게 된다. 그런데, 종래에는 상관계수를 구하기 위하여 미리 설정된 영상의 소정 블럭의 영상 데이타(T1)를 비교될 영상의 전 영역(SD)에 걸쳐서 수행해야 한다는 문제점이 있었다. 또한, 이와같은 연산을 고속으로 수행하기 위하여는 미리 설정된 영상의 소정 블럭(T1)의 크기가 크면 클수록 세제곱의 크기에 비례하여 연산 횟수가 많아지게 된다. 따라서, 모든 탐색 영역에 대하여 상관계수를 구하는 것은 연산횟수가 많아 고속처리에 적합하지 않다는 단점이 있었다. 만일 영상이 갖는 최고 주파수가 어떤 범위내에 있다고 하면 모든 탐색영역(SD)에 대하여 상관계수를 구할 필요없이 몇화소씩 건너 뛰면서 구할 수 있다.If image v (m, n) is an image at a preset position and image u (m, n) is an image at a position around it, the expected values ( ) Is a precomputable value, and the expected values ( ) Can be calculated to obtain the correlation coefficient (p). The point at which this correlation coefficient p becomes the maximum value is the point to be found. However, since the correlation coefficient p is greater than or equal to -1 and smaller than 1, the degree of similarity is expressed numerically. If the correlation coefficient p is 0.9, it can be said to be 90% similar. If the correlation coefficient p is greater than or equal to a certain value, it is determined that there is an object so that the user can easily set the threshold value. However, in the related art, there is a problem in that image data T1 of a predetermined block of a preset image must be performed over the entire area SD of the image to be compared in order to obtain a correlation coefficient. In addition, in order to perform such a calculation at high speed, the larger the size of the predetermined block T1 of the preset image, the larger the number of operations in proportion to the size of the cube. Therefore, obtaining a correlation coefficient for all the search areas has a disadvantage in that it is not suitable for high-speed processing because of a large number of operations. If the highest frequency of an image is within a certain range, it can be found by skipping several pixels without having to find a correlation coefficient for all the search areas (SD).

이제, 도 3a, b, c, 및 d 를 이용하여 본 발명의 영상 인식방법을 설명하면 다음과 같다.Now, the image recognition method of the present invention will be described with reference to FIGS. 3A, b, c, and d.

먼저, 본 발명에서는 도 3a 에 나타낸 것처럼, 미리 설정된 영상(F1)의 소정 블럭(T1)의 데이타의 값과 좌표를 저장하여 둔다. 다음으로, 도 3b 에 나타낸 바와 같이, 비교될 영상(F2)을 입력하여 이 영상(F2)을 소정 블럭(T1)의 크기만큼 소정갯수로 나눈다. 도면에는 16개의 블럭으로 나눈 것을 도시하였다. 그리고, 블럭(T1)의 영상 데이타와 16개의 블럭의 영상 데이타의 상관계수(p)를 식 2에 의해서 구한다. 그래서, 가장 상관계수가 큰 블럭을 찾는다. 그래서, 만일 상관계수(p)가 가장 큰 블럭이 6번 블럭(T2)이라고 하고 그 다음으로 상관계수가 큰 블럭이 11번 블럭(T3)이라고 하자. 도 3c 에 나타낸 바와 같이, 6번 블럭(T2)주위의 탐색영역(SA)의 영상 데이타와 블럭(T1)의 영상 데이타의 상관계수(p)를 계산하여 계산된 상관계수(p)들중에 주어진 값보다 높은 값이 있다면, 블럭(T1)과의 벡터차이값을 계산하게 되고, 높은 값이 없다면 이 영역내에서는 블럭(T1)과 일치하는 영상 데이타가 없는 것이 된다. 그리고, 도 3d 에 나타낸 바와 같이 11번 블럭(T3)주위의 탐색영역(SA)의 영상 데이타(T1)와 블럭(T3)의 영상 데이타의 상관계수(p)를 계산하여 계산된 상관계수(p)들중에 주어진 값보다 높은 값이 있다면, 블럭(T1)과의 벡터차이값을 계산하게 되고, 높은 값이 없다면, 이 영역내에서도 블럭(T1)과 일치하는 영상 데이타가 없는 것이므로 다음으로 상관계수(p)가 큰 블럭으로 가서 도 3c, 및 d 에 나타낸 바와 동일한 동작을 수행하게 된다.First, in the present invention, as shown in Fig. 3A, the values and coordinates of the data of the predetermined block T1 of the preset image F1 are stored. Next, as shown in Fig. 3B, an image F2 to be compared is input and the image F2 is divided by a predetermined number by the size of the predetermined block T1. The figure shows the division into 16 blocks. Then, the correlation coefficient p between the video data of the block T1 and the video data of 16 blocks is obtained by the equation (2). So, find the block with the highest correlation coefficient. Therefore, if the block having the largest correlation coefficient p is called block 6 and T2, the next block having the largest correlation coefficient is block 11 (T3). As shown in FIG. 3C, the correlation coefficient p calculated by calculating the correlation coefficient p between the image data of the search area SA around the block T2 and the image data of the block T1 is given. If there is a value higher than the value, the vector difference value with the block T1 is calculated. If there is no high value, there is no image data corresponding to the block T1 in this area. As shown in FIG. 3D, the correlation coefficient p calculated by calculating the correlation coefficient p between the image data T1 of the search area SA around the 11th block T3 and the image data of the block T3 is calculated. If there is a higher value than the given value, the vector difference with the block T1 is calculated. If there is no high value, there is no image data corresponding to the block T1 even in this area. p) goes to the larger block and performs the same operation as shown in Figs. 3c and d.

본 발명의 영상 인식방법은 미리 설정된 영상의 소정 블럭의 영상 데이타와 비교될 영상의 데이타를 소정블럭으로 분할하여 그 소정블럭과의 영상 데이타를 비교하여 대략적으로 상관계수가 가장 큰 영상 데이타가 위치할 위치를 1차 탐색하고, 그 다음으로 1차 탐색된 블럭 주위를 2차 탐색하는 방법으로 상관계수가 가장 큰 영상 데이타가 존재하는 위치를 찾아 그 위치오차를 알 수 있게 된다.According to the image recognition method of the present invention, data of an image to be compared with image data of a predetermined block of a predetermined image is divided into predetermined blocks, and image data with the predetermined block is compared to locate the image data having the largest correlation coefficient. By searching the position first, and then searching the block around the first searched block, the position error can be found by finding the position where the image data having the largest correlation coefficient exists.

그리고, 본 발명의 영상 인식방법은 와이어 본더와 같은 장치에 응용되어 반도체 칩의 위치를 정확하게 파악하여 항상 원하는 자리에 본딩을 할 수 있도록 할 수 있다.In addition, the image recognition method of the present invention can be applied to a device such as a wire bonder to accurately determine the position of the semiconductor chip so that it can always be bonded to the desired position.

본 발명의 영상 인식방법은 미리 설정된 영상의 위치로 부터 비교될 영상의 어느 위치로 이동했는지를 찾는데 연산횟수가 줄어든다는 장점이 있다.The image recognition method of the present invention has an advantage in that the number of operations is reduced in finding which position of the image to be compared from a preset position of the image.

Claims

Storing data of a predetermined region of a preset image; A first searching step of storing an input image to be compared, dividing the image to be compared into a predetermined number of regions, and obtaining a correlation coefficient between data of a predetermined region of the preset image and data of the predetermined number of regions; A second search step of obtaining a correlation coefficient between data of the search area around the area having the largest correlation coefficient among the predetermined number of areas and data of the predetermined area; A position error calculation step of calculating a position error between the predetermined region of the preset image and the search region when the correlation coefficient obtained in the second search step is larger than a set correlation coefficient; And comparing the correlation coefficient obtained in the second search step with a larger one than the set correlation coefficient, and performing the second search step on the data of the search area around the next larger area among the predetermined number of areas. Image recognition method comprising the step of.