KR20050018179A - Image Segmentation System and Process using Multiple Templates - Google Patents

Image Segmentation System and Process using Multiple Templates

Info

Publication number
KR20050018179A
KR20050018179A KR1020030056206A KR20030056206A KR20050018179A KR 20050018179 A KR20050018179 A KR 20050018179A KR 1020030056206 A KR1020030056206 A KR 1020030056206A KR 20030056206 A KR20030056206 A KR 20030056206A KR 20050018179 A KR20050018179 A KR 20050018179A
Authority
KR
South Korea
Prior art keywords
matching
module
image
template
pattern
Prior art date
Application number
KR1020030056206A
Other languages
Korean (ko)
Other versions
KR100515193B1 (en
Inventor
강동중
안인모
유동훈
Original Assignee
강동중
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강동중 filed Critical 강동중
Priority to KR20030056206A priority Critical patent/KR100515193B1/en
Publication of KR20050018179A publication Critical patent/KR20050018179A/en
Application granted granted Critical
Publication of KR100515193B1 publication Critical patent/KR100515193B1/en

Links

Abstract

PURPOSE: An automatic image segmentation system using multiple templates and a method therefor are provided to improve the accuracy of inspection image segmentation by automatically segmenting images using NGC(Normalized Gray-scale Correction) and the multiple templates. CONSTITUTION: An image input module(10) acquires an inspection image, and transmits the acquired inspection image to a preprocessing module(20). The preprocessing module separates a meaning image from the inspection image transmitted from the image input module using a reference template module(30) and a pattern matching module(40). The reference template module generates a reference template model to be used for searching a pattern of the inspection image. The pattern matching module compares degree in which the pattern of the inspection image is identical to the reference module of the reference template module, and matches the pattern of the inspection image with the reference model of the reference template module. A storing module(50) stores a matching coefficient value and a matching point of each node of multiple templates acquired by the pattern matching module.

Description

다중 템플릿을 이용한 영상 자동분할 시스템 및 방법{Image Segmentation System and Process using Multiple Templates} Image automatic segmentation system and method using multi-templates {Image Segmentation System and Process using Multiple Templates}

본 발명은 비전 검사 시스템(Visual Inspection System)에 관한 것으로, 보다 상세하게는 농담 정규화 매칭법(Normalized Gray-scale Correlation, 이하 'NGC'라고도 한다)과 다중 템플릿(Multiple Templates)을 이용하여 가시화 상태가 좋지 않은 영상으로부터 인식하고자 하는 영역을 자동으로 분할하는 시스템 및 방법에 관한 것이다. The present invention is made visible state by using a vision inspection system relates to (Visual Inspection System), (also known as Normalized Gray-scale Correlation, hereinafter 'NGC') More specifically, the shading normalized matching method and a multi-template (Multiple Templates) the region to be recognized from a bad image to a system and method for automatically segment.

산업이 고도화 되면서 생산라인이 자동화 되어감에 따라 전통적으로 사람이 직접 수행하던 검사나 불량품 판별 등의 작업이 점차 영상을 이용한 비전 검사 시스템으로 대체되어 가고 있는데, 이러한 비전 검사 시스템은 안정적이면서도 고속의 패턴 정합을 수행하는 알고리즘을 요구하게 된다. As the industry has advanced automated production line there going to be replaced by a traditional vision inspection systems person operations such as inspection and defect determination was performed directly increasingly using video, depending on the senses, the vision inspection system is stable and high-speed pattern It would require an algorithm to perform the matching. 그 중에서도 특히 영상인식을 위한 전처리(preprocessing) 과정의 하나인 영상분할(image segmentation)은 주어진 영상에서 의미 있는 영역을 분리해 내는 과정으로 비젼 시스템에 있어 필수적이면서도 매우 중요한 단계이며, 이 과정의 성공적 수행여부가 전체 패턴 인식과정의 성패를 좌우하게 된다. One of segmentation of, inter alia preprocessing (preprocessing) process for image recognition (image segmentation) is essential, yet very important step in the Vision system to the process to isolate the area that means in a given image, the successful implementation of this process, is whether or break of a full pattern recognition process.

상기와 같은 목적을 달성하기 위한 종래의 영상분할 방법으로는 크게 영역기반 분할방법, 경계기반 분할방법 그리고 히스토그램을 이용한 분할방법 등이 있다. In a conventional image segmentation method for achieving the above object, and the like larger region based segmentation method, the boundary-based segmentation method and resolution method using a histogram. 여기서, 영역기반 분할방법은 값이 비슷한 화소들을 하나의 영역으로 묶어 동질성이 보장되는 영역을 기반으로 영상을 분할하는 방법이고, 경계기반 분할방법은 화소값이 급격하게 변하는 경계성분을 이용하여 영역의 연결성이 보장되는 영역을 기반으로 영상을 분할하는 방법을 말한다. Here, the area-based partitioning method is a method to tie the similar pixel values ​​in one area of ​​the divided image based on the area in which the homogeneity is no guarantee, the boundary based split method of a region by using the boundary element varies abruptly the pixel value It refers to a method of dividing an image based on the area where connectivity is ensured.

또한. Also. 히스토그램을 이용한 분할방법은 영상내의 그레이 값들의 분포가 단순한 경우에 주로 사용되는 것으로, 이 방법은 입력 영상으로부터 그레이 값들의 히스토그램을 구하여 가장 높은 빈도를 갖는 두 개의 그레이 값으로 영상 전체를 양자화 함으로써 영상분할을 용이하게 할 수 있다. Partition method using a histogram is that the distribution of the gray values ​​in the image are mainly used in simple cases, the method is image segmentation by quantizing the entire image into two gray values, obtain the histogram of the gray value from an input image having a highest frequency the can be facilitated. 즉, 이 방법은 히스토그램의 분포가 배경과 객체에 해당하는 두 개의 그레이 값에 집중되어 있는 경우(bimodal histogram)에는 좋은 분할 효과를 얻을 수 있다. That is, the method if it is concentrated in the two gray values ​​of the distribution of the histogram corresponds to the background and the object (bimodal histogram), there can be obtained a good effect partition.

그러나, 상술한 종래의 분할 방법들은 가시화 정도가 좋은 선명한 영상에서는 비교적 좋은 결과를 나타내지만 조명제어가 힘든 환경에서는 잡영에 의해 검사영상의 분할을 위한 영상 밝기의 분포 및 특징이 잘 형성되지 않기 때문에 좋은 결과를 기대하기가 어렵다. However, the above-mentioned good, because the conventional dividing method are not visible around the good clear image in not forming the distribution and characteristics of image brightness for dividing the test image by the japyoung the relatively exhibits a good result lighting control is difficult environment well it is difficult to expect results.

일례로서, 도 1에 도시한 바와 같이 유리 판넬(Glass Pannel) 상에 음각으로 새겨진 문자들은 빛을 투과하는 재질의 성격상, 판넬에서 마크 형상을 가시화하는 것은 상당히 어려운 작업이며, 검사환경이나 조명 조건의 변화에 따라 민감하게 변화하여 검사 시스템의 성능에 영향을 주게 된다. As an example, FIG characters engraved in intaglio on the glass panel (Glass Pannel), as shown in Figure 1 are not to visualize the nature of the material that transmits light, the mark shape from the panel is fairly difficult task, test conditions or light conditions sensitively varies with the change is to affect the performance of the inspection system.

더욱이 공장자동화(Factory Automation)와 같은 경우에는 주위 환경의 영향에 따른 영상의 열화로 인해 기존의 영역분할방법을 이용한 영상인식은 상당한 어려움이 따르게 된다. In addition, factory automation, such as a case (Factory Automation) has because of a deterioration of the images according to the influence of the environment image recognition using a conventional area dividing approach is to follow the considerable difficulty.

따라서, 본 발명에서는 상기와 같은 문제점을 해결하기 위하여, 가시화가 불량 상태에서도 검사 영상분할의 정확도를 향상시킬 수 있는 농담 정규화 매칭법(NGC)과 다중 템플릿을 이용한 영상 자동 분할 시스템 및 방법을 제공하는 것을 목적으로 한다. Therefore, in the present invention, in order to solve the above-visualizing a joke which can improve the accuracy of the inspection image segmentation in poor condition normalized matching method for providing an image automatic segmentation system and method using a (NGC) and multiple templates and that for the purpose.

상기와 같은 목적을 달성하기 위하여 본 발명은 검사영상내의 패턴을 인식하는 비젼 검사 시스템에 있어서, 인식의 대상이 되는 검사영상을 획득하여 전처리모듈에 전달하는 영상 입력모듈, 영상 입력모듈로부터 전송된 검사대상 영상에 대해 기준 템플릿모듈과 패턴정합모듈을 이용하여 정합계수의 합이 최대가 되는 다중 템플릿을 인식결과로 하여 의미있는 영상을 분할하는 전처리모듈, 검사 영상 내의 패턴을 탐색하는데 사용될 표준 템플릿 모델로 구성된 다중 템플릿모듈, 소정의 방법에 의하여 인식하고자 하는 영상내의 패턴이 템플릿모듈의 기준 모델과 일치하는 정도를 비교하여 정합을 수행하는 패턴 정합모듈 및 상기 패턴 정합모듈에 의하여 획득된 다중 템플릿의 각 노드의 정합계수치와 매칭 포인트를 저장하는 저장모듈을 포함하는 것 The present invention to accomplish the above object, is a test transmission from a video input module, the video input module according, to obtain a scan image as the object of recognition delivered to the pre-processing module to the vision inspection system to recognize a pattern in the test image using the reference template module and the pattern matching module for the target image to the standard template model used to search for patterns in the pre-processing module, the inspection image for dividing a meaningful image by a multi-template is maximized is the sum of the matching coefficient with a recognition result each node of the multi-template module, a multi-template is a pattern in the image to be recognized by a predetermined method by comparing the degree of match to the reference model of the template module obtained by the pattern matching module, and wherein the pattern matching module for performing matching configured in comprises a storage module for storing a count value matching the matching point 을 특징으로 하는 다중 템플릿을 이용한 영상 자동분할 시스템을 제공한다. It provides a video system with automatic division multiple templates that feature.

또한, 상기와 같은 목적을 달성하기 위하여 본 발명은 검사영상내의 패턴을 인식하는 비젼 검사 방법에 있어서, 패턴 정합모듈에 의한 탐색시 수평 방향으로만 이동하면서 정합계수치를 계산하여 다중 템플릿 중 첫번째 노드의 최적 매칭 포인트를 획득하는 제1단계; Further, the present invention in order to accomplish the above object, the testing according to the vision inspection method of recognizing a pattern in an image, the first of multiple templates by calculating a matching coefficient values ​​while moving only in the horizontal direction during the navigation by the pattern matching module node a first step of obtaining a best matching point; 한 개의 템플릿 정합이 끝날 때마다 매칭된 모델의 가로 크기만큼 노드를 이격시키고 정합을 계속하는 제2단계; Separating the one template whenever the matching ends by the horizontal size of the matched model node and a second step of continuing the matching; 검사영상의 허용 가능한 수평 방향의 탐색이 끝나면 획득한 다중 템플릿의 각 노드별 정합 계수치의 합과 매칭 포인트를 따로 저장하고 영상에 정합된 다중 템플릿 1세트를 획득하는 제3단계; A third step of storing the sum of the matching point for each node by matching coefficient of the multi-scan imaging template acquired after the search for acceptable horizontal direction separately to obtain a multi-template matching the first set of images; 전체 탐색 영역에 대해 상기 제1단계 내지 제3단계를 반복하면서, 검사 영상으로부터 획득한 다수개의 다중 템플릿 세트 중에서 다중 템플릿 세트를 구성하고 있는 각 노드의 정합 계수치의 합이 최대가 되는 다중 템플릿 세트를 최적의 세트로 선택하는 제4단계; The first step to the multiple set of templates that are the maximum sum of the matching coefficient for each node constituting the multiple set of templates from the plurality of multi-template set of repeat steps 3, obtained from the test image on the entire search area a fourth step of selecting the optimum set; 를 포함하는 것을 특징으로 하는 다중 템플릿을 이용한 영상 자동분할 방법을 제공한다. Image provides an automatic segmentation method to using multiple templates, it characterized in that comprises a.

이하, 도면을 참조하여 본 발명의 일 실시예를 상세히 설명한다. Reference to the figures below, in one embodiment of the present invention will be described in detail.

도 2는 본 발명에 따른 영상분할 시스템의 구성을 나타낸 것이다. 2 illustrates a configuration of a video segmentation system according to the present invention. 도 2와 같이 본 발명에 따른 영상 자동분할 시스템은 영상 입력모듈(10), 전처리모듈(20), 기준 템플릿모듈(30), 패턴정합모듈(40) 및 저장모듈(50)을 포함한다. FIG automatic image dividing system according to the invention, such as 2 includes a video input module 10, processing module 20, a reference template module 30, pattern matching module 40 and the storage module 50.

영상 입력모듈(10)은 인식의 대상이 되는 검사영상을 획득하여 전처리모듈(20)에 전달하는 모듈로, 할로겐 조명과 산업용 카메라(예를 들어, teli-1345 또는 Matrox Meteor2/MC frame grabber 등) 등으로 구성된다. Video input module 10 is a module for transmitting in the pre-processing module 20 to acquire the check image to be subjected to the recognition, halogen lighting, and industrial cameras (e.g., teli-1345 or Matrox Meteor2 / MC frame grabber, etc) etc. the

전처리모듈(20)은 영상 입력모듈(10)로부터 전송된 검사대상 영상에서 의미있는 영역을 분리해 내는 전처리과정 전반을 제어하는 모듈로, 기준 템플릿모듈(30)을 이용하여 패턴정합모듈(40)에 의해서 검사영상에 대한 패턴 정합과정을 수행하고 매칭된 다중 템플릿중 정합계수치가 최대가 되는 다중 템플릿 세트를 추출함으로써 검사영상을 분할한다. Pre-processing module 20 is a module for controlling the test-wide sense pre-treatment to separate the region in which the target image transmitted from the image input module 10, pattern matching module 40 using the reference template module 30 by the extraction of a multi-template matching is set coefficient values ​​of the multiple templates that perform a pattern matching process for the image checking and matching is a maximum by partition the inspection image.

상기 기준 템플릿모듈(30)은 패턴 정합시 사용될 템플릿 모델들로 구성되며, 검사 영상 내의 각 패턴들을 포함한다. The reference template module 30 is composed of a template model used in pattern matching, and includes each of the patterns in the test image. 이 기준 템플릿모듈(30)의 모델들을 이용하여 검사 영상 내의 패턴을 탐색하게 된다. Using the model in the reference template module 30 will search for a pattern in the test image.

상기 패턴 정합모듈은(40)은 농담 정규화 상관(NGC)에 기반한 방법에 의하여 인식하고자 하는 영상내의 패턴이 템플릿모듈의 기준 모델과 일치하는 정도를 계산하여 정합을 수행하며, 저장모듈(50)은 상기 패턴 정합모듈(40)에 의하여 획득된 다중 템플릿의 각 노드의 정합계수치 또는 일치도와 매칭 포인트를 저장한다. The pattern matching module 40 calculates the degree to which the pattern in the image to be recognized using the method based on the density normalization correlation (NGC) matches the reference model of the template module performs the registration, storage module 50 and stores the counted value match or coincidence with the matching point for each node of the multi-template obtained by the pattern matching module (40).

한편, 상기의 패턴 정합모듈(40)은 앞에서도 언급한 바와 같이 미리 정해진 기준 패턴을 검사할 영상내부에서 찾아 위치를 발견하는 역할을 하는데, 본 발명에서는 이를 위해 신뢰성과 안정성에 기반을 둔 농담 정규화 매칭법을 사용한다. On the other hand, pattern matching module 40 of the above is to serve to earlier, to find find the location in the image where you want to check a predetermined reference pattern, as described above, shading in the present invention, based on the reliability and stability for this normalization use the matching process.

농담 정규화 매칭법은 인식 장치 속에 마크나 패턴의 종류(category)에 따라 각각을 대표하는 템플릿 모델(또는 표준 모델, 또는 표준 패턴)을 기억해두고, 인식하고자 하는 미지 패턴이 각각의 표준 패턴과 일치하는 정도를 일정한 기준으로 비교하는 방법이다. Jokes normalized matching method is put in mind of a template model (or the standard model, or standard patterns) to represent each depending on the mark or type of pattern (category) in recognition device, which images the pattern to be recognized is consistent with each of the standard patterns It is a way of comparing the level with a constant reference.

도 3은 농담 정규화 매칭법의 개념을 설명하기 위한 구성도이다. 3 is a block diagram illustrating a concept of shading normalized matching method. 도 3에서 X는 검사 영상 내 미지의 문자이고, A, B, … In Figure 3 X is the letter of the test image within the image, A, B, ... , Z는 표준패턴을 나타낸다. , Z represents the standard pattern. 또한, C 1 , C 2 , … In addition, C 1, C 2, ... , C n 은 미지패턴이 속할 카테고리이며, S1, S2, … , C n is a category belong the image pattern, S1, S2, ... , Sn은 검사문자와 각 표준 패턴의 일치도를 나타내는데, 본 발명에서는 다음의 수학식 1을 이용하여 일치도를 구한다. , Sn is to indicate the match degree of the check character and the respective reference pattern, in the present invention calculate the degree of match by using the following equation (1).

수학식 1은 매칭을 수행할 템플릿 모델(또는 표준 패턴)과 검사 영상(또는 미지 패턴)의 밖기를 정규화 시킨 유사도식인데, 일반적으로 검사 영상은 밝기에 대한 변이(intensity variations)가 존재하므로 이와 같이 밝기 값의 평균크기 성분이 상쇄되도록 정규화를 시킬 필요가 있다. Inde equation (1) is similar to that normalize an outside of the template model (or a standard pattern), and the inspection image (or image pattern) to perform the matching scheme, in general, check image, so that variation (intensity variations) to the brightness exists in this way it is necessary to normalize the size to offset the average value of the brightness component.

한편, 수학식 1에서 (Q, P)는 다음과 같이 두 패턴의 내적(inner product)을 이용하여 구해진다. On the other hand, it is obtained using Equation 1 (Q, P) is the inner product (inner product) of the two patterns, as follows:

여기에서, Q는 표준 패턴의 밝기이며, P는 미지 패턴의 밝기를 의미한다. Here, Q is the brightness of the standard pattern, P means the brightness of the image pattern.

이상과 같이 인식규칙은 미지 패턴과 L개의 표준 패턴(L개의 카테고리에 대응) 각각과의 유사도를 계산한 후, 이것을 크기 순으로 나열하여 원칙적으로 유사도가 최대인 표준패턴을 인식결과로 한다. Recognizing rules as described above will be then calculates the degree of similarity between each of them in order of size by listing the standard pattern recognition degree of similarity is the maximum as a rule the results (corresponding to L number of categories) the unknown pattern with the L standard pattern.

농담 정규화 매칭법은 패턴의 회전, 크기변화, 투영변화, 밝기의 비선형 변화 등에는 영향을 받을 수 있지만, 밝기가 선형적으로 변화하는 경우 즉, 검사할 영상의 모든 영역에서 전체적으로 밝기 값이 증가되었을 경우는 검사 영상과 템플릿 영상의 평균 밝기 값을 구성 화소에서 빼고 밝기에 대해 정규화시켜 비교한다면 전체적인 조명의 밝기가 높아지거나 낮아진다고 하여도 패턴의 비교가 가능하다. Jokes, but normalized matching method will be affected by the rotation of the pattern, size change, and the projection change, non-linear change of the brightness or the like, when the brightness of the case that linearly changes in other words, the overall brightness increased in all areas of the image to be scanned If cash if compared to the brightness normalized to the average brightness value of the check image and the template image in the pixel configuration it is possible to compare the degree as if the brightness of the whole one trillion people high or low pattern.

농담 정규화 매칭법의 또 다른 표현으로는 수학식 3과 같은 형태가 있다. Another representation of the joke normalized matching method has a form such as Equation (3). 이 식에서 N은 템플릿영상의 픽셀의 수이며, I는 영상 픽셀의 밝기 값, M은 템플릿모델 픽셀의 밝기 값을 가리킨다. In this equation, N is the number of pixels in the template image, I is the luminance value of the image pixel, M indicates the brightness value of the pixel templates model.

수학식 3을 이용한 실제 검사 시에는 음수의 계수치는 관심의 대상이 아니므로 배제 시키게 되며, 수식에 들어 있는 제곱근 연산은 계산량을 증가시키므로 이 값을 배제하기 위해 C값을 제곱하여 사용한다. Coefficient value is negative, the actual test by the equation (3) is thereby ruled out because they are not of interest, the square root calculation that contains a formula is used to increases the amount of calculation for the square value C in order to exclude the value. 따라서 최종적인 정합의 계수치는 다음과 같은 형태가 된다. Therefore, the counted value of the final match is that of the form:

다음은 기준 템플릿모듈(30)을 이용하여 자동분할 알고리즘을 수행하는 전처리모듈(20)에 대하여 보다 구체적으로 설명한다. It will now be more particularly described with respect to the pre-processing module 20, which performs an automatic segmentation algorithm using the reference template module 30.

앞에서도 언급한 바와 같이 공장자동화 환경 등에서는 영상의 열화로 인해 기존의 영역분할이나 경계추적, 기타 이치화 등에 의한 문자와 배경부의 분리가 어렵게 된다. As previously mentioned factory automation environment, etc. are due to the deterioration of the image difficult to separate text and the background part due to the existing area division or boundary tracking, and other binarizing. 따라서, 이러한 경우에는 패턴 정합 시 사용할 문자들로 구성된 템플릿을 구성하고 검사 이미지 내의 모든 문자들은 미리 구성된 템플릿의 카테고리에 속하게 하여 적어도 정합 될 각 패턴은 이 카테고리 내의 한 문자가 되도록 하는 방법이 사용된다. Thus, the method of all in the case this is the case, and to configure the template consisting of the characters to be used when the pattern matching scan image characters, each pattern is at least matched to belong to the category of the pre-configured template, such that one of the characters in this category are used. 그러나 상기와 같이 영역 분리를 위해 단일 템플릿을 사용하는 경우의 문제점은 잘못된 부분에서 단일 템플릿이 높은 정합계수치를 보이고 그로 인해 연쇄적으로 정합이 실패할 수 있다는 것이다. However, the problem of using a single template for the domain separation as described above is that it can show a high single template matching coefficient thereby matching fails cascade in the wrong section.

이러한 문제점을 해결하기 위해 본 발명에 따른 전처리모듈(20)에서는 검사 영상 내의 미지의 문자 영역을 자동으로 분할하는 다중 템플릿(multiple templates)을 이용하는 방법을 제공한다. In the pre-processing module 20 in accordance with the present invention to solve this problem and it provides a method of using a multi-template (multiple templates) which automatically divided into the character region of the image in the inspection image.

도 4는 상기 다중 템플릿의 연속 체인 중의 두 템플릿을 보여준다. Figure 4 shows the two templates of the continuous chain of the multi-template. 발생하는 노드(i,i+1...)는 검사 영상과 기 구축된 모델 템플릿 영상사이의 NGC 정합의 결과로, 매칭 포인트 즉 정합된 좌표, 미리 구성된 기본 템플릿 모델 중 최적으로 매칭된 모델 및 정합계수치를 가지게 된다. Occurring nodes (i, i + 1 ...) is matched at best as a result of the NGC matching between the model template image construction group and test image, the matching point that is the coordinate matching, pre-configured default template models and model It will have the matching coefficient.

미리 구성된 기준 템플릿(30)을 이용하여 NGC 정합을 수행한 후, 연속 체인을 포함하는 매칭된 다중 템플릿을 구성하게 되는데, 연결되는 템플릿 연속 체인의 수는 분리할 문자의 개수와 동일하다. After performing the matching NGC using the pre-configured based on the template 30, there is configured a multi-template matching comprising a continuous chain, the number of templates to be consecutive chain connection is equal to the number of characters to be separated.

먼저 i 번째 위치에서 템플릿에 의한 NGC 정합의 결과는 i 점의 수평 인접위치에서 M개가 발생하게 된다. NGC first result of matching by the template in the i-th position is the M dog occurs in the horizontal position adjacent to the point i. 또한 i+ 1번째 위치에서 템플릿 정합의 결과는 i+ 1번째 수평 인접 위치에서 M개가 발생한다. In addition, the results of the template matching in the (i + 1) th position takes place in a dog M (i + 1) th horizontal adjacent position. 결국 템플릿 사이의 거리 d는 부분적으로 변화 가능하므로 인접한 두 템플릿이 발생시키는 거리의 조합은 모두 M 2 개가 된다. After combination of the distance of the two adjacent templates occur because the distance between the template and d is partly possible variation is the dog both M 2. 만일 사용할 연속 체인의 개수가 N개라면 가능한 배치의 합은 M N-1 개가 된다. If the number of continuous chains for the sum of the deployable if the N is a dog M N-1.

상기와 같은 다중 조합에서 하나의 최적 조합을 발견하기 위해서는 최적화 문제(optimization problem)를 정의하게 되는데, 본 발명에서는 상기 최적화 문제를 해결하기 위하여 탐욕법(Greedy algorithm)을 적용한다. In order to find a best combination in a multiple combination as described above there is defined optimization problems (optimization problem), the present invention applies a greedy method (Greedy algorithm) to solve the optimization problem.

탐욕법은 문제를 해석함에 있어 전에 결정하였거나, 또는 후에 결정할 선택과는 상관없이 현재 시점에서 M개의 카테고리 중 정합률이 최대가 되는 패턴을 선택하게 된다. Greedy method is determined before it hayeotgeona interpretation of the problem, in the present point in time, regardless of the selection after determining or selecting the pattern matching rate of the M number of categories that are the maximum. 또한, 상호 연결된 다중 템플릿 체인의 각 노드는 수평 방향으로의 인접 탐색에서 가장 높은 NGC 값을 가진 후보 영상중의 하나가 되며, 각 노드는 제각기 다른 수평 방향의 위치를 가지고 있으므로 i 단계와 i+ 1단계에서의 노드연결은 인접한 두 템플릿과 템플릿 사이의 수평 거리를 의미하게 된다. In addition, cross each node of the multi-template chain attached is the one of the candidates with the highest NGC value in an adjacent search in the horizontal direction image, each node respectively, so has the position of the other horizontal step i and i + Step 1 nodes connected in is meant the horizontal distance between the two adjacent templates and template.

도 5는 본 발명에 따른 영상 자동분할 시스템의 처리과정을 나타낸 것이다. Figure 5 illustrates the process of automated image dividing system according to the present invention.

도 5와 같이 본 발명에 따른 다중 템플릿을 이용한 영상의 패턴 자동분할 과정은 먼저, NGC의 탐색 시 수직 방향의 이동은 배제하고 수평 방향으로만 이동하면서 정합 계수치(또는 일치도, 이하 동일)를 계산하여 다중 템플릿 중 첫번째 노드의 최적 매칭 포인트를 획득한다(S100). FIG AUTO dividing process of the image using multiple templates according to the present invention as shown in FIG. 5, first, by calculating a matching coefficient (or the degree of match, hereinafter) search when moving in the vertical direction of the NGC while excluded and moves only in the horizontal direction to obtain the best matching point of the first node of the multi-template (S100).

다음은 다중 템플릿 내의 템플릿의 상호 간격(gap)은 검사 영상에 따라 달라지게 되므로 고정된 값이 아닌 한 개의 템플릿 정합이 끝날 때마다 매칭된 패턴의 가로 크기만큼 체인을 이격 시키고 같은 방법으로 정합을 계속한다(S110). The following is a template in a multi-template mutual distance (gap) will keep the match as a single template matching this way separate the chain and the same as the width of the matching pattern at the end of each non-fixed value, so vary according to the test image and (S110).

검사영상의 허용 가능한 수평 방향의 탐색이 끝나면 획득한 다중 템플릿의 각 노드별 정합 계수치의 합과 매칭 좌표를 따로 저장하고 영상에 정합된 다중 템플릿 1세트를 획득하게 된다(S120). And stores the sum and the coordinates of each node by matching the matching count value of the check image multiple template acquired after the search for acceptable horizontal direction separately to obtain a multi-template matching the first set of images (S120).

전체 탐색 영역에 대해 상기 과정(S100 ∼ S120)을 반복하면서, 검사 영상으로부터 획득한 다수개의 다중 템플릿 세트 중에서 다중 템플릿 세트를 구성하고 있는 각 노드의 정합 계수치의 합이 최대가 되는 다중 템플릿 세트를 선택한다(S130). Selecting the process (S100 ~ S120) of, a plurality of multi-template, multiple set of templates that are the maximum sum of the matching coefficient for each node constituting the multiple set of templates from a set obtained from the test image and repeat the entire search area and (S130).

상기와 같이, 본 발명에 따라 획득한 다중 템플릿 세트는 검사 영상 내의 각 템플릿의 정합 계수치가 최대 값을 가지는 각각의 매칭 포인트를 가지므로, 일부분만의 정합계수치가 높더라도 그것이 잘못된 정합인 경우에는 그 이후의 정합 계수치는 연쇄적으로 낮아질 것이므로, 결과적으로 그러한 다중 템플릿 세트는 선택되지 않도록 할 수 있다. If as described above, a multi-template set acquired in accordance with the present invention because the matching coefficient for each template in the scan image of each of the matching points having the maximum value, the matching coefficient of a portion only high, even if the it is false matching is that matching coefficient is lowered because of the subsequent cascade can prevent Consequently, such a multi-set of templates is not selected. 따라서, 가시화가 불완전한 영상 내에서도 검사영상의 정확한 분할을 가능케 한다. Thus, even in the imperfect image visualization allows accurate inspection division of the image.

도 6내지 도 10은 본 발명에 따른 검사 영역 자동분할 방법의 타당성을 검토하기 위하여 실시한 실험 예로서, 도 6a는 레이저 마크 영상의 한 예를 나타내고 있으며, 도 6b의 에지는 캐니(Canny) 에지 필터를 적용한 결과를 나타내고 있다. 6 to 10 are as experimental example conducted in order to examine the validity of the inspection area automatic segmentation method according to the invention, Figure 6a and shows an example of a laser marked image, the edges of the Figure 6b canyon (Canny) edge filter a it shows the result of applying.

도 6a의 경우는 레이저에 의해 각인된 거친 면이 문자를 이루며, 레이저에 의해 표면을 거칠게 만들어 놓았기 때문에 조명의 난반사로 인하여 문자부가 부분적으로 밝게 가시화가 되기는 하지만 투명 유리상에 존재하기 때문에 빛의 투과로 인해 전체적으로 가시화가 불량한 상태이다. Figure 6a cases Although the due to the irregular reflection of the light character portion partially bright visible because of the rough surface engraved by a laser-based placed constitute the characters, created roughening the surface by a laser, but the light transmission due to the presence of the transparent vitreous due to the poor visibility the state as a whole. 또한 도 6b의 경우도 에지 상태를 보면 문자부의 분할이 쉽지 않음을 예상할 수 있다. In addition, it is possible to look at the road edge if the state of Figure 6b predict the character division unit not easy.

도 7은 히스토그램법을 이용하여 상기 도 6a의 영상을 분할하고자 한 것이다. Figure 7 is intended to divide the image of Figure 6a using the histogram method. 도 7에서 아래부분과 우측부분은 수평과 수직 방향의 밝기 히스토그램의 누적을 보인 그래프이다. In Figure 7 the lower part and the right part is a graph showing a cumulative histogram of the brightness of the horizontal and vertical directions. 그러나 도 7에서 볼 수 있듯이 영상의 열화로 인하여 문자와 문자 사이를 분리하는 누적 히스토그램 특징이 거의 나타나지 않는다. However, the cumulative histogram, characterized in that, as shown in Figure 7 due to the deterioration of the image separation between characters are hardly observed. 이러한 특징은 기존의 영역 분할 방법뿐만 아니라 하프변환 방법이나 히스토그램 투영법 등이 문자마크 분리에 적용되기 어려움을 보여주고 있다. These features show that, as well as conventional region division method of the Hough transform method and histogram projection, etc. to be applied to the word mark separation difficulties.

도 8은 본 발명에 따른 영상 자동분할을 위해 미리 구축한 템플릿 모델들의 예이고, 도 9는 단일 템플릿 방법을 이용하여 문자부의 분리를 시도한 결과를 보인 것인데, 앞서 설명한 바와 같이, 단일 템플릿 단위로 정합이 완료되므로써 잘못된 부분에서 단일 템플릿이 높은 정합계수치를 보이고 그로 인해 연쇄적으로 정합이 실패할 수 있는 문제가 발생한다. Figure 8 is an example of pre-built template model to the images automatically divided in accordance with the present invention, geotinde Figure 9 is showing the result of attempting to character portions separated by a single template method, as described above, the matching of a single template unit the complete doemeurosseo show a high coefficient matching templates in a single wrong thereby a problem that can be matched to the chain of failure.

도 10은 본 발명에 따른 다중 템플릿 방법을 이용하여 검사 이미지 내 문자나 패턴을 자동 분할한 결과를 보인 것이다. 10 is shown the results of automatic segmentation of characters or patterns within the test image by using a multi-template method according to the invention. 도 10a는 비교적 가시화 상태가 좋은 경우의 결과이며, 도 10b는 열화 된 가시화 상태에서의 결과를 보인 것이다. Figure 10a is the result obtained when a relatively good visibility conditions, Figure 10b shows an result in deteriorated visibility conditions. 도 10으로부터 확인할 수 있듯이 본 발명에 따른 다중 템플릿을 이용한 영상 자동분할 방법은 가시화가 좋은 경우뿐만 아니라 도 10b와 같이 가시화가 불완전하고 많은 잡영을 내포하고 있는 경우에도 성공적으로 문자부를 분리할 수 있음을 보여주고 있다. Video automatic segmentation method using multiple templates according to the invention As can be seen from Figure 10 that the visibility is good, if not only to visualize the incomplete and separate the successful character, even if that implies a lot of japyoung as shown in Fig. 10b show.

본 발명은 반복 정합과정을 통해 획득한 다수의 다중 템플릿 세트 중에서 정합계수치의 합이 가장 큰 다중 템플릿 세트를 선택함으로써, 일부분만의 정합계수치가 높더라도 그것이 잘못된 정합인지 여부를 판단할 수 있으므로 정합의 부독율(Rejection Rate)을 대폭 낮추는 효과가 있다. The present invention is repeated by selecting the largest multiple template sets the sum of the matching coefficient values ​​among a plurality of multi-template set obtained through the matching process, the matching coefficient of a portion only high even if it is possible to judge whether it is the wrong matching of the matching part dokyul has the effect of significantly lowering (Rejection Rate).

따라서, 종래의 방법으로는 영상검사부의 정확한 분할이 어려운 가시화가 불완전한 영상에서도 검사 영상에 대한 영역 분할의 전처리 과정의 정확도를 높혀 영상인식율 향상에 큰 도움이 된다. Thus, the conventional method is a great help to improve image recognition rates nophyeo the accuracy of the pre-treatment of an area division on the correct segmentation is difficult to visualize in an incomplete image scan image of image inspection.

또한 본 발명에 따른 다중 템플릿을 이용한 검사 영상의 자동분할 시스템 및 방법은 공장 자동화 분야는 물론이고 가시화 불량이 우려되는 상황에서의 영상 인식이 필요한 분야에는 어디든 적용될 수 있는 장점이 있다. In addition, automatic segmentation system and method for the test image using the multiple templates according to the present invention can be applied wherever there is an advantage that areas for image recognition of the situation concerned are made visible field factory automation, as well as poor.

도 1은 가시화가 불량한 열화 영상의 예시도 Figure 1 is an illustration of the poor visibility is deteriorated video

도 2는 본 발명에 따른 검사영상 분할 시스템의 구성도. 2 is a structural view of a video inspection unit system according to the present invention.

도 3은 농담 정규화 매칭법의 개념도 3 is a conceptual diagram of a joke normalized matching method

도 4는 본 발명에 의한 다중 템플릿의 개념도. 4 is a conceptual diagram of a multi-template according to the present invention.

도 5는 본 발명에 따른 검사 영상 자동분할 흐름도 5 is a flowchart illustrating automatic segmentation test image according to the present invention

도 6a, 도 6b는 본 발명의 일실시예에 따른 레이저 마크 영상의 예시도 Figures 6a, 6b is an example of a laser marked image according to one embodiment of the present invention

도 7은 히스토그램법에 의한 검사 영상 예시도 7 is a test image according to the histogram illustrated method also

도 8은 본 발명에 따른 레이져 마크 템플릿 Figure 8 is a laser mark template of the present invention

도 9는 단일 템플릿을 이용한 문자분할의 예시도 FIG. 9 is an example of character segmentation using a single template also

도 10a, 도 10b는 본 발명에 따른 문자 분할의 예시도 Figure 10a, Figure 10b is an example of a character segmentation according to the invention

*도면의 주요부호에 대한 설명* * Description of the Related sign of the drawings *

10 : 영상 입력모듈 20 : 전처리모듈 10: image input module 20: pre-processing module

30 : 기준 템플릿모듈 40 : 패턴 정합모듈 30: reference template module 40: pattern matching module

50 : 저장모듈 50: Storage Modules

Claims (3)

  1. 검사영상내의 패턴을 인식하는 비젼 검사 시스템에 있어서, In the vision inspection system to recognize a pattern in the test image,
    인식의 대상이 되는 검사영상을 획득하여 전처리모듈(20)에 전달하는 영상 입력모듈(10); Video input module 10 to acquire the check image as the object of recognition delivered to the pre-processing module (20);
    영상 입력모듈(10)로부터 전송된 검사대상 영상에 대해 기준 템플릿모듈(30)과 패턴정합모듈(40)을 이용하여 의미있는 영상을 분리해 내는 전처리모듈(20); Video input module 10 that by the inspection using the reference template module 30 and the pattern matching module (40) for the object image separated in the image transmission means from the pre-processing module 20;
    검사 영상 내의 패턴을 탐색하는데 사용될 표준 템플릿 모델로 구성된 기준 템플릿모듈(30); Inspection reference template consisting of a standard template model used to search for patterns in the video module (30);
    소정의 방법에 의하여 인식하고자 하는 영상내의 패턴이 템플릿모듈의 기준 모델과 일치하는 정도를 비교하여 정합을 수행하는 패턴 정합모듈(40); Pattern matching module 40, which performs the matching by the pattern in the image to be recognized by a predetermined method compares the degree of matching of the reference model templates module; And
    상기 패턴 정합모듈(40)에 의하여 획득된 다중 템플릿의 각 노드의 정합계수치와 매칭 포인트를 저장하는 저장모듈(50)을 포함하고, And a storage module 50 for storing the count value matching the matching point for each node of the multi-template obtained by the pattern matching module (40),
    상기 전처리 모듈(20)은 패턴 정합모듈에서의 비교결과 정합계수의 합이 최대가 되는 다중 템플릿을 인식결과로 하여 영상을 분할하는 것을 특징으로 하는 다중 템플릿을 이용한 영상 자동분할 시스템. The pre-processing module 20 is automatically divided image system using a multi-template, characterized in that for dividing the image by a multi-template is maximized is the sum of the result of the comparison in the pattern matching module for matching coefficients to the recognition result.
  2. 청구항 제 1항에 있어서, 상기 패턴 정합모듈(40)은 농담 정규화 매칭법에 기반하는 정합방법을 채택하는 것을 특징으로 하는 다중 템플릿을 이용한 영상 자동분할 시스템. According to claim 1, wherein the pattern matching module 40 includes a video automatic segmentation system using a multi-template, characterized in that to adopt a matching method based on the density normalization matching method.
  3. 검사영상내의 패턴을 인식하는 비젼 검사 방법에 있어서, In the vision inspection method of recognizing a pattern in the test image,
    패턴 정합모듈에 의한 탐색시 수평 방향으로만 이동하면서 정합계수치를 계산하여 다중 템플릿 중 첫번째 노드의 최적 매칭 포인트를 획득하는 제1단계; A first step for navigation by the pattern matching module moves only in the horizontal direction by calculating a matching coefficient value to obtain a best matching point of the first node of the multi-template;
    한 개의 템플릿 정합이 끝날 때마다 매칭된 모델의 가로 크기만큼 노드를 이격시키고 정합을 계속하는 제2단계; Separating the one template whenever the matching ends by the horizontal size of the matched model node and a second step of continuing the matching;
    검사영상의 허용 가능한 수평 방향의 탐색이 끝나면 획득한 다중 템플릿의 각 노드별 정합 계수치의 합과 매칭 포인트를 따로 저장하고 영상에 정합된 다중 템플릿 1세트를 획득하는 제3단계; A third step of storing the sum of the matching point for each node by matching coefficient of the multi-scan imaging template acquired after the search for acceptable horizontal direction separately to obtain a multi-template matching the first set of images;
    전체 탐색 영역에 대해 상기 제1단계 내지 제3단계를 반복하면서, 검사 영상으로부터 획득한 다수개의 다중 템플릿 세트 중에서 다중 템플릿 세트를 구성하고 있는 각 노드의 정합 계수치의 합이 최대가 되는 다중 템플릿 세트를 최적의 세트로 선택하는 제4단계; The first step to the multiple set of templates that are the maximum sum of the matching coefficient for each node constituting the multiple set of templates from the plurality of multi-template set of repeat steps 3, obtained from the test image on the entire search area a fourth step of selecting the optimum set; 를 포함하는 것을 특징으로 하는 다중 템플릿을 이용한 영상 자동분할 방법. Automatic image segmentation method using a multi-template comprising a.
KR20030056206A 2003-08-13 2003-08-13 Image Segmentation System and Process using Multiple Templates KR100515193B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20030056206A KR100515193B1 (en) 2003-08-13 2003-08-13 Image Segmentation System and Process using Multiple Templates

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20030056206A KR100515193B1 (en) 2003-08-13 2003-08-13 Image Segmentation System and Process using Multiple Templates

Publications (2)

Publication Number Publication Date
KR20050018179A true KR20050018179A (en) 2005-02-23
KR100515193B1 KR100515193B1 (en) 2005-09-16

Family

ID=37227761

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20030056206A KR100515193B1 (en) 2003-08-13 2003-08-13 Image Segmentation System and Process using Multiple Templates

Country Status (1)

Country Link
KR (1) KR100515193B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100756047B1 (en) * 2006-01-25 2007-09-07 한국인식산업(주) Apparatus for recognizing a biological face and method therefor
US9111356B2 (en) 2012-01-20 2015-08-18 Korea Advanced Institute Of Science And Technology Image segmentation method using higher-order clustering, system for processing the same and recording medium for storing the same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101139930B1 (en) * 2010-07-15 2012-04-30 중앙대학교 산학협력단 Apparatus and method for object recognition based on part-template matching

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100756047B1 (en) * 2006-01-25 2007-09-07 한국인식산업(주) Apparatus for recognizing a biological face and method therefor
US9111356B2 (en) 2012-01-20 2015-08-18 Korea Advanced Institute Of Science And Technology Image segmentation method using higher-order clustering, system for processing the same and recording medium for storing the same

Also Published As

Publication number Publication date
KR100515193B1 (en) 2005-09-16

Similar Documents

Publication Publication Date Title
JP4505362B2 (en) Red-eye detection apparatus and method, and program
CN101925905B (en) Identification and verification of unknown document according to eigen image process
JP4744918B2 (en) Face detection method, apparatus, and program
US8509486B2 (en) Vehicle license plate recognition method and system thereof
CN1139039C (en) Method and apparatus for extraction and recognition and abnormality judge of pattern in image
JP2011510365A (en) Document verification using dynamic document identification framework
DE102013207484A1 (en) Number plate character segmentation using probability maximization
US6339651B1 (en) Robust identification code recognition system
US20030198386A1 (en) System and method for identifying and extracting character strings from captured image data
US6842538B2 (en) Automatic detection of alignment or registration marks
de Saint Blancard Road sign recognition: A study of vision-based decision making for road environment recognition
US9075026B2 (en) Defect inspection device and defect inspection method
JP4380838B2 (en) Video image automatic road sign recognition method, road sign automatic recognition device, and road sign automatic recognition program
CN1282942C (en) Image processing method for appearance inspection
Cord et al. Automatic road defect detection by textural pattern recognition based on AdaBoost
TW201426564A (en) A system and method for recognizing license plate image
TW201039248A (en) Method and system for identifying image and outputting identification result
JP4309926B2 (en) Facial feature point detection apparatus, facial feature point detection method, and program
JP2011517351A (en) Object detection and recognition system
JP2008217347A (en) License plate recognition device, its control method and computer program
CN104718428A (en) Pattern inspecting and measuring device and program
US20100150426A1 (en) Apparatus and method for inspecting pattern
Haverkamp Extracting straight road structure in urban environments using IKONOS satellite imagery
Heipke et al. Hierarchical approach to automatic road extraction from aerial imagery
JP5775225B2 (en) Text detection using multi-layer connected components with histograms

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100827

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee