KR100515193B1 - 다중 템플릿을 이용한 영상 자동분할 시스템 및 방법 - Google Patents

Abstract

본 발명은 비전 검사 시스템에 관한 것으로, 보다 상세하게는 농담 정규화 매칭법(Normalized Gray-scale Correlation)과 다중 템플릿(Multiple Templates)을 이용하여 가시화 상태가 좋지 않은 영상으로부터 인식하고자 하는 영역을 자동으로 분할하는 시스템 및 방법에 관한 것이다.

일반적으로 비젼 검사 시스템은 안정적이면서도 고속의 패턴 정합을 수행하는 알고리즘을 요구하고 있는데, 그 중 영상인식을 위한 전처리(preprocessing) 과정의 하나인 영상분할(image segmentation)은 주어진 영상에서 의미 있는 영역을 분리해 내는 과정으로 비젼 시스템에 있어 필수적이면서도 매우 중요한 단계이다.

그러나 영역기반 분할방법, 경계기반 분할방법 그리고 히스토그램을 이용한 분할방법 등과 같은 종래의 영상분할 방법은 열화 이미지등과 같이 가시화가 불완전한 상황에서는 효과적인 전처리 작업이 불가능하였다.

따라서, 본 발명은 상기의 문제점을 해결하기 위해서, 농담 정규화 매칭법과 다중 템플릿 방법을 이용한 영역 자동분할 시스템 및 방법을 제공한다. 본 발명에 따른 영역 자동분할 시스템 및 방법은 종래의 방법으로는 분할이 어려운 가시화가 불완전한 영상에 대해서도 높은 정확도로 영역을 분할함으로써 영상 인식율을 크게 향상시킬 수 있다.

Description

다중 템플릿을 이용한 영상 자동분할 시스템 및 방법{Image Segmentation System and Process using Multiple Templates}

본 발명은 비전 검사 시스템(Visual Inspection System)에 관한 것으로, 보다 상세하게는 농담 정규화 매칭법(Normalized Gray-scale Correlation, 이하 'NGC'라고도 한다)과 다중 템플릿(Multiple Templates)을 이용하여 가시화 상태가 좋지 않은 영상으로부터 인식하고자 하는 영역을 자동으로 분할하는 시스템 및 방법에 관한 것이다.

산업이 고도화 되면서 생산라인이 자동화 되어감에 따라 전통적으로 사람이 직접 수행하던 검사나 불량품 판별 등의 작업이 점차 영상을 이용한 비전 검사 시스템으로 대체되어 가고 있는데, 이러한 비전 검사 시스템은 안정적이면서도 고속의 패턴 정합을 수행하는 알고리즘을 요구하게 된다. 그 중에서도 특히 영상인식을 위한 전처리(preprocessing) 과정의 하나인 영상분할(image segmentation)은 주어진 영상에서 의미 있는 영역을 분리해 내는 과정으로 비젼 시스템에 있어 필수적이면서도 매우 중요한 단계이며, 이 과정의 성공적 수행여부가 전체 패턴 인식과정의 성패를 좌우하게 된다.

상기와 같은 목적을 달성하기 위한 종래의 영상분할 방법으로는 크게 영역기반 분할방법, 경계기반 분할방법 그리고 히스토그램을 이용한 분할방법 등이 있다. 여기서, 영역기반 분할방법은 값이 비슷한 화소들을 하나의 영역으로 묶어 동질성이 보장되는 영역을 기반으로 영상을 분할하는 방법이고, 경계기반 분할방법은 화소값이 급격하게 변하는 경계성분을 이용하여 영역의 연결성이 보장되는 영역을 기반으로 영상을 분할하는 방법을 말한다.

또한. 히스토그램을 이용한 분할방법은 영상내의 그레이 값들의 분포가 단순한 경우에 주로 사용되는 것으로, 이 방법은 입력 영상으로부터 그레이 값들의 히스토그램을 구하여 가장 높은 빈도를 갖는 두 개의 그레이 값으로 영상 전체를 양자화 함으로써 영상분할을 용이하게 할 수 있다. 즉, 이 방법은 히스토그램의 분포가 배경과 객체에 해당하는 두 개의 그레이 값에 집중되어 있는 경우(bimodal histogram)에는 좋은 분할 효과를 얻을 수 있다.

그러나, 상술한 종래의 분할 방법들은 가시화 정도가 좋은 선명한 영상에서는 비교적 좋은 결과를 나타내지만 조명제어가 힘든 환경에서는 잡영에 의해 검사영상의 분할을 위한 영상 밝기의 분포 및 특징이 잘 형성되지 않기 때문에 좋은 결과를 기대하기가 어렵다.

일례로서, 도 1에 도시한 바와 같이 유리 판넬(Glass Pannel) 상에 음각으로 새겨진 문자들은 빛을 투과하는 재질의 성격상, 판넬에서 마크 형상을 가시화하는 것은 상당히 어려운 작업이며, 검사환경이나 조명 조건의 변화에 따라 민감하게 변화하여 검사 시스템의 성능에 영향을 주게 된다.

더욱이 공장자동화(Factory Automation)와 같은 경우에는 주위 환경의 영향에 따른 영상의 열화로 인해 기존의 영역분할방법을 이용한 영상인식은 상당한 어려움이 따르게 된다.

따라서, 본 발명에서는 상기와 같은 문제점을 해결하기 위하여, 가시화가 불량 상태에서도 검사 영상분할의 정확도를 향상시킬 수 있는 농담 정규화 매칭법(NGC)과 다중 템플릿을 이용한 영상 자동 분할 시스템 및 방법을 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위하여 본 발명은 검사영상내의 패턴을 인식하는 비젼 검사 시스템에 있어서, 인식의 대상이 되는 검사영상을 획득하여 전처리모듈에 전달하는 영상 입력모듈, 영상 입력모듈로부터 전송된 검사대상 영상에 대해 기준 템플릿모듈과 패턴정합모듈을 이용하여 정합계수의 합이 최대가 되는 다중 템플릿을 인식결과로 하여 의미있는 영상을 분할하는 전처리모듈, 검사 영상 내의 패턴을 탐색하는데 사용될 표준 템플릿 모델로 구성된 다중 템플릿모듈, 소정의 방법에 의하여 인식하고자 하는 영상내의 패턴이 템플릿모듈의 기준 모델과 일치하는 정도를 비교하여 정합을 수행하는 패턴 정합모듈 및 상기 패턴 정합모듈에 의하여 획득된 다중 템플릿의 각 노드의 정합계수치와 매칭 포인트를 저장하는 저장모듈을 포함하는 것을 특징으로 하는 다중 템플릿을 이용한 영상 자동분할 시스템을 제공한다.

또한, 상기와 같은 목적을 달성하기 위하여 본 발명은 검사영상내의 패턴을 인식하는 비젼 검사 방법에 있어서, 패턴 정합모듈에 의한 탐색시 수평 방향으로만 이동하면서 정합계수치를 계산하여 다중 템플릿 중 첫번째 노드의 최적 매칭 포인트를 획득하는 제1단계; 한 개의 템플릿 정합이 끝날 때마다 매칭된 모델의 가로 크기만큼 노드를 이격시키고 정합을 계속하는 제2단계; 검사영상의 허용 가능한 수평 방향의 탐색이 끝나면 획득한 다중 템플릿의 각 노드별 정합 계수치의 합과 매칭 포인트를 따로 저장하고 영상에 정합된 다중 템플릿 1세트를 획득하는 제3단계; 전체 탐색 영역에 대해 상기 제1단계 내지 제3단계를 반복하면서, 검사 영상으로부터 획득한 다수개의 다중 템플릿 세트 중에서 다중 템플릿 세트를 구성하고 있는 각 노드의 정합 계수치의 합이 최대가 되는 다중 템플릿 세트를 최적의 세트로 선택하는 제4단계; 를 포함하는 것을 특징으로 하는 다중 템플릿을 이용한 영상 자동분할 방법을 제공한다.

이하, 도면을 참조하여 본 발명의 일 실시예를 상세히 설명한다.

도 2는 본 발명에 따른 영상분할 시스템의 구성을 나타낸 것이다. 도 2와 같이 본 발명에 따른 영상 자동분할 시스템은 영상 입력모듈(10), 전처리모듈(20), 기준 템플릿모듈(30), 패턴정합모듈(40) 및 저장모듈(50)을 포함한다.

영상 입력모듈(10)은 인식의 대상이 되는 검사영상을 획득하여 전처리모듈(20)에 전달하는 모듈로, 할로겐 조명과 산업용 카메라(예를 들어, teli-1345 또는 Matrox Meteor2/MC frame grabber 등) 등으로 구성된다.

전처리모듈(20)은 영상 입력모듈(10)로부터 전송된 검사대상 영상에서 의미있는 영역을 분리해 내는 전처리과정 전반을 제어하는 모듈로, 기준 템플릿모듈(30)을 이용하여 패턴정합모듈(40)에 의해서 검사영상에 대한 패턴 정합과정을 수행하고 매칭된 다중 템플릿중 정합계수치가 최대가 되는 다중 템플릿 세트를 추출함으로써 검사영상을 분할한다.

상기 기준 템플릿모듈(30)은 패턴 정합시 사용될 템플릿 모델들로 구성되며, 검사 영상 내의 각 패턴들을 포함한다. 이 기준 템플릿모듈(30)의 모델들을 이용하여 검사 영상 내의 패턴을 탐색하게 된다.

상기 패턴 정합모듈은(40)은 농담 정규화 상관(NGC)에 기반한 방법에 의하여 인식하고자 하는 영상내의 패턴이 템플릿모듈의 기준 모델과 일치하는 정도를 계산하여 정합을 수행하며, 저장모듈(50)은 상기 패턴 정합모듈(40)에 의하여 획득된 다중 템플릿의 각 노드의 정합계수치 또는 일치도와 매칭 포인트를 저장한다.

한편, 상기의 패턴 정합모듈(40)은 앞에서도 언급한 바와 같이 미리 정해진 기준 패턴을 검사할 영상내부에서 찾아 위치를 발견하는 역할을 하는데, 본 발명에서는 이를 위해 신뢰성과 안정성에 기반을 둔 농담 정규화 매칭법을 사용한다.

농담 정규화 매칭법은 인식 장치 속에 마크나 패턴의 종류(category)에 따라 각각을 대표하는 템플릿 모델(또는 표준 모델, 또는 표준 패턴)을 기억해두고, 인식하고자 하는 미지 패턴이 각각의 표준 패턴과 일치하는 정도를 일정한 기준으로 비교하는 방법이다.

도 3은 농담 정규화 매칭법의 개념을 설명하기 위한 구성도이다. 도 3에서 X는 검사 영상 내 미지의 문자이고, A, B, …, Z는 표준패턴을 나타낸다. 또한, C₁, C₂, …, C_n은 미지패턴이 속할 카테고리이며, S1, S2, …, Sn은 검사문자와 각 표준 패턴의 일치도를 나타내는데, 본 발명에서는 다음의 수학식 1을 이용하여 일치도를 구한다.

수학식 1은 매칭을 수행할 템플릿 모델(또는 표준 패턴)과 검사 영상(또는 미지 패턴)의 밖기를 정규화 시킨 유사도식인데, 일반적으로 검사 영상은 밝기에 대한 변이(intensity variations)가 존재하므로 이와 같이 밝기 값의 평균크기 성분이 상쇄되도록 정규화를 시킬 필요가 있다.

한편, 수학식 1에서 (Q, P)는 다음과 같이 두 패턴의 내적(inner product)을 이용하여 구해진다.

여기에서, Q는 표준 패턴의 밝기이며, P는 미지 패턴의 밝기를 의미한다.

이상과 같이 인식규칙은 미지 패턴과 L개의 표준 패턴(L개의 카테고리에 대응) 각각과의 유사도를 계산한 후, 이것을 크기 순으로 나열하여 원칙적으로 유사도가 최대인 표준패턴을 인식결과로 한다.

농담 정규화 매칭법은 패턴의 회전, 크기변화, 투영변화, 밝기의 비선형 변화 등에는 영향을 받을 수 있지만, 밝기가 선형적으로 변화하는 경우 즉, 검사할 영상의 모든 영역에서 전체적으로 밝기 값이 증가되었을 경우는 검사 영상과 템플릿 영상의 평균 밝기 값을 구성 화소에서 빼고 밝기에 대해 정규화시켜 비교한다면 전체적인 조명의 밝기가 높아지거나 낮아진다고 하여도 패턴의 비교가 가능하다.

농담 정규화 매칭법의 또 다른 표현으로는 수학식 3과 같은 형태가 있다. 이 식에서 N은 템플릿영상의 픽셀의 수이며, I는 영상 픽셀의 밝기 값, M은 템플릿모델 픽셀의 밝기 값을 가리킨다.

수학식 3을 이용한 실제 검사 시에는 음수의 계수치는 관심의 대상이 아니므로 배제 시키게 되며, 수식에 들어 있는 제곱근 연산은 계산량을 증가시키므로 이 값을 배제하기 위해 C값을 제곱하여 사용한다. 따라서 최종적인 정합의 계수치는 다음과 같은 형태가 된다.

다음은 기준 템플릿모듈(30)을 이용하여 자동분할 알고리즘을 수행하는 전처리모듈(20)에 대하여 보다 구체적으로 설명한다.

앞에서도 언급한 바와 같이 공장자동화 환경 등에서는 영상의 열화로 인해 기존의 영역분할이나 경계추적, 기타 이치화 등에 의한 문자와 배경부의 분리가 어렵게 된다. 따라서, 이러한 경우에는 패턴 정합 시 사용할 문자들로 구성된 템플릿을 구성하고 검사 이미지 내의 모든 문자들은 미리 구성된 템플릿의 카테고리에 속하게 하여 적어도 정합 될 각 패턴은 이 카테고리 내의 한 문자가 되도록 하는 방법이 사용된다. 그러나 상기와 같이 영역 분리를 위해 단일 템플릿을 사용하는 경우의 문제점은 잘못된 부분에서 단일 템플릿이 높은 정합계수치를 보이고 그로 인해 연쇄적으로 정합이 실패할 수 있다는 것이다.

이러한 문제점을 해결하기 위해 본 발명에 따른 전처리모듈(20)에서는 검사 영상 내의 미지의 문자 영역을 자동으로 분할하는 다중 템플릿(multiple templates)을 이용하는 방법을 제공한다.

도 4는 상기 다중 템플릿의 연속 체인 중의 두 템플릿을 보여준다. 발생하는 노드(i,i+1...)는 검사 영상과 기 구축된 모델 템플릿 영상사이의 NGC 정합의 결과로, 매칭 포인트 즉 정합된 좌표, 미리 구성된 기본 템플릿 모델 중 최적으로 매칭된 모델 및 정합계수치를 가지게 된다.

미리 구성된 기준 템플릿(30)을 이용하여 NGC 정합을 수행한 후, 연속 체인을 포함하는 매칭된 다중 템플릿을 구성하게 되는데, 연결되는 템플릿 연속 체인의 수는 분리할 문자의 개수와 동일하다.

먼저 i번째 위치에서 템플릿에 의한 NGC 정합의 결과는 i점의 수평 인접위치에서 M개가 발생하게 된다. 또한 i+1번째 위치에서 템플릿 정합의 결과는 i+1번째 수평 인접 위치에서 M개가 발생한다. 결국 템플릿 사이의 거리 d는 부분적으로 변화 가능하므로 인접한 두 템플릿이 발생시키는 거리의 조합은 모두 M²개가 된다. 만일 사용할 연속 체인의 개수가 N개라면 가능한 배치의 합은 M^N-1개가 된다.

상기와 같은 다중 조합에서 하나의 최적 조합을 발견하기 위해서는 최적화 문제(optimization problem)를 정의하게 되는데, 본 발명에서는 상기 최적화 문제를 해결하기 위하여 탐욕법(Greedy algorithm)을 적용한다.

탐욕법은 문제를 해석함에 있어 전에 결정하였거나, 또는 후에 결정할 선택과는 상관없이 현재 시점에서 M개의 카테고리 중 정합률이 최대가 되는 패턴을 선택하게 된다. 또한, 상호 연결된 다중 템플릿 체인의 각 노드는 수평 방향으로의 인접 탐색에서 가장 높은 NGC 값을 가진 후보 영상중의 하나가 되며, 각 노드는 제각기 다른 수평 방향의 위치를 가지고 있으므로 i단계와 i+1단계에서의 노드연결은 인접한 두 템플릿과 템플릿 사이의 수평 거리를 의미하게 된다.

도 5는 본 발명에 따른 영상 자동분할 시스템의 처리과정을 나타낸 것이다.

도 5와 같이 본 발명에 따른 다중 템플릿을 이용한 영상의 패턴 자동분할 과정은 먼저, NGC의 탐색 시 수직 방향의 이동은 배제하고 수평 방향으로만 이동하면서 정합 계수치(또는 일치도, 이하 동일)를 계산하여 다중 템플릿 중 첫번째 노드의 최적 매칭 포인트를 획득한다(S100).

다음은 다중 템플릿 내의 템플릿의 상호 간격(gap)은 검사 영상에 따라 달라지게 되므로 고정된 값이 아닌 한 개의 템플릿 정합이 끝날 때마다 매칭된 패턴의 가로 크기만큼 체인을 이격 시키고 같은 방법으로 정합을 계속한다(S110).

검사영상의 허용 가능한 수평 방향의 탐색이 끝나면 획득한 다중 템플릿의 각 노드별 정합 계수치의 합과 매칭 좌표를 따로 저장하고 영상에 정합된 다중 템플릿 1세트를 획득하게 된다(S120).

전체 탐색 영역에 대해 상기 과정(S100 ∼ S120)을 반복하면서, 검사 영상으로부터 획득한 다수개의 다중 템플릿 세트 중에서 다중 템플릿 세트를 구성하고 있는 각 노드의 정합 계수치의 합이 최대가 되는 다중 템플릿 세트를 선택한다(S130).

상기와 같이, 본 발명에 따라 획득한 다중 템플릿 세트는 검사 영상 내의 각 템플릿의 정합 계수치가 최대 값을 가지는 각각의 매칭 포인트를 가지므로, 일부분만의 정합계수치가 높더라도 그것이 잘못된 정합인 경우에는 그 이후의 정합 계수치는 연쇄적으로 낮아질 것이므로, 결과적으로 그러한 다중 템플릿 세트는 선택되지 않도록 할 수 있다. 따라서, 가시화가 불완전한 영상 내에서도 검사영상의 정확한 분할을 가능케 한다.

도 6내지 도 10은 본 발명에 따른 검사 영역 자동분할 방법의 타당성을 검토하기 위하여 실시한 실험 예로서, 도 6a는 레이저 마크 영상의 한 예를 나타내고 있으며, 도 6b의 에지는 캐니(Canny) 에지 필터를 적용한 결과를 나타내고 있다.

도 6a의 경우는 레이저에 의해 각인된 거친 면이 문자를 이루며, 레이저에 의해 표면을 거칠게 만들어 놓았기 때문에 조명의 난반사로 인하여 문자부가 부분적으로 밝게 가시화가 되기는 하지만 투명 유리상에 존재하기 때문에 빛의 투과로 인해 전체적으로 가시화가 불량한 상태이다. 또한 도 6b의 경우도 에지 상태를 보면 문자부의 분할이 쉽지 않음을 예상할 수 있다.

도 7은 히스토그램법을 이용하여 상기 도 6a의 영상을 분할하고자 한 것이다. 도 7에서 아래부분과 우측부분은 수평과 수직 방향의 밝기 히스토그램의 누적을 보인 그래프이다. 그러나 도 7에서 볼 수 있듯이 영상의 열화로 인하여 문자와 문자 사이를 분리하는 누적 히스토그램 특징이 거의 나타나지 않는다. 이러한 특징은 기존의 영역 분할 방법뿐만 아니라 하프변환 방법이나 히스토그램 투영법 등이 문자마크 분리에 적용되기 어려움을 보여주고 있다.

도 8은 본 발명에 따른 영상 자동분할을 위해 미리 구축한 템플릿 모델들의 예이고, 도 9는 단일 템플릿 방법을 이용하여 문자부의 분리를 시도한 결과를 보인 것인데, 앞서 설명한 바와 같이, 단일 템플릿 단위로 정합이 완료되므로써 잘못된 부분에서 단일 템플릿이 높은 정합계수치를 보이고 그로 인해 연쇄적으로 정합이 실패할 수 있는 문제가 발생한다.

도 10은 본 발명에 따른 다중 템플릿 방법을 이용하여 검사 이미지 내 문자나 패턴을 자동 분할한 결과를 보인 것이다. 도 10a는 비교적 가시화 상태가 좋은 경우의 결과이며, 도 10b는 열화 된 가시화 상태에서의 결과를 보인 것이다. 도 10으로부터 확인할 수 있듯이 본 발명에 따른 다중 템플릿을 이용한 영상 자동분할 방법은 가시화가 좋은 경우뿐만 아니라 도 10b와 같이 가시화가 불완전하고 많은 잡영을 내포하고 있는 경우에도 성공적으로 문자부를 분리할 수 있음을 보여주고 있다.

본 발명은 반복 정합과정을 통해 획득한 다수의 다중 템플릿 세트 중에서 정합계수치의 합이 가장 큰 다중 템플릿 세트를 선택함으로써, 일부분만의 정합계수치가 높더라도 그것이 잘못된 정합인지 여부를 판단할 수 있으므로 정합의 부독율(Rejection Rate)을 대폭 낮추는 효과가 있다.

따라서, 종래의 방법으로는 영상검사부의 정확한 분할이 어려운 가시화가 불완전한 영상에서도 검사 영상에 대한 영역 분할의 전처리 과정의 정확도를 높혀 영상인식율 향상에 큰 도움이 된다.

또한 본 발명에 따른 다중 템플릿을 이용한 검사 영상의 자동분할 시스템 및 방법은 공장 자동화 분야는 물론이고 가시화 불량이 우려되는 상황에서의 영상 인식이 필요한 분야에는 어디든 적용될 수 있는 장점이 있다.

도 1은 가시화가 불량한 열화 영상의 예시도

도 2는 본 발명에 따른 검사영상 분할 시스템의 구성도.

도 3은 농담 정규화 매칭법의 개념도

도 4는 본 발명에 의한 다중 템플릿의 개념도.

도 5는 본 발명에 따른 검사 영상 자동분할 흐름도

도 6a, 도 6b는 본 발명의 일실시예에 따른 레이저 마크 영상의 예시도

도 7은 히스토그램법에 의한 검사 영상 예시도

도 8은 본 발명에 따른 레이져 마크 템플릿

도 9는 단일 템플릿을 이용한 문자분할의 예시도

도 10a, 도 10b는 본 발명에 따른 문자 분할의 예시도

*도면의 주요부호에 대한 설명*

10 : 영상 입력모듈 20 : 전처리모듈

30 : 기준 템플릿모듈 40 : 패턴 정합모듈

50 : 저장모듈

Claims (3)

1. 검사영상내의 패턴을 인식하는 비젼 검사 시스템에 있어서,

   인식의 대상이 되는 검사영상을 획득하여 전처리모듈(20)에 전달하는 영상 입력모듈(10);

   영상 입력모듈(10)로부터 전송된 검사대상 영상에 대해 기준 템플릿모듈(30)과 패턴정합모듈(40)을 이용하여 의미있는 영상을 분리해 내는 전처리모듈(20);

   검사 영상 내의 패턴을 탐색하는데 사용될 표준 템플릿 모델로 구성된 기준 템플릿모듈(30);

   소정의 방법에 의하여 인식하고자 하는 영상내의 패턴이 템플릿모듈의 기준 모델과 일치하는 정도를 비교하여 정합을 수행하는 패턴 정합모듈(40); 및

   상기 패턴 정합모듈(40)에 의하여 획득된 다중 템플릿의 각 노드의 정합계수치와 매칭 포인트를 저장하는 저장모듈(50)을 포함하고,

   상기 전처리 모듈(20)은 패턴 정합모듈에서의 비교결과 정합계수의 합이 최대가 되는 다중 템플릿을 인식결과로 하여 영상을 분할하는 것을 특징으로 하는 다중 템플릿을 이용한 영상 자동분할 시스템.
2. 청구항 제 1항에 있어서, 상기 패턴 정합모듈(40)은 농담 정규화 매칭법에 기반하는 정합방법을 채택하는 것을 특징으로 하는 다중 템플릿을 이용한 영상 자동분할 시스템.
3. 검사영상내의 패턴을 인식하는 비젼 검사 방법에 있어서,

   패턴 정합모듈에 의한 탐색시 수평 방향으로만 이동하면서 정합계수치를 계산하여 다중 템플릿 중 첫번째 노드의 최적 매칭 포인트를 획득하는 제1단계;

   한 개의 템플릿 정합이 끝날 때마다 매칭된 모델의 가로 크기만큼 노드를 이격시키고 정합을 계속하는 제2단계;

   검사영상의 허용 가능한 수평 방향의 탐색이 끝나면 획득한 다중 템플릿의 각 노드별 정합 계수치의 합과 매칭 포인트를 따로 저장하고 영상에 정합된 다중 템플릿 1세트를 획득하는 제3단계;

   전체 탐색 영역에 대해 상기 제1단계 내지 제3단계를 반복하면서, 검사 영상으로부터 획득한 다수개의 다중 템플릿 세트 중에서 다중 템플릿 세트를 구성하고 있는 각 노드의 정합 계수치의 합이 최대가 되는 다중 템플릿 세트를 최적의 세트로 선택하는 제4단계; 를 포함하는 것을 특징으로 하는 다중 템플릿을 이용한 영상 자동분할 방법.