KR20050063991A - Image matching method and apparatus using image pyramid - Google Patents
Image matching method and apparatus using image pyramid Download PDFInfo
- Publication number
- KR20050063991A KR20050063991A KR1020030095251A KR20030095251A KR20050063991A KR 20050063991 A KR20050063991 A KR 20050063991A KR 1020030095251 A KR1020030095251 A KR 1020030095251A KR 20030095251 A KR20030095251 A KR 20030095251A KR 20050063991 A KR20050063991 A KR 20050063991A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pyramid
- registration
- point
- conjugate
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Abstract
본 발명은 영상 피라미드를 사용하여 정합속도를 향상시키고 정합의 신뢰성을 향상시키기 위하여 양방향 정합과 정합의 과대오차를 제거하는 영상 정합 방법 및 장치에 관한 것으로, 본 발명의 방법은 대상 영상의 공간해상도를 반복적으로 축소하여 영상 피라미드를 제작하는 제1 단계; 영상 피라미드의 최저해상도 영상에서 영상정합을 수행하여 대상 영상 사이의 기하학적 관계를 구하는 제2 단계; 및 영상 피라미드의 임의 해상도 영상에서 영상정합을 수행할 때, 영상 피라미드의 이전 해상도에서 정합된 공액점을 이용한 수학적 모델링을 통하여 탐색영역을 제한하여 영상정합을 수행하는 제3 단계를 포함한다. 따라서 본 발명은 영상 피라미드를 이용한 영상정합 처리방법에서 양방향 정합과 대상영상의 기하학적 위치관계를 이용하여 잘못 정합된 공액점을 제거하는 방법을 부가시킴으로써, 영상정합의 신뢰성을 향상시킬 수 있다. 또한, 영상 피라미드의 각 레벨마다 특징점을 추출하여 결과적으로 최고해상도 레벨에서도 많은 수의 공액점을 확보할 수 있으며, 영상 피라미드의 한 레벨에서 영상정합에 실패할 경우 하부 영상 피라미드로 이동하여 다시 정합을 수행하므로 영상정합의 신뢰성을 높일 수 있다.The present invention relates to an image matching method and apparatus for eliminating excessive errors of bidirectional matching and matching in order to improve the matching speed and improve the reliability of the matching using an image pyramid, and the method of the present invention provides a spatial resolution of a target image. A first step of repeatedly reducing the image to produce an image pyramid; Obtaining a geometric relationship between the target images by performing image registration on the lowest resolution image of the image pyramid; And performing image registration by restricting the search area through mathematical modeling using a conjugate point matched at the previous resolution of the image pyramid when performing image registration on an arbitrary resolution image of the image pyramid. Therefore, the present invention can improve the reliability of image registration by adding a method of eliminating a mismatched conjugation point using the bidirectional matching and the geometric positional relationship of the target image in the image matching processing method using the image pyramid. In addition, feature points are extracted at each level of the image pyramid, and as a result, a large number of conjugate points can be obtained even at the highest resolution level.If image registration fails at one level of the image pyramid, the image is moved to the lower image pyramid and the registration is performed again. Therefore, the reliability of image registration can be improved.
Description
본 발명은 영상 정합방법 및 장치에 관한 것으로, 더욱 상세하게는 영상 피라미드를 사용하여 정합속도를 향상시키고, 정합의 신뢰성을 향상시키기 위하여 양방향 정합과 정합의 과대오차를 제거하는 영상정합 방법, 장치 및 그 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.The present invention relates to an image matching method and apparatus, and more particularly, to an image matching method, an apparatus for eliminating an excessive error of bidirectional matching and matching, in order to improve the matching speed by using an image pyramid and to improve the reliability of the matching. A computer readable recording medium having recorded thereon a program for realizing the method.
일반적으로, 영상정합이란 물리적으로 유사한 영상 내의 영역들을 기하학적으로 일치시키는 처리로서, 대상 영상의 회전, 수평과 수직 위치, 크기를 변환하면서 두 영상의 유사성이 최대가 되는 인자를 추출한다. 최근까지 다양한 영상정합 알고리즘이 개발되었는데, 정합방법은 크게 모델 대 영상정합과 영상 대 영상정합으로 분류할 수 있다. 또한 영상정합은 프레임 기반 정합, 표식기반 정합, 표면정보기반 정합, 영상정보기반 정합으로 구분할 수도 있다.In general, image registration is a process of geometrically matching regions in a physically similar image, and extracts a factor that maximizes the similarity between two images while changing the rotation, horizontal and vertical position, and size of the target image. Various image matching algorithms have been developed until recently, and the matching methods can be classified into model-to-image matching and image-to-image matching. In addition, image matching may be classified into frame-based matching, marker-based matching, surface information-based matching, and image information-based matching.
한편, 영상 피라미드(image pyramid)를 이용한 영상정합 처리방법은 사진측량, 원격탐사 분야, GIS, 컴퓨터 비젼 분야에서 디지털 모자이크 영상제작이나 자동 상호표정 등에 사용되는 영상정합 처리방법이며, 대용량의 영상을 처리하기 위해서 필수적인 처리방법이다. Meanwhile, the image matching processing method using image pyramid is an image matching processing method used for digital mosaic image production or automatic mutual expression in photogrammetry, remote sensing field, GIS, computer vision field, and processes a large amount of images. This is an essential treatment method.
그러나 상기한 종래기술은 영상 피라미드를 이용한 자세한 방법을 공개하고 있지 않아서, 대용량의 영상에 대하여 영상정합 처리를 수행하는데, 많은 전산자원과 시간을 소요된다는 문제점을 가지고 있다. However, the above-mentioned conventional technology does not disclose a detailed method using an image pyramid, and thus has a problem in that it takes a lot of computational resources and time to perform image matching processing for a large amount of images.
본 발명은 상기 종래기술의 문제점을 해결하기 위한 것으로, 종래의 영상 피라미드를 이용한 영상정합 처리방법에 양방향 정합과 대상 영상의 기하학적 위치관계를 이용하여 잘못 정합된 공액점(conjugate point)을 제거하여 영상정합의 신뢰성을 향상시킨 영상 피라미드를 이용한 영상정합 처리방법 및 장치를 제공하는데 그 목적이 있다.The present invention is to solve the problems of the prior art, the image matching process by eliminating the conjugate point (conjugate point) mismatched by using the bidirectional matching and the geometric position relationship of the target image in the conventional image matching processing method using the image pyramid An object of the present invention is to provide an image matching processing method and apparatus using an image pyramid having improved reliability.
본 발명의 다른 목적은 영상 피라미드의 각 레벨마다 특징점을 추출하여 결과적으로 최고해상도 레벨에서도 많은 수의 공액점을 확보할 수 있으며, 최소한의 특징점으로 영상정합을 수행하고 정합된 공액점의 수가 대상 영상의 기하학적 위치관계를 판단하기에 불충분할 경우 특징점을 추가하여 영상정합을 수행하므로 처리 시간의 개선할 수 있는 영상 피라미드를 이용한 영상정합 처리방법 및 장치를 제공하는 것이다.Another object of the present invention is to extract feature points for each level of the image pyramid, and as a result, it is possible to secure a large number of conjugated points even at the highest resolution level, perform image registration with the minimum feature points and the number of matched conjugate points The present invention provides an image matching processing method and apparatus using an image pyramid that can improve processing time because image registration is performed by adding feature points when it is insufficient to determine a positional relationship.
본 발명의 또다른 목적은 영상 피라미드의 한 레벨에서 영상정합에 실패할 경우 하위 레벨의 영상 피라미드로 이동하여 다시 정합을 수행하므로 영상정합의 신뢰성을 높일 수 있는 영상 피라미드를 이용한 영상정합 처리방법 및 장치를 제공하는 것이다. Another object of the present invention is a method and apparatus for processing image registration using an image pyramid which can increase the reliability of image registration since moving to a lower level image pyramid and performing registration again when image registration fails at one level of the image pyramid To provide.
본 발명의 또다른 목적은 영상정합 처리에 필요한 전산자원과 처리시간을 단축하며, 정확한 영상정합을 수행할 수 있도록 하는 영상정합 처리방법 및 장치를 제공하는 것이다. It is still another object of the present invention to provide an image matching processing method and apparatus for shortening computational resources and processing time necessary for image matching processing and enabling accurate image matching.
상기와 같은 목적을 달성하기 위하여 본 발명의 장치는, 제 1원시영상으로부터 영상 피라미드를 생성하는 제 1영상 피라미드 생성부; 제 2원시영상으로부터 영상 피라미드를 생성하는 제 2영상 피라미드 생성부; 상기 제 1영상의 피라미드와 상기 제 2영상의 미라미드를 이용하여 영상 피라미드의 최상위 레벨에서 대상 영상의 기하학적 위치관계의 초기값을 계산하고, 하부 피라미드에서 상관계수 영상정합을 이용한 공액점을 추출하는 초기값 및 공액점 추출부; 및 영상 피라미드의 최고해상도 영상에서 최소제곱 영상정합을 수행하여 공액점을 추출하는 최소제곱 영상정합부를 포함하여 구성되는 것을 특징으로 한다.In order to achieve the above object, the apparatus of the present invention, the first image pyramid generating unit for generating an image pyramid from the first raw image; A second image pyramid generator for generating an image pyramid from a second raw image; An initial value of the geometric position relation of the target image is calculated at the highest level of the image pyramid using the pyramid of the first image and the miramid of the second image, and an initial point of extracting a conjugate point using correlation coefficient image registration from the lower pyramid. Value and conjugate point extraction unit; And a least square image matching unit extracting a conjugate point by performing least square image registration on the highest resolution image of the image pyramid.
또한 상기와 같은 목적을 달성하기 위하여 본 발명의 방법은, 대상영상의 공간해상도를 반복적으로 축소하여 영상 피라미드를 제작하는 제 1단계; 영상 피라미드의 최저해상도 영상에서 영상정합을 수행하여 대상 영상 사이의 기하학적 관계를 구하는 제 2단계; 및 영상 피라미드의 임의 해상도 영상에서 영상정합을 수행할 때, 영상 피라미드의 이전 해상도에서 정합된 공액점을 이용한 수학적 모델링을 통하여 탐색영역을 제한하여 영상정합을 수행하는 제 3단계를 포함하는 것을 특징으로 한다. In addition, the method of the present invention to achieve the above object, the first step of producing a video pyramid by repeatedly reducing the spatial resolution of the target image; Obtaining a geometric relationship between the target images by performing image registration on the lowest resolution image of the image pyramid; And a third step of performing image registration by limiting the search area through mathematical modeling using conjugated points matched at the previous resolution of the image pyramid when performing image registration on an arbitrary resolution image of the image pyramid. .
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
먼저, 본 발명에 적용되는 영역 기준 정합(Area Based Matching)을 간단히 설명하면 다음과 같다. 영역 기준 정합(Area Based Matching)은 정합의 대상이 영상의 밝기값이고, 제 1영상의 일정한 영역을 기준영역으로 설정한 후 이에 해당하는 제 2영상의 영역을 일정한 범위 내에서 이동시키면서 밝기값이 유사한 영역을 찾아내는 원리를 이용하는 기법이다. 이러한 영역 기준 정합에는 상관계수 영상정합과, 최소제곱 영상정합이 있다. First, Area Based Matching applied to the present invention will be briefly described as follows. Area Based Matching is the brightness value of the image to be matched, and after setting a certain area of the first image as a reference area, the brightness value is changed while moving the corresponding area of the second image within a certain range. This technique uses the principle of finding similar areas. Such region-based matching includes correlation coefficient image registration and least square image registration.
상관계수 영상정합은 제 1영상에서 정의된 기준영역을 제 2영상의 탐색영역에서 한 점씩 이동하면서 상관계수를 계산하여 유사성을 판단하는 것이다. 상관계수 영상정합에서의 상관계수는 다음 수학식 1로 계산된다.Correlation coefficient image registration is to determine the similarity by calculating the correlation coefficient by moving the reference region defined in the first image by one point in the search region of the second image. Correlation Coefficient Correlation coefficient in image registration is calculated by the following equation.
수학식1에서, ρ는 상관계수로서 -1≤ ρ ≥1의 값을 가진다. 그리고 σLR은 L과 R영상의 영역의 밝기값의 공분산이고, σL은 L영상의 영역의 밝기값의 표준편차이며, σR은 R영상의 영역의 밝기값의 표준편차이다.In Equation 1, ρ has a value of −1 ≦ ρ ≧ 1 as a correlation coefficient. Σ LR is the covariance of the brightness values of the regions of the L and R images, σ L is the standard deviation of the brightness values of the regions of the L image, and σ R is the standard deviation of the brightness values of the regions of the R image.
그리고 상기 L영상의 표준편차(σL)와, R영상의 표준편차(σR), 및 공분산(σLR)은 다음 수학식 2와 같이 표현된다.The standard deviation σ L of the L image, the standard deviation σ R of the R image, and the covariance σ LR are expressed as in Equation 2 below.
한편, 최소제곱 영상정합은 다음 수학식 3과 같이 대상 영상의 기하학적 왜곡과 방사 왜곡을 보정하여 영상의 정합점을 찾는 방법이며, 기준영역과 정합 대상 영역 사이의 밝기값의 차를 최소화하는 것을 기본개념으로 한다. On the other hand, the least square image matching is a method of finding the matching point of the image by correcting the geometric distortion and the radiation distortion of the target image as shown in Equation 3 below, and it is basic to minimize the difference in brightness value between the reference region and the matching target region It is a concept.
수학식3에서, (xt,yt)는 기준영역에서의 좌표이고, (xs,ys)는 찾고자 하는 탐색점의 좌표이며, n은 노이즈이다. 수학식3을 최소제곱법으로 계산하면 다음 수학식 4와 같이, 이동량(△x, △y)를 구할 수 있다.In Equation 3, (xt, yt) is a coordinate in a reference region, (xs, ys) is a coordinate of a search point to be searched for, and n is noise. When Equation 3 is calculated by the least square method, the shift amounts Δx and Δy can be obtained as shown in Equation 4 below.
도 1은 본 발명에 적용되는 영상 피라미드를 도시한 도면으로서, 최하위 레벨의 L0영상부터 최상위레벨의 LH까지의 영상 피라미드(102)가 도시되어 있다. 영상 피라미드(102)에서 해상도는 상위 레벨(정점)로 갈수록 낮아지고 하위 레벨(바닥)로 갈수록 높아진다.FIG. 1 is a diagram illustrating an image pyramid applied to the present invention, and shows an image pyramid 102 from the lowest level L0 image to the highest level LH. In the image pyramid 102, the resolution is lower toward the upper level (vertex) and higher toward the lower level (bottom).
영상 피라미드(102)는 이미지의 해상도를 개념적으로 보여주는 것으로서, 대개 원시 이미지에서 특징 벡터를 추출하려면 처리해야 하는 데이터량이 매우 방대하여 많은 처리시간이 필요한 문제점을 해결하기 위하여 이미지가 가지고 있는 특성을 유지하면서 처리 이미지의 크기를 축소하는 방법으로 널리 사용된다. 영상 피라미드(102)는 피라미드의 형태로 정렬된 감소하는 해상도 이미지의 집합으로, 모든 레벨의 반의 면적을 선형차원으로 쌓아 올린 것이다. 따라서 제일 밑바닥의 영상(L0)은 원시 이미지 혹은 최고해상도의 이미지를 나타내고, 정점의 영상(LH)은 최저해상도의 이미지를 나타낸다.The image pyramid 102 conceptually shows the resolution of an image. In order to extract a feature vector from a raw image, the image pyramid 102 is usually processed while maintaining the characteristics of the image in order to solve a problem that requires a large amount of processing time. It is widely used to reduce the size of an image. The image pyramid 102 is a set of decreasing resolution images arranged in the form of a pyramid, which is a linear dimension of half the area of every level. Therefore, the bottommost image L0 represents the raw image or the highest resolution image, and the vertex image LH represents the lowest resolution image.
도 2는 본 발명에 따른 양방향 정합 및 공액점을 설명하기 위한 개념도이다.2 is a conceptual diagram illustrating a bidirectional matching and conjugation point according to the present invention.
도 2를 참조하면, 동일한 대상을 중복 촬영하여 얻은 영상정합의 대상이 되는 제 1영상(110)과 제 2영상(120)이 있다. 이러한 두 영상(110,120)은 각 영상의 피라미드에 속한 영상이다. Referring to FIG. 2, there is a first image 110 and a second image 120 that are objects of image registration obtained by photographing the same object repeatedly. These two images 110 and 120 are images belonging to the pyramid of each image.
먼저, 제 1영상(110)에서 특징점을 찾는다. 제 1영상의 특징점은 "×"로 표시되어 있다. 그리고 제 1영상의 특징점을 제 2영상(120)으로 정합(1방향 정합)시켜 제 1영상의 특징점에 대응하는 제 2영상의 정합점을 찾는다. 제 2영상의 정합점은 "○"으로 표시되어 있다. First, a feature point is found in the first image 110. The feature point of the first image is indicated by "x". The feature point of the first image is matched to the second image 120 (one-way registration) to find a match point of the second image corresponding to the feature point of the first image. The registration point of the second image is marked with "○".
이어, 제 2영상의 정합점으로부터 역방향(2방향)으로 제 1영상(110)에 대해 정합을 수행하여 정합점을 찾는다. 제 1영상의 정합점은 "○"으로 표시된다. 이때 제 1영상의 정합점과 특징점이 일치하는 경우에 이를 공액점이라 한다. 즉, 공액점은 양방향으로 정합을 수행하여 일치하는 특징점이고, 제1 영상(110)에서 "ⓧ"로 표시되어 있다.Subsequently, matching is performed on the first image 110 in the reverse direction (two directions) from the matching point of the second image to find a matching point. The registration point of the first image is indicated by "○". In this case, when the matching point and the feature point of the first image coincide with each other, this is called a conjugate point. That is, the conjugate point is a matching feature point by matching in both directions, and is marked as "ⓧ" in the first image 110.
도 3은 본 발명에 따른 영상 피라미드를 이용한 영상정합 처리 장치를 도시한 블럭구성도이다.3 is a block diagram showing an image registration processing apparatus using an image pyramid according to the present invention.
본 발명의 영상정합 처리장치는 제 1원시영상으로부터 영상 피라미드를 생성하는 제 1영상 피라미드 생성부(310-1)와, 제 2원시영상으로부터 영상 피라미드를 생성하는 제 2영상 피라미드 생성부(310-2), 제 1영상의 피라미드와 제 2영상의 미라미드를 이용하여 영상 피라미드의 최상위 레벨에서 대상 영상의 기하학적 위치관계의 초기값을 계산하고, 하부 피라미드에서 상관계수 영상정합을 이용한 공액점을 추출하는 초기값 및 공액점 추출부(320)와, 영상 피라미드의 최고해상도 영상에서 최소제곱 영상정합을 수행하여 공액점을 추출하는 최소제곱 영상정합부(330)로 이루어져 대상 영상의 공액점을 출력한다. 그리고 초기값 및 공액점 추출부(320)는 제 1영상의 특징점을 추출하는 특징점 추출부(322)와, 추출된 특징점을 이용하여 제 2영상과 상관계수 영상정합을 양방향으로 수행하여 공액점을 찾는 상관계수 영상정합부(324), 기하학적 위치관계를 모델링하여 오차가 소정 픽셀 이상인 공액점을 제거하는 모델링부(326)로 이루어진다. 여기서, 기하학적 위치관계란 대상 영상간의 회전, 수직 및 수평방향의 이동 등을 의미한다.The image matching processing apparatus of the present invention includes a first image pyramid generator 310-1 that generates an image pyramid from a first raw image, and a second image pyramid generator 310-which generates an image pyramid from a second raw image. 2) Using the pyramid of the first image and the miramid of the second image, the initial value of the geometric positional relationship of the target image is calculated at the top level of the image pyramid, and the conjugate point using the correlation coefficient image registration is extracted from the lower pyramid. The initial value and the conjugate point extractor 320 and the least square image matcher 330 extracting the conjugate points by performing the least square image registration on the highest resolution image of the image pyramid output the conjugate point of the target image. In addition, the initial value and the conjugate point extracting unit 320 perform correlation between the feature image extracting unit 322 for extracting the feature point of the first image and the correlation coefficient image by bidirectionally matching the second image using the extracted feature point. The coefficient image matching unit 324 includes a modeling unit 326 that models a geometric positional relationship and removes a conjugate point having an error greater than or equal to a predetermined pixel. Here, the geometric positional relationship means rotation between target images, movement in the vertical and horizontal directions, and the like.
도 4는 본 발명의 영상 피라미드를 이용한 영상정합 처리를 수행하는 전체 절차를 개략적으로 도시한 도면이고, 도 5는 도 4에서 영상의 기하학적 위치관계의 초기값 계산과 하부 피라미드에서 상관계수 영상정합을 이용한 공액점 추출과정을 보다 구체적으로 설명하기 위한 순서도이다. FIG. 4 is a view schematically showing a whole procedure of performing image registration processing using an image pyramid of the present invention, and FIG. 5 is a diagram illustrating initial values of geometric positional relationships of images and correlation coefficient image registration in a lower pyramid. It is a flowchart for explaining the conjugate point extraction process used in more detail.
도 4를 참조하면, 본 발명은 먼저 대상 영상에 대하여 영상 피라미드를 제작한다(401). 앞서 설명한 바와 같이, 영상 피라미드는 피라미드의 최상위 레벨(최저해상도 영상)에서 영상정합이 가능한 정보를 가질 때가지 축소 제작한다. 영상 피라미드의 최상위 레벨에서 대상 영상의 기하학적 위치관계의 초기값을 계산하고, 하부 피라미드에서 상관계수 영상정합을 이용한 공액점을 추출한다(402,403). 이러한 과정을 최고해상도 영상까지 반복한다(404).Referring to FIG. 4, the present invention first creates an image pyramid for a target image (401). As described above, the image pyramid is reduced until it has information that can be matched at the highest level (lowest resolution image) of the pyramid. The initial value of the geometric positional relationship of the target image is calculated at the top level of the image pyramid, and the conjugate point using the correlation coefficient image registration is extracted from the lower pyramid (402, 403). This process is repeated up to the highest resolution image (404).
대상 영상의 기하학적 위치관계의 초기값을 계산하는 과정 및 공액점을 구하는 세부적인 과정은 도 5에 도시된 바와 같다. The process of calculating the initial value of the geometric positional relationship of the target image and the process of obtaining the conjugate point are as shown in FIG. 5.
도 5를 참조하면, 제 1영상의 영상전체에서 M개의 특징점을 추출한다(501,502). 여기서, M은 현재 영상 피라미드 레벨에서 추출 가능한 의미있는 특징점의 수이다. 추출된 특징점들을 영상 전체에 골고루 분포가 되도록 순서를 정하고, P번째 특징점부터 Q번째 특징점까지 영상정합을 수행한다. Referring to FIG. 5, M feature points are extracted from the entire image of the first image (501 and 502). Here, M is the number of meaningful feature points that can be extracted at the current image pyramid level. The ordered feature points are evenly distributed throughout the image, and image registration is performed from the P th feature point to the Q th feature point.
영상 피라미드의 최저해상도 레벨에서의 P는 0이고, Q는 대상 영상의 기하학적 위치관계를 모델링하는데 필요한 공액점의 수 N개를 추출하기 위해 필요한 특징점의 수이다(503~506). 제 1영상의 P번째 특징점부터 제 2영상 전체에 대하여 상관계수 영상정합을 수행하여 정합점을 찾는다(507,508). P at the lowest resolution level of the image pyramid is 0, and Q is the number of feature points required to extract N number of conjugate points required to model the geometric positional relationship of the target image (503 to 506). Correlation coefficient image registration is performed on the entire second image from the P th feature point of the first image to find a matching point (507,508).
다시 제 2영상의 정합점에서 제 1영상 전체에 대하여 상관계수 영상정합을 수행하여 제 1영상의 정합점을 찾는다(509,510). 그 결과 제 1영상의 정합점과 제1영상의 특징점의 좌표가 같으면, 공액점으로 판단한다(511,512). 이와 같은 과정을 Q번째 특징점까지 반복하여 수행한다(513). 추출된 공액점의 수가 대상 영상의 기하학적 위치관계를 모델링하는데 필요한 공액점의 수 N개보다 작으면, 공액점의 수가 N보다 크거나 같을 때까지 P번째 특징점부터 Q번째 특징점까지 영상정합 과정을 반복수행한다(514,515,519). 여기서, P는 이전 과정의 Q이고, Q는 Q+Q이다.In operation 509 and 510, the correlation coefficient image registration is performed on the entire first image at the matching point of the second image. As a result, if the coordinates of the matching point of the first image and the feature point of the first image are the same, it is determined as a conjugate point (511,512). This process is repeated until the Q th feature point (513). If the number of conjugated points extracted is less than the number of conjugate points needed to model the geometric positional relationship of the target image, the image registration process is repeated from the P th feature point to the Q th feature point until the number of conjugate points is greater than or equal to N ( 514,515,519). Where P is Q of the previous process and Q is Q + Q.
구해진 공액점의 수가 N보다 크거나 같으면, 추출된 전체 공액점으로 기하학적 위치관계를 수학적으로 모델링한다(516). 이때, 간단하게는 2차원 평면변환식을 이용할 수 있으며, 항공사진 측량의 상호 표정인 경우에는 상호 표정요소 계산을 통하여 모델공간을 모델링하여 이용할 수 있다. 모델링 결과와 공액점과의 오차가 허용할 수 있는 오차인 K픽셀 이상인 공액점을 제거한다(517). 다시 공액점의 수가 N보다 작으면, P번째 특징점부터 Q번째 특징점까지 영상정합 과정을 반복 수행한다(518,519). 여기서, M개의 특징점에 대하여 영상정합을 수행하였음에도 대상 영상의 기하학적 위치관계를 모델링할 수 없으면, 하부 영상 피라미드로 이동하여 전체 과정을 다시 수행한다(505,506). If the number of conjugate points obtained is greater than or equal to N, the geometric positional relationship is mathematically modeled by the extracted total conjugate points (516). In this case, a two-dimensional plane transformation can be simply used. In the case of the mutual expression of aerial surveying, model space can be modeled by calculating mutual expression elements. A conjugation point of K pixels or more, which is an allowable error between the modeling result and the conjugation point, is removed (517). If the number of conjugate points is smaller than N, the image registration process is repeatedly performed from the P th feature point to the Q th feature point (518 and 519). In this case, even though image registration is performed on M feature points, if the geometric positional relationship of the target image cannot be modeled, the process moves to the lower image pyramid and performs the entire process again (505, 506).
만일, 최고해상도 단계에서도 대상 영상의 기하학적 위치관계를 모델링할 수 없으면 에러 메시지를 출력한다(521). 이와 같은 과정을 수행하여 대상 영상의 기하학적 위치관계의 초기값이 계산되면, 하부 피라미드로 이동하여 같은 과정을 반복하여 수행한다. 이 경우에는 영상정합 시에는 탐색공간을 제한할 수 있어서, 정합속도를 높일 수 있다.If the geometric positional relationship of the target image cannot be modeled even in the highest resolution step, an error message is output (521). When the initial value of the geometric positional relationship of the target image is calculated by performing the above process, the process moves to the lower pyramid and repeats the same process. In this case, the search space can be limited during image registration, thereby increasing the matching speed.
다시 도 4를 참조하면, 영상 피라미드의 최고해상도 레벨까지 상기 과정을 반복하여 수행하고, 최고해상도 영상에서는 최소제곱 영상정합을 수행하여 부영상소(서브픽셀) 단위의 영상정합 정확도를 가지는 공액점을 획득한다(405).Referring to FIG. 4 again, the above process is repeated to the highest resolution level of the image pyramid, and the highest resolution image is obtained by performing the least square image registration to obtain a conjugate point having image matching accuracy in subpixel units. (405).
이상에서 설명한 바와 같이, 본 발명은 종래의 영상 피라미드를 이용한 영상정합 처리방법에 양방향 정합과 대상 영상의 기하학적 위치관계를 이용하여 잘못 정합된 공액점을 제거하는 방법을 부가시킴으로써, 영상정합의 신뢰성을 향상시킬 수 있다. 또한, 영상 피라미드의 각 레벨마다 특징점을 추출하여 결과적으로 최고해상도 레벨에서도 많은 수의 공액점을 확보할 수 있으며, 최소한의 특징점으로 영상정합을 수행하고 정합된 공액점의 수가 대상영상의 기하학적 위치관계를 판단하기에 불충분할 경우, 특징점을 추가하여 영상정합을 수행하므로 처리 시간을 개선할 수 있다. 그리고 영상 피라미드의 한 레벨에서 영상정합에 실패할 경우, 하부 영상 피라미드로 이동하여 다시 정합을 수행하므로 영상정합의 신뢰성을 높일 수 있다.As described above, the present invention improves the reliability of image registration by adding a method of eliminating mismatched conjugation points using the bidirectional matching and the geometric positional relationship of the target image to the conventional image matching processing method using the image pyramid. You can. In addition, feature points can be extracted for each level of the image pyramid, resulting in a large number of conjugate points at the highest resolution level. Image matching is performed with the minimum feature points, and the number of matched conjugate points determines the geometric positional relationship of the target image. If it is insufficient, the processing time can be improved because the image registration is performed by adding a feature point. If image registration fails at one level of the image pyramid, the image may be moved to the lower image pyramid to perform registration again, thereby increasing reliability of image registration.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to a preferred embodiment of the present invention, those skilled in the art will be variously modified and changed within the scope of the present invention without departing from the spirit and scope of the invention described in the claims below. I can understand that you can.
도 1은 본 발명에 적용되는 영상 피라미드를 도시한 도면,1 is a view showing an image pyramid applied to the present invention,
도 2는 본 발명에 따른 양방향 정합 및 공액점을 설명하기 위한 개념도,2 is a conceptual diagram illustrating a bidirectional matching and conjugation point according to the present invention;
도 3은 본 발명에 따른 영상 피라미드를 이용한 영상정합 처리 장치를 도시한 구성도,3 is a block diagram showing an image registration processing apparatus using an image pyramid according to the present invention;
도 4는 본 발명에 따른 영상 피라미드를 이용한 영상정합 처리 방법을 도시한 전체 순서도,4 is an overall flowchart illustrating an image registration processing method using an image pyramid according to the present invention;
도 5는 도 4의 기하학적 위치관계의 초기값 및 공액점을 산출하는 과정을 보다 상세하게 도시한 도면이다.5 is a diagram illustrating a process of calculating an initial value and a conjugate point of the geometric positional relationship of FIG. 4 in more detail.
*도면의 주요부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *
310-1,310-2: 피라미드 생성부 320: 초기값 및 공액점 추출부310-1,310-2: pyramid generator 320: initial value and conjugate point extraction unit
322: 특징점 추출부 324: 상관계수 영상정합부322: feature point extraction unit 324: correlation coefficient image matching unit
326: 모델링부 330: 최소제곱 영상정합부326: modeling unit 330: least square image matching unit
L0~LH: 영상 피라미드의 계층L0 ~ LH: hierarchy of image pyramid
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030095251A KR20050063991A (en) | 2003-12-23 | 2003-12-23 | Image matching method and apparatus using image pyramid |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030095251A KR20050063991A (en) | 2003-12-23 | 2003-12-23 | Image matching method and apparatus using image pyramid |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20050063991A true KR20050063991A (en) | 2005-06-29 |
Family
ID=37255649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020030095251A KR20050063991A (en) | 2003-12-23 | 2003-12-23 | Image matching method and apparatus using image pyramid |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20050063991A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100687759B1 (en) * | 2005-12-09 | 2007-02-27 | 한국전자통신연구원 | Method and apparatus for appointing image conjugate point |
| KR100986809B1 (en) * | 2008-07-17 | 2010-10-08 | 인하대학교 산학협력단 | The Method of Automatic Geometric Correction for Multi-resolution Satellite Images using Scale Invariant Feature Transform |
| KR101031598B1 (en) * | 2009-11-09 | 2011-04-27 | 한국과학기술원 | A method for fast template matching using integral image |
| KR101303124B1 (en) * | 2012-05-31 | 2013-09-09 | 삼성에스디에스 주식회사 | Apparatus and method for object tracking using feature descriptor, and apparatus and method for removing garbage feature |
| US8755624B2 (en) | 2011-12-15 | 2014-06-17 | Electronics & Telecommunications Research Institute | Image registration device and method thereof |
| KR20150077039A (en) * | 2013-12-27 | 2015-07-07 | 한국전자통신연구원 | Apparatus and methdo for registrating surface models |
| KR20150118484A (en) * | 2014-04-14 | 2015-10-22 | 삼성전자주식회사 | Method and Apparatus for medical image registration |
| US9361692B2 (en) | 2013-03-22 | 2016-06-07 | Electronics And Telecommunications Research Institute | Image registration device and operation method of the same |
| US9824303B2 (en) | 2013-11-29 | 2017-11-21 | Hanwha Techwin Co., Ltd. | Image matching method using feature point matching |
| US9934585B2 (en) | 2014-10-23 | 2018-04-03 | Hanwha Land Systems Co., Ltd. | Apparatus and method for registering images |
| US9946955B2 (en) | 2014-10-23 | 2018-04-17 | Hanwha Land Systems Co., Ltd. | Image registration method |
| US10078899B2 (en) | 2014-11-03 | 2018-09-18 | Hanwha Techwin Co., Ltd. | Camera system and image registration method thereof |
-
2003
- 2003-12-23 KR KR1020030095251A patent/KR20050063991A/en not_active Application Discontinuation
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100687759B1 (en) * | 2005-12-09 | 2007-02-27 | 한국전자통신연구원 | Method and apparatus for appointing image conjugate point |
| KR100986809B1 (en) * | 2008-07-17 | 2010-10-08 | 인하대학교 산학협력단 | The Method of Automatic Geometric Correction for Multi-resolution Satellite Images using Scale Invariant Feature Transform |
| KR101031598B1 (en) * | 2009-11-09 | 2011-04-27 | 한국과학기술원 | A method for fast template matching using integral image |
| US8755624B2 (en) | 2011-12-15 | 2014-06-17 | Electronics & Telecommunications Research Institute | Image registration device and method thereof |
| US9552642B2 (en) | 2012-05-31 | 2017-01-24 | Samsung Sds Co., Ltd. | Apparatus and method for tracking object using feature descriptor, and apparatus and method for removing garbage feature |
| WO2013180530A1 (en) * | 2012-05-31 | 2013-12-05 | 삼성에스디에스 주식회사 | Device and method for tracking object by using characteristic point descriptor, device and method for removing erroneous characteristic point, and device implemented in mobile terminal |
| KR101303124B1 (en) * | 2012-05-31 | 2013-09-09 | 삼성에스디에스 주식회사 | Apparatus and method for object tracking using feature descriptor, and apparatus and method for removing garbage feature |
| US9361692B2 (en) | 2013-03-22 | 2016-06-07 | Electronics And Telecommunications Research Institute | Image registration device and operation method of the same |
| US9824303B2 (en) | 2013-11-29 | 2017-11-21 | Hanwha Techwin Co., Ltd. | Image matching method using feature point matching |
| KR20150077039A (en) * | 2013-12-27 | 2015-07-07 | 한국전자통신연구원 | Apparatus and methdo for registrating surface models |
| KR20150118484A (en) * | 2014-04-14 | 2015-10-22 | 삼성전자주식회사 | Method and Apparatus for medical image registration |
| US10945708B2 (en) | 2014-04-14 | 2021-03-16 | Samsung Electronics Co., Ltd. | Method and apparatus for registration of medical images |
| US9934585B2 (en) | 2014-10-23 | 2018-04-03 | Hanwha Land Systems Co., Ltd. | Apparatus and method for registering images |
| US9946955B2 (en) | 2014-10-23 | 2018-04-17 | Hanwha Land Systems Co., Ltd. | Image registration method |
| US10078899B2 (en) | 2014-11-03 | 2018-09-18 | Hanwha Techwin Co., Ltd. | Camera system and image registration method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1901228B1 (en) | Apparatus, method and program for image matching | |
| US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
| US9626568B2 (en) | Use of spatially structured light for dynamic three dimensional reconstruction and reality augmentation | |
| US7256799B2 (en) | Image synthesizer, image synthesis method and computer readable recording medium having image synthesis processing program recorded thereon | |
| KR100799990B1 (en) | Device and Method for transforming 2-D Image into 3-D Image | |
| JP4521235B2 (en) | Apparatus and method for extracting change of photographed image | |
| JP2007000205A (en) | Image processing apparatus, image processing method, and image processing program | |
| KR101703515B1 (en) | Apparatus and method for target tracking of image | |
| KR20000005806A (en) | Image registration method, image registration apparatus and recording medium | |
| US10460472B2 (en) | System and method for model adaptation | |
| CN105389774A (en) | Method and device for aligning images | |
| US9569850B2 (en) | System and method for automatically determining pose of a shape | |
| Cho et al. | Affine motion based CMOS distortion analysis and CMOS digital image stabilization | |
| CN110516639B (en) | Real-time figure three-dimensional position calculation method based on video stream natural scene | |
| JP2017111638A (en) | Image processing method, image processing apparatus, image processing system, production apparatus, program, and recording medium | |
| KR20050063991A (en) | Image matching method and apparatus using image pyramid | |
| Kruger et al. | In-factory calibration of multiocular camera systems | |
| US8472756B2 (en) | Method for producing high resolution image | |
| CN115620016B (en) | Skeleton detection model construction method and image data identification method | |
| CN106780474B (en) | Kinect-based real-time depth map and color map registration and optimization method | |
| JP2009282762A (en) | Corresponding point retrieval device | |
| JP5217917B2 (en) | Object detection and tracking device, object detection and tracking method, and object detection and tracking program | |
| JP5904168B2 (en) | Feature point extraction method and feature point extraction device for captured image | |
| KR100933483B1 (en) | Target recognition method in the image | |
| Zeng et al. | I2-S2: Intra-Image-SeqSLAM for more accurate vision-based localisation in underground mines |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |