KR20020088609A - Method for constructing of 2D image mosaics using quasi feature point - Google Patents
Method for constructing of 2D image mosaics using quasi feature point Download PDFInfo
- Publication number
- KR20020088609A KR20020088609A KR1020010027368A KR20010027368A KR20020088609A KR 20020088609 A KR20020088609 A KR 20020088609A KR 1020010027368 A KR1020010027368 A KR 1020010027368A KR 20010027368 A KR20010027368 A KR 20010027368A KR 20020088609 A KR20020088609 A KR 20020088609A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- points
- quasi
- constructing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000009466 transformation Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 230000001939 inductive effect Effects 0.000 abstract 1
- 238000011156 evaluation Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 모자이킹 영상의 구성방법에 관한 것으로 더욱 상세하게는 영상의 그레이 레벨의 분산을 기반으로 하고, 두 영상의 중첩 영역에서만 결정되는 4개의 유사특징점을 이용해 영상간 사영 변환식의 8개 파라미터를 직접 계산하여 모자이킹 영상을 구성하는 유사특징점을 이용한 모자이킹 영상의 구성방법에 관한 것이다.The present invention relates to a method of constructing a moking image, and more particularly, based on the variance of gray levels of an image, and using four similar feature points determined only in an overlapping region of two images, eight parameters of the projection conversion equation between images are obtained. The present invention relates to a method for constructing a mother's eye image using similar feature points to directly calculate the mother's eye image.
시점이 다른 복수개의 영상에서 한 장의 영상으로 합성하는 이미지 모자이킹은 컴퓨터 시각, 컴퓨터 그래픽스 등의 분야에서 많은 관심을 보이고 있다.Image mosaicing, which is synthesized from a plurality of images having different viewpoints into one image, has shown much interest in fields such as computer vision and computer graphics.
이와 같이, 이미지 모자이킹은 다양한 목적에서 영상간의 사영 관계를 이용해 다중의 영상을 결합하는 기법으로써 영상간 사영 관계를 유도하는 것은 가장 핵심이 되는 기술로 많은 방법들이 제안되어 왔는데, 이미지 모자이킹은 영상간 변환식의 집합으로, 서로 다른 시점에서 취득된 영상간에는 선형관계를 가지며, 이 관계를 사영 변환식(projective transform)이라고 한다.As described above, image mosaicing is a technique that combines multiple images using projective relations between images for various purposes, and it has been suggested that many methods have been proposed. A set of inter-transformations, which have a linear relationship between images acquired at different viewpoints, and this relationship is called a projective transform.
이 변환 방법에는 두부류가 있는데, 첫 번째 방법으로는 영상의 기하학적 정보 즉, 코너, 에지, 선 등을 이용하는 것으로써, 이 경우에는 정확한 사영 변환식의 유도가 가능하지만 특징점 추출과 이들간 대응점 검출 시, 많은 반복 계산이 필요하게 되며, 두 번째 방법으로는 비선형 최소화 평가함수를 이용하는 경우로써,이 경우엔 특징점 없이 효율적으로 사영 변환식을 계산할 수 있고, 그 결과 또한 좋으나, 국부 최소값에 매우 민감하고, 반복 최적화 기법인 까닭에 계산량이 많아지는 단점이 있었다.There are two types of transformation methods. The first method uses geometric information of images, such as corners, edges, and lines. In this case, accurate projection transformations can be derived, but when extracting feature points and detecting corresponding points, A large number of iterations are required, and the second method uses a nonlinear minimization evaluation function. In this case, the projective transformation can be computed efficiently without feature points. Because of the technique, there is a disadvantage in that the amount of calculation increases.
따라서, 본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 영상의 그레이 레벨의 분산을 기반으로 하고, 두 영상의 중첩 영역에서만 결정되는 4개의 유사특징점을 이용해 영상간 사영 변환식의 8개 파라미터를 직접 계산하여 모자이킹 영상을 구성하는 유사특징점을 이용한 모자이킹 영상의 구성방법을 제공함에 있다.Accordingly, the present invention was devised to solve such a problem, and an object of the present invention is based on variance of gray levels of an image, and using four similar features that are determined only in an overlapping region of two images. The present invention provides a method for constructing a mother's eye image using similar features that directly calculates the eight parameters of the mother's eye image.
도 1은 전역 레지스트레이션의 결과로부터 추출된 중첩 영역을 나타내고,1 shows an overlapping region extracted from the result of global registration,
도 2는 추출된 기준 영상의 중첩 영역에서 분할된 영역과 선택된 4개의 유사특징점을 나타내고,FIG. 2 illustrates a segmented area and four similar feature points selected in the overlapped area of the extracted reference image.
도 3은 히스토그램 등화를 적용하기 전/후의 중첩 영역 영상과 그 히스토그램 분포를 나타내고,3 shows an overlapping region image before and after applying histogram equalization and its histogram distribution,
도 4는 중첩 영역에서 4개의 유사특징점(a)과 대응점(b)를 나타내고,4 shows four similar feature points a and corresponding points b in an overlapping region,
도 5는 영상의 투영관계를 나타내고,5 shows a projection relationship of an image,
도 6은 (a),(b)는 320 x 240, (c),(d)는 320 x 256의 해상도로 구현된 실험에 사용된 4쌍의 영상을 나타내고,6 shows (a), (b) 320 x 240, (c) and (d) four pairs of images used in the experiment implemented at a resolution of 320 x 256,
도 7은 본 발명에 따른, 유사특징점을 이용한 모자이킹 영상의 구성방법을 나타내는 순서도이고,7 is a flowchart illustrating a method of constructing a mother's eye image using a similar feature point according to the present invention.
도 8은 과도기 함수를 이용한 선형 가중치 함수를 나타내고,8 shows a linear weight function using a transition function,
도 9는 image #1의 모자이킹 영상을 나타내는 것으로 (a)는 특징 기반 모자이킹을 (b)는 화소 기반 모자이킹을 (c)는 제안된 방법을 적용한 예를 나타내고,9 shows an example of a hat-king image of image # 1, (a) shows feature-based hatching, (b) pixel-based hatking, and (c) shows the applied method.
도 10은 image #2의 모자이킹 영상을 나타내는 것으로 (a)는 일반적인 BMA를 (b)는 제안된 BMA를 나타내고,10 shows a mother image of image # 2, (a) shows a general BMA, (b) shows a proposed BMA,
도 11은 이미지 모자이킹을 나타내는 것으로 (a)는 1188 x 388(6프레임)을 (b)는 647 x 297(5프레임)을 (c)는1028 x 371(7프레임)을 나타낸다.Fig. 11 shows image mosaicing, (a) shows 1188 x 388 (6 frames), (b) shows 647 x 297 (5 frames), and (c) shows 1028 x 371 (7 frames).
상기 목적들을 달성하기 위한 본 발명인 유사특징점을 이용한 모자이킹 영상의 구성방법은 모자이킹 영상의 구성방법에 있어서, 영상의 위상정보를 통해서 두 영상의 중첩 영역을 추출하는 단계(a); 상기 추출된 중첩 영역에 히스토그램 등화를 수행하는 단계(b); 상기 수행 후, 기준 영상의 중첩영역에서 4개의 유사 특징점을 선택한 후, 그 대응점을 대상 영상의 중첩영역에서 검출하는 단계(c); 상기 검출된 4쌍의 대응점으로부터 영상간의 사영 변환식을 유도하는 단계(d); 및 상기 사영 변환식의 유도가 완료되었을 경우, 상기 두 영상이 하나의 영상으로 합성되는 단계(e)를 포함한다.In order to achieve the above objects, the present invention provides a method for constructing a hatking image, which comprises: extracting an overlapping region of two images through phase information of the image; Performing a histogram equalization on the extracted overlapped regions; (C) selecting four similar feature points in the overlapped region of the reference image and detecting the corresponding points in the overlapped region of the target image after performing the above operation; (D) deriving a projection conversion formula between images from the detected four pairs of corresponding points; And (e) synthesizing the two images into one image when the induction of the projective transformation is completed.
이하, 상기 목적들을 달성하기 위한 본 발명인 유사특징점을 이용한 모자이킹 영상의 구성방법에 대하여 도 1 내지 도 11을 참조하여 상세히 설명한다.Hereinafter, a method of constructing a mother image using a similar feature point of the present invention for achieving the above objects will be described in detail with reference to FIGS. 1 to 11.
먼저, 본 발명에서 언급되는 유사특징점에 대한 정의 및 대응점 검출에 대하여 상세히 설명한다.First, the definition of the similar feature point and the corresponding point detection mentioned in the present invention will be described in detail.
영상간의 사영 변환식을 계산하기 위한 기존의 방법은 반복적인 계산으로 인해 많은 계산량을 요구하지만, 본 발명에서는 사영 변환식 유도를 위한 그레이레벨 분포를 기반으로 한 유사특징점을 정의하고, 그 대응점 검출을 위한 조명 변화와 카메라 움직임이 고려된 블록 정합 방법을 기술하고자한다.Existing methods for calculating the projection transformation between images require a large amount of computation due to iterative calculations, but in the present invention, a similar feature point is defined based on the gray level distribution for the projection transformation, and illumination for detecting the corresponding point is calculated. We describe a block matching method that takes into account changes and camera movements.
1. 전역 레지스트레이션 (Global registration)1. Global registration
연속된 두 영상의 중첩 영역은 공통된 정보를 가지고 있기 때문에, 중첩 영역에서의 대응 관계로부터 사영 변환식을 유도할 수 있는데, Kuglin과 Hines가 제안한 주파수 공간에서 영상의 위상 상관 관계를 이용해서 두 영상의 중첩 영역을 추출하는데, 이 방법은 2차원 푸리에 변환을 취한 한 쌍의 영상들 사이의 변위 (translation)를 계산하여 최적의 정합 영역을 검출한다.Since the overlapping regions of two consecutive images have common information, we can derive the projection transformation equation from the correspondence in the overlapping regions.The overlapping of two images using the phase correlation of the images in the frequency space proposed by Kuglin and Hines In extracting the region, the method calculates the displacement between a pair of images with a two-dimensional Fourier transform to detect the best matched region.
이 방법은 다른 정합 방법에 비해서 계산량이 적고, 잡음에 강건한데, 도 1은 전역 레지스트레이션의 결과를 보여주고 있는데, 두 영상에서 밝은 부분은 추출된 중첩 영역을 나타내고 있으며, 본 발명에서는 두 영상의 중첩 영역만을 이용하기 때문에 전체 영상을 이용하는 기존의 방법에 비해서 계산량을 크게 감소시킬 수있다.Compared to other matching methods, this method is less computational and robust to noise. FIG. 1 shows the results of global registration. The bright parts of the two images represent the extracted overlapping regions, and the present invention overlaps the two images. Since only the region is used, the computational amount can be greatly reduced compared to the conventional method using the entire image.
2.유사특징점 정의2. Definition of similar features
유사특징점 (quasi-feature point)은 영상의 기하학적인 특징 정보가 아닌 화소의 그레이레벨 분포를 기반으로 하는 특징점이다. 즉, 충분한 텍스쳐 정보를 갖는 블록은 다른 블록에 비해 변화량이 많기 때문에 다른 블록과 구별되고, 그 분산값이 크다. 따라서 제안된 유사특징점은 영상 내에서 분산의 크기가 최대인 블록의 중심화소로 정의한다.Similar feature point (quasi -feature point) is a feature point that is based on the gray level distribution of the non-geometric feature information of the image pixel. That is, a block having sufficient texture information is distinguished from other blocks because of a large amount of change compared with other blocks, and its variance value is large. Therefore, the proposed similar feature is defined as the center pixel of the block with the largest variance in the image.
사영 변환식을 계산하기 위해서는 4개의 특징점이 두 영상의 중첩 영역에 존재해야 하고, 임의의 세 점은 동일 직선 상에 존재하지 말아야 한다. 따라서 추출된 기준 영상의 중첩 영역은 4개의 부 영역으로 분할되고, 각각의 분할된 영역에서 국부 분산의 크기가 최대인 블록의 중심화소를 특징점으로 선택한다. 수학식 1은 i번째 부 영역에서 최대 분산을 갖는 k번째 블록에서 선택된 유사특징점()이다.In order to calculate the projection transformation equation, four feature points must exist in an overlapping area of two images, and any three points must not exist on the same straight line. Therefore, the overlapped region of the extracted reference image is divided into four sub-regions, and the center pixel of the block having the largest local variance in each of the divided regions is selected as the feature point. Equation 1 is a similar feature point selected in the k-th block having the maximum variance in the i-th subregion ( )to be.
,는는는 그레이레벨의 최대값이고, 일반적으로 255를 갖는다. 그레이 레벨 g에서 히스토그램이고 i번째 부 영역에서 k번째 블록의 분산과 평균을 각각 나타내고, , Is Is Is the maximum value of the gray level, and generally has 255. Is a histogram at gray level g and represents the variance and the mean of the k-th block in the i-th subregion, respectively,
도 2는 추출된 기준 영상의 중첩 영역에서 분할된 영역과 각 영역에서 선택된 특징점을 보여준다.2 illustrates regions divided in overlapping regions of the extracted reference image and feature points selected in each region.
3. 조명 변화를 고려한 히스토그램 등화(Histogram equalization)3. Histogram equalization considering lighting changes
조명의 변화는 영상간의 밝기와 대비도를 변화시킨다. 따라서 선택된 유사특징점의 대응점을 검출하기 위해 일반적인 BMA를 사용하는 경우, 단순히 블록내의 화소값의 차를 계산하기 때문에 잘못된 정합점을 검출하는 경우가 발생하는데, 본 발명에서 제안된 방법은 이러한 문제점을 고려하여 BMA를 수행하기 전에 히스토그램 등화를 수행한다.Changes in illumination change the brightness and contrast between images. Therefore, when a general BMA is used to detect the corresponding point of the selected similar feature, an incorrect matching point is detected because the difference of pixel values in the block is simply calculated. The method proposed in the present invention considers this problem. Perform histogram equalization before performing the BMA.
히스토그램 등화는 영상내의 그레이레벨을 전체 그레이레벨 범위로 분산시키기 때문에 거의 모든 영상이 같은 밝기와 대비도를 갖게 한다. 따라서 감지된 밝기와 대비도의 차이에 따른 바이어스 없이 영상들간의 동등한 비교를 가능하게 한다.Histogram equalization distributes the gray levels in an image over the entire gray level range, making almost all images the same brightness and contrast. Therefore, it is possible to make an equal comparison between the images without bias due to the difference in the detected brightness and contrast.
히스토그램 등화는 두 영상의 중첩 영역에만 적용하여 유사특징점의 선택과 대응점 검출에만 이용되고, 최종 합성 단계에서는 원 영상을 사용한다. 도 3은 히스토그램 등화를 적용하기 전, 후의 중첩 영상들과 그 히스토그램을 보여주는데 도 3의 (a)의 히스토그램을 보면 두 영상의 밝기와 대비도가 다름을 쉽게 알 수 있고,등화를 적용한 결과 두 영상이 유사한 밝기와 대비도를 갖게 됨을 확인할 수 있으며,표 1은 정량적인 결과를 보여준다.The histogram equalization is applied only to overlapping regions of two images, and is used only for selecting similar feature points and corresponding point detection. The original image is used in the final synthesis step. Figure 3 shows the superimposed images before and after applying the histogram equalization and the histogram. Looking at the histogram of Figure 3 (a) it is easy to see that the brightness and contrast of the two images are different, as a result of applying the equalization two images It can be seen that this has a similar brightness and contrast, Table 1 shows the quantitative results.
4. 블록 정합 알고리즘의 변형된 평가함수4. Modified Evaluation Function of Block Matching Algorithm
본 발명에서 제안된 방법은 BMA를 이용한 대응점 검출을 보다 강건히 하기 위해 히스토그램 등화 뿐만 아니라 변형된 평가함수를 사용하고 있는데, 변형된 평가함수는 수학식 2처럼 기존의 BMA의 평가함수인 MAD(Mean Absolute Difference)를 기반으로 하여, 카메라의 이동으로 발생하는 영상 왜곡이 고려된 가중치 함수()가 포함되어 있다.The method proposed in the present invention uses a modified evaluation function as well as histogram equalization in order to more robustly detect the corresponding point using the BMA. The modified evaluation function is MAD (Mean Absolute), which is an evaluation function of the conventional BMA, as shown in Equation 2. Based on the difference, the weighting function considering the image distortion ) Is included.
s(x,y,k)는 k프레임의 (x,y)위치에서 화소값이고,는이고수학식 3처럼 표현된다. 블록의 중심에서 변위를 나타낸다. 최적의 변위는 최소 E를 나타내는s (x, y, k) is the pixel value at the (x, y) position of k frames, Is It is expressed as Equation 3. It represents the displacement at the center of the block. Optimal displacement represents the minimum E
카메라 이동에 의한 왜곡은 왜곡의 정도가 최소가 되는 점을 중심으로 거리가 멀어질 수록 왜곡의 정도가 증가한다. 따라서 가중치 함수는 왜곡이 적은 부분의 오차는 감소시키고, 왜곡이 큰 부분은 오차를 증가시켜 주어야 한다.The distortion caused by the camera movement increases as the distance increases from the point of minimum distortion. Therefore, the weighting function should reduce the error of the small distortion part and increase the error of the large distortion part.
수학식 4는 블록의 중심으로부터 거리에 비례하는 가중치 함수를 보여주고 있다.Equation 4 shows a weight function proportional to the distance from the center of the block.
는 블록의 중심에서 거리와 이 거리 중 최대 거리를 나타낸다. Represents the distance from the center of the block and the maximum of these distances.
도 4는 제안된 방법을 이용하여 추출된 중첩 영역에서 선택된 유사특징점과 검출된 대응점을 보여주고 있다. 확대된 한 쌍의 대응점을 보면 두점이 정확하게정합되었음을 알 수 있다.4 shows the similar feature point selected and the detected correspondence point in the overlapped region extracted using the proposed method. The pair of magnified pairs show that the two points are correctly matched.
한편, 본 발명에서 언급되는 유사특징점을 이용한 사영 변환식의 게산에 대하여 상세히 설명하는데 3차원 공간의 한 점이 서로 다른 시점을 갖는 서로 다른 영상 평면으로 투영되는 사영 변환식을 살펴본다.On the other hand, the calculation of the projection transformation equation using the similar feature point mentioned in the present invention will be described in detail. The projection transformation equation in which one point of the three-dimensional space is projected onto different image planes having different viewpoints will be described.
도 5는 두 영상에서 대응점간의 투영관계를 보여주고 있으며, p와 p'은 각각 유사특징점과 대응점에 해당한다.5 shows a projection relationship between corresponding points in two images, and p and p 'correspond to similar feature points and corresponding points, respectively.
3차원 공간의 한점 P(X, Y, Z)와 영상 평면의 한 점 p(x, y, 1)과의 관계는 수학식 5와 같다.The relationship between one point P (X, Y, Z) in the three-dimensional space and one point p (x, y, 1) in the image plane is expressed by Equation 5.
V는 카메라의 내부 파라미터(intrinsic parameter) 행렬이다. 점 p(x, y, 1)에 대응되는 3차원 공간으로의 방향성은로 주어진다. 카메라의 투영 중심을 축으로 카메라를 회전시켜 영상 평면에 맺혀지는 점을 p'(x', y', 1)이라 하면, p와 p'사이의 사영 관계식은 수학식 6과 같이 유도된다.V is the intrinsic parameter matrix of the camera. The direction in three-dimensional space corresponding to the point p (x, y, 1) Is given by If the point formed on the image plane by rotating the camera around the projection center of the camera is p '(x', y ', 1), the projection relation between p and p' is derived as shown in Equation (6).
R은 카메라의 3차원 회전 행렬을 나타내고, M은 우리가 최종적으로 유도하려는 사영 변환식이다. M은 보여주는 것처럼 3 x 3 행렬의 형태를 갖는다.R represents the three-dimensional rotation matrix of the camera, and M is the projective transformation that we finally want to derive. M has the form of a 3 x 3 matrix, as shown.
수학식 6은 수학식 7을 이용해서 수학식 8처럼 표현되고, 이를 전개해서 정리하면 수학식 9처럼 2개의 방정식이 유도된다. 즉, 한쌍의 대응점으로부터 2개의 방정식이 유도되기 때문에 사영변환식의 8개의 파라미터를 얻기 위해서는 4쌍의 대응점이 필요하다. 유사특징점 정의 및 대응점 검출에서 제안한 방법을 이용해서 검출된 4쌍의 대응점을 수학식 9에 대입하면 수학식 10과 같은 선형 방정식을 얻을 수 있다. 사영 변환식의 8개 파라미터는 수학식 10으로부터 역행렬 연산에 의해 얻어진다.Equation 6 is expressed as Equation 8 using Equation 7, and when expanded and arranged, two equations are derived as in Equation 9. That is, since two equations are derived from a pair of corresponding points, four pairs of corresponding points are required to obtain eight parameters of the projective transformation equation. By substituting the four pairs of corresponding points detected using the method proposed in the definition of the similar feature point and the corresponding point detection in Equation 9, a linear equation as in Equation 10 can be obtained. Eight parameters of the projective transformation are obtained by inverse matrix operation from equation (10).
한편, 본 발명에서 제안된 방법의 성능평가를 위하여 도 6에서 보여주는 4쌍의 영상에 대해서 모의 실험이 이루어졌는데, 도 6의 (a), (b)는 기존에 사용되었던 320 x 240 크기의 영상이고, 도 6의 (c), (d)는 디지털 카메라를 통해 직접 취득한 영상으로 320 x 256의 크기를 가지며, 유사특징점의 선택 및 대응점 검출에 사용된 블록의 크기와 검색 영역은 각각 15 x 15, 32 x 32 이다.Meanwhile, simulations were performed on four pairs of images shown in FIG. 6 to evaluate the performance of the proposed method. FIGS. 6 (a) and 6 (b) show a 320 × 240 image. 6 (c) and 6 (d) are images directly acquired by a digital camera, having a size of 320 x 256, and a size and a search area of blocks used to select similar features and detect corresponding points are 15 x 15, respectively. , 32 x 32.
언급되는 유사특징점을 이용한 사영 변환식의 게산에 대하여 상세히 설명하는데 3차원 공간의 한 점이 서로 다른 시점을 갖는 서로 다른 영상 평면으로 투영되는 사영 변환식을 살펴본다.The calculation of the projection transformation equation using the similar feature points mentioned in detail will be described. The projection transformation equation in which one point of a three-dimensional space is projected onto different image planes having different viewpoints will be described.
먼저, 영상의 위상정보를 통해서 두 영상의 중첩 영역을 추출하고(단계 S100), 추출된 중첩 영역에 히스토그램 등화를 수행한다(단계 S200).First, an overlapping region of two images is extracted through phase information of an image (step S100), and histogram equalization is performed on the extracted overlapping region (step S200).
상기 등화를 수행한 후, 도 7의 (b)에서처럼 기준 영상의 중첩 영역에서 4개의 유사특징점을 선택하여, 그 대응점을 대상 영상의 중첩 영역에서 검출한다(단계 s300).After performing the equalization, four similar feature points are selected in the overlapped region of the reference image as shown in FIG. 7B, and the corresponding points are detected in the overlapped region of the target image (step S300).
상기 검출된 4쌍의 대응점으로부터 영상간의 사영 변환식을 유도한다(단계 S400).The projection conversion formula between the images is derived from the detected four pairs of corresponding points (step S400).
상기 영상간의 사영 변환식이 유도되면(단계 S500), 두 영상은 하나의 영상으로 합성된다(단계 S600).When the projection conversion formula between the images is derived (step S500), the two images are synthesized into one image (step S600).
즉, 유도된 사영 변환식을 이용해서 대상 영상을 기준 영상으로 와핑 (warping)시킬 수 있고, 와핑된 대상 영상은 기준 영상과 합성된다. 대상 영상을 사영 변환식을 이용해서 와핑시키는 경우, 영상의 와핑 맵은 여러 방법으로 계산할 수 있다. 본 발명의 상세한 설명에서는 와핑된 영상에 대한 보간의 필요성을 제거하기 위해 역매핑 방법을 이용한다.That is, the target image may be warped to the reference image by using the derived projection transformation equation, and the warped target image is synthesized with the reference image. When the target image is warped using a projective transformation, the warping map of the image may be calculated in various ways. In the detailed description of the present invention, an inverse mapping method is used to eliminate the need for interpolation on the warped image.
두 장 이상의 영상이 합성되는 경우, k번째 프레임의 사영 변환식은 이전의 변환식들이 곱해진 형태로 수학식 11처럼 표현될 수 있다.When two or more images are synthesized, the projected transformation equation of the k-th frame may be expressed by Equation 11 in a form in which the previous transformation equations are multiplied.
합성된 영상에서 시각적인 결함을 없애기 위해서 도 8과 같은 과도 함수 (transient function)를 적용한 선형 가중치 함수를 정의하는데, 이 가중치 함수는 영상간의 경계선 제거를 위해 많이 사용되는 방법 중에 하나이다.In order to eliminate visual defects in the synthesized image, a linear weight function is applied to which the transient function as shown in FIG. 8 is applied. This weight function is one of many methods used for removing boundary lines between images.
따라서 중첩 영역의 화소값은 수학식 12에 의해 결정된다.Therefore, the pixel value of the overlapped region is determined by equation (12).
은 (x, y)에서 합성된 화소의 크기를 나타내고,,는 각각 기준 영상과 대상 영상의 가중치이며,인 관계를 갖는다. Represents the size of the pixel synthesized at (x, y), , Are the weights of the reference image and the target image, respectively. Have a relationship.
모의실험 결과는 기존의 두 가지 방법과 비교한다.The simulation results are compared with the two existing methods.
첫 번째 방법은 특징점 기반의 이미지 모자이킹 기법으로 사람이 실험 과정에 개입하여 직접 특징점을 정합하는 방법이고, 두 번째 방법은 화소기반의 이지미 모자이킹 기법으로 Levenberg-Marquardt 법을 이용한다.The first method is a feature-based image mosaicing technique in which a person intervenes in the experiment process and directly matches the feature points. The second method uses a Levenberg-Marquardt method as a pixel-based image mosaicing technique.
두 방법과의 성능을 비교하기 위한 평가 함수는 수학식 13과 같다.The evaluation function for comparing the performance with the two methods is shown in Equation 13.
R = overlap areaR = overlap area
도 9는 실험 영상 #1을 모자이킹한 결과 영상을 보여준다. 도면에서 알 수 있듯이 세 영상 모두 좋은 결과를 보여주고 있으나 도 9의 (b)를 보면 계단의 중앙 부분이 둥글게 굽은 것을 볼 수 있다.9 shows an image of a result obtained by hacking experimental image # 1. As can be seen from the figure, all three images show a good result, but in FIG. 9 (b), the center portion of the stairs is rounded.
실험 영상#1에서 계단의 방향이 두 영상에서 서로 반대로 되어 있지만, Levenberg-Marquardt 법은 겹쳐진 부분에서 화소의 기울기가 최소가 되는 최적화를 수행하기 때문에 이와 같은 기하학적인 현상을 찾아내지 못한다.In the experimental image # 1, the direction of the stairs is reversed in the two images, but the Levenberg-Marquardt method does not find such a geometric phenomenon because the optimization of the pixel slope is minimized at the overlapped portion.
그러나 특징점을 직접 정합한 도 9의 (a)와 본 발명에서 제안한 방법을 적용한 도 9의 (c)의 경우 이러한 결함이 제거됨을 알 수 있다. 표 2는 수학식 13의 평가함수에 의해 기존 방법과 본 발명에서 제안된 방법의 성능을 비교하고 있다.However, it can be seen that the defects are eliminated in the case of FIG. 9 (a) in which the feature points are directly matched and in FIG. 9 (c) to which the method proposed by the present invention is applied. Table 2 compares the performance of the conventional method and the method proposed in the present invention by the evaluation function of Equation 13.
일반적으로 사람의 개입으로 특징점을 직접 정합하는 것이 가장 정확한 결과를 유도할 수 있지만, 사람의 정확한 검출이 불가능한 경우 사람의 실수로 인해 오차가 커질 수 있다. 표 2를 보면 대부분의 실험 영상에서 제안된 방법이 기존의 방법에 비해서 더 나은 성능을 보이고 있다.In general, direct matching of feature points with human intervention can lead to the most accurate results. However, if human detection is impossible, the error may increase due to human error. Table 2 shows that the proposed method outperforms the existing method in most experimental images.
표 3은 Levenberg-Marquardt 법과 제안된 방법의 처리속도를 비교한 결과이다. 단위는 초(second)이고, 괄호안의 숫자는 반복횟수를 나타낸다.Table 3 shows the results of the treatment speeds of the Levenberg-Marquardt method and the proposed method. The unit is seconds, and the number in parentheses indicates the number of repetitions.
Levenberg-Marquardt 법은 최적화를 위한 반복횟수에 따라 서로 다른 처리시간을 요구한다. 본 실험에서는 최소 6초에서 최대 22초가 걸렸는데, 이러한 처리시간은 필요한 영상의 개수가 증가함에 따라 기하급수적으로 증가하고, 전체 처리시간의 예측이 불가능한 단점을 갖는다.The Levenberg-Marquardt method requires different processing times depending on the number of iterations for optimization. In this experiment, it took a minimum of 6 seconds and a maximum of 22 seconds. This processing time increases exponentially as the number of necessary images increases, and it is impossible to predict the total processing time.
이에 반해 제안된 방법은 한 쌍의 영상에 대해서 약 2초가 소요되어 처리시간을 크게 단축시켰을 뿐만 아니라 영상의 개수에 비례하여 처리시간이 소요됨으로 전체 처리시간의 예측이 가능한 장점을 갖는다.On the other hand, the proposed method takes about 2 seconds for a pair of images, which not only shortens the processing time but also takes processing time in proportion to the number of images.
도 10은 실험 영상#2에 대해서 일반적인 BMA를 적용한 결과와 제안된 BMA를 적용한 결과를 보여주고 있다. 도면에서 알 수 있듯이, 제안된 BMA가 기존의 BMA에 비해 보다 정밀한 정합을 가능하게 한다. 이러한 정확한 정합은 영상의 합성에서 영상의 열화 (blurring) 현상을 크게 감소시킬 수 있다.FIG. 10 shows the results of applying the general BMA and the proposed BMA to the experimental image # 2. As can be seen in the figure, the proposed BMA enables more precise matching than the conventional BMA. This accurate matching can greatly reduce the blurring of the image in the synthesis of the image.
표 4는 평가함수를 이용해 기존의 BMA와 제안된 BMA를 적용, 모자이킹 결과를 비교하고 있으며, 도 11은 본 발명에서 제안한 방법을 다양한 영상에 적용하여 재구성한 모자이크 영상을 나타내고 있는데, 결과 영상은 시각적으로 만족할 만한 결과를 보여주고 있다.Table 4 compares the moking results by applying the existing BMA and the proposed BMA using an evaluation function. FIG. 11 shows a mosaic image reconstructed by applying the method proposed in the present invention to various images. The results are visually satisfactory.
이상 본 발명의 바람직한 실시 예에 대해 상세히 기술되었지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구 범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서 본 발명의 앞으로의 실시 예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.Although a preferred embodiment of the present invention has been described in detail above, those skilled in the art to which the present invention pertains may make various changes without departing from the spirit and scope of the invention as defined in the appended claims. It will be appreciated that modifications or variations may be made. Therefore, changes in the future embodiments of the present invention will not depart from the technology of the present invention.
이상에서 살펴본 바와 같이, 본 발명에 따르면, 기하학적인 특징 대신 화소기반 유사 특징점과 그 대응점을 찾기 위한 변형된 블록 정합 알고리즘(BMA:Block Matching Algorithm)을 이용해 사영 변환식을 유도하는 것으로써, 유사특징점은 전역 정합의 결과로 추출된 기준 영상의 중첩 영역에서만 선택하고, 단지 4개의 특징점에 대해서만 대상 영상에서 BMA를 수행하고 있어, 최적화를 위한 반복 계산을 수행하는 기존의 방법에 비해 계산량을 크게 줄일 수 있는 효과가 있다.As described above, in accordance with the present invention, instead of the geometric features, by using a modified block matching algorithm (BMA: Block Matching Algorithm) to find the pixel-like similar feature point and its corresponding point, the similar feature point is By selecting only in the overlapping region of the reference image extracted as a result of global matching and performing BMA on the target image only for 4 feature points, the computational amount can be greatly reduced compared to the conventional method of performing iterative calculation for optimization. It works.
또한, 본 발명은 종래의 반복연산을 지양하고, 강건한 정합을 통해 정확한 사영 변환식을 유도할 수 있는 장점이 있다.In addition, the present invention has the advantage of avoiding the conventional iterative operation, leading to an accurate projection conversion formula through robust matching.
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0027368A KR100395075B1 (en) | 2001-05-18 | 2001-05-18 | Method for constructing of 2D image mosaics using quasi feature point |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0027368A KR100395075B1 (en) | 2001-05-18 | 2001-05-18 | Method for constructing of 2D image mosaics using quasi feature point |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020088609A true KR20020088609A (en) | 2002-11-29 |
| KR100395075B1 KR100395075B1 (en) | 2003-08-19 |
Family
ID=27705496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2001-0027368A KR100395075B1 (en) | 2001-05-18 | 2001-05-18 | Method for constructing of 2D image mosaics using quasi feature point |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100395075B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100591608B1 (en) * | 2005-03-18 | 2006-06-20 | 전남대학교산학협력단 | Method for searching matching point in image matching |
| CN101807304A (en) * | 2010-03-23 | 2010-08-18 | 中国科学院软件研究所 | Texture synthesis method based on multiplexing |
| US9338353B2 (en) | 2012-11-01 | 2016-05-10 | Hanwha Techwin Co., Ltd. | Method of and system for detecting motion in real time |
| CN107133920A (en) * | 2017-06-13 | 2017-09-05 | 华侨大学 | A kind of automatic generation method of the mosaic of view-based access control model feature |
-
2001
- 2001-05-18 KR KR10-2001-0027368A patent/KR100395075B1/en not_active IP Right Cessation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100591608B1 (en) * | 2005-03-18 | 2006-06-20 | 전남대학교산학협력단 | Method for searching matching point in image matching |
| CN101807304A (en) * | 2010-03-23 | 2010-08-18 | 中国科学院软件研究所 | Texture synthesis method based on multiplexing |
| US9338353B2 (en) | 2012-11-01 | 2016-05-10 | Hanwha Techwin Co., Ltd. | Method of and system for detecting motion in real time |
| CN107133920A (en) * | 2017-06-13 | 2017-09-05 | 华侨大学 | A kind of automatic generation method of the mosaic of view-based access control model feature |
| CN107133920B (en) * | 2017-06-13 | 2021-07-30 | 华侨大学 | Automatic mosaic generation method based on visual features |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100395075B1 (en) | 2003-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Veeser et al. | Multiresolution image registration for two‐dimensional gel electrophoresis | |
| US6915003B2 (en) | Method and apparatus for matching positions of images | |
| JP4121376B2 (en) | Local constraints for motion matching | |
| US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
| CN108369650B (en) | Method for identifying possible characteristic points of calibration pattern | |
| AU2003202211B2 (en) | Registration of separations | |
| US7164800B2 (en) | Method and system for constraint-consistent motion estimation | |
| CN112950508A (en) | Drainage pipeline video data restoration method based on computer vision | |
| WO1999062024A1 (en) | Method of accurately locating the fractional position of a template match point | |
| CN109859249B (en) | Scene flow estimation method based on automatic layering in RGBD sequence | |
| JP2005525607A (en) | Subpixel edge detection method and edge detection apparatus | |
| CN106952262B (en) | Ship plate machining precision analysis method based on stereoscopic vision | |
| US6751341B2 (en) | Image position matching method and apparatus | |
| CA3206206A1 (en) | Device and method for correspondence analysis in images | |
| KR100395075B1 (en) | Method for constructing of 2D image mosaics using quasi feature point | |
| US8472756B2 (en) | Method for producing high resolution image | |
| Pan et al. | Color adjustment in image-based texture maps | |
| JP2001101419A (en) | Method and device for image feature tracking processing and three-dimensional data preparing method | |
| CN117576219A (en) | Camera calibration equipment and calibration method for single shot image of large wide-angle fish-eye lens | |
| JP2003162719A (en) | Detection of pattern in digital image | |
| CN109961393A (en) | Subpixel registration and splicing based on interpolation and iteration optimization algorithms | |
| CN113052879B (en) | Multispectral image automatic registration method | |
| JPH11506847A (en) | Visual identification method | |
| Dai | Extraction and Measurement of Sub-Pixel Profile based on Three Spline Interpolation | |
| Colleu et al. | Feature-based deformable image registration with ransac based search correspondence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20060714 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |