KR20200064222A - Method and system for image registering using regional warping - Google Patents
Method and system for image registering using regional warping Download PDFInfo
- Publication number
- KR20200064222A KR20200064222A KR1020180149358A KR20180149358A KR20200064222A KR 20200064222 A KR20200064222 A KR 20200064222A KR 1020180149358 A KR1020180149358 A KR 1020180149358A KR 20180149358 A KR20180149358 A KR 20180149358A KR 20200064222 A KR20200064222 A KR 20200064222A
- Authority
- KR
- South Korea
- Prior art keywords
- warping
- image
- region
- partial
- region image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 16
- 230000009466 transformation Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000238097 Callinectes sapidus Species 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 이미지 정합 방법 및 그 시스템에 관한 것으로, 정합대상이 되는 이미지들이 정합된 정합 이미지에서 일부 영역만을 와핑을 수행하여 정합결과를 높일 수 있는 방법 및 시스템에 관한 것이다. The present invention relates to an image matching method and a system thereof, and to a method and system capable of enhancing matching results by warping only a portion of a matching image in which the images to be matched are matched.
서로 다른 두 이미지를 정합하기 위한 기술적 사상들이 널리 공지되어 있다.Technical ideas for matching two different images are well known.
이미지 정합은 일반적으로 파노라마 이미지 또는 360도 영상과 같이 넓은 시야각을 커버하는 이미지를 생성하고자 할 때 자주 사용되고 있으며, 최근의 모바일 기기(예컨대, 스마트 폰 등)의 많은 보급 추세에 따라 상기 모바일 기기에서 제공되는 다양한 이미지 솔루션을 위해 이러한 이미지 정합은 더욱 널리 이용되고 있다.Image registration is commonly used when generating an image that covers a wide viewing angle, such as a panoramic image or a 360-degree image, and is provided by the mobile device according to many popular trends of mobile devices (eg, smart phones, etc.). These image registrations are becoming more widely used for a variety of image solutions.
이미지 정합에서 중요한 요소는 서로 다른 두 이미지를 정합하였을 때 시각적으로 자연스러운 정합이 가능할 수 있도록 하는 것이다. 일반적으로 이러한 이미지 정합을 위해서는 서로 다른 두 이미지가 겹치는 영역이 존재하는 경우, 겹치는 영역에 공통적으로 존재하는 즉, 서로 매칭되는 특징점들의 변환 관계를 이용하여 두 이미지를 정합하는 방식이다.An important factor in image registration is to allow visually natural matching when two different images are registered. In general, in order to match such an image, when two different images overlap regions, the two images are commonly matched by using a transformation relationship between feature points that are common to the overlapping regions, that is, they match each other.
한편, 이러한 특징점들을 이용해 두 이미지를 정합하는 경우 대체적으로 자연스러운 정합이 이루어지기는 하지만, 특히 복수의 이미지들이 정합되는 경우(예컨대, 360도 영상을 생성하기 위한 경우)에는 정합 대상이 되는 이미지들이 모두 서로 영향을 미치기 때문에 전체적으로는 정합 품질 저하 현상이 심할 수 있다. On the other hand, when two images are matched using these feature points, natural matching is generally performed, but particularly when a plurality of images are matched (for example, to generate a 360-degree image), all of the images to be matched are matched. As they affect each other, the overall quality of registration degradation may be severe.
종래에는 이러한 정합 품질 정하를 해결하기 위해 수동으로 컨트롤 포인트를 추가하여 재정합 또는 캘리브레이션(calibration)을 수행하거나, 심 라인(seam line)을 변경하면서 수동으로 캘리브레이션을 수행하는 방식이 이용되었다.In the related art, a method of manually re-calibrating or calibrating by adding a control point or manually calibrating while changing a seam line has been used to solve the matching quality.
하지만 컨트롤 포인트를 추가하는 방식은 컨트롤 포인트에 기반하여 새로운 변환정보(변환행렬)를 생성하고 재정합을 수행하는 방식이므로, 새로운 변환정보를 통한 재정합시에는 기존에 정합이 잘 이루어진 부분이 어긋나게 되는 문제점이 있다.However, since the method of adding a control point is a method of generating new transformation information (transformation matrix) based on the control point and performing re-alignment, when re-aligning through the new transformation information, the well-matched part is misaligned. There is this.
또한 심 라인 조절을 통한 캘리브레이션의 경우 조절하는 심 라인 상에 정합성능을 개선하기 위한 영역이나 객체 외에 시각적으로 비중이 큰 다른 객체가 존재하는 경우 해당 다른 객체의 정합은 오히려 안 좋아지는 문제점이 있다. 또한 심 라인 조절을 통한 캘리브레이션은 주로 연상의 플랫(flat)한 영역 외에는 캘리브레이션을 수행하기 적절하지 않은 문제점이 있다. In addition, in the case of calibration through the adjustment of the seam line, if there are other objects with a high visual weight in addition to an area or an object for improving the matching performance on the seam line to be adjusted, there is a problem that the matching of the other objects is rather bad. In addition, the calibration through the seam line adjustment has a problem in that it is not appropriate to perform the calibration except mainly the flat area of the association.
본 발명이 이루고자 하는 기술적인 과제는 리져널 와핑을 통해 정합 이미지 전체 중 일부 영역만 전체 영역과는 별개로 와핑을 수행하여 해당 와핑 영역의 변환 에러를 매우 낮추면서도 자연스러운 정합이 이루어질 수 있도록 하는 방법 및 시스템을 제공하는 것이다. The technical problem to be achieved by the present invention is a method for performing a natural matching with very low conversion error of a corresponding warping region by performing a warping of only a partial region of the entire registration image separately from the entire region through regional warping, and It is to provide a system.
상기 기술적 과제를 달성하기 위한 본 발명의 실시 예에 따른 리져널 와핑을 이용한 이미지 정합 방법은 이미지 정합 시스템이 복수의 이미지들이 정합된 정합 이미지로부터 리져널 와핑을 수행할 와핑 영역을 특정하는 단계, 상기 이미지 정합 시스템이 특정된 상기 와핑 영역을 상기 정합 이미지로부터 분리하여, 분리된 와핑 영역 이미지를 소정의 방식으로 와핑하는 단계, 및 상기 이미지 정합 시스템이 와핑된 상기 와핑 영역 이미지를 상기 정합 이미지에 결합하는 단계를 포함한다.An image matching method using regional warping according to an embodiment of the present invention for achieving the above technical problem includes: an image matching system specifying a warping region to perform regional warping from a matched image in which a plurality of images are matched; Separating the warping region specified by the image registration system from the registration image, and warping the separated warping region image in a predetermined manner, and combining the warping region image warped by the image matching system to the registration image Steps.
상기 와핑 영역을 특정하는 단계는 상기 정합 이미지에서 정합 결과 에러가 존재하는 특징점 쌍을 특정하는 단계 및 특정된 특징점 쌍을 포함하며 특징점 쌍간의 거리에 비례하는 영역의 크기를 갖는 상기 와핑 영역을 특정하는 단계를 포함할 수 있다.The step of specifying the warping region may include specifying a feature point pair in which a matching result error exists in the registration image and a specified feature point pair, and specifying the warping region having a size of a region proportional to the distance between the feature point pairs. It may include steps.
상기 분리된 와핑 영역 이미지를 소정의 방식으로 와핑하는 단계는 상기 분리된 와핑 영역 이미지의 외곽에 미리 정해진 개수 이상의 고정점을 설정하는 단계, 설정된 상기 고정 점과 상기 특징점 쌍을 입력으로 하는 와핑 알고리즘을 통해 상기 분리된 와핑 영역 이미지를 와핑하는 단계를 포함할 수 있다.The step of warping the separated warping area image in a predetermined method includes setting a fixed number of fixed points or more on a periphery of the separated warping area image, and a warping algorithm using a pair of the fixed point and the feature point as inputs. And through the step of warping the separated warping region image.
상기 분리된 와핑 영역 이미지를 소정의 방식으로 와핑하는 단계는 상기 특징점 쌍의 중점을 기준으로 상기 와핑 영역 이미지를 제1부분 와핑 영역 이미지 및 제2부분 와핑 영역 이미지로 분리하는 단계, 및 상기 제1부분 와핑 영역 이미지 및 제2부분 와핑 영역 이미지를 각각 와핑한 후 와핑 결과를 결합하여 상기 와핑 영역 이미지의 와핑결과를 획득하는 단계를 포함할 수 있다.The step of warping the separated warping region image in a predetermined manner includes separating the warping region image into a first partial warping region image and a second partial warping region image based on the midpoint of the feature point pair, and the first. The method may include obtaining a warping result of the warping area image by combining the warping results after warping the partial warping area image and the second partial warping area image, respectively.
상기 제1부분 와핑 영역 이미지 및 제2부분 와핑 영역 이미지를 각각 와핑한 후 와핑 결과를 결합하여 상기 와핑 영역 이미지의 와핑결과를 획득하는 단계는 상기 제1부분 와핑 영역 이미지에 포함된 상기 특징점 쌍 중 상기 제1부분 와핑 영역 이미지에 포함된 제1특징점과 상기 중점을 입력으로 하는 와핑 알고리즘을 통해 상기 제1부분 와핑 영역 이미지를 와핑하는 단계 및 상기 제2부분 와핑 영역 이미지에 포함된 상기 특징점 쌍 중 상기 제2부분 와핑 영역 이미지에 포함된 제2특징점과 상기 중점을 입력으로 하는 상기 와핑 알고리즘을 통해 상기 제2부분 와핑 영역 이미지를 와핑하는 단계를 포함할 수 있다.The step of obtaining the warping result of the warping region image by combining the warping results after warping the first partial warping region image and the second partial warping region image respectively, among the feature point pairs included in the first partial warping region image Warping the first partial warping region image through a warping algorithm using the first feature point and the midpoint included in the first partial warping region image and the pair of feature points included in the second partial warping region image And warping the second partial warping region image through the warping algorithm using the second feature point and the midpoint included in the second partial warping region image as input.
상기 제1부분 와핑 영역 이미지의 와핑과 상기 제2부분 와핑 영역 이미지의 와핑은 반대 방향으로 이루어지는 것을 특징으로 할 수 있다. The warping of the first partial warping area image and the warping of the second partial warping area image may be performed in opposite directions.
상기 와핑 알고리즘은 박판 스플라인 와핑(thin plate spline warping) 알고리즘일 수 있다. The warping algorithm may be a thin plate spline warping algorithm.
상기의 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. The above method can be implemented by a computer program.
상기 기술적 과제를 해결하기 위한 리져널 와핑을 이용한 이미지 정합 시스템은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램이 기록된 저장매체를 포함하며, 상기 프로그램은 복수의 이미지들이 정합된 정합 이미지로부터 리져널 와핑을 수행할 와핑 영역을 특정하고, 특정된 상기 와핑 영역을 상기 정합 이미지로부터 분리하여, 분리된 와핑 영역 이미지를 소정의 방식으로 와핑하며, 와핑된 상기 와핑 영역 이미지를 상기 정합 이미지에 결합한다.An image matching system using a local warping for solving the technical problem includes a processor and a storage medium in which a program executed by the processor is recorded, and the program performs regional warping from a matched image in which a plurality of images are matched. The warping region to be performed is specified, the specified warping region is separated from the registration image, the separated warping region image is warped in a predetermined manner, and the warped region image is combined with the registration image.
상기 프로그램은 상기 정합 이미지에서 정합 결과 에러가 존재하는 특징점 쌍을 특정하고, 특정된 특징점 쌍을 포함하며 특징점 쌍간의 거리에 비례하는 영역의 크기를 갖는 상기 와핑 영역을 특정할 수 있다.The program may specify a pair of feature points in which a matching result error exists in the matched image, and may specify the warping region having a size of a region that includes the specified feature point pairs and is proportional to the distance between the feature point pairs.
상기 프로그램은 상기 분리된 와핑 영역 이미지의 외곽에 미리 정해진 개수 이상의 고정점을 설정하고, 설정된 상기 고정 점과 상기 특징점 쌍을 입력으로 하는 와핑 알고리즘을 통해 상기 분리된 와핑 영역 이미지를 와핑할 수 있다.The program may set a fixed number of fixed points or more on a periphery of the separated warping area image, and warp the separated warping area image through a warping algorithm using the set pair of fixed points and the feature points as inputs.
상기 프로그램은 상기 특징점 쌍의 중점을 기준으로 상기 와핑 영역 이미지를 제1부분 와핑 영역 이미지 및 제2부분 와핑 영역 이미지로 분리하며, 상기 제1부분 와핑 영역 이미지 및 제2부분 와핑 영역 이미지를 각각 와핑한 후 와핑 결과를 결합하여 상기 와핑 영역 이미지의 와핑결과를 획득할 수 있다.The program divides the warping region image into a first partial warping region image and a second partial warping region image based on the midpoint of the feature point pair, and warps the first partial warping region image and the second partial warping region image, respectively. After that, the warping results of the warping region image may be obtained by combining the warping results.
상기 프로그램은 상기 제1부분 와핑 영역 이미지에 포함된 상기 특징점 쌍 중 상기 제1부분 와핑 영역 이미지에 포함된 제1특징점과 상기 중점을 입력으로 하는 와핑 알고리즘을 통해 상기 제1부분 와핑 영역 이미지를 와핑하고, 상기 제2부분 와핑 영역 이미지에 포함된 상기 특징점 쌍 중 상기 제2부분 와핑 영역 이미지에 포함된 제2특징점과 상기 중점을 입력으로 하는 상기 와핑 알고리즘을 통해 상기 제2부분 와핑 영역 이미지를 와핑할 수 있다.The program warps the first partial warping region image through a warping algorithm that inputs the first feature point and the midpoint included in the first partial warping region image among the feature point pairs included in the first partial warping region image. And warping the second partial warping region image through the warping algorithm using the second feature point and the midpoint included in the second partial warping region image among the feature point pairs included in the second partial warping region image. can do.
종래의 영상 정합을 위한 각각의 영상의 변환은 하나의 변환식으로 이루어지기 때문에 변환식을 다시 연산하거나 수정하는 것으로는 정합 품질의 근본적인 개선이 어려운 반면, 본 발명의 기술적 사상에 의하면 정합 품질을 개선하고자 하는 일부 영역만 영상의 변환과는 독립적인 방식으로 변환 즉, 리져널 와핑을 수행함으로써 적어도 해당 일부 영역에 대해서는 종래의 방식에 비해 높은 정합품질을 획득할 수 있는 효과가 있다. Since the conversion of each image for the conventional image matching is made of one conversion formula, it is difficult to fundamentally improve the matching quality by recalculating or modifying the conversion formula, whereas according to the technical idea of the present invention, By converting only a partial region in a manner independent of the image transformation, that is, by performing regional warping, at least some of the regions have an effect of obtaining a higher matching quality than the conventional method.
특히 에러가 커서 정합이 잘 되지 않은 두 점간에 에러가 없거나 매우 낮아질 수 있도록 영상 전체의 변환과는 독립적인 리져널 와핑(로컬 와핑)을 수행함으로써 해당 영역에 대해서는 정합품질의 개선이 매우 높아질 수 있으며, 종래의 방식이 가지고 있던 문제점을 해결할 수 있는 효과가 있다.In particular, the improvement of the matching quality can be very high for the area by performing regional warping (local warping) independent of the entire image conversion so that there is no error or very low error between the two points with large errors. , There is an effect that can solve the problems of the conventional method.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 리져널 와핑을 이용한 이미지 정합 방법을 구현하기 위한 이미지 정합 시스템의 개략적인 구성을 나타낸다.
도 2는 본 발명의 일 실시 예에 따른 리져널 와핑을 이용한 이미지 정합 시스템의 논리적인 구성을 개략적으로 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 리져널 와핑을 이용한 이미지 정합 방법을 설명하기 위한 플로우 차트를 나타낸다.
도 4 내지 도 6은 본 발명의 실시 예에 따른 리져널 와핑을 이용한 이미지 정합 방법을 적용한 이미지들의 예를 나타내는 도면들이다. BRIEF DESCRIPTION OF THE DRAWINGS In order to better understand the drawings cited in the detailed description of the present invention, a brief description of each drawing is provided.
1 shows a schematic configuration of an image matching system for implementing an image matching method using regional warping according to an embodiment of the present invention.
2 schematically shows a logical configuration of an image matching system using regional warping according to an embodiment of the present invention.
3 is a flowchart illustrating an image matching method using regional warping according to an embodiment of the present invention.
4 to 6 are diagrams showing examples of images to which an image matching method using regional warping according to an embodiment of the present invention is applied.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the contents described in the accompanying drawings, which illustrate preferred embodiments of the present invention.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.In addition, in the present specification, when one component'transmits' data to another component, the component may directly transmit the data to the other component, or through at least one other component It means that the data may be transmitted to the other components. Conversely, when one component'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, the present invention will be described in detail by explaining preferred embodiments of the present invention with reference to the accompanying drawings. The same reference numerals in each drawing denote the same members.
도 1은 본 발명의 일 실시 예에 따른 리져널 와핑을 이용한 이미지 정합 방법을 구현하기 위한 이미지 정합 시스템의 개략적인 구성을 나타낸다. 또한, 도 2는 본 발명의 일 실시 예에 따른 리져널 와핑을 이용한 이미지 정합 시스템의 논리적인 구성을 개략적으로 나타낸다.1 shows a schematic configuration of an image matching system for implementing an image matching method using regional warping according to an embodiment of the present invention. In addition, FIG. 2 schematically shows a logical configuration of an image matching system using regional warping according to an embodiment of the present invention.
우선 도 1을 참조하면, 본 발명의 실시 예에 따른 리져널 와핑을 이용한 이미지 정합 시스템(100, 이하 '이미지 정합 시스템')은 소정의 데이터 처리장치로 구현될 수 있다. First, referring to FIG. 1, an image matching system using regional warping according to an embodiment of the present invention (hereinafter referred to as an'image matching system') may be implemented as a predetermined data processing apparatus.
상기 이미지 정합 시스템(100)은 도 1에 도시된 바와 같이 본 명세서에서 정의되는 기능을 구현하기 위한 프로세서(110) 및 저장매체(120)를 포함한다. 상기 프로세서(110)는 소정의 프로그램(소프트웨어 코드)을 실행할 수 있는 연산장치를 의미할 수 있으며 상기 데이터 처리장치의 구현 예 또는 벤더(Vendor) 모바일 프로세서, 마이크로 프로세서, CPU, 싱글 프로세서, 멀티 프로세서 등 다양한 명칭으로 명명될 수 있다. The
상기 저장매체(120)는 본 발명의 기술적 사상을 구현하기 위한 프로그램이 저장/설치되는 장치를 의미할 수 있다. 구현 예에 따라 상기 저장매체(120)는 복수의 서로 다른 물리적 장치로 분할되어 있을 수 있으며, 구현 예에 따라 상기 저장매체(120)의 일부는 상기 프로세서(110)의 내부에 존재할 수도 있다. 상기 저장매체(120)는 구현 예에 따라 하드 디스크, SSD(Solid State Disk), 광 디스크, RAM(Random Access Memory), 및/또는 기타 다양한 종류의 기억매체로 구현될 수 있으며, 필요에 따라서는 상기 이미지 정합 시스템(100)에 착탈식으로 구현될 수도 있다. The
상기 이미지 정합 시스템(100)은 예컨대, 모바일 단말기(예컨대, 모바일 폰, 노트북, 태블릿 등) 일 수 있지만 이에 국한되지는 않으며 상기 프로그램을 실행할 데이터 처리능력이 있는 어떠한 데이터 처리장치(예컨대, 컴퓨터, 서버 장치 등)로도 구현될 수 있다. The
또한, 상기 이미지 정합 시스템(100)은 상기 프로세서(110), 상기 저장매체(120), 및 상기 이미지 정합 시스템(100)에 구비되는 다양한 주변장치들(예컨대, 입출력장치, 디스플레이 장치, 오디오 장치 등, 141, 142)과 이러한 장치들을 연결하기 위한 통신 인터페이스(예컨대, 통신 버스, 130 등)가 구비될 수도 있음은 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.In addition, the
한편, 본 발명의 기술적 사상은 상기 저장매체(120)에 저장된 상기 프로그램과 상기 프로세서(110)가 유기적으로 결합되어 구현될 수 있으며, 이러한 상기 이미지 정합 시스템(100)이 실행하는 기능적인 구성단위는 도 2에 도시된 바와 같을 수 있다. Meanwhile, the technical idea of the present invention may be implemented by organically combining the program stored in the
즉, 상기 이미지 정합 시스템(100)은 제어모듈(210), 특징점 처리모듈(220), 기준 와핑모듈(230), 및 변환정보 연산모듈(240)을 포함할 수 있다. That is, the
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어(예컨대, 상기 프로세서(110) 및/또는 저장매체(120)) 및 상기 하드웨어를 구동하기 위한 소프트웨어(예컨대, 본 발명의 기술적 사상을 구현하기 위한 상기 프로그램)의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 각각의 구성들은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류나 특정 개수의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다. 따라서 상기 각각의 구성들은 본 명세서에서 정의되는 기능을 수행하는 하드웨어 및 소프트웨어의 결합을 의미하며 특정 물리적 구성을 의미하는 것은 아니다. In the present specification, the module means hardware for performing the technical idea of the present invention (eg, the
상기 제어모듈(210)은 상기 이미지 정합 시스템(100)에 포함되는 다른 구성(예컨대, 상기 특징점 처리모듈(120), 와핑모듈(230), 및/또는 변환정보 연산모듈(240) 등)의 기능 및/또는 리소스(resource)를 제어할 수 있다. The
일 예에 의하면, 상기 제어모듈(210)은 상기 이미지 정합 시스템(100)이 구현되는 데이터 처리장치(예컨대, 모바일 폰)에 설치되는 소정의 센서 또는 제어장치(예컨대, 프로세서 등)와 통신을 통해 본 발명의 기술적 사상을 구현하기 위한 신호 또는 정보를 송수신할 수도 있다.According to an example, the
예컨대, 상기 제어모듈(210)은 상기 데이터 처리장치(예컨대, 모바일 폰)로부터 정합대상이 되는 이미지들 각각이 촬영되는 사이에 수행되는 액션에 대한 정보(예컨대, 카메라 파라미터)를 수신할 수도 있다. 예컨대 상기 액션은 시야(위치 또는 방향)이 변경되는 액션일 수 있다. 또는 상기 액션은 예컨대, 이미지 촬영 시에 스케일(scale)이 변경되는 액션일 수 있으며 다양한 액션이 가능할 수 있다다. 이러한 액션에 대한 정보는 예컨대, 정합대상이 되는 이미지들 각각의 정합영역 또는 정합관계를 특정하는데 이용될 수 있다. For example, the
또한 상기 제어모듈(210)은 후술할 바와 같이 리져널 와핑(regional warping)또는 로컬 와핑(local warping)이 수행된 후의 와핑 이미지를 원래의 이미지에 결합시킬 수 있다. In addition, the
상기 제어모듈(210)은 와핑 이미지를 원래의 위치에 결합시킨 후, 와핑이 수행된 부분과 와핑이 수행되지 않은 부분, 즉, 와핑 영역의 경계선 인근의 부자연스러움을 완화하기 위한 소정의 인터폴레이션(interpolation)을 수행할 수도 있다. 이러한 인터폴레이션이 수행될 경우, 와핑 영역의 경계선 즉, 와핑된 이미지의 외곽선 인근 부분은, 와핑시에 상기 외곽에 고정점을 설정하여 와핑을 수행하였으므로, 상대적으로 약하게 왜곡되었으므로 보다 자연스러운 원본 이미지와 와핑된 이미지간의 결합이 가능해지는 효과가 있다. 자연스러움을 위한 인터폴레이션 기법은 널리 알려져 있으므로 본 명세서에서는 상세한 설명은 생략하도록 한다.The
상기 특징점 처리모듈(220)은 정합대상 이미지들 각각의 정합영역에 포함된 객체들의 특징점을 추출할 수 있다. The feature
상기 특징점을 추출하기 위한 방식은 다양할 수 있다. 예컨대, SIFT 알고리즘이 이용될 수도 있지만 이에 국한되지는 않으며, 밝기, 스케일, 및/또는 로테이션에 무관한 객체의 특유한 포인트 즉, 상기 특징점을 추출할 수 있기만 하면 어떠한 방식 또는 알고리즘이 이용될 수도 있다. The method for extracting the feature points may be various. For example, the SIFT algorithm may be used, but is not limited to, any method or algorithm may be used as long as it can extract the characteristic points of the object independent of brightness, scale, and/or rotation, that is, the feature points.
또한, 상기 특징점 추출모듈(220)은 정합대상 이미지들 각각의 정합영역으로부터 추출된 복수의 특징점들 중 서로 매칭되는 특징점을 판단할 수도 있다. 즉, 제1정합대상 이미지의 제1정합영역으로부터 추출된 제1특징점들 각각과 매칭되는, 제2정합대상 이미지의 제2정합영역으로부터 추출된 제2특징점들 중에서, 매칭점을 판단할 수 있다.In addition, the feature
일 예에 의하면 상기 특징점 추출모듈(220) 제1정합영역으로부터 복수의 제1특징점들을 추출할 수 있다. 그리고 상기 특징점 추출모듈(220)은 제2정합영역으로부터 복수의 제2특징점들을 추출하고, 추출된 제2특징점들 중 상기 제1특징점들 각각과 매치되는 특징점을 판단할 수 있다. According to an example, the feature
상기 제1정합영역 및/또는 제2정합영역은 제1정합대상 이미지 및/또는 제2정합대상 이미지 자체일 수도 있다. 구현 예에 따라 상기 제1정합영역 및/또는 제2정합영역은 정합대상 이미지의 일부일 수도 있다. 그러면 상기 특징점 추출모듈(220)은 정합대상 이미지들 각각의 정합영역으로부터 특징점을 추출하고 매칭되는 특징점들을 판단할 수 있다.The first registration region and/or the second registration region may be the first registration target image and/or the second registration target image itself. Depending on the implementation example, the first matching area and/or the second matching area may be part of the image to be matched. Then, the feature
또한 상기 특징점 처리모듈(220)은 와핑 영역을 특정하기 위한 컨트롤 포인트 쌍을 특정할 수 있다.In addition, the feature
상기 컨트롤 포인트 쌍은 서로 매칭되는 특징점들일 수 있다. 예컨대, 제1이미지에서의 특정 특징점 및 상기 제1이미지와 정합될 제2이미지에서 상기 특정 특징점과 매칭되어야 하는 특징점이 컨트롤 포인트 쌍일 수 있다.The pair of control points may be feature points that match each other. For example, a specific feature point in a first image and a feature point that must match the specific feature point in a second image to be matched with the first image may be a pair of control points.
이러한 컨트롤 포인트 쌍은 이상적으로는 정합 이미지 상에서 완전히 동일한 위치의 포인트가 되도록 변환이 되어야 하지만, 일정 수준 이상의 에러가 있어서 완전치 매칭되지 않은 상태일 수 있다.Ideally, these pairs of control points should be transformed to be points at exactly the same position on the registration image, but there may be more than a certain level of error, and thus may not be completely matched.
상기 컨트롤 포인트 쌍은 이미지 정합이 이루어진 후 일정 수준 이상의 에러가 있는 서로 매칭되는 특징점으로 자동으로 특정될 수 있다. 실시 예에 따라서는 소정의 영역 내에서 가장 큰 에러를 갖는 컨트롤 포인트 쌍이 자동으로 추출될 수도 있다. The pair of control points may be automatically identified as feature points matching each other having an error of a predetermined level or more after image matching is performed. Depending on the embodiment, a pair of control points having the largest error within a predetermined region may be automatically extracted.
상기 소정의 영역은 미리 설정된 기준(예컨대, 이미지 복잡도가 높은 영역 또는 특정 객체가 존재하는 영역 등)에 의해 자동으로 선택될 수도 있고, 사용자에 의해 임의로 선택될 수도 있다. 예컨대, 사용자는 정합품질을 높이고자 하는 관심영역을 선택하고, 선택한 관심영역 내에 존재하는 서로 매칭되는 특징점들 중 적어도 하나가 컨트롤 포인트 쌍으로 특정될 수도 있다.The predetermined area may be automatically selected by a preset criterion (eg, an area having high image complexity or an area in which a specific object exists), or may be arbitrarily selected by a user. For example, the user selects an area of interest to increase matching quality, and at least one of matching feature points existing in the selected area of interest may be specified as a pair of control points.
다양한 방식으로 컨트롤 포인트 쌍이 특정되면, 상기 와핑모듈(230)은 특정된 컨트롤 포인트 쌍에 기초하여 와핑 영역을 특정할 수 있다. When a pair of control points is specified in various ways, the
와핑 영역은 특정된 컨트롤 포인트 쌍에 의해 그 크기가 정해질 수 있다. 와핑할 영역의 크기에 따라 와핑에 수행된 후 전체적인 왜곡의 강도가 달라지기 때문에 컨트롤 포인트 쌍을 최소 크기로 포함하는 영역보다는 와핑 영역의 크기는 크게 설정되어야 할 수 있다. 즉, 와핑 영역의 크기를 너무 작게 설정하는 경우는 와핑 후에 와핑 영역과 주변영상과의 결합이 매우 부자연스러울 수 있다.The warping area can be sized by a specified pair of control points. The size of the warping area may need to be set larger than the area containing the pair of control points as a minimum size because the intensity of the overall distortion varies after performing the warping depending on the size of the area to be warped. That is, when the size of the warping region is set too small, the combination of the warping region and the surrounding image after warping may be very unnatural.
따라서 본 발명의 기술적 사상에 의하면, 와핑 영역은 컨트롤 포인트 쌍 간의 거리 즉, 와핑 디스턴스(warping distance)의 크기와 비례하도록 설정될 수 있다. 예컨대, 컨트롤 포인트 쌍을 잇는 선분의 x축 방향 성분을 미리 정해진 비율만큼 스케일링(scaling) 하고, y축 방향 성분을 미리 정해진 비율만큼 스케일링하여 와핑 영역을 특정할 수 있다. 물론, 와핑 영역을 특정하기 위해서 x축 및 y축 각각의 성분이 최소한의 크기를 가질 수 있는 조건이 더 부여될 수도 있다. 따라서 컨트롤 포인트 쌍을 잇는 선분의 x축 방향 성분 또는 y축 방향 성분이 아예 없거나 매우 작더라도 각 성분별로 어느 정도 길이를 갖도록 와핑 영역이 설정될 수 있다. 어떤 경우든 와핑 영역의 크기는 와핑 디스턴스의 크기에 비례하도록 다양하게 설정될 수 있다.Accordingly, according to the technical idea of the present invention, the warping area may be set to be proportional to the distance between pairs of control points, that is, the size of the warping distance. For example, a x-axis component of a line segment connecting a pair of control points may be scaled by a predetermined ratio, and a y-axis component may be scaled by a predetermined ratio to specify a warping region. Of course, in order to specify the warping region, a condition that each component of the x-axis and the y-axis may have a minimum size may be further provided. Therefore, even if the x-axis component or y-axis component of the line segment connecting the control point is none or very small, the warping region may be set to have a certain length for each component. In any case, the size of the warping region may be variously set to be proportional to the size of the warping distance.
이처럼 상기 와핑 영역이 특정되면, 상기 와핑모듈(230)은 와핑 영역을 원래의 정합 이미지에서 분리(예컨대, 크롭(crop))하여 정합 이미지에 포함된 영상들 각각의 변환과는 독립적으로 상기 와핑 영역에 대한 변환 즉, 와핑을 수행할 수 있다.When the warping region is specified as described above, the
와핑모듈(230)은 컨트롤 포인트 쌍에 포함된 어느 한 컨트롤 포인트를 다른 컨트롤 포인트로 이동시킬 수 있도록 와핑을 수행할 수 있다.The
이때 와핑 영역의 경계선이 와핑을 통해 왜곡되는 것을 방지하기 위해, 상기 와핑모듈(230)은 소정 개수의 고정점을 와핑 영역의 경계선에 설정하고, 이러한 고정점은 움직이지 않은 채 어느 하나의 컨트롤 포인트가 다른 컨트롤 포인트로 이동될 수 있도록 하는 와핑을 수행할 수 있다.At this time, in order to prevent the boundary line of the warping area from being distorted through warping, the
그러면 상기 와핑모듈(230)은 설정된 상기 고정 점과 상기 특징점 쌍 즉, 컨트롤 포인트 쌍을 입력으로 하는 소정의 와핑 알고리즘을 통해 상기 와핑 영역에 해당하는 이미지를 와핑할 수 있다.Then, the
일 예에 의하면, 상기 와핑모듈(230)은 박판 스플라인 와핑(Thin plate spline) 알고리즘을 이용해 와핑을 수행할 수 있다. 박판 스플라인 와핑 알고리즘은 평면상에서 주어진 좌표 값들을 모두 지나는 최소로 변형된 부드러운 곡면을 찾을 수 있다. 따라서 이러한 박판 스플라인 와핑 알고리즘을 통해 컨트롤 포인트 쌍 및 고정점들 각각의 좌표를 입력 값으로 하여 박판 스플라인 와핑 알고리즘을 수행함으로써 상기 와핑모듈(230)은 와핑 영역의 이미지를 와핑할 수 있다. According to an example, the
상기 와핑모듈(230)이 와핑을 수행하기 위해 사용하는 박판 스플라인 와핑 알고리즘은 예시적인 것이며, 이외에도 다양한 방식으로 컨트롤 포인트 쌍이 일치되도록 하면서도 와핑 영역의 경계선은 이동되지 않도록 하는 다양한 와핑 방식이 이용될 수 있음은 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.The thin-line spline warping algorithm used by the
한편, 전술한 바와 같이 상기 와핑모듈(230)은 단순히 컨트롤 포인트 쌍을 매칭시키기 위한 1회의 와핑을 수행할 수도 있지만. 실시 예에 따라서는 분할 와핑을 수행할 수도 있다. Meanwhile, as described above, the
즉, 에러 수치가 높은 컨트롤 포인트 쌍은 와핑 디스턴스가 높을 수밖에 없으며 리져널 와핑을 수행했을 때 한 쪽 영상이 단방향으로 와핑되면서 영상의 이미지가 많이 왜곡될 수 있다. 이러한 경우 에러는 0 또는 0에 가깝게 낮출 수 있지만 시각적으로 어색해 보일 수 있다. 영상의 지나친 왜곡을 방지하기 위해서는 와핑 디스턴스를 줄여야 하는데 이를 위해서 상기 와핑모듈(230)은 와핑을 분할해서 수행할 수 있다. That is, a pair of control points having a high error value must have a high warping distance, and when image warping is performed, one image is warped in one direction, and thus the image of the image may be distorted a lot. In this case, the error may be lowered to zero or close to zero, but it may appear visually awkward. In order to prevent excessive distortion of the image, the warping distance must be reduced. To this end, the
예컨대, 상기 와핑모듈(230)은 컨트롤 포인트 쌍의 중점(예컨대, 컨트롤 포인트 쌍을 잇는 선분의 중점)을 기준으로 영상을 분할(예컨대, 상기 컨트롤 포인트 쌍을 잇는 선분의 중점을 지나면서 상기 선분과 직교하는 직선을 통해)할 수 있다. For example, the
이렇게 분할한 영상 각각에 대해 와핑을 수행하는 경우 각각의 와핑시의 와핑 디스턴스는 반으로 줄 수 있다. When warping is performed for each of the divided images, the warping distance at the time of each warping may be halved.
예컨대, 컨트롤 포인트 쌍 각각을 해당하는 영상에서의 소스 포인트로 설정하고, 컨트롤 포인트 쌍의 중점을 데스티네이션 포인트로 설정한 후 분할된 영상들 각각에 대해 와핑을 수행할 수 있다. 이러한 경우 각각의 분할된 영상들은 서로 다른 방향으로 와핑이 수행되므로 영상 왜곡 역시 줄어들 수 있는 효과가 있다.For example, after setting each pair of control points as a source point in a corresponding image, and setting a center point of the control point pair as a destination point, warping may be performed on each of the divided images. In this case, since each segmented image is warped in different directions, image distortion may also be reduced.
물로 이때에도 전체 와핑 영역에 설정된 고정점들 중 해당하는 영역에 포함되는 고정점이 와핑 알고리즘에 같이 입력 값으로 입력되어 분할된 영상들 각각에 대한 리져널 와핑이 수행될 수도 있다. In this case, the fixed point included in the corresponding area among the fixed points set in the entire warping area may be input as an input value to the warping algorithm, and regional warping may be performed for each of the divided images.
또한 이러한 경우 와핑 알고리즘은 와핑 디스턴스가 늘어나면 수행 시간이 기하급수적으로 늘어나는 특성이 있기 때문에 와핑 디스턴스가 반으로 줄고 수행 횟수가 두 배로 늘어나는 것이 훨씬 효과적일 수 있으며, 와핑 디스턴스가 줄었기 때문에 각각의 영상의 왜곡 정도도 줄어든다. Also, in this case, since the warping algorithm has the characteristic that the execution time increases exponentially when the warping distance is increased, it can be more effective to reduce the warping distance in half and double the number of executions, and each video is reduced because the warping distance is reduced. The degree of distortion is also reduced.
물론, 분할된 영상들 각각에 대한 와핑이 수행된 후, 와핑이 수행된 부분 이미지들을 결합하여 전체 와핑 영역에 대한 와핑 이미지를 획득할 수 있다. Of course, after warping is performed for each of the divided images, the warping images for the entire warping area may be obtained by combining partial images on which warping is performed.
그러면 상기 제어모듈(210)은 획득한 와핑 이미지를 다시 정합 이미지에 결합시킬 수 있다. 이때 상기 제어모듈(210)은 와핑 영역의 경계선 인근 일정 영역에 대한 인터폴레이션을 수행함으로써 와핑 이미지와 그 외에 부분에 대한 자연스러운 결합이 이루어지도록 할 수 있다. Then, the
어느 하나의 컨트롤 포인트 쌍에 대해 리져널 와핑이 수행되고 정합 이미지에 리져널 와핑이 수행된 와핑 이미지가 결합되면, 다른 컨트롤 포인트 쌍에 대해 추가로 리져널 와핑이 수행될 수 있음은 물론이다.Of course, if the regional warping is performed on one pair of control points and the combined warping image is combined with the matched image, additional regional warping may be performed on another pair of control points.
한편, 변환정보 연산모듈(240)은 이미지 정합 시스템(100)에 입력된 복수의 이미지들에 대한 변환정보(예컨대, 변환행렬)을 연산할 수 있다. 연산된 변환정보에 기초하여 상기 제어모듈(210)은 정합 이미지를 생성할 수 있다.Meanwhile, the conversion
변환정보 연산모듈(240)이 각각의 영상들에 대한 변환정보를 연산하기 위해서는 기준 특징점들이 선택되어야 할 수 있다. 기준 특징점들은 특징점 처리모듈(220)에 의해 추출된 특징점들 중 변환정보를 연산하는 기준이 되는 특징점 쌍들일 수 있다. 일반적으로 3개의 특정점 쌍들이 기준 특징점들로 선택됨으로써 변환정보가 연산될 수 있다. The reference feature points may need to be selected in order for the conversion
변환정보 연산모듈(240)은 소정의 방식으로 기준 특징점들을 선택할 수 있다. 이러한 방식을 위한 일 예는 RANSAC(Random Sample Consensus) 알고리즘이 있다.The conversion
도 3은 본 발명의 일 실시 예에 따른 리져널 와핑을 이용한 이미지 정합 방법을 설명하기 위한 플로우 차트를 나타낸다.3 is a flowchart illustrating an image matching method using regional warping according to an embodiment of the present invention.
도 3을 참조하면, 상기 이미지 정합 시스템(100)이 정합대상이 되는 복수의 이미지들을 입력받으면 정합 이미지를 생성할 수 있다(S100), Referring to FIG. 3, when the
그러면 상기 이미지 정합 시스템(100)은 리져널 와핑이 수행될 와핑 영역을 특정할 수 있다(S110). Then, the
와핑 영역은 전술한 바와 같이 소정의 기준에 의해 상기 이미지 정합 시스템(100)이 자동으로 선택할 수도 있고(즉, 컨트롤 포인트 쌍을 자동으로 선택할 수도 있고), 사용자의 선택에 의해 특정될 수도 있다. The warping area may be automatically selected by the image registration system 100 (ie, a control point pair may be automatically selected) by a predetermined criterion as described above, or may be specified by user selection.
이를 위해 상기 이미지 정합 시스템(100)은 1차적으로 생성한 정합 이미지를 사용자에게 제공하고, 제공한 이미지에 기초하여 사용자의 관심영역을 선택받을 수도 있다. 즉, 사용자로부터 특별히 정합이 더 잘되기를 원하는 영역을 선택받을 수 도 있다. 그러면 선택받은 영역에서 컨트롤 포인트 쌍이 특정될 수 있다. 컨트롤 포인트 쌍이 특정되면 와핑 영역이 특정될 수 있다. 사용자의 관심 영역과 와핑 영역은 물론 서로 다를 수도 있다.To this end, the
와핑 영역이 특정되면 상기 이미지 정합 시스템(100)은 상술한 바와 같이 와핑 영역 이미지에 대해 리져널 와핑을 수행할 수 있다(S120). When the warping region is specified, the
그리고 수행된 와핑 이미지를 정합 이미지에 결합하여 어느 한 컨트롤 포인트 쌍에 상응하는 리져널 와핑 프로세스를 완료할 수 있다(S130).In addition, the combined warping image may be combined with the registration image to complete a regional warping process corresponding to a pair of control points (S130 ).
필요에 따라 이러한 리져널 와핑 프로세스는 복수 회 반복될 수 있음은 물론이다. Of course, the regional warping process may be repeated multiple times as necessary.
도 4 내지 도 6은 본 발명의 실시 예에 따른 리져널 와핑을 이용한 이미지 정합 방법을 적용한 일 예를 나타내는 도면들이다. 4 to 6 are diagrams illustrating an example of applying an image matching method using regional warping according to an embodiment of the present invention.
우선 도 4a는 소정의 이미지에서 컨트롤 포인트 쌍(10 및 11)과 이때의 와핑 영역(예컨대, 녹색 사각형 내의 영역)을 예시적으로 도시하고 있고, 도 4b는 상기 이미지에서 다른 컨트롤 포인트 쌍(12 및 13)과 이에 상응하는 와핑 영역(예컨대, 녹색 사각형 내의 영역)을 예시적으로 나타내고 있다. First, FIG. 4A exemplarily shows a pair of control points 10 and 11 in a given image and a warping area (eg, an area within a green square) in the image, and FIG. 4B shows another pair of control points 12 and 12 in the image. 13) and a corresponding warping region (eg, an area within a green square) are exemplarily shown.
도 4a 및 도 4b에 도시된 바와 같이 컨트롤 포인트 쌍의 거리에 따라 와핑 영역의 크기가 비례하도록 설정될 수 있음을 알 수 있다. 4A and 4B, it can be seen that the size of the warping region may be set to be proportional to the distance of the pair of control points.
이렇게 와핑 영역이 컨트롤 포인트 쌍에 상응하도록 특정되면, 와핑 영역은 정합 이미지에서 분리될 수 있다. 그러면 도 4c에 도시된 바와 같이 와핑 영역 이미지가 획득될 수 있다. If the warping region is thus specified to correspond to a pair of control points, the warping region can be separated from the registration image. Then, as shown in FIG. 4C, a warping region image may be obtained.
와핑 영역 이미지가 획득되면, 전술한 바와 같이 이미지 정합 시스템(100)은 와핑 영역의 경계선(또는 와핑 영역 이미지의 외관선)에 소정 개수의 고정점을 설정할 수 있다. When the warping area image is obtained, as described above, the
도 5a는 와핑 영역의 경계선 마다 각각 5개씩의 고정점(예컨대, 녹색점) 설정된 경우를 나타내고, 도 5b는 꼭지점 4개에만 고정점(예컨대, 녹색점)이 설정된 경우를 도시하고 있다. 5A shows a case where five fixed points (for example, green points) are set for each boundary line of the warping area, and FIG. 5B shows a case where fixed points (for example, green points) are set for only four vertices.
그리고 이러한 고정점들과 붉은색 점을 소스 포인트, 파란색 점을 데스티네이션 포인트로 하여 와핑을 수행한 결과가 각각 도 5a 및 도 5b의 우측에 도시된다. And the results of warping using these fixed points and the red point as the source point and the blue point as the destination point are shown on the right side of FIGS. 5A and 5B, respectively.
도 5b에는 고정점의 개수가 충분하지 못하여 와핑 영역 이미지의 경계선까지 이동이 수행된 경우임을 알 수 있다. 고정점의 개수가 너무 많으면 와핑 효율이 낮아질 수 있고, 고정점의 개수가 적으면 도 5b에 도시된 바와 같이 경계선이 이동될 수 있으므로 적절한 고정점의 개수의 설정이 필요하다. 이러한 고정점 개수의 설정은 실험을 통해 선택될 수도 있고, 와핑을 반복적으로 수행하면서 최적의 고정점 개수를 산출할 수도 있으며 다양한 실시 예가 가능할 수 있다.It can be seen from FIG. 5B that the number of fixed points is not sufficient, and thus the movement to the boundary of the warping region image is performed. If the number of fixed points is too large, the warping efficiency may be lowered, and if the number of fixed points is small, a boundary line may be moved as shown in FIG. 5B, so it is necessary to set the number of appropriate fixed points. The setting of the number of fixed points may be selected through an experiment, the number of optimal fixed points may be calculated while repeatedly performing warping, and various embodiments may be possible.
또한 이처럼 고정점을 설정함으로써, 소스 포인트와 데스티네이션 포인트 근처에서는 와핑의 강도가 강하고 거리가 멀어질 수 있도록 와핑 강도가 약해질 수 있도록 함으로써, 와핑된 와핑 영역 이미지가 자연스럽게 원본 영상 즉, 정합 이미지에 결합될 수 있도록 하는 효과도 있다.Also, by setting the fixed point, the warping intensity is weakened so that the intensity of warping is strong and the distance is far away from the source point and the destination point, so that the warped warping area image is naturally applied to the original image, that is, the registration image. It also has the effect of allowing it to be combined.
도 6a는 좌측의 사각형 내의 이미지에 대해 멀리 있는 물체를 기준으로 종래의 컨트롤 포인트를 수동으로 추가하는 방식을 수행했을 때의 캘리브레이션을 수행한 결과(우측 이미지)를 나타내고 있다. 이러한 경우 가까운 영역(우측의 원안)에서 정합품질이 낮아지는 문제점이 있을 수 있음을 알 수 있다.FIG. 6A shows a result (right image) of calibration when a method of manually adding a conventional control point based on a distant object with respect to the image in the left square is performed. In this case, it can be seen that there may be a problem in that the matching quality is lowered in the close region (the original circle on the right).
도 6b는 좌측의 사각형 내의 이미지에 대해 가까이 있는 부분을 기준으로 종래의 심 라인(seam) 조절 방식으로 캘리브레이션을 수행한 결과(우측 이미지)를 나타내고 있다. 이러한 경우 먼 영역(우측의 원안)에서 정합품질이 낮아지는 문제점이 있을 수 있음을 알 수 있다.FIG. 6B shows the result (right image) of the calibration performed by the conventional seam adjustment method based on the portion close to the image in the left square. In this case, it can be seen that there may be a problem that the matching quality is lowered in a distant area (the original circle on the right).
그리고 도 6c는 본 발명의 기술적 사상에 따른 리져널 와핑을 이용한 이미지 정합 방법을 이용하여 캘리브레이션을 수행한 결과를 나타내는데, 도 6a 및 도 6b에서 정합품질이 낮아진 영역들 각각이 상대적으로 우수한 정합품질을 가질 수 있음을 알 수 있다. And Figure 6c shows the results of performing the calibration using the image matching method using the regional warping according to the technical idea of the present invention, each of the areas in which the matching quality is lowered in Figures 6a and 6b is relatively excellent matching quality You can see that you can have.
결국 본 발명의 기술적 사상에 의하면, 정합 대상이 되는 이미지들 각각의 변환과는 독립적으로 특정한 영역에 대해 집중적인 캘리브레이션이 수행될 수 있도록 함으로써, 어느 한 영역의 정합품질을 높이기 위해 타 영역 즉, 상대적으로 정합품질이 양호했던 영역의 정합품질이 저하되는 문제점을 증대시킬 수 있다. After all, according to the technical idea of the present invention, by allowing intensive calibration to be performed on a specific area independently of transformation of each of the images to be matched, other areas, that is, relative to increase the matching quality of one area As a result, it is possible to increase the problem that the matching quality of the region where the matching quality is good is lowered.
본 발명의 실시 예에 따른 리져널 와핑을 이용한 이미지 정합 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The image matching method using regional warping according to an embodiment of the present invention can be implemented as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, hard disks, floppy disks, and optical data storage devices. In addition, the computer-readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention pertains.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.The present invention has been described with reference to one embodiment shown in the drawings, but this is merely exemplary, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.
Claims (14)
상기 이미지 정합 시스템이 특정된 상기 와핑 영역을 상기 정합 이미지로부터 분리하여, 분리된 와핑 영역 이미지를 소정의 방식으로 와핑하는 단계; 및
상기 이미지 정합 시스템이 와핑된 상기 와핑 영역 이미지를 상기 정합 이미지에 결합하는 단계를 포함하는 리져널 와핑을 이용한 이미지 정합 방법.
Specifying, by the image matching system, a warping area to perform regional warping from a matched image in which a plurality of images are matched;
Separating the warping region specified by the image registration system from the registration image, and warping the separated warping region image in a predetermined manner; And
And combining the warped region image in which the image matching system has been warped into the matched image.
상기 정합 이미지에서 정합 결과 에러가 존재하는 특징점 쌍을 특정하는 단계; 및
특정된 특징점 쌍을 포함하며 특징점 쌍간의 거리에 비례하는 영역의 크기를 갖는 상기 와핑 영역을 특정하는 단계를 포함하는 리져널 와핑을 이용한 이미지 정합 방법.
According to claim 1, The step of specifying the warping region,
Specifying a pair of feature points in which a matching result error exists in the matching image; And
And specifying the warping region having a size of an area proportional to the distance between the feature point pairs.
상기 분리된 와핑 영역 이미지의 외곽에 미리 정해진 개수 이상의 고정점을 설정하는 단계;
설정된 상기 고정 점과 상기 특징점 쌍을 입력으로 하는 와핑 알고리즘을 통해 상기 분리된 와핑 영역 이미지를 와핑하는 단계를 포함하는 리져널 와핑을 이용한 이미지 정합 방법.
The method of claim 2, wherein the step of warping the separated warping region image in a predetermined manner,
Setting a fixed number of fixed points or more on a periphery of the separated warping region image;
And warping the separated warping area image through a set of warping algorithms using the fixed point and the feature point pair as inputs.
상기 특징점 쌍의 중점을 기준으로 상기 와핑 영역 이미지를 제1부분 와핑 영역 이미지 및 제2부분 와핑 영역 이미지로 분리하는 단계; 및
상기 제1부분 와핑 영역 이미지 및 제2부분 와핑 영역 이미지를 각각 와핑한 후 와핑 결과를 결합하여 상기 와핑 영역 이미지의 와핑결과를 획득하는 단계를 포함하는 리져널 와핑을 이용한 이미지 정합 방법.
The method of claim 2, wherein the step of warping the separated warping region image in a predetermined manner,
Separating the warping region image into a first partial warping region image and a second partial warping region image based on the midpoint of the feature point pair; And
And warping the first partial warping region image and the second partial warping region image, respectively, and combining warping results to obtain warping results of the warping region image.
상기 제1부분 와핑 영역 이미지에 포함된 상기 특징점 쌍 중 상기 제1부분 와핑 영역 이미지에 포함된 제1특징점과 상기 중점을 입력으로 하는 와핑 알고리즘을 통해 상기 제1부분 와핑 영역 이미지를 와핑하는 단계; 및
상기 제2부분 와핑 영역 이미지에 포함된 상기 특징점 쌍 중 상기 제2부분 와핑 영역 이미지에 포함된 제2특징점과 상기 중점을 입력으로 하는 상기 와핑 알고리즘을 통해 상기 제2부분 와핑 영역 이미지를 와핑하는 단계를 포함하는 리져널 와핑을 이용한 이미지 정합 방법.
The method of claim 4, wherein obtaining the warping result of the warping region image by combining the warping results after warping the first partial warping region image and the second partial warping region image, respectively,
Warping the first partial warping region image through a warping algorithm using the first feature point and the midpoint included in the first partial warping region image among pairs of the feature points included in the first partial warping region image; And
Warping the second partial warping region image through the warping algorithm using the second feature point and the midpoint included in the second partial warping region image among the pair of feature points included in the second partial warping region image. Image registration method using the regional warping including a.
The method of claim 5, wherein the warping of the first partial warping region image and the second partial warping region image are performed in opposite directions.
상기 이미지 정합 시스템이 와핑된 상기 와핑 영역 이미지의 외곽선을 기준으로 미리 정해진 영역을 인터폴레이션하는 단계를 포함하는 리져널 와핑을 이용한 이미지 정합 방법.
The method of claim 1, wherein the image matching system combines the warped region images warped with the matched images,
And interpolating a predetermined region based on an outline of the warped region image in which the image matching system is warped.
박판 스플라인 와핑(thin plate spline warping) 알고리즘인 것을 특징으로 하는 리져널 와핑을 이용한 이미지 정합 방법.
The method of claim 3, wherein the warping algorithm,
Image matching method using regional warping, characterized in that it is a thin plate spline warping (thin plate spline warping) algorithm.
A computer program installed in a data processing apparatus and stored in a computer-readable recording medium for performing the method according to any one of claims 1 to 8.
상기 프로세서에 의해 실행되는 프로그램이 기록된 저장매체를 포함하며,
상기 프로그램은,
복수의 이미지들이 정합된 정합 이미지로부터 리져널 와핑을 수행할 와핑 영역을 특정하고, 특정된 상기 와핑 영역을 상기 정합 이미지로부터 분리하여, 분리된 와핑 영역 이미지를 소정의 방식으로 와핑하며, 와핑된 상기 와핑 영역 이미지를 상기 정합 이미지에 결합하는 리져널 와핑을 이용한 이미지 정합 시스템.
Processor; And
It includes a storage medium in which the program executed by the processor is recorded,
The above program,
Specifying a warping area to perform regional warping from a matched matched image of a plurality of images, separating the specified warping area from the matched image, warping the separated warping area image in a predetermined manner, and warping the An image registration system using regional warping that combines a warping region image with the registration image.
상기 정합 이미지에서 정합 결과 에러가 존재하는 특징점 쌍을 특정하고, 특정된 특징점 쌍을 포함하며 특징점 쌍간의 거리에 비례하는 영역의 크기를 갖는 상기 와핑 영역을 특정하는 리져널 와핑을 이용한 이미지 정합 시스템.
The method of claim 10, wherein the program,
An image matching system using regional warping which specifies a pair of feature points in which a matching result error exists in the matched image, and includes the specified feature point pairs and specifies the warping region having a size of a region proportional to the distance between the feature point pairs.
상기 분리된 와핑 영역 이미지의 외곽에 미리 정해진 개수 이상의 고정점을 설정하고, 설정된 상기 고정 점과 상기 특징점 쌍을 입력으로 하는 와핑 알고리즘을 통해 상기 분리된 와핑 영역 이미지를 와핑하는 리져널 와핑을 이용한 이미지 정합 시스템.
The method of claim 11, wherein the program,
An image using regional warping that sets a fixed number of fixed points or more on an outer periphery of the separated warping area image, and warps the separated warping area image through a warping algorithm using the set pair of fixed points and the feature points as input. Matching system.
상기 특징점 쌍의 중점을 기준으로 상기 와핑 영역 이미지를 제1부분 와핑 영역 이미지 및 제2부분 와핑 영역 이미지로 분리하며, 상기 제1부분 와핑 영역 이미지 및 제2부분 와핑 영역 이미지를 각각 와핑한 후 와핑 결과를 결합하여 상기 와핑 영역 이미지의 와핑결과를 획득하는 리져널 와핑을 이용한 이미지 정합 시스템.
The method of claim 11, wherein the program,
The warping region image is divided into a first partial warping region image and a second partial warping region image based on the midpoint of the feature point pair, and the warping is performed after warping the first partial warping region image and the second partial warping region image, respectively. An image matching system using regional warping that combines results to obtain a warping result of the warping region image.
상기 제1부분 와핑 영역 이미지에 포함된 상기 특징점 쌍 중 상기 제1부분 와핑 영역 이미지에 포함된 제1특징점과 상기 중점을 입력으로 하는 와핑 알고리즘을 통해 상기 제1부분 와핑 영역 이미지를 와핑하고,
상기 제2부분 와핑 영역 이미지에 포함된 상기 특징점 쌍 중 상기 제2부분 와핑 영역 이미지에 포함된 제2특징점과 상기 중점을 입력으로 하는 상기 와핑 알고리즘을 통해 상기 제2부분 와핑 영역 이미지를 와핑하는 리져널 와핑을 이용한 이미지 정합 시스템.
The method of claim 13, wherein the program,
Warping the first partial warping region image through a warping algorithm using the first feature point and the midpoint included in the first partial warping region image among the feature point pairs included in the first partial warping region image,
Among the pair of feature points included in the second partial warping region image, the second feature warping region image included in the second partial warping region image and the midpoint are input to warp the second partial warping region image. Image matching system using journal warping.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180149358A KR102195279B1 (en) | 2018-11-28 | 2018-11-28 | Method and system for image registering using regional warping |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180149358A KR102195279B1 (en) | 2018-11-28 | 2018-11-28 | Method and system for image registering using regional warping |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200064222A true KR20200064222A (en) | 2020-06-08 |
KR102195279B1 KR102195279B1 (en) | 2020-12-29 |
Family
ID=71089838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180149358A KR102195279B1 (en) | 2018-11-28 | 2018-11-28 | Method and system for image registering using regional warping |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102195279B1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050056175A (en) * | 2005-05-24 | 2005-06-14 | 곽노윤 | Semi-automatic field based image metamorphosis using recursive control-line matching |
KR20110131949A (en) * | 2010-06-01 | 2011-12-07 | 삼성전자주식회사 | Image processing apparatus and method |
KR20130054868A (en) * | 2011-11-17 | 2013-05-27 | 한국전자통신연구원 | Geometric correction apparatus and method based on recursive bezier patch sub-division |
KR101697229B1 (en) | 2015-08-27 | 2017-01-18 | ㈜베이다스 | Automatic calibration apparatus based on lane information for the vehicle image registration and the method thereof |
KR20170109465A (en) * | 2016-03-21 | 2017-09-29 | 한국전자통신연구원 | Apparatus for reconstructing image and method using the same |
KR20180022539A (en) * | 2016-08-24 | 2018-03-06 | 한국전자통신연구원 | Method and apparatus of stitching for minimizing parallax using control points in overlapping region |
-
2018
- 2018-11-28 KR KR1020180149358A patent/KR102195279B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050056175A (en) * | 2005-05-24 | 2005-06-14 | 곽노윤 | Semi-automatic field based image metamorphosis using recursive control-line matching |
KR20110131949A (en) * | 2010-06-01 | 2011-12-07 | 삼성전자주식회사 | Image processing apparatus and method |
KR20130054868A (en) * | 2011-11-17 | 2013-05-27 | 한국전자통신연구원 | Geometric correction apparatus and method based on recursive bezier patch sub-division |
KR101697229B1 (en) | 2015-08-27 | 2017-01-18 | ㈜베이다스 | Automatic calibration apparatus based on lane information for the vehicle image registration and the method thereof |
KR20170109465A (en) * | 2016-03-21 | 2017-09-29 | 한국전자통신연구원 | Apparatus for reconstructing image and method using the same |
KR20180022539A (en) * | 2016-08-24 | 2018-03-06 | 한국전자통신연구원 | Method and apparatus of stitching for minimizing parallax using control points in overlapping region |
Also Published As
Publication number | Publication date |
---|---|
KR102195279B1 (en) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021227360A1 (en) | Interactive video projection method and apparatus, device, and storage medium | |
US9454796B2 (en) | Aligning ground based images and aerial imagery | |
US9984445B2 (en) | Tone mapping | |
US11055826B2 (en) | Method and apparatus for image processing | |
US20180262744A1 (en) | Systems, methods and apparatuses for stereo vision | |
JP5829107B2 (en) | Image processing apparatus, image processing method, and program | |
US11790584B2 (en) | Image and text typesetting method and related apparatus thereof | |
WO2020048484A1 (en) | Super-resolution image reconstruction method and apparatus, and terminal and storage medium | |
US20160300323A1 (en) | Image generating apparatus, image generating method, and program | |
US20180144488A1 (en) | Electronic apparatus and method for processing image thereof | |
US20220086382A1 (en) | Method controlling image sensor parameters | |
AU2018211310A1 (en) | Local color range selection | |
WO2022267939A1 (en) | Image processing method and apparatus, and computer-readable storage medium | |
US20210407113A1 (en) | Information processing apparatus and information processing method | |
KR102196749B1 (en) | Method and system for image registering using weighted feature point | |
US10123052B2 (en) | Elimination of artifacts from lossy encoding of digital images by color channel expansion | |
US10891761B2 (en) | Adaptive three-dimensional space generation method and system | |
KR20200064222A (en) | Method and system for image registering using regional warping | |
JP6039778B2 (en) | Image processing apparatus, image processing method, and program | |
AU2017204848A1 (en) | Projecting rectified images on a surface using uncalibrated devices | |
KR20210133472A (en) | Method of merging images and data processing device performing the same | |
US20220101488A1 (en) | Image Processing Method and Device Therefor | |
CN112862907A (en) | Microscopic image correction method, device, equipment, storage medium and product | |
US20210374903A1 (en) | Method and system for image registration using regional warping | |
JP2002260003A (en) | Video display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |