KR101849605B1 - Image matching method and image matching device - Google Patents
Image matching method and image matching device Download PDFInfo
- Publication number
- KR101849605B1 KR101849605B1 KR1020160182008A KR20160182008A KR101849605B1 KR 101849605 B1 KR101849605 B1 KR 101849605B1 KR 1020160182008 A KR1020160182008 A KR 1020160182008A KR 20160182008 A KR20160182008 A KR 20160182008A KR 101849605 B1 KR101849605 B1 KR 101849605B1
- Authority
- KR
- South Korea
- Prior art keywords
- sift
- histogram information
- moment
- value
- average
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000006467 substitution reaction Methods 0.000 claims description 38
- 230000002093 peripheral effect Effects 0.000 claims description 37
- 230000002631 hypothermal effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 영상 매칭 방법 및 영상 매칭 장치에 관한 것이다.The present invention relates to an image matching method and an image matching apparatus.
컴퓨터 비전(computer vision) 분야에서, 대응점 찾기(correspondence)는 다양한 어플리케이션에 있어서 메인 이슈 중 하나이다. 특히, 2D 이미지에서의 대응점 찾기는 오랜 시간 동안 연구되어 왔다. 대응점 찾기는 이미지 스티칭(image stitching), 정렬(alignment), 인식(recognition), 스테레오 매칭(stereo matching), 및 옵티컬 플로우(optical flow) 등에서 이용된다.In the field of computer vision, correspondence is one of the main issues in various applications. In particular, finding matching points in 2D images has been studied for a long time. Finding correspondence points is used in image stitching, alignment, recognition, stereo matching, and optical flow.
대응점 찾기의 가장 쉬운 레벨은 동일한 장면에 대한 다른 시점 영상에 대한 것이다. 이러한 경우, 종래의 옵티컬 플로우 알고리즘은 잘 작동한다. 하지만 조도(illumination)의 변화, 회전 변화, 또는 다른 장면에 이용되는 경우, 이러한 종래의 알고리즘은 제대로 작동하지 못하는 문제점이 있다.The easiest level of finding matching points is for different viewpoint images for the same scene. In this case, the conventional optical flow algorithm works well. However, when used for illumination changes, rotation changes, or other scenes, these conventional algorithms do not work well.
이러한 문제점을 해결하기 위해서 Ce Liu는 SIFT 플로우(Scale Invariant Feature Transform flow) 알고리즘을 2011년에 개발하였다(비특허문헌 1 참조). SIFT 플로우는 SIFT 기술자(SIFT descriptor)에 기초하여 다른 장면 간의 밀집 대응(dense correspondence)을 구할 수 있도록 설계됨으로써, 조도 변화에 강인한 특징이 있다. 하지만 SIFT 플로우 알고리즘은 영상의 회전에는 취약한 문제점이 있다.To solve this problem, Ce Liu developed the SIFT flow (Scale Invariant Feature Transform flow) algorithm in 2011 (see Non-Patent Document 1). The SIFT flow is designed to be able to obtain dense correspondence between different scenes on the basis of the SIFT descriptor, thereby being robust to variations in illumination. However, the SIFT flow algorithm is vulnerable to the rotation of the image.
해결하고자 하는 기술적 과제는 매칭 대상 영상이 회전되어 있더라도 효과적으로 영상 매칭이 가능한 영상 매칭 방법 및 영상 매칭 장치를 제공하는 데 있다.A technical problem to be solved is to provide an image matching method and an image matching apparatus which can effectively perform image matching even if a matching object image is rotated.
본 발명의 한 실시예에 따른 영상 매칭 방법은 SIFT 알고리즘(SIFT algorithm)을 이용하여, 제1 영상의 각 픽셀에 대한 제1 SIFT 기술자 및 제2 영상의 각 픽셀에 대한 제2 SIFT 기술자를 생성하는 SIFT 기술자(SIFT descriptor) 생성 단계; 휴 모멘트 알고리즘(Hu Moments algorithm)을 이용하여, 상기 제1 SIFT 기술자에 대한 제1 SIFT 모멘트 및 상기 제2 SIFT 기술자에 대한 제2 SIFT 모멘트를 생성하는 SIFT 모멘트(SIFT moment) 생성 단계; 및 상기 제1 SIFT 기술자 및 상기 제2 SIFT 기술자의 차이 및 상기 제1 SIFT 모멘트 및 상기 제2 SIFT 모멘트의 차이에 대응하는 비용 값이 최소 값이 되도록 상기 제1 영상의 각 픽셀과 상기 제2 영상의 각 픽셀을 매칭하는 매칭 단계를 포함한다.An image matching method according to an exemplary embodiment of the present invention generates a first SIFT descriptor for each pixel of the first image and a second SIFT descriptor for each pixel of the second image using a SIFT algorithm Generating a SIFT descriptor; Generating a SIFT moment for generating a first SIFT moment for the first SIFT descriptor and a second SIFT moment for the second SIFT descriptor using a Huoments algorithm; And calculating a difference between the first SIFT descriptor and the second SIFT descriptor and a cost value corresponding to a difference between the first SIFT moment and the second SIFT moment to a minimum value, And a matching step of matching each pixel of each pixel.
상기 제1 SIFT 기술자 및 상기 제2 SIFT 기술자는 각각 대상 픽셀의 복수의 주변 영역에 대한 복수의 그래디언트 히스토그램(gradient histogram) 정보를 포함하고, 상기 SIFT 모멘트 생성 단계에서, 상기 복수의 그래디언트 히스토그램 정보를 이용하여 생성된 상기 대상 픽셀에 대한 평균 히스토그램(average histogram) 정보, 편차 히스토그램(deviation histogram) 정보, 직교 그룹 차 평균 히스토그램(orthogonal group difference average histogram) 정보, 및 대치 그룹 차 평균 히스토그램(counter group difference average histogram) 정보를 이용하여 상기 제1 SIFT 모멘트 및 상기 제2 SIFT 모멘트를 생성할 수 있다.Wherein the first SIFT descriptor and the second SIFT descriptor each include a plurality of gradient histogram information for a plurality of peripheral regions of a target pixel, and in the SIFT moment generating step, the plurality of gradient histogram information is used The average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the counter group difference average histogram, ) Information to generate the first SIFT moment and the second SIFT moment.
상기 SIFT 모멘트 생성 단계에서, 상기 평균 히스토그램 정보, 상기 편차 히스토그램 정보, 상기 직교 그룹 차 평균 히스토그램 정보, 및 상기 대치 그룹 차 평균 히스토그램 정보는 각각 N 개 배향에 대한 N 차원의 값을 갖고, 상기 N은 자연수일 수 있다.In the SIFT moment generation step, the average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the substitution group difference mean histogram information each have an N-dimensional value for N orientations, It can be a natural number.
상기 SIFT 모멘트 생성 단계에서, 상기 휴 모멘트 알고리즘의 픽셀 좌표 입력 값은 상기 N 개 배향에 대한 좌표 값으로 설정되고, 상기 휴 모멘트 알고리즘의 픽셀 강도 입력 값은 상기 N 차원에 대한 누적 값으로 설정될 수 있다.In the SIFT moment generation step, a pixel coordinate input value of the huma moment algorithm is set as a coordinate value for the N orientations, and a pixel intensity input value of the huma moment algorithm is set as an accumulated value for the N dimension have.
상기 SIFT 모멘트 생성 단계에서, 상기 평균 히스토그램 정보, 상기 편차 히스토그램 정보, 상기 직교 그룹 차 평균 히스토그램 정보, 및 상기 대치 그룹 차 평균 히스토그램 정보로부터 각각 M 개의 휴 모멘트 값이 도출되고, 상기 제1 SIFT 모멘트 및 상기 제2 SIFT 모멘트는 각각 상기 휴 모멘트 값을 포함하는 4M 차원의 값을 갖고, 상기 M은 자연수일 수 있다.In the SIFT moment generation step, M hugh moment values are respectively derived from the average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the substitution group difference average histogram information, and the first SIFT moment and The second SIFT moments may each have a 4M dimension value including the huma moment value, and the M may be a natural number.
상기 평균 히스토그램 정보는 상기 복수의 그래디언트 히스토그램 정보 각각의 N 개 배향에 대한 N 차원의 값의 평균 값일 수 있다.The average histogram information may be an average value of N-dimensional values for N orientations of each of the plurality of gradient histogram information.
상기 평균 히스토그램 정보는 상기 대상 픽셀에 인접한 주변 영역에 대한 그래디언트 히스토그램 정보일수록 높은 가중치가 부여될 수 있다.The average histogram information may be given a higher weight as the gradient histogram information for the neighboring region adjacent to the target pixel.
상기 편차 히스토그램 정보는 상기 복수의 그래디언트 히스토그램 정보 각각의 N 개 배향에 대한 N 차원의 값의 편차 값일 수 있다.The deviation histogram information may be a deviation value of an N-dimensional value for N orientations of each of the plurality of gradient histogram information.
상기 편차 히스토그램 정보는 상기 대상 픽셀에 인접한 영역에 대한 그래디언트 히스토그램 정보일수록 높은 가중치가 부여될 수 있다.The deviation histogram information may be given a higher weight as the gradient histogram information for the region adjacent to the target pixel.
상기 직교 그룹 차 평균 히스토그램 정보는 직교 그룹을 이루는 3 개의 주변 영역의 그래디언트 히스토그램 정보의 차이 값에 대해서, 복수의 직교 그룹에 대한 평균 값일 수 있다.The orthogonal group difference average histogram information may be an average value of a plurality of orthogonal groups with respect to a difference value of gradient histogram information of three neighboring regions forming an orthogonal group.
상기 직교 그룹 차 평균 히스토그램 정보는 상기 직교 그룹을 이루는 3 개의 주변 영역 중 이등변 삼각형의 꼭지각에 해당하는 주변 영역에 대해 가장 높은 가중치가 부여될 수 있다.The orthogonal group difference average histogram information may be given the highest weight value for the peripheral region corresponding to the apex angle of the isosceles triangle among the three surrounding regions constituting the orthogonal group.
상기 대치 그룹 차 평균 히스토그램 정보는 대치 그룹을 이루는 4 개의 주변 영역의 그래디언트 히스토그램 정보의 차이 값에 대해서, 복수의 대치 그룹에 대한 평균 값일 수 있다.The substitution group difference average histogram information may be an average value of a plurality of substitution groups with respect to the difference value of the gradient histogram information of the four surrounding regions constituting the substitution group.
상기 대치 그룹 차 평균 히스토그램 정보는 상기 대치 그룹을 이루는 4 개의 주변 영역 중 단독으로 이격된 주변 영역에 가장 높은 가중치가 부여될 수 있다.The substitution group difference average histogram information may be given the highest weight in the peripheral region that is independently spaced from the four peripheral regions constituting the substitution group.
본 발명의 한 실시예에 따른 영상 매칭 장치는 SIFT 알고리즘을 이용하여, 제1 영상의 각 픽셀에 대한 제1 SIFT 기술자 및 제2 영상의 각 픽셀에 대한 제2 SIFT 기술자를 생성하는 SIFT 기술자 생성부; 휴 모멘트 알고리즘을 이용하여, 상기 제1 SIFT 기술자에 대한 제1 SIFT 모멘트 및 상기 제2 SIFT 기술자에 대한 제2 SIFT 모멘트를 생성하는 SIFT 모멘트 생성부; 및 상기 제1 SIFT 기술자 및 상기 제2 SIFT 기술자의 차이 및 상기 제1 SIFT 모멘트 및 상기 제2 SIFT 모멘트의 차이에 대응하는 비용 값이 최소 값이 되도록 상기 제1 영상의 각 픽셀과 상기 제2 영상의 각 픽셀을 매칭하는 매칭부를 포함할 수 있다.The image matching apparatus according to an embodiment of the present invention includes a SIFT descriptor generating unit for generating a first SIFT descriptor for each pixel of the first image and a second SIFT descriptor for each pixel of the second image using the SIFT algorithm, ; A SIFT moment generator for generating a first SIFT moment for the first SIFT descriptor and a second SIFT moment for the second SIFT descriptor using the hight moment algorithm; And calculating a difference between the first SIFT descriptor and the second SIFT descriptor and a cost value corresponding to a difference between the first SIFT moment and the second SIFT moment to a minimum value, And a matching unit for matching each pixel of the image.
상기 제1 SIFT 기술자 및 상기 제2 SIFT 기술자는 각각 대상 픽셀의 복수의 주변 영역에 대한 복수의 그래디언트 히스토그램 정보를 포함하고, 상기 SIFT 모멘트 생성부는 상기 복수의 그래디언트 히스토그램 정보를 이용하여 생성된 상기 대상 픽셀에 대한 평균 히스토그램 정보, 편차 히스토그램 정보, 직교 그룹 차 평균 히스토그램 정보, 및 대치 그룹 차 평균 히스토그램 정보를 이용하여 상기 제1 SIFT 모멘트 및 상기 제2 SIFT 모멘트를 생성할 수 있다.Wherein the first SIFT descriptor and the second SIFT descriptor each include a plurality of gradation histogram information for a plurality of peripheral regions of a target pixel, and the SIFT moment generator generates the SIFT moment using the plurality of gradient histogram information, The first SIFT moment and the second SIFT moment may be generated using the average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the substitution group difference average histogram information.
상기 평균 히스토그램 정보, 상기 편차 히스토그램 정보, 상기 직교 그룹 차 평균 히스토그램 정보, 및 상기 대치 그룹 차 평균 히스토그램 정보는 각각 N 개 배향에 대한 N 차원의 값을 갖고, 상기 N은 자연수일 수 있다.The average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the substitution group difference histogram information may each have an N-dimensional value for N orientations, and the N may be a natural number.
상기 SIFT 모멘트 생성부는 상기 휴 모멘트 알고리즘의 픽셀 좌표 입력 값으로 상기 N 개 배향에 대한 좌표 값을 설정하고, 상기 휴 모멘트 알고리즘의 픽셀 강도 입력 값으로 상기 N 차원에 대한 누적 값을 설정할 수 있다.The SIFT moment generator may set coordinate values for the N orientations as pixel coordinate input values of the hightymomics algorithm and may set an accumulated value for the N dimension as a pixel intensity input value of the huma moment algorithm.
상기 SIFT 모멘트 생성부는 상기 평균 히스토그램 정보, 상기 편차 히스토그램 정보, 상기 직교 그룹 차 평균 히스토그램 정보, 및 상기 대치 그룹 차 평균 히스토그램 정보로부터 각각 M 개의 휴 모멘트 값을 생성하고, 상기 제1 SIFT 모멘트 및 상기 제2 SIFT 모멘트는 각각 상기 휴 모멘트 값을 포함하는 4M 차원의 값을 갖고, 상기 M은 자연수일 수 있다.Wherein the SIFT moment generator generates M huma moment values respectively from the average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the substitution group difference average histogram information, and the first SIFT moment and the second SIFT moment The two SIFT moments each have a value of 4M dimension including the huma moment value, and M may be a natural number.
상기 평균 히스토그램 정보는 상기 복수의 그래디언트 히스토그램 정보 각각의 N 개 배향에 대한 N 차원의 값의 평균 값일 수 있다.The average histogram information may be an average value of N-dimensional values for N orientations of each of the plurality of gradient histogram information.
상기 편차 히스토그램 정보는 상기 복수의 그래디언트 히스토그램 정보 각각의 N 개 배향에 대한 N 차원의 값의 편차 값일 수 있다.The deviation histogram information may be a deviation value of an N-dimensional value for N orientations of each of the plurality of gradient histogram information.
상기 직교 그룹 차 평균 히스토그램 정보는 직교 그룹을 이루는 3 개의 주변 영역의 그래디언트 히스토그램 정보의 차이 값에 대해서, 복수의 직교 그룹에 대한 평균 값일 수 있다.The orthogonal group difference average histogram information may be an average value of a plurality of orthogonal groups with respect to a difference value of gradient histogram information of three neighboring regions forming an orthogonal group.
상기 대치 그룹 차 평균 히스토그램 정보는 대치 그룹을 이루는 4 개의 주변 영역의 그래디언트 히스토그램 정보의 차이 값에 대해서, 복수의 대치 그룹에 대한 평균 값일 수 있다.The substitution group difference average histogram information may be an average value of a plurality of substitution groups with respect to the difference value of the gradient histogram information of the four surrounding regions constituting the substitution group.
본 발명에 따른 영상 매칭 방법 및 영상 매칭 장치는 매칭 대상 영상이 회전되어 있더라도 효과적으로 영상 매칭이 가능하다.The image matching method and image matching apparatus according to the present invention can effectively perform image matching even if the matching target image is rotated.
도 1은 본 발명의 한 실시예에 따른 영상 매칭 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 한 실시예에 따른 영상 매칭 장치를 설명하기 위한 도면이다.
도 3은 SIFT 기술자를 생성하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 한 실시예에 따른 평균 히스토그램 정보 및 편차 히스토그램 정보를 설명하기 위한 도면이다.
도 5는 본 발명의 한 실시예에 따른 직교 그룹 차 평균 히스토그램 정보를 설명하기 위한 도면이다.
도 6은 본 발명의 한 실시예에 따른 대치 그룹 차 평균 히스토그램 정보를 설명하기 위한 도면이다.
도 7은 본 발명의 한 실시예에 따른 각 배향에 대한 좌표 값 설정 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 한 실시예에 따른 영상 매칭 방법이 회전된 영상에 적용되었을 경우를 설명하기 위한 도면이다.
도 9는 본 발명의 한 실시예에 따른 영상 매칭 방법이 서로 다른 장면의 영상에 적용되었을 경우를 설명하기 위한 도면이다.1 is a view for explaining an image matching method according to an embodiment of the present invention.
2 is a view for explaining an image matching apparatus according to an embodiment of the present invention.
3 is a diagram for explaining a method of generating a SIFT descriptor.
4 is a view for explaining average histogram information and deviation histogram information according to an embodiment of the present invention.
5 is a view for explaining orthogonal group difference average histogram information according to an embodiment of the present invention.
FIG. 6 is a view for explaining a difference group difference average histogram information according to an embodiment of the present invention.
7 is a view for explaining a coordinate value setting method for each orientation according to an embodiment of the present invention.
8 is a diagram for explaining a case where the image matching method according to an embodiment of the present invention is applied to a rotated image.
9 is a diagram for explaining a case where the image matching method according to an embodiment of the present invention is applied to images of different scenes.
이하, 첨부한 도면을 참고로 하여 본 발명의 여러 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 따라서 앞서 설명한 참조 부호는 다른 도면에서도 사용할 수 있다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification. Therefore, the above-mentioned reference numerals can be used in other drawings.
또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. 도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 크기 및 두께를 과장되게 나타낼 수 있다.In addition, since the sizes and thicknesses of the respective components shown in the drawings are arbitrarily shown for convenience of explanation, the present invention is not necessarily limited to those shown in the drawings. In the drawings, the size and thickness may be exaggerated to clearly represent the layers and regions.
도 3은 SIFT 기술자를 생성하는 방법을 설명하기 위한 도면이고, 도 4는 본 발명의 한 실시예에 따른 평균 히스토그램 정보 및 편차 히스토그램 정보를 설명하기 위한 도면이고, 도 5는 본 발명의 한 실시예에 따른 직교 그룹 차 평균 히스토그램 정보를 설명하기 위한 도면이고, 도 6은 본 발명의 한 실시예에 따른 대치 그룹 차 평균 히스토그램 정보를 설명하기 위한 도면이고, 도 7은 본 발명의 한 실시예에 따른 각 배향에 대한 좌표 값 설정 방법을 설명하기 위한 도면이다.FIG. 3 is a view for explaining a method of generating a SIFT descriptor, FIG. 4 is a view for explaining average histogram information and deviation histogram information according to an embodiment of the present invention, and FIG. FIG. 6 is a view for explaining information on a difference group difference average histogram according to an embodiment of the present invention, and FIG. 7 is a diagram for explaining the difference group difference average histogram information according to an embodiment of the present invention And a method of setting a coordinate value for each orientation.
이하에서 각 실시예를 설명함에 있어서, 도 3 내지 7을 참조하여 설명한다.Hereinafter, each embodiment will be described with reference to FIGS. 3 to 7. FIG.
도 1은 본 발명의 한 실시예에 따른 영상 매칭 방법을 설명하기 위한 도면이다.1 is a view for explaining an image matching method according to an embodiment of the present invention.
본 발명의 한 실시예에 따른 영상 매칭 방법은 기록 매체에 프로그램으로서 기록될 수도 있다. 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터 또는 프로그램이 저장될 수 있는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치, 하드디스크, 외장하드디스크, SSD, USB 저장 장치, DVD, 블루레이 디스크 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 복수 장치의 조합일 수도 있으며, 네트워크로 연결된 컴퓨터 시스템에 분산되어 있을 수도 있다. 이러한 기록매체는 비일시적인 컴퓨터로 읽을 수 있는 기록매체(non-transitory computer readable medium)일 수 있다. 비일시적인 컴퓨터로 읽을 수 있는 기록매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터 또는 프로그램을 저장하는 매체가 아니라 반영구적으로 데이터 또는 프로그램을 저장하며, 컴퓨터에 의해 판독가능한 매체를 의미한다.An image matching method according to an embodiment of the present invention may be recorded as a program on a recording medium. The recording medium includes all kinds of recording devices capable of storing data or a program that can be read by a computer system. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, hard disk, external hard disk, SSD, USB storage device, DVD, . The computer-readable recording medium may be a combination of a plurality of apparatuses, or may be dispersed in a networked computer system. Such a recording medium may be a non-transitory computer readable medium. Non-transitory computer-readable medium refers to a medium that stores data or programs semi-permanently, and is readable by a computer, rather than a medium that stores data or programs for a short period of time such as a register, cache, or memory.
먼저, SIFT 기술자 생성 단계(S101)에서, SIFT 알고리즘을 이용하여, 제1 영상의 각 픽셀에 대한 제1 SIFT 기술자 및 제2 영상의 각 픽셀에 대한 제2 SIFT 기술자를 생성한다.First, in a SIFT descriptor generation step (S101), a first SIFT descriptor for each pixel of the first image and a second SIFT descriptor for each pixel of the second image are generated using the SIFT algorithm.
제1 SIFT 기술자 및 제2 SIFT 기술자는 각각 대상 픽셀의 복수의 주변 영역에 대한 복수의 그래디언트 히스토그램(gradient histogram) 정보를 포함할 수 있다.The first SIFT descriptor and the second SIFT descriptor may each include a plurality of gradient histogram information for a plurality of peripheral regions of a target pixel.
도 3을 참조하면, 예시적인 대상 픽셀(P) 및 대상 픽셀(P)의 주변에 13*13-1 개의 주변 픽셀이 표시되어 있다. 도 3에서는 하나의 주변 영역이 4*4 개의 주변 픽셀을 포함하도록 16 개의 주변 영역이 정의되어 있다. 도 3의 실시예에서는 각 주변 영역은 일부가 중첩될 수 있다. 예를 들면, 주변 영역(PA11)은 주변 영역(PA12)과 4 개의 픽셀을 중첩하여 공유한다.Referring to FIG. 3, 13 * 13-1 neighboring pixels are displayed around the exemplary target pixel P and the target pixel P. In FIG. 3, 16 peripheral areas are defined so that one peripheral area includes 4 * 4 peripheral pixels. In the embodiment of FIG. 3, a part of each peripheral region may overlap. For example, the peripheral area PA11 overlaps the peripheral area PA12 with four pixels.
각각의 주변 영역은 그래디언트 히스토그램 정보를 포함할 수 있다. 각각의 그래디언트 히스토그램 정보는 도 3에 도시된 바와 같이, 예를 들어, 8 개의 배향에 대한 8 차원의 값을 가질 수 있다.Each surrounding area may include gradient histogram information. Each gradient histogram information may have an eight-dimensional value, for example, for eight orientations, as shown in FIG.
따라서, 대상 픽셀(P)은 16 개의 주변 영역 각각에 대해 8 차원의 값을 가지므로, 총 128 차원의 데이터를 갖게 된다. 이러한 128 차원의 데이터를 대상 픽셀(P)의 SIFT 기술자라고 한다.Therefore, the target pixel P has an eight-dimensional value for each of the sixteen peripheral regions, and thus has a total of 128-dimensional data. Such 128-dimensional data is referred to as a SIFT descriptor of the target pixel (P).
단계(S101)에서 제1 영상의 각 픽셀에 대해 제1 SIFT 기술자가 생성되고, 제2 영상의 각 픽셀에 대해 제2 SIFT 기술자가 생성된다. 단계(S101) 및 도 3에서 예시로 든 숫자들은 당업자의 설계에 의해 변형이 가능하다.In step S101, a first SIFT descriptor is generated for each pixel of the first image, and a second SIFT descriptor is generated for each pixel of the second image. The numbers exemplified in step S101 and in Fig. 3 can be modified by those skilled in the art.
다음으로, SIFT 모멘트(SIFT moment) 생성 단계(S102)에서, 휴 모멘트 알고리즘(Hu Moments algorithm)을 이용하여, 제1 SIFT 기술자에 대한 제1 SIFT 모멘트 및 제2 SIFT 기술자에 대한 제2 SIFT 모멘트를 생성한다.Next, in a SIFT moment generation step (S102), a first SIFT moment for the first SIFT descriptor and a second SIFT moment for the second SIFT descriptor are calculated using the Hu Moments algorithm .
본 실시예에서는 복수의 그래디언트 히스토그램 정보를 이용하여 생성된 대상 픽셀에 대한 평균 히스토그램(average histogram) 정보, 편차 히스토그램(deviation histogram) 정보, 직교 그룹 차 평균 히스토그램(orthogonal group difference average histogram) 정보, 및 대치 그룹 차 평균 히스토그램(counter group difference average histogram) 정보를 이용하여 제1 SIFT 모멘트 및 제2 SIFT 모멘트를 생성할 수 있다.In the present embodiment, average histogram information, deviation histogram information, orthogonal group difference average histogram information, and substitution information are calculated for the target pixel generated using the plurality of gradient histogram information, The first SIFT moment and the second SIFT moment may be generated using the counter group difference average histogram information.
평균 히스토그램 정보, 편차 히스토그램 정보, 직교 그룹 차 평균 히스토그램 정보, 및 대치 그룹 차 평균 히스토그램 정보는 각각 N 개 배향에 대한 N 차원의 값을 갖고, N은 자연수일 수 있다. 전술한 그래디언트 히스토그램 정보에 맞춰, 본 실시예의 N은 8일 수 있다.The average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the substitution group difference mean histogram information each have an N-dimensional value for N orientations, and N may be a natural number. In accordance with the above-described gradient histogram information, N in this embodiment may be 8.
평균 히스토그램 정보는 복수의 그래디언트 히스토그램 정보 각각의 N 개 배향에 대한 N 차원의 값의 평균 값일 수 있다. 전술한 그래디언트 히스토그램 정보에 맞춰, 본 실시예의 N은 8일 수 있다.The average histogram information may be an average value of the N-dimensional values for the N orientations of each of the plurality of gradient histogram information. In accordance with the above-described gradient histogram information, N in this embodiment may be 8.
실시예에 따라, 평균 히스토그램 정보는 대상 픽셀(P)에 인접한 주변 영역에 대한 그래디언트 히스토그램 정보일수록 높은 가중치가 부여될 수 있다. 도 4를 참조하면, 흰색으로 표시된 주변 영역(PA11)의 그래디언트 히스토그램 정보는 가장 낮은 가중치가 부여되고, 파란색으로 표시된 주변 영역(PA12)의 그래디언트 히스토그램 정보는 중간 레벨의 가중치가 부여되고, 노란색으로 표시된 주변 영역(PA22)의 그래디언트 히스토그램 정보는 가장 높은 가중치가 부여될 수 있다.According to the embodiment, the average histogram information may be given a higher weight as the gradient histogram information for the neighboring area adjacent to the target pixel P is. Referring to FIG. 4, the gradation histogram information of the peripheral area PA11 indicated by white is given the lowest weight, the gradation histogram information of the peripheral area PA12 indicated by blue is given an intermediate level weight, The gradient histogram information of the peripheral area PA22 can be given the highest weight.
편차 히스토그램 정보는 복수의 그래디언트 히스토그램 정보 각각의 N 개 배향에 대한 N 차원의 값의 편차 값일 수 있다. 전술한 그래디언트 히스토그램 정보에 맞춰, 본 실시예의 N은 8일 수 있다.The deviation histogram information may be a deviation value of an N-dimensional value for N orientations of each of the plurality of gradient histogram information. In accordance with the above-described gradient histogram information, N in this embodiment may be 8.
실시예에 따라, 편차 히스토그램 정보는 대상 픽셀(P)에 인접한 영역에 대한 그래디언트 히스토그램 정보일수록 높은 가중치가 부여될 수 있다. 도 4를 참조하면, 흰색으로 표시된 주변 영역(PA11)의 그래디언트 히스토그램 정보는 가장 낮은 가중치가 부여되고, 파란색으로 표시된 주변 영역(PA12)의 그래디언트 히스토그램 정보는 중간 레벨의 가중치가 부여되고, 노란색으로 표시된 주변 영역(PA22)의 그래디언트 히스토그램 정보는 가장 높은 가중치가 부여될 수 있다.According to the embodiment, the deviation histogram information may be given a higher weight as the gradient histogram information for the region adjacent to the target pixel P. [ Referring to FIG. 4, the gradation histogram information of the peripheral area PA11 indicated by white is given the lowest weight, the gradation histogram information of the peripheral area PA12 indicated by blue is given an intermediate level weight, The gradient histogram information of the peripheral area PA22 can be given the highest weight.
직교 그룹 차 평균 히스토그램 정보는 직교 그룹을 이루는 3 개의 주변 영역의 그래디언트 히스토그램 정보의 차이 값에 대해서, 복수의 직교 그룹에 대한 평균 값일 수 있다. 도 5를 참조하면, 예를 들어, 3 개의 주변 영역(PA12, PA24, PA31)이 직교 그룹을 이루고 있으며, 그 외에도 7 개의 직교 그룹이 예시적으로 도시되어 있다. 직교 그룹은 대상 픽셀(P)을 수직 이등분 점으로하는 이등변 삼각형을 이루는 주변 영역의 집합일 수 있다.The orthogonal group difference average histogram information may be an average value for a plurality of orthogonal groups with respect to the difference value of the gradient histogram information of the three surrounding regions forming the orthogonal group. Referring to FIG. 5, for example, three peripheral areas PA12, PA24, and PA31 form an orthogonal group, and in addition, seven orthogonal groups are illustrated by way of example. The orthogonal group may be a set of peripheral regions forming an isosceles triangle having vertices bisecting the target pixel (P).
실시예에 따라, 직교 그룹 차 평균 히스토그램 정보는 직교 그룹을 이루는 3 개의 주변 영역(PA12, PA24, PA31) 중 이등변 삼각형의 꼭지각에 해당하는 주변 영역(PA12)에 대해 가장 높은 가중치가 부여될 수 있다.According to the embodiment, the orthogonal group difference average histogram information may be given the highest weight value for the peripheral area PA12 corresponding to the vertex angle of the isosceles triangle among the three peripheral areas PA12, PA24, and PA31 forming the orthogonal group .
대치 그룹 차 평균 히스토그램 정보는 대치 그룹을 이루는 4 개의 주변 영역의 그래디언트 히스토그램 정보의 차이 값에 대해서, 복수의 대치 그룹에 대한 평균 값일 수 있다. 도 6을 참조하면, 예를 들어, 4 개의 주변 영역(PA12, PA34, PA42, PA43)이 대치 그룹을 이루고 있으며, 그 외에도 7 개의 대치 그룹이 예시적으로 도시되어 있다. 대치 그룹은 대상 픽셀(P)이 중점이 되는 선분의 양단에 위치한 주변 영역(PA12, PA43) 및 일단의 주변 영역(PA43) 주위에 위치한 주변 영역(PA34, PA42)에 대한 집합일 수 있다.The substitution group difference average histogram information may be an average value for a plurality of substitution groups with respect to the difference value of the gradient histogram information of the four surrounding regions constituting the substitution group. Referring to FIG. 6, for example, four peripheral areas PA12, PA34, PA42, and PA43 constitute a substitution group, and seven substitution groups are illustrated by way of example. The replacement group may be a set for the peripheral areas PA12 and PA43 located at both ends of the line segment in which the target pixel P is the center point and the peripheral areas PA34 and PA42 located around the peripheral area PA43 at the end.
실시예에 따라, 대치 그룹 차 평균 히스토그램 정보는 대치 그룹을 이루는 4 개의 주변 영역(PA12, PA34, PA42, PA43) 중 단독으로 이격된 주변 영역(PA12)에 가장 높은 가중치가 부여될 수 있다. 주변 영역(PA12)과 대치하는 방향에 위치한 주변 영역(PA43)에 두 번째로 큰 가중치가 부여될 수 있고, 주변 영역(PA43) 부근에 설정된 주변 영역(PA34, PA42)에 가장 작은 가중치가 부여될 수 있다.According to the embodiment, the replacement group difference average histogram information can be given the highest weight in the peripheral area PA12 that is separately spaced among the four peripheral areas PA12, PA34, PA42, and PA43 constituting the replacement group. The second largest weight value can be given to the peripheral area PA43 located in the direction opposite to the peripheral area PA12 and the second largest weight value can be given to the peripheral areas PA34 and PA42 set near the peripheral area PA43 .
휴 모멘트 알고리즘의 픽셀 좌표 입력 값은 N 개 배향에 대한 좌표 값으로 설정되고, 휴 모멘트 알고리즘의 픽셀 강도 입력 값은 N 차원에 대한 누적 값으로 설정될 수 있다. 전술한 그래디언트 히스토그램 정보에 맞춰, 본 실시예의 N은 8일 수 있다.The pixel coordinate input value of the huma moment algorithm is set to the coordinate value for the N orientations and the pixel intensity input value of the huma moment algorithm can be set to the cumulative value for the N dimension. In accordance with the above-described gradient histogram information, N in this embodiment may be 8.
휴 모멘트 알고리즘은 픽셀 좌표(coordinate of pixel) 및 픽셀 강도(intensity of pixel)를 입력 값으로 하여 아래 수학식 1 내지 11에 따라 7 개의 휴 모멘트(I1, I2, I3, I4, I5, I6, I7)를 산출하는 알고리즘이다. 본 실시예에서는 픽셀 좌표 입력 값 (x, y)으로 각 배향에 대한 좌표 값을 설정하여 이용하고(도 7 참조), 픽셀 강도 입력 값 I(x, y)으로 히스토그램의 각각의 빈(bin)에 대한 누적 값을 이용한다.The huma moment algorithm calculates seven huma moments (I 1 , I 2 , I 3 , I 4 , I (I ) , I 2 , 5 , I 6 , I 7 ). In this embodiment, a coordinate value for each orientation is set and used (refer to FIG. 7) with the pixel coordinate input value (x, y), and each bin bin of the histogram is represented by the pixel intensity input value I (x, Lt; / RTI >
도 7을 참조하면, 상하좌우(上下左右)를 기준으로, 상 방향 그래디언트 히스토그램 정보에 대해서는 좌표 
[수학식 1][Equation 1]
[수학식 2]&Quot; (2) "
[수학식 3]&Quot; (3) "
[수학식 4]&Quot; (4) "
[수학식 5]&Quot; (5) "
[수학식 6]&Quot; (6) "
[수학식 7]&Quot; (7) "
[수학식 8]&Quot; (8) "
[수학식 9]&Quot; (9) "
[수학식 10]&Quot; (10) "
[수학식 11]&Quot; (11) "
평균 히스토그램 정보, 편차 히스토그램 정보, 직교 그룹 차 평균 히스토그램 정보, 및 대치 그룹 차 평균 히스토그램 정보로부터 각각 M 개의 휴 모멘트 값이 도출되고, 제1 SIFT 모멘트 및 제2 SIFT 모멘트는 각각 휴 모멘트 값을 포함하는 4M 차원의 값을 갖고, M은 자연수일 수 있다.M hypothermic values are respectively derived from average histogram information, deviation histogram information, orthogonal group difference mean histogram information, and substitution group difference mean histogram information, and the first SIFT moment and the second SIFT moment include a huma moment value Has a value of 4M, and M can be a natural number.
실시예에 따라 M은 6일 수 있다. 수학식 1 내지 11에 따라 7 개의 휴 모멘트(I1, I2, I3, I4, I5, I6, I7)가 도출되었지만, 본 실시예에서는 의존성(dependent)이 있는 I3를 제외한 6 개의 휴 모멘트(I1, I2, I4, I5, I6, I7)를 이용할 수 있다.According to an embodiment M may be 6. (I 1 , I 2 , I 3 , I 4 , I 5 , I 6 , I 7 ) are derived according to
6 개의 휴 모멘트는 평균 히스토그램 정보, 편차 히스토그램 정보, 직교 그룹 차 평균 히스토그램 정보, 및 대치 그룹 차 평균 히스토그램 정보 각각에 대해 존재하므로, 각각의 제1 및 제2 SIFT 모멘트는 24 차원의 값을 갖게 된다.Since the six hight moments exist for each of the average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the substitution group difference average histogram information, each of the first and second SIFT moments has a 24-dimensional value .
본 실시예에서 예시적으로 든 자연수 N 및 M은 당업자의 설계에 따라 변경될 수 있다.The natural numbers N and M, which are exemplary in this embodiment, can be changed according to the design of a person skilled in the art.
다음으로, 매칭 단계(S103)에서, 제1 SIFT 기술자 및 제2 SIFT 기술자의 차이 및 제1 SIFT 모멘트 및 제2 SIFT 모멘트의 차이에 대응하는 비용 값이 최소 값이 되도록 제1 영상의 각 픽셀과 제2 영상의 각 픽셀을 매칭한다.Next, in the matching step S103, the difference between the first SIFT descriptor and the second SIFT descriptor, and the difference between the first SIFT moment and the second SIFT moment, Each pixel of the second image is matched.
기존의 SIFT 플로우(비특허문헌 2 참조)에서는 정의된 에너지 함수(energy function)를 가장 작게 하는 제1 영상의 픽셀과 제2 영상의 픽셀을 매칭시켰다. 이러한 에너지 함수는 아래 수학식 12와 같이 데이터 텀(data term), 이격 텀(small displacement term), 및 평활화 텀(smoothness term)을 포함한다.In the conventional SIFT flow (see Non-Patent Document 2), the pixels of the first image and the pixels of the second image, which minimize the defined energy function, are matched. This energy function includes a data term, a small displacement term, and a smoothness term as shown in Equation (12) below.
[수학식 12]&Quot; (12) "
수학식 12의 첫 번째 텀인 데이터 텀은 제1 SIFT 기술자 
하지만 본 실시예에서는 아래 수학식 13과 같이 수학식 12의 데이터 텀을 변형시켜 제1 SIFT 기술자 
[수학식 13]&Quot; (13) "
이때 k는 SIFT 모멘트의 비율을 제어하기 위한 숫자이다.Where k is a number to control the ratio of the SIFT moment.
도 2는 본 발명의 한 실시예에 따른 영상 매칭 장치를 설명하기 위한 도면이다.2 is a view for explaining an image matching apparatus according to an embodiment of the present invention.
본 발명의 한 실시예에 따른 영상 매칭 장치(20)는 정보 처리를 위하여 적어도 하나의 프로세서 및 메모리를 포함하는 컴퓨터일 수 있다. 영상 매칭 장치(20)는 데이터 또는 프로그램이 기록된 기록매체를 읽음으로써 목적하는 기능을 수행할 수 있다.The
도 2를 참조하면 본 발명의 한 실시예에 따른 영상 매칭 장치(20)는 SIFT 기술자 생성부(201), SIFT 모멘트 생성부(202), 및 매칭부(203)를 포함한다.2, the
각각의 기능부(201, 202, 203)는 분리된 하드웨어로 구현될 수도 있지만, 하나의 하드웨어 상에서 분리된 소프트웨어 또는 소프트웨어 요소로 구현될 수도 있으며, 이는 당업자 설계에 따라 달라질 수 있다.Each of the
SIFT 기술자 생성부(201)는 SIFT 알고리즘을 이용하여, 제1 영상의 각 픽셀에 대한 제1 SIFT 기술자 및 제2 영상의 각 픽셀에 대한 제2 SIFT 기술자를 생성할 수 있다. SIFT 기술자 생성부(201)는 전술한 단계(S101)를 수행할 수 있다.The SIFT
제1 SIFT 기술자 및 상기 제2 SIFT 기술자는 각각 대상 픽셀의 복수의 주변 영역에 대한 복수의 그래디언트 히스토그램 정보를 포함할 수 있다.The first SIFT descriptor and the second SIFT descriptor may each include a plurality of gradient histogram information for a plurality of peripheral regions of a target pixel.
SIFT 모멘트 생성부(202)는 휴 모멘트 알고리즘을 이용하여, 제1 SIFT 기술자에 대한 제1 SIFT 모멘트 및 제2 SIFT 기술자에 대한 제2 SIFT 모멘트를 생성할 수 있다. SIFT 모멘트 생성부(202)는 전술한 단계(S102)를 수행할 수 있다.The
SIFT 모멘트 생성부(202)는 복수의 그래디언트 히스토그램 정보를 이용하여 생성된 대상 픽셀에 대한 평균 히스토그램 정보, 편차 히스토그램 정보, 직교 그룹 차 평균 히스토그램 정보, 및 대치 그룹 차 평균 히스토그램 정보를 이용하여 제1 SIFT 모멘트 및 제2 SIFT 모멘트를 생성할 수 있다.The SIFT
평균 히스토그램 정보, 편차 히스토그램 정보, 직교 그룹 차 평균 히스토그램 정보, 및 대치 그룹 차 평균 히스토그램 정보는 각각 N 개 배향에 대한 N 차원의 값을 갖고, N은 자연수일 수 있다.The average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the substitution group difference mean histogram information each have an N-dimensional value for N orientations, and N may be a natural number.
평균 히스토그램 정보는 복수의 그래디언트 히스토그램 정보 각각의 N 개 배향에 대한 N 차원의 값의 평균 값일 수 있다.The average histogram information may be an average value of the N-dimensional values for the N orientations of each of the plurality of gradient histogram information.
편차 히스토그램 정보는 복수의 그래디언트 히스토그램 정보 각각의 N 개 배향에 대한 N 차원의 값의 편차 값일 수 있다.The deviation histogram information may be a deviation value of an N-dimensional value for N orientations of each of the plurality of gradient histogram information.
직교 그룹 차 평균 히스토그램 정보는 직교 그룹을 이루는 3 개의 주변 영역의 그래디언트 히스토그램 정보의 차이 값에 대해서, 복수의 직교 그룹에 대한 평균 값일 수 있다.The orthogonal group difference average histogram information may be an average value for a plurality of orthogonal groups with respect to the difference value of the gradient histogram information of the three surrounding regions forming the orthogonal group.
대치 그룹 차 평균 히스토그램 정보는 대치 그룹을 이루는 4 개의 주변 영역의 그래디언트 히스토그램 정보의 차이 값에 대해서, 복수의 대치 그룹에 대한 평균 값일 수 있다.The substitution group difference average histogram information may be an average value for a plurality of substitution groups with respect to the difference value of the gradient histogram information of the four surrounding regions constituting the substitution group.
SIFT 모멘트 생성부(202)는 휴 모멘트 알고리즘의 픽셀 좌표 입력 값으로 N 개 배향에 대한 좌표 값을 설정하고, 휴 모멘트 알고리즘의 픽셀 강도 입력 값으로 N 차원에 대한 누적 값을 설정할 수 있다.The SIFT
SIFT 모멘트 생성부(202)는 평균 히스토그램 정보, 편차 히스토그램 정보, 직교 그룹 차 평균 히스토그램 정보, 및 대치 그룹 차 평균 히스토그램 정보로부터 각각 M 개의 휴 모멘트 값을 생성하고, 제1 SIFT 모멘트 및 제2 SIFT 모멘트는 각각 휴 모멘트 값을 포함하는 4M 차원의 값을 갖고, M은 자연수일 수 있다.The SIFT
매칭부(203)는 제1 SIFT 기술자 및 제2 SIFT 기술자의 차이 및 제1 SIFT 모멘트 및 제2 SIFT 모멘트의 차이에 대응하는 비용 값이 최소 값이 되도록 제1 영상의 각 픽셀과 제2 영상의 각 픽셀을 매칭할 수 있다. 매칭부(203)는 전술한 단계(S103)를 수행할 수 있다.The
도 8은 본 발명의 한 실시예에 따른 영상 매칭 방법이 회전된 영상에 적용되었을 경우를 설명하기 위한 도면이다.8 is a diagram for explaining a case where the image matching method according to an embodiment of the present invention is applied to a rotated image.
도 8(a)는 대상 영상(target image), 도 8(b)는 소스 영상(source image), 도 8(c)는 실측 플로우(ground-truth flow), 도 8(d)는 종래 SIFT 플로우 알고리즘에 의한 결과, 도 8(e)는 본 발명의 한 실시예에 의한 결과를 도시한 도면이다.8A is a target image, FIG. 8B is a source image, FIG. 8C is a ground-truth flow, FIG. 8D is a conventional SIFT flow, Fig. 8 (e) is a diagram showing the result of one embodiment of the present invention.
도 8(b)의 소스 영상은 도 8(a)의 대상 영상을 임의의 각도로 회전시킨 영상이다. 이때 수학식 13의 데이터 텀의 k는 0.25로 설정되었다. 에러는 실측 플로우를 기반으로 하여 계산되었다.The source image in Fig. 8 (b) is an image obtained by rotating the target image in Fig. 8 (a) at an arbitrary angle. At this time, k of the data term of Equation (13) was set to 0.25. The error was calculated based on the actual flow.
계산 결과, 종래 SIFT 플로우 알고리즘에 의한 에러율은 20%이고, 본 발명의 한 실시예에 의한 에러율은 5%였다. 에러율은 약 15% 감소하였다.As a result of calculation, the error rate according to the conventional SIFT flow algorithm was 20%, and the error rate according to one embodiment of the present invention was 5%. The error rate was reduced by about 15%.
도 9는 본 발명의 한 실시예에 따른 영상 매칭 방법이 서로 다른 장면의 영상에 적용되었을 경우를 설명하기 위한 도면이다.9 is a diagram for explaining a case where the image matching method according to an embodiment of the present invention is applied to images of different scenes.
도 9(a)는 대상 영상, 도 9(b)는 소스 영상, 도 9(c)는 도 9(a)의 라벨링(labeling), 도 9(d)는 도 9(b)의 라벨링, 도 9(e)는 종래 SIFT 플로우 알고리즘에 의한 결과, 도 9(f)는 본 발명의 한 실시예에 의한 결과를 도시한 도면이다.9A is a target image, FIG. 9B is a source image, FIG. 9C is a labeling of FIG. 9A, FIG. 9D is a labeling of FIG. 9B, 9 (e) is a result of the conventional SIFT flow algorithm, and FIG. 9 (f) is a diagram showing a result of an embodiment of the present invention.
종래 SIFT 플로우 알고리즘의 장점은 제1 영상 및 제2 영상이 서로 다른 장면에 관한 것이더라도 밀집 대응(dense correspondence)을 획득할 수 있는 점이였다. 이하에서는 도 9를 참조하여 본 실시예에 의하더라도 이러한 성능이 유지될 수 있는 지를 확인한다.An advantage of the conventional SIFT flow algorithm is that dense correspondence can be obtained even if the first image and the second image are related to different scenes. Hereinafter, it is confirmed with reference to FIG. 9 whether this performance can be maintained even in this embodiment.
에러율을 계산하기 위해서, 33 개의 클래스 라벨(예를 들어, 강, 자동차, 풀밭, 빌딩 등) 중 하나를 픽셀에 주석붙이기(annotate) 위해 LMO 데이터셋(dataset)을 이용하였다.To calculate the error rate, an LMO dataset was used to annotate one of the 33 class labels (for example, river, car, grass, building, etc.) to the pixel.
결과에 따르면, 종래의 SIFT 플로우 알고리즘에 의한 경우 에러율이 9.8%로 도출되었으며, 본 발명의 한 실시예에 따른 경우 에러율이 8.6%로 도출되었다.According to the results, the error rate is derived to 9.8% according to the conventional SIFT flow algorithm, and the error rate is 8.6% according to the embodiment of the present invention.
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are illustrative and explanatory only and are intended to be illustrative of the invention and are not to be construed as limiting the scope of the invention as defined by the appended claims. It is not. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
20: 영상 매칭 장치
201: SIFT 기술자 생성부
202: SIFT 모멘트 생성부
203: 매칭부20: Image matching device
201: SIFT descriptor generating unit
202: SIFT moment generating unit
203:
Claims (22)
휴 모멘트 알고리즘(Hu Moments algorithm)을 이용하여, 상기 제1 SIFT 기술자에 대한 제1 SIFT 모멘트 및 상기 제2 SIFT 기술자에 대한 제2 SIFT 모멘트를 생성하는 SIFT 모멘트(SIFT moment) 생성 단계; 및
상기 제1 SIFT 기술자 및 상기 제2 SIFT 기술자의 차이 및 상기 제1 SIFT 모멘트 및 상기 제2 SIFT 모멘트의 차이에 대응하는 비용 값이 최소 값이 되도록 상기 제1 영상의 각 픽셀과 상기 제2 영상의 각 픽셀을 매칭하는 매칭 단계를 포함하되,
상기 제1 SIFT 기술자 및 상기 제2 SIFT 기술자는 각각 대상 픽셀의 복수의 주변 영역에 대한 복수의 그래디언트 히스토그램(gradient histogram) 정보를 포함하고,
상기 SIFT 모멘트 생성 단계에서,
상기 복수의 그래디언트 히스토그램 정보를 이용하여 생성된 상기 대상 픽셀에 대한 평균 히스토그램(average histogram) 정보, 편차 히스토그램(deviation histogram) 정보, 직교 그룹 차 평균 히스토그램(orthogonal group difference average histogram) 정보, 및 대치 그룹 차 평균 히스토그램(counter group difference average histogram) 정보를 이용하여 상기 제1 SIFT 모멘트 및 상기 제2 SIFT 모멘트를 생성하는,
영상 매칭 방법.A SIFT descriptor generating a first SIFT descriptor for each pixel of the first image and a second SIFT descriptor for each pixel of the second image using a SIFT algorithm;
Generating a SIFT moment for generating a first SIFT moment for the first SIFT descriptor and a second SIFT moment for the second SIFT descriptor using a Huoments algorithm; And
Wherein a difference between the first SIFT descriptor and the second SIFT descriptor and a cost value corresponding to a difference between the first SIFT moment and the second SIFT moment are minimum values, A matching step of matching each pixel,
Wherein the first SIFT descriptor and the second SIFT descriptor each include a plurality of gradient histogram information for a plurality of peripheral regions of a target pixel,
In the SIFT moment generation step,
An average histogram information, a deviation histogram information, an orthogonal group difference average histogram information, and a substitution group difference histogram information for the target pixel generated using the plurality of gradient histogram information, And generating the first SIFT moment and the second SIFT moment using counter group difference average histogram information,
Image matching method.
상기 SIFT 모멘트 생성 단계에서,
상기 평균 히스토그램 정보, 상기 편차 히스토그램 정보, 상기 직교 그룹 차 평균 히스토그램 정보, 및 상기 대치 그룹 차 평균 히스토그램 정보는 각각 N 개 배향에 대한 N 차원의 값을 갖고,
상기 N은 자연수인,
영상 매칭 방법.The method according to claim 1,
In the SIFT moment generation step,
Wherein the average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the substitution group difference average histogram information each have an N-dimensional value for N orientations,
Wherein N is a natural number,
Image matching method.
상기 SIFT 모멘트 생성 단계에서,
상기 휴 모멘트 알고리즘의 픽셀 좌표 입력 값은 상기 N 개 배향에 대한 좌표 값으로 설정되고,
상기 휴 모멘트 알고리즘의 픽셀 강도 입력 값은 상기 N 차원에 대한 누적 값으로 설정되는,
영상 매칭 방법.The method of claim 3,
In the SIFT moment generation step,
Wherein the pixel coordinate input value of the huma moment algorithm is set to a coordinate value for the N orientations,
Wherein the pixel intensity input value of the huma moment algorithm is set to an accumulated value for the N dimension,
Image matching method.
상기 SIFT 모멘트 생성 단계에서,
상기 평균 히스토그램 정보, 상기 편차 히스토그램 정보, 상기 직교 그룹 차 평균 히스토그램 정보, 및 상기 대치 그룹 차 평균 히스토그램 정보로부터 각각 M 개의 휴 모멘트 값이 도출되고,
상기 제1 SIFT 모멘트 및 상기 제2 SIFT 모멘트는 각각 상기 휴 모멘트 값을 포함하는 4M 차원의 값을 갖고,
상기 M은 자연수인,
영상 매칭 방법.5. The method of claim 4,
In the SIFT moment generation step,
M hypothermic values are respectively derived from the average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the substitution group difference average histogram information,
Wherein the first SIFT moment and the second SIFT moment each have a 4M dimension value including the huma moment value,
Wherein M is a natural number,
Image matching method.
상기 평균 히스토그램 정보는
상기 복수의 그래디언트 히스토그램 정보 각각의 N 개 배향에 대한 N 차원의 값의 평균 값인,
영상 매칭 방법.The method of claim 3,
The average histogram information
Wherein the average value of N-dimensional values for N orientations of each of the plurality of gradient histogram information,
Image matching method.
상기 평균 히스토그램 정보는
상기 대상 픽셀에 인접한 주변 영역에 대한 그래디언트 히스토그램 정보일수록 높은 가중치가 부여된,
영상 매칭 방법.The method according to claim 6,
The average histogram information
The gradient histogram information about the neighboring region adjacent to the target pixel is given a higher weight,
Image matching method.
상기 편차 히스토그램 정보는
상기 복수의 그래디언트 히스토그램 정보 각각의 N 개 배향에 대한 N 차원의 값의 편차 값인,
영상 매칭 방법.The method of claim 3,
The deviation histogram information
And a difference value of an N-dimensional value with respect to N orientations of each of the plurality of gradient histogram information,
Image matching method.
상기 편차 히스토그램 정보는
상기 대상 픽셀에 인접한 영역에 대한 그래디언트 히스토그램 정보일수록 높은 가중치가 부여된,
영상 매칭 방법.9. The method of claim 8,
The deviation histogram information
Wherein the gradation histogram information for the region adjacent to the target pixel is given a higher weight,
Image matching method.
상기 직교 그룹 차 평균 히스토그램 정보는
직교 그룹을 이루는 3 개의 주변 영역의 그래디언트 히스토그램 정보의 차이 값에 대해서, 복수의 직교 그룹에 대한 평균 값인,
영상 매칭 방법.The method of claim 3,
The orthogonal group difference average histogram information
Which is an average value for a plurality of orthogonal groups, with respect to a difference value of gradient histogram information of three surrounding regions constituting an orthogonal group,
Image matching method.
상기 직교 그룹 차 평균 히스토그램 정보는
상기 직교 그룹을 이루는 3 개의 주변 영역 중 이등변 삼각형의 꼭지각에 해당하는 주변 영역에 대해 가장 높은 가중치가 부여된,
영상 매칭 방법.11. The method of claim 10,
The orthogonal group difference average histogram information
And a weighting unit that assigns a weight to a peripheral region corresponding to an apex angle of an isosceles triangle among three surrounding regions constituting the orthogonal group,
Image matching method.
상기 대치 그룹 차 평균 히스토그램 정보는
대치 그룹을 이루는 4 개의 주변 영역의 그래디언트 히스토그램 정보의 차이 값에 대해서, 복수의 대치 그룹에 대한 평균 값인,
영상 매칭 방법.The method of claim 3,
The replacement group difference average histogram information
Which is an average value for a plurality of substitution groups, with respect to the difference value of the gradient histogram information of the four surrounding regions constituting the substitution group,
Image matching method.
상기 대치 그룹 차 평균 히스토그램 정보는
상기 대치 그룹을 이루는 4 개의 주변 영역 중 단독으로 이격된 주변 영역에 가장 높은 가중치가 부여된,
영상 매칭 방법.13. The method of claim 12,
The replacement group difference average histogram information
And a weighting unit for weighting the neighboring areas of the four neighboring areas,
Image matching method.
휴 모멘트 알고리즘을 이용하여, 상기 제1 SIFT 기술자에 대한 제1 SIFT 모멘트 및 상기 제2 SIFT 기술자에 대한 제2 SIFT 모멘트를 생성하는 SIFT 모멘트 생성부; 및
상기 제1 SIFT 기술자 및 상기 제2 SIFT 기술자의 차이 및 상기 제1 SIFT 모멘트 및 상기 제2 SIFT 모멘트의 차이에 대응하는 비용 값이 최소 값이 되도록 상기 제1 영상의 각 픽셀과 상기 제2 영상의 각 픽셀을 매칭하는 매칭부를 포함하되,
상기 제1 SIFT 기술자 및 상기 제2 SIFT 기술자는 각각 대상 픽셀의 복수의 주변 영역에 대한 복수의 그래디언트 히스토그램 정보를 포함하고,
상기 SIFT 모멘트 생성부는
상기 복수의 그래디언트 히스토그램 정보를 이용하여 생성된 상기 대상 픽셀에 대한 평균 히스토그램 정보, 편차 히스토그램 정보, 직교 그룹 차 평균 히스토그램 정보, 및 대치 그룹 차 평균 히스토그램 정보를 이용하여 상기 제1 SIFT 모멘트 및 상기 제2 SIFT 모멘트를 생성하는,
영상 매칭 장치.A SIFT descriptor generator for generating a first SIFT descriptor for each pixel of the first image and a second SIFT descriptor for each pixel of the second image using the SIFT algorithm;
A SIFT moment generator for generating a first SIFT moment for the first SIFT descriptor and a second SIFT moment for the second SIFT descriptor using the hight moment algorithm; And
Wherein a difference between the first SIFT descriptor and the second SIFT descriptor and a cost value corresponding to a difference between the first SIFT moment and the second SIFT moment are minimum values, And a matching unit for matching each pixel,
Wherein the first SIFT descriptor and the second SIFT descriptor each include a plurality of gradient histogram information for a plurality of peripheral regions of a target pixel,
The SIFT moment generator
The first SIFT moment and the second SIFT moment using the average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the substitution group difference average histogram information for the target pixel generated using the plurality of gradient histogram information, Generating a SIFT moment,
Image matching device.
상기 평균 히스토그램 정보, 상기 편차 히스토그램 정보, 상기 직교 그룹 차 평균 히스토그램 정보, 및 상기 대치 그룹 차 평균 히스토그램 정보는 각각 N 개 배향에 대한 N 차원의 값을 갖고,
상기 N은 자연수인,
영상 매칭 장치.15. The method of claim 14,
Wherein the average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the substitution group difference average histogram information each have an N-dimensional value for N orientations,
Wherein N is a natural number,
Image matching device.
상기 SIFT 모멘트 생성부는
상기 휴 모멘트 알고리즘의 픽셀 좌표 입력 값으로 상기 N 개 배향에 대한 좌표 값을 설정하고,
상기 휴 모멘트 알고리즘의 픽셀 강도 입력 값으로 상기 N 차원에 대한 누적 값을 설정하는,
영상 매칭 장치.17. The method of claim 16,
The SIFT moment generator
Setting coordinate values for the N orientations as pixel coordinate input values of the huma moment algorithm,
And setting an accumulated value for the N dimension as a pixel intensity input value of the huma-
Image matching device.
상기 SIFT 모멘트 생성부는
상기 평균 히스토그램 정보, 상기 편차 히스토그램 정보, 상기 직교 그룹 차 평균 히스토그램 정보, 및 상기 대치 그룹 차 평균 히스토그램 정보로부터 각각 M 개의 휴 모멘트 값을 생성하고,
상기 제1 SIFT 모멘트 및 상기 제2 SIFT 모멘트는 각각 상기 휴 모멘트 값을 포함하는 4M 차원의 값을 갖고,
상기 M은 자연수인,
영상 매칭 장치.18. The method of claim 17,
The SIFT moment generator
M Moment values are respectively generated from the average histogram information, the deviation histogram information, the orthogonal group difference average histogram information, and the substitution group difference average histogram information,
Wherein the first SIFT moment and the second SIFT moment each have a 4M dimension value including the huma moment value,
Wherein M is a natural number,
Image matching device.
상기 평균 히스토그램 정보는
상기 복수의 그래디언트 히스토그램 정보 각각의 N 개 배향에 대한 N 차원의 값의 평균 값인,
영상 매칭 장치.17. The method of claim 16,
The average histogram information
Wherein the average value of N-dimensional values for N orientations of each of the plurality of gradient histogram information,
Image matching device.
상기 편차 히스토그램 정보는
상기 복수의 그래디언트 히스토그램 정보 각각의 N 개 배향에 대한 N 차원의 값의 편차 값인,
영상 매칭 장치.17. The method of claim 16,
The deviation histogram information
And a difference value of an N-dimensional value with respect to N orientations of each of the plurality of gradient histogram information,
Image matching device.
상기 직교 그룹 차 평균 히스토그램 정보는
직교 그룹을 이루는 3 개의 주변 영역의 그래디언트 히스토그램 정보의 차이 값에 대해서, 복수의 직교 그룹에 대한 평균 값인,
영상 매칭 장치.17. The method of claim 16,
The orthogonal group difference average histogram information
Which is an average value for a plurality of orthogonal groups, with respect to a difference value of gradient histogram information of three surrounding regions constituting an orthogonal group,
Image matching device.
상기 대치 그룹 차 평균 히스토그램 정보는
대치 그룹을 이루는 4 개의 주변 영역의 그래디언트 히스토그램 정보의 차이 값에 대해서, 복수의 대치 그룹에 대한 평균 값인,
영상 매칭 장치.
17. The method of claim 16,
The replacement group difference average histogram information
Which is an average value for a plurality of substitution groups, with respect to the difference value of the gradient histogram information of the four surrounding regions constituting the substitution group,
Image matching device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160182008A KR101849605B1 (en) | 2016-12-29 | 2016-12-29 | Image matching method and image matching device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160182008A KR101849605B1 (en) | 2016-12-29 | 2016-12-29 | Image matching method and image matching device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101849605B1 true KR101849605B1 (en) | 2018-04-18 |
Family
ID=62082834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160182008A KR101849605B1 (en) | 2016-12-29 | 2016-12-29 | Image matching method and image matching device |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101849605B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200095251A (en) | 2019-01-31 | 2020-08-10 | 연세대학교 산학협력단 | Apparatus and method for estimating optical flow and disparity via cycle consistency |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100848034B1 (en) * | 2007-03-23 | 2008-07-23 | 한양대학교 산학협력단 | Moment-based local descriptor using scale invariant feature |
| JP2016122405A (en) | 2014-12-25 | 2016-07-07 | 日本電信電話株式会社 | Pattern association method and device |
-
2016
- 2016-12-29 KR KR1020160182008A patent/KR101849605B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100848034B1 (en) * | 2007-03-23 | 2008-07-23 | 한양대학교 산학협력단 | Moment-based local descriptor using scale invariant feature |
| JP2016122405A (en) | 2014-12-25 | 2016-07-07 | 日本電信電話株式会社 | Pattern association method and device |
Non-Patent Citations (1)
| Title |
|---|
| 이경아 외 1 명, "Self-Organizing Maps를 이용한 Hu Invariant Moments의 디지털 이미지 분류 방법", 2012 정보 및 제어 심포지엄 논문집, 2012.4.27.~28., pp.179-180(2012.4.27.)* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200095251A (en) | 2019-01-31 | 2020-08-10 | 연세대학교 산학협력단 | Apparatus and method for estimating optical flow and disparity via cycle consistency |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10262238B2 (en) | Panoramic camera systems | |
| Lin et al. | Adaptive as-natural-as-possible image stitching | |
| CN111435438A (en) | Graphical fiducial mark recognition for augmented reality, virtual reality and robotics | |
| US9400939B2 (en) | System and method for relating corresponding points in images with different viewing angles | |
| US20160203305A1 (en) | Method and apparatus for authenticating user | |
| WO2016054779A1 (en) | Spatial pyramid pooling networks for image processing | |
| US20150379371A1 (en) | Object Detection Utilizing Geometric Information Fused With Image Data | |
| JP5261501B2 (en) | Permanent visual scene and object recognition | |
| JP2017519277A (en) | Image feature detection using edge vectors | |
| WO2016144578A1 (en) | Methods and systems for generating enhanced images using multi-frame processing | |
| US8442327B2 (en) | Application of classifiers to sub-sampled integral images for detecting faces in images | |
| US20170223333A1 (en) | Method and apparatus for processing binocular disparity image | |
| JP2017167817A (en) | Image processing device, image processing method and image processing program | |
| US10600202B2 (en) | Information processing device and method, and program | |
| JP2018045302A (en) | Information processing device, information processing method and program | |
| KR101868740B1 (en) | Apparatus and method for generating panorama image | |
| KR101849605B1 (en) | Image matching method and image matching device | |
| US9679219B2 (en) | Image feature classification | |
| JP6937782B2 (en) | Image processing method and device | |
| Costa et al. | New dissimilarity measures for image phylogeny reconstruction | |
| US9536144B2 (en) | Automatic image classification | |
| CN115953464A (en) | Global positioning method and device | |
| JP6218237B2 (en) | Image conversion program, apparatus and method for parallelizing photographed image | |
| KR101627974B1 (en) | Method and Apparatus for Producing of Blur Invariant Image Feature Descriptor | |
| JP7294702B2 (en) | Image processing device, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |