KR101276314B1 - Matching point extraction system using feature point of lsh algorithm and thereof - Google Patents
Matching point extraction system using feature point of lsh algorithm and thereof Download PDFInfo
- Publication number
- KR101276314B1 KR101276314B1 KR1020130021449A KR20130021449A KR101276314B1 KR 101276314 B1 KR101276314 B1 KR 101276314B1 KR 1020130021449 A KR1020130021449 A KR 1020130021449A KR 20130021449 A KR20130021449 A KR 20130021449A KR 101276314 B1 KR101276314 B1 KR 101276314B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- extracting
- matching
- feature point
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 영상정보디비에 등록되어 있는 영상 정보에서 LSH 알고리즘을 이용하여 매칭되는 영상을 추출하고, 추출된 영상과 카메라에서 촬영된 영상의 특징점을 이용하여 매칭을 하기 위해 촬영된 영상에서 매칭이 되는 특징 포인트를 추출하며, 카메라에서 촬영된 영상에서 추출된 특징점의 형식과 영상정보디비에 등록되어 있는 영상을 조회하여 매칭되는 영상을 추출하는 특징점의 형식을 일치시키고 각각의 특징점에 해당되는 좌표를 추출하여 호모그라피 값을 구하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법에 관한 것이다.
The present invention relates to a matching point extraction system and a method using a feature point of the data query result of the LS algorithm, and more particularly, to extract a matched image using the LSH algorithm from the image information registered in the image information DB In order to match the extracted image with the feature point of the image taken by the camera, a matching feature point is extracted from the captured image and registered in the format and image information DB of the feature point extracted from the image taken by the camera. Matching point extraction system and method using the feature points of data search result of LS algorithm that matches the format of feature points to extract the matching image by extracting the matching images and extracts the coordinates corresponding to each feature point It is about.
증강현실(Augmented Reality)는 현실 세계의 정보 위에 가상의 부가 정보를 합쳐 새로운 환경을 만들어 보여준다. Augmented Reality combines virtual additional information with information from the real world to create a new environment.
증강현실은 현실 정보 위에 원하는 가상의 정보를 정합함(register)으로써 현실 정보와 가상의 정보를 동시에 나타내어 준다.Augmented reality displays real information and virtual information at the same time by registering desired virtual information on the real information.
증강 현실의 다양한 분야에서 이 기술을 응용하려는 움직임을 보여 왔으며 최근에는 주로 모바일 기기 성능의 향상과 더불어 부각되고 있다.There has been a movement to apply this technology in various fields of augmented reality, and in recent years, it is mainly focused on improving mobile device performance.
기존의 증강현실 시스템에서는 실사영상으로부터 추적 대상이 되는 이미지를 인지하고, 그에 따른 상대적 위치, 방향 등을 영상 입력 장치로부터 상대적 데이터를 얻어낸다. Existing augmented reality system recognizes the image to be tracked from the live image and obtains relative data from the image input device.
이를 바탕으로 가상의 객체가 보여질 형태 및 위치를 예측하여 이를 실사영상에 정합하는 방식을 사용한다. Based on this, we predict the shape and location of the virtual object and match it to the real image.
대상의 이미지의 인지와 이러한 상대적 위치를 쉽게 계산하기 위해서 이미 규정한 형식의 모양으로 되어 있는 마커를 이용하는 방식이 좀 더 많이 이용되고 있다.In order to easily recognize the image of the object and to calculate the relative position, a method using a marker in the form of a prescribed form is being used more and more.
그러나 증강현실의 트래킹의 대상이 되는 객체가 미리 정해진 패턴인 마커를 보유하고 있어야 한다는 점에서 현실적 제약이 많이 따른다.However, there are many practical limitations in that the object to be augmented reality tracking must have a predetermined pattern of markers.
따라서 이와 같은 마커가 필요없는 비마커 기반의 연구가 활발히 진행 중이나 트래킹시 외부적 요인에 많이 영향을 받는다는 점과 트래킹시 비교 대상이 기하급수적으로 늘어나는 점 등 여러 가지 어려움이 있다.Therefore, there are various difficulties such as non-marker-based research that does not require such markers, but it is affected by external factors during tracking and exponential increase in tracking.
즉, 원격지에 구성된 DB에 등록된 영상 정보와 사용자의 스마트폰에 구성된 카메라로 촬영된 영상 정보를 비교하기 위한 특징점과 인식된 서버에 등록되어 있는 영상과 스마트폰에서 촬영된 영상을 3차원 공간상의 한 평면을 바라보았을 때 실제 보여지는 2차원 평면 형태로 바꾸는 호모그라피 값을 추출하기 위해서는 특징점 형식이 달라서 호모그라피 값을 구하기 위해 카메라에서 촬영된 영상에 대한 특징점을 다시 추출해야 하는 중복 작업을 수행할 수밖에 없었다.That is, a feature point for comparing image information registered in a DB configured at a remote location with image information captured by a camera configured in a user's smartphone, an image registered in a recognized server, and an image captured by a smartphone in a 3D space In order to extract a homograph value that changes to a two-dimensional plane form when viewed from one plane, the feature point format is different so that a duplicate operation that requires re-extracting the feature point on the image taken by the camera to obtain the homograph value is performed. There was no choice but to.
따라서, 해당 정보를 출력하기 위한 과정이 복잡해지며, 네트워크 트래픽 발생시 분석 작업 및 처리 작업 시간이 길어져 신속한 정보 제공이 불가능한 상태가 된다.
Therefore, the process for outputting the corresponding information is complicated, and the analysis and processing time is long when network traffic is generated, which makes it impossible to provide information quickly.
따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 목적은 영상정보디비에 등록되어 있는 영상 정보에서 LSH 알고리즘을 이용하여 매칭되는 영상을 추출하고, 추출된 영상과 카메라에서 촬영된 영상의 특징점을 이용하여 매칭을 하기 위해 촬영된 영상에서 매칭이 되는 특징 포인트를 추출하며, 카메라에서 촬영된 영상에서 추출된 특징점의 형식과 영상정보디비에 등록되어 있는 영상을 조회하여 매칭되는 영상을 추출하는 특징점의 형식을 일치시키고 각각의 특징점에 해당되는 좌표를 추출하여 호모그라피 값을 구하도록 하여 카메라에서 촬영된 영상에 대한 특징점을 다시 추출해야 하는 중복 작업을 제거하도록 하는데 있다.
Therefore, the present invention has been proposed in view of the above-described problems of the prior art, and an object of the present invention is to extract a matched image using the LSH algorithm from image information registered in the image information DB, and extract the extracted image and the camera. Extracts the feature points that are matched from the captured image for matching by using the feature points of the captured images, and matches the form of the feature points extracted from the images captured by the camera and the images registered in the image information DB. To match the format of the feature point to extract the image to extract the coordinates corresponding to each feature point to obtain a homograph value to eliminate the redundant work that needs to extract the feature point for the image taken by the camera.
본 발명이 해결하고자 하는 과제를 달성하기 위하여,In order to achieve the object of the present invention,
본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템은,Matching point extraction system using the feature points of the data lookup results of the LS algorithm according to an embodiment of the present invention,
영상 정보를 획득하기 위한 카메라부(210)와,A
상기 카메라부를 통해 획득된 영상의 특징점을 추출하기 위한 영상특징점추출부(220)와,An image feature
상기 카메라부를 통해 촬영된 영상 서술자를 추출하기 위한 영상서술자추출부(230)를 포함하여 구성되는 모바일단말기(200)와;A
영상 정보를 저장하고 있는 영상정보디비(110)와,A
LSH 알고리즘을 이용하여 상기 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일영상존재판단부(120)와,The same image
상기 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 특징점형식변환부(130)와,A feature
상기 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출부(140)와,Matching
상기 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출부(150)를 포함하여 구성되는 매칭포인트추출서버(100);를 포함하여 구성되어 본 발명의 과제를 해결하게 된다.
And a matching
이상의 구성 및 작용을 지니는 본 발명에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법은,The matching point extraction system and method using the feature points of the data lookup results of the LS algorithm according to the present invention having the above configuration and operation,
영상정보디비에 등록되어 있는 영상 정보에서 LSH 알고리즘을 이용하여 매칭되는 영상을 추출하고, 추출된 영상과 카메라에서 촬영된 영상의 특징점을 이용하여 매칭을 하기 위해 촬영된 영상에서 매칭이 되는 특징 포인트를 추출하며, 카메라에서 촬영된 영상에서 추출된 특징점의 형식과 영상정보디비에 등록되어 있는 영상을 조회하여 매칭되는 영상을 추출하는 특징점의 형식을 일치시키고 각각의 특징점에 해당되는 좌표를 추출하여 호모그라피 값을 구하도록 하여 카메라에서 촬영된 영상에 대한 특징점을 다시 추출해야 하는 중복 작업을 제거하는 효과를 제공하게 된다.
Extracts a matching image from the image information registered in the image information DB using the LSH algorithm, and extracts the matching feature point from the captured image for matching using the feature point of the extracted image and the image captured by the camera. Extracts the matched format of the feature point extracted from the image captured by the camera and the image registered in the image information DB, and matches the format of the feature point to extract the matching image, and extracts the coordinates corresponding to each feature point. By obtaining the value, it provides the effect of eliminating the duplication of having to re-extract the feature points of the image captured by the camera.
도 1은 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템의 전체 구성도이다.
도 2는 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템의 모바일단말기 블록도이다.
도 3은 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템의 매칭포인트추출서버 블록도이다.
도 4는 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출 방법을 나타낸 흐름도이다.1 is an overall configuration diagram of a matching point extraction system using the feature points of the data lookup results of the LS algorithm according to an embodiment of the present invention.
2 is a block diagram of a mobile terminal of a matching point extraction system using the feature points of the data query result of the LS algorithm according to an embodiment of the present invention.
3 is a block diagram of a matching point extraction server of the matching point extraction system using the feature points of the data query result of the LS algorithm according to an embodiment of the present invention.
4 is a flowchart illustrating a method of extracting a matching point using feature points of a data query result of an LS algorithm according to an embodiment of the present invention.
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템은,Matching point extraction system using the feature points of the data lookup results of the LS algorithm according to an embodiment of the present invention for achieving the above object,
영상 정보를 획득하기 위한 카메라부(210)와,A
상기 카메라부를 통해 획득된 영상의 특징점을 추출하기 위한 영상특징점추출부(220)와,An image feature
상기 카메라부를 통해 촬영된 영상 서술자를 추출하기 위한 영상서술자추출부(230)를 포함하여 구성되는 모바일단말기(200)와;A
영상 정보를 저장하고 있는 영상정보디비(110)와,A
LSH 알고리즘을 이용하여 상기 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일영상존재판단부(120)와,The same image
상기 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 특징점형식변환부(130)와,A feature
상기 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출부(140)와,Matching
상기 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출부(150)를 포함하여 구성되는 매칭포인트추출서버(100);를 포함하여 구성되는 것을 특징으로 한다.And a matching
이때, 상기 동일영상존재판단부(120)는,At this time, the same image
cvLSHQuery 를 이용하여 영상을 조회하는 것을 특징으로 한다.It is characterized by searching video using cvLSHQuery.
이때, 상기 특징점형식변환부(130)는,At this time, the feature point
특징점을 CvSeq 형식을 이용하여 조회를 하고, CvSeq 데이터에서 CvSURFPoint 형식을 이용하여 포인트 좌표를 추출하는 매칭 포인트 추출을 위한 형식으로 변환하는 것을 특징으로 한다.The feature point is searched using the CvSeq format, and the feature point is converted into a format for extracting a matching point that extracts the point coordinates from the CvSeq data using the CvSURFPoint format.
이때, 상기 매칭포인트추출부(140)는,At this time, the matching
LSH를 이용하여 일치되는 영상 정보 확인을 위하여 추출된 정보에서 순번에 저장된 값이 0 이상의 값을 가지고 있는 경우를 비교하여 인식된 좌표로 각각 영상정보디비의 영상 특징점과 카메라 촬영 영상의 특징점을 매칭 포인트로 추출하는 것을 특징으로 한다.Matching point of image point of image information and feature point of camera shot image by coordinates recognized by comparing the case where the stored values in sequence are 0 or more from extracted information to confirm matching image information using LSH It is characterized in that the extraction.
한편, 본 발명인 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출 방법은,On the other hand, the matching point extraction method using the feature points of the data query results of the LS algorithm of the present invention,
모바일단말기(200)의 카메라부(210)로 영상을 촬영하는 영상촬영단계(S100)와;An image capturing step (S100) of capturing an image with the
영상특징점추출부(220)에 의해 카메라부를 통해 획득된 영상의 특징점을 추출하는 영상특징점추출단계(S110)와;An image feature point extraction step (S110) of extracting feature points of an image acquired through the camera unit by the image
영상서술자추출부(230)에 의해 카메라부를 통해 촬영된 영상 서술자를 추출하는 영상서술자추출단계(S120)와;An image narrator extracting step (S120) of extracting an image descriptor photographed through the camera unit by the image
동일영상존재판단부(120)에 의해 LSH 알고리즘을 이용하여 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일정보존재유무판단단계(S130)와;Comparing the descriptor information stored in the image information DB with the photographed image descriptor information by the same image
특징점형식변환부(130)에 의해 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 영상특징점변환단계(S140)와;An image feature point converting step (S140) for converting the feature point format of the image photographed by the camera unit by the feature point
매칭포인트추출부(140)에 의해 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출단계(S150)와;Matching point extraction step (S150) for extracting the feature point of the image stored in the image information DB by the matching
호모그라피값추출부(150)에 의해 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출단계(S160);를 포함하여 이루어지는 것을 특징으로 한다.Homograph value extraction step (S160) for extracting a homograph value of the image taken through the camera unit by reference to the matching point by the homograph
이하, 본 발명에 의한 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법의 실시예를 통해 상세히 설명하도록 한다.Hereinafter, a description will be given in detail through an embodiment of a matching point extraction system and a method using a feature point of a data lookup result of the LS algorithm according to the present invention.
도 1은 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템의 전체 구성도이다.1 is an overall configuration diagram of a matching point extraction system using the feature points of the data lookup results of the LS algorithm according to an embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템의 모바일단말기 블록도이다.2 is a block diagram of a mobile terminal of a matching point extraction system using the feature points of the data query result of the LS algorithm according to an embodiment of the present invention.
도 3은 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템의 매칭포인트추출서버 블록도이다.3 is a block diagram of a matching point extraction server of the matching point extraction system using the feature points of the data query result of the LS algorithm according to an embodiment of the present invention.
도 1 내지 도 3에 도시한 바와 같이, 본 발명의 시스템은, As shown in Figures 1 to 3, the system of the present invention,
영상 정보를 획득하기 위한 카메라부(210)와,A
상기 카메라부를 통해 획득된 영상의 특징점을 추출하기 위한 영상특징점추출부(220)와,An image feature
상기 카메라부를 통해 촬영된 영상 서술자를 추출하기 위한 영상서술자추출부(230)를 포함하여 구성되는 모바일단말기(200)와;A
영상 정보를 저장하고 있는 영상정보디비(110)와,A
LSH 알고리즘을 이용하여 상기 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일영상존재판단부(120)와,The same image
상기 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 특징점형식변환부(130)와,A feature
상기 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출부(140)와,Matching
상기 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출부(150)를 포함하여 구성되는 매칭포인트추출서버(100);를 포함하여 구성하게 된다.And a matching
상기 모바일단말기는 본 발명의 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출 정보를 제공받기 위하여 서버와 통신할 수 있는 단말기로, 예를 들면, 모바일폰, 스마트폰, 태블릿 컴퓨터, 노트북 등의 이동 통신 단말기일 수 있다. The mobile terminal is a terminal that can communicate with the server to receive the matching point extraction information using the feature points of the data lookup results of the LS algorithm of the present invention, for example, a mobile phone, a smartphone, a tablet computer, a laptop, etc. May be a mobile communication terminal.
또한, 상기 매칭포인트추출서버(100)는 무선 광대역 네트워크를 통하여 네트워크에 접속하여 상기 모바일단말기와 연결될 수 있다.In addition, the matching
도 2에 도시한 바와 같이, 상기 모바일단말기(200)는,As shown in Figure 2, the
영상 정보를 획득하기 위한 카메라부(210)와,A
상기 카메라부를 통해 획득된 영상의 특징점을 추출하기 위한 영상특징점추출부(220)와,An image feature
상기 카메라부를 통해 촬영된 영상 서술자를 추출하기 위한 영상서술자추출부(230)를 포함하여 구성되게 된다.It is configured to include an image
즉, 카메라부(210)를 통해 영상 정보를 획득하며, 영상특징점추출부(220)에 의해 카메라부를 통해 획득된 영상의 특징점을 추출하게 된다.That is, image information is acquired through the
이때, 영상서술자추출부(230)를 통해 카메라부를 통해 촬영된 영상 서술자를 동시에 추출하게 되는 것이다. At this time, the image
한편, 도 3에 도시한 바와 같이, 상기 매칭포인트추출서버(100)는,On the other hand, as shown in Figure 3, the matching
영상 정보를 저장하고 있는 영상정보디비(110)와,A
LSH 알고리즘을 이용하여 상기 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일영상존재판단부(120)와,The same image
상기 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 특징점형식변환부(130)와,A feature
상기 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출부(140)와,Matching
상기 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출부(150);를 포함하여 구성되게 된다.And a homography
상기 동일영상존재판단부(120)는 LSH 알고리즘을 이용하여 상기 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하게 된다.The same image
이때, 본 발명의 특징점형식변환부(130)는 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하게 된다.In this case, the feature point
즉, 카메라부에서 촬영된 영상에서 추출된 특징점의 형식과 영상정보디비에 저장된 영상을 조회하여 매칭되는 영상을 추출하는 특징점의 형식을 일치시키고 각각의 특징점에 해당되는 좌표값을 추출하여 호모그라피 값을 구하는 목적을 달성하기 위한 것이다.That is, the format of the feature point extracted from the image captured by the camera unit and the format of the feature point for searching the image stored in the image information DB are matched and the coordinate values corresponding to each feature point are extracted. It is to achieve the purpose of obtaining.
따라서, 특징점 형식이 달라서 호모그라피 값을 구하기 위하여 카메라부에서 촬영된 영상에 대한 특징점을 다시 추출해야 하는 중복 작업을 줄이는 효과를 제공할 수 있게 되는 것이다.Therefore, the feature point format is different, so that it is possible to provide an effect of reducing duplication of having to re-extract feature points for the image photographed by the camera unit in order to obtain a homograph value.
구체적으로, cvLSHQuery 를 이용한 영상 조회시, 특징점의 형식은 CvSeq 형식을 이용하여 조회를 하고, 영상 매치 포인트를 추출하기 위해서는 특징점의 형식이 Point2f 형식이다. In detail, when searching an image using cvLSHQuery, the feature point is searched using the CvSeq format, and the feature point format is the Point2f format to extract the video match point.
상기 CvSeq 데이터에서 CvSURFPoint 형식을 이용하여 포인트 좌표를 추출하는 매칭 포인트 추출을 위한 형식을 변환하는 기능을 담당하는 것이다.It is responsible for the function of converting the format for extracting the matching point extracting the point coordinates using the CvSURFPoint format from the CvSeq data.
이후, 상기 매칭포인트추출부(140)는 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하게 된다.Thereafter, the matching
구체적으로, LSH를 이용한 일치되는 영상 정보 확인시 추출된 정보에서 순번은 카메라 촬영 특징점 좌표 순번을 의미하고, LSH를 이용한 일치되는 영상 정보 확인시 추출된 정보의 순번에 해당되는 값은 영상정보디비에 저장된 영상 특징점 좌표의 순번과 동일하다. Specifically, the sequence number in the extracted information when checking the matching image information using the LSH means the sequence number coordinates of the camera shooting feature, and the value corresponding to the sequence number of the extracted information when checking the matching image information using the LSH is assigned to the image information DB. Same as the sequence number of the stored image feature point coordinates.
매칭되는 정보는 영상정보디비에 저장된 영상 아이디와 LSH를 이용한 일치되는 영상 정보 확인시 추출된 영상 아이디가 같고, LSH를 이용한 일치되는 영상 정보 확인시 추출된 정보에서 순번에 저장된 값이 '0' 이상의 값을 가지고 있는 경우를 비교하여 인식된 좌표로 각각 영상정보디비의 영상 특징점과 카메라 촬영 특징점을 매칭 포인트로 추출하는 것이다.The matching information is the same as the video ID stored in the video information DB and the extracted video ID when checking the matching video information using the LSH, and the value stored sequentially in the extracted information when checking the matching video information using the LSH is greater than or equal to '0'. In this case, the image feature points and the camera photographing feature points of the image information DB are extracted as matching points.
이후, 호모그라피값추출부(150)는 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하게 되는 것이다.Thereafter, the
이후 호모그라피 값을 이용하여 증강현실을 제공하는 과정은 널리 알려진 기술이므로 상세한 설명은 생략하겠다.Since the process of providing augmented reality using a homography value is a well known technique, detailed description thereof will be omitted.
도 4는 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출 방법을 나타낸 흐름도이다.4 is a flowchart illustrating a method of extracting a matching point using feature points of a data query result of an LS algorithm according to an embodiment of the present invention.
도 4에 도시한 바와 같이, 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출 방법은,As shown in Figure 4, the matching point extraction method using the feature points of the data query results of the LS algorithm,
모바일단말기(200)의 카메라부(210)로 영상을 촬영하는 영상촬영단계(S100)와;An image capturing step (S100) of capturing an image with the
영상특징점추출부(220)에 의해 카메라부를 통해 획득된 영상의 특징점을 추출하는 영상특징점추출단계(S110)와;An image feature point extraction step (S110) of extracting feature points of an image acquired through the camera unit by the image
영상서술자추출부(230)에 의해 카메라부를 통해 촬영된 영상 서술자를 추출하는 영상서술자추출단계(S120)와;An image narrator extracting step (S120) of extracting an image descriptor photographed through the camera unit by the image
동일영상존재판단부(120)에 의해 LSH 알고리즘을 이용하여 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일정보존재유무판단단계(S130)와;Comparing the descriptor information stored in the image information DB with the photographed image descriptor information by the same image
특징점형식변환부(130)에 의해 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 영상특징점변환단계(S140)와;An image feature point converting step (S140) for converting the feature point format of the image photographed by the camera unit by the feature point
매칭포인트추출부(140)에 의해 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출단계(S150)와;Matching point extraction step (S150) for extracting the feature point of the image stored in the image information DB by the matching
호모그라피값추출부(150)에 의해 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출단계(S160);를 포함하여 이루어지는 것을 특징으로 한다.Homograph value extraction step (S160) for extracting a homograph value of the image taken through the camera unit by reference to the matching point by the homograph
즉, 모바일단말기(200)의 카메라부(210)로 영상을 촬영(S100)하게 되면, 영상특징점추출부(220)에 의해 카메라부를 통해 획득된 영상의 특징점을 추출(S110)하며, 영상서술자추출부(230)에 의해 카메라부를 통해 촬영된 영상 서술자를 추출(S120)하게 된다.That is, when the image is photographed by the
이후, 동일영상존재판단부(120)에 의해 LSH 알고리즘을 이용하여 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단(S130)하게 되고, 특징점형식변환부(130)에 의해 카메라부를 통해 촬영된 영상의 특징점 형식을 변환(S140)하게 된다.Thereafter, the same image
이후, 매칭포인트추출부(140)에 의해 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출(S150)한 후, 호모그라피값추출부(150)에 의해 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출(S160)함으로써, 종료되게 된다.Thereafter, the matching
상기와 같은 구성 및 동작을 통해 영상정보디비에 등록되어 있는 영상 정보에서 LSH 알고리즘을 이용하여 매칭되는 영상을 추출하고, 추출된 영상과 카메라에서 촬영된 영상의 특징점을 이용하여 매칭을 하기 위해 촬영된 영상에서 매칭이 되는 특징 포인트를 추출하며, 카메라에서 촬영된 영상에서 추출된 특징점의 형식과 영상정보디비에 등록되어 있는 영상을 조회하여 매칭되는 영상을 추출하는 특징점의 형식을 일치시키고 각각의 특징점에 해당되는 좌표를 추출하여 호모그라피 값을 구하도록 하여 카메라에서 촬영된 영상에 대한 특징점을 다시 추출해야 하는 중복 작업을 제거하는 효과를 제공하게 된다.Through the configuration and operation as described above, a matching image is extracted from the image information registered in the image information DB using the LSH algorithm, and photographed for matching using the feature points of the extracted image and the image taken by the camera. Extract the feature points that are matched in the image, match the format of the feature points extracted from the image captured by the camera with the format of the feature points to extract the matched image by searching the image registered in the image information DB, By extracting the corresponding coordinates to obtain a homograph value, it provides an effect of eliminating the duplication of the need to re-extract feature points for the image taken by the camera.
상기와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. Those skilled in the art to which the present invention pertains as described above may understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential features of the present invention. Therefore, the above-described embodiments are to be understood as illustrative in all respects and not restrictive.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
The scope of the invention is indicated by the following claims rather than the above description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the invention. do.
100 : 매칭포인트추출서버
200 : 모바일단말기100: matching point extraction server
200: mobile terminal
Claims (5)
영상 정보를 획득하기 위한 카메라부(210)와,
상기 카메라부를 통해 획득된 영상의 특징점을 추출하기 위한 영상특징점추출부(220)와,
상기 카메라부를 통해 촬영된 영상 서술자를 추출하기 위한 영상서술자추출부(230)를 포함하여 구성되는 모바일단말기(200)와;
영상 정보를 저장하고 있는 영상정보디비(110)와,
LSH 알고리즘을 이용하여 상기 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일영상존재판단부(120)와,
상기 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 특징점형식변환부(130)와,
상기 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출부(140)와,
상기 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출부(150)를 포함하여 구성되는 매칭포인트추출서버(100);를 포함하여 구성되는 것을 특징으로 하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템.
In the matching point extraction system using the feature points of the data lookup results of the LS algorithm,
A camera unit 210 for acquiring image information,
An image feature point extracting unit 220 for extracting feature points of an image obtained through the camera unit;
A mobile terminal 200 including an image narrator extracting unit 230 for extracting an image descriptor photographed through the camera unit;
A video information DB 110 for storing video information;
The same image existence determination unit 120 to determine whether the same information exists by comparing the descriptor information stored in the image information DB and the photographed image descriptor information by using the LSH algorithm,
A feature point format converter 130 for converting a feature point format of an image photographed through the camera unit;
Matching point extraction unit 140 for extracting the feature point of the image stored in the image information DB and the converted feature point of the image photographed through the camera unit as a matching point;
And a matching point extraction server (100) configured to include a homography value extracting unit (150) for extracting a homograph value of an image photographed through a camera unit with reference to the matching point. Matching point extraction system using feature points of data search result of LS algorithm.
동일영상존재판단부(120)는,
cvLSHQuery 를 이용하여 영상을 조회하는 것을 특징으로 하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템.
The method of claim 1,
The same image existence determination unit 120,
Matching point extraction system using the feature points of the data query result of the LS algorithm characterized by querying the image using cvLSHQuery.
상기 특징점형식변환부(130)는,
특징점을 CvSeq 형식을 이용하여 조회를 하고, CvSeq 데이터에서 CvSURFPoint 형식을 이용하여 포인트 좌표를 추출하는 매칭 포인트 추출을 위한 형식으로 변환하는 것을 특징으로 하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템.
The method of claim 1,
The feature point format conversion unit 130,
Matching points using the feature points of the data lookup result of the LS algorithm, characterized by querying the feature points using the CvSeq format, and converting the CvSeq data into a format for extracting the matching points using the CvSURFPoint format. Extraction system.
상기 매칭포인트추출부(140)는,
LSH를 이용하여 일치되는 영상 정보 확인을 위하여 추출된 정보에서 순번에 저장된 값이 0 이상의 값을 가지고 있는 경우를 비교하여 인식된 좌표로 각각 영상정보디비의 영상 특징점과 카메라 촬영 영상의 특징점을 매칭 포인트로 추출하는 것을 특징으로 하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템.
The method of claim 1,
The matching point extraction unit 140,
Matching point of image point of image information and feature point of camera shot image by coordinates recognized by comparing the case where the stored values in sequence are 0 or more from extracted information to confirm matching image information using LSH Matching point extraction system using the feature points of the data query results of the LS algorithm, characterized in that extracted by.
모바일단말기(200)의 카메라부(210)로 영상을 촬영하는 영상촬영단계(S100)와;
영상특징점추출부(220)에 의해 카메라부를 통해 획득된 영상의 특징점을 추출하는 영상특징점추출단계(S110)와;
영상서술자추출부(230)에 의해 카메라부를 통해 촬영된 영상 서술자를 추출하는 영상서술자추출단계(S120)와;
동일영상존재판단부(120)에 의해 LSH 알고리즘을 이용하여 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일정보존재유무판단단계(S130)와;
특징점형식변환부(130)에 의해 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 영상특징점변환단계(S140)와;
매칭포인트추출부(140)에 의해 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출단계(S150)와;
호모그라피값추출부(150)에 의해 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출단계(S160);를 포함하여 이루어지는 것을 특징으로 하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출 방법.
In the matching point extraction method using the feature points of the data query results of the LS algorithm,
An image capturing step (S100) of capturing an image with the camera unit 210 of the mobile terminal 200;
An image feature point extraction step (S110) of extracting feature points of an image acquired through the camera unit by the image feature point extractor 220;
An image narrator extracting step (S120) of extracting an image descriptor photographed through the camera unit by the image narrator extracting unit 230;
Comparing the descriptor information stored in the image information DB with the photographed image descriptor information by the same image existence determining unit 120 to determine whether the same information exists by using the LSH algorithm (S130);
An image feature point converting step (S140) for converting the feature point format of the image photographed by the camera unit by the feature point format converting unit 130;
Matching point extraction step (S150) for extracting the feature point of the image stored in the image information DB by the matching point extraction unit 140 and the transformed feature point of the image photographed through the camera unit as a matching point;
The homography value extraction step (S160) for extracting a homograph value of the image taken through the camera unit by reference to the matching point by the homograph value extraction unit 150; Matching point extraction method using feature points of data search results.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130021449A KR101276314B1 (en) | 2013-02-27 | 2013-02-27 | Matching point extraction system using feature point of lsh algorithm and thereof |
PCT/KR2013/011530 WO2014133251A1 (en) | 2013-02-27 | 2013-12-12 | Matching point extraction system using feature points of data inquiry result of lsh algorithm and method for same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130021449A KR101276314B1 (en) | 2013-02-27 | 2013-02-27 | Matching point extraction system using feature point of lsh algorithm and thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101276314B1 true KR101276314B1 (en) | 2013-06-18 |
Family
ID=48867267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130021449A KR101276314B1 (en) | 2013-02-27 | 2013-02-27 | Matching point extraction system using feature point of lsh algorithm and thereof |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101276314B1 (en) |
WO (1) | WO2014133251A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150058617A (en) * | 2013-11-18 | 2015-05-29 | 순천대학교 산학협력단 | System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality |
KR20220106567A (en) * | 2021-01-22 | 2022-07-29 | 한길씨앤씨 주식회사 | Image pose estimation system using feature point matching pair filtering and image pose estimation method using thereof |
US11438430B2 (en) | 2018-12-11 | 2022-09-06 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling same |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844667A (en) * | 2016-03-25 | 2016-08-10 | 中国矿业大学 | Structural target tracking method of compact color coding |
CN106295652A (en) * | 2016-07-27 | 2017-01-04 | 中测高科(北京)测绘工程技术有限责任公司 | A kind of linear feature matching process and system |
CN110059634B (en) * | 2019-04-19 | 2023-04-18 | 山东博昂信息科技有限公司 | Large-scene face snapshot method |
CN112183596B (en) * | 2020-09-21 | 2022-10-11 | 湖北大学 | Linear segment matching method and system combining local grid constraint and geometric constraint |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110016160A (en) * | 2009-08-11 | 2011-02-17 | 삼성전자주식회사 | Method and apparatus of feature extraction and image based localization method using the same |
KR20110064197A (en) * | 2009-12-07 | 2011-06-15 | 삼성전자주식회사 | Object recognition system and method the same |
KR20110077937A (en) * | 2009-12-30 | 2011-07-07 | 성균관대학교산학협력단 | Method for estimating real-time object pose by integrating tracking into recognition |
-
2013
- 2013-02-27 KR KR1020130021449A patent/KR101276314B1/en active IP Right Grant
- 2013-12-12 WO PCT/KR2013/011530 patent/WO2014133251A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110016160A (en) * | 2009-08-11 | 2011-02-17 | 삼성전자주식회사 | Method and apparatus of feature extraction and image based localization method using the same |
KR20110064197A (en) * | 2009-12-07 | 2011-06-15 | 삼성전자주식회사 | Object recognition system and method the same |
KR20110077937A (en) * | 2009-12-30 | 2011-07-07 | 성균관대학교산학협력단 | Method for estimating real-time object pose by integrating tracking into recognition |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150058617A (en) * | 2013-11-18 | 2015-05-29 | 순천대학교 산학협력단 | System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality |
KR102178975B1 (en) | 2013-11-18 | 2020-11-13 | 순천대학교 산학협력단 | System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality |
US11438430B2 (en) | 2018-12-11 | 2022-09-06 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling same |
KR20220106567A (en) * | 2021-01-22 | 2022-07-29 | 한길씨앤씨 주식회사 | Image pose estimation system using feature point matching pair filtering and image pose estimation method using thereof |
KR102577663B1 (en) | 2021-01-22 | 2023-09-13 | 한길씨앤씨 주식회사 | Image pose estimation system using feature point matching pair filtering and image pose estimation method using thereof |
Also Published As
Publication number | Publication date |
---|---|
WO2014133251A1 (en) | 2014-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101276314B1 (en) | Matching point extraction system using feature point of lsh algorithm and thereof | |
US10580206B2 (en) | Method and apparatus for constructing three-dimensional map | |
US20210233319A1 (en) | Context-aware tagging for augmented reality environments | |
CN110705574B (en) | Positioning method and device, equipment and storage medium | |
WO2019071664A1 (en) | Human face recognition method and apparatus combined with depth information, and storage medium | |
CN106303599B (en) | Information processing method, system and server | |
CN105184238A (en) | Human face recognition method and system | |
KR20160003066A (en) | Monocular visual slam with general and panorama camera movements | |
WO2021136386A1 (en) | Data processing method, terminal, and server | |
JP2012160047A (en) | Corresponding reference image retrieval device and method thereof, content superimposing apparatus, system, method, and computer program | |
KR20100114819A (en) | Method and device for implementing augmented reality in mobile environment | |
KR101462473B1 (en) | Search Method by Object Recognition on Image and Search Server thereof | |
CN112419388A (en) | Depth detection method and device, electronic equipment and computer readable storage medium | |
WO2017028674A1 (en) | Method and system for visually and remotely controlling touch-enabled device, and relevant device | |
TW202244680A (en) | Pose acquisition method, electronic equipment and storage medium | |
KR20150127503A (en) | Service providing system and method for recognizing object, apparatus and computer readable medium having computer program recorded therefor | |
CN111582240A (en) | Object quantity identification method, device, equipment and medium | |
CN114298902A (en) | Image alignment method and device, electronic equipment and storage medium | |
CN112257664A (en) | Image fusion method and device, computer equipment and storage medium | |
KR20130098470A (en) | Augmented reality - image retrieval system using layout descriptor and image feature | |
KR101586071B1 (en) | Apparatus for providing marker-less augmented reality service and photographing postion estimating method therefor | |
JP5536124B2 (en) | Image processing system and image processing method | |
WO2021164329A1 (en) | Image processing method and apparatus, and communication device and readable storage medium | |
CN113838151A (en) | Camera calibration method, device, equipment and medium | |
JP2015032256A (en) | Image processing device and database construction device therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160503 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170526 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190528 Year of fee payment: 7 |