WO2014133251A1 - 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법 - Google Patents

엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법 Download PDF

Info

Publication number
WO2014133251A1
WO2014133251A1 PCT/KR2013/011530 KR2013011530W WO2014133251A1 WO 2014133251 A1 WO2014133251 A1 WO 2014133251A1 KR 2013011530 W KR2013011530 W KR 2013011530W WO 2014133251 A1 WO2014133251 A1 WO 2014133251A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
extracting
matching
unit
information
Prior art date
Application number
PCT/KR2013/011530
Other languages
English (en)
French (fr)
Inventor
이재영
온기원
이동희
Original Assignee
주식회사 케이쓰리아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이쓰리아이 filed Critical 주식회사 케이쓰리아이
Publication of WO2014133251A1 publication Critical patent/WO2014133251A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Definitions

  • the present invention relates to a matching point extraction system and a method using a feature point of the data query result of the LS algorithm, and more particularly, to extract a matched image using the LSH algorithm from the image information registered in the image information DB
  • a matching feature point is extracted from the captured image and registered in the format and image information DB of the feature point extracted from the image taken by the camera.
  • Matching point extraction system and method using the feature points of data search result of LS algorithm that matches the format of feature points to extract the matching image by extracting the matching images and extracts the coordinates corresponding to each feature point It is about.
  • Augmented Reality combines virtual additional information with information from the real world to create a new environment.
  • Augmented reality displays real information and virtual information at the same time by registering desired virtual information on the real information.
  • Existing augmented reality system recognizes the image to be tracked from the live image and obtains relative data from the image input device.
  • the object to be augmented reality tracking must have a predetermined pattern of markers.
  • a feature point for comparing image information registered in a DB configured at a remote location with image information captured by a camera configured in a user's smartphone, an image registered in a recognized server, and an image captured by a smartphone in a 3D space In order to extract the homograph values that change to the two-dimensional plane form seen when looking at one plane, the feature point format is different, and the overlapping operation of re-extracting the feature points on the image taken by the camera is required to obtain the homograph value. There was no choice but to.
  • an object of the present invention is to extract a matched image using the LSH algorithm from image information registered in the image information DB, and extract the extracted image and the camera. Extracts the feature points that are matched from the captured image for matching by using the feature points of the captured images, and matches the form of the feature points extracted from the images captured by the camera and the images registered in the image information DB. To match the format of the feature point to extract the image to extract the coordinates corresponding to each feature point to obtain a homograph value to eliminate the redundant work that needs to extract the feature point for the image taken by the camera.
  • An image feature point extracting unit 220 for extracting feature points of an image obtained through the camera unit
  • a mobile terminal 200 including an image narrator extracting unit 230 for extracting an image descriptor photographed through the camera unit;
  • the same image existence determination unit 120 to determine whether the same information exists by comparing the descriptor information stored in the image information DB and the photographed image descriptor information by using the LSH algorithm,
  • a feature point format converter 130 for converting a feature point format of an image photographed through the camera unit
  • Matching point extraction unit 140 for extracting the feature point of the image stored in the image information DB and the converted feature point of the image photographed through the camera unit as a matching point;
  • a matching point extracting server 100 including a homograph value extracting unit 150 for extracting a homograph value of an image photographed through a camera unit with reference to the matching point. Will be solved.
  • FIG. 1 is an overall configuration diagram of a matching point extraction system using the feature points of the data lookup results of the LS algorithm according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a mobile terminal of a matching point extraction system using the feature points of the data query result of the LS algorithm according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of a matching point extraction server of the matching point extraction system using the feature points of the data query result of the LS algorithm according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of extracting a matching point using feature points of a data query result of an LS algorithm according to an embodiment of the present invention.
  • An image feature point extracting unit 220 for extracting feature points of an image obtained through the camera unit
  • a mobile terminal 200 including an image narrator extracting unit 230 for extracting an image descriptor photographed through the camera unit;
  • the same image existence determination unit 120 to determine whether the same information exists by comparing the descriptor information stored in the image information DB and the photographed image descriptor information by using the LSH algorithm,
  • a feature point format converter 130 for converting a feature point format of an image photographed through the camera unit
  • Matching point extraction unit 140 for extracting the feature point of the image stored in the image information DB and the converted feature point of the image photographed through the camera unit as a matching point;
  • a matching point extraction server 100 including a homography value extracting unit 150 for extracting a homograph value of the image photographed through the camera unit with reference to the matching point.
  • the feature point is searched using the CvSeq format, and the feature point is converted into a format for extracting a matching point that extracts the point coordinates from the CvSeq data using the CvSURFPoint format.
  • Matching point extraction step (S150) for extracting the feature point of the image stored in the image information DB by the matching point extraction unit 140 and the transformed feature point of the image photographed through the camera unit as a matching point;
  • FIG. 1 is an overall configuration diagram of a matching point extraction system using the feature points of the data lookup results of the LS algorithm according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a mobile terminal of a matching point extraction system using the feature points of the data query result of the LS algorithm according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of a matching point extraction server of the matching point extraction system using the feature points of the data query result of the LS algorithm according to an embodiment of the present invention.
  • An image feature point extracting unit 220 for extracting feature points of an image obtained through the camera unit
  • a mobile terminal 200 including an image narrator extracting unit 230 for extracting an image descriptor photographed through the camera unit;
  • the same image existence determination unit 120 to determine whether the same information exists by comparing the descriptor information stored in the image information DB and the photographed image descriptor information by using the LSH algorithm,
  • a feature point format converter 130 for converting a feature point format of an image photographed through the camera unit
  • Matching point extraction unit 140 for extracting the feature point of the image stored in the image information DB and the converted feature point of the image photographed through the camera unit as a matching point;
  • a matching point extracting server 100 including a homograph value extracting unit 150 for extracting a homograph value of the image photographed through the camera unit with reference to the matching point.
  • the mobile terminal is a terminal that can communicate with the server to receive the matching point extraction information using the feature points of the data lookup results of the LS algorithm of the present invention, for example, a mobile phone, a smartphone, a tablet computer, a laptop, etc. May be a mobile communication terminal.
  • the matching point extraction server 100 may be connected to the mobile terminal by accessing the network through a wireless broadband network.
  • the mobile terminal 200 As shown in Figure 2, the mobile terminal 200,
  • An image feature point extracting unit 220 for extracting feature points of an image obtained through the camera unit
  • image information is acquired through the camera unit 210, and the feature point of the image acquired through the camera unit is extracted by the image feature point extractor 220.
  • the image narrator extracting unit 230 is to extract the image descriptors taken through the camera unit at the same time.
  • the same image existence determination unit 120 to determine whether the same information exists by comparing the descriptor information stored in the image information DB and the photographed image descriptor information by using the LSH algorithm,
  • a feature point format converter 130 for converting a feature point format of an image photographed through the camera unit
  • Matching point extraction unit 140 for extracting the feature point of the image stored in the image information DB and the converted feature point of the image photographed through the camera unit as a matching point;
  • a homography value extraction unit 150 for extracting a homograph value of the image photographed through the camera unit with reference to the matching point.
  • the same image existence judging unit 120 compares the descriptor information stored in the image information DB with the photographed image descriptor information using the LSH algorithm to determine whether the same information exists.
  • the feature point format conversion unit 130 of the present invention converts the feature point format of the image photographed through the camera unit.
  • the format of the feature point extracted from the image captured by the camera unit and the format of the feature point for searching the image stored in the image information DB are matched and the coordinate values corresponding to each feature point are extracted. It is to achieve the purpose of obtaining.
  • the feature point format is different, so that it is possible to provide an effect of reducing duplication of having to re-extract feature points for the image photographed by the camera unit in order to obtain a homograph value.
  • the feature point is searched using the CvSeq format, and the feature point format is the Point2f format to extract the video match point.
  • the matching point extracting unit 140 extracts the feature points of the image stored in the image information DB and the converted feature points of the image photographed through the camera unit as matching points.
  • the sequence number in the extracted information when checking the matching image information using the LSH means the sequence number coordinates of the camera shooting feature, and the value corresponding to the sequence number of the extracted information when checking the matching image information using the LSH is assigned to the image information DB. Same as the sequence number of the stored image feature point coordinates.
  • the matching information is the same as the video ID stored in the video information DB and the extracted video ID when checking the matching video information using the LSH, and the value stored sequentially in the extracted information when checking the matching video information using the LSH is greater than or equal to '0'.
  • the image feature points and the camera photographing feature points of the image information DB are extracted as matching points.
  • the homograph value extractor 150 extracts the homograph value of the image photographed through the camera unit with reference to the matching point.
  • FIG. 4 is a flowchart illustrating a method of extracting a matching point using feature points of a data query result of an LS algorithm according to an embodiment of the present invention.
  • Matching point extraction step (S150) for extracting the feature point of the image stored in the image information DB by the matching point extraction unit 140 and the transformed feature point of the image photographed through the camera unit as a matching point;
  • the feature point extractor 220 extracts the feature points of the image obtained through the camera unit and extracts the image narrator.
  • the unit 230 the image descriptor photographed through the camera unit is extracted (S120).
  • the same image existence determining unit 120 compares the descriptor information stored in the image information DB with the photographed image descriptor information by using the LSH algorithm, and determines whether the same information exists (S130).
  • the feature point format of the image captured by the camera unit may be converted.
  • the matching point extracting unit 140 extracts the feature points of the image stored in the image information DB and the converted feature points of the image photographed through the camera unit as matching points (S150), and then, extracts the homograph value extracting unit 150. By extracting the homograph value of the image taken through the camera unit with reference to the matching point (S160), it is terminated.
  • a matching image is extracted from the image information registered in the image information DB using the LSH algorithm, and photographed for matching using the feature points of the extracted image and the image taken by the camera. Extract the feature points that are matched in the image, match the format of the feature points extracted from the image captured by the camera with the format of the feature points to extract the matched image by searching the image registered in the image information DB, By extracting the corresponding coordinates to obtain a homograph value, it provides an effect of eliminating the duplication of the need to re-extract feature points for the image taken by the camera.
  • the present invention extracts a matching image from the image information registered in the image information DB using the LSH algorithm, and is matched in the photographed image for matching using the feature points of the extracted image and the image taken by the camera. Extract the feature point, match the format of the feature point extracted from the image captured by the camera to the image registered in the image information DB, match the format of the feature point to extract the matching image, and extract the coordinates corresponding to each feature point
  • a matching point extraction system using the feature points of the data lookup result of the LS algorithm to obtain the homograph value it can be widely used in the field of augmented reality.

Abstract

본 발명은 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 영상정보디비에 등록되어 있는 영상 정보에서 LSH 알고리즘을 이용하여 매칭되는 영상을 추출하고, 추출된 영상과 카메라에서 촬영된 영상의 특징점을 이용하여 매칭을 하기 위해 촬영된 영상에서 매칭이 되는 특징 포인트를 추출하며, 카메라에서 촬영된 영상에서 추출된 특징점의 형식과 영상정보디비에 등록되어 있는 영상을 조회하여 매칭되는 영상을 추출하는 특징점의 형식을 일치시키고 각각의 특징점에 해당되는 좌표를 추출하여 호모그라피 값을 구하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법에 관한 것이다.

Description

엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
본 발명은 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 영상정보디비에 등록되어 있는 영상 정보에서 LSH 알고리즘을 이용하여 매칭되는 영상을 추출하고, 추출된 영상과 카메라에서 촬영된 영상의 특징점을 이용하여 매칭을 하기 위해 촬영된 영상에서 매칭이 되는 특징 포인트를 추출하며, 카메라에서 촬영된 영상에서 추출된 특징점의 형식과 영상정보디비에 등록되어 있는 영상을 조회하여 매칭되는 영상을 추출하는 특징점의 형식을 일치시키고 각각의 특징점에 해당되는 좌표를 추출하여 호모그라피 값을 구하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법에 관한 것이다.
증강현실(Augmented Reality)는 현실 세계의 정보 위에 가상의 부가 정보를 합쳐 새로운 환경을 만들어 보여준다.
증강현실은 현실 정보 위에 원하는 가상의 정보를 정합함(register)으로써 현실 정보와 가상의 정보를 동시에 나타내어 준다.
증강 현실의 다양한 분야에서 이 기술을 응용하려는 움직임을 보여 왔으며 최근에는 주로 모바일 기기 성능의 향상과 더불어 부각되고 있다.
기존의 증강현실 시스템에서는 실사영상으로부터 추적 대상이 되는 이미지를 인지하고, 그에 따른 상대적 위치, 방향 등을 영상 입력 장치로부터 상대적 데이터를 얻어낸다.
이를 바탕으로 가상의 객체가 보여질 형태 및 위치를 예측하여 이를 실사영상에 정합하는 방식을 사용한다.
대상의 이미지의 인지와 이러한 상대적 위치를 쉽게 계산하기 위해서 이미 규정한 형식의 모양으로 되어 있는 마커를 이용하는 방식이 좀 더 많이 이용되고 있다.
그러나 증강현실의 트래킹의 대상이 되는 객체가 미리 정해진 패턴인 마커를 보유하고 있어야 한다는 점에서 현실적 제약이 많이 따른다.
따라서 이와 같은 마커가 필요없는 비마커 기반의 연구가 활발히 진행 중이나 트래킹시 외부적 요인에 많이 영향을 받는다는 점과 트래킹시 비교 대상이 기하급수적으로 늘어나는 점 등 여러 가지 어려움이 있다.
즉, 원격지에 구성된 DB에 등록된 영상 정보와 사용자의 스마트폰에 구성된 카메라로 촬영된 영상 정보를 비교하기 위한 특징점과 인식된 서버에 등록되어 있는 영상과 스마트폰에서 촬영된 영상을 3차원 공간상의 한 평면을 바라보았을 때 실제 보여지는 2차원 평면 형태로 바꾸는 호모그라피 값을 추출하기 위해서는 특징점 형식이 달라서 호모그라피 값을 구하기 위해 카메라에서 촬영된 영상에 대한 특징점을 다시 추출해야 하는 중복 작업을 수행할 수밖에 없었다.
따라서, 해당 정보를 출력하기 위한 과정이 복잡해지며, 네트워크 트래픽 발생시 분석 작업 및 처리 작업 시간이 길어져 신속한 정보 제공이 불가능한 상태가 된다.
따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 목적은 영상정보디비에 등록되어 있는 영상 정보에서 LSH 알고리즘을 이용하여 매칭되는 영상을 추출하고, 추출된 영상과 카메라에서 촬영된 영상의 특징점을 이용하여 매칭을 하기 위해 촬영된 영상에서 매칭이 되는 특징 포인트를 추출하며, 카메라에서 촬영된 영상에서 추출된 특징점의 형식과 영상정보디비에 등록되어 있는 영상을 조회하여 매칭되는 영상을 추출하는 특징점의 형식을 일치시키고 각각의 특징점에 해당되는 좌표를 추출하여 호모그라피 값을 구하도록 하여 카메라에서 촬영된 영상에 대한 특징점을 다시 추출해야 하는 중복 작업을 제거하도록 하는데 있다.
본 발명이 해결하고자 하는 과제를 달성하기 위하여,
본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템은,
영상 정보를 획득하기 위한 카메라부(210)와,
상기 카메라부를 통해 획득된 영상의 특징점을 추출하기 위한 영상특징점추출부(220)와,
상기 카메라부를 통해 촬영된 영상 서술자를 추출하기 위한 영상서술자추출부(230)를 포함하여 구성되는 모바일단말기(200)와;
영상 정보를 저장하고 있는 영상정보디비(110)와,
LSH 알고리즘을 이용하여 상기 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일영상존재판단부(120)와,
상기 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 특징점형식변환부(130)와,
상기 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출부(140)와,
상기 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출부(150)를 포함하여 구성되는 매칭포인트추출서버(100);를 포함하여 구성되어 본 발명의 과제를 해결하게 된다.
이상의 구성 및 작용을 지니는 본 발명에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법은,
영상정보디비에 등록되어 있는 영상 정보에서 LSH 알고리즘을 이용하여 매칭되는 영상을 추출하고, 추출된 영상과 카메라에서 촬영된 영상의 특징점을 이용하여 매칭을 하기 위해 촬영된 영상에서 매칭이 되는 특징 포인트를 추출하며, 카메라에서 촬영된 영상에서 추출된 특징점의 형식과 영상정보디비에 등록되어 있는 영상을 조회하여 매칭되는 영상을 추출하는 특징점의 형식을 일치시키고 각각의 특징점에 해당되는 좌표를 추출하여 호모그라피 값을 구하도록 하여 카메라에서 촬영된 영상에 대한 특징점을 다시 추출해야 하는 중복 작업을 제거하는 효과를 제공하게 된다.
도 1은 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템의 전체 구성도이다.
도 2는 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템의 모바일단말기 블록도이다.
도 3은 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템의 매칭포인트추출서버 블록도이다.
도 4는 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출 방법을 나타낸 흐름도이다.
*도면의 주요부호에 대한 상세한 설명*
100 : 매칭포인트추출서버
200 : 모바일단말기
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템은,
영상 정보를 획득하기 위한 카메라부(210)와,
상기 카메라부를 통해 획득된 영상의 특징점을 추출하기 위한 영상특징점추출부(220)와,
상기 카메라부를 통해 촬영된 영상 서술자를 추출하기 위한 영상서술자추출부(230)를 포함하여 구성되는 모바일단말기(200)와;
영상 정보를 저장하고 있는 영상정보디비(110)와,
LSH 알고리즘을 이용하여 상기 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일영상존재판단부(120)와,
상기 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 특징점형식변환부(130)와,
상기 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출부(140)와,
상기 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출부(150)를 포함하여 구성되는 매칭포인트추출서버(100);를 포함하여 구성되는 것을 특징으로 한다.
이때, 상기 동일영상존재판단부(120)는,
cvLSHQuery 를 이용하여 영상을 조회하는 것을 특징으로 한다.
이때, 상기 특징점형식변환부(130)는,
특징점을 CvSeq 형식을 이용하여 조회를 하고, CvSeq 데이터에서 CvSURFPoint 형식을 이용하여 포인트 좌표를 추출하는 매칭 포인트 추출을 위한 형식으로 변환하는 것을 특징으로 한다.
이때, 상기 매칭포인트추출부(140)는,
LSH를 이용하여 일치되는 영상 정보 확인을 위하여 추출된 정보에서 순번에 저장된 값이 0 이상의 값을 가지고 있는 경우를 비교하여 인식된 좌표로 각각 영상정보디비의 영상 특징점과 카메라 촬영 영상의 특징점을 매칭 포인트로 추출하는 것을 특징으로 한다.
한편, 본 발명인 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출 방법은,
모바일단말기(200)의 카메라부(210)로 영상을 촬영하는 영상촬영단계(S100)와;
영상특징점추출부(220)에 의해 카메라부를 통해 획득된 영상의 특징점을 추출하는 영상특징점추출단계(S110)와;
영상서술자추출부(230)에 의해 카메라부를 통해 촬영된 영상 서술자를 추출하는 영상서술자추출단계(S120)와;
동일영상존재판단부(120)에 의해 LSH 알고리즘을 이용하여 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일정보존재유무판단단계(S130)와;
특징점형식변환부(130)에 의해 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 영상특징점변환단계(S140)와;
매칭포인트추출부(140)에 의해 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출단계(S150)와;
호모그라피값추출부(150)에 의해 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출단계(S160);를 포함하여 이루어지는 것을 특징으로 한다.
이하, 본 발명에 의한 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법의 실시예를 통해 상세히 설명하도록 한다.
도 1은 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템의 전체 구성도이다.
도 2는 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템의 모바일단말기 블록도이다.
도 3은 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템의 매칭포인트추출서버 블록도이다.
도 1 내지 도 3에 도시한 바와 같이, 본 발명의 시스템은,
영상 정보를 획득하기 위한 카메라부(210)와,
상기 카메라부를 통해 획득된 영상의 특징점을 추출하기 위한 영상특징점추출부(220)와,
상기 카메라부를 통해 촬영된 영상 서술자를 추출하기 위한 영상서술자추출부(230)를 포함하여 구성되는 모바일단말기(200)와;
영상 정보를 저장하고 있는 영상정보디비(110)와,
LSH 알고리즘을 이용하여 상기 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일영상존재판단부(120)와,
상기 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 특징점형식변환부(130)와,
상기 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출부(140)와,
상기 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출부(150)를 포함하여 구성되는 매칭포인트추출서버(100);를 포함하여 구성하게 된다.
상기 모바일단말기는 본 발명의 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출 정보를 제공받기 위하여 서버와 통신할 수 있는 단말기로, 예를 들면, 모바일폰, 스마트폰, 태블릿 컴퓨터, 노트북 등의 이동 통신 단말기일 수 있다.
또한, 상기 매칭포인트추출서버(100)는 무선 광대역 네트워크를 통하여 네트워크에 접속하여 상기 모바일단말기와 연결될 수 있다.
도 2에 도시한 바와 같이, 상기 모바일단말기(200)는,
영상 정보를 획득하기 위한 카메라부(210)와,
상기 카메라부를 통해 획득된 영상의 특징점을 추출하기 위한 영상특징점추출부(220)와,
상기 카메라부를 통해 촬영된 영상 서술자를 추출하기 위한 영상서술자추출부(230)를 포함하여 구성되게 된다.
즉, 카메라부(210)를 통해 영상 정보를 획득하며, 영상특징점추출부(220)에 의해 카메라부를 통해 획득된 영상의 특징점을 추출하게 된다.
이때, 영상서술자추출부(230)를 통해 카메라부를 통해 촬영된 영상 서술자를 동시에 추출하게 되는 것이다.
한편, 도 3에 도시한 바와 같이, 상기 매칭포인트추출서버(100)는,
영상 정보를 저장하고 있는 영상정보디비(110)와,
LSH 알고리즘을 이용하여 상기 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일영상존재판단부(120)와,
상기 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 특징점형식변환부(130)와,
상기 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출부(140)와,
상기 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출부(150);를 포함하여 구성되게 된다.
상기 동일영상존재판단부(120)는 LSH 알고리즘을 이용하여 상기 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하게 된다.
이때, 본 발명의 특징점형식변환부(130)는 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하게 된다.
즉, 카메라부에서 촬영된 영상에서 추출된 특징점의 형식과 영상정보디비에 저장된 영상을 조회하여 매칭되는 영상을 추출하는 특징점의 형식을 일치시키고 각각의 특징점에 해당되는 좌표값을 추출하여 호모그라피 값을 구하는 목적을 달성하기 위한 것이다.
따라서, 특징점 형식이 달라서 호모그라피 값을 구하기 위하여 카메라부에서 촬영된 영상에 대한 특징점을 다시 추출해야 하는 중복 작업을 줄이는 효과를 제공할 수 있게 되는 것이다.
구체적으로, cvLSHQuery 를 이용한 영상 조회시, 특징점의 형식은 CvSeq 형식을 이용하여 조회를 하고, 영상 매치 포인트를 추출하기 위해서는 특징점의 형식이 Point2f 형식이다.
상기 CvSeq 데이터에서 CvSURFPoint 형식을 이용하여 포인트 좌표를 추출하는 매칭 포인트 추출을 위한 형식을 변환하는 기능을 담당하는 것이다.
이후, 상기 매칭포인트추출부(140)는 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하게 된다.
구체적으로, LSH를 이용한 일치되는 영상 정보 확인시 추출된 정보에서 순번은 카메라 촬영 특징점 좌표 순번을 의미하고, LSH를 이용한 일치되는 영상 정보 확인시 추출된 정보의 순번에 해당되는 값은 영상정보디비에 저장된 영상 특징점 좌표의 순번과 동일하다.
매칭되는 정보는 영상정보디비에 저장된 영상 아이디와 LSH를 이용한 일치되는 영상 정보 확인시 추출된 영상 아이디가 같고, LSH를 이용한 일치되는 영상 정보 확인시 추출된 정보에서 순번에 저장된 값이 '0' 이상의 값을 가지고 있는 경우를 비교하여 인식된 좌표로 각각 영상정보디비의 영상 특징점과 카메라 촬영 특징점을 매칭 포인트로 추출하는 것이다.
이후, 호모그라피값추출부(150)는 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하게 되는 것이다.
이후 호모그라피 값을 이용하여 증강현실을 제공하는 과정은 널리 알려진 기술이므로 상세한 설명은 생략하겠다.
도 4는 본 발명의 일실시예에 따른 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출 방법을 나타낸 흐름도이다.
도 4에 도시한 바와 같이, 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출 방법은,
모바일단말기(200)의 카메라부(210)로 영상을 촬영하는 영상촬영단계(S100)와;
영상특징점추출부(220)에 의해 카메라부를 통해 획득된 영상의 특징점을 추출하는 영상특징점추출단계(S110)와;
영상서술자추출부(230)에 의해 카메라부를 통해 촬영된 영상 서술자를 추출하는 영상서술자추출단계(S120)와;
동일영상존재판단부(120)에 의해 LSH 알고리즘을 이용하여 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일정보존재유무판단단계(S130)와;
특징점형식변환부(130)에 의해 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 영상특징점변환단계(S140)와;
매칭포인트추출부(140)에 의해 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출단계(S150)와;
호모그라피값추출부(150)에 의해 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출단계(S160);를 포함하여 이루어지는 것을 특징으로 한다.
즉, 모바일단말기(200)의 카메라부(210)로 영상을 촬영(S100)하게 되면, 영상특징점추출부(220)에 의해 카메라부를 통해 획득된 영상의 특징점을 추출(S110)하며, 영상서술자추출부(230)에 의해 카메라부를 통해 촬영된 영상 서술자를 추출(S120)하게 된다.
이후, 동일영상존재판단부(120)에 의해 LSH 알고리즘을 이용하여 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단(S130)하게 되고, 특징점형식변환부(130)에 의해 카메라부를 통해 촬영된 영상의 특징점 형식을 변환(S140)하게 된다.
이후, 매칭포인트추출부(140)에 의해 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출(S150)한 후, 호모그라피값추출부(150)에 의해 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출(S160)함으로써, 종료되게 된다.
상기와 같은 구성 및 동작을 통해 영상정보디비에 등록되어 있는 영상 정보에서 LSH 알고리즘을 이용하여 매칭되는 영상을 추출하고, 추출된 영상과 카메라에서 촬영된 영상의 특징점을 이용하여 매칭을 하기 위해 촬영된 영상에서 매칭이 되는 특징 포인트를 추출하며, 카메라에서 촬영된 영상에서 추출된 특징점의 형식과 영상정보디비에 등록되어 있는 영상을 조회하여 매칭되는 영상을 추출하는 특징점의 형식을 일치시키고 각각의 특징점에 해당되는 좌표를 추출하여 호모그라피 값을 구하도록 하여 카메라에서 촬영된 영상에 대한 특징점을 다시 추출해야 하는 중복 작업을 제거하는 효과를 제공하게 된다.
상기와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 영상정보디비에 등록되어 있는 영상 정보에서 LSH 알고리즘을 이용하여 매칭되는 영상을 추출하고, 추출된 영상과 카메라에서 촬영된 영상의 특징점을 이용하여 매칭을 하기 위해 촬영된 영상에서 매칭이 되는 특징 포인트를 추출하며, 카메라에서 촬영된 영상에서 추출된 특징점의 형식과 영상정보디비에 등록되어 있는 영상을 조회하여 매칭되는 영상을 추출하는 특징점의 형식을 일치시키고 각각의 특징점에 해당되는 좌표를 추출하여 호모그라피 값을 구하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템으로서, 증강현실분야에 널리 유용하게 활용될 수 있을 것이다.

Claims (5)

  1. 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템에 있어서,
    영상 정보를 획득하기 위한 카메라부(210)와,
    상기 카메라부를 통해 획득된 영상의 특징점을 추출하기 위한 영상특징점추출부(220)와,
    상기 카메라부를 통해 촬영된 영상 서술자를 추출하기 위한 영상서술자추출부(230)를 포함하여 구성되는 모바일단말기(200)와;
    영상 정보를 저장하고 있는 영상정보디비(110)와,
    LSH 알고리즘을 이용하여 상기 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일영상존재판단부(120)와,
    상기 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 특징점형식변환부(130)와,
    상기 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출부(140)와,
    상기 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출부(150)를 포함하여 구성되는 매칭포인트추출서버(100);를 포함하여 구성되는 것을 특징으로 하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템.
  2. 제 1항에 있어서,
    동일영상존재판단부(120)는,
    cvLSHQuery 를 이용하여 영상을 조회하는 것을 특징으로 하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템.
  3. 제 1항에 있어서,
    상기 특징점형식변환부(130)는,
    특징점을 CvSeq 형식을 이용하여 조회를 하고, CvSeq 데이터에서 CvSURFPoint 형식을 이용하여 포인트 좌표를 추출하는 매칭 포인트 추출을 위한 형식으로 변환하는 것을 특징으로 하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템.
  4. 제 1항에 있어서,
    상기 매칭포인트추출부(140)는,
    LSH를 이용하여 일치되는 영상 정보 확인을 위하여 추출된 정보에서 순번에 저장된 값이 0 이상의 값을 가지고 있는 경우를 비교하여 인식된 좌표로 각각 영상정보디비의 영상 특징점과 카메라 촬영 영상의 특징점을 매칭 포인트로 추출하는 것을 특징으로 하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템.
  5. 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출 방법에 있어서,
    모바일단말기(200)의 카메라부(210)로 영상을 촬영하는 영상촬영단계(S100)와;
    영상특징점추출부(220)에 의해 카메라부를 통해 획득된 영상의 특징점을 추출하는 영상특징점추출단계(S110)와;
    영상서술자추출부(230)에 의해 카메라부를 통해 촬영된 영상 서술자를 추출하는 영상서술자추출단계(S120)와;
    동일영상존재판단부(120)에 의해 LSH 알고리즘을 이용하여 영상정보디비에 저장된 서술자 정보와 촬영된 영상 서술자 정보를 비교하여 동일 정보가 존재하는지를 판단하는 동일정보존재유무판단단계(S130)와;
    특징점형식변환부(130)에 의해 카메라부를 통해 촬영된 영상의 특징점 형식을 변환하기 위한 영상특징점변환단계(S140)와;
    매칭포인트추출부(140)에 의해 영상정보디비에 저장된 영상의 특징점과 카메라부를 통해 촬영된 영상의 변환된 특징점을 매칭 포인트로 추출하기 위한 매칭포인트추출단계(S150)와;
    호모그라피값추출부(150)에 의해 매칭 포인트를 참조하여 카메라부를 통해 촬영된 영상의 호모그라피 값을 추출하기 위한 호모그라피값추출단계(S160);를 포함하여 이루어지는 것을 특징으로 하는 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출 방법.
PCT/KR2013/011530 2013-02-27 2013-12-12 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법 WO2014133251A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130021449A KR101276314B1 (ko) 2013-02-27 2013-02-27 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
KR10-2013-0021449 2013-02-27

Publications (1)

Publication Number Publication Date
WO2014133251A1 true WO2014133251A1 (ko) 2014-09-04

Family

ID=48867267

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/011530 WO2014133251A1 (ko) 2013-02-27 2013-12-12 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR101276314B1 (ko)
WO (1) WO2014133251A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844667A (zh) * 2016-03-25 2016-08-10 中国矿业大学 一种紧凑颜色编码的结构化目标跟踪方法
CN106295652A (zh) * 2016-07-27 2017-01-04 中测高科（北京）测绘工程技术有限责任公司 一种直线特征匹配方法及系统
CN110059634A (zh) * 2019-04-19 2019-07-26 山东博昂信息科技有限公司 一种大场景人脸抓拍方法
CN112183596A (zh) * 2020-09-21 2021-01-05 湖北大学 结合局部网格约束和几何约束的直线段匹配方法与系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102178975B1 (ko) * 2013-11-18 2020-11-13 순천대학교 산학협력단 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법
KR102595508B1 (ko) 2018-12-11 2023-10-31 삼성전자주식회사 전자장치 및 그 제어방법
KR102577663B1 (ko) * 2021-01-22 2023-09-13 한길씨앤씨 주식회사 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110016160A (ko) * 2009-08-11 2011-02-17 삼성전자주식회사 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법
KR20110064197A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 물체 인식 시스템 및 그 물체 인식 방법
KR20110077937A (ko) * 2009-12-30 2011-07-07 성균관대학교산학협력단 인식과 추적의 결합을 통한 물체의 포즈 실시간 추정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110016160A (ko) * 2009-08-11 2011-02-17 삼성전자주식회사 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법
KR20110064197A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 물체 인식 시스템 및 그 물체 인식 방법
KR20110077937A (ko) * 2009-12-30 2011-07-07 성균관대학교산학협력단 인식과 추적의 결합을 통한 물체의 포즈 실시간 추정 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844667A (zh) * 2016-03-25 2016-08-10 中国矿业大学 一种紧凑颜色编码的结构化目标跟踪方法
CN106295652A (zh) * 2016-07-27 2017-01-04 中测高科（北京）测绘工程技术有限责任公司 一种直线特征匹配方法及系统
CN110059634A (zh) * 2019-04-19 2019-07-26 山东博昂信息科技有限公司 一种大场景人脸抓拍方法
CN112183596A (zh) * 2020-09-21 2021-01-05 湖北大学 结合局部网格约束和几何约束的直线段匹配方法与系统
CN112183596B (zh) * 2020-09-21 2022-10-11 湖北大学 结合局部网格约束和几何约束的直线段匹配方法与系统

Also Published As

Publication number Publication date
KR101276314B1 (ko) 2013-06-18

Similar Documents

Publication Publication Date Title
WO2014133251A1 (ko) 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2018164460A1 (en) Method of providing augmented reality content, and electronic device and system adapted to the method
WO2013180320A1 (ko) 증강 현실 서비스 제공 방법, 서버 및 컴퓨터 판독 가능한 기록매체
WO2020111426A1 (en) Method and system of presenting moving images or videos corresponding to still images
WO2016107230A1 (zh) 一种3d场景中重现物体的系统和方法
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2013129729A1 (ko) 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
WO2012124852A1 (ko) 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2014092380A1 (ko) 차량용 블랙박스 시스템 및 그 운용방법
WO2020186774A1 (zh) 基于图像检测的定位方法、装置、设备和存储介质
WO2021040287A1 (ko) 사람 재식별 장치 및 방법
WO2019221340A1 (ko) 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2019103443A1 (en) Method, apparatus and system for managing electronic fingerprint of electronic file
WO2016108562A1 (ko) 지문 정보의 코딩 및 인식 시스템, 그리고 그 구동 방법
WO2019083073A1 (ko) 교통정보 제공 방법, 장치 및 그러한 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
WO2019194561A1 (ko) 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템
WO2022231316A1 (ko) 카메라 각도 변경을 자동 보정하는 무인 주차 관리 시스템 및 그 방법
WO2016036049A1 (ko) 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
WO2015129987A1 (ko) 사물 인식에 기반한 광고를 제공하는 서비스 장치, 사물 인식에 기반한 광고를 수신하는 사용자 장치, 사물 인식에 기반한 광고를 제공하는 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체
WO2022019601A1 (ko) 영상의 객체 특징점 추출과 이를 이용한 영상검색 시스템 및 방법
WO2014133252A1 (ko) 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13876290

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13876290

Country of ref document: EP

Kind code of ref document: A1