KR20120051952A - 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치 - Google Patents

특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치 Download PDF

Info

Publication number
KR20120051952A
KR20120051952A KR1020100113342A KR20100113342A KR20120051952A KR 20120051952 A KR20120051952 A KR 20120051952A KR 1020100113342 A KR1020100113342 A KR 1020100113342A KR 20100113342 A KR20100113342 A KR 20100113342A KR 20120051952 A KR20120051952 A KR 20120051952A
Authority
KR
South Korea
Prior art keywords
feature point
descriptor
feature
terminal
generating
Prior art date
Application number
KR1020100113342A
Other languages
English (en)
Other versions
KR101675785B1 (ko
Inventor
김상욱
이선민
이영범
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100113342A priority Critical patent/KR101675785B1/ko
Priority to US13/214,689 priority patent/US8971638B2/en
Publication of KR20120051952A publication Critical patent/KR20120051952A/ko
Priority to US14/628,959 priority patent/US9519543B2/en
Application granted granted Critical
Publication of KR101675785B1 publication Critical patent/KR101675785B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치가 개시된다. 영상 검색 방법은 영상으로부터 특징점을 추출하고, 추출된 특징점을 단계적으로 서술하여 계층적인 특징점 서술자를 생성할 수 있다. 그리고, 영상 검색 방법은 단말에 포함된 로컬 DB 또는 서버에 포함된 원격 DB에서 특징점 서술자에 매칭되는 정보를 검색할 수 있다.

Description

특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치{METHOD AND APPARATUS FOR IMAGE SEARCHING USING FEATURE POINT}
본 발명은 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치에 관한 것으로, 보다 구체적으로는 영상으로부터 추출한 특징점을 압축하고, 압축된 특징점을 이용하여 검색하는 영상 검색 방법 및 상기 방법을 수행하는 장치에 관한 것이다.
스마트폰과 같은 모바일 단말의 사용이 증가함으로써 모바일 단말을 이용한 영상 검색이 빈번히 발생하고 있다. 사용자들은 카메라가 구비된 모바일 단말을 이용하여 오브젝트를 촬영하고, 모바일 단말은 촬영된 오브젝트에 대해 영상 검색을 수행할 수 있다.
이 때, 모바일 단말은 영상 검색시 촬영된 영상 전체를 이용하여 오브젝트에 대해 영상 검색을 수행하는 것이 아니라, 검색 효율성을 향상시키기 위해 오브젝트를 표현할 수 있는 정보로 영상 검색을 수행할 수 있다.
그리고, 모바일 단말은 저장매체 용량의 한계로 인해서 카메라를 통해 촬영된 모든 오브젝트에 대해 영상 검색 결과를 저장할 수 없기 때문에, 검색 쿼리를 원격에 위치한 서버에 전달하여 검색 쿼리에 대한 검색 결과를 전달받을 수 있다. 이 경우, 오브젝트에 대응하는 검색 쿼리는 용량이 크기 때문에 많은 통신 비용이 발생할 수 있다.
따라서, 검색 효율성을 향상시키면서도 통신 비용을 줄일 수 있는 영상 검색 방법이 요구된다.
본 발명의 일실시예에 따른 단말은 입력된 영상으로부터 특징점(feature point)을 추출하는 특징점 추출부; 상기 추출된 특징점을 단계적으로 압축하여 계층적인 특징점 서술자를 생성하는 서술자 생성부; 및 상기 단말에 포함된 로컬 DB 또는 서버에 포함된 원격 DB에서 상기 특징점 서술자에 매칭되는 정보를 검색하는 정보 검색부를 포함할 수 있다.
본 발명의 일실시예에 따른 서버는 네트워크를 통해 연결된 단말로부터 압축된 특징점 서술자를 수신하는 서술자 수신부; 상기 압축된 특징점 서술자를 해제하여 특징점을 복원하는 특징점 복원부; 및 상기 복원된 특징점을 이용하여 원격 DB에서 특징점에 매칭되는 정보를 검색하는 정보 검색부를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 검색 방법은 입력된 영상으로부터 특징점(feature point)을 추출하는 단계; 상기 추출된 특징점을 단계적으로 압축하여 계층적인 특징점 서술자를 생성하는 단계; 및 상기 단말에 포함된 로컬 DB 또는 서버에 포함된 원격 DB에서 상기 특징점 서술자에 매칭되는 정보를 검색하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 검색 방법은 네트워크를 통해 연결된 단말로부터 압축된 특징점 서술자를 수신하는 단계; 상기 압축된 특징점 서술자를 해제하여 특징점을 복원하는 단계; 및 상기 복원된 특징점을 이용하여 원격 DB에서 특징점에 매칭되는 정보를 검색하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 검색하고자 하는 오브젝트의 특징점을 단계적으로 압축하여 계층적인 특징점 서술자를 생성하고, 특징점 서술자를 이용하여 오브젝트에 대한 정보를 검색함으로써 영상 검색의 효율성을 향상시킬 수 있다.
본 발명의 일실시예에 따르면, 특징점 서술자의 오차값이 허용 오차 문턱치 이내에 들어올 때까지 특징점 서술자를 구성하는 그리드 셀의 서술식을 추가적으로 생성함으로써, 불필요한 연산량을 줄일 수 있다.
본 발명의 일실시예에 따르면, 1차적으로 단말에서 오브젝트에 대한 정보를 검색하고, 검색 결과가 적절하지 않으면 2차적으로 서버에서 오브젝트에 대한 정보를 검색함으로써 보다 빠른 검색 결과를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따라 영상 검색 방법을 수행하는 단말 및 서버의 세부 구성을 도시한 다이어그램이다.
도 2는 본 발명의 일실시예에 따라 특징점 서술자를 생성하는 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따라 특징점 서술자를 생성하는 다른 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 특징점 서술자를 이용할 때 오차율을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따라 단말이 수행하는 영상 검색 방법을 도시한 플로우차트이다.
도 6은 본 발명의 일실시예에 따라 서버가 수행하는 영상 검색 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 영상 검색 방법은 단말 및 서버에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따라 영상 검색 방법을 수행하는 단말 및 서버의 세부 구성을 도시한 다이어그램이다.
도 1을 참고하면, 단말(101)은 특징점 추출부(103), 서술자 생성부(104), 정보 검색부(105) 및 로컬 DB(106)를 포함할 수 있다. 도 1에 도시되지 않았지만, 단말(101)은 오브젝트를 촬영할 수 있는 카메라, 서버(102)와 데이터 통신이 가능한 네트워크 장치를 포함할 수 있다.
특징점 추출부(103)은 카메라를 통해 촬영된 영상으로부터 오브젝트의 특징점(feature point)을 추출할 수 있다. 특징점은 영상에서 오브젝트를 구성하는 점들 중 오브젝트를 인식하고 추적하기 위해 사용되는 점이라고 할 수 있다. 오브젝트의 특징점을 비교함으로써 서로 동일한 오브젝트인 지 여부가 판단될 수 있다. 이 때, 하나의 영상에서 오브젝트의 특징점은 수백 개에서 수천 개가 추출되기 때문에, 추출된 특징점을 그대로 처리한다면 계산량이 복잡해 질 수 있다. 그리고, 계산량을 줄이기 위해 특징점을 압축하는 경우 정확도가 낮아질 수 있다.
그래서, 서술자 생성부(104)는 추출된 특징점을 단계적으로 압축하여 계층적인 특징점 서술자(feature point descriptor)를 생성할 수 있다. 특징점 서술자는 특징점을 설명하기 위한 정보로, 특징점 주변에 위치한 적어도 하나의 셀들이 나타내는 방향과 위치를 나타낸다. 만약, 특징점 주변에 16개의 셀을 이용하여 특징점 서술자를 생성하는 경우, 특징점의 방향을 8가지로 표현하기 위해 16 cells* 8orientation=128 dimensional descriptor가 필요하다. 그리고, 1 dimensional descriptor를 표현하기 위해 8bit가 필요하다면, 특징점의 방향을 표현하기 위해 필요한 비트는 총 16 cells* 8orientation*8 bits= 1024bits이다. 그리고, 특징점의 위치(x,y)를 4bit로 표현가능한 경우, 특징점의 위치를 표현하기 위해 필요한 비트는 16cell*4bits/cell=64bits이다. 즉, 특징점 서술자는 특징점의 방향을 위한 1024bits와 특징점의 위치를 위한 64bit로 구성될 수 있다.
그러나, 모든 셀을 동일한 중요도로 파악하여 하나의 특징점에 대한 특징점 서술자를 생성하는 경우, 데이터 처리의 효율성이 떨어질 수 있다. 그래서, 서술자 생성부(104)는 특징점을 중요도에 따라 계층적으로 서술하여 특징점 서술자를 생성할 수 있다. 이 때, 서술자 생성부(104)는 특징점 주변에 위치한 적어도 하나의 그리드 셀의 서술식을 계층적으로 서술하여 특징점 서술자를 생성할 수 있다.
일례로, 서술자 생성부(104)는 특징점 주변에 위치한 그리드 셀을 특징점과의 거리값의 순서대로 서술하여 특징점 서술자를 생성할 수 있다. 이에 대해서는, 도 2에서 구체적으로 설명하기로 한다.
다른 일례로, 서술자 생성부(104)는 특징점 주변에 위치한 그리드 셀을 방향과 관련된 통계값의 순서대로 서술하여 특징점 서술자를 생성할 수 있다. 이에 대해서는, 도 3에서 구체적으로 설명하기로 한다.
본 발명의 일실시예에 따르면, 서술자 생성부(104)는 특징점을 스케일러블(scalable) 압축하여 특징점에서 중요하다고 판단된 그리드 셀의 서술식을 우선적으로 이용하여 특징점 서술자를 생성할 수 있다.
그리고, 서술자 생성부(104)는 현재 시점에서 그리드 셀의 서술식으로 구성된 특징점 서술자의 오차값을 계산할 수 있다. 이 때, 오차값이 오차 문턱치 이내에 들어오는지 여부에 따라 서술자 생성부(104)는 추가적으로 그리드 셀을 서술하여 그리드 셀의 서술식을 생성할 지 여부를 결정할 수 있다. 만약, 오차값이 허용 오차 문턱치 이내에 들어오는 경우, 서술자 생성부(104)는 추가적으로 그리드 셀을 서술하는 과정을 중단할 수 있다. 반대로, 오차값이 허용 오차 문턱치 이내에 들어오지 못하는 경우, 서술자 생성부(104)는 오차값이 허용 오차 문턱치 이내에 들어올 때까지 추가적으로 그리드 셀을 서술하여 그리드 셀의 서술식을 생성할 수 있다.
결국, 서술자 생성부(104)는 처음부터 특징점 전체에 대해 특징점 서술자를 생성하는 것이 아니라, 처음에는 적은 비트량으로 압축하다가 오차값을 고려하여 추가적으로 압축함으로써 특징점 서술자의 오차가 점진적으로 감소하도록 한다. 물론, 특징점 주변의 모든 그리드 셀의 서술식을 결정하는 경우, 오차값이 가장 작지만 연산 과정이 복잡해질 수 있기 때문에, 오차값이 허용 오차 문턱치 이내에 들어올 때까지 그리드 셀의 서술식을 결정함으로써 특징점 서술자를 생성할 수 있다.
정보 검색부(105)는 단말에 포함된 로컬 DB(106) 또는 서버(102)에 포함된 원격 DB(110)에서 특징점 서술자에 매칭되는 정보를 검색할 수 있다. 정보 검색부(105)는 특징점 서술자의 유사성에 기초하여 로컬 DB(106) 또는 원격 DB(110)에서 영상에 포함된 오브젝트와 동일한 특징을 나타내는 오브젝트를 식별한 후, 식별된 오브젝트에 대한 정보를 검색할 수 있다.
그리고, 정보 검색부(105)는 단말(101)에 포함된 로컬 DB(106)에서 먼저 특징점 서술자에 매칭되는 정보를 검색하고, 검색되지 않으면 서버(102)에 포함된 원격 DB(110)에서 특징점 서술자에 매칭되는 정보를 검색할 수 있다. 다시 말해서, 정보 검색부(105)는 로컬 DB(106)에서 특징점 서술자에 매칭되는 정보가 검색되지 않으면, 특징점 서술자를 이용하여 서버(102)에 정보 검색을 요청하고, 서버(102)로부터 특징점 서술자에 매칭되는 정보를 수신할 수 있다. 이 때, 정보 검색부(105)는 특징점 서술자를 구성하는 서술식의 순서대로 검색하고, 검색 결과가 미리 설정된 기준치를 만족하지 못하면, 특징점 서술자를 구성하는 나머지 서술식을 이용하여 단계적으로 검색할 수 있다.
정보 검색부(105)의 동작은 일례에 불과하고, 영상 검색 방법에 따라 단말(101)이 특징정 서술자에 매칭되는 정보를 검색하지 않고, 처음부터 서버(102)가 특징점 서술자에 매칭되는 정보를 검색할 수 있다. 서버(102)가 특징점 서술자에 매칭되는 정보를 검색하는 과정은 이하에서 설명하기로 한다.
도 1을 참고하면, 서버(102)는 서술자 수신부(107), 특징점 복원부(108), 정보 검색부(109) 및 원격 DB(110)를 포함할 수 있다.
서술자 수신부(107)는 단말(101)로부터 압축된 특징점 서술자를 수신할 수 있다. 일례로, 단말(101)에서 특징점 서술자에 매칭되는 정보가 검색되지 않는 경우, 서술자 수신부(107)는 단말(101)로부터 압축된 특징점 서술자를 수신할 수 있다.
이 때, 단말(101)은 영상으로부터 추출된 특징점을 중요도에 따라 계층적으로 서술하여 특징점 서술자를 생성할 수 있다. 일례로, 단말(101)은 특징점 주변에 위치한 그리드 셀을 특징점과의 거리값의 순서대로 서술하여 특징점 서술자를 생성할 수 있다. 다른 일례로, 단말(101)은 특징점 주변에 위치한 그리드 셀을 방향과 관련된 통계값의 순서대로 서술하여 특징점 서술자를 생성할 수 있다.
특징점 복원부(108)는 압축된 특징점 서술자를 해제하여 특징점을 복원할 수 있다. 일례로, 특징점 복원부(108)는 특징점 서술자를 구성하는 오차 신호의 서술자를 추가적으로 해제할 수 있다.
정보 검색부(109)는 복원된 특징점을 이용하여 원격 DB(110)에서 특징점에 매칭되는 정보를 검색할 수 있다.
도 2는 본 발명의 일실시예에 따라 특징점 서술자를 생성하는 일례를 도시한 도면이다.
본 발명의 일실시예에 따른 단말은 영상으로부터 추출된 특징점을 단계적으로 압축하여 계층적인 특징점 서술자를 생성할 수 있다. 일례로, 단말은 특징점을 중요도에 따라 계층적으로 서술하여 특징점 서술자를 생성할 수 있다. 이 때, 단말은 특징점 주변에 위치한 그리드 셀을 특징점과의 거리값의 순서대로 서술하여 특징점 서술자를 생성할 수 있다.
구체적으로, 단말은 특징점(201) 주변에 위치한 16*16 픽셀로 구성된 윈도우를 이용하여 특징점 서술자(204)를 생성할 수 있다. 이 때, 단말은 윈도우를 4*4 그리드 셀(202, 203)로 나눌 수 있다. 그런 후, 단말은 각 그리드 셀(202, 203)에서의 방향 히스토그램을 계산한 후, 각 그리드 셀(202, 203)을 8개 방향에 대한 서술식으로 표현할 수 있다. 이 때, 서술식은 특징점 서술자(204)를 구성하는 구성 요소일 수 있다.
단말은 그리드 셀(202, 203)과 특징점(204)과의 거리값의 순서대로 서술하여 그리드 셀(202, 203) 각각의 서술식으로 특징점 서술자(204)를 생성할 수 있다. 도 2를 참고하면, 그리드 셀(203)은 그리드 셀(204)보다 특징점(201)으로부터 가까운 거리에 위치한다. 따라서, 그리드 셀(203)의 서술식부터 먼저 서술되고, 그 뒤를 이어 그리드 셀(202)의 서술식이 서술됨으로써 특징점 서술자(204)가 생성될 수 있다. 즉, 단말은 특징점(201)의 주변의 위치를 보다 우선적으로 반영하여 특징점(201)에 대한 특징점 서술자(204)를 생성할 수 있다.
도 3은 본 발명의 일실시예에 따라 특징점 서술자를 생성하는 다른 일례를 도시한 도면이다.
본 발명의 일실시예에 따른 단말은 영상으로부터 추출된 특징점을 단계적으로 압축하여 계층적인 특징점 서술자를 생성할 수 있다. 일례로, 단말은 특징점을 중요도에 따라 계층적으로 서술하여 특징점 서술자를 생성할 수 있다. 이 때, 단말은 특징점 주변에 위치한 그리드 셀을 방향과 관련된 통계값의 순서대로 서술하여 특징점 서술자를 생성할 수 있다.
구체적으로, 단말은 특징점(301) 주변에 위치한 16*16 픽셀로 구성된 윈도우를 이용하여 특징점 서술자(303)를 생성할 수 있다. 이 때, 단말은 윈도우를 4*4개의 그리드 셀(302)로 나눌 수 있다. 그런 후, 단말은 그리드 셀(302)의 방향 히스토그램을 계산하여 그리드 셀(302)을 8개 방향에 대한 서술식으로 표현할 수 있다. 이 때, 서술식은 특징점 서술자(303)를 구성하는 구성 요소일 수 있다.
그런 다음, 단말은 그리드 셀(302)의 방향 히스토그램으로부터 통계값인 평균과 분산을 계산할 수 있다. 그러면, 단말은 평균 또는 분산이 큰 순서대로 그리드 셀(302)의 서술식을 배치하여 특징점 서술자(303)를 생성할 수 있다.
도 4는 본 발명의 일실시예에 따른 특징점 서술자를 이용할 때 오차율을 도시한 도면이다.
본 발명의 일실시예에 따르면, 특징점 서술자는 특징점을 중요도에 따라 계층적으로 서술하여 특징점 서술자를 생성할 수 있다. 도 4를 참고하면, 계층적으로 서술된 특징점 서술자를 이용할 때 오차율을 나타낸다. 특징점 서술자를 하나의 그리드 셀의 서술식(서술식 part 1)으로 구성하는 경우, 오차율은 오차 문턱치보다 높다. 그리고, 특징점 서술자를 두 개의 그리드 셀(서술식 part 1+서술식 part2)로 구성하는 경우, 오차율은 오차 문턱치보다 낮다. 물론, 특징점 서술자를 세 개의 그리드 셀로 구성하는 경우 두 개의 그리드 셀로 구성하는 경우보다 오차율이 낮지만, 연산량이 증가한다. 따라서, 본 발명의 일실시예에 따르면, 특징점 서술자는 모든 그리드 셀의 서술식으로 구성되는 것이 아니라, 오차값이 허용 오차 문턱치 이내에 들어 올 때까지 생성된 그리드 셀의 서술식으로 구성될 수 있다.
도 5는 본 발명의 일실시예에 따라 단말이 수행하는 영상 검색 방법을 도시한 플로우차트이다.
단말(101)은 입력된 영상으로부터 특징점을 추출할 수 있다(501).
단말(101)은 추출된 특징점을 단계적으로 압축하여 계층적인 특징점 서술자를 생성할 수 있다(502). 이 때, 단말(101)은 특징점을 중요도에 따라 계층적으로 서술하여 특징점 서술자를 생성할 수 있다.
일례로, 단말(101)은 특징점 주변에 위치한 그리드 셀을 특징점과의 거리값의 순서대로 서술하여 특징점 서술자를 생성할 수 있다. 다른 일례로, 단말(101)은 특징점 주변에 위치한 그리드 셀을 방향과 관련된 통계값의 순서대로 서술하여 특징점 서술자를 생성할 수 있다. 그리고, 단말(101)은 특징점 주변에 위치한 그리드 셀의 서술식을 이용하여 특징점 서술자의 오차값을 계산하고, 오차값에 기초하여 그리드 셀의 서술식을 추가적으로 서술할 수 있다.
단말(101)은 로컬 DB 또는 서버에 포함된 원격 DB에서 특징점 서술자에 매칭되는 정보를 검색할 수 있다(503). 일례로, 단말(101)은 로컬 DB에서 먼저 특징점 서술자에 매칭되는 정보를 검색하고, 검색되지 않으면 서버에 포함된 원격 DB에서 특징점 서술자에 매칭되는 정보를 검색할 수 있다. 이 때, 단말(101)은 특징점 서술자의 일부를 이용하여 먼저 검색하고, 검색 결과에 따라 특징점 서술자의 나머지를 단계적으로 이용하여 검색할 수 있다.
도 6은 본 발명의 일실시예에 따라 서버가 수행하는 영상 검색 방법을 도시한 플로우차트이다.
서버(102)는 네트워크를 통해 연결된 단말로부터 압축된 특징점 서술자를 수신할 수 있다(601). 이 때, 단말은 영상으로부터 추출된 특징점을 중요도에 따라 계층적으로 서술하여 특징점 서술자를 생성할 수 있다. 구체적으로, 단말은 특징점 주변에 위치한 그리드 셀을 특징점과의 거리값의 순서대로 서술하여 특징점 서술자를 생성할 수 있다. 또는, 단말은 특징점 주변에 위치한 그리드 셀을 방향과 관련된 통계값의 순서대로 서술하여 특징점 서술자를 생성할 수 있다.
서버(102)는 압축된 특징점 서술자를 해제하여 특징점을 복원할 수 있다(602). 이 때, 서버(102)는 특징점 서술자를 구성하는 그리드 셀의 순서에 따라 해제한 후, 해제된 결과의 오차값에 따라 그리드 셀을 추가적으로 해제할 수 있다.
서버(102)는 복원된 특징점을 이용하여 원격 DB에서 특징점에 매칭되는 정보를 검색할 수 있다(603).
도 5 및 도 6에서 설명되지 않은 부분은 도 1 내지 도 4의 설명을 참고할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 단말 102: 서버
103: 특징점 추출부 104: 서술자 생성부
105: 정보 검색부 106: 로컬 DB
107: 서술자 수신부 108: 특징점 복원부
109: 정보 검색부 110: 원격 DB

Claims (24)

  1. 영상 검색 방법을 수행하는 단말에 있어서,
    입력된 영상으로부터 특징점(feature point)을 추출하는 특징점 추출부;
    상기 추출된 특징점을 단계적으로 압축하여 계층적인 특징점 서술자를 생성하는 서술자 생성부; 및
    상기 단말에 포함된 로컬 DB 또는 서버에 포함된 원격 DB에서 상기 특징점 서술자에 매칭되는 정보를 검색하는 정보 검색부
    를 포함하는 단말.
  2. 제1항에 있어서,
    상기 서술자 생성부는,
    특징점을 중요도에 따라 계층적으로 서술하여 특징점 서술자를 생성하는 것을 특징으로 하는 단말.
  3. 제2항에 있어서,
    상기 서술자 생성부는,
    상기 특징점 주변에 위치한 그리드 셀을 상기 특징점과의 거리값의 순서대로 서술하여 특징점 서술자를 생성하는 것을 특징으로 하는 단말.
  4. 제2항에 있어서,
    상기 서술자 생성부는,
    상기 특징점 주변에 위치한 그리드 셀을 방향과 관련된 통계값의 순서대로 서술하여 특징점 서술자를 생성하는 것을 특징으로 하는 단말.
  5. 제1항에 있어서,
    상기 서술자 생성부는,
    상기 특징점 주변에 위치한 그리드 셀의 서술식을 이용하여 특징점 서술자의 오차값을 계산하고, 오차값에 기초하여 그리드 셀의 서술식을 추가적으로 서술하는 것을 특징으로 하는 단말.
  6. 제1항에 있어서,
    상기 정보 검색부는,
    상기 단말에 포함된 로컬 DB에서 먼저 특징점 서술자에 매칭되는 정보를 검색하고, 검색되지 않으면 상기 서버에 포함된 원격 DB에서 특징점 서술자에 매칭되는 정보를 검색하는 것을 특징으로 하는 단말.
  7. 제1항에 있어서,
    상기 정보 검색부는,
    상기 특징점 서술자의 일부를 이용하여 먼저 검색하고, 검색 결과에 따라 상기 특징점 서술자의 나머지를 단계적으로 이용하여 검색하는 것을 특징으로 하는 단말.
  8. 영상 검색 방법을 수행하는 서버에 있어서,
    네트워크를 통해 연결된 단말로부터 압축된 특징점 서술자를 수신하는 서술자 수신부;
    상기 압축된 특징점 서술자를 해제하여 특징점을 복원하는 특징점 복원부; 및
    상기 복원된 특징점을 이용하여 원격 DB에서 특징점에 매칭되는 정보를 검색하는 정보 검색부
    를 포함하는 서버.
  9. 제8항에 있어서,
    상기 단말은,
    영상으로부터 추출된 특징점을 중요도에 따라 계층적으로 서술하여 특징점 서술자를 생성하는 특징으로 하는 서버.
  10. 제9항에 있어서,
    상기 단말은,
    상기 특징점 주변에 위치한 그리드 셀을 상기 특징점과의 거리값의 순서대로 서술하여 특징점 서술자를 생성하는 것을 특징으로 하는 서버.
  11. 제9항에 있어서,
    상기 단말은,
    상기 특징점 주변에 위치한 그리드 셀을 방향과 관련된 통계값의 순서대로 서술하여 특징점 서술자를 생성하는 것을 특징으로 하는 서버.
  12. 제8항에 있어서,
    상기 특징점 복원부는,
    상기 특징점 서술자를 구성하는 그리드 셀의 순서에 따라 해제한 후, 해제된 결과의 오차값에 따라 그리드 셀을 추가적으로 해제하는 것을 특징으로 하는 서버.
  13. 단말이 수행하는 영상 검색 방법에 있어서,
    입력된 영상으로부터 특징점(feature point)을 추출하는 단계;
    상기 추출된 특징점을 단계적으로 압축하여 계층적인 특징점 서술자를 생성하는 단계; 및
    상기 단말에 포함된 로컬 DB 또는 서버에 포함된 원격 DB에서 상기 특징점 서술자에 매칭되는 정보를 검색하는 단계
    를 포함하는 영상 검색 방법.
  14. 제13항에 있어서,
    상기 계층적인 특징점 서술자를 생성하는 단계는,
    특징점을 중요도에 따라 계층적으로 서술하여 특징점 서술자를 생성하는 것을 특징으로 하는 영상 검색 방법.
  15. 제14항에 있어서,
    상기 계층적인 특징점 서술자를 생성하는 단계는,
    상기 특징점 주변에 위치한 그리드 셀을 상기 특징점과의 거리값의 순서대로 서술하여 특징점 서술자를 생성하는 것을 특징으로 하는 영상 검색 방법.
  16. 제14항에 있어서,
    상기 계층적인 특징점 서술자를 생성하는 단계는,
    상기 특징점 주변에 위치한 그리드 셀을 방향과 관련된 통계값의 순서대로 서술하여 특징점 서술자를 생성하는 것을 특징으로 하는 영상 검색 방법.
  17. 제13항에 있어서,
    상기 계층적인 특징점 서술자를 생성하는 단계는,
    상기 특징점 주변에 위치한 그리드 셀의 서술식을 이용하여 특징점 서술자의 오차값을 계산하고, 오차값에 기초하여 그리드 셀의 서술식을 추가적으로 서술하는 것을 특징으로 하는 영상 검색 방법.
  18. 제13항에 있어서,
    상기 특징점 서술자에 매칭되는 정보를 검색하는 단계는,
    상기 단말에 포함된 로컬 DB에서 먼저 특징점 서술자에 매칭되는 정보를 검색하고, 검색되지 않으면 상기 서버에 포함된 원격 DB에서 특징점 서술자에 매칭되는 정보를 검색하는 것을 특징으로 하는 영상 검색 방법.
  19. 제13항에 있어서,
    상기 특징점 서술자에 매칭되는 정보를 검색하는 단계는,
    상기 특징점 서술자의 일부를 이용하여 먼저 검색하고, 검색 결과에 따라 상기 특징점 서술자의 나머지를 단계적으로 이용하여 검색하는 것을 특징으로 하는 영상 검색 방법.
  20. 서버가 수행하는 영상 검색 방법에 있어서,
    네트워크를 통해 연결된 단말로부터 압축된 특징점 서술자를 수신하는 단계;
    상기 압축된 특징점 서술자를 해제하여 특징점을 복원하는 단계; 및
    상기 복원된 특징점을 이용하여 원격 DB에서 특징점에 매칭되는 정보를 검색하는 단계
    를 포함하는 영상 검색 방법.
  21. 제20항에 있어서,
    상기 단말은,
    영상으로부터 추출된 특징점을 중요도에 따라 계층적으로 서술하여 특징점 서술자를 생성하는 특징으로 하는 영상 검색 방법.
  22. 제20항에 있어서,
    상기 단말은,
    상기 특징점 주변에 위치한 그리드 셀을 상기 특징점과의 거리값의 순서대로 서술하여 특징점 서술자를 생성하는 것을 특징으로 하는 영상 검색 방법.
  23. 제21항에 있어서,
    상기 단말은,
    상기 특징점 주변에 위치한 그리드 셀을 방향과 관련된 통계값의 순서대로 서술하여 특징점 서술자를 생성하는 것을 특징으로 하는 영상 검색 방법.
  24. 제21항에 있어서,
    상기 특징점을 복원하는 단계는,
    상기 특징점 서술자를 구성하는 그리드 셀의 순서에 따라 해제한 후, 해제된 결과의 오차값에 따라 그리드 셀을 추가적으로 해제하는 것을 특징으로 하는 영상 검색 방법.
KR1020100113342A 2010-11-15 2010-11-15 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치 KR101675785B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100113342A KR101675785B1 (ko) 2010-11-15 2010-11-15 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치
US13/214,689 US8971638B2 (en) 2010-11-15 2011-08-22 Method and apparatus for image search using feature point
US14/628,959 US9519543B2 (en) 2010-11-15 2015-02-23 Method and apparatus for image search using feature point

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100113342A KR101675785B1 (ko) 2010-11-15 2010-11-15 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20120051952A true KR20120051952A (ko) 2012-05-23
KR101675785B1 KR101675785B1 (ko) 2016-11-14

Family

ID=46047810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100113342A KR101675785B1 (ko) 2010-11-15 2010-11-15 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치

Country Status (2)

Country Link
US (2) US8971638B2 (ko)
KR (1) KR101675785B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101675785B1 (ko) * 2010-11-15 2016-11-14 삼성전자주식회사 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치
CN104067272A (zh) * 2011-11-21 2014-09-24 诺基亚公司 用于图像处理的方法和装置
CN108197631B (zh) * 2012-07-23 2022-06-28 苹果公司 提供图像特征描述符的方法
CN104520878A (zh) * 2012-08-07 2015-04-15 Metaio有限公司 提供用于描述对象表示的至少一个特征的特征描述符的方法
WO2015155628A1 (en) * 2014-04-07 2015-10-15 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
WO2018017059A1 (en) * 2016-07-19 2018-01-25 Hewlett-Packard Development Company, L.P. Image recognition and retrieval
KR20240094562A (ko) 2022-12-16 2024-06-25 성균관대학교산학협력단 물체의 회전 각도 판별 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5802199A (en) * 1994-11-28 1998-09-01 Smarttouch, Llc Use sensitive identification system
WO2009133856A1 (ja) * 2008-04-28 2009-11-05 公立大学法人大阪府立大学 物体認識用画像データベースの作成方法、処理装置および処理用プログラム
WO2010032297A1 (ja) * 2008-09-17 2010-03-25 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100295225B1 (ko) 1997-07-31 2001-07-12 윤종용 컴퓨터에서 영상정보 검색장치 및 방법
JPH11312171A (ja) 1998-04-28 1999-11-09 Canon Inc 画像検索装置及びその方法、コンピュータ可読メモリ
KR20000019231A (ko) 1998-09-09 2000-04-06 구자홍 계층영상 특징구조 및 하위계층을 이용한 반자동 상위계층 특징추출방법
US6445834B1 (en) * 1998-10-19 2002-09-03 Sony Corporation Modular image query system
KR101033866B1 (ko) 1999-01-29 2011-05-11 미쓰비시덴키 가부시키가이샤 화상 검색 방법, 화상 특징량 부호화 방법 및 화상 특징량복호 방법
KR100442991B1 (ko) * 1999-02-01 2004-08-04 주식회사 팬택앤큐리텔 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법
KR100671098B1 (ko) 1999-02-01 2007-01-17 주식회사 팬택앤큐리텔 모양정보를 이용한 멀티미디어 데이터의 검색 방법 및 장치
JP2002007432A (ja) * 2000-06-23 2002-01-11 Ntt Docomo Inc 情報検索システム
US7386170B2 (en) * 2000-06-30 2008-06-10 Texas Instruments Incorporated Image object ranking
KR100516289B1 (ko) 2000-11-02 2005-09-21 주식회사 케이티 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반영상 검색 장치 및 그 방법
KR20030009674A (ko) 2001-07-23 2003-02-05 주식회사 오픈비주얼 내용 기반 영상 검색 장치 및 방법
KR20060083762A (ko) 2005-01-18 2006-07-21 주식회사 팬택앤큐리텔 카메라 피사체 자동 추적 시스템과, 이를 탑재한 이동통신단말기 및 카메라 피사체 자동 추적 방법
WO2007091243A2 (en) * 2006-02-07 2007-08-16 Mobixell Networks Ltd. Matching of modified visual and audio media
EP1883020B1 (en) 2006-07-28 2013-05-22 Dassault Systèmes Method and system for navigating in a database of a computer system
JP4883649B2 (ja) * 2006-08-31 2012-02-22 公立大学法人大阪府立大学 画像認識方法、画像認識装置および画像認識プログラム
JP5306317B2 (ja) * 2007-04-04 2013-10-02 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ベクトルを使用する画像処理
KR20090051430A (ko) 2007-11-19 2009-05-22 영남대학교 산학협력단 부분 엔트로피 복호화를 이용한 제이펙-2000 압축 영상검색방법
KR100924690B1 (ko) 2007-12-17 2009-11-03 한국전자통신연구원 디지털 영상 특징 관리 시스템 및 그 방법
RU2505856C2 (ru) * 2008-11-12 2014-01-27 Нокиа Корпорейшн Способ и устройство для представления и идентификации дескрипторов признаков с использованием сжатой гистограммы градиентов
US20100303354A1 (en) * 2009-06-01 2010-12-02 Qualcomm Incorporated Efficient coding of probability distributions for image feature descriptors
US20100310174A1 (en) * 2009-06-05 2010-12-09 Qualcomm Incorporated Efficient incremental coding of probability distributions for image feature descriptors
CN102596517B (zh) * 2009-07-28 2015-06-17 悠进机器人股份公司 移动机器人定位和导航控制方法及使用该方法的移动机器人
JP2011154501A (ja) * 2010-01-27 2011-08-11 Sony Corp 学習装置、学習方法、識別装置、識別方法、プログラム、及び情報処理システム
KR101675785B1 (ko) * 2010-11-15 2016-11-14 삼성전자주식회사 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5802199A (en) * 1994-11-28 1998-09-01 Smarttouch, Llc Use sensitive identification system
WO2009133856A1 (ja) * 2008-04-28 2009-11-05 公立大学法人大阪府立大学 物体認識用画像データベースの作成方法、処理装置および処理用プログラム
WO2010032297A1 (ja) * 2008-09-17 2010-03-25 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
US8971638B2 (en) 2015-03-03
US20120121192A1 (en) 2012-05-17
US9519543B2 (en) 2016-12-13
US20150169410A1 (en) 2015-06-18
KR101675785B1 (ko) 2016-11-14

Similar Documents

Publication Publication Date Title
KR20120051952A (ko) 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치
CN111046235B (zh) 基于人脸识别的声像档案搜索方法、系统、设备及介质
CN104994426B (zh) 节目视频识别方法及系统
CN106557545B (zh) 视频检索方法和装置
CN105550222A (zh) 一种基于分布式存储的图像服务系统及方法
CN106681716B (zh) 智能终端及其应用程序的自动分类方法
KR101647691B1 (ko) 하이브리드 기반의 영상 클러스터링 방법 및 이를 운용하는 서버
Le et al. NII-HITACHI-UIT at TRECVID 2016.
CN111368867B (zh) 档案归类方法及系统、计算机可读存储介质
CN109800318B (zh) 一种归档方法及装置
US10943098B2 (en) Automated and unsupervised curation of image datasets
CN104216956A (zh) 一种图片信息的搜索方法和装置
CN117376632B (zh) 基于智能深度合成的数据恢复方法和系统
CN104486585A (zh) 一种基于gis的城市海量监控视频管理方法及系统
CN105095468A (zh) 一种新型的图像检索方法及系统
CN111753735B (zh) 视频片段检测方法、装置、电子设备及存储介质
WO2014153724A1 (en) A method and apparatus for estimating a pose of an imaging device
CN112883213B (zh) 一种图片归档方法、装置及电子设备
CN110120090B (zh) 三维全景模型构建方法、装置及可读存储介质
CN110019874B (zh) 索引文件的生成方法、装置及系统
US10268912B2 (en) Offline, hybrid and hybrid with offline image recognition
WO2022057773A1 (zh) 图像存储的方法、装置、计算机设备和存储介质
CN110750671A (zh) 一种基于海量非结构化特征的行人检索方法及装置
CN103093213A (zh) 视频文件分类方法及终端
CN115455083A (zh) 查重方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant