KR20160113460A - 비주얼 검색 시스템 및 그것의 동작 방법 - Google Patents

비주얼 검색 시스템 및 그것의 동작 방법 Download PDF

Info

Publication number
KR20160113460A
KR20160113460A KR1020150039011A KR20150039011A KR20160113460A KR 20160113460 A KR20160113460 A KR 20160113460A KR 1020150039011 A KR1020150039011 A KR 1020150039011A KR 20150039011 A KR20150039011 A KR 20150039011A KR 20160113460 A KR20160113460 A KR 20160113460A
Authority
KR
South Korea
Prior art keywords
visual search
target
feature information
database
information
Prior art date
Application number
KR1020150039011A
Other languages
English (en)
Inventor
이승재
이근동
오원근
정다운
제성관
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150039011A priority Critical patent/KR20160113460A/ko
Priority to US15/074,252 priority patent/US20160275124A1/en
Publication of KR20160113460A publication Critical patent/KR20160113460A/ko

Links

Images

Classifications

    • G06F17/30277—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G06F17/30247—
    • G06F17/30268—
    • G06F17/30973—

Abstract

본 발명의 실시 예에 따른 비주얼 검색 시스템은, 비주얼 검색을 위한 특징 정보를 저장하는 데이터베이스, 그리고 이동 객체 또는 고정 객체에 의해 촬영된 타깃의 이미지에 기반하여 상기 데이터베이스를 업데이트하는 비주얼 검색 업데이트 서버를 포함할 수 있다. 본 발명의 실시 예에 따르면, 이동 객체뿐만 아니라 고정 객체에 의해 촬영된 이미지를 이용하므로, 비주얼 검색을 위한 데이터베이스를 효율적으로 업데이트 할 수 있다.

Description

비주얼 검색 시스템 및 그것의 동작 방법{VISUAL SEARCH SYSTEM AND OPERATING METHOD THEREOF}
본 발명은 비주얼 검색에 관한 것으로, 좀 더 상세하게는, 이동 객체 및 고정 객체를 이용하여 비주얼 검색을 위한 데이터베이스를 업데이트하는 방법에 관한 것이다.
비주얼 검색(visual search)은 이미지 또는 영상으로부터 타깃을 추출하여, 타깃에 관한 정보를 사용자에게 제공하는 기술이다. 비주얼 검색을 위해서는 무엇보다도 데이터베이스의 구축이 선행되어야 한다.
간단한 상품이나 물건에 관한 정보를 취득하고자 하는 경우, 데이터베이스를 갱신하고 관리하는 것은 그다지 중요하지 않을 수 있다. 그러나 건물의 간판 등과 같이 주변 환경이 자주 바뀌는 도심 환경 하에서 비주얼 검색을 하고자 하는 경우, 데이터베이스를 업데이트하고 관리하는 것은 매우 중요하다.
사용자 참여에 의해 데이터베이스가 업데이트 되는 것과 같은 일반적인 데이터베이스의 업데이트는 지속적이지 않다는 단점이 있다. 따라서, 우수한 품질의 비주얼 검색 서비스를 제공하기 위해, 지속적으로 업데이트 가능한 데이터베이스를 구축하는 것이 중요한 문제로 부각되고 있다.
본 발명의 목적은 비주얼 검색에 있어서, 이동 객체 및 고정 객체에 의해 촬영된 이미지를 기반으로 하여, 비주얼 검색을 위한 데이터베이스를 효율적으로 업데이트하는 방법을 제공하는 데 있다.
본 발명의 실시 예에 따른 비주얼 검색 시스템은, 타깃이 속하는 지역에 따라 복수의 카테고리들로 분류된, 상기 타깃의 특징 정보를 저장하는 데이터베이스, 그리고 이동 객체 또는 고정 객체의 위치 정보 및 상기 이동 객체 또는 상기 고정 객체에 의해 촬영된 타깃의 이미지를 수신하고, 상기 수신된 이미지로부터 추출된 특징 정보와 상기 데이터베이스에 저장된 특징 정보를 비교하여 비주얼 검색을 실행하는 비주얼 검색 업데이트 서버를 포함할 수 있다.
실시 예로써, 상기 비주얼 검색 업데이트 서버는, 상기 위치 정보를 참조하여 상기 이동 객체 또는 상기 고정 객체의 위치를 확인하는 위치 확인부, 상기 위치 정보를 참조하여 상기 촬영된 타깃이 속하는 지역에 대응하는 특징 정보의 업데이트가 기준 주기 이내에 실행되었는지 여부를 판단하는 업데이트 히스토리 확인부, 상기 수신된 이미지로부터 상기 특징 정보를 추출하고, 상기 추출된 특징 정보를 상기 데이터베이스에 저장된 특징 정보와 비교하여 상기 촬영된 타깃의 위치를 탐지하고, 그리고 상기 데이터베이스에 저장된 특징 정보를 갱신할 필요가 있는지 여부를 판단하는 비주얼 검색부, 그리고 상기 판단 결과에 따라, 상기 데이터베이스에 저장된 상기 촬영된 타깃과 관련된 특징 정보를 갱신하는 특징 정보 구조화부를 구동하도록 구성될 수 있다.
다른 실시 예로써, 상기 고정 객체에 의해 촬영된 상기 타깃의 이미지는 주기적으로 상기 비주얼 검색 업데이트 서버로 수신될 수 있다.
또 다른 실시 예로써, 상기 이동 객체의 위치 정보는 상기 이동 객체의 사용자의 요청에 따라 상기 비주얼 검색 업데이트 서버에 의해 수신되고, 그리고 상기 고정 객체의 위치 정보는 상기 비주얼 검색 업데이트 서버로 수신되거나 또는 상기 비주얼 검색 업데이트 서버에 저장되어 있을 수 있다.
또 다른 실시 예로써, 상기 데이터베이스에 저장된 상기 특징 정보는 상기 특징 정보에 대응하는 타깃이 속한 지역에 따라 복수의 그룹들로 분류되어있을 수 있다.
또 다른 실시 예로써, 상기 비주얼 검색 업데이트 서버는 상기 복수의 그룹들 중 상기 이동 객체 또는 상기 고정 객체가 속한 지역에 대응하는 그룹을 참조하여 상기 촬영된 타깃의 위치를 탐지할 수 있다.
또 다른 실시 예로써, 상기 위치 정보는 상기 이동 객체의 출발 지점 및 도착 지점에 관한 정보를 포함할 수 있다.
또 다른 실시 예로써, 상기 기준 주기는 상기 출발 지점 및 도착 지점에 관한 정보에 기초하여 결정될 수 있다.
또 다른 실시 예로써, 상기 이동 객체의 상기 위치 정보는 GPS에 의해 획득될 수 있다.
본 발명의 실시 예에 따른, 비주얼 검색을 위한 데이터베이스의 업데이트 방법은, 이동 객체 또는 고정 객체에 의해 촬영된 타깃의 이미지, 및 상기 이동객체 또는 상기 고정 객체의 위치 정보를 수신하는 단계, 상기 촬영된 타깃이 속하는 지역에 대응하는 특징 정보의 업데이트가 기준 주기 이내에 실행되었는지 여부를 판단하는 단계, 상기 판단 결과에 따라, 상기 촬영된 타깃의 특징 정보와 데이터베이스에 저장된 특징 정보를 비교하여 상기 비주얼 검색을 실행하는 단계, 그리고 상기 데이터베이스에 저장된 상기 특징 정보 중, 상기 촬영된 타깃과 관련된 특징 정보를 업데이트 하는 단계를 포함할 수 있다.
실시 예로써, 상기 타깃의 특징 정보는 상기 타깃이 속하는 지역에 따라 복수의 카테고리들 중 어느 하나로 분류되어 상기 데이터베이스에 저장될 수 있다.
실시 예로써, 상기 수신하는 단계 후, 상기 위치 정보에 기초하여 상기 복수의 카테고리들 중, 상기 비주얼 검색을 위한 카테고리를 선택하는 단계를 더 포함할 수 있다.
다른 실시 예로써, 상기 비주얼 검색을 실행하는 단계는, 상기 촬영된 타깃의 이미지로부터 상기 특징 정보를 추출하는 단계, 상기 선택된 카테고리에 포함된 특징 정보와 상기 촬영된 타깃의 특징 정보를 비교하는 단계, 그리고 상기 비교 결과에 따라 상기 타깃의 위치를 탐색하는 단계를 포함할 수 있다.
또 다른 실시 예로써, 상기 고정 객체에 의해 촬영된 상기 타깃의 이미지는 비주얼 검색 업데이트 서버에 의해 주기적으로 수신될 수 있다.
또 다른 실시 예로써, 상기 수신하는 단계는 상기 이동 객체의 출발 지점 및 도착 지점에 관한 정보를 수신할 수 있다.
또 다른 실시 예로써, 상기 기준 주기는 상기 출발 지점 및 도착 지점에 관한 정보에 기초하여 결정될 수 있다.
본 발명의 실시 예에 의하면, 이동 객체 및 고정 객체에 의해 촬영된 이미지를 이용하여, 비주얼 검색을 위한 데이터베이스를 효율적으로 업데이트할 수 있다.
도 1은 본 발명의 실시 예에 따른 비주얼 검색 시스템을 보여주는 블록도이다.
도 2는 도 1에 도시된 비주얼 검색 업데이트 서버를 상세하게 보여주는 블록도이다.
도 3은 본 발명의 실시 예에 따른 비주얼 검색 시스템의 동작을 개념적으로 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따른 비주얼 검색 시스템의 동작 방법을 보여주는 순서도이다.
도 5는 본 발명의 다른 실시 예에 따른 비주얼 검색 시스템의 동작 방법을 보여주는 순서도이다.
6은 도 4에서 설명된 S130 단계를 상세하게 보여주는 순서도이다.
앞의 일반적인 설명 및 다음의 상세한 설명 모두 예시적이라는 것이 이해되어야 하며, 청구된 발명의 부가적인 설명이 제공되는 것으로 여겨져야 한다. 참조 부호들이 본 발명의 바람직한 실시 예들에 상세히 표시되어 있으며, 그것의 예들이 참조 도면들에 표시되어 있다. 가능한 어떤 경우에도, 동일한 참조 번호들이 동일한 또는 유사한 부분을 참조하기 위해서 설명 및 도면들에 사용된다.
한 요소 또는 층이 다른 요소 또는 층에 "연결되는", "결합하는", 또는 "인접하는" 것으로 언급되는 때에는, 다른 요소 또는 층에 직접적으로 연결되거나, 결합 되거나, 또는 인접하는 것일 수 있고, 혹은 그 사이에 끼워지는 요소 또는 층이 존재할 수 있음이 잘 이해될 것이다. 본 명세서에서 사용되는 "및/또는"이라는 용어는 나열된 요소들의 하나 또는 그 이상의 가능한 조합들을 포함할 것이다.
비록 "제 1", "제 2" 등의 용어가 여기서 다양한 요소를 설명하기 위해 사용될 수 있다 하더라도, 이들 요소는 이 용어들에 의해 한정되지 않는다. 이 용어들은 단지 다른 것들로부터 하나의 구성요소를 구별하기 위해 사용될 수 있다. 따라서, 본 명세서에서 사용된 제 1 구성요소, 구간, 층과 같은 용어는 본 발명의 사상을 벗어나지 않는 범위 내에서 제 2 구성요소, 구간, 층 등으로 사용될 수 있다.
"아래의", "하부의", "위의", "상부의", 및 이와 유사한 용어들은 직접적으로(directly) 또는 다른 층을 개재하여(indirectly) 배치되는 경우를 모두 포함한다. 그리고, 공간적으로 상대적인 이러한 용어들은 도면에 도시된 방향에 더하여 다른 방향을 포함하는 것으로 이해되어야 한다. 예를 들어, 만일 장치가 뒤집히면, "아래의"로 설명된 구성요소는 "위의"가 될 것이다.
본 명세서에서 설명되는 용어는 단지 특정한 실시 예를 설명하기 위한 목적으로 사용되며, 그것에 한정되지 않는다. "하나의"와 같은 용어는 달리 명백하게 지칭하지 않으면 복수의 형태를 포함하는 것으로 이해되어야 한다. "포함하는" 또는 "구성되는"과 같은 용어는 설명된 특징, 단계, 동작, 성분, 및/또는 구성요소의 존재를 명시하며, 추가적인 하나 또는 그 이상의 특징, 단계, 동작, 성분, 구성요소 및/또는 그들의 그룹의 존재를 배제하지 않는다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 본 발명의 실시 예를 첨부된 도면을 참조하여 설명할 것이다.
도 1은 본 발명의 실시 예에 따른 비주얼 검색 시스템을 보여주는 블록도이다. 도 1을 참조하면, 비주얼 검색 시스템(1000)은 비주얼 검색 업데이트 서버(1100) 및 데이터베이스(1200)를 포함할 수 있다.
비주얼 검색 업데이트 서버(1100)는 이동 객체(1300)(예를 들어, 사용자의 모바일 폰, 차량의 블랙박스 등), 또는 고정 객체(1400)(예를 들어, CCTV 등)에 의해 촬영된 타깃의 이미지를 수신할 수 있다. 비주얼 검색 업데이트 서버(1100)는 이동 객체(1300) 또는 고정 객체(1400)의 위치 정보를 수신할 수 있다. 비주얼 검색 업데이트 서버(1100)는 이러한 위치 정보를 이용하여, 데이터베이스(1200)에서 탐색되는 영역을 선별할 수 있다. 그리고, 비주얼 검색 업데이트 서버(1100)는 데이터베이스(1200)에 저장된 데이터를 참조하여 타깃에 관한 정보를 사용자에게 제공하는 비주얼 검색 동작을 실행할 수 있다.
본 발명의 실시 예에 따르면, 비주얼 검색 업데이트 서버(1100)는 이동 객체(1300)(예를 들어, 사용자의 모바일 폰, 차량의 블랙박스 등)뿐만 아니라, 고정 객체(1400)(예를 들어, CCTV 등)에 의해 촬영된 타깃의 이미지를 이용하여 데이터베이스(1200)를 업데이트할 수 있다. 이때, 비주얼 검색 업데이트 서버(1100)는 고정 객체(1400)로부터 주기적으로 타깃의 이미지를 수신할 수 있다. 비주얼 비주얼 검색 업데이트 서버(1100)는 촬영된 타깃이 위치한 영역에 대해 최근에 업데이트가 실행되었는지 여부에 따라 데이터베이스(1200)를 업데이트할 수 있다. 그 결과, 데이터베이스(1200)를 효율적으로 업데이트하고 관리할 수 있다.
실시 예로써, 비주얼 검색 업데이트 서버(1100)는 위치 확인부(1122), 업데이트 히스토리 확인부(1124), 비주얼 검색부(1126), 및 특징 정보 구조화부(1128)를 포함할 수 있다. 예를 들어, 위치 확인부(1122), 업데이트 히스토리 확인부(1124), 비주얼 검색부(1126), 및 특징 정보 구조화부(1128)는 소프트웨어로써 구동되는 모듈일 수 있다. 그러나 이에 한정되지 않으며, 하드웨어로써 제작된 모듈일 수도 있다.
위치 확인부(1122)는 이동 객체(1300) 또는 고정 객체(1400)로부터 수신된 위치 정보를 참조하여, 이동 객체(1300) 또는 고정 객체(1400)의 위치를 파악할 수 있다. 예를 들어, 위치 정보는 GPS를 기반으로 하는 정보일 수 있다. 그러나, 고정 객체(1400)의 위치 정보는 비주얼 검색 업데이트 서버(1100)에 미리 저장되어 있을 수도 있다. 위치 확인부(1122)에 의해 파악된 이동 객체(1300) 또는 고정 객체(1400)의 위치는 비주얼 검색 효율을 향상시키는데 이용될 수 있다. 예를 들어, 비주얼 검색시, 데이터베이스(1200)에 저장된 특징 정보들 중 이동 객체(1300) 또는 고정 객체(1400)가 속하는 영역에 대응하는 특징 정보들을 우선 검색함으로써, 검색 효율을 향상시킬 수 있다.
업데이트 히스토리 확인부(1124)는 데이터베이스(1200)의 업데이트 히스토리를 확인하여 데이터베이스(1200)가 중복 업데이트 되는 것을 방지할 수 있다. 이때, 업데이트 히스토리의 확인은, 이동 객체(1300) 또는 고정 객체(1400)에 의해 촬영된 타깃과 무관할 수 있다. 즉, 촬영된 타깃이 속한 영역에 대해 최근에 데이터베이스(1200)의 업데이트가 실행되었다면, 데이터베이스(1200)의 업데이트는 실행되지 않을 수 있다. 이는 가장 일반적인 타깃 중의 하나인 건물의 외관은 자주 또는 크게 변경되지 않는다는 것을 고려한 것이다.
비주얼 검색부(1126)는 이동 객체(1300)의 사용자의 요청에 따라 비주얼 검색을 실행할 수 있다. 비주얼 검색부(1126)는 이동 객체(1300)의 카메라(1310)에 의해 촬영된 타깃의 이미지의 특징 정보를 추출하고, 추출된 특징 정보를 데이터베이스(1200)에 저장된 특징 정보와 비교하여, 타깃의 위치를 탐지할 수 있다. 이때, 비주얼 검색부(1200)는 데이터베이스(1300)에 저장된 모든 데이터를 검색하는 것이 아니라, 타깃이 속한 영역에 대응하는 특징 정보들만 검색할 수 있다. 즉, 데이터베이스(1200)에 저장된 특징 정보들은 타깃이 속한 (또는 위치한) 영역에 따라 분류될 수 있다.
비주얼 검색부(1126)는 촬영된 타깃의 특징 정보와 데이터베이스(1200)에 저장된 특징 정보를 비교하여 타깃의 위치를 탐지할 수 있으며, 타깃과 관련된 정보를 사용자에게 제공할 수 있다. 비주얼 검색부(1126)는 촬영된 타깃의 특징 정보와 데이터베이스(1200)에 저장된 특징 정보를 비교하여 업데이트가 필요한지 여부를 판단할 수 있다.
데이터베이스(1200)는 타깃의 특징 정보를 저장할 수 있다. 비주얼 검색을 용이하게 하기 위하여, 데이터베이스(1200)는 타깃이 속하는 영역에 따라 특징 정보들을 분류하여 저장할 수 있다. 예를 들어, 데이터베이스(1200)는 SSD (solid state drive)와 같은 대용량 저장 장치일 수 있다. 그러나, 이에 한정되지 않는다.
특징 정보 구조화부(1128)는, 데이터베이스(1200)를 업데이트할 필요가 있다고 판단된 경우, 특징 정보 중 갱신(renew)이 필요한 부분을 구조화할 수 있다. 그리고 특징 정보 구조화부(1128)는 데이터베이스(1200)로의 업데이트를 요청할 수 있다.
본 발명의 실시 예에 따르면, 비주얼 검색 업데이트 서버(1100)는 이동 객체(1300)뿐만 아니라, 고정 객체(1400)에 의해 촬영된 타깃의 이미지도 참조하여 데이터베이스(1200)를 업데이트할 수 있다. 그 결과, 비주얼 검색을 위한 데이터베이스를 효율적으로 업데이트할 수 있다.
도 2는 도 1에 도시된 비주얼 검색 업데이트 서버(1100)를 상세하게 보여주는 블록도이다. 도 2를 참조하면, 비주얼 검색 업데이트 서버(1100)는 적어도 하나의 프로세서(1110), 메모리(1120), 네트워크 어댑터(1130), ROM(1140), 스토리지(1150), 및 인터페이스 회로(1160)를 포함할 수 있다.
프로세서(1110)는 비주얼 검색 업데이트 서버(1100)의 전반적인 동작을 제어할 수 있다. 프로세서(1100)는 비주얼 검색 업데이트 서버(1100)를 구동하기 위한 운영 체제(operating system; OS), 위치 확인부(1122), 업데이트 히스토리 확인부(1124), 비주얼 검색부(1126), 및 특징 정보 구조화부(1128)를 구동할 수 있다. 예를 들어, 운영 체제(operating system; OS), 위치 확인부(1122), 업데이트 히스토리 확인부(1124), 비주얼 검색부(1126), 및 특징 정보 구조화부(1128)는 메모리(1120)에 로딩되어 구동될 수 있다.
메모리(1120)에는 비주얼 검색 업데이트 서버(1100)를 구동하거나 제어하기 위한 운영 체제, 위치 확인부(1122), 업데이트 히스토리 확인부(1124), 비주얼 검색부(1126), 및 특징 정보 구조화부(1128)가 로딩될 수 있다. 메모리(1120)에 로딩된 이러한 모듈들은 비주얼 검색을 위한 데이터베이스를 업데이트할 수 있다.
네트워크 어댑터(1130)는 비주얼 검색 업데이트 서버(1100), 및 이동 객체(도 1 참조, 1300) 또는 고정 객체(도 1 참조, 1400) 사이의 인터페이싱을 제공할 수 있다.
ROM(1130)은 비주얼 검색 업데이트 서버(1100)의 초기 부팅(booting)에 필요한 코드 데이터를 저장할 수 있다.
스토리지(1140)에는 비주얼 검색 업데이트 서버(1100)를 구동하는데 필요한 운영 체제, 및 위치 확인부(1122), 업데이트 히스토리 확인부(1124), 비주얼 검색부(1126), 특징 정보 구조화부(1128)와 같은 모듈들이 저장될 수 있다.
인터페이스 회로(1150)는 비주얼 검색 업데이트 서버(1100)와 데이터베이스(1200) 사이의 인터페이스를 제공할 수 있다. 예를 들어, 비주얼 검색 업데이트 서버(1100)와 데이터베이스(1200)는 다양한 표준 인터페이스들(Standardized Interfaces) 중 적어도 하나를 통해 연결될 수 있다. 표준 인터페이스들은 ATA(Advanced Technology Attachment), SATA(Serial ATA), e-SATA(external SATA), SCSI(Small Computer Small Interface), SAS(Serial Attached SCSI), PCI(Peripheral component Interconnection), PCI-E(PCI Express), USB(Universal Serial Bus), IEEE 1394, Card 인터페이스 등과 같은 다양한 인터페이스를 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른 비주얼 검색 시스템의 동작을 개념적으로 보여주는 도면이다.
도 3을 참조하면, 이동 객체(1300-1 내지 1300-3), 고정 객체(1400), 및 타깃(예를 들어, 건물)이 도시되었다. 도면에 도시된 바와 같이, 분할된 복수의 영역들(영역 1 내지 영역 9) 중 하나(영역 5)에 타깃이 위치해 있다. 그리고, 데이터베이스(도 1 참조, 1200)에 저장된 특징 정보들도, 복수의 분할된 영역에 따라 분류되어 있다. 이동 객체(1300-1 및 1300-2)는 스마트폰 또는 웨어러블 기기를 착용한 사용자일 수 있다. 이동 객체(1300-3)는 블랙박스를 갖춘 차량일 수 있다. 고정 객체(1400)는 CCTV와 같이 한 위치에 고정되어 주변의 영상을 촬영할 수 있는 기기일 수 있다.
이동 객체(1300-1 내지 1300-3) 및 고정 객체(1400)에 의해 촬영된 타깃의 이미지는 비주얼 검색 업데이트 서버(도 1 참조, 1100))로 전송될 수 있다. 이와 동시에 이동 객체(1300-1 내지 1300-3) 및 고정 객체(1400)의 위치 정보도 비주얼 검색 업데이트 서버(도 1 참조, 1100)로 전송될 수 있다. 또는 고정 객체(1400)의 위치 정보는 비주얼 검색 업데이트 서버에 미리 저장되어 있을 수 있다. 이때 위치 정보는 GPS (global positioning system)에 기반한 정보일 수 있다.
사용자로부터 비주얼 검색 요청이 수신되면, 비주얼 검색 업데이트 서버의 위치 확인부(도 1 참조, 1122)는 이동 객체(1300-1 내지 1300-3) 또는 고정 객체(1400)의 위치를 확인한다. 그리고 비주얼 검색 업데이트 서버는 데이터베이스(도 1 참조, 1200) 내의 탐색 영역을 영역 5와 관련된 특징 정보로 한정한다. 그 결과, 검색 시간이 감소할 수 있다.
만일, 이동 객체(1300-1)의 사용자에 의해 비주얼 검색 요청이 수신된 경우와 같이 이동 객체와 타깃이 서로 다른 영역에 있는 경우도 있을 수 있다. 이 경우, 비주얼 검색 업데이트 서버는, 데이터베이스에 저장된 특징 정보들 중, 이동 객체(1300-1)가 위치한 영역 2와 관련된 특징 정보를 먼저 검색할 수 있다. 그리고, 인접한 영역(예를 들어, 영역 1, 및 영역 3 내지 6)과 관련된 특징 정보들을 검색하여 비주얼 검색 동작을 실행한다. 그 결과, 검색 시간이 감소할 수 있다.
개인 정보의 유출 염려가 있는 이동 객체(1300-1 및 1300-2)와 달리, 차량의 블랙박스와 같은 이동 객체(1300-2) 및 고정 객체(1400)에 의해 촬영된 타깃의 이미지는 주기적으로 비주얼 검색 업데이트 서버(도 1 참조, 1100)로 전송될 수 있다.
사용자에 의해 비주얼 검색 요청이 수신된 경우, 비주얼 검색 업데이트 서버는 우선 타깃이 속하는 영역 5와 관련된 특징 정보의 업데이트가 있었는지 여부를 판단한다. 비록, 타깃과 관련된 특징 정보의 업데이트가 아니라고 하더라도, 기준 주기 이내에 업데이트가 실행되었다고 확인되면, 타깃의 업데이트는 실행되지 않을 수 있다. 기준 주기는 이동 객체의 위치 정보에 따라 정해질 수 있다. 예를 들어, 기준 주기는 이동 객체의 출발 지점 및 도착 지점에 관한 정보에 따라 정해질 수 있다. 만일, 어떤 영역으로부터 수신된 이동 객체의 위치 정보가 상대적으로 많다면, 이는 유동 인구가 많음을 의미할 수 있다. 이 경우, 기준 주기를 짧게 함으로써, 데이터베이스(1200)의 업데이트 빈도를 증가시킬 수 있다. 반면, 어떤 영역으로부터 수신된 이동 객체의 위치 정보가 상대적으로 적다면, 이는 유동 인구가 상대적으로 적음을 의미할 것이다. 이 경우, 기준 주기를 길게 함으로써, 데이터베이스(1200)의 업데이트 빈도를 감소시킬 수 있다.
도 4는 본 발명의 실시 예에 따른 비주얼 검색 시스템의 동작 방법을 보여주는 순서도이다.
S110 단계에서, 이동 객체 또는 고정 객체로부터 타깃의 이미지 및 위치 정보가 수신될 수 있다. 예를 들어, 이동 객체의 위치 정보는 GPS를 기반으로 하는 정보일 수 있다. 그리고, 고정 객체의 위치 정보는 비주얼 검색 업데이트 서버에 미리 저장되어 있을 수 있다.
비주얼 검색 업데이트 서버는 이동 객체로부터 수신된 위치 정보에 기반하여 이동 객체의 위치 정보를 파악할 수 있다. 또는 비주얼 검색 업데이트 서버는 고정 객체에 의해 촬영된 타깃의 이미지가 수신되면, 미리 저장되어 있는 고정 객체의 위치 정보를 파악할 수 있다.
S120 단계에서, 해당 영역에 대해 업데이트가 최근에 실행되었는지 여부가 판단될 수 있다. 여기서 해당 영역이란, 이동 객체 또는 고정 객체가 속한 영역을 의미할 수 있다. 판단 결과에 따라 동작 분기가 발생한다. 최근에 업데이트가 실행되었다고 판단되면(Yes), S160 단계로 이동한다. 그렇지 않으면(No), S130 단계로 이동한다.
S130 단계에서, 비주얼 검색 동작이 실행된다. 비주얼 검색 동작에 따라, 수신된 타깃의 이미지의 특징 정보와 데이터베이스에 저장된 특징 정보를 비교함으로써 타깃에 관한 정보가 제공될 수 있다. 데이터베이스를 검색하는 동작은 이동 객체 또는 고정 객체가 속한 영역에 대응하는 카테고리에서 우선적으로 실행될 수 있다. 이동 객체 또는 고정 객체와, 타깃은 동일한 영역에 속해 있을 확률이 크기 때문이다. 이후, 이동 객체 또는 고정 객체가 속한 영역과 인접한 영역에 대응하는 카테고리로 검색이 확대될 수 있다.
S140 단계에서, 업데이트가 필요한지 여부가 판단된다. 촬영된 타깃의 특징 정보와 데이터베이스에 저장된 특징 정보를 비교하여 업데이트가 필요하다고 판단되면, 갱신(renew)이 필요한 부분만을 구조화하여 업데이트를 실행할 수 있다. 판단 결과에 따라 동작 분기가 발생한다. 업데이트가 필요하다고 판단되면(Yes), S150 단계가 실행된다. 그렇지 않으면(No), 절차는 종료된다.
S150 단계에서, 데이터베이스가 업데이트된다. 업데이트는 타깃의 특징 정보 중 갱신(renew)이 필요한 부분에 대해서 실행될 수 있다.
S160 단계에서, 비주얼 검색 동작이 실행된다. 본 단계는 S130 단계와 실질적으로 동일하다. 다만, 앞선 S120 단계에서 최근에 업데이트가 되었다고 판단되었으므로, 추가적인 업데이트는 고려되지 않는다.
본 발명의 실시 예에 따르면, 이동 객체에 의해 촬영된 이미지뿐만 아니라 고정 객체에 의해 촬영된 이미지도 함께 이용하여 데이터베이스를 업데이트 한다. 그 결과, 비주얼 검색을 위한 데이터베이스를 효율적으로 업데이트할 수 있다.
도 5는 본 발명의 다른 실시 예에 따른 비주얼 검색 시스템의 동작 방법을 보여주는 순서도이다.
S210 단계에서, 이동 객체 또는 고정 객체로부터 타깃의 이미지 또는 위치 정보가 수신될 수 있다. 본 단계는 도 4에서 설명된 S110 단계와 실질적으로 동일하므로 중복되는 설명은 생략하기로 한다.
S220 단계에서, 비주얼 검색 동작이 실행된다. 본 단계는 도 4에서 설명된 S130 단계와 실질적으로 동일하므로, 중복되는 설명은 생략하기로 한다. 다만, 도 4의 실시 예와는 달리, 최근에 해당 영역에 대해 업데이트가 최근에 실행되었는지 여부를 판단하기 전에 본 단계가 실행된다.
S230 단계에서, 해당 영역에 대해 업데이트가 최근에 실행되었는지 여부가 판단될 수 있다. 여기서 해당 영역이란, 이동 객체 또는 고정 객체가 속한 영역을 의미할 수 있다. 판단 결과에 따라 동작 분기가 발생한다. 최근에 업데이트가 실행되었다고 판단되면(Yes), 절차가 종료된다. 그렇지 않으면(No), S240 단계가 실행된다.
S240 단계에서, 업데이트가 필요한지 여부가 판단된다. 촬영된 타깃의 특징 정보와 데이터베이스에 저장된 특징 정보를 비교하여 업데이트가 필요하다고 판단되면, 갱신(renew)이 필요한 부분만을 구조화하여 업데이트를 실행할 수 있다. 판단 결과에 따라 동작 분기가 발생한다. 업데이트가 필요하다고 판단되면(Yes), S250 단계가 실행된다. 그렇지 않으면(No), 절차는 종료된다.
S250 단계에서, 데이터베이스가 업데이트된다. 업데이트는 타깃의 특징 정보 중 갱신(renew)이 필요한 부분에 대해서 실행될 수 있다.
도 6은 도 4에서 설명된 S130 단계를 상세하게 보여주는 순서도이다. 본 도면은 도 4의 S130 단계뿐만 아니라 S160 단계, 및 도 5의 S220 단계에도 동일하게 적용될 수 있다.
S132 단계에서, 이동 객체 또는 고정 객체에 의해 촬영된 이미지로부터 특징 정보가 추출될 수 있다. 특징 정보의 추출은 Harris 검출기, Harris-Laplace 검출기, SIFT (scale invariant feature transform) 검출기, MSER (maximally scalable extremal regions) 검출기, SURF (speeded up robust features) 검출기 등과 같은 다양한 검출기를 사용하여 실행될 수 있다.
S134 단계에서, 추출된 특징 정보와 데이터베이스에 저장된 특징 정보가 비교될 수 있다. 본 단계에서, 추출된 특징 정보와 데이터베이스에 저장된 특징 정보가 매칭되면, 사용자에 의해 요청된 이미지에 대해 기하학적 검증 과정도 실행될 수 있다.
S136 단계에서, 비주얼 검색 결과에 따라 타깃의 위치가 판단될 수 있다. 그리고 타깃에 관한 정보도 사용자에게 제공될 수 있다.
본 발명의 실시 예에 따르면, 이동 객체뿐만 아니라, 고정 객체로부터 수신된 타깃의 이미지도 함께 이용하여 비주얼 검색을 위한 데이터베이스를 업데이트 한다. 그 결과 데이터베이스를 보다 효율적으로 업데이트할 수 있으므로, 복잡한 도시 환경 속에서 발생하는 건물 외관의 잦은 변경에도 유연하게 대응할 수 있다는 장점이 있다.
이상, 본 발명의 상세한 설명에서 구체적인 실시 예에 관하여 설명되었다. 그러나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 본 발명을 여러 가지 형태로 변형할 수 있은 물론이다. 따라서, 본 발명의 범위는 상술한 실시 예에 국한되지 않으며, 후술하는 특허 청구범위뿐만 아니라 본 발명의 특허 청구범위와 균등한 것들에 의해 정해져야 한다.
1000: 비주얼 검색 시스템 1100: 비주얼 검색 업데이트 서버
1110: 프로세서 1120: 메모리
1122: 위치 확인부 1124: 업데이트 확인부
1126: 비주얼 검색부 1128: 특징 정보 구조화부
1130: 네트워크 어댑터 1140: ROM
1150: 스토리지 1160: 인터페이스 회로
1200: 데이터베이스 1300: 이동 객체
1400: 고정 객체

Claims (16)

  1. 비주얼 검색 시스템에 있어서:
    타깃이 속하는 지역에 따라 복수의 카테고리들로 분류된, 상기 타깃의 특징 정보를 저장하는 데이터베이스; 그리고
    이동 객체 또는 고정 객체의 위치 정보 및 상기 이동 객체 또는 상기 고정 객체에 의해 촬영된 타깃의 이미지를 수신하고, 상기 수신된 이미지로부터 추출된 특징 정보와 상기 데이터베이스에 저장된 특징 정보를 비교하여 비주얼 검색을 실행하는 비주얼 검색 업데이트 서버를 포함하는 비주얼 검색 시스템.
  2. 제 1 항에 있어서,
    상기 비주얼 검색 업데이트 서버는,
    상기 위치 정보를 참조하여 상기 이동 객체 또는 상기 고정 객체의 위치를 확인하는 위치 확인부,
    상기 위치 정보를 참조하여 상기 촬영된 타깃이 속하는 지역에 대응하는 특징 정보의 업데이트가 기준 주기 이내에 실행되었는지 여부를 판단하는 업데이트 히스토리 확인부,
    상기 수신된 이미지로부터 상기 특징 정보를 추출하고, 상기 추출된 특징 정보를 상기 데이터베이스에 저장된 특징 정보와 비교하여 상기 촬영된 타깃의 위치를 탐지하고, 그리고 상기 데이터베이스에 저장된 특징 정보를 갱신할 필요가 있는지 여부를 판단하는 비주얼 검색부, 그리고
    상기 판단 결과에 따라, 상기 데이터베이스에 저장된 상기 촬영된 타깃과 관련된 특징 정보를 갱신하는 특징 정보 구조화부를 구동하도록 구성되는 비주얼 검색 시스템.
  3. 제 2 항에 있어서,
    상기 고정 객체에 의해 촬영된 상기 타깃의 이미지는 주기적으로 상기 비주얼 검색 업데이트 서버로 수신되는 비주얼 검색 시스템.
  4. 제 2 항에 있어서,
    상기 이동 객체의 위치 정보는 상기 이동 객체의 사용자의 요청에 따라 상기 비주얼 검색 업데이트 서버에 의해 수신되고, 그리고
    상기 고정 객체의 위치 정보는 상기 비주얼 검색 업데이트 서버로 수신되거나 또는 상기 비주얼 검색 업데이트 서버에 저장되어 있는 비주얼 검색 시스템.
  5. 제 4 항에 있어서,
    상기 데이터베이스에 저장된 상기 특징 정보는 상기 특징 정보에 대응하는 타깃이 속한 지역에 따라 복수의 그룹들로 분류되어있는 비주얼 검색 시스템.
  6. 제 5 항에 있어서,
    상기 비주얼 검색 업데이트 서버는 상기 복수의 그룹들 중 상기 이동 객체 또는 상기 고정 객체가 속한 지역에 대응하는 그룹을 참조하여 상기 촬영된 타깃의 위치를 탐지하는 비주얼 검색 시스템.
  7. 제 2 항에 있어서,
    상기 위치 정보는 상기 이동 객체의 출발 지점 및 도착 지점에 관한 정보를 포함하는 비주얼 검색 시스템.
  8. 제 7 항에 있어서,
    상기 기준 주기는 상기 출발 지점 및 도착 지점에 관한 정보에 기초하여 결정되는 비주얼 검색 시스템.
  9. 제 2 항에 있어서,
    상기 이동 객체의 상기 위치 정보는 GPS에 의해 획득되는 비주얼 검색 시스템.
  10. 비주얼 검색을 위한 데이터베이스의 업데이트 방법에 있어서:
    이동 객체 또는 고정 객체에 의해 촬영된 타깃의 이미지, 및 상기 이동객체 또는 상기 고정 객체의 위치 정보를 수신하는 단계;
    상기 촬영된 타깃이 속하는 지역에 대응하는 특징 정보의 업데이트가 기준 주기 이내에 실행되었는지 여부를 판단하는 단계;
    상기 판단 결과에 따라, 상기 촬영된 타깃의 특징 정보와 데이터베이스에 저장된 특징 정보를 비교하여 상기 비주얼 검색을 실행하는 단계; 그리고
    상기 데이터베이스에 저장된 상기 특징 정보 중, 상기 촬영된 타깃과 관련된 특징 정보를 업데이트 하는 단계를 포함하는 비주얼 검색을 위한 데이터베이스의 업데이트 방법.
  11. 제 10 항에 있어서,
    상기 타깃의 특징 정보는 상기 타깃이 속하는 지역에 따라 복수의 카테고리들 중 어느 하나로 분류되어 상기 데이터베이스에 저장되는 비주얼 검색을 위한 데이터베이스의 업데이트 방법.
  12. 제 11 항에 있어서,
    상기 수신하는 단계 후, 상기 위치 정보에 기초하여 상기 복수의 카테고리들 중, 상기 비주얼 검색을 위한 카테고리를 선택하는 단계를 더 포함하는 비주얼 검색을 위한 데이터베이스의 업데이트 방법.
  13. 제 12 항에 있어서,
    상기 비주얼 검색을 실행하는 단계는:
    상기 촬영된 타깃의 이미지로부터 상기 특징 정보를 추출하는 단계;
    상기 선택된 카테고리에 포함된 특징 정보와 상기 촬영된 타깃의 특징 정보를 비교하는 단계; 그리고
    상기 비교 결과에 따라 상기 타깃의 위치를 탐색하는 단계를 포함하는 비주얼 검색을 위한 데이터베이스의 업데이트 방법.
  14. 제 10 항에 있어서,
    상기 고정 객체에 의해 촬영된 상기 타깃의 이미지는 비주얼 검색 업데이트 서버에 의해 주기적으로 수신되는 비주얼 검색을 위한 데이터베이스의 업데이트 방법.
  15. 제 10 항에 있어서,
    상기 수신하는 단계는 상기 이동 객체의 출발 지점 및 도착 지점에 관한 정보를 수신하는 단계를 포함하는 비주얼 검색을 위한 데이터베이스의 업데이트 동작 방법.
  16. 제 15 항에 있어서,
    상기 기준 주기는 상기 출발 지점 및 도착 지점에 관한 정보에 기초하여 결정되는 비주얼 검색을 위한 데이터베이스의 업데이트 동작 방법.
KR1020150039011A 2015-03-20 2015-03-20 비주얼 검색 시스템 및 그것의 동작 방법 KR20160113460A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150039011A KR20160113460A (ko) 2015-03-20 2015-03-20 비주얼 검색 시스템 및 그것의 동작 방법
US15/074,252 US20160275124A1 (en) 2015-03-20 2016-03-18 Visual search system and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150039011A KR20160113460A (ko) 2015-03-20 2015-03-20 비주얼 검색 시스템 및 그것의 동작 방법

Publications (1)

Publication Number Publication Date
KR20160113460A true KR20160113460A (ko) 2016-09-29

Family

ID=56925247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150039011A KR20160113460A (ko) 2015-03-20 2015-03-20 비주얼 검색 시스템 및 그것의 동작 방법

Country Status (2)

Country Link
US (1) US20160275124A1 (ko)
KR (1) KR20160113460A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6294492B2 (ja) * 2013-12-17 2018-03-14 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． アップリンクデータ伝送確認装置、デバイスおよび方法

Also Published As

Publication number Publication date
US20160275124A1 (en) 2016-09-22

Similar Documents

Publication Publication Date Title
US10520329B2 (en) Method for providing parking location information of vehicle and electronic device thereof
US9466013B2 (en) Computer vision as a service
CN107251045B (zh) 物体识别装置、物体识别方法及计算机可读存储介质
CN101950351B (zh) 使用图像识别算法识别目标图像的方法
US10839197B2 (en) Monitoring system, monitoring camera, and management device
JP6175846B2 (ja) 車両追跡プログラム、サーバ装置および車両追跡方法
US8229928B2 (en) 3D object descriptors
US20090083275A1 (en) Method, Apparatus and Computer Program Product for Performing a Visual Search Using Grid-Based Feature Organization
US20150186426A1 (en) Searching information using smart glasses
US20140222783A1 (en) Systems and methods for automatically determining an improved view for a visual query in a mobile search
US20170039450A1 (en) Identifying Entities to be Investigated Using Storefront Recognition
CN112818314A (zh) 一种设备检测方法、装置、设备及存储介质
US20200097735A1 (en) System and Method for Display of Object Movement Scheme
US9117100B2 (en) Dynamic learning for object tracking
KR20160113460A (ko) 비주얼 검색 시스템 및 그것의 동작 방법
CN110458052B (zh) 基于增强现实的目标对象识别方法、装置、设备、介质
CN104596509A (zh) 一种定位方法和系统、移动终端
CN115049731B (zh) 一种基于双目摄像头的视觉建图和定位方法
Amlacher et al. Geo-contextual priors for attentive urban object recognition
JP2019160227A (ja) 情報提供システム、サーバ装置、及び情報提供方法
CN114297441B (zh) 视频对象检索方法、装置、计算机设备及可读存储介质
CN116664812A (zh) 一种视觉定位方法、视觉定位系统及电子设备
CN115171159A (zh) 一种基于摄像头的预测跟踪方法、装置、电子设备及介质
KR20150108099A (ko) 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN116383381A (zh) 一种虚假新闻检测方法、装置和电子设备