KR101712925B1 - 영상과 위치정보를 연계한 데이터베이스를 구축하는 방법, 상기 데이터베이스를 활용하여 측위하는 방법, 및 상기 방법들을 수행하는 전자 장치 - Google Patents

영상과 위치정보를 연계한 데이터베이스를 구축하는 방법, 상기 데이터베이스를 활용하여 측위하는 방법, 및 상기 방법들을 수행하는 전자 장치 Download PDF

Info

Publication number
KR101712925B1
KR101712925B1 KR1020150050040A KR20150050040A KR101712925B1 KR 101712925 B1 KR101712925 B1 KR 101712925B1 KR 1020150050040 A KR1020150050040 A KR 1020150050040A KR 20150050040 A KR20150050040 A KR 20150050040A KR 101712925 B1 KR101712925 B1 KR 101712925B1
Authority
KR
South Korea
Prior art keywords
image
index
electronic device
feature points
information
Prior art date
Application number
KR1020150050040A
Other languages
English (en)
Other versions
KR20160120895A (ko
Inventor
강성진
임준후
이형근
이제영
최광호
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020150050040A priority Critical patent/KR101712925B1/ko
Publication of KR20160120895A publication Critical patent/KR20160120895A/ko
Application granted granted Critical
Publication of KR101712925B1 publication Critical patent/KR101712925B1/ko

Links

Images

Classifications

    • G06F17/30268—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G06F17/30241—
    • G06F17/30256—
    • G06F17/30277—
    • G06F17/3028—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 다양한 실시 예들은 전자 장치에 관한 것으로, 상기 전자 장치의 위치 정보를 획득하는 위치 파악 모듈; 영상 센서를 통해 제1 이미지 및 제2 이미지를 포함하는 영상을 획득하는 카메라 모듈; 및 상기 제1 이미지, 상기 제2 이미지, 및 상기 제1 이미지와 상기 제2 이미지 각각에 대응하는 상기 전자 장치의 위치에 기초하여, 상기 제1 이미지 및 상기 제2 이미지에 공통으로 포함된 인덱스의 좌표를 획득하는 프로세서;를 포함할 수 있다.

Description

영상과 위치정보를 연계한 데이터베이스를 구축하는 방법, 상기 데이터베이스를 활용하여 측위하는 방법, 및 상기 방법들을 수행하는 전자 장치{METHOD FOR DEVELOPING DATABASE OF POSITION INFORMATION ASSOCIATED WITH IMAGE, POSITIONING METHOD USING THE DATABASE, AND DEVICE PERFORMING THE METHODS}
본원은 영상의 특징점과 같은 인덱스를 위치 정보와 연계하여 데이터베이스를 구축하는 전자 장치 및 방법, 그리고 상기 구축된 데이터베이스를 활용하여 영상을 통해 위치를 추정하는 전자 장치 및 방법에 관한 것이다.
정보 통신 기술의 발전으로 기지국 등의 네트워크 장치가 전국 각지에 설치되었고, 전자 장치는 다른 전자 장치와 네트워크를 통해 데이터를 송수신함으로써, 사용자로 하여금 전국 어디에서나 자유롭게 네트워크를 사용할 수 있게 하였다.
또한, 전자 장치는 GPS 등의 네트워크를 통해 상기 전자 장치의 위치를 파악할 수 있게 되었고, 사용자는 이로 인한 다양한 서비스를 제공받게 되었다. 예를 들어, 사용자는 전자 장치의 위치를 이용한 지도 서비스, 검색 서비스, 정보 제공 서비스 등의 위치 기반 컨텐츠를 제공받을 수 있게 되었다.
본원은 전술한 종래 기술에 있어서, GPS 오작동 등으로 상기 전자 장치의 위치를 제대로 파악할 수 없는 경우에 이를 보완하기 위한 것으로서, 영상 이미지의 특징점을 획득하고 상기 획득된 특징점의 실제 좌표를 획득하여 데이터베이스를 구축하는 방법, 영상 이미지의 특징점을 획득하고 상기 실제 좌표를 이용하여 전자 장치의 위치를 추정하는 방법, 및 상기 방법들 각각을 수행하는 전자 장치를 제공하고자 한다.
다만, 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시 예에 따른 전자 장치는, 상기 전자 장치의 위치 정보를 획득하는 위치 파악 모듈; 하나 이상의 영상 센서를 통해 제1 이미지 및 제2 이미지를 포함하는 영상을 획득하는 카메라 모듈; 및 상기 제1 이미지, 상기 제2 이미지, 및 상기 제1 이미지와 상기 제2 이미지 각각에 대응하는 상기 전자 장치의 위치에 기초하여, 상기 제1 이미지 및 상기 제2 이미지에 공통으로 포함된 인덱스의 좌표를 획득하는 프로세서;를 포함할 수 있다.
본 실시 예의 일 예에 따르면, 상기 프로세서는 상기 영상이 획득된 시간과 상기 위치 정보가 획득된 시간을 동기화할 수 있다.
본 실시 예의 일 예에 따르면, 상기 제1 이미지와 상기 제2 이미지는 서로 다른 시점에서 획득될 수 있다.
본 실시 예의 일 예에 따르면, 상기 전자 장치는 시간에 따라 그 위치가 이동되고, 상기 제1 이미지는 하나의 영상 센서가 획득한 이미지이며, 상기 제2 이미지는 상기 하나의 영상 센서가 상기 제1 이미지를 획득한 시간과 차이가 있는 시간에 획득한 이미지일 수 있다.
본 실시 예의 일 예에 따르면, 상기 제1 이미지는 제1 영상 센서가 획득한 이미지이고, 상기 제2 이미지는 상기 제1 영상 센서와 다른 시점을 갖는 위치에 배치된 제2 영상 센서가 획득한 이미지일 수 있다.
본 실시 예의 일 예에 따르면, 상기 전자 장치는 상기 제1 이미지 및 상기 제2 이미지에서 각각 복수의 특징점을 추출하는 영상 처리 모듈;을 더 포함할 수 있다. 이 경우, 상기 인덱스의 좌표는 상기 추출된 복수의 특징점 중 적어도 하나 이상의 특징점의 좌표일 수 있다.
본 실시 예의 일 예에 따르면, 상기 복수의 특징점을 추출하는 동작은, SIFT(scale invariant feature transform) 알고리즘, SURF(speeded up robust features) 알고리즘 또는 PCA(principal components analysis)-SIFT 중 적어도 하나 이상에 기초하여 수행되는 것일 수 있다.
본 실시 예의 일 예에 따르면, 상기 제1 이미지 위의 특징점 및 상기 제2 이미지 위의 특징점은 기설정된 범위 이상 차이나는 좌표 값을 갖는 것일 수 있다.
본 실시 예의 일 예에 따르면, 상기 전자 장치의 위치 정보는 GPS(global positioning system)를 통해 획득된 것일 수 있다.
본 실시 예의 일 예에 따르면, 상기 전자 장치의 위치 정보는 보정 위성 항법(DGPS; differential GPS)을 통해 보정된 정보일 수 있다.
본 실시 예의 일 예에 따르면, 상기 인덱스의 좌표는 상기 영상 센서로부터 상기 인덱스까지의 상대 벡터 값이고, 상기 프로세서는 상기 인덱스의 좌표에 대하여 센서 좌표계로부터 월드 좌표계로의 좌표 변환을 수행할 수 있다.
본 실시 예의 일 예에 따르면, 상기 좌표 변환은 상기 영상 센서의 위치를 고려하여 수행될 수 있다.
본 실시 예의 일 예에 따르면, 상기 전자 장치는 상기 전자 장치의 위치 정보, 상기 획득된 영상, 및 좌표 변환된 상기 인덱스의 좌표 중 적어도 하나 이상을 외부 서버에 전송하는 통신 모듈;을 더 포함할 수 있다.
본 실시 예의 일 예에 따르면, 상기 전자 장치는 차량에 구비되는 것이고, 상기 인덱스는 고정된 물체에 관한여 추출되는 것일 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시 예에 따른 전자 장치는 영상 센서를 통해 이미지를 획득하는 카메라 모듈; 상기 이미지로부터 인덱스를 추출하는 영상 처리 모듈; 상기 추출된 인덱스에 대응하는 인덱스 또는 이미지를 외부 서버에게 요청하고, 상기 요청한 인덱스 또는 이미지, 및 상기 요청한 인덱스 또는 이미지와 관련한 정보를 수신하는 통신 모듈; 및 상기 수신된 인덱스 또는 이미지, 및 상기 수신된 인덱스 또는 이미지와 관련한 정보에 기초하여 상기 전자 장치의 위치를 추정하는 프로세서;를 포함하고, 상기 수신된 인덱스 또는 이미지는 다른 전자 장치에서 추출된 인덱스 또는 상기 다른 장치에서 획득된 이미지이며, 상기 수신된 인덱스 또는 이미지와 관련한 정보는 상기 수신된 인덱스의 좌표 정보 또는 상기 수시된 이미지에 포함된 인덱스의 좌표 정보, 및 상기 다른 전자 장치의 위치 정보를 포함할 수 있다.
본 실시 예의 일 예에 따르면, 상기 인덱스의 좌표 정보는 복수의 특징점 중 적어도 하나 이상의 좌표 정보이고, 상기 수신된 인덱스 또는 이미지는, 상기 외부 서버에 저장된 복수의 인덱스 중 하나, 또는 상기 외부 서버에 저장된 복수의 이미지 중 하나이되, 상기 수신된 인덱스 또는 이미지에 포함된 복수의 특징점과 상기 전송된 이미지에 포함된 복수의 특징점에 있어서, 대응되는 각각의 특징점간 픽셀 좌표 거리가 최소인 경우로서 선택될 수 있다.
본 실시 예의 일 예에 따르면, 상기 통신 모듈이 상기 외부 서버로부터 상기 추출된 인덱스에 대응하는 이미지를 수신하는 경우, 상기 프로세서는 상기 획득된 이미지와 상기 수신된 이미지가 서로 대응하는지 여부를 판단하고, 상기 판단 결과 대응하는 이미지를 상기 전자 장치의 위치를 추정하는데 이용할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시 예에 따른 전자 장치에서 수행되는 방법은 상기 전자 장치의 위치 정보를 획득하는 동작; 하나 이상의 영상 센서를 통해 제1 이미지 및 제2 이미지를 포함하는 영상을 획득하는 동작; 및 상기 제1 이미지, 상기 제2 이미지, 및 상기 제1 이미지와 상기 제2 이미지 각각에 대응하는 상기 전자 장치의 위치에 기초하여, 상기 제1 이미지 및 상기 제2 이미지에 공통으로 포함된 인덱스의 좌표를 획득하는 동작;을 포함할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시 예에 따른 전자 장치에서 수행되는 방법은 영상 센서를 통해 이미지를 획득하는 동작; 상기 이미지로부터 상기 인덱스를 추출하는 동작; 상기 추출된 인덱스에 대응하는 인덱스 또는 이미지를 외부 서버에게 요청하고, 상기 요청한 인덱스 또는 이미지, 및 상기 요청한 인덱스 또는 이미지와 관련한 정보를 수신하는 동작; 및 상기 수신된 인덱스 또는 이미지, 및 상기 수신된 인덱스 또는 이미지와 관련한 정보에 기초하여 상기 전자 장치의 위치를 추정하는 동작;을 포함하고, 상기 수신된 인덱스 또는 이미지는 다른 전자 장치에서 추출된 인덱스 또는 상기 다른 전자 장치에서 획득된 이미지이며, 상기 수신된 인덱스 또는 이미지와 관련한 정보는 상기 수신된 인덱스의 좌표 정보 또는 상기 수신된 이미지에 포함된 인덱스의 좌표 정보, 및 상기 다른 전자 장치의 위치 정보를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시 예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시 예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 상기 전자 장치 및 방법은 GPS(global positioning system)가 동작하지 않는 경우라도, 이미지 상의 특징점의 실제 좌표에 기초하여 상기 전자 장치의 위치를 추정할 수 있는바, 위치 기반 서비스의 연속성을 유지할 수 있는 등 사용자 편의를 도모할 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 위치 추정 시스템의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른, 위치 추정 서비스를 위한 제1 전자 장치의 구성도이다.
도 3a는 본 발명의 일 실시 예에 따른, 제1 전자 장치를 포함하는 제1 차량이 이동하며 인덱스에 대응하는 대상체를 포함하는 이미지를 획득하는 동작을 나타낸 도면이다.
도 3b는 본 발명의 일 실시 예에 따른, 제1 전자 장치를 포함하는 제1 차량이 서로 다른 위치에 배치된 복수의 영상 센서를 이용하여 인덱스에 대응하는 대상체를 포함하는 이미지를 획득하는 동작을 나타낸 도면이다.
도 4는 본 발명의 일 실시 예에 따른, 제1 이미지 및 제2 이미지에 있어서, 상호 대응하는 복수의 특징점을 나타낸 도면이다.
도 5는 본 발명의 다른 실시 예에 따른, 제1 이미지 및 제2 이미지에 있어서, 상호 대응하는 복수의 특징점을 나타낸 도면이다.
도 6은 본 발명의 다른 실시 예에 따른, 제1 이미지 및 제2 이미지에 있어서, 상호 대응하는 복수의 특징점을 나타낸 도면이다.
도 7은 본 발명의 일 실시 예에 따른, 제1 전자 장치가 인덱스의 좌표를 획득하는 방법을 나타낸 순서도이다.
도 8은 본 발명의 일 실시 예에 따른, 위치 추정 서비스를 위한 제2 전자 장치의 구성도이다.
도 9는 본 발명의 일 실시 예에 따른, 제2 전자 장치가 상기 제2 전자 장치의 위치를 추정하는 방법을 나타낸 순서도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시 예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
도 1은 본 발명의 일 실시 예에 따른, 위치 추정 시스템의 구성도이다. 도 1을 참조하면, 상기 위치 추정 시스템은 제1 전자 장치(100), 외부 서버(200), 제2 전자 장치(300), 및 네트워크(400)를 포함할 수 있다. 제1 전자 장치(100)는 제1 차량(10)에 구비되어 있고, 제2 전자 장치(300)는 제2 차량(30)에 구비되어 있을 수 있다. 예를 들어, 제1 전자 장치(100) 및 제2 전자 장치(300)는 완제품이 아니고, 각각 제1 차량(10) 및 제2 차량(30)의 적어도 일부에 구비되는 회로 기판일 수도 있다.
본 발명의 다른 다양한 실시 예들에 따른 전자 장치(100) 및 제2 전자 장치(300)는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC (desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치(wearable device)(예: 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD)), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 미러, 또는 스마트 와치(smart watch)) 등의 완제품일 수 있다.
제1 전자 장치(100)는 GPS 수신기(12) 및 영상 센서(15)와 전기적으로 또는 물리적으로 연결되어 있을 수 있다. 또한, 제1 전자 장치(100)는 GPS 수신기(12) 및 영상 센서(15)를 제어할 수 있다. GPS 수신기(12) 및 영상 센서(15)는 제1 차량(10)의 외부에 부착된 것처럼 도시되어 있지만, 이에 한정되는 것은 아니다. 예를 들어, GPS 수신기(12) 및 영상 센서(15)는 제1 차량(10)의 내부에 위치할 수도 있다. 또한, GPS 수신기(12) 및 영상 센서(15)는 제1 전자 장치(100)에 포함된 것일 수도 있다.
제1 전자 장치(100)는 제1 차량(10)에 구비 또는 안착되어 제1 차량(10)과 함께 이동할 수 있다. 제1 전자 장치(100)는 이동 중에 GPS 수신기(12)를 통해 계속적으로 제1 전자 장치(100)의 위치 정보를 획득할 수 있다. 도 1을 참조하면, 제1 전자 장치(100)는 1개의 GPS 수신기(12) 만을 이용하는 것처럼 도시되어 있지만, 본 발명의 다양한 실시 예는 2개 이상의 GPS 수신기를 이용할 수도 있다. 예를 들어, 제1 전자 장치(100)가 획득하는 위치 정보는 2개의 GPS 수신기를 이용하는 DGPS(differential GPS)를 통해 보정된 정보일 수 있다.
또한, 제1 전자 장치(100)는 이동 중에 영상 센서(15)를 통해 복수의 이미지를 포함하는 영상을 획득할 수 있다. 상기 복수의 이미지 중 제1 이미지 및 제2 이미지는 향후 추출되는 인덱스를 포함하는 대상체(20)가 공통으로 포함된 이미지들일 수 있다.
제1 전자 장치(100)는 상기 제1 이미지 및 상기 제2 이미지 각각에서 인덱스를 추출할 수 있다. 인덱스는 복수의 특징점에 관한 것일 수 있다. 예시적으로, 인덱스는 SURF 알고리즘을 이용하여 이미지로부터 추출되는 복수의 특징점에 관한 것일 수 있으나, 이에만 한정되는 것은 아니다. 즉, 인덱스는 복수의 이미지를 상호 대비함에 있어서 공통적으로 포함되었다고 판단할 수 있는 기준이 되는 점, 영역, 윤곽 등을 포괄하는 넓은 개념에 관한 것으로 이해함이 바람직하다.
인덱스가 복수의 특징점에 관한 것인 경우, 제1 전자 장치(100)는 상기 추출된 복수의 특징점, 상기 제1 이미지를 획득하는 시점의 제1 전자 장치(100)의 위치 정보, 및 상기 제2 이미지를 획득하는 시점의 제1 전자 장치(100)의 위치 정보에 기초하여, 상기 복수의 특징점들 각각의 좌표를 획득할 수 있다. 상기 특징점의 좌표는 이미지 내에서의 픽셀 좌표일 수 있다. 상기 복수의 특징점들 각각의 좌표는 영상 센서(15)로부터 상기 복수의 특징점들 각각까지의 상대 벡터 값일 수 있다. 상기 획득된 복수의 특징점 중 적어도 하나 이상은 건물 등과 같은 대상체(20)에 대한 특징점일 수 있다. 즉, 인덱스가 복수의 특징점에 관한 것인 경우, 복수의 특징점 및 이와 관련된 픽셀좌표, 상대좌표, 전역좌표, 특징점 묘사정보(descriptor) 등이 인덱스로서 추출될 수 있다. 이하에서는 이미지로부터 추출되는 인덱스의 일 예로서 주로 특징점을 들어 설명하기로 한다.
본 발명의 다양한 실시 예에 따르면, 인덱스의 좌표를 획득하기에 앞서, 제1 전자 장치(100)는 상기 영상의 획득 시점과 상기 위치 정보의 획득 시점을 상호 동기화시킬 수 있다.
제1 전자 장치(100)는 인덱스의 좌표에 대하여 센서 좌표계로부터 월드 좌표계로의 좌표 변환을 수행할 수 있다. 이 경우, 상기 좌표 변환은 영상 센서(15)의 위치를 고려하여 수행될 수 있다. 영상 센서(15)의 위치는 별도의 GPS 수신기(미도시)를 통해 획득될 수 있다.
제1 전자 장치(100)는 상기 획득된 제1 전자 장치(100)의 위치 정보, 상기 획득된 영상 및 상기 영상에 포함된 이미지 별 특징점 정보, 및 상기 좌표 변환이 수행된 인덱스의 좌표를 외부 서버(200)에게 전송할 수 있다.
외부 서버(200)는 데이터 베이스 서버로서, 제1 전자 장치(100)로부터 수신한 상기 획득된 제1 전자 장치(100)의 위치 정보, 상기 획득된 영상 및 상기 영상에 포함된 이미지 별 특징점 정보, 및 상기 좌표 변환이 수행된 인덱스의 좌표를 상호 매칭시켜 저장할 수 있다.
외부 서버(200)는 제2 전자 장치(300)로부터 복수의 특징점을 포함하는 인덱스 또는 이미지를 수신할 수 있다. 이에 대한 응답으로, 외부 서버(200)는 상기 수신된 인덱스 또는 이미지에 포함된 특징점들과 대응하는 특징점들을 포함하는 인덱스 또는 이미지를 찾아 제2 전자 장치(300)에게 전송할 수 있다.
제2 전자 장치(300)는 제2 차량(30)에 구비되거나 안착될 수 있고, 영상 센서(35)를 제어하여 이미지를 획득할 수 있다. 도1을 참조하면, 제2 차량(30) 또는 제2 전자 장치(300)는 GPS 수신기가 없는 것처럼 보이나, 본 발명의 다양한 실시 예는, 제2 차량(30) 또는 제2 전자 장치(300)는 GPS 수신기를 구비할 수 있다. 이 경우, 상기 위치 추정 시스템은 제2 차량(30) 또는 제2 전자 장치(300)는 GPS 수신기가 올바로 동작하지 않는 경우에 대한 것일 수 있다.
제2 전자 장치(300)는 상기 획득된 이미지를 분석하여 복수의 특징점을 획득할 수 있다. 또한, 제2 전자 장치(300)는 상기 획득된 특징점과 연계된 인덱스 또는 이미지를 외부 서버(200)에게 전송할 수 있고, 이에 대응하는 인덱스 또는 이미지를 외부 서버(200)로부터 수신할 수 있다. 만일 비슷한 위치에서 촬영된 이미지라면 특징점의 위치가 비슷할 것이므로, 상기 획득된 인덱스 또는 이미지의 특징점들의 픽셀 좌표와 외부 서버(200)에 저장된 인덱스 또는 이미지의 특징점들의 픽셀 좌표를 비교하여, 특징점들의 픽셀 좌표가 비슷한 하나 이상의 인덱스 또는 이미지를 외부 서버(200)로부터 수신할 수 있다. 예를 들어, 상기 대응하는 인덱스 또는 이미지는, 외부 서버(200)에 저장된 인덱스 또는 이미지들에 포함된 특징점들의 픽셀 좌표를 외부 서버(200)에 전송한 인덱스 또는 이미지에 포함된 특징점들의 픽셀 좌표와 비교하여, 그 차이가 최소가 되는 외부 서버(200) 상의 인덱스 또는 이미지일 수 있다.
또한, 제2 전자 장치(300)는 영상 센서(35)에서 획득된 이미지 또는 그로부터 추출된 인덱스에 포함된 특징점들과 외부 서버(200)로부터 수신된 이미지 또는 인덱스에 포함된 특징점들을 비교하여 가장 비슷한 n 개의 특징점들로부터 제2 전자 장치(300)의 위치를 추정할 수 있다 예를 들어, 제2 전자 장치(300)는 영상 센서(35)에서 획득된 이미지에 포함된 특징점들과 외부 서버(200)로부터 수신된 이미지에 포함된 특징점들 중 상호 픽셀 거리가 최소인 상기 수신된 이미지 상의n 개의 특징점들을 이용하여 제2 전자 장치(300)의 위치를 추정할 수 있다. 다른 예로, 제2 전자 장치(300)는 추출된 인덱스에 포함된 특징점들과 외부 서버(200)로부터 수신된 인덱스에 포함된 특징점들 중 상호 픽셀 거리가 최소인 인덱스 상의n 개의 특징점들을 이용하여 제2 전자 장치(300)의 위치를 추정할 수 있다.
제1 전자 장치(100), 외부 서버(200), 및 제2 전자 장치(300)는 네트워크(400)를 통해 상호 연결될 수 있다. 네트워크(400)는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 무선 통신 및 유선 통신을 포함할 수 있다. 상기 무선 통신은, 예를 들면 셀룰러 통신 프로토콜로서, 예를 들면 LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro, 또는 GSM 등 중 적어도 하나를 사용할 수 있다. 또한 상기 무선 통신은, 예를 들면, 근거리 통신을 포함할 수 있다. 상기 근거리 통신은, 예를 들면, Wi-Fi, Bluetooth, NFC(near field communication), 또는 GPS(global positioning system) 등 중 적어도 하나를 포함할 수 있다. 상기 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(300)는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷(Internet), 또는 전화 망(telephone network) 중 적어도 하나를 포함할 수 있다.
이하, 제1 전자 장치(100)에 대해 더 자세히 알아보겠다.
도 2는 본 발명의 일 실시 예에 따른, 위치 추정 서비스를 위한 제1 전자 장치(100)의 구성도이다. 제1 전자 장치(100)는 위치 파악 모듈(110), 카메라 모듈(120), 영상 처리 모듈(130), 프로세서(140), 통신 모듈(150), 및 메모리(미도시)를 포함할 수 있다. 다만, 도 2에 도시된 제1 전자 장치(100)의 구성은 본 발명의 하나의 구현 예에 불과하며, 여러 가지 변형이 가능하다. 예를 들어, 제1 전자 장치(100)는 사용자로부터 어떤 명령 내지 정보를 입력 받기 위한 유저 인터페이스를 더 포함할 수 있다. 이 경우, 상기 유저 인터페이스는 일반적으로 키보드, 마우스 등과 같은 입력 장치가 될 수도 있으나, 제1 전자 장치(100)의 스크린에 디스플레이되는 그래픽 유저 인터페이스(GUI, Graphical User interface)가 될 수도 있다.
위치 파악 모듈(110)은 제1 전자 장치(100)의 위치 정보를 획득할 수 있다. 위치 파악 모듈(110)은 제1 전자 장치(100)의 위치 정보를 GPS(global positioning system) 수신기(12)를 통해 획득할 수 있다. 상기 GPS 수신기의 개수는 1개일 수도 있지만, 2개 이상일 수도 있다. 따라서, 위치 파악 모듈(110)은 2개의 GPS 수신기를 이용하여 보정된 제1 전자 장치(100)의 위치 정보를 획득할 수 있다.
카메라 모듈(120)은 영상 센서(15)를 통해 복수의 이미지를 포함하는 영상을 획득할 수 있다. 상기 복수의 이미지 중 제1 이미지 및 제2 이미지는 복수의 특징점에 관한 인덱스를 포함할 수 있다. 인덱스를 포함하는 이미지는 더 많을 수 있지만, 이하 상기 제1 이미지 및 상기 제2 이미지를 예로 들어 설명하겠다.
영상 처리 모듈(130)은 상기 제1 이미지 및 상기 제2 이미지에서 각각 복수의 특징점 및 이와 관련된 픽셀좌표, 상대좌표, 전역좌표, 특징점 묘사정보(descriptor) 등을 인덱스로서 추출할 수 있다. 영상 처리 모듈(130)은, 예를 들어, SIFT(scale invariant feature transform) 알고리즘, SURF(speeded up robust features) 알고리즘 또는 PCA(principal components analysis)-SIFT 알고리즘 중 적어도 하나 이상을 이용하여 복수의 특징점과 이들의 인덱스를 추출할 수 있다.
영상 처리 모듈(130)은 상기 제1 이미지 위의 특징점 후보 및 이에 대응하는 상기 제2 이미지 위의 특징점 후보의 좌표값이 기설정된 범위 이상 차이나는 경우에 해당 특징점 후보를 특징점으로 추출할 수 있다. 기설정된 범위의 의미에 대해서는 이하에서 도 5 및 도 6에 대해 설명하면서 후술하기로 한다.
영상 처리 모듈(130)이 이미지에서 복수의 특징점을 추출하는 동작을 이하 도 3 내지 도 6을 통해 설명하겠다.
도 3a는 본 발명의 일 실시 예에 따른, 제1 전자 장치(100)를 포함하는 제1 차량(10)이 이동하며 인덱스에 대응하는 대상체(20)를 포함하는 이미지를 획득하는 동작을 나타낸 도면이다. 제 1 전자 장치(100)는 제1 시점(이하, K 시점)의 제1 차량(10)의 위치에서 제1 이미지(310)를 획득할 수 있고, 제2 시점(이하, K+1 시점)의 제1 차량(10)의 위치에서 제2 이미지(320)를 획득할 수 있다. 제1 이미지(310) 및 제2 이미지(320)는 모두 영상 센서(15)를 통해 획득될 수 있다. 또한, 제1 이미지(310) 및 제2 이미지(320)는 모두 복수의 특징점에 관한 인덱스를 포함하고 있다. 즉, 제1 전자 장치(100)는 시간에 따라 그 위치가 이동되고, 제1 이미지(310)는 하나의 영상 센서(15)가 획득한 이미지이며, 제2 이미지(320)는 하나의 영상 센서(15)가 제1 이미지(310)를 획득한 시간과 차이가 있는 시간에 획득한 이미지일 수 있다. 이와 같이, K 시점과 K+1 시점은 동일한 영상 센서(15)의 시간에 따른 이동에 따라 구분될 수 있다.
한편, 도 3b는 본 발명의 일 실시 예에 따른, 제1 전자 장치를 포함하는 제1 차량이 서로 다른 위치에 배치된 복수의 영상 센서를 이용하여 인덱스에 대응하는 대상체를 포함하는 이미지를 획득하는 동작을 나타낸 도면이다. 제1 차량(10)에는 서로 다른 위치에 배치되어 서로 다른 시점(viewpoint)을 갖는 복수의 영상 센서(15a, 15b)가 구비될 수 있다. 제 1 전자 장치(100)는 제1 영상 센서(15a)를 통해 K 시점을 갖는 제1 위치에서 촬영된 제1 이미지(310)를 획득할 수 있고, 제2 영상 센서(15b)를 통해 제1 위치와는 다른 K+1 시점을 갖는 위치인 제2 위치에서 촬영된 제2 이미지(320)를 획득할 수 있다. 또한, 제1 이미지(310) 및 제2 이미지(320)는 모두 복수의 특징점에 관한 인덱스를 포함하고 있다. 즉, 제1 전자 장치(100)는 복수의 영상 센서(15a, 15b)를 구비하고, 제1 이미지(310)는 제1 영상 센서(15a)가 획득한 K 시점의 이미지이며, 제2 이미지(320)는 제1 영상 센서(15b)와 다른 K+1 시점을 갖는 위치에 배치된 제2 영상 센서(15b)가 획득한 이미지일 수 있다. 이러한 K 시점과 K+1 시점은 복수의 영상 센서(15a, 15b)의 서로 다른 위치에 따라 구분될 수 있다. 또한 이 경우, 제1 이미지(310)와 제2 이미지(320)는 서로 별개의 영상 센서를 통해 획득되므로, K 시점의 제1 이미지(310)와 과 K+1 시점의 제2 이미지(320)는 동일한 시간에 획득될 수 있다.
도 3a 및 도 3b를 통해 살펴본 바와 같이, 제1 이미지(310)와 제2 이미지(320)는 서로 다른 시점(viewpoint)에서 획득될 수 있다. 전술한 바와 같이, 도 3a의 경우, 하나의 영상 센서(15)의 시간에 따른 이동에 따라 K 시점의 제1 이미지(310)와 K+1 시점의 제2 이미지(320)가 획득될 수 있다. 또한, 도 3b의 경우, 복수의 영상 센서(15a, 15b)의 서로 다른 시점을 갖는 위치에서의 촬영에 따라 K 시점의 제1 이미지(310)와 K+1 시점의 제2 이미지(320)가 획득될 수 있다.
도 4는 본 발명의 일 실시 예에 따른, 제1 이미지(410) 및 제2 이미지(420)에 있어서, 상호 대응하는 복수의 특징점을 나타낸 도면이다. 도 4의 왼쪽에 도시된 제1 이미지(410)는 K 시점에서 획득된 이미지이고, 도 4의 오른쪽에 도시된 제2 이미지(420)는 K+1 시점에서 획득된 이미지이다.
영상 처리 모듈(130)은 제1 이미지(410) 및 제2 이미지(420) 각각에 대하여 특징점을 추출할 수 있다. 앞서 언급했듯이, 영상 처리 모듈(130)은 예를 들어, SIFT(scale invariant feature transform) 알고리즘, SURF(speeded up robust features) 알고리즘 또는 PCA(principal components analysis)-SIFT 알고리즘 중 적어도 하나 이상을 이용하여 복수의 특징점을 추출할 수 있다.
제1 이미지(410) 및 제2 이미지(420) 간에 연결된 선은 상호 대응하는 특징점을 연결한 것이다. 상기 추출된 특징점들 중 서로 대응하는 특징점들을 매칭시키는 동작은 영상 처리 모듈(130)에서 수행될 수도 있고, 프로세서(140)에서 수행될 수도 있다. 이하에서는 영상 처리 모듈(130)이 수행하는 것으로 기술하겠다.
다만, 제1 이미지(410) 및 제2 이미지(420)를 참조하면, 건물, 및 수목 뿐만 아니라, 버스, 승용차 등의 차량에도 특징점이 추출된 것을 알 수 있다. 도 4에서 추출된 복수의 특징점들은 그 수가 많을수록 프로세서(140)의 연산을 복잡하게 하고, 상기 추출된 복수의 특징점 중 일부는 프로세서(140)에서 이용하기에 부적합하여 배제되어야 할 수 있다. 이하, 도 5 및 도 6을 통해 설명하겠다.
도 5는 본 발명의 다른 실시 예에 따른, 제1 이미지(510) 및 제2 이미지(520)에 있어서, 상호 대응하는 복수의 특징점을 나타낸 도면이다.
영상 처리 모듈(130)은 이미지 상에서 특징점을 추출할 영역을 제한할 수 있다. 예를 들어, 한국의 경우 도로 주행법상 차량은 우측 통행을 하는바, 제1 전자 장치(100)가 이용할 특징점들은 왼쪽에 위치한 특징점들보다 오른쪽에 위치한 특징점들이 더 적합할 수 있다. 따라서, 영상 처리 모듈(130)은 제1 이미지(510) 및 제2 이미지(520) 상의 제1 전자 장치(100)의 우측 영역에서 특징점을 추출할 수 있다.
만일, 일본 또는 미국 등, 좌측 통행을 하는 국가에서는 반대로 왼쪽에 위치한 특징점들이 이용하기에 적합할 수 있다.
도 5를 참조하면, 영상 처리 모듈(130)은 제한된 범위에서 제1 이미지(510) 및 제2 이미지(520) 상의 특징점들을 추출한 후, 서로 대응하는 특징점들을 매칭시킬 수 있다. 그 결과로서, 도 5에서는 제1 이미지(510)의 일 영역(512) 및 이에 대응하는 제2 이미지(520)의 일 영역(522)과 제1 이미지(510)의 일 영역(514) 및 이에 대응하는 제2 이미지(520)의 일 영역(524)을 표시하였다.
제1 이미지(510)의 일 영역(512) 및 이에 대응하는 제2 이미지(520)의 일 영역(522)은 이미지 상에 나타나는 대상체 중 고정체에 해당하는 건물에 대한 특징점들의 집합영역이고, 제1 이미지(510)의 일 영역(514) 및 이에 대응하는 제2 이미지(520)의 일영역(524)은 이동체에 해당하는 차량에 대한 특징점들의 집합영역일 수 있다.
본 발명의 다양한 실시 예에 따르면, 버스, 승용차 등의 움직이는 물체는 추후 제2 전자 장치(300)가 제2 전자 장치(300)의 위치를 추정하는데 이용될 수 없으므로, 영상 처리 모듈(130)은 상기 움직이는 물체에 대한 특징점을 배제할 수 있다. 또는 영상 처리 모듈(130)은 이미지 내의 모든 영역에 대하여 특징점을 추출할 수 있고, 프로세서(140)가 상기 움직이는 물체에 대한 특징점을 배제할 수도 있다. 이하에서 상기 동작은 영상 처리 모듈(130)이 수행하는 것으로 설명하겠다.
영상 처리 모듈(130)은 제1 이미지(410) 및 제2 이미지(420) 위에서 추출된 상호 대응하는 특징점간 좌표를 비교하여 움직이는 물체(이동체)에 대한 것인지 고정된 물체(고정체)에 대한 것인지 판단할 수 있다. 예를 들어, 영상 센서(15)의 위치를 기준으로 우측에 있는 고정체인 건물은 제1 차량(10)이 우측 통행으로 움직임에 따라서 점점 더 커지게 된다. 따라서, 상기 우측 건물에 대응하는 특징점들은 x축 좌표값이 증가하고, y축 좌표값이 증가 또는 감소할 수 있다. 즉, 영상 처리 모듈(130)은 제1 이미지(410) 위의 특징점의 픽셀 좌표와 제2 이미지(420) 위의 특징점의 픽셀 좌표가 기설정된 범위 이상 차이나는 경우의 특징점을 유효한 특징점으로 판단할 수 있다. 영상 처리 모듈(130)은 상기 대응하는 특징점간의 좌표값에 기초하여 배제할 특징점들을 선별할 수 있다.
도 6은 본 발명의 다른 실시 예에 따른, 제1 이미지(610) 및 제2 이미지(620)에 있어서, 상호 대응하는 복수의 특징점을 나타낸 도면이다.
도 6을 참조하면, 영상 처리 모듈(130)은 제한된 범위에서 제1 이미지(510) 및 제2 이미지(520) 상의 특징점들을 추출한 후, 서로 대응하는 특징점들을 매칭시킬 수 있다. 도 6에서는 제1 이미지(610)의 일 영역(612) 및 이에 대응하는 제2 이미지(620)의 일영역(622)과 제1 이미지(610)의 일 영역(614) 및 이에 대응하는 제2 이미지(620)의 일 영역(624)을 표시하였다. 영상 처리 모듈(130)은 상호 대응하는 특징점들의 좌표 값을 비교하여, 픽셀 좌표가 기설정된 범위 미만으로 차이나는 경우, 이를 움직이는 물체에 대한 특징점으로 보아 배제할 수 있다. 그 결과로서, 제1 이미지(610)의 일 영역(614) 및 이에 대응하는 제2 이미지(620)의 일 영역(624)에 포함되는 특징점들은 배제될 수 있다.
한편, 제1 이미지(610)의 일 영역(612) 및 이에 대응하는 제2 이미지(620)의 일영역(622)은 고정체에 해당하는 건물 또는 공중전화박스에 대한 특징점들의 집합영역이고, 제1 이미지(610)의 일 영역(614) 및 이에 대응하는 제2 이미지(620)의 일 영역(624)도 고정체에 해당하는 수목에 대한 특징점들의 집합영역일 수 있다. 상기 건물 또는 공중전화박스에 대한 특징점들 및 수목에 대한 특징점들은 제1 이미지(610)에서의 픽셀 좌표와 제2 이미지(620)에세어의 픽셀 좌표 사이에 기설정된 범위 이상 차이가 나는 경우, 외부 서버(200)에 저장되었다가 추후 제2 전자 장치(300)에서 이용될 수 있다.
다시 도 2를 참조하면, 프로세서(140)는 상기 제1 이미지, 상기 제2 이미지, 및 상기 제1 이미지와 상기 제2 이미지 각각에 대응하는 제1 전자 장치(100)의 위치에 기초하여, 상기 제1 이미지 및 상기 제2 이미지에 공통으로 포함된 복수의 특징점에 관한 인덱스의 좌표를 획득할 수 있다. 상기 인덱스의 좌표는 영상 센서(15)로부터 인덱스(20)까지의 상대 벡터 값(센서 좌표계 기준)일 수 있다.
프로세서(140)는 하기 수식 1 및 수식 2를 이용하여 특징점(인덱스)의 좌표를 획득할 수 있다. 수식 1은 2차원의 화상 좌표계와 3차원의 센서 좌표계(영상 좌표계) 사이의 관계식을 이용하여 도출한 k 시점과 k+1 시점에서의 동일한 특징점에 대한 관계식이고, 수식 2는 수식 1을 이용하여 복수의 특징점 중 하나의 특징점의 좌표를 구하는 수식이다.
[수식 1]
Figure 112015034590753-pat00001
[수식 2]
Figure 112015034590753-pat00002
상기 수식 1 및 상기 수식 2에서, 각각의 변수는 이하와 같을 수 있다.
Figure 112015034590753-pat00003
,
Figure 112015034590753-pat00004
,
Figure 112015034590753-pat00005
: k 시점에서의 센서 좌표계,
Figure 112015034590753-pat00006
: k+1 시점에서의 센서 좌표계,
Figure 112015034590753-pat00007
: k 시점에서 k+1 시점까지의 상대위치,
Figure 112015034590753-pat00008
: 이전 시점의 센서 좌표계에서 현시점의 센서 좌표계로의 변환 행렬,
Figure 112015034590753-pat00009
,
Figure 112015034590753-pat00010
,
Figure 112015034590753-pat00011
: 초점거리(focal length)일 수 있다.
프로세서(140)는 특징점의 좌표를 구하기 이전에 전처리 과정으로서 상기 영상이 획득된 시간과 상기 위치 정보가 획득된 시간을 동기화할 수 있다.
프로세서(140)는 획득된 특징점의 좌표에 대하여 센서 좌표계로부터 월드 좌표계로의 좌표 변환을 수행할 수 있다. 이 경우, 상기 좌표 변환은 상기 영상 센서의 위치를 고려하여 수행될 수 있다. 이하 수식 3 및 수식 4를 이용하여 상기 좌표 변환을 설명하겠다. 수식 3은 센서 좌표계의 상대 벡터를 월드 좌표계로 변환하는 수식이고, 수식 4는 월드 좌표계에서의 특징점의 좌표를 구하는 식이다.
[수식 3]
Figure 112015034590753-pat00012
[수식 4]
Figure 112015034590753-pat00013
상기 수식 3 및 상기 수식 4에서, 각각의 변수는 이하와 같을 수 있다.
Figure 112015034590753-pat00014
Figure 112015034590753-pat00015
Figure 112015034590753-pat00016
Figure 112015034590753-pat00017
: 월드 좌표계에서의 특징점 좌표
Figure 112015034590753-pat00018
: 센서 좌표계에서의 특징점 좌표
Figure 112015034590753-pat00019
: 월드 좌표계에서의 영상센서 좌표
수식 3을 더 설명하자면, 센서 좌표계(영상 좌표계)의 벡터 값을 월드 좌표계로 한번에 변환하는 방법은 없기 때문에 프로세서(140)는 우선 센서 좌표계의 벡터 값을 동체 좌표계로 변환한 후에, 동체 좌표계에서 항법 좌표계로 변환하고, 항법 좌표계를 월드 좌표계로 변환할 수 있다.
이하 표 1을 이용하여 다양한 좌표계를 간단히 설명하겠다.
[표 1]
Figure 112015034590753-pat00020
지구 좌표계는 GPS에서 사용되는 ECEF(Earth Centered Earth Fixed) 좌표계 또는 지구 중심 고정 좌표계로 지구 중력 중심을 원점으로 하는 좌표계이다.
Figure 112015034590753-pat00021
를 세 축으로 지구에 고정되어 있고,
Figure 112015034590753-pat00022
을 중심으로 회전한다.
항법 좌표계는 지구와 가장 유사한 형태의 타원체(WGS-84)로 수학적으로 정의한 North(N), East(E), Down(D)을 세 축으로 하는 좌표계로써 일상 생활에서 우리가 기준으로 삼는 좌표계이다. 지구 표면상에 수평면에 정의된 좌표계로 좌표는 타원 좌표계로 위도, 경도, 고도로 표현할 수 있다[31].
동체 좌표계는 차량의 진행 방향을
Figure 112015034590753-pat00023
, 오른쪽 방향을
Figure 112015034590753-pat00024
, right handed coordinate system 을 적용하여 수직 아래쪽 방향을
Figure 112015034590753-pat00025
로 정의하는 좌표계이다. 영상 좌표계 또는 센서 좌표계는 동체 좌표계의
Figure 112015034590753-pat00026
축을 기준으로
Figure 112015034590753-pat00027
만큼 회전한 좌표계이다.
화상 좌표계에 있어서,
Figure 112015034590753-pat00028
는 2차원 투영 좌표인 것으로, 영상 좌표계와 화상 좌표계 사이의 관계는
Figure 112015034590753-pat00029
이다. 여기서,
Figure 112015034590753-pat00030
,
Figure 112015034590753-pat00031
일 수 있다.
프로세서(140)는 수식 4를 통해 월드 좌표계에서의 특징점의 좌표를 구하기 위해, 위치 파악 모듈(110)을 통해 영상 센서(15)의 위치를 획득할 수 있다. 영상 센서(15)의 위치는 GPS 수신기를 통해 획득될 수 있고, 영상 센서(15)의 위치를 수신하기 위한 상기 GPS 수신기는 제1 전자 장치(100)의 위치를 수신하기 위한 적어도 하나 이상의 GPS 수신기(12)와는 별도로 존재할 수 있다.
통신 모듈(150)은 제1 전자 장치(100)의 위치 정보, 상기 획득된 영상, 특징점에 대한 복수의 특징점 정보, 및 월드 좌표계로 좌표 변환된 특징점의 좌표 중 적어도 하나 이상을 외부 서버(200)에 전송할 수 있다.
상기 메모리는 데이터, 예를 들어, 제1 전자 장치(100)에서 수행되는 동작들에 대한 인스트럭션들(instructions)을 저장하고 있을 수 있다. 또한, 상기 메모리에 저장되는 데이터는 제1 전자 장치(100) 내부의 각 구성요소들 간에 입력 및 출력되는 데이터를 포함하고, 제1 전자 장치(100)와 제1 전자 장치(100) 외부의 구성요소들간에 입력 및 출력되는 데이터를 포함할 수 있다. 예를 들어, 상기 메모리는 제1 전자 장치(100)의 위치 정보, 상기 획득된 영상, 및 월드 좌표계로 좌표 변환된 복수의 특징점과 같은 인덱스의 좌표 등을 저장하고 있을 수 있다.
상기 메모리는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 상기 내장 메모리는, 예를 들어, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비-휘발성(non-volatile) 메모리 (예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), 마스크(mask) ROM, 플래시(flash) ROM, 플래시 메모리(예: 낸드플래시(NAND flash) 또는 노아플래시(NOR flash) 등), 하드 디스크 드라이브(hard disk drive; HDD), 또는 SSD(solid state drive) 중 적어도 하나를 포함할 수 있다. 상기 외장 메모리는, 예를 들어, 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(MultiMediaCard), 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 상기 외장 메모리는 다양한 인터페이스(interface)를 통하여 제1 전자 장치(100)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
당업자라면, 위치 파악 모듈(110), 카메라 모듈(120), 영상 처리 모듈(130), 프로세서(140), 통신 모듈(150), 및 상기 메모리 각각이 제1 전자 장치(100)에 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 7은 본 발명의 일 실시 예에 따른, 제1 전자 장치(100)가 복수의 특징점과 같은 인덱스의 좌표를 획득하는 방법을 나타낸 순서도이다. 도 7에 도시된 제1 전자 장치(100)가 인덱스의 좌표를 획득하는 방법은 앞선 도 1 내지 도 6을 통해 설명된 제1 전자 장치(100)에 의해 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 6을 통해 설명된 제1 전자 장치(100)가 특징점(인덱스의 일 예)의 좌표를 획득하는 방법에 대한 내용은 도 7에도 적용될 수 있다.
동작 710에서 제1 전자 장치(100)는 제1 전자 장치(100)의 위치 정보를 획득할 수 있다. 상기 위치 정보는 적어도 하나 이상의 GPS 수신기를 통해 획득될 수 있다.
동작 720에서 제1 전자 장치(100)는 영상 센서(15)를 통해 제1 이미지 및 제2 이미지를 포함하는 영상을 획득할 수 있다.
동작 730에서 제1 전자 장치(100)는 상기 제1 이미지, 상기 제2 이미지, 및 상기 제1 이미지와 상기 제2 이미지 각각에 대응하는 상기 전자 장치의 위치에 기초하여, 상기 제1 이미지 및 상기 제2 이미지에 공통으로 포함된 인덱스의 좌표를 획득할 수 있다.
도 8은 본 발명의 일 실시 예에 따른, 위치 추정 서비스를 위한 제2 전자 장치(300)의 구성도이다. 제2 전자 장치(300)는 카메라 모듈(310), 영상 처리 모듈(320), 통신 모듈(330), 프로세서(340), 및 메모리(미도시)를 포함할 수 있다. 다만, 도 8에 도시된 제2 전자 장치(300)의 구성은 본 발명의 하나의 구현 예에 불과하며, 여러 가지 변형이 가능하다. 예를 들어, 제2 전자 장치(300)는 사용자로부터 어떤 명령 내지 정보를 입력 받기 위한 유저 인터페이스를 더 포함할 수 있다. 이 경우, 상기 유저 인터페이스는 일반적으로 키보드, 마우스 등과 같은 입력 장치가 될 수도 있으나, 제2 전자 장치(300)의 스크린에 디스플레이되는 그래픽 유저 인터페이스(GUI, Graphical User interface)가 될 수도 있다.
카메라 모듈(310)은 영상 센서(35)를 통해 복수의 특징점과 같은 인덱스를 포함하는 이미지를 획득할 수 있다.
영상 처리 모듈(320)은 상기 획득된 이미지로부터 복수의 특징점과 같은 인덱스를 추출할 수 있다. 영상 처리 모듈(320)은 센서 좌표계에서의 상기 특징점의 좌표값을 추출할 수 있다. 제1 전자 장치(100)와 유사하게 영상 처리 모듈(320)은 영역을 제한하여 특징점을 추출하거나 부적합한 특징점을 배제할 수 있다.
통신 모듈(330)은 상기 복수의 특징점에 대응하는 인덱스를 외부 서버(200)에게 요청하고, 상기 요청한 인덱스 및 상기 요청한 인덱스와 관련한 정보를 외부 서버(200)로부터 수신할 수 있다. 상기 수신된 인덱스와 관련한 정보는 상기 수신된 인덱스에 포함된 특징점의 좌표 정보 및 제1 전자 장치(100)의 위치 정보가 포함될 수 있다. 상기 특징점의 좌표값은 월드 좌표계에서의 특징점들의 좌표일 수 있다. 또한, 상기 수신된 인덱스는 제1 전자 장치(100)를 통해 획득된 인덱스일 수 있으며, 제1 전자 장치(100)의 위치 정보는 상기 획득한 인덱스와 시간 동기화된 위치 정보일 수 있다. 또한, 제1 전자 장치(100)의 위치 정보는 제1 전자 장치(100)에 포함되거나, 제1 전자 장치(100)와 이웃하는 GPS의 위치 정보일 수 있다.
또는 다른 구현 예로서, 통신 모듈(330)은 상기 복수의 특징점에 대응하는 이미지를 외부 서버(200)에게 요청하고, 상기 요청한 이미지 및 상기 요청한 이미지와 관련한 정보를 외부 서버(200)로부터 수신할 수 있다. 상기 수신된 이미지와 관련한 정보는 상기 수신된 이미지에 포함된 특징점의 좌표 정보 및 제1 전자 장치(100)의 위치 정보가 포함될 수 있다. 상기 특징점의 좌표값은 월드 좌표계에서의 특징점들의 좌표일 수 있다. 또한, 상기 수신된 이미지는 제1 전자 장치(100)의 영상 센서를 통해 획득한 이미지일 수 있으며, 제1 전자 장치(100)의 위치 정보는 상기 획득한 이미지와 시간 동기화된 위치 정보일 수 있다. 또한, 제1 전자 장치(100)의 위치 정보는 제1 전자 장치(100)에 포함되거나, 제1 전자 장치(100)와 이웃하는 GPS의 위치 정보일 수 있다.
프로세서(340)는 상기 수신된 인덱스 또는 이미지 및 상기 수신된 인덱스 또는 이미지와 관련한 정보에 기초하여 제2 전자 장치(300)의 위치를 추정할 수 있다. 이 전에, 프로세서(340)는 상기 획득된 인덱스 또는 이미지와 상기 수신된 인덱스 또는 이미지가 서로 대응하는지 여부를 판단하고, 상기 판단 결과 대응하는 경우, 상기 수신된 인덱스 또는 이미지를 제2 전자 장치(300)의 위치를 추정하는데 이용할 수 있다. 예를 들어, 프로세서(340)는 상기 획득된 인덱스와 상기 수신된 인덱스 간에 상호 대응하는 특징점이 3개 이상 있는 경우에 상기 수신된 인덱스를 이용할 수 있다. 다른 예로, 프로세서(340)는 상기 획득된 이미지와 상기 수신된 이미지 간에 상호 대응하는 특징점이 3개 이상 있는 경우에 상기 수신된 이미지를 이용할 수 있다.
본 발명의 다양한 실시 예에 따르면, 외부 서버(200)로부터 수신된 인덱스 또는 이미지는 외부 서버(200)에서 각 인덱스 또는 이미지간 특징점 비교 동작을 거쳐 선택된 인덱스 또는 이미지일 수 있다.
프로세서(340)는 외부 서버(200)로부터 수신된 인덱스 또는 이미지와 상기 수신된 인덱스 또는 이미지에 포함된 월드 좌표계에서의 특징점 좌표, 및 수식 4를 이용하여 제2 전자 장치(300)의 위치를 추정할 수 있다.
상기 메모리는 데이터, 예를 들어, 제2 전자 장치(300)에서 수행되는 동작들에 대한 인스트럭션들(instructions)을 저장하고 있을 수 있다. 또한, 상기 메모리에 저장되는 데이터는 제2 전자 장치(300) 내부의 각 구성요소들 간에 입력 및 출력되는 데이터를 포함하고, 제2 전자 장치(300)와 제2 전자 장치(300) 외부의 구성요소들간에 입력 및 출력되는 데이터를 포함할 수 있다. 예를 들어, 상기 메모리는 카메라 모듈(310)에서 획득된 영상, 복수의 특징점 정보 등을 저장하고 있을 수 있다.
상기 메모리는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 상기 내장 메모리는, 예를 들어, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비-휘발성(non-volatile) 메모리 (예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), 마스크(mask) ROM, 플래시(flash) ROM, 플래시 메모리(예: 낸드플래시(NAND flash) 또는 노아플래시(NOR flash) 등), 하드 디스크 드라이브(hard disk drive; HDD), 또는 SSD(solid state drive) 중 적어도 하나를 포함할 수 있다. 상기 외장 메모리는, 예를 들어, 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(MultiMediaCard), 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 상기 외장 메모리는 다양한 인터페이스(interface)를 통하여 제2 전자 장치(300)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
당업자라면, 카메라 모듈(310), 영상 처리 모듈(320), 통신 모듈(330), 프로세서(340), 및 상기 메모리 각각이 제2 전자 장치(300)에 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 9는 본 발명의 일 실시 예에 따른, 제2 전자 장치(300)가 제2 전자 장치(300)의 위치를 추정하는 방법을 나타낸 순서도이다. 도 9에 도시된 제2 전자 장치(300)의 위치를 추정하는 방법은 앞선 도 1 및 도 8을 통해 설명된 제2 전자 장치(300)에 의해 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 및 8을 통해 설명된 제2 전자 장치(300)의 위치를 추정하는 방법에 대한 내용은 도 9에도 적용될 수 있다.
동작 910에서 제2 전자 장치(300)는 영상 센서(35)를 통해 인덱스를 포함하는 이미지를 획득할 수 있다.
동작 920에서 제2 전자 장치(300)는 동작 910에서 획득된 이미지로부터 복수의 특징점과 같은 인덱스를 추출할 수 있다. 상기 특징점의 좌표는 센서 좌표계에서의 값일 수 있다.
동작 930에서 제2 전자 장치(300)는 상기 복수의 특징점에 대응하는 인덱스 또는 이미지를 외부 서버(200)에게 요청하고, 상기 요청한 인덱스 또는 이미지, 및 상기 요청한 인덱스 또는 이미지와 관련된 정보를 외부 서버(200)로부터 수신할 수 있다.
동작 940에서 제2 전자 장치(300)는 동작 930에서 수신된 인덱스 또는 이미지, 및 상기 수신된 인덱스 또는 이미지와 관련된 정보에 기초하여 제2 전자 장치(300)의 위치를 추정할 수 있다.
앞서 설명된 위치 추정 서비스는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 제1 전자 장치
200: 외부 서버
300: 제2 전자 장치
400: 네트워크

Claims (19)

  1. 전자 장치에 있어서,
    상기 전자 장치의 위치 정보를 획득하는 위치 파악 모듈;
    하나 이상의 영상 센서를 통해 제1 이미지 및 제2 이미지를 포함하는 영상을 획득하는 카메라 모듈;
    상기 제1 이미지 및 상기 제2 이미지에서 각각 복수의 특징점을 추출하는 영상 처리 모듈;
    상기 제1 이미지, 상기 제2 이미지, 및 상기 제1 이미지와 상기 제2 이미지 각각에 대응하는 상기 전자 장치의 위치에 기초하여, 상기 전자 장치의 위치 정보가 고려된 상기 제1 이미지 및 상기 제2 이미지에 공통으로 포함된 인덱스의 좌표를 획득하는 프로세서; 및
    상기 획득한 영상 및 상기 인덱스의 좌표 중 적어도 하나와 상기 전자 장치의 위치 정보를 연계하여 구축한 데이터베이스를 외부 서버로 전송하는 통신 모듈;을 포함하되,
    상기 인덱스의 좌표는 상기 추출된 복수의 특징점 중 적어도 하나 이상의 특징점의 좌표이고,
    상기 영상 처리 모듈은 상기 제1 이미지 위의 특징점의 좌표와 상기 제2 이미지 위의 특징점의 좌표를 비교하여 기설정된 범위 이상 차이나는 특징점의 좌표를 고정체에 대한 특징점으로서 선별하여 추출하는 것인, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는 상기 영상이 획득된 시간과 상기 위치 정보가 획득된 시간을 동기화하는 것인, 전자 장치.
  3. 제1항에 있어서,
    상기 제1 이미지와 상기 제2 이미지는 서로 다른 시점에서 획득된 것인, 전자 장치.
  4. 제3항에 있어서,
    상기 전자 장치는 시간에 따라 그 위치가 이동되고,
    상기 제1 이미지는 하나의 영상 센서가 획득한 이미지이며,
    상기 제2 이미지는 상기 하나의 영상 센서가 상기 제1 이미지를 획득한 시간과 차이가 있는 시간에 획득한 이미지인 것인, 전자 장치.
  5. 제3항에 있어서,
    상기 제1 이미지는 제1 영상 센서가 획득한 이미지이고,
    상기 제2 이미지는 상기 제1 영상 센서와 다른 시점을 갖는 위치에 배치된 제2 영상 센서가 획득한 이미지인 것인, 전자 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 복수의 특징점을 추출하는 동작은, SIFT(scale invariant feature transform) 알고리즘, SURF(speeded up robust features) 알고리즘 및 PCA(principal components analysis)-SIFT 알고리즘 중 적어도 하나 이상을 이용하여 수행되는 것인, 전자 장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 전자 장치의 위치 정보는 GPS(global positioning system)를 통해 획득된 것인, 전자 장치.
  10. 제9항에 있어서,
    상기 전자 장치의 위치 정보는 보정 위성 항법(DGPS; differential GPS)을 통해 보정된 정보인 것인, 전자 장치.
  11. 제1항에 있어서,
    상기 인덱스의 좌표는 상기 영상 센서로부터 상기 인덱스까지의 상대 벡터 값이고,
    상기 프로세서는 상기 인덱스의 좌표에 대하여 센서 좌표계로부터 월드 좌표계로의 좌표 변환을 수행하는 것인, 전자 장치.
  12. 제11항에 있어서,
    상기 좌표 변환은 상기 영상 센서의 위치를 고려하여 수행되는 것인, 전자 장치.
  13. 제12항에 있어서,
    상기 통신 모듈에 의해 상기 외부 서버로 전송되는 상기 인덱스의 좌표는 좌표 변환된 인덱스의 좌표인 것인, 전자 장치.
  14. 제1항에 있어서,
    상기 전자 장치는 차량에 구비되는 것이고,
    상기 인덱스는 고정된 물체에 관하여 추출되는 것인, 전자 장치.
  15. 전자 장치에 있어서,
    영상 센서를 통해 이미지를 획득하는 카메라 모듈;
    상기 획득된 이미지로부터 인덱스를 추출하는 영상 처리 모듈;
    상기 추출된 인덱스를 외부 서버에 전송하여 상기 추출된 인덱스에 대응하는 인덱스 또는 이미지를 외부 서버에게 요청하고, 상기 요청한 인덱스 또는 이미지, 및 상기 요청한 인덱스 또는 이미지와 관련한 정보를 수신하는 통신 모듈; 및
    상기 수신된 인덱스 또는 이미지, 및 상기 수신된 인덱스 또는 이미지와 관련한 정보에 기초하여 상기 전자 장치의 위치를 추정하는 프로세서;를 포함하고,
    상기 수신된 인덱스 또는 이미지는 다른 전자 장치에서 추출된 인덱스 또는 상기 다른 전자 장치에서 획득된 이미지이며,
    상기 수신된 인덱스 또는 이미지와 관련한 정보는 상기 수신된 인덱스의 좌표 정보 또는 상기 수신된 이미지에 포함된 인덱스의 좌표 정보, 및 상기 다른 전자 장치의 위치 정보를 포함하고,
    상기 인덱스의 좌표 정보는 복수의 특징점 중 적어도 하나 이상의 좌표 정보이고,
    상기 수신된 인덱스 또는 이미지는,
    상기 외부 서버에 저장된 복수의 인덱스 중 하나, 또는 상기 외부 서버에 저장된 복수의 이미지 중 하나이되,
    상기 수신된 인덱스 또는 이미지에 포함된 복수의 특징점과 상기 영상 처리 모듈에서 추출된 인덱스 또는 상기 카메라 모듈에서 획득된 이미지에 포함된 복수의 특징점에 있어서, 대응되는 각각의 특징점간 픽셀 좌표 거리가 최소인 경우로서 선택된 것인, 전자 장치.
  16. 삭제
  17. 제15항에 있어서,
    상기 통신 모듈이 상기 외부 서버로부터 상기 추출된 인덱스에 대응하는 이미지를 수신하는 경우,
    상기 프로세서는 상기 획득된 이미지와 상기 수신된 이미지가 서로 대응하는지 여부를 판단하고, 상기 판단 결과 대응하는 이미지를 상기 전자 장치의 위치를 추정하는데 이용하는 것인, 전자 장치.
  18. 전자 장치에서 수행되는 방법에 있어서,
    상기 전자 장치의 위치 정보를 획득하는 동작;
    하나 이상의 영상 센서를 통해 제1 이미지 및 제2 이미지를 포함하는 영상을 획득하는 동작;
    상기 제1 이미지 및 상기 제2 이미지에서 각각 복수의 특징점을 추출하는 동작;
    상기 제1 이미지, 상기 제2 이미지, 및 상기 제1 이미지와 상기 제2 이미지 각각에 대응하는 상기 전자 장치의 위치에 기초하여, 상기 전자 장치의 위치 정보가 고려된 상기 제1 이미지 및 상기 제2 이미지에 공통으로 포함된 인덱스의 좌표를 획득하는 동작; 및
    상기 획득한 영상 및 상기 인덱스의 좌표 중 적어도 하나와 상기 전자 장치의 위치 정보를 연계하여 구축한 데이터베이스를 외부 서버로 전송하는 동작;을 포함하되,
    상기 인덱스의 좌표는 상기 추출된 복수의 특징점 중 적어도 하나 이상의 특징점의 좌표이고,
    상기 복수의 특징점을 추출하는 동작은 상기 제1 이미지 위의 특징점의 좌표와 상기 제2 이미지 위의 특징점의 좌표를 비교하여 기설정된 범위 이상 차이나는 특징점의 좌표를 고정체에 대한 특징점으로서 선별하여 추출하는 것인, 방법.
  19. 전자 장치에서 수행되는 방법에 있어서,
    영상 센서를 통해 이미지를 획득하는 동작;
    상기 획득된 이미지로부터 인덱스를 추출하는 동작;
    상기 추출된 인덱스에 대응하는 인덱스 또는 이미지를 외부 서버에게 요청하고, 상기 요청한 인덱스 또는 이미지, 및 상기 요청한 인덱스 또는 이미지와 관련한 정보를 수신하는 동작; 및
    상기 수신된 인덱스 또는 이미지, 및 상기 수신된 인덱스 또는 이미지와 관련한 정보에 기초하여 상기 전자 장치의 위치를 추정하는 동작;을 포함하고,
    상기 수신된 인덱스 또는 이미지는 다른 전자 장치에서 추출된 인덱스 또는 상기 다른 전자 장치에서 획득된 이미지이며,
    상기 수신된 인덱스 또는 이미지와 관련한 정보는 상기 수신된 인덱스의 좌표 정보 또는 상기 수신된 이미지에 포함된 인덱스의 좌표 정보, 및 상기 다른 전자 장치의 위치 정보를 포함하고,
    상기 인덱스의 좌표 정보는 복수의 특징점 중 적어도 하나 이상의 좌표 정보이고,
    상기 수신된 인덱스 또는 이미지는,
    상기 외부 서버에 저장된 복수의 인덱스 중 하나, 또는 상기 외부 서버에 저장된 복수의 이미지 중 하나이되,
    상기 수신된 인덱스 또는 이미지에 포함된 복수의 특징점과 상기 추출된 인덱스 또는 상기 획득된 이미지에 포함된 복수의 특징점에 있어서, 대응되는 각각의 특징점간 픽셀 좌표 거리가 최소인 경우로서 선택된 것인, 방법.
KR1020150050040A 2015-04-09 2015-04-09 영상과 위치정보를 연계한 데이터베이스를 구축하는 방법, 상기 데이터베이스를 활용하여 측위하는 방법, 및 상기 방법들을 수행하는 전자 장치 KR101712925B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150050040A KR101712925B1 (ko) 2015-04-09 2015-04-09 영상과 위치정보를 연계한 데이터베이스를 구축하는 방법, 상기 데이터베이스를 활용하여 측위하는 방법, 및 상기 방법들을 수행하는 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150050040A KR101712925B1 (ko) 2015-04-09 2015-04-09 영상과 위치정보를 연계한 데이터베이스를 구축하는 방법, 상기 데이터베이스를 활용하여 측위하는 방법, 및 상기 방법들을 수행하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20160120895A KR20160120895A (ko) 2016-10-19
KR101712925B1 true KR101712925B1 (ko) 2017-03-07

Family

ID=57250726

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150050040A KR101712925B1 (ko) 2015-04-09 2015-04-09 영상과 위치정보를 연계한 데이터베이스를 구축하는 방법, 상기 데이터베이스를 활용하여 측위하는 방법, 및 상기 방법들을 수행하는 전자 장치

Country Status (1)

Country Link
KR (1) KR101712925B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102022488B1 (ko) 2018-02-28 2019-09-18 (주)이지스 에이치베이스를 이용한 대용량 공간 데이터의 저장 및 검색 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102463698B1 (ko) 2016-12-14 2022-11-07 현대자동차주식회사 도로표지판의 위치정보 데이터베이스 구축 시스템 및 그 방법과 이를 이용한 차량의 위치 추정 장치 및 그 방법
KR102072796B1 (ko) 2018-05-16 2020-02-03 주식회사 브이터치 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102202655B1 (ko) * 2018-09-11 2021-01-13 한국전자통신연구원 공간정보 영상 생성 장치 및 방법
KR102234311B1 (ko) * 2020-06-18 2021-03-31 네이버랩스 주식회사 이미지 특징 추출 방법 및 시스템
CN114882465A (zh) * 2022-06-01 2022-08-09 北京地平线信息技术有限公司 视觉感知方法、装置、存储介质和电子设备
CN116912947B (zh) * 2023-08-25 2024-03-12 东莞市触美电子科技有限公司 智能屏幕、屏幕控制方法、装置、设备及其存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241171B1 (ko) * 2011-11-22 2013-03-11 현대자동차주식회사 영상센서를 이용한 ｇｐｓ 위치정보 보정방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101919366B1 (ko) * 2011-12-22 2019-02-11 한국전자통신연구원 차량 내부 네트워크 및 영상 센서를 이용한 차량 위치 인식 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241171B1 (ko) * 2011-11-22 2013-03-11 현대자동차주식회사 영상센서를 이용한 ｇｐｓ 위치정보 보정방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102022488B1 (ko) 2018-02-28 2019-09-18 (주)이지스 에이치베이스를 이용한 대용량 공간 데이터의 저장 및 검색 방법

Also Published As

Publication number Publication date
KR20160120895A (ko) 2016-10-19

Similar Documents

Publication Publication Date Title
KR101712925B1 (ko) 영상과 위치정보를 연계한 데이터베이스를 구축하는 방법, 상기 데이터베이스를 활용하여 측위하는 방법, 및 상기 방법들을 수행하는 전자 장치
WO2020103427A1 (zh) 对象检测方法、相关设备及计算机存储介质
WO2019219077A1 (zh) 定位方法、定位装置、定位系统、存储介质及离线地图数据库的构建方法
US8879784B2 (en) Terminal and method for providing augmented reality
JP5255595B2 (ja) 端末位置特定システム、及び端末位置特定方法
US9146299B2 (en) Method and apparatus for position estimation using trajectory
US9429438B2 (en) Updating map data from camera images
US9080882B2 (en) Visual OCR for positioning
WO2013180840A1 (en) Pose estimation based on peripheral information
US11158088B2 (en) Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
US20190082156A1 (en) Corner point extraction system and method for image guided stereo camera optical axes alignment
WO2015183490A1 (en) Methods and apparatus for position estimation
US10839551B2 (en) Augmentation of 3-D point clouds with subsequently captured data
KR20210092707A (ko) 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체
KR101885961B1 (ko) 이미지를 기반으로 한 객체 위치 추정 방법 및 장치
KR101574876B1 (ko) 비전 센서 데이터베이스를 이용한 거리 측정 방법
CN112689234B (zh) 室内车辆定位方法、装置、计算机设备和存储介质
KR20160128967A (ko) 촬영 영상을 이용한 길 안내 시스템 및 방법
KR101601726B1 (ko) 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템
US20190286876A1 (en) On-Demand Outdoor Image Based Location Tracking Platform
CN113744236B (zh) 回环检测方法、装置、存储介质及计算机程序产品
JP6591594B2 (ja) 情報提供システム、サーバ装置、及び情報提供方法
CN110580275A (zh) 地图显示方法及装置
Ghinamo et al. Accurate positioning and orientation estimation in urban environment based on 3D models
CN115082962A (zh) 一种人体姿态估计方法、装置、终端及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20191212

Year of fee payment: 4