KR101868125B1 - 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버 - Google Patents

도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버 Download PDF

Info

Publication number
KR101868125B1
KR101868125B1 KR1020160152624A KR20160152624A KR101868125B1 KR 101868125 B1 KR101868125 B1 KR 101868125B1 KR 1020160152624 A KR1020160152624 A KR 1020160152624A KR 20160152624 A KR20160152624 A KR 20160152624A KR 101868125 B1 KR101868125 B1 KR 101868125B1
Authority
KR
South Korea
Prior art keywords
street view
signboard
image
candidate
street
Prior art date
Application number
KR1020160152624A
Other languages
English (en)
Other versions
KR20180055158A (ko
Inventor
박준
박진현
Original Assignee
홍익대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍익대학교 산학협력단 filed Critical 홍익대학교 산학협력단
Priority to KR1020160152624A priority Critical patent/KR101868125B1/ko
Publication of KR20180055158A publication Critical patent/KR20180055158A/ko
Application granted granted Critical
Publication of KR101868125B1 publication Critical patent/KR101868125B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G01S19/05—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing aiding data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G01S19/10—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing dedicated supplementary positioning signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법 및 서버가 개시된다. 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법은, 모바일 단말기로부터 수신된 쿼리 이미지에서 간판이 존재하는 부분을 참조 간판 이미지로서 추출하는 단계와, 모바일 단말기로부터 수신된 모바일 GPS 위치정보와 모바일 방향정보를 기초로 스트리트 뷰 서비스를 이용하여 후보 스트리트 뷰 이미지들을 수집하는 단계와, 수집된 후보 스트리트 뷰 이미지들 중 참조 간판 이미지와 일치하는 간판이 존재하면서 위치와 방향이 서로 다른 제1 및 제2스트리트 뷰 이미지를 수집하는 단계와, 수집된 제1 및 제2스트리트 뷰 이미지에 대한 위치정보와 방향정보를 바탕으로 참조 간판 이미지에 존재하는 간판의 지도상 위치를 추정하는 단계와, 제1스트리트 뷰 이미지에 대한 정보와 간판의 위치를 이용하여 모바일 단말기의 위치를 추정하는 단계를 포함한다.

Description

도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법 및 서버{Method and server for Correcting GPS Position in downtown environment using street view service}
본 발명은 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법 및 서버에 관한 것으로서, 보다 상세하게는, 촬영 이미지에서 추출된 간판 이미지와 스트리트 뷰 서비스를 이용하여 모바일 단말기에서 측정된 GPS 위치를 보정할 수 있는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법 및 서버에 관한 것이다.
위치기반 서비스는 사용자의 위치와 방향에 관련된 다양한 정보를 사용자에게 제공한다. 대부분의 위치기반 서비스는 모바일 단말기에 내장되어 있는 GPS(Global Positioning System)와 지자기 센서, 자이로 센서, 가속도 센서를 이용하여 사용자의 위치와 방향을 측정한다. 위치와 방향의 정확도는 위치기반 서비스에서 매우 중요한 요소이며 위치와 방향의 정확도가 낮은 경우에 사용자는 전혀 다른 위치와 방향에 해당하는 정보를 제공받게 된다. 예를 들어, 증강현실 기술이 적용된 위치기반 서비스는 현실의 이미지나 배경에 가상의 정보를 증강하기 때문에 위치와 방향의 정확도에 더욱 민감하다.
이러한 중요성에도 불구하고 스마트 폰과 같은 현재 상용화된 모바일 단말기에 내장되어 있는 GPS로부터 측정된 위치에는 대부분 오차가 발생한다. 장애물이 없는 열린 환경에서는 오차가 평균 10m 이내로 발생하지만, 장애물이 많은 도심 환경에서는 오차가 평균 60m 내외로 발생한다.
GPS는 GPS 위성들로부터 송신되는 신호를 수신하여 사용자의 위치를 측정하는데 도심환경에서는 건물과 같은 장애물들로 의해서 가려지는 위성들이 존재하여 위성들의 기하학적 배치가 제한되고, 또한, 위성 신호의 회절과 반사가 발생하여 위치의 정확도가 낮아진다. 이러한 도심환경에서 증폭되는 GPS 오차는 사용자로 하여금 위치기반 서비스를 이용하는데 불편함을 느끼게 만들고, 이로 인하여 도심환경에서 위치기반 서비스 시장이 성장하는데 큰 걸림돌이 된다.
국내 등록특허 제10-1579970호(2015.12.17. 등록)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 모바일 단말기에서 제공하는 GPS 위치 정보를 보다 정확한 위치로 보정하여 도심 환경에 적합한 위치 정보를 제공하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법 및 서버를 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법은, (A) 모바일 단말기로부터 수신된 쿼리 이미지에서 간판이 존재하는 부분을 참조 간판 이미지로서 추출하는 단계; (B) 상기 모바일 단말기로부터 수신된 모바일 GPS 위치정보와 모바일 방향정보를 기초로 스트리트 뷰 서비스를 이용하여 최종 후보 스트리트 뷰 이미지들을 수집하는 단계; (C) 상기 수집된 최종 후보 스트리트 뷰 이미지들 중 상기 (A) 단계에서 추출한 참조 간판 이미지와 일치하는 간판이 존재하면서 위치와 방향이 서로 다른 제1 및 제2스트리트 뷰 이미지를 선택하는 단계; (D) 상기 선택된 제1 및 제2스트리트 뷰 이미지에 대한 위치정보와 방향정보를 기초로 상기 (A) 단계에서 추출된 참조 간판 이미지에 존재하는 간판의 지도상 위치를 추정하는 단계; 및 (E) 상기 제1스트리트 뷰 이미지에 대한 정보와 상기 (D) 단계에서 추정된 간판의 지도상 위치를 이용하여 상기 모바일 단말기의 위치를 추정하는 단계;를 포함한다.
상기 (A) 단계는, (A1) 상기 쿼리 이미지에서 밝은 색상의 바탕에 어두운 색상의 문자들과 어두운 색상의 바탕에 밝은 색상의 문자들을 탐지하는 단계; (A2) 상기 탐지된 문자들 사이의 거리에 기초하여 근접성을 검사하여 근접한 문자들끼리 분류하는 단계; 및 (A3) 상기 분류된 문자들을 각각의 그룹으로 정하고, 상기 각 그룹에 해당하는 영역의 이미지를 상기 참조 간판 이미지로서 추출하는 단계;를 포함한다.
상기 (B) 단계는, (B1) 상기 스트리트 뷰 서비스에서 제공하는 로드 맵 API와 상기 수신된 모바일 GPS 위치정보를 이용하여 상기 최종 후보 스트리트 뷰 이미지들을 포함한 임시 후보 스트리트 뷰 이미지들이 촬영된 것으로 예측되는 위치정보들(이하, '후보 위치들'이라 함)을 획득하는 단계; 및 (B2) 상기 추출된 참조 간판 이미지, 상기 수신된 모바일 방향정보 및 상기 획득된 후보 위치들을 이용하여, 상기 추출된 참조 간판 이미지와 일치하는 간판이 존재하면서 위치와 방향이 다른 상기 최종 후보 스트리트 뷰 이미지들을 수집하는 단계;를 포함한다.
상기 (B1) 단계는, (B11) 상기 스트리트 뷰 서비스에서 제공하는 로드 맵 API를 통해 상기 수신된 모바일 GPS 위치정보에 대한 스트리트 뷰 레이어가 추가된 로드맵을 요청하는 단계; (B12) 상기 로드맵에서 스트리트 뷰 레이어를 추출하는 단계; (B13) 상기 추출된 스트리트 뷰 레이어의 뼈대 이미지를 추출하는 단계; 및 (B14) 상기 추출된 뼈대 이미지의 각 픽셀 위치를 위도와 경도값으로 변환하여 상기 임시 후보 스트리트 뷰 이미지들이 촬영된 후보 위치들을 획득하는 단계;를 포함한다.
상기 (B2) 단계는, (B21) 상기 (B1) 단계에서 획득한 후보 위치들 중 상기 수신된 모바일 GPS 위치정보를 중심으로 반경 m미터 이내에 있으며, 상기 모바일 방향정보와 같은 방향을 갖는 제1후보 스트리트 뷰 이미지들을 상기 로드 맵 API를 통해 수집하는 단계; (B22) 상기 각 후보 위치들마다, 상기 수집된 제1후보 스트리트 뷰 이미지들과 상기 추출된 참조 간판 이미지를 비교하여 일치하는 간판이 존재하는 최적의 제1후보 스트리트 뷰 이미지를 선택하는 단계; (B23) 상기 선택된 최적의 제1후보 스트리트 뷰 이미지를 중심으로 반경 n미터 이내에 있는 후보 위치들 별로 간판의 방향을 추정하는 단계; (B24) 상기 추정된 간판의 방향과 동일한 방향의 스트리트 뷰 이미지들를 제2후보 스트리트 뷰 이미지들로서 수집하는 단계; 및 (B25) 상기 수집된 제1 및 제2후보 스트리트 뷰 이미지들의 위치마다 방향이 서로 다른 최종 후보 스트리트 뷰 이미지들을 획득하는 단계;를 더 포함한다.
상기 (C) 단계는, (C1) 상기 추출한 참조 간판 이미지와 상기 수집한 최종 후보 스트리트 뷰 이미지들을 비교하여 간판의 일치도가 가장 큰 최종 후보 스트리트 뷰 이미지를 상기 제1스트리트 뷰 이미지로서 선택하는 단계; 및 (C2) 상기 선택된 제1스트리트 뷰 이미지에서 추출되는 간판 이미지와 상기 수집한 최종 후보 스트리트 뷰 이미지들을 비교하여 간판의 일치도가 가장 큰 최종 후보 스트리트 뷰 이미지를 상기 제2스트리트 뷰 이미지로서 선택하는 단계;를 포함한다.
상기 (C1) 단계는, (C11) SURF(Speed Up Robust Features) 알고리즘을 이용하여 상기 참조 간판 이미지와 상기 최종 후보 스트리트 뷰 이미지들 각각에서 특징점들을 검색하는 단계; (C12) 상기 검색된 특징점들에 대한 기술자(Descriptors)들을 생성하는 단계; (C13) Brute-Force Matcher를 이용하여 상기 참조 간판 이미지와 상기 최종 후보 스트리트 뷰 이미지들의 기술자들 간에 매칭 관계를 정의하는 단계; 및 (C14) 상기 정의된 매칭관계 중 최적의 매칭 관계를 갖는 최종 후보 스트리트 뷰 이미지를 상기 제1스트리트 뷰 이미지로서 선택하는 단계;를 포함한다.
상기 (D) 단계는, (D1) 상기 제1스트리트 뷰 이미지의 위치부터 상기 간판의 위치까지의 거리(LL)와, 북쪽 방향으로부터 상기 거리(LL)의 방위각(β)을 산출하는 단계; 및 (D2) 상기 제1스트리트 뷰 이미지의 위도 및 경도와, 상기 (D1)에서 산출된 거리(LL)와 방위각(β)을 이용하여 상기 간판의 지도상 위치를 산출하는 단계;를 포함한다.
상기 (D2) 단계는, 다음의 식을 이용하여 상기 간판의 지도상 위치를 추정한다.
Figure 112016111858016-pat00001
여기서, Llat는 상기 제1스트리트 뷰 이미지의 위도, Llon은 상기 제1스트리트 뷰 이미지의 경도, LL은 상기 제1스트리트 뷰 이미지의 위치와 상기 간판의 위치까지의 거리, rearth는 지구의 반지름, β는 북쪽 방향으로부터 상기 LL의 방위각, Tlat는 상기 간판의 위도, Tlon은 상기 간판의 경도이다.
상기 (E) 단계는, (E1) 상기 간판의 위치로부터 상기 제1스트리트 뷰 이미지까지의 거리(TS)를 이용하여 상기 간판의 위치로부터 상기 모바일 단말기까지의 거리(TU)와, 북쪽 방향으로부터 상기 거리(TU)의 방위각(β)를 산출하는 단계; 및 (E2) 상기 산출된 거리(TU)와 방위각(β)를 이용하여 상기 모바일 단말기의 위치를 산출하는 단계;를 포함하며, 상기 모바일 단말기는 상기 산출된 모바일 단말기의 위치로 상기 모바일 단말기에서 측정된 모바일 GPS 위치정보를 보정한다.
한편, 본 발명의 다른 실시 예에 따르면, 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 서버는, 모바일 단말기로부터 수신된 쿼리 이미지에서 간판이 존재하는 부분을 참조 간판 이미지로서 추출하는 간판 이미지 추출부; 상기 모바일 단말기로부터 수신된 모바일 GPS 위치정보와 모바일 방향정보를 기초로 스트리트 뷰 서비스를 이용하여 최종 후보 스트리트 뷰 이미지들을 수집하는 후보 스트리트 뷰 이미지 수집부; 상기 수집된 최종 후보 스트리트 뷰 이미지들 중 상기 참조 간판 이미지와 일치하는 간판이 존재하면서 위치와 방향이 서로 다른 제1 및 제2스트리트 뷰 이미지를 선택하는 간판 검색부; 상기 선택된 제1 및 제2스트리트 뷰 이미지에 대한 위치정보와 방향정보를 기초로 상기 참조 간판 이미지에 존재하는 간판의 지도상 위치를 추정하는 간판 위치 추정부; 및 상기 제1스트리트 뷰 이미지에 대한 정보와 상기 추정된 간판의 지도상 위치를 이용하여 상기 모바일 단말기의 위치를 추정하는 모바일 위치 추정부;를 포함한다.
본 발명에 따르면, 모바일 단말기에서 제공하는 GPS 위치 정보를 보정하는 것을 통하여 도심 환경에 적합한 GPS 정보를 제공함으로써 사용자가 느끼는 불편함을 해소할 수 있다.
또한, 본 발명에 따르면, 모바일 단말기가 단독으로 처리하여 제공하는 GPS 위치 정보를 상용의 스트리트 뷰 서비스를 이용하여 보정함으로써 보다 정확한 위치 정보를 제공하고, 이로 인하여 도심 환경에서 위치기반 서비스 시장이 성장할 수 있는 길을 제시할 수 있다.
또한, 본 발명에 따르면, GPS 위치 보정 서버가 스트리트 뷰 이미지들을 미리 수집하여 DB화하고, DB화된 스트리트 뷰 이미지들을 GPU(Graphic Processing Unit)를 사용하여 병렬적으로 이미지 검색함으로써 GPS 위치 보정에 소요되는 시간을 최소화하고, 사용자 편의를 향상시킬 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 의한 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 시스템을 도시한 도면,
도 2는 본 발명의 실시 예에 따른 GPS 위치 보정 서버를 도시한 블록도,
도 3은 간판 이미지 추출부가 간판 이미지를 추출하는 과정을 보여주는 도면,
도 4는 간판 이미지 추출부에서 추출된 다양한 참조 간판 이미지를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 후보 위치 획득부가 최종 후보 SVI들을 촬영한 것으로 예측되는 위치정보를 획득하는 과정을 보여주는 도면,
도 6은 상술한 후보 SVI 획득부가 최종 후보 SVI들 중 제1 및 제2후보 SVI들을 획득하는 과정을 설명하기 위한 예시도,
도 7은 후보 SVI 획득부가 최종 후보 SVI들을 획득하는 과정을 설명하기 위한 예시도,
도 8은 간판 검색부가 제1 및 제2SVI들을 선택하는 과정을 설명하기 위한 예시도,
도 9는 간판 위치 추정부가 간판의 지도상 위치를 추정하는 과정을 설명하기 위한 도면,
도 10은 모바일 위치 추정부가 모바일 단말기의 위치를 추정하는 과정을 설명하기 위한 도면,
도 11은 본 발명의 실시 예에 따른 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법을 개괄적으로 설명하기 위한 흐름도,
도 12는 도 11의 S1120단계를 보다 자세히 설명하기 위한 흐름도,
도 13은 도 11의 S1130단계를 보다 자세히 설명하기 위한 흐름도, 그리고,
도 14는 도 11의 S1140단계를 보다 자세히 설명하기 위한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
도 2에 도시된 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 서버(200)의 각각의 구성은 기능 및 논리적으로 분리될 수 있으며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하지는 않는다.
도 1은 본 발명의 실시 예에 의한 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 시스템을 도시한 도면이다.
본 발명의 실시 예에 따른 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 시스템은 서버-클라이언트 구조를 갖는 모바일 단말기(100)와 GPS 위치 보정 서버(200)를 포함한다. GPS 위치보정 서버(200)는 모바일 단말기(100)에서 측정된 GPS(Global Positioning System) 위치를 보정한다.
먼저, 모바일 단말기(100)는 현재 자신의 위치를 보정하고자 하는 경우, 도심 환경 내에서 촬영한 쿼리 이미지, 모바일 GPS 위치정보 및 모바일 방향정보를 GPS 위치 보정 서버(200)로 전송한다.
쿼리 이미지는 모바일 단말기(100)에서 촬영한 이미지, 모바일 GPS 위치정보는 모바일 단말기(100)의 GPS 모듈에 의해 측정된 모바일 단말기(100)의 현재 GPS 위치이다. 모바일 방향정보는 모바일 단말기(100)의 디지털 콤파스에 의해 측정된 정보로서, 사용자가 모바일 단말기(100)를 통해 바라보고 있는 방향, 즉, 모바일 단말기(100)의 카메라가 향하고 있는 방향을 의미한다.
GPS 위치 보정 서버(200)는 모바일 단말기(100)로부터 전송된 쿼리 이미지에서 간판이 존재하는 부분을 탐지하여 해당 부분의 이미지를 추출한다. 이하에서는 추출된 간판의 이미지를 '참조 간판 이미지'라 한다.
GPS 위치 보정 서버(200)는 모바일 단말기(100)에서 측정된 모바일 GPS 위치정보와 모바일 방향정보를 기초로 웹상에서 제공되는 스트리트 뷰 서비스를 이용하여 후보 스트리트 뷰 이미지(SVI: Street View Image)들을 수집한다. 본 발명의 실시 예에서 사용하는 스트리트 뷰 서비스는 공개 API를 제공하는 구글의 스트리트 뷰 서비스를 예로 들고 있으며, 이에 한정되지 않음은 물론이다.
GPS 위치 보정 서버(200)는 수집된 최종 후보 SVI들 중에 참조 간판 이미지와 일치하는 간판이 존재하면서 위치와 방향이 서로 다른 두 개의 SVI(이하, '제1 및 제2SVI'라 한다)를 선택한다.
GPS 위치 보정 서버(200)는 선택된 제1 및 제2SVI에 대한 정보를 바탕으로 참조 간판 이미지에 해당하는 간판의 지도상의 위치를 추정한 후, 간판과 제1SVI에 대한 정보를 이용하여 사용자의 위치, 즉, 모바일 단말기(100)의 위치를 추정하는 것을 통해 GPS 위치를 보정한다.
이하에서는 도 2 내지 도 10을 참조하여 본 발명의 실시 예에 따른 GPS 위치 보정 서버(200)를 보다 자세히 설명한다.
도 2는 본 발명의 실시 예에 따른 GPS 위치 보정 서버(200)를 도시한 블록도이다.
도 2를 참조하면, GPS 위치 보정 서버(200)는 통신부(210), 간판 이미지 추출부(220), 후보 SVI 수집부(230), 간판 검색부(240), 간판 위치 추정부(250), 모바일 위치 추정부(260) 및 제어부(270)를 포함한다.
통신부(210)는 모바일 단말기(100)와 무선 통신하여 모바일 단말기(100)로부터 쿼리 이미지, 모바일 GPS 위치정보 및 모바일 방향정보를 수신하고, 모바일 단말기(100)에서 보정된 모바일 GPS 위치정보를 전송한다. 보정된 모바일 GPS 위치정보는 보정된 사용자의 위치정보 또는 보정된 모바일 단말기(100)의 위치정보 또는 보정된 GPS 위치정보와 동일한 의미로 사용되며, 경우에 따라서는 '~ 위치정보'와 '~ 위치'가 혼용될 수 있다.
간판 이미지 추출부(220)는 수신된 쿼리 이미지에서 간판이 존재하는 부분을 참조 간판 이미지로서 추출한다.
자세히 설명하면, 스트리트 뷰 서비스 기반 GPS 위치 보정 시스템은 쿼리 이미지로부터 추출한 간판의 지도상의 위치를 추정한 후, 추정된 간판의 위치로부터 사용자의 위치를 추정하는 것을 통해 GPS 위치를 보정한다. 간판의 지도상의 위치는 일치하는 간판이 존재하는 두 개의 SVI들을 이용하여 추정된다. 일치하는 간판이 존재하는 SVI들을 찾기 위해서는 참조 대상이 되는 간판 이미지가 필요하다.
따라서, 간판 이미지 추출부(220)는 Boris Epshtein이 제안한 야외 환경에서 문자를 탐지하는 SWT(Stroke Width Transform) 알고리즘을 사용하여 쿼리 이미지에서 간판이 존재하는 부분을 탐지하고 해당 부분의 이미지를 참조 간판 이미지로서 추출한다. SWT 알고리즘은 획의 너비의 변화량에 따른 문자를 탐지하는 방법을 제안한다. 따라서, 본 발명의 실시 예에서는 간판 내에는 문자가 존재한다고 가정하며, 문자가 탐지되지 않으면 간판이 아닌 것으로 판단한다.
도 3은 간판 이미지 추출부(220)가 간판 이미지를 추출하는 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 간판 이미지 추출부(220)는 SWT 알고리즘을 사용하여 쿼리 이미지에서 밝은 색상의 바탕에 어두운 색상의 문자들(dark on light)과, 어두운 색상의 바탕에 밝은 색상의 문자들(light on dark)을 탐지한다.
그 다음, 간판 이미지 추출부(220)는 탐지된 문자들 사이의 거리에 기초하여 근접성을 검사하여 근접한 문자들끼리 분류한다. 즉, 간판 이미지 추출부(220)는 탐지된 문자들에 대해서 크기에 따른 필터링을 수행한 후 문자들 사이의 픽셀 거리를 계산하고 근접성을 검사하여 분류한다.
간판 이미지 추출부(220)는 분류된 문자들을 각각의 그룹으로 정하고, 각 그룹에 해당하는 영역의 이미지를 참조 간판 이미지로서 추출한다. 자세히 설명하면, 간판 이미지 추출부(220)는 근접한 문자들끼리 모인 그룹들을 정하고, 그룹들 간에 다시 한 번 근접성을 검사한 후 최종적으로 분류된 그룹들의 영역을 계산한 후, 해당 영역의 이미지를 참조 간판 이미지로서 추출한다.
도 4는 간판 이미지 추출부(220)에서 추출된 다양한 참조 간판 이미지를 보여준다. 도 4의 참조 간판 이미지는 다양한 도심 환경 내에서 촬영된 쿼리이미지에서 추출한 참조 간판 이미지이다.
다시 도 2를 참조하면, 후보 SVI 수집부(230)는 수신된 모바일 GPS 위치정보와 모바일 방향정보를 기초로 스트리트 뷰 서비스를 이용하여 최종 후보 SVI들을 수집한다. 즉, 간판 이미지 추출부(220)에서 추출된 참조 간판 이미지의 간판의 위치를 추정하기 위해서는 일치하는 간판이 존재하는 적어도 두 개의 SVI가 필요하다. 적어도 두 개의 SVI를 찾기 위해서, 후보 SVI 수집부(230)는 모바일 GPS 위치정보와 모바일 방향정보를 바탕으로 일정 반경 내에 존재하는 후보 SVI들을 수집한다.
이를 위하여 후보 SVI 수집부(230)는 후보 위치 획득부(232) 및 후보 SVI 획득부(234)를 포함한다.
후보 위치 획득부(232)는 스트리트 뷰 서비스에서 제공하는 로드 맵 API와 수신된 모바일 GPS 위치정보를 이용하여 후보 SVI들이 촬영된 것으로 예측되는 위치정보들(이하, '후보 위치들'이라 함)을 획득한다.
일반적으로 SVI는 Google Maps API와 공개 API를 통해 위치정보와 방향정보, 이미지 크기, 화각 등을 입력하면 얻을 수 있다. 그러나 Google Maps API는 특정 위치를 중심으로 일정 반경 내에 존재하는 SVI들의 위치정보를 제공하지 않으며, 특정 나라에서는 일부 기능들을 제공하지 않는다. 그래서, 본 발명의 실시 예에서는 최종 후보 SVI들의 위치정보, 즉, 후보 위치들을 알기 위해 다음과 같은 과정을 수행한다.
도 5는 본 발명의 실시 예에 따른 후보 위치 획득부(232)가 후보 SVI들이 촬영된 것으로 예측되는 위치정보를 획득하는 과정을 보여주는 도면이다.
도 5를 참조하면, 후보 위치 획득부(232)는, 스트리트 뷰 서비스에서 제공하는 로드 맵 API(예를 들어, Google Maps API)를 통해 모바일 GPS 위치정보에 대한 스트리트 뷰 레이어(SVL: Street View Layer)가 추가된 로드맵(510)을 요청한다. SVL은 최종 후보 SVI들을 포함하는 임시 후보 SVI들을 촬영한 장소들을 선으로 연결한 것이다.
후보 위치 획득부(232)는 로드맵(510)에서 SVL를 추출하며, 추출된 SVL의 뼈대 이미지를 추출한다. 로드맵(510)에 도시된 것처럼 SVL은 색상에서 다른 부분과 확연하게 차이를 보인다. 즉, 로드맵(510)에 도시된 SVL은 파란색으로 표시되며, 다른 부분과는 큰 차이가 있다. 따라서, 후보 위치 획득부(232)는 색상 차이를 이용하여 SVL을 일차적으로 추출하고, 일차적으로 추출된 SVL에 포함된 노이즈를 가우시안 필터를 이용하여 제거한다.
그리고, 후보 위치 획득부(232)는 노이즈가 제거된 SVL 이미지(520)에서 SVL의 각 픽셀 지점을 알기 위해서, Morphology Transformation을 사용하여 SVL의 뼈대 이미지(530)를 추출한다. 후보 위치 획득부(232)는 로드맵(510)의 위치정보를 바탕으로 추출된 뼈대 이미지의 각 픽셀 위치를 위도와 경도값으로 변환하여 임시 후보 SVI들이 촬영되었을 것이라 예측되는 위치, 즉, 임시 후보 SVI들의 후보 위치들을 획득한다.
한편, 후보 SVI 획득부(234)는 추출된 참조 간판 이미지, 수신된 모바일 방향정보 및 획득된 후보 위치들을 이용하여, 참조 간판 이미지와 일치하는 간판이 존재하면서 위치와 방향이 다른 최종 후보 SVI들을 상이한 방식으로 선택한다.
먼저, 후보 SVI 획득부(234)는 후보 위치 획득부(232)에서 획득한 임시 후보 위치들 중 수신된 모바일 GPS 위치정보를 중심으로 반경 m미터 이내에 있으며, 모바일 방향정보와 같은 방향을 갖는 제1후보 SVI들을 로드 맵 API를 통해 수집한다.
다음, 후보 SVI 획득부(234)는 수집된 제1후보 SVI들과 추출된 참조 간판 이미지를 비교하여 일치하는 간판이 존재하는 최적의 제1후보 SVI를 선택한다. 이때, 후보 SVI 획득부(234)는 제1후보 SVI들과 참조 간판 이미지를 비교하여 간판의 매칭 관계가 가장 높은 제1후보 SVI를 최적의 제1후보 SVI로 선택한다.
다음, 후보 SVI 획득부(234)는 선택된 최적의 제1후보 SVI를 중심으로 반경 n미터 이내에 있는 후보 위치들 별로 간판의 방향을 추정한다. 그리고, 후보 SVI 획득부(234)는 추정된 간판의 방향과 동일한 방향의 SVI를 제2후보 SVI로서 획득한다.
마지막으로, 후보 SVI 획득부(234)는 수집된 제1 및 제2후보 SVI들의 위치에서 방향이 서로 다른 다수의 최종 후보 SVI들을 수집한다. 즉, 후보 SVI 획득부(234)는 제1 및 제2후보 SVI들의 위치(후술할 도 6의 a 또는 c에 도시된 후보 위치들)마다 모바일 방향정보를 중심으로 일정 각도씩 움직인 다른 방향의 임시 후보 SVI들을 최종 후보 SVI들로서 획득한다.
상술한 후보 SVI 수집부(230)와 후보 SVI 획득부(234)의 동작은 도 6 및 도 7을 참조하여 자세히 설명한다.
도 6은 상술한 후보 SVI 획득부(234)가 임시 후보 SVI들 중 제1 및 제2후보 SVI들을 획득하는 과정을 설명하기 위한 예시도이다.
도 6의 a를 참조하면, 빨간 점은 모바일 GPS 위치정보에 해당하는 위치, 즉, GPS 위치이고, 주황색 화살표들은 모바일 방향정보를 나타낸다. 후보 SVI 획득부(234)는 SVL(530)로부터 알아낸 임시 후보 위치들에서 모바일 위치(즉, 수신된 모바일 GPS 위치정보 또는 GPS 위치)를 중심으로 반경(m) 60m 이내에 있으며, GPS 위치와 가장 가까운 위치에서부터 5m 간격으로 모바일 방향정보와 같은 방향의 임시 후보 SVI들을 제1후보 SVI들(610에서 검은 점들)로서 수집한다. 반경 값(m)은 Scott Duncan이 고층 건물들이 다수 위치한 도심 중심지에서 측정한 GPS 오차의 평균값을 참조한 것이다. 간격 값은 자체적인 측정에 따른 SVI를 촬영한 후보 위치들 사이의 최소 거리 값으로 설정한다.
도 6의 a에서 수집한 제1후보 SVI들은 간격 값 설정에 따라서, b에 도시된 것처럼 서로 다른 위치(①, ②, ③)에서도 동일한 SVI를 얻어오는 경우(620)가 발생한다. 이러한 경우, 제2후보SVI를 찾는 과정에서 문제가 발생할 수 있으므로, 후보 SVI 획득부(234)는 각 후보 위치들에서 얻어온 제1후보 SVI들 간의 비교를 통해 동일한 이미지일 경우에 해당 후보 위치들을 통합한다. 예를 들어, 후보 SVI 획득부(234)는 도 6의 b에서처럼 3개의 후보 위치들(①, ②, ③)이 동일한 SVI를 얻어온 경우, 3개의 위도와 경도에 대한 평균을 구하여 통합 위치로 사용할 수 있다.
도 6의 c는 지도상에서 최종적으로 선택된 제1후보 SVI들의 위치, 즉, 후보 위치들(630)을 보여주고 있다. 통합 위치에 의해, 제1후보 SVI들의 후보 위치들은 도 6의 a에 비해 감소하였다.
제1후보 SVI들의 후보 위치들이 수집되면, 후보 SVI 획득부(234)는 후보 위치들(도 6의 c)에서 수집한 제1후보 SVI들과 참조 간판 이미지를 비교하여, 일치하는 간판이 존재하는 하나를 최적의 제1후보 SVI로서 획득한다. 일치하는 간판이 존재하는 제1후보 SVI가 다수인 경우, 후보 SVI 획득부(234)는 제1후보 SVI들과 참조 간판 이미지를 비교하여 간판의 일치도가 가장 큰, 즉, 최적의 매칭 관계를 보이는 간판을 포함하는 하나를 최적의 제1후보 SVI로서 획득한다.
최적의 제1후보 SVI가 선택되면, 후보 SVI 획득부(234)는 도 6의 d에서와 같이, 최적의 제1후보 SVI의 후보 위치(640에서 빨간 점으로 표시됨)를 중심으로 반경(n) 20m 이내에 있는 위치들에서 제2후보SVI를 선택하기 위한 이미지 수집을 실시한다. 반경 값(n)은 자체적인 측정을 통해서 간판이 탐지될 수 있는 최대 거리로 설정한다.
후보 SVI 획득부(234)는 각 후보 위치들에서 간판의 방향을 추정하여 해당 방향의 SVI를 제2후보 SVI로서 수집한다. 즉, 제1후보 SVI들을 선택할 때는 모바일 단말기(100)에서 측정된 모바일 방향정보를 이용한다면, 제2후보 SVI들을 선택할 때는 각 후보 위치에서 간판의 방향을 이용한다.
도 6에 도시된 각 후보 위치들에서의 간판의 방향은 간단한 벡터 연산을 통해서 추정한다. 후보 SVI 획득부(234)는 각 후보 위치들에서 최적의 제1후보 SVI의 위치로 향하는 방향 벡터와 최적의 제1후보 SVI의 방향 벡터 간에 벡터 연산을 통해 간판의 방향을 산출한다. 여기서도, 후보 SVI 획득부(234)는 추정된 간판의 방향정보, 현재 후보 위치정보 및 기타 다른 정보를 로드 맵 API를 통해 입력하여 제2후보 SVI들을 각 후보 위치(도 6의 d의 경우, 6개 위치)에서 얻을 수 있다.
도 7은 후보 SVI 획득부(234)가 최종 후보 SVI들을 획득하는 과정을 설명하기 위한 예시도이다.
먼저, 모바일 단말기(100)에서 측정된 모바일 방향정보와, 제2후보 SVI들을 획득하기 위해 추정된 간판의 방향정보에는 오차가 포함되어 있을 수 있다.　 방향 오차가 크게 발생한 경우에는 잘못된 방향의 후보 SVI들을 수집할 수 있으며, 결과적으로 후술할 간판 검색 과정에서 원하는 제1 및 제2SVI를 찾지 못 할 수 있게 된다.　 또한, 사용자가 도심 환경을 촬영한 위치와 서비스사에서 SVI들을 촬영한 위치 간의 거리 차이로 인하여 방향정보가 정확하여도 원하는 간판이 포함되어 있는 SVI를 수집하지 못 할 수 있다.
이러한 문제를 해결하기 위하여, 후보 SVI 획득부(234)는 도 7에 도시된 바와 같이, 각 후보 위치들마다 모바일 방향정보를 중심으로 일정 각도를 움직인 다른 방향의 SVI들을 최종 후보 SVI들로서 수집한다. 　즉, 후보 SVI 획득부(234)는 각 후보 위치들마다 방향이 서로 다른 9개의 SVI들을 최종 후보 SVI들로서 수집 및 획득한다.
도 7에는 도 6의 c에서 획득한 후보 위치들이 도시되어 있으나, 도 6의 a에 도시된 제1후보 SVI들의 후보 위치들마다 최종 후보 SVI들을 수집할 수도 있다.
이러한 경우, 최종적으로 수집되는 후보 SVI들의 개수는 (Aⅹ9) +(Bⅹ9)개이다. 여기서, A는 도 6의 a에 도시된 원 내에 존재하는 제1후보 SVI들의 위치 개수, B는 도 6의 d에 도시된 원 내에 존재하는 제2후보 SVI들의 위치 개수, 9는 각 후보 위치마다 다른 방향에서 획득한 SVI 개수로서 변경가능하다. 이로써, 최종 후보 SVI들의 수집이 완료되며, 후보 SVI 수집부(230)에서 수집되는 최종 후보 SVI들은 간판 검색부(240)에서 간판의 지도상 위치 추정에 사용된다.
다시 도 2를 참조하면, 간판 검색부(240)는 수집된 최종 후보 SVI들 중 추출한 참조 간판 이미지와 일치하는 간판이 존재하면서 위치와 방향이 서로 다른 제1 및 제2SVI를 선택한다.
이를 위하여, 간판 검색부(240)는 제1SVI 선택부(242) 및 제2SVI 선택부(244)를 포함한다.
제1SVI 선택부(242)는 추출된 참조 간판 이미지와 수집한 최종 후보 SVI들을 비교하여 간판의 일치도가 가장 큰 후보 SVI를 제1SVI로서 선택한다. 제1SVI 선택부(242)는 최종 후보 SVI들 내에 일치하는 간판이 존재하는지 탐지하기 위해 SURF(Speed Up Robust Features) 알고리즘과 Brute-Force Matcher를 이용한다.
도 8은 간판 검색부(240)가 제1 및 제2SVI들을 선택하는 과정을 설명하기 위한 예시도이다.
도 8을 참조하면, 제1SVI 선택부(242)는 SURF 알고리즘을 이용하여 참조 간판 이미지(820)와 최종 후보 SVI들 각각에서 특징점들(SURF Feature Points)을 검색한다. SURF 특징점들은 이미지 내의 독특한 특징(Blob나 코너 같은 특징)을 보이는 지점이다. Blob은 이미지 내에 가우시안 2차 미분법을 사용하여 얻을 수 있으며, 불변하면서 독특한 특징을 갖는다. 도 8에서 간판 이미지에 표시된 빨간색 점들이 SURF 특징점들에 해당한다.
그 다음, 제1SVI 선택부(242)는 검색된 특징점들에 대한 기술자(SURF Descriptors)들을 생성한다. SURF Descriptors는 SURF 특징점들에 대한 특징 정보를 정의하여 놓은 기술자이다. 도 8에서 노란색 선들이 두 이미지의 SURF Descriptors 간의 매칭 관계를 보여주고 있다.
그 다음, 제1SVI 선택부(242)는 Brute-Force Matcher를 이용하여 참조 간판 이미지와 최종 후보 SVI들의 기술자들 간에 매칭 관계를 정의한다. 제1SVI 선택부(242)는 이러한 과정을 모든 최종 후보 SVI들에 대해 적용한다.
그리고, 제1SVI 선택부(242)는 위에서 정의된 매칭 관계들 중 최적의 매칭 관계를 갖는 최종 후보 SVI를 제1SVI로서 선택한다. 도 8에는 최적의 매칭 관계를 갖는 최종 후보 SVI, 즉, 제1SVI(810)와 참조 간판 이미지(820)의 매칭 관계가 보여지고 있다.
이로써 하나의 제1SVI가 선택되었으며, 간판의 위치를 추정하기 위해서는 위치와 방향이 서로 다른 두 개의 SVI가 필요하므로, 제1SVI와 위치 및 방향이 다른 제2SVI를 더 선택하여야 한다.
탐지의 정확도를 더 높이기 위해서, 제2SVI 선택부(244)는 쿼리 이미지에서 추출한 참조 간판 이미지가 아닌 제1SVI에서 추출한 간판 이미지를 가지고 검색을 실시한다.
자세히 설명하면, 제2SVI 선택부(244)는 제1SVI 선택부(242)에서 선택된 제1SVI에서 간판 이미지(840)를 추출한다. 간판 이미지(840)는 제1SVI(810) 중 간판 이미지 영역을 보여준다. 제2SVI 선택부(244)는 추출된 간판 이미지(840)와 수집한 최종 후보 SVI들을 비교하여 간판의 일치도가 가장 큰 후보 SVI(를 제2SVI830)로서 선택한다. 도 8에는 최종 후보 SVI들로부터 선택된 제1SVI(810)와, 제1SVI를 이용하여 선택된 제2SVI(830)가 표시되어 있다.
다시 도 2를 참조하면, GPS 위치 보정 서버(200)는 쿼리 이미지에서 추출한 참조 간판 이미지의 지도상의 위치를 추정한 후, 추정된 간판의 지도상 위치로부터 사용자의 위치, 즉, 모바일 단말기(100)의 위치를 추정함으로써, 결과적으로 GPS 위치를 보정한다.
일반적으로, 촬영한 위치와 방향이 서로 다른 두 개의 이미지 내에 위치를 추정하고자 하는 동일한 대상이 있는 경우, 두 개의 이미지의 카메라 중심으로부터 대상의 중심으로 향하는 두 개의 직선을 알 수 있다. 따라서, 삼각 측량법을 적용하면, 두 개의 직선이 2차원 공간상에서 교차하는 지점을 계산하는 것을 통해 대상의 위치를 추정할 수 있다.
본 발명의 실시 예에서, 추출한 간판의 지도상의 위치는 간판 검색 과정에서 찾아낸 제1 및 제2SVI들을 가지고 계산한다. 간판 위치 추정부(250)는 제1 및 제2SVI에 대한 위치정보와 방향정보를 알고 있으므로, 삼각측량법을 사용하여 참조 간판 이미지에 존재하는 간판의 지도상의 위치를 추정한다.
자세히 설명하면, 간판 위치 추정부(250)는 제1SVI의 위치부터 간판의 위치까지의 거리(LL)와, 북쪽 방향으로부터 거리(LL)의 방위각(β)을 산출하고, 상기 제1SVI의 위도 및 경도와, 산출된 거리(LL)와 방위각(β)을 이용하여 간판의 지도상 위치를 산출한다.
도 9는 간판 위치 추정부(250)가 간판의 지도상 위치를 추정하는 과정을 설명하기 위한 도면으로서, 간판과 제1 및 제2SVI 간의 관계를 보여준다.
도 9를 참조하면, L은 제1SVI의 위치, R은 제2SVI의 위치, T는 간판 위치 추정부(250)에 의해 예측된 간판의 실제 지도상의 위치이다. BL은 제1SVI의 위치와 제2SVI의 위치 사이의 거리, LL과 RL은 각각 제1 및 제2SVI의 위치로부터 간판의 위치(T)까지의 거리를 나타낸다.
Figure 112016111858016-pat00002
각각 제1 및 제2SVI의 방향을 나타내며,
Figure 112016111858016-pat00003
BL에 수직인 방향을 나타낸다.
Figure 112016111858016-pat00004
카메라 내부의 센서 상에서 간판이 탐지된 부분의 중심 위치의 X축 좌표 값이고,
Figure 112016111858016-pat00005
이미지 상에서 간판이 탐지된 부분의 크기 값이다. α1, α2, α3은 간판과 두 개의 제1 및 제2SVI가 형성하는 삼각형의 내부 각도 값을 나타내며, β는 북쪽 방향으로부터 LL의 방위각을 나타낸다.
간판 위치 추정부(250)는 L의 위도와 경도를 알고 있으므로 β와 LL의 값을 알면 간판의 위도와 경도를 계산할 수 있다. 이를 위해, 간판 위치 추정부(250)는 [수학식 1]을 통해서 β와 LL의 값을 계산한다.
Figure 112016111858016-pat00006
[수학식 1]에서, fs는 SVI의 초점 거리이다. 제1 및 제2SVI 모두 동일한 카메라로 촬영이 되므로, 제1 및 제2SVI의 초점 거리는 동일하다고 가정한다.
[수학식 1]을 참조하면, 간판 위치 추정부(250)는 BL의 단위 벡터를 α1만큼 회전시킨 후 북향 벡터와의 사이 각을 통해 β의 값을 계산한다.
또한, 도 9에 도시된 바와 같이, 간판과 제1 및 제2SVI가 삼각형을 형성하면 삼각측량법으로 LL의 값을 계산할 수 있다. 그러나, 간판과 제1 및 제2SVI가 동일한 직선상에 존재할 경우에는 α2와 α3의 값이 0°이거나 180°가 되므로 삼각측량법을 사용할 수 없다. 이러한 경우, 간판 위치 추정부(250)는 제1 및 제2SVI 상에서 간판이 탐지된 부분의 크기에 대한 비율 값으로 LL의 값을 계산한다.
한편, 위치 L로부터 간판까지의 거리 LL과 간판의 방위각 β를 알고 있으므로, 간판 위치 추정부(250)는 간판의 위도와 경도(Tlat, Tlon)를 [수학식 2]를 이용하여 계산한다.
Figure 112016111858016-pat00007
[수학식 2]에서 radlat는 위도에 대한 라디안, radlon은 경도에 대한 라디안, Llat는 제1SVI의 위도, Llon은 제1SVI의 경도, LL은 제1SVI의 위치와 간판의 위치까지의 거리, rearth는 지구의 반지름, β는 북쪽 방향으로부터 LL의 방위각, Tlat는 간판의 위도, 그리고, Tlon은 간판의 경도이다.
[수학식 2]를 통해 간판 위치 추정부(250)는 간판의 위도와 경도를 산출하고, 이를, 간판(T)의 지도상의 위치로 추정한다.
다시 도 2를 참조하면, 모바일 위치 추정부(260)는 제1SVI에 대한 정보와 간판 위치 추정부(250)에서 추정된 간판의 위치를 이용하여 사용자, 즉, 모바일 단말기(100)의 위치를 추정한다.
보다 자세히는, 모바일 위치 추정부(260)는 간판의 위치(T)로부터 제1SVI까지의 거리(TS)를 이용하여 간판의 위치(T)로부터 모바일 단말기(U)까지의 거리(TU)와, 북쪽 방향으로부터 거리(TU)의 방위각(β)를 산출한다. 그리고, 모바일 위치 추정부(260)는 산출된 거리(TU)와 방위각(β)를 이용하여 사용자, 즉, 모바일 단말기(100)의 위치를 산출한다.
도 10은 모바일 위치 추정부(260)가 모바일 단말기(100)의 위치를 추정하는 과정을 설명하기 위한 도면으로서, 사용자와 간판, 그리고, 제1SVI 간의 관계를 보여준다.
도 10을 참조하면, T(Sign)는 간판의 위치, U(User)는 사용자 또는 모바일 단말기(100)의 위치, S(Street View)는 제1SVI의 위치, TU는 간판과 사용자 사이의 거리, TS는 간판과 제1SVI 사이의 거리이다.
Figure 112016111858016-pat00008
와
Figure 112016111858016-pat00009
는 각각 사용자와 제1SVI의 방향을 나타내며,
Figure 112016111858016-pat00010
TS에 수직인 방향을 나타낸다.
Figure 112016111858016-pat00011
와
Figure 112016111858016-pat00012
는 카메라 내부의 센서 상에서 간판이 탐지된 부분의 중심 위치의 X축 좌표 값이고,
Figure 112016111858016-pat00013
와
Figure 112016111858016-pat00014
는 이미지 상에서 간판이 탐지된 부분의 크기 값이다. α는 간판, 사용자 및 제1SVI가 형성하는 삼각형 내부 중 도시된 부분의 각도 값을 나타내며, β는 북쪽 방향으로부터 TU의 방위각을 나타낸다.
도 10에서와 같이, 간판, 사용자 그리고 제1SVI가 삼각형을 형성하고 있지만 간판의 위치(T)를 추정할 때와는 달리 알 수 있는 정보가 한정적이다. 이로써, 모바일 위치 추정부(260)는 삼각측량법을 사용하여 방위각 β와 거리 TU를 산출할 수 없다.
따라서, 모바일 위치 추정부(260)는 [수학식 1]에서 응용된 [수학식 3]을 이용하여 β와 TU를 산출한다.
Figure 112016111858016-pat00015
[수학식 3]에서
Figure 112016111858016-pat00016
은 모바일 단말기(100)의 방향에 대한 역 방향이고, fu는 쿼리 이미지의 초점 거리이다. 또한, Su는 쿼리 이미지에서 추출한 참조 간판 이미지의 크기이고, Ss는 제1SVI에서 일치하는 간판이 탐지된 부분의 크기이다.
[수학식 3]을 참조하면, 모바일 위치 추정부(260)는 TS의 단위 벡터를 α만큼 회전시킨 후에 북향 벡터와의 사이 각을 통해 β를 산출한다. 즉, 모바일 위치 추정부(260)는 α를 산출하고, 360에서 α를 제하여 β를 산출한다.
또한, 모바일 위치 추정부(260)는 Su와 Ss 간의 비율 값과, 알고 있는 TS를 이용하여 TU의 값을 산출한다.
모바일 위치 추정부(260)는 간판의 위치(T)로부터 사용자의 위치(U)까지의 거리 TU와 사용자의 방위각(β)를 산출하였으므로, [수학식 2]를 이용하여 사용자의 위도와 경도를 산출한다. 다만, [수학식 2]에 적용할 인자들은 도 10을 참조하여 상술한 값들 또는 [수학식 3]에 의해 산출된 값으로 대체된다.
한편, 통신부(210)는 모바일 위치 추정부(260)에서 산출된 사용자의 위도와 경도, 즉, 사용자의 위치에 대한 정보를 모바일 단말기(100)로 전송한다.
모바일 단말기(100)는 수신된 사용자의 위치에 대한 정보, 즉, 모바일 단말기(100)의 위치에 대한 정보를 수신하여 초기에 측정된 도심 환경에서의 GPS 위치를 보정한다.
한편, 제어부(270)는 상술한 통신부(210), 간판 이미지 추출부(220), 후보 SVI 수집부(230), 간판 검색부(240), 간판 위치 추정부(250) 및 모바일 위치 추정부(260)와 통신연결관계를 맺은 상태에서 GPS 위치 보정 서버(200)의 전반적인 동작을 제어한다.
이하에서는 도 11 내지 도 14를 참조하여 본 발명의 실시 예에 따른 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법을 설명한다.
도 11의 GPS 위치 보정 방법은 GPS 위치 보정 서버에 의해 수행되며, 이하에서 사용되는 GPS 위치 보정 서버는 도 1 내지 도 10을 참조하여 설명한 서버(200)와 동일하므로, 상세한 설명은 생략한다.
도 11은 본 발명의 실시 예에 따른 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법을 개괄적으로 설명하기 위한 흐름도이다.
도 11을 참조하면, GPS 위치 보정 서버는 모바일 단말기로부터 쿼리 이미지, 모바일 GPS 위치정보 및 모바일 방향정보와 함께 위치정보 보정서비스 요청을 수신한다(S1110).
GPS 위치 보정 서버는 쿼리 이미지에서 간판이 존재하는 부분을 참조 간판 이미지로서 추출한다(S1120).
GPS 위치 보정 서버는 수신된 모바일 GPS 위치정보와 모바일 방향정보를 기초로 스트리트 뷰 서비스를 이용하여 최종 후보 SVI들을 수집한다(S1130).
GPS 위치 보정 서버는 수집된 최종 후보 SVI들 중 S1120단계에서 추출한 참조 간판 이미지와 일치하는 간판이 존재하면서 위치와 방향이 서로 다른 제1 및 제2SVI를 선택한다(S1140).
GPS 위치 보정 서버는 선택된 제1 및 제2SVI에 대한 위치정보와 방향정보를 기초로 참조 간판 이미지에 존재하는 간판의 지도상 위치를 추정한다(S1150).
그리고, GPS 위치 보정 서버는 제1SVI에 대한 정보와 S1150단계에서 추정된 간판의 지도상 위치를 이용하여 모바일 단말기의 위치를 추정한다.
도 12는 도 11의 S1120단계를 보다 자세히 설명하기 위한 흐름도이다.
도 3 및 도 12를 참조하면, GPS 위치 보정 서버는 SURF 알고리즘을 이용하여 쿼리 이미지에서 밝은 색상의 바탕에 어두운 색상의 문자들과 어두운 색상의 바탕에 밝은 색상의 문자들을 탐지한다(S1210).
그리고, GPS 위치 보정 서버는 탐지된 문자들 사이의 거리에 기초하여 근접성을 검사하여 근접한 문자들끼리 분류한다(S1220).
GPS 위치 보정 서버는 분류된 문자들을 각각의 그룹으로 정하고, 각 그룹에 해당하는 영역의 이미지를 참조 간판 이미지로서 추출한다(S1230).
도 13은 도 11의 S1130단계를 보다 자세히 설명하기 위한 흐름도이다.
도 13을 참조하면, GPS 위치 보정 서버는 스트리트 뷰 서비스에서 제공하는 로드 맵 API와 수신된 모바일 GPS 위치정보를 이용하여, 최종 후보 SVI들을 포함하는 임시 후보 SVI들이 촬영된 위치정보들(이하, ‘후보 위치들’이라 함)을 획득한다(S1310).
그리고, GPS 위치 보정 서버는 참조 간판 이미지, 수신된 모바일 방향정보 및 S1310단계에서 획득된 후보 위치들을 이용하여, 참조 간판 이미지와 일치하는 간판이 존재하면서 위치와 방향이 다른 최종 후보 SVI들을 수집한다(S1320).
S1310단계에 대해 자세히 설명하면, GPS 위치 보정 서버는, 도 5를 참조하여 설명한 것처럼, 스트리트 뷰 서비스에서 제공하는 로드 맵 API를 통해, 수신된 모바일 GPS 위치정보에 대한 스트리트 뷰 레이어(SVL: Street View Layer)가 추가된 로드맵을 요청한다(S1312).
GPS 위치 보정 서버는 제공받은 로드맵에서 SVL를 추출하고(S1314), 추출된 SVL의 노이즈를 제거한 후 뼈대 이미지를 추출한다(S1316).
그리고, GPS 위치 보정 서버는 추출된 뼈대 이미지의 각 픽셀 위치를 위도와 경도값으로 변환하여 임시 후보 SVI들이 촬영된 것으로 예측되는 후보 위치들을 획득한다(S1318).
한편, S1320단계에 대해 자세히 설명하면, GPS 위치 보정 서버는, 도 6을 참조하여 설명한 것처럼, S1318단계에서 획득한 임시 후보 위치들 중 수신된 모바일 GPS 위치정보를 중심으로 반경 m미터 이내에 있으며, 모바일 방향정보와 같은 방향을 갖는 제1후보 SVI들을 로드 맵 API를 통해 수집한다(S1322).
GPS 위치 보정 서버는 각 후보 위치들마다, 수집된 제1후보 SVI들과 추출된 참조 간판 이미지를 비교하여 일치하는 간판이 존재하는 최적의 제1후보 SVI를 제1후보 SVI들에서 선택한다(S1324).
GPS 위치 보정 서버는 선택된 최적의 제1후보 SVI를 중심으로 반경 n미터 이내에 있는 후보 위치들 별로 간판의 방향을 추정하고, 추정된 간판의 방향과 동일한 방향의 SVI들을 제2후보 SVI들로서 수집한다(S1326).
GPS 위치 보정 서버는 도 7을 참조하여 설명한 것처럼, 수집된 제1 및 제2후보 SVI들의 위치마다 방향이 서로 다른 다수의 최종 후보 SVI들을 획득한다(S1328). GPS 위치 보정 서버는 S1328단계에서 획득한 최종 후보 SVI들을 간판 검색에 사용할 후보 SVI들로 정한다.
만약, S1324단계에서 최적의 제1후보 SVI가 선택되지 않으면, S1326단계는 수행되지 못 하며, S1328단계에서는 제1후보 SVI들의 위치마다 방향이 서로 다른 다수의 최종 후보 SVI들을 획득하고 이를 실제 S1140단계의 간판 검색에서 사용할 후보 SVI들로 정한다.
도 14는 도 11의 S1140단계를 보다 자세히 설명하기 위한 흐름도이다.
도 14를 참조하면, GPS 위치 보정 서버는, 추출한 참조 간판 이미지와 S1130단계에서 수집한 후보 SVI들을 비교하여 간판의 일치도가 가장 큰 후보 SVI를 제1SVI로서 선택한다(S1410).
그리고, GPS 위치 보정 서버는, 선택된 제1SVI에서 추출되는 간판 이미지와 수집한 후보 SVI들을 비교하여 간판의 일치도가 가장 큰 후보 SVI를 제2SVI로서 선택한다(S1420).
S1410단계에 대해 자세히 설명하면, GPS 위치 보정 서버는, 도 8을 참조하여 설명한 것처럼, SURF 알고리즘을 이용하여 참조 간판 이미지와 후보 SVI들 각각에서 특징점들을 검색한다(S1412).
GPS 위치 보정 서버는, 검색된 특징점들에 대한 기술자(Descriptors)들을 생성한다(S1414).
그리고, GPS 위치 보정 서버는, Brute-Force Matcher를 이용하여 참조 간판 이미지와 후보 SVI들의 기술자들 간에 매칭 관계를 정의한다(S1416).
GPS 위치 보정 서버는, 정의된 매칭관계 중 최적의 매칭 관계를 갖는 후보 SVI를 제1SVI로서 선택한다(S1418).
S1420단계에서, GPS 위치 보정 서버는, 제1SVI와 나머지 후보 SVI들에 대해 상술한 S1412단계 ~ S1418단계를 적용하여 제2SVI를 선택한다.
S1150단계에 대해 설명하면, GPS 위치 보정 서버는, 도 9를 참조하여 설명한 것처럼, S1410단계에서 선택된 제1SVI의 위치부터 간판의 위치까지의 거리(LL)와, 북쪽 방향으로부터 거리(LL)의 방위각(β)을 산출한다. 그리고, GPS 위치 보정 서버는, 제1SVI의 위도 및 경도와, 산출된 거리(LL)와 방위각(β)을 [수학식 1] 및 [수학식 2]에 적용하여 간판의 지도상 위치를 산출한다.
한편, S1160단계에 대해 설명하면, GPS 위치 보정 서버는, 도 10을 참조하여 설명한 것처럼, 간판의 위치(T)로부터 제1SVI까지의 거리(TS)를 이용하여, 간판의 위치(T)로부터 모바일 단말기까지의 거리(TU)와, 북쪽 방향으로부터 거리(TU)의 방위각(β)를 산출한다. 그리고, GPS 위치 보정 서버는, 산출된 거리(TU)와 방위각(β)를 이용하여 모바일 단말기의 위치를 산출한다.
한편 본 발명에 따른 GPS 위치 보정 장치의 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음은 통상의 기술자가 쉽게 이해할 수 있다.
따라서, 본 발명은 GPS 위치 보정 방법을 구현하기 위하여 상기 GPS 위치 보정 장치를 제어하는 컴퓨터 상에서 수행되는 컴퓨터 판독 가능한 기록매체에 저장된 프로그램을 함께 제공한다.
100: 모바일 단말기 200: GPS 위치 보정 서버
210: 통신부 220: 간판 이미지 추출부
230: 후보 SVI 수집부 240: 간판 검색부
250: 간판 위치 추정부 260: 모바일 위치 추정부
270: 제어부

Claims (19)

  1. (A) 모바일 단말기로부터 수신된 쿼리 이미지에서 간판이 존재하는 부분을 참조 간판 이미지로서 추출하는 단계;
    (B) 상기 모바일 단말기로부터 수신된 모바일 GPS 위치정보와 모바일 방향정보를 기초로 스트리트 뷰 서비스를 이용하여 최종 후보 스트리트 뷰 이미지들을 수집하는 단계;
    (C) 상기 수집된 최종 후보 스트리트 뷰 이미지들 중 상기 (A) 단계에서 추출한 참조 간판 이미지와 일치하는 간판이 존재하면서 위치와 방향이 서로 다른 제1 및 제2스트리트 뷰 이미지를 선택하는 단계;
    (D) 상기 선택된 제1 및 제2스트리트 뷰 이미지에 대한 위치정보와 방향정보를 기초로 상기 (A) 단계에서 추출된 참조 간판 이미지에 존재하는 간판의 지도상 위치를 추정하는 단계; 및
    (E) 상기 제1스트리트 뷰 이미지에 대한 정보와 상기 (D) 단계에서 추정된 간판의 지도상 위치를 이용하여 상기 모바일 단말기의 위치를 추정하는 단계;를 포함하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법.
  2. 제1항에 있어서,
    상기 (A) 단계는,
    (A1) 상기 쿼리 이미지에서 밝은 색상의 바탕에 어두운 색상의 문자들과 어두운 색상의 바탕에 밝은 색상의 문자들을 탐지하는 단계;
    (A2) 상기 탐지된 문자들 사이의 거리에 기초하여 근접성을 검사하여 근접한 문자들끼리 분류하는 단계; 및
    (A3) 상기 분류된 문자들을 각각의 그룹으로 정하고, 상기 각 그룹에 해당하는 영역의 이미지를 상기 참조 간판 이미지로서 추출하는 단계;를 포함하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법.
  3. 제1항에 있어서,
    상기 (B) 단계는,
    (B1) 상기 스트리트 뷰 서비스에서 제공하는 로드 맵 API와 상기 수신된 모바일 GPS 위치정보를 이용하여 상기 최종 후보 스트리트 뷰 이미지들을 포함한 임시 후보 스트리트 뷰 이미지들이 촬영된 것으로 예측되는 위치정보들(이하, '후보 위치들'이라 함)을 획득하는 단계; 및
    (B2) 상기 추출된 참조 간판 이미지, 상기 수신된 모바일 방향정보 및 상기 획득된 후보 위치들을 이용하여, 상기 추출된 참조 간판 이미지와 일치하는 간판이 존재하면서 위치와 방향이 다른 상기 최종 후보 스트리트 뷰 이미지들을 수집하는 단계;를 포함하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법.
  4. 제3항에 있어서,
    상기 (B1) 단계는,
    (B11) 상기 스트리트 뷰 서비스에서 제공하는 로드 맵 API를 통해 상기 수신된 모바일 GPS 위치정보에 대한 스트리트 뷰 레이어가 추가된 로드맵을 요청하는 단계;
    (B12) 상기 로드맵에서 스트리트 뷰 레이어를 추출하는 단계;
    (B13) 상기 추출된 스트리트 뷰 레이어의 뼈대 이미지를 추출하는 단계; 및
    (B14) 상기 추출된 뼈대 이미지의 각 픽셀 위치를 위도와 경도값으로 변환하여 상기 임시 후보 스트리트 뷰 이미지들이 촬영된 후보 위치들을 획득하는 단계;를 포함하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법.
  5. 제4항에 있어서,
    상기 (B2) 단계는,
    (B21) 상기 (B1) 단계에서 획득한 후보 위치들 중 상기 수신된 모바일 GPS 위치정보를 중심으로 반경 m미터 이내에 있으며, 상기 모바일 방향정보와 같은 방향을 갖는 제1후보 스트리트 뷰 이미지들을 상기 로드 맵 API를 통해 수집하는 단계;
    (B22) 상기 각 후보 위치들마다, 상기 수집된 제1후보 스트리트 뷰 이미지들과 상기 추출된 참조 간판 이미지를 비교하여 일치하는 간판이 존재하는 최적의 제1후보 스트리트 뷰 이미지를 선택하는 단계;
    (B23) 상기 선택된 최적의 제1후보 스트리트 뷰 이미지를 중심으로 반경 n미터 이내에 있는 후보 위치들 별로 간판의 방향을 추정하는 단계;
    (B24) 상기 추정된 간판의 방향과 동일한 방향의 스트리트 뷰 이미지들를 제2후보 스트리트 뷰 이미지들로서 수집하는 단계; 및
    (B25) 상기 수집된 제1 및 제2후보 스트리트 뷰 이미지들의 위치마다 방향이 서로 다른 최종 후보 스트리트 뷰 이미지들을 획득하는 단계;를 더 포함하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법.
  6. 제1항에 있어서,
    상기 (C) 단계는,
    (C1) 상기 추출한 참조 간판 이미지와 상기 수집한 최종 후보 스트리트 뷰 이미지들을 비교하여 간판의 일치도가 가장 큰 최종 후보 스트리트 뷰 이미지를 상기 제1스트리트 뷰 이미지로서 선택하는 단계; 및
    (C2) 상기 선택된 제1스트리트 뷰 이미지에서 추출되는 간판 이미지와 상기 수집한 최종 후보 스트리트 뷰 이미지들을 비교하여 간판의 일치도가 가장 큰 최종 후보 스트리트 뷰 이미지를 상기 제2스트리트 뷰 이미지로서 선택하는 단계;를 포함하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법.
  7. 제6항에 있어서,
    상기 (C1) 단계는,
    (C11) SURF(Speed Up Robust Features) 알고리즘을 이용하여 상기 참조 간판 이미지와 상기 최종 후보 스트리트 뷰 이미지들 각각에서 특징점들을 검색하는 단계;
    (C12) 상기 검색된 특징점들에 대한 기술자(Descriptors)들을 생성하는 단계;
    (C13) Brute-Force Matcher를 이용하여 상기 참조 간판 이미지와 상기 최종 후보 스트리트 뷰 이미지들의 기술자들 간에 매칭 관계를 정의하는 단계; 및
    (C14) 상기 정의된 매칭관계 중 최적의 매칭 관계를 갖는 최종 후보 스트리트 뷰 이미지를 상기 제1스트리트 뷰 이미지로서 선택하는 단계;를 포함하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법.
  8. 제1항에 있어서,
    상기 (D) 단계는,
    (D1) 상기 제1스트리트 뷰 이미지의 위치부터 상기 간판의 위치까지의 거리(LL)와, 북쪽 방향으로부터 상기 거리(LL)의 방위각(β)을 산출하는 단계; 및
    (D2) 상기 제1스트리트 뷰 이미지의 위도 및 경도와, 상기 (D1)에서 산출된 거리(LL)와 방위각(β)을 이용하여 상기 간판의 지도상 위치를 산출하는 단계;를 포함하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법.
  9. 제8항에 있어서,
    상기 (D2) 단계는,
    다음의 식을 이용하여 상기 간판의 지도상 위치를 추정하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법:
    Figure 112016111858016-pat00017

    여기서, Llat는 상기 제1스트리트 뷰 이미지의 위도, Llon은 상기 제1스트리트 뷰 이미지의 경도, LL은 상기 제1스트리트 뷰 이미지의 위치와 상기 간판의 위치까지의 거리, rearth는 지구의 반지름, β는 북쪽 방향으로부터 상기 LL의 방위각, Tlat는 상기 간판의 위도, Tlon은 상기 간판의 경도.
  10. 제1항에 있어서,
    상기 (E) 단계는,
    (E1) 상기 간판의 위치로부터 상기 제1스트리트 뷰 이미지까지의 거리(TS)를 이용하여 상기 간판의 위치로부터 상기 모바일 단말기까지의 거리(TU)와, 북쪽 방향으로부터 상기 거리(TU)의 방위각(β)를 산출하는 단계; 및
    (E2) 상기 산출된 거리(TU)와 방위각(β)를 이용하여 상기 모바일 단말기의 위치를 산출하는 단계;를 포함하며,
    상기 모바일 단말기는 상기 산출된 모바일 단말기의 위치로 상기 모바일 단말기에서 측정된 모바일 GPS 위치정보를 보정하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 방법.
  11. 모바일 단말기로부터 수신된 쿼리 이미지에서 간판이 존재하는 부분을 참조 간판 이미지로서 추출하는 간판 이미지 추출부;
    상기 모바일 단말기로부터 수신된 모바일 GPS 위치정보와 모바일 방향정보를 기초로 스트리트 뷰 서비스를 이용하여 최종 후보 스트리트 뷰 이미지들을 수집하는 후보 스트리트 뷰 이미지 수집부;
    상기 수집된 최종 후보 스트리트 뷰 이미지들 중 상기 참조 간판 이미지와 일치하는 간판이 존재하면서 위치와 방향이 서로 다른 제1 및 제2스트리트 뷰 이미지를 선택하는 간판 검색부;
    상기 선택된 제1 및 제2스트리트 뷰 이미지에 대한 위치정보와 방향정보를 기초로 상기 참조 간판 이미지에 존재하는 간판의 지도상 위치를 추정하는 간판 위치 추정부; 및
    상기 제1스트리트 뷰 이미지에 대한 정보와 상기 추정된 간판의 지도상 위치를 이용하여 상기 모바일 단말기의 위치를 추정하는 모바일 위치 추정부;를 포함하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 서버.
  12. 제11항에 있어서,
    상기 간판 이미지 추출부는,
    상기 쿼리 이미지에서 밝은 색상의 바탕에 어두운 색상의 문자들과 어두운 색상의 바탕에 밝은 색상의 문자들을 탐지하고, 상기 탐지된 문자들 사이의 거리에 기초하여 근접성을 검사하여 근접한 문자들끼리 분류한 후,
    상기 분류된 문자들을 각각의 그룹으로 정하고, 상기 각 그룹에 해당하는 영역의 이미지를 상기 참조 간판 이미지로서 추출하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 서버.
  13. 제11항에 있어서,
    상기 후보 스트리트 뷰 이미지 수집부는,
    상기 스트리트 뷰 서비스에서 제공하는 로드 맵 API와 상기 수신된 모바일 GPS 위치정보를 이용하여 상기 최종 후보 스트리트 뷰 이미지들을 포함한 임시 후보 스트리트 뷰 이미들이 촬영된 것으로 예측되는 위치정보들(이하, '후보 위치들'이라 함)을 획득하는 후보 위치 획득부; 및
    상기 추출된 참조 간판 이미지, 상기 수신된 모바일 방향정보 및 상기 획득된 후보 위치들을 이용하여, 상기 추출된 참조 간판 이미지와 일치하는 간판이 존재하면서 위치와 방향이 다른 상기 최종 후보 스트리트 뷰 이미지들을 획득하는 후보 스트리트 뷰 이미지 획득부;를 포함하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 서버.
  14. 제13항에 있어서,
    상기 후보 위치 획득부는,
    상기 스트리트 뷰 서비스에서 제공하는 로드 맵 API를 통해 상기 수신된 모바일 GPS 위치정보에 대한 스트리트 뷰 레이어가 추가된 로드맵을 요청하고, 상기 로드맵에서 스트리트 뷰 레이어를 추출하며,
    상기 추출된 스트리트 뷰 레이어의 뼈대 이미지를 추출한 후, 상기 추출된 뼈대 이미지의 각 픽셀 위치를 위도와 경도값으로 변환하여 상기 임시 후보 스트리트 뷰 이미지들이 촬영된 후보 위치들을 획득하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 서버.
  15. 제13항에 있어서,
    상기 후보 스트리트 뷰 이미지 획득부는,
    상기 획득한 후보 위치들 중 상기 모바일 방향정보와 같은 방향을 갖는 제1후보 스트리트 뷰 이미지들을 상기 로드 맵 API를 통해 수집하고, 상기 각 후보 위치들마다, 상기 수집된 제1후보 스트리트 뷰 이미지들과 상기 추출된 참조 간판 이미지를 비교하여 일치하는 간판이 존재하는 최적의 제1후보 스트리트 뷰 이미지를 선택하고,
    상기 최적의 제1후보 스트리트 뷰 이미지를 중심으로 반경 n미터 이내에 있는 후보 위치들 별로 간판의 방향을 추정하고, 상기 추정된 간판의 방향과 동일한 방향의 스트리트 뷰 이미지를 제2후보 스트리트 뷰 이미지로서 선택하며,
    상기 수집된 제1 및 제2후보 스트리트 뷰 이미지들의 위치마다 방향이 서로 다른 다수의 상기 최종 후보 스트리트 뷰 이미지들을 획득하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 서버.
  16. 제11항에 있어서,
    상기 간판 검색부는,
    상기 참조 간판 이미지와 상기 수집한 최종 후보 스트리트 뷰 이미지들을 비교하여 간판의 일치도가 가장 큰 최종 후보 스트리트 뷰 이미지를 상기 제1스트리트 뷰 이미지로서 선택하는 제1스트리트 뷰 이미지 선택부; 및
    상기 선택된 제1스트리트 뷰 이미지에서 추출되는 간판 이미지와 상기 수집한 최종 후보 스트리트 뷰 이미지들을 비교하여 간판의 일치도가 가장 큰 최종 후보 스트리트 뷰 이미지를 상기 제2스트리트 뷰 이미지로서 선택하는 제2스트리트 뷰 이미지 선택부;를 포함하는 것을 특징으로 하는도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 서버.
  17. 제16항에 있어서,
    상기 제1스트리트 뷰 이미지 선택부는,
    상기 참조 간판 이미지와 상기 최종 후보 스트리트 뷰 이미지들 각각에서 특징점들을 검색하고, 상기 검색된 특징점들에 대한 기술자들을 생성한 후, 상기 참조 간판 이미지와 상기 최종 후보 스트리트 뷰 이미지들의 기술자들 간에 매칭 관계를 정의하고,
    상기 정의된 매칭관계 중 최적의 매칭 관계를 갖는 최종 후보 스트리트 뷰 이미지를 상기 제1스트리트 뷰 이미지로서 선택하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 서버.
  18. 제11항에 있어서,
    상기 간판 위치 추정부는,
    상기 제1스트리트 뷰 이미지의 위치부터 상기 간판의 위치까지의 거리와, 북쪽 방향으로부터 상기 거리의 방위각 산출하고,
    상기 제1스트리트 뷰 이미지의 위도 및 경도와, 상기 산출된 거리와 방위각을 이용하여 상기 간판의 지도상 위치를 산출하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 서버.
  19. 제11항에 있어서,
    상기 모바일 위치 추정부는,
    상기 간판의 위치로부터 상기 제1스트리트 뷰 이미지까지의 거리를 이용하여 상기 간판의 위치와 상기 모바일 단말기 간의 거리와, 북쪽 방향으로부터 상기 간판의 위치와 상기 모바일 단말기 간의 거리의 방위각을 산출하고, 상기 산출된 거리와 방위각을 이용하여 상기 모바일 단말기의 위치를 산출하며,
    상기 모바일 단말기는 상기 산출된 모바일 단말기의 위치로 상기 모바일 단말기에서 측정된 모바일 GPS 위치정보를 보정하는 것을 특징으로 하는 도심 환경에서 스트리트 뷰 서비스를 이용한 GPS 위치 보정 서버.
KR1020160152624A 2016-11-16 2016-11-16 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버 KR101868125B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160152624A KR101868125B1 (ko) 2016-11-16 2016-11-16 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160152624A KR101868125B1 (ko) 2016-11-16 2016-11-16 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버

Publications (2)

Publication Number Publication Date
KR20180055158A KR20180055158A (ko) 2018-05-25
KR101868125B1 true KR101868125B1 (ko) 2018-06-18

Family

ID=62299686

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160152624A KR101868125B1 (ko) 2016-11-16 2016-11-16 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버

Country Status (1)

Country Link
KR (1) KR101868125B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220007131A1 (en) * 2020-07-01 2022-01-06 Here Global B.V. Radio-Visual Approach for Device Localization based on a Vehicle Location

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11412350B2 (en) * 2019-09-19 2022-08-09 Apple Inc. Mobile device navigation system
US11570576B2 (en) 2020-07-01 2023-01-31 Here Global B.V. Image-based approach for device localization based on a vehicle location
CN112000901B (zh) * 2020-08-26 2023-01-13 北京百度网讯科技有限公司 一种提取地理位置点空间关系的方法和装置
KR102555668B1 (ko) * 2021-04-27 2023-07-17 네이버랩스 주식회사 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법
KR20240012135A (ko) 2022-07-20 2024-01-29 주식회사 노아닉스 의료보조기구의 표면개질을 위한 플라즈마 장치
KR20240053224A (ko) * 2022-10-17 2024-04-24 네이버랩스 주식회사 건물 형상 정보를 이용하여 3d 지도를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100127585A (ko) * 2009-05-26 2010-12-06 삼성전자주식회사 휴대용 단말기에서 위치 정보를 확인하기 위한 장치 및 방법
KR20130137065A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법
KR20140060778A (ko) * 2012-11-12 2014-05-21 재단법인대구경북과학기술원 이동체 위치 측정 장치 및 방법
KR101573289B1 (ko) * 2008-11-27 2015-12-01 삼성전자주식회사 위치 측정 방법 및 이를 이용한 휴대 단말기
KR101589925B1 (ko) * 2015-10-15 2016-01-29 (주)대지이엔지 영상도화용 지형이미지의 기준점 확인 처리가 가능한 공간영상도화시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101579970B1 (ko) 2014-02-14 2015-12-23 주식회사 카카오 사진에 촬영된 지점의 위치를 계산하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101573289B1 (ko) * 2008-11-27 2015-12-01 삼성전자주식회사 위치 측정 방법 및 이를 이용한 휴대 단말기
KR20100127585A (ko) * 2009-05-26 2010-12-06 삼성전자주식회사 휴대용 단말기에서 위치 정보를 확인하기 위한 장치 및 방법
KR20130137065A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법
KR20140060778A (ko) * 2012-11-12 2014-05-21 재단법인대구경북과학기술원 이동체 위치 측정 장치 및 방법
KR101589925B1 (ko) * 2015-10-15 2016-01-29 (주)대지이엔지 영상도화용 지형이미지의 기준점 확인 처리가 가능한 공간영상도화시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220007131A1 (en) * 2020-07-01 2022-01-06 Here Global B.V. Radio-Visual Approach for Device Localization based on a Vehicle Location
US11510026B2 (en) * 2020-07-01 2022-11-22 Here Global B.V. Radio-visual approach for device localization based on a vehicle location

Also Published As

Publication number Publication date
KR20180055158A (ko) 2018-05-25

Similar Documents

Publication Publication Date Title
KR101868125B1 (ko) 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버
CN105371847B (zh) 一种室内实景导航方法及系统
CN106793086B (zh) 一种室内定位方法
US10750470B2 (en) Systems and methods for determining if a receiver is inside or outside a building or area
US9080882B2 (en) Visual OCR for positioning
CN103913174B (zh) 一种导航信息的生成方法和系统及移动客户端和服务器端
CN101479741B (zh) 基于照片位置对图像区域分类
CN103162682B (zh) 基于混合现实的室内路径导航方法
CN104281840B (zh) 一种基于智能终端定位识别建筑物的方法及装置
CN104748738A (zh) 室内定位导航方法和系统
US20100125409A1 (en) User generated pedestrian and indoor shortcut routes for navigation systems
WO2018107996A1 (zh) 路线规划方法及装置、计算机存储介质及终端
CN105246039A (zh) 一种基于图像处理的室内定位方法及系统
US10846933B2 (en) Geophysical sensor positioning system
CN104657389A (zh) 定位方法、系统及移动终端
CN109974733A (zh) 用于ar导航的poi显示方法、装置、终端和介质
CN107193820B (zh) 位置信息获取方法、装置及设备
Meek et al. Mobile capture of remote points of interest using line of sight modelling
CN112422653A (zh) 基于位置服务的场景信息推送方法、系统、存储介质及设备
Liu et al. Eyeloc: Smartphone vision-enabled plug-n-play indoor localization in large shopping malls
KR100981588B1 (ko) 특징점 픽셀의 크기와 방향 정보를 이용하는 벡터 변환에 기초한 도시공간 지리정보 생성 시스템
CN107063239B (zh) 基于手机内置加速度计的室内移动目标定位方法
US20220198178A1 (en) Method and apparatus for identifying the floor of a building
KR100687740B1 (ko) 위치 탐지 장치 및 그 방법
EP3014296A1 (en) Systems and methods for detection of magnetic and motion-based landmarks

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right