KR101928944B1 - 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법 - Google Patents

이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법 Download PDF

Info

Publication number
KR101928944B1
KR101928944B1 KR1020120060680A KR20120060680A KR101928944B1 KR 101928944 B1 KR101928944 B1 KR 101928944B1 KR 1020120060680 A KR1020120060680 A KR 1020120060680A KR 20120060680 A KR20120060680 A KR 20120060680A KR 101928944 B1 KR101928944 B1 KR 101928944B1
Authority
KR
South Korea
Prior art keywords
image
matching
wireless terminal
query
query image
Prior art date
Application number
KR1020120060680A
Other languages
English (en)
Other versions
KR20130137065A (ko
Inventor
손태환
조규성
이준호
정진회
백성환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120060680A priority Critical patent/KR101928944B1/ko
Priority to US13/908,461 priority patent/US10049124B2/en
Priority to EP13170708.5A priority patent/EP2672400A1/en
Priority to CN201310223830.6A priority patent/CN103473257B/zh
Publication of KR20130137065A publication Critical patent/KR20130137065A/ko
Application granted granted Critical
Publication of KR101928944B1 publication Critical patent/KR101928944B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 무선단말의 위치 측정 장치는 지역별로 구분된 이미지가 기저장된 이미지 매칭(matching) 데이터베이스와; 무선단말의 카메라 모듈로부터 촬영된 쿼리(query) 이미지와 촬영당시의 지역 정보가 포함된 이미지 매칭 데이터를 전달받고, 상기 이미지 매칭 데이터에 대응하는 매칭 이미지를 상기 이미지 매칭 데이터베이스에서 검색하여, 상기 쿼리 이미지와 상기 매칭 이미지를 매칭하고, 매칭이 이루어진 매칭 이미지에 대응하는 위치 정보를 무선단말에 전달하는 매칭부;를 포함한다.

Description

이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법{IMAGE-BASED LOCALIZATION METHOD FOR WIRELESS TERMINAL AND APPARATUS THEREFOR}
본 발명은 위치 측정 장치 및 방법에 관한 기술로서, 특히 이미지를 기반으로 하여 무선단말의 위치를 측정하는 장치 및 방법에 관한 기술이다.
무선단말에는 최근 위치를 기반으로 하는 다양한 서비스가 제공되고 있는 실정이다. 즉 무선단말이 위치한 장소를 기준으로 지도를 보여주거나 네비게이션 기능을 제공하거나 위치를 추적하는 등의 서비스가 제공되고 있다.
이 때 무선단말의 위치를 측정하기 위하여 GPS 모듈이 무선단말에 내재되어 위치를 측정하고 있으나 그 정확도가 높지 않은 편이다. 따라서 정확도가 높은 위치 측정 방법이 요구되고 있는 실정이다.
본 발명은 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법에 있어서 위치 측정의 정확도를 향상시키고자 한다.
또한 본 발명은 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법에 있어서 위치 측정의 정확도를 높이기 위하여 이미지 매칭 데이터베이스를 제공하고자 한다.
또한 본 발명은 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법에 있어서 위치 측정의 정확도를 높이기 위하여 업데이트가 가능한 기술을 제공하고자 한다.
또한 본 발명은 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법에 있어서 위치 측정의 정확도를 높여 이를 증강현실 서비스 제공하고자 한다.
본 발명의 일 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 장치는 지역별로 구분된 이미지가 기저장된 이미지 매칭(matching) 데이터베이스, 무선단말의 카메라 모듈에 의해 촬영된 쿼리(query) 이미지와 촬영 당시의 지역 정보가 포함된 이미지 매칭 데이터를 상기 무선단말로부터 수신하고, 상기 이미지 매칭 데이터에 대응하는 매칭 이미지를 상기 이미지 매칭 데이터베이스에서 검색하고, 상기 쿼리 이미지로부터 적어도 하나의 제1 특징점을 추출하고, 상기 매칭 이미지로부터 적어도 하나의 제2 특징점을 추출하고, 상기 제1 특징점 및 상기 제2 특징점 간의 길이의 차이 및 각도의 차이 중 적어도 하나를 기반으로 상기 쿼리 이미지 및 상기 매칭 이미지의 매칭 여부를 결정하고, 상기 쿼리 이미지와 상기 매칭 이미지가 매칭되면, 상기 매칭 이미지에 대응하는 위치 정보를 상기 무선단말에 전달하는 매칭부 및 상기 쿼리 이미지와 상기 매칭 이미지가 매칭되고, 상기 쿼리 이미지의 매칭의 성공률이 소정의 임계치보다 큰 경우, 상기 쿼리 이미지를 이용하여 상기 이미지 매칭 데이터베이스를 업데이트하는 업데이트부를 포함하며, 상기 위치 정보는 상기 무선단말의 위치를 식별하기 위한 정보로서, 포지션 정보 및 방향(orientation) 정보를 포함한다.
본 발명의 일 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 방법은 무선단말의 카메라 모듈에 의해 촬영된 쿼리(query) 이미지 및 촬영 당시의 지역 정보가 포함된 이미지 매칭(matching) 데이터를 상기 무선단말로부터 수신하는 단계, 상기 이미지 매칭 데이터에 대응하는 매칭 이미지를 이미지 매칭 데이터베이스에서 검색하는 단계, 상기 쿼리 이미지로부터 적어도 하나의 제1 특징점을 추출 및 상기 매칭 이미지로부터 적어도 하나의 제2 특징점을 추출하는 단계, 상기 제1 특징점 및 상기 제2 특징 간의 길이의 차이 및 각도의 차이 중 적어도 하나를 기반으로 상기 쿼리 이미지 및 상기 매칭 이미지의 매칭 여부를 결정하는 단계, 상기 쿼리 이미지와 상기 매칭 이미지가 매칭되면, 매칭이 이루어진 상기 매칭 이미지에 대응하는 위치 정보를 상기 무선단말에 전달하는 단계 및 상기 쿼리 이미지와 상기 매칭 이미지가 매칭되고, 상기 쿼리 이미지의 매칭의 성공률이 소정의 임계치보다 큰 경우, 상기 쿼리 이미지를 이용하여 상기 이미지 매칭 데이터베이스를 업데이트하는 단계를 포함하며, 상기 위치 정보는 상기 무선단말의 위치를 식별하기 위한 정보로서, 포지션 정보 및 방향(orientation) 정보를 포함한다.
또한, 상기 이미지 매칭 데이터베이스는 지역별로 구분된 이미지가 시간별로 구분되어 기저장된 것을 특징으로 한다.
또한, 상기 이미지 매칭 데이터베이스는 지역별로 구분된 이미지가 날씨별로 구분되어 기저장된 것을 특징으로 한다.
또한, 상기 지역 정보는 GPS 데이터와 방향 데이터 중 적어도 하나를 포함하는 것을 특징으로 한다.
또한, 상기 이미지 매칭 데이터는 촬영당시의 시간 정보를 더 포함하는 것을 특징으로 한다.
또한, 상기 이미지 매칭 데이터는 촬영당시의 날씨 정보를 더 포함하는 것을 특징으로 한다.
또한, 상기 포지션 정보는 3차원 맵을 구현하기 위한, 위도, 경도 및 높이를 포함하는 것을 특징으로 한다.
또한, 상기 업데이트 단계는 매칭이 이루어진 상기 쿼리 이미지의 매칭의 성공률이 상기 미리 정해진 임계치보다 큰 경우 상기 매칭이 이루어진 쿼리 이미지를 상기 이미지 매칭 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 업데이트 단계는 매칭이 이루어진 상기 쿼리 이미지의 매칭의 성공률이 상기 미리 정해진 임계치보다 큰 경우 상기 매칭 이미지를 상기 쿼리 이미지로 교체하여 상기 이미지 매칭 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 업데이트 단계는 복수의 매칭을 통하여, 매칭이 이루어진 각각의 쿼리 이미지의 매칭의 성공률이 상기 미리 정해진 임계치보다 큰 경우에, 상기 각각의 쿼리 이미지 중에서 사용자로부터 선택된 하나의 쿼리 이미지를 상기 이미지 매칭 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 위치 정보는 위치 기반 스트리트뷰(street-view) 서비스 제공에 사용되거나, 위치 기반 증강현실(AR, augmented-reality) 서비스 제공에 사용되는 것을 특징으로 한다.
본 발명은 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법에 있어서 위치 측정의 정확도를 향상되는 이점이 있다.
또한 본 발명은 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법에 있어서 위치 측정의 정확도를 높이기 위하여 이미지 매칭 데이터베이스를 제공하는 이점이 있다..
또한 본 발명은 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법에 있어서 위치 측정의 정확도를 높이기 위하여 업데이트가 가능한 기술을 제공하는 이점이 있다.
또한 본 발명은 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법에 있어서 위치 측정의 정확도를 높여 이를 증강현실 서비스 제공하는 이점이 있다.
도 1은 무선단말을 나타내는 개략적인 블록도이다.
도 2는 본 발명의 일 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 장치에 대한 블럭도이다.
도 3은 본 발명의 일 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 방법에 대한 흐름도이다.
도 4는 매칭부가 상기 쿼리 이미지와 상기 매칭 이미지를 매칭하는 과정을 나타내는 도면이다.
도 5는 본 발명의 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법을 이용하여 쿼리 이미지와 매칭 이미지를 매칭하는 과정을 나타내는 도면이다.
도 6은 본 발명의 또 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법을 이용하여 쿼리 이미지와 매칭 이미지를 매칭하는 과정을 나타내는 도면이다.
도 7은 지역별, 시간별, 날씨별로 구분된 이미지가 기저장된 이미지 매칭 데이터베이스의 데이터 구조를 나타내는 도면이다.
도 8은 본 발명의 또 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 방법에 대한 흐름도이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
도 1은 무선단말을 나타내는 개략적인 블록도이다.
도 1을 참조하면, 무선단말(100)은 이동통신 모듈(120), 서브통신 모듈(130) 및 커넥터(165)를 이용하여 외부장치(도시되지 아니함)와 연결될 수 있다. “외부장치”는 다른 장치(도시되지 아니함), 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC(도시되지 아니함) 및 서버(도시되지 아니함)를 포함한다.
도 1을 참조하면, 무선단말(100)은 터치스크린(190) 및 터치스크린 컨트롤러(195)를 포함한다. 또한, 무선단말(100)은 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원공급부(180)를 포함한다. 서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함하고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함한다.
제어부(110)는 CPU(111), 무선단말(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 무선단말(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 무선단말(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다.
제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원공급부(180), 터치스크린(190) 및 터치스크린 컨트롤러(195)를 제어할 수 있다.
이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 무선단말(100)가 외부 장치와 연결되도록 한다. 이동통신 모듈(120)은 무선단말(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.
서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수 있다.
무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 무선단말(100)과 화상형성장치(도시되지 아니함) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association) 등이 포함될 수 있다.
무선단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 또는 동영상재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오재생 모듈(142)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 디지털 오디오 파일을 재생할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오재생 모듈(142)과 동영상재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오재생 모듈(142) 또는 동영상재생 모듈(143)은 제어부(100)에 포함될 수 있다.
카메라 모듈(150)은 제어부(110)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 제1 카메라(151) 또는 제2 카메라(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))을 포함할 수 있다. 제1 카메라(151)는 상기 무선단말(100) 전면에 배치되고, 제2 카메라(152)는 상기 무선단말(100)의 후면에 배치될 수 있다. 달리 취한 방식으로, 제1 카메라(151)와 제2 카메라(152)는 인접(예, 제1 카메라(151)와 제2 카메라(152)의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다.
GPS 모듈(155)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 무선단말(100)까지 전파도달시간(Time of Arrival)을 이용하여 무선단말(100)의 위치를 산출할 수 있다. 상기 GPS 모듈(155)로부터 산출되는 무선단말(100)의 위치는 위도, 경도, 높이, 3차원 방향(orientation) 중 적어도 하나로 표현될 수 있다.
입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함할 수 있다.
버튼(161)은 상기 무선단말(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼(161) 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.
스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 무선단말(100) 외부로 출력할 수 있다. 스피커(163)는 무선단말(100)가 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 무선단말(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 무선단말(100)는 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 상기 무선단말(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치스크린(190) 상을 터치하는 사용자의 터치 동작 및 터치스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터(165)는 무선단말(100)와 외부장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 무선단말(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)에서부터 데이터를 수신할 수 있다. 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원이 입력되거나 배터리(도시되지 아니함)를 충전할 수 있다.
키패드(166)는 무선단말(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 무선단말(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 무선단말(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 무선단말(100)의 성능 또는 구조에 따라 제외될 수 있다.
센서 모듈(170)은 무선단말(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 무선단말(100)에 대한 접근여부를 검출하는 근접센서, 무선단말(100) 주변의 빛의 양을 검출하는 조도센서(도시되지 아니함), 또는 무선단말(100)의 동작(예, 무선단말(100)의 회전, 무선단말(100)에 가해지는 가속도 또는 진동)을 검출하는 모션센서(도시되지 아니함)를 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서모듈(170)의 센서는 무선단말(100)의 성능에 따라 추가되거나 삭제될 수 있다.
저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 터치스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 무선단말(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.
“저장부”라는 용어는 저장부(175), 제어부(110)내 롬(112), 램(113) 또는 무선단말(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원공급부(180)는 제어부(110)의 제어에 따라 무선단말(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 무선단말(100)에 전원을 공급한다. 또한, 전원공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 무선단말(100)로 공급할 수 있다.
터치스크린(190)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공할 수 있다. 터치스크린(190)은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다. 터치스크린(190)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한, 터치스크린(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다.
본 발명에서 터치는 터치스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 한정되지 않고, 비접촉(예, 터치스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과 검출가능한 간격이 1 mm 이하)을 포함할 수 있다. 터치스크린(190)에서 검출가능한 간격은 무선단말(100)의 성능 또는 구조에 따라 변경될 수 있다.
터치스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
터치스크린 컨트롤러(195)는 터치스크린(190)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 터치스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치에 응답하여 터치스크린(190)에 표시된 단축 아이콘(도시되지 아니함)이 선택되게 하거나 또는 단축 아이콘(도시되지 아니함)을 실행할 수 있다. 또한, 터치스크린 컨트롤러(195)는 제어부(110)에 포함될 수도 있다.
도 2는 본 발명의 일 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 장치에 대한 블럭도이다.
도 2를 참조하면, 본 발명의 일 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 장치(200)는 이미지 매칭 데이터베이스(210)와 매칭부(220)를 포함할 수 있다.
도 3은 본 발명의 일 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 방법에 대한 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 방법은, 쿼리(query) 이미지 촬영하는 단계(302)와; 이미지 및 이미지 매칭 데이터를 전송하는 단계(304)와; 매칭 이미지 검색하는 단계(306)와; 쿼리이미지와 매칭이미지 간에 매칭이 이루어졌는지 결정하는 단계(308)와; 위치 정보 전달하는 단계(310)를 포함할 수 있다.
도 2와 도 3을 참조하여 본 발명의 일 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법을 이하에서 설명한다.
본 발명의 일 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 방법은, 먼저, 무선단말의 카메라 모듈(150)이 쿼리(query) 이미지를 촬영한다(302 단계). 본 발명에서 이미지를 기반으로 무선단말(100)의 위치를 측정하기 위해서는, 무선단말의 현재 위치에서 촬영된 이미지가 필요하다. 이때 촬영된 이미지를 쿼리(query) 이미지라고 한다. 이때 무선단말은 위치 측정이 적절하게 수행될 수 있는 쿼리 이미지를 사용자의 촬영으로부터 획득하는 것이 바람직하다. 예를들면 시내의 거리에서 유명한 건물이나 물체(타워, 시설물, 나무, 조각상 등)가 포함된 거리 풍경이 촬영된 이미지를 획득하는 것이 바람직하다.
다음 단계(304 단계)에서, 무선단말의 통신 모듈(120 내지 132)은 상기 쿼리 이미지 및 촬영당시의 지역 정보가 포함된 이미지 매칭(matching) 데이터를 매칭부로 전송한다. 무선단말의 통신 모듈(120 내지 132)은 하기에서 설명될 매칭 이미지 검색하는 단계(306)에서 검색을 위해 필요한 상기 쿼리 이미지 및 촬영당시의 지역 정보가 포함된 이미지 매칭 데이터를 상기 매칭부(220)로 전송한다. 여기서 상기 지역 정보는 GPS 데이터와 방향 데이터 중 적어도 하나를 포함할 수 있다. 상기 GPS 데이터와 방향 데이터는 무선단말(100)의 GPS 모듈(150)과 COMPASS 장치(미도시됨)를 통해 각각 획득할 수 있다. 상기 GPS 모듈(155)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 무선단말(100)까지 전파도달시간(Time of Arrival)을 이용하여 GPS 데이터를 산출할 수 있다. 상기 GPS 모듈(155)로부터 산출되는 무선단말(100)의 GPS 데이터는 위도, 경도, 높이와 같은 정보일 수 있다.
다음 단계(306 단계)에서, 매칭부(220)는 상기 이미지 매칭 데이터에 대응하는 매칭 이미지를 이미지 매칭 데이터베이스(210)에서 검색한다. 상기 이미지 매칭 데이터베이스(210)에는 지역별로 구분된 매칭 이미지가 기저장되어 있다. 즉, 상기 GPS 데이터와 방향 데이터 별로 구분된 매칭 이미지가 상기 이미지 매칭 데이터베이스(210)에 기저장되어 있다. 따라서 매칭부(220)는 무선단말(100)로부터 304 단계에서 전송받은 촬영당시의 지역 정보 즉 GPS 데이터와 방향 데이터에 대응되는 매칭 이미지를 상기 이미지 매칭 데이터베이스(210)에서 검색한다.
다음 단계(308 단계)에서, 매칭부(220)는 상기 쿼리 이미지와 상기 매칭 이미지를 매칭(matching)한다. 도 4는 매칭부(220)가 상기 쿼리 이미지와 상기 매칭 이미지를 매칭하는 과정을 나타내는 도면이다. 도 4를 참조하면, (a)는 쿼리 이미지(400)이고, (b)는 매칭 이미지(410)이다. 먼저, 매칭부(220)는 상기 쿼리 이미지(400)와 상기 매칭 이미지(410)에서 적어도 하나의 대응하는 특이점을 추출한다. 예를 들어 도 4의 (a)와 (b)와 같이 타워와 같은 구조물의 꼭지점(401,411), 건물의 꼭지점(402,412), 건물의 시작점(403,413)과 같은 점들을 상기 특이점으로 추출한다. 그리고 매칭부(220)는 상기 적어도 하나의 대응하는 특이점들(401과 411, 402과 412, 403과 413)간의 길이의 차이나 각도의 차이를 측정하여 계산된 유사도가 미리 정해진 임계치보다 큰 경우에는, 상기 쿼리 이미지(400)와 상기 매칭 이미지(410)가 매칭이 이루어진 것으로 판별한다. 예를 들어 도 4와 같이 특이점 401과 특이점 411 간의 길이의 차이나 각도의 차이를 측정하여 계산된 유사도가 미리 정해진 임계치보다 큰 경우에는, 상기 쿼리 이미지(400)와 상기 매칭 이미지(410)가 매칭이 이루어진 것으로 판별할 수 있다. 그런데, 만약 상기 쿼리 이미지(400)와 상기 매칭 이미지(410)가 매칭이 이루어지지 않은 경우에는 다시 302 단계로 돌아가 쿼리 이미지를 재촬영한다.
다음 단계(310 단계)에서, 매칭부(220)는 매칭이 이루어진 매칭 이미지에 대응하는 위치 정보를 무선단말에 전달한다. 308 단계에서, 쿼리 이미지가 매칭 이미지와 매칭이 이뤄이진 경우에는, 상기 쿼리 이미지가 촬영된 무선단말의 위치가 이미지 매칭 데이터베이스에 기저장된 매칭 이미지의 위치가 동일하다는 것을 의미한다. 따라서 상기 매칭 이미지의 위치 정보를 통하여 상기 쿼리 이미지가 촬영된 무선단말의 위치를 알아낼 수 있다. 그러므로 매칭부(220)는 매칭이 이루어진 매칭 이미지에 대응하는 위치 정보를 무선단말에 전달하여, 상기 무선단말의 위치를 측정할 수 있도록 한다. 이때 상기 매칭 이미지에 대응하는 위치 정보는 위도, 경도, 높이와 같은 GPS 데이터일 수 있고, 방향 데이터는 일 수 있다. 그리고 상기 매칭 이미지에 대응하는 위치 정보는 3차원 맵을 구현하기 위한, 위도, 경도, 높이를 포함하는 포지션(position) 정보일 수도 있고, 3차원 방향(orientation) 정보일 수도 있다.
도 5는 본 발명의 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법을 이용하여 쿼리 이미지와 매칭 이미지를 매칭하는 과정을 나타내는 도면이다.
본 발명의 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법에 있어서, 이미지 매칭 데이터는 촬영당시의 시간 정보를 더 포함할 수 있다. 그리고, 이미지 매칭 데이터베이스(210)에는 지역별로 구분된 이미지가 시간별로 구분되어 기저장될 수 있다.
무선단말(100)의 사용자는 상기 무선단말(100)의 위치 측정을 시간대를 가리지 않고 사용하기를 원한다. 하지만 동일한 장소에서 낮에 촬영된 쿼리 이미지와 밤에 촬영된 쿼리 이미지 간에 나타난 건물이나 구조물이 다른 경우에는 매칭의 성공률이 낮게되어 결과적으로 위치 측정의 정확도가 낮아지게 된다. 따라서 시간별로 매칭 이미지를 이미지 매칭 데이터 베이스(210)에 기저장하여 매칭에 사용할 필요성이 있다. 이때 상기 시간은 1시 내지 12시와 같은 시각일 수도 있고, 봄, 여름, 가을, 겨울과 같은 계절일 수도 있다. 따라서 본 발명의 다른 실시예에서는 302 단계에서 촬영된 쿼리 이미지(500)와 촬영당시의 지역 정보 외에 촬영당시의 시간 정보를 추가하여 매칭부(220)로 전송한다(304 단계). 그리고 상기 이미지 매칭 데이터 베이스(210)에는 지역별로 구분된 이미지가 시간별로 구분되어 기저장되어 있다. 따라서 매칭부(220)는 지역 정보와 시간 정보에 대응하는 매칭 이미지(510)를 상기 이미지 매칭 데이터 베이스(210)에서 검색한다. 그리고 매칭부(220)는 검색된 상기 매칭 이미지(510)와 상기 쿼리 이미지를 매칭한다. 다음으로 매칭부(220)는 매칭이 이루어진 매칭 이미지에 대응하는 위치 정보를 무선단말(100)에 전송한다.
예를 들어, 도 5에서는 저녁시간에 사용자가 무선단말의 위치를 측정한 경우를 나타낸다. 촬영된 쿼리 이미지(500)에서는 낮시간과의 쿼리 이미지(도 4의 400)과는 달리, 불빛이 보이는 타워와 같은 구조물의 꼭지점(501)이나 근거리의 건물의 시작점(503)은 나타날 수 있으나, 낮시간의 쿼리 이미지(400)의 건물의 꼭지점(402)은 저녁시간의 쿼리 이미지(500)에서는 나타나지 않을 수 있다. 따라서 낮시간의 쿼리 이미지(400)의 건물의 꼭지점(402)은 특이점으로 추출될 수 없으므로 매칭에 사용해서는 안된다. 그러므로 상기 이미지 매칭 데이터 베이스(210)에 저녁시간으로 구분된 매칭이미지(510)를 기저장하여, 상기 저녁시간으로 구분된 매칭이미지(510)를 상기 쿼리 이미지(500)와 매칭을 하면, 매칭의 성공률을 높여 위치 측정의 정확도를 높일 수 있다. 즉 도 5에서 타워와 같은 구조물의 꼭지점(501,511)과 건물의 시작점(503,513)과 같은 점들을 상기 특이점으로 추출한다. 그리고 특이점 501과 특이점 511 간과 특이점 503과 특이점 513 간의 길이의 차이나 각도의 차이를 측정하여 계산된 유사도가 미리 정해진 임계치보다 큰 경우에는, 상기 쿼리 이미지(500)와 상기 매칭 이미지(510)가 매칭이 이루어진 것으로 판별할 수 있다.
도 6은 본 발명의 또 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법을 이용하여 쿼리 이미지와 매칭 이미지를 매칭하는 과정을 나타내는 도면이다.
본 발명의 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법에 있어서, 이미지 매칭 데이터는 촬영당시의 날씨 정보를 더 포함할 수 있다. 그리고, 이미지 매칭 데이터베이스(210)에는 지역별로 구분된 이미지가 날씨별로 구분되어 기저장될 수 있다.
무선단말(100)의 사용자는 상기 무선단말(100)의 위치 측정을 날씨를 가리지 않고 사용하기를 원한다. 하지만 동일한 장소에서 맑은 날에 촬영된 쿼리 이미지와 흐린 날에 촬영된 쿼리 이미지 간에 나타난 건물이나 구조물이 다른 경우에는 매칭의 성공률이 낮게되어 결과적으로 위치 측정의 정확도가 낮아지게 된다. 따라서 날씨별로 매칭 이미지를 이미지 매칭 데이터 베이스(210)에 기저장하여 매칭에 사용할 필요성이 있다. 따라서 본 발명의 다른 실시예에서는 302 단계에서 촬영된 쿼리 이미지(600)와 촬영당시의 지역 정보 외에 촬영당시의 날씨 정보를 추가하여 매칭부(220)로 전송한다(304 단계). 그리고 상기 이미지 매칭 데이터 베이스(210)에는 지역별로 구분된 이미지가 날씨별로 구분되어 기저장되어 있다. 따라서 매칭부(220)는 지역 정보와 날씨 정보에 대응하는 매칭 이미지(610)를 상기 이미지 매칭 데이터 베이스(210)에서 검색한다. 그리고 매칭부(220)는 검색된 상기 매칭 이미지(610)와 상기 쿼리 이미지(600)를 매칭한다. 다음으로 매칭부(220)는 매칭이 이루어진 매칭 이미지에 대응하는 위치 정보를 무선단말(100)에 전송한다.
예를 들어, 도 6에서는 흐린 날에 사용자가 무선단말의 위치를 측정한 경우를 나타낸다. 촬영된 쿼리 이미지(600)에서는 맑은 날의 쿼리 이미지(도 4의 400)와는 달리, 건물의 꼭지점(602)이나 근거리의 건물의 시작점(603)은 나타날 수 있으나, 맑은 날의 쿼리 이미지(400)의 타워와 같은 구조물의 꼭지점(501)은 흐린 날의 쿼리 이미지(600)에서는 나타나지 않을 수 있다. 따라서 맑은 날의 쿼리 이미지(400)의 타워와 같은 구조물의 꼭지점(501)은 특이점으로 추출될 수 없으므로 매칭에 사용해서는 안된다. 그러므로 상기 이미지 매칭 데이터 베이스(210)에 흐린 날로 구분된 매칭이미지(610)를 기저장하여, 상기 흐린 날로 구분된 매칭이미지(610)를 상기 쿼리 이미지(600)와 매칭을 하면, 매칭의 성공률을 높여 위치 측정의 정확도를 높일 수 있다. 즉 도 6에서 건물의 꼭지점(602,612)과 건물의 시작점(603,613)과 같은 점들을 상기 특이점으로 추출한다. 그리고 특이점 602과 특이점 612 간과 특이점 603과 특이점 613 간의 길이의 차이나 각도의 차이를 측정하여 계산된 유사도가 미리 정해진 임계치보다 큰 경우에는, 상기 쿼리 이미지(600)와 상기 매칭 이미지(610)가 매칭이 이루어진 것으로 판별할 수 있다.
도 7은 지역별, 시간별, 날씨별로 구분된 이미지가 기저장된 이미지 매칭 데이터베이스의 데이터 구조를 나타내는 도면이다.
이미지 매칭 데이터베이스(210)에서 지역별로 구분된 이미지를 기저장될 수 있고, 상기 지역별로 구분된 이미지가 시간별로 구분되어 기저장될 수 있으며, 상기 지역별로 구분된 이미지가 날씨별로 구분되어 기저장될 수도 있다. 즉, 상기 이미지 매칭 데이터베이스(210)는 매칭부(220)가 지역 정보, 시간 정보, 날씨 정보가 포함된 이미지 매칭 데이터에 대응하는 매칭 이미지를 요청하는 경우 상기 지역 정보, 시간 정보, 날씨 정보가 포함된 이미지 매칭 데이터에 대응하는 매칭 이미지를 기저장하고 있어 이를 제공할 수 있다. 그리고 시간 정보는 봄, 여름, 가을, 겨울과 같은 계절과 1시에서 24시 같은 시간별로 구분될 수도 있다. 이때 상기 이미지 매칭 데이터베이스(210)는 도 7과 같이 계층을 이루어 지역별, 시간별, 날씨별로 매칭 이미지를 기저장할 수 있다. 또한 상기 지역별, 시간별, 날씨별의 계층 순서는 도 7의 실시예와는 다른 순서로 예를 들어 지역별, 날씨별, 시간별의 계층 순서로 매칭 이미지를 기저장할 수 있다. 도 7을 구체적으로 살펴보면, 서울 지역 내의 이태원 지역에서 봄, 여름, 가을, 겨울의 계절별로, 그리고 1시, 2시 내지 24시의 시간별로, 맑음, 흐림, 비와 같은 날씨별로 계층 순서를 이루어 매칭 이미지를 상기 이미지 매칭 데이터베이스(210)는 기저장할 수 있다.
도 8은 본 발명의 또 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 방법에 대한 흐름도이다.
도 8을 참조하면, 본 발명의 또 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 방법은, 쿼리(query) 이미지 촬영하는 단계(802)와; 이미지 및 이미지 매칭 데이터를 전송하는 단계(804)와; 매칭 이미지 검색하는 단계(806)와; 쿼리이미지와 매칭이미지 간에 매칭이 이루어졌는지 결정하는 단계(808)와; 매칭이 이루어진 쿼리 이미지의 매칭의 성공률이 미리 정해진 임계치보다 큰지 판단하는 단계(810)와; 상기 매칭의 성공률이 미리 정해진 임계치보다 큰 쿼리 이미지를 상기 이미지 매칭 데이터베이스에 저장하는 업데이트단계(812)를 포함할 수 있다.
802 단계 내지 808 단계는 상기 도 3에서 설명한 302 단계 내지 308 단계와 동일하므로 설명을 생략하기로 한다. 여기서, 본 발명의 또 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 방법은, 808 단계에서 쿼리 이미지와 매칭 이미지가 매칭이 이루어진 경우에, 810 단계에서 매칭부(220)는 상기 쿼리 이미지와 매칭 이미지의 매칭의 성공률을 결정한다. 이때 매칭의 성공률은 도 3과 도 4에서 설명된 바와 같이, 쿼리 이미지와 매칭 이미지에서 적어도 하나의 대응하는 특이점 간의 길이의 차나 각도의 차를 측정하여 계산된 유사도가 미리 정해진 임계치보다 큰 정도를 의미할 수 있다. 그리고, 812 단계에서, 매칭부(220)는 상기와 같이 결정된 매칭의 성공률이 미리 정해진 성공률에 관한 임계치보다 큰 경우에는 상기 매칭이 이루어진 쿼리 이미지를 이미지 매칭 데이터베이스에 추가적으로 저장하여 업데이트할 수 있다. 즉 매칭의 성공률이 높은 쿼리 이미지를 상기 이미지 매칭 데이터베이스에 업데이트함으로써 추후 매칭 과정에서 매칭의 성공률을 높일 수 있는 것이다. 상기와 같은 본 발명의 또 다른 실시에서 업데이트를 하는 이유는 매칭 이미지를 상기 이미지 매칭 데이터베이스에 저장하는 과정은 전세계의 도로에 걸쳐 매칭 이미지를 저장하는 것이어서 시간과 비용이 막대하게 소요되기 때문이다. 따라서 본 발명의 또 다른 실시예와 같이 업데이트 과정이 추가되면 별로도 매칭 이미지를 재취득할 필요성이 적어지게되어 시간과 비용을 절감할 수 있다. 그리고 복수의 매칭 과정에서 복수의 쿼리 이미지들이 지역별로 상기 이미지 매칭 데이터베이스에 저장될 수 있다. 따라서 복수의 매칭 과정은 서로 다른 시간별로 일어나므로, 상기 지역에 대하여 복수의 쿼리 이미지들이 복수의 시간별로 저장될 수 있다. 따라서 복수의 쿼리 이미지들의 업데이트 이후, 사용자에게 무선단말이 위치한 지역에 대하여 시간별로 복수의 이미지들을 제공할 수 있어, 타임머신과 같은 서비스를 제공할 수 있다.
또한 본 발명의 또 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 방법은 매칭이 이루어진 쿼리 이미지의 매칭의 성공률이 미리 정해진 임계치보다 큰 경우 상기 매칭이 이루어진 쿼리 이미지를 상기 매칭 이미지로 교체하여 상기 이미지 매칭 데이터베이스에 저장하는 업데이트단계를 더 포함할 수 있다. 즉 매칭의 성공률이 미리 정해진 임계치보다 큰 경우에는 종래에 기저장된 매칭 이미지를 삭제하고 상기 매칭이 이루어진 쿼리 이미지를 저장하여 상기 이미지 매칭 데이터베이스에 자동으로 업데이트할 수도 있다.
아울러, 본 발명의 또 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 방법은 복수의 매칭을 통하여, 매칭이 이루어진 각각의 쿼리 이미지의 매칭의 성공률이 미리 정해진 임계치보다 큰 경우에, 상기 각각의 쿼리 이미지 중에서 사용자로부터 선택된 하나의 쿼리 이미지를 상기 이미지 매칭 데이터베이스에 저장하는 업데이트단계를 더 포함할 수 있다. 즉, 복수의 매칭을 통하여 매칭의 성공률이 미리 정해진 임계치보다 큰 각각의 쿼리 이미지 중에서 상기 이미지 매칭 데이터베이스를 관리하는 사용자로부터 하나의 쿼리 이미지를 선택받아 상기 이미지 매칭 데이터베이스에 저장하는 업데이트를 할 수도 있다.
본 발명의 또 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법은 측정된 위치 정보를 위치 기반 스트리트뷰(street-view) 서비스 제공에 사용하거나, 위치 기반 증강현실(AR, augmented-reality) 서비스 제공에 사용하는 것을 특징으로 할 수 있다. 본 발명의 또 다른 실시예인 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법에 의하면 3차원 맵(map)을 사용할 수 있을 정도로 정확도가 높은 위치 정보를 무선단말(100)에 제공할 수 있으므로, 상기 위치정보를 이용하여 위치 기반 스트리트뷰(street-view) 서비스 제공에 사용하거나, 위치 기반 증강현실(AR, augmented-reality) 서비스 제공에 사용할 수 있다. 상기 위치 기반 스트리트뷰(street-view) 서비스란 무선단말의 디스플레이에서 상기 무선단말이 위치한 스트리트의 뷰를 보여주는 서비스를 말한다. 따라서 본 발명의 또 다른 실시예에 따라 정확도가 높은 위치 정보를 제공받아 위치 기반 스트리트뷰(street-view) 서비스에 제공에 사용할 수 있다. 그리고 상기 위치 기반 증강현실(AR, augmented-reality) 서비스란 무선단말(100)의 카메라 모듈(150)에서 촬영된 프리뷰(preview)에 증강된 정보(예를 들면, 네비게이션, 광고판 등)를 합성하여 제공하는 서비스를 말한다. 따라서 본 발명의 또 다른 실시예에 따라 정확도가 높은 위치 정보를 제공받아 위치 기반 증강현실(AR, augmented-reality) 서비스에 제공에 사용할 수 있다.
한편 본 발명은 기재된 실시예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형을 할 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다. 따라서, 그러한 변형예 또는 수정예들은 본 발명의 특허청구범위에 속한다 해야 할 것이다.
100 : 무선단말 200 : 위치 측정 장치
210 : 이미지 매칭 데이터베이스 220 : 매칭부
230 : 업데이트부

Claims (22)

  1. 지역별로 구분된 이미지가 기저장된 이미지 매칭(matching) 데이터베이스;
    무선단말의 카메라 모듈에 의해 촬영된 쿼리(query) 이미지와 촬영 당시의 지역 정보가 포함된 이미지 매칭 데이터를 상기 무선단말로부터 수신하고, 상기 이미지 매칭 데이터에 대응하는 매칭 이미지를 상기 이미지 매칭 데이터베이스에서 검색하고, 상기 쿼리 이미지로부터 적어도 하나의 제1 특징점을 추출하고, 상기 매칭 이미지로부터 적어도 하나의 제2 특징점을 추출하고, 상기 제1 특징점 및 상기 제2 특징점 간의 길이의 차이 및 각도의 차이 중 적어도 하나를 기반으로 상기 쿼리 이미지 및 상기 매칭 이미지의 매칭 여부를 결정하고, 상기 쿼리 이미지와 상기 매칭 이미지가 매칭되면, 상기 매칭 이미지에 대응하는 위치 정보를 상기 무선단말에 전달하는 매칭부; 및
    상기 쿼리 이미지와 상기 매칭 이미지가 매칭되고, 상기 쿼리 이미지의 매칭의 성공률이 소정의 임계치보다 큰 경우, 상기 쿼리 이미지를 이용하여 상기 이미지 매칭 데이터베이스를 업데이트하는 업데이트부;
    를 포함하며,
    상기 위치 정보는 상기 무선단말의 위치를 식별하기 위한 정보로서, 포지션 정보 및 방향(orientation) 정보를 포함하는 이미지를 기반으로 한 무선단말의 위치 측정 장치.
  2. 제1항에 있어서,
    상기 이미지 매칭 데이터베이스는 지역별로 구분된 이미지가 시간별로 구분되어 기저장된 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 장치.
  3. 제1항에 있어서,
    상기 이미지 매칭 데이터베이스는 지역별로 구분된 이미지가 날씨별로 구분되어 기저장된 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 장치.
  4. 제1항에 있어서,
    상기 지역 정보는 GPS 데이터와 방향 데이터 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 장치.
  5. 제1항에 있어서,
    상기 이미지 매칭 데이터는 촬영당시의 시간 정보를 더 포함하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 장치.
  6. 제1항에 있어서,
    상기 이미지 매칭 데이터는 촬영당시의 날씨 정보를 더 포함하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 장치.
  7. 제1항에 있어서,
    상기 포지션 정보는 3차원 맵을 구현하기 위한, 위도, 경도 및 높이를 포함하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 장치.
  8. 제1항에 있어서,
    상기 업데이트부는 상기 쿼리 이미지의 매칭의 성공률이 미리 정해진 임계치보다 큰 경우, 상기 쿼리 이미지를 상기 이미지 매칭 데이터베이스에 저장하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 장치.
  9. 제1항에 있어서,
    상기 업데이트부는 상기 쿼리 이미지의 매칭의 성공률이 미리 정해진 임계치보다 큰 경우, 상기 매칭 이미지를 상기 쿼리 이미지로 교체하여 상기 이미지 매칭 데이터베이스에 저장하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 장치.
  10. 제1항에 있어서,
    상기 업데이트부는 복수의 매칭을 통하여, 매칭이 이루어진 각각의 쿼리 이미지의 매칭 성공률이 미리 정해진 임계치보다 큰 경우에, 상기 각각의 쿼리 이미지 중에서 사용자로부터 선택된 하나의 쿼리 이미지를 상기 이미지 매칭 데이터베이스에 저장하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 장치.
  11. 제1항에 있어서,
    상기 위치 정보는 위치 기반 스트리트뷰(street-view) 서비스 제공에 사용되거나, 위치 기반 증강현실(AR, augmented-reality) 서비스 제공에 사용되는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 장치.
  12. 무선단말의 카메라 모듈에 의해 촬영된 쿼리(query) 이미지 및 촬영 당시의 지역 정보가 포함된 이미지 매칭(matching) 데이터를 상기 무선단말로부터 수신하는 단계;
    상기 이미지 매칭 데이터에 대응하는 매칭 이미지를 이미지 매칭 데이터베이스에서 검색하는 단계;
    상기 쿼리 이미지로부터 적어도 하나의 제1 특징점을 추출 및 상기 매칭 이미지로부터 적어도 하나의 제2 특징점을 추출하는 단계;
    상기 제1 특징점 및 상기 제2 특징점 간의 길이의 차이 및 각도의 차이 중 적어도 하나를 기반으로 상기 쿼리 이미지 및 상기 매칭 이미지의 매칭 여부를 결정하는 단계;
    상기 쿼리 이미지와 상기 매칭 이미지가 매칭되면, 매칭이 이루어진 상기 매칭 이미지에 대응하는 위치 정보를 상기 무선단말에 전달하는 단계; 및
    상기 쿼리 이미지와 상기 매칭 이미지가 매칭되고, 상기 쿼리 이미지의 매칭의 성공률이 소정의 임계치보다 큰 경우, 상기 쿼리 이미지를 이용하여 상기 이미지 매칭 데이터베이스를 업데이트하는 단계;
    를 포함하며,
    상기 위치 정보는 상기 무선단말의 위치를 식별하기 위한 정보로서, 포지션 정보 및 방향(orientation) 정보를 포함하는,
    이미지를 기반으로 한 무선단말의 위치 측정 방법.
  13. 제12항에 있어서,
    상기 이미지 매칭 데이터베이스는 지역별로 구분된 이미지가 시간별로 구분되어 기저장된 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 방법.
  14. 제12항에 있어서,
    상기 이미지 매칭 데이터베이스는 지역별로 구분된 이미지가 날씨별로 구분되어 기저장된 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 방법.
  15. 제12항에 있어서,
    상기 지역 정보는 GPS 데이터와 방향 데이터 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 방법.
  16. 제12항에 있어서,
    상기 이미지 매칭 데이터는 촬영당시의 시간 정보를 더 포함하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 방법.
  17. 제12항에 있어서,
    상기 이미지 매칭 데이터는 촬영당시의 날씨 정보를 더 포함하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 방법.
  18. 제12항에 있어서,
    상기 포지션 정보는 3차원 맵을 구현하기 위한, 위도, 경도 및 높이를 포함하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 방법.
  19. 제12항에 있어서, 상기 업데이트 단계는,
    매칭이 이루어진 상기 쿼리 이미지의 매칭의 성공률이 미리 정해진 임계치보다 큰 경우 상기 매칭이 이루어진 쿼리 이미지를 상기 이미지 매칭 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 방법.
  20. 제12항에 있어서, 상기 업데이트 단계는,
    매칭이 이루어진 상기 쿼리 이미지의 매칭의 성공률이 미리 정해진 임계치보다 큰 경우, 상기 매칭 이미지를 상기 쿼리 이미지로 교체하여 상기 이미지 매칭 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 방법.
  21. 제12항에 있어서, 상기 업데이트 단계는,
    복수의 매칭을 통하여, 매칭이 이루어진 각각의 쿼리 이미지의 매칭의 성공률이 미리 정해진 임계치보다 큰 경우에, 상기 각각의 쿼리 이미지 중에서 사용자로부터 선택된 하나의 쿼리 이미지를 상기 이미지 매칭 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 방법.
  22. 제12항에 있어서,
    상기 위치 정보는 위치 기반 스트리트뷰(street-view) 서비스 제공에 사용되거나, 위치 기반 증강현실(AR, augmented-reality) 서비스 제공에 사용되는 것을 특징으로 하는 이미지를 기반으로 한 무선단말의 위치 측정 방법.
KR1020120060680A 2012-06-06 2012-06-06 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법 KR101928944B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120060680A KR101928944B1 (ko) 2012-06-06 2012-06-06 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법
US13/908,461 US10049124B2 (en) 2012-06-06 2013-06-03 Apparatus and method of tracking location of wireless terminal based on image
EP13170708.5A EP2672400A1 (en) 2012-06-06 2013-06-05 Apparatus and method of tracking location of wireless terminal based on image
CN201310223830.6A CN103473257B (zh) 2012-06-06 2013-06-06 基于图像跟踪无线终端的位置的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120060680A KR101928944B1 (ko) 2012-06-06 2012-06-06 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130137065A KR20130137065A (ko) 2013-12-16
KR101928944B1 true KR101928944B1 (ko) 2019-03-12

Family

ID=48745620

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120060680A KR101928944B1 (ko) 2012-06-06 2012-06-06 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법

Country Status (4)

Country Link
US (1) US10049124B2 (ko)
EP (1) EP2672400A1 (ko)
KR (1) KR101928944B1 (ko)
CN (1) CN103473257B (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305355B2 (en) * 2013-10-21 2016-04-05 Autodesk, Inc. Photograph localization in a three-dimensional model
US9288636B2 (en) * 2013-11-08 2016-03-15 Google Inc. Feature selection for image based location determination
CN104936283B (zh) * 2014-03-21 2018-12-25 中国电信股份有限公司 室内定位方法、服务器和系统
CN104536990B (zh) * 2014-12-10 2018-03-27 广东欧珀移动通信有限公司 一种图片显示方法及终端
CN105227756B (zh) * 2015-08-26 2018-10-02 努比亚技术有限公司 图片显示装置和方法
US9964955B2 (en) * 2016-08-04 2018-05-08 Canvas Technology, Inc. System and methods of determining a geometric pose of a camera based on spatial and visual mapping
KR101868125B1 (ko) * 2016-11-16 2018-06-18 홍익대학교 산학협력단 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버
CN109212571A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 导航定位方法及装置
US10536809B1 (en) * 2018-06-28 2020-01-14 Homerun Labs, Inc. System and method for detection of a structure
CN109040960A (zh) * 2018-08-27 2018-12-18 优视科技新加坡有限公司 一种实现位置服务的方法和装置
CN109951889B (zh) * 2019-03-14 2022-07-15 维沃移动通信有限公司 一种物联网配网方法及移动终端
DE112021005236T5 (de) * 2020-09-30 2023-08-24 Snap Inc. Ortsgeführtes scanning von visuellen codes
CN112261581A (zh) * 2020-10-28 2021-01-22 成都中科大旗软件股份有限公司 基于 gis 地图和多种定位的旅游大巴监管系统
KR102320628B1 (ko) * 2021-01-08 2021-11-02 강승훈 머신러닝 기반 정밀 위치 정보 제공 시스템 및 그 제공 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050076004A1 (en) * 2003-09-30 2005-04-07 Hiroyuki Yanagisawa Computer, database generating method for electronic picture book service, photographed subject information providing method, recording medium, and computer data signal
US20060056660A1 (en) * 2004-09-14 2006-03-16 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20110038527A1 (en) * 2009-08-12 2011-02-17 Lisong Liu Image pattern matching systems and methods for wafer alignment

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040201702A1 (en) * 2001-10-23 2004-10-14 White Craig R. Automatic location identification and categorization of digital photographs
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
US7535492B2 (en) * 2002-07-02 2009-05-19 Lightsurf Technologies, Inc. Imaging system providing automated fulfillment of image photofinishing based on location
WO2004093013A1 (ja) * 2003-04-15 2004-10-28 Fujitsu Limited 画像照合装置、画像照合方法、及び画像照合プログラム
US8942483B2 (en) * 2009-09-14 2015-01-27 Trimble Navigation Limited Image-based georeferencing
US7945576B2 (en) 2007-05-29 2011-05-17 Microsoft Corporation Location recognition using informative feature vocabulary trees
KR100898757B1 (ko) 2007-07-16 2009-05-25 이용환 위치정보를 기반으로 한 이미지 검색 방법 및 시스템.
KR101485803B1 (ko) * 2007-12-11 2015-01-26 삼성전자주식회사 Ｄｌｎａ 네트워크 환경에서의 데이터 전송 시스템 및 전송방법
US8131118B1 (en) * 2008-01-31 2012-03-06 Google Inc. Inferring locations from an image
US9509867B2 (en) * 2008-07-08 2016-11-29 Sony Corporation Methods and apparatus for collecting image data
US8483715B2 (en) 2009-03-26 2013-07-09 Yahoo! Inc. Computer based location identification using images
KR100953141B1 (ko) 2009-06-19 2010-04-16 주식회사 지엑스 위치정보가 워터마킹된 화상의 생성 및 전송을 위한 무선단말장치 및 그 방법
US20120027311A1 (en) 2010-07-27 2012-02-02 Cok Ronald S Automated image-selection method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050076004A1 (en) * 2003-09-30 2005-04-07 Hiroyuki Yanagisawa Computer, database generating method for electronic picture book service, photographed subject information providing method, recording medium, and computer data signal
US20060056660A1 (en) * 2004-09-14 2006-03-16 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20110038527A1 (en) * 2009-08-12 2011-02-17 Lisong Liu Image pattern matching systems and methods for wafer alignment

Also Published As

Publication number Publication date
US10049124B2 (en) 2018-08-14
CN103473257A (zh) 2013-12-25
US20130332482A1 (en) 2013-12-12
CN103473257B (zh) 2019-03-29
KR20130137065A (ko) 2013-12-16
EP2672400A1 (en) 2013-12-11

Similar Documents

Publication Publication Date Title
KR101928944B1 (ko) 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법
KR102021050B1 (ko) 내비게이션 정보를 제공하는 방법, 기계로 읽을 수 있는 저장 매체, 이동 단말 및 서버
KR101753031B1 (ko) 이동 단말기 및 이것의 메타데이터 설정 방법
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US20130328867A1 (en) Apparatus and method for providing augmented reality information using three dimension map
US9344854B2 (en) Method, storage medium, server, and electronic device for implementing location based service within building
US20130328929A1 (en) Mobile communication terminal for providing augmented reality service and method of changing into augmented reality service screen
KR20180048221A (ko) 네비게이션, 네비게이션 비디오 생성 방법 및 장치
KR20120015923A (ko) 필터 정보를 이용한 객체 인식 장치 및 방법
US20220076469A1 (en) Information display device and information display program
CN113701743B (zh) 地图数据处理方法、装置、计算机设备及存储介质
WO2015019917A1 (ja) ユーザの位置を基準にローカルな観光情報を検索する方法
CN109684277B (zh) 一种图像显示方法及终端
CN112052355B (zh) 视频的展示方法、装置、终端、服务器、系统及存储介质
CN107193820B (zh) 位置信息获取方法、装置及设备
US20130314443A1 (en) Methods, mobile device and server for support of augmented reality on the mobile device
CN110471614B (zh) 一种存储数据的方法、检测终端的方法及装置
CN112269939B (zh) 自动驾驶的场景搜索方法、装置、终端、服务器及介质
WO2021088497A1 (zh) 虚拟物体显示方法、全局地图更新方法以及设备
CN111176338B (zh) 导航方法、电子设备及存储介质
CN110532474B (zh) 信息推荐方法、服务器、系统以及计算机可读存储介质
CN111093266B (zh) 一种导航校准方法及电子设备
WO2023088030A1 (zh) 导航界面的显示方法、装置、终端、存储介质及程序产品
KR20130137074A (ko) 3차원 지도를 이용한 증강 정보 제공 장치 및 방법
CN110891122A (zh) 一种壁纸推送方法及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right