KR20130120598A - 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템 - Google Patents

영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템 Download PDF

Info

Publication number
KR20130120598A
KR20130120598A KR1020120043618A KR20120043618A KR20130120598A KR 20130120598 A KR20130120598 A KR 20130120598A KR 1020120043618 A KR1020120043618 A KR 1020120043618A KR 20120043618 A KR20120043618 A KR 20120043618A KR 20130120598 A KR20130120598 A KR 20130120598A
Authority
KR
South Korea
Prior art keywords
image
information
user terminal
posture
camera
Prior art date
Application number
KR1020120043618A
Other languages
English (en)
Other versions
KR101356192B1 (ko
Inventor
이임평
최경아
김호준
Original Assignee
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Priority to KR20120043618A priority Critical patent/KR101356192B1/ko
Priority to US14/397,275 priority patent/US9749809B2/en
Priority to EP12875140.1A priority patent/EP2844009B1/en
Priority to PCT/KR2012/009568 priority patent/WO2013162140A1/ko
Priority to CN201280072738.8A priority patent/CN104335649B/zh
Publication of KR20130120598A publication Critical patent/KR20130120598A/ko
Application granted granted Critical
Publication of KR101356192B1 publication Critical patent/KR101356192B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

본 발명은 사용자 단말 자체 또는 네트워크 상의 서버에서 미리 구축된 지오레퍼런싱된 기준 영상 DB를 이용하여 스마트폰 등 사용자 단말의 위치 및 자세에 대한 정보를 보다 정밀하게 결정하여 사용자 단말로 제공함으로써 위치기반 서비스에 효과적으로 활용될 수 있도록 하기 위한 위치자세 결정 방법 및 시스템에 관한 것이다.

Description

영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템{Method and System for Determining Position and Attitude of Smartphone by Image Matching}
본 발명은 스마트폰 등 사용자 단말의 위치자세 결정 방법 및 시스템에 관한 것으로서, 특히, 사용자 단말 자체 또는 네트워크 상의 서버에서 미리 구축된 지오레퍼런싱된 기준 영상 DB를 이용하여 스마트폰 등 사용자 단말의 위치 및 자세에 대한 정보를 보다 정밀하게 결정하여 사용자 단말로 제공함으로써 위치기반 서비스에 효과적으로 활용될 수 있도록 하기 위한 위치자세 결정 방법 및 시스템에 관한 것이다.
최근 스마트폰의 사용자가 증가하고 그 활용도가 매우 높아지면서 지도 길 안내나 부가정보 제공을 위한 시스템의 필요성이 크게 증가하고 있다. 이런 시스템에서 정보를 제공하기 위해서는 스마트폰의 위치와 자세를 실세계좌표 상에서 정확하게 파악해야 한다. 하지만 현재 GPS를 이용한 사용자의 위치 결정은 그 오차범위가 크고 실내에서는 정보 제공이 불가능에 가깝다는 단점이 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, 스마트폰 등 사용자 단말이 전송하는 센서 정보와 영성 정보에 대하여, 네트워크 상의 서버에서 미리 구축된 지오레퍼런싱된 기준 영상 DB를 이용하여 사용자 단말의 위치 및 자세에 대한 정보를 보다 정밀하게 결정하여 사용자 단말로 제공함으로써 위치기반 서비스에 효과적으로 활용될 수 있도록 한 위치자세 결정 방법 및 시스템을 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 상기와 같은 본 발명의 목적을 달성하기 위한 본 발명의 일면에 따른, 사용자 단말의 위치자세 결정 시스템은, 네트워크를 통해 연동하는 사용자 단말에서 전송하는 위치 및 자세 관련 센서정보와 카메라 영상에 대하여 상기 사용자 단말의 해당 위치 정보와 자세 정보를 결정하여 피드백하는 위치자세결정 서버를 포함하고, 상기 위치자세결정 서버는, 상기 센서정보를 기초로 상기 사용자 단말의 초기 위치 정보와 자세 정보를 결정하는 초기 위치자세 결정 모듈; 지오레퍼런싱을 통해 획득된 영상 취득 시의 각 카메라 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 데이터베이스; 상기 데이터베이스를 참조하여 상기 카메라 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 검색모듈; 상기 카메라 영상과 상기 검색된 기준 지오레퍼런싱 영상을 비교해 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 영상매칭모듈; 및 상기 데이터베이스를 참조해 상기 공액점에 대응되는 상기 사용자 단말의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해 AT(Aerial Triangulation)에 따른 지오레퍼런싱 과정으로 상기 초기 위치 정보와 상기 자세 정보를 보정하는 연속번들조정모듈을 포함한다.
상기 센서정보는 GPS 모듈에서 측정한 위치 데이터, 컴파스 모듈에서 측정한 방향 데이터, 자이로 센서에서 측정한 자세 데이터, 또는 가속도 센서에서 측정한 가속도 데이터를 포함한다.
상기 영상매칭모듈은 상기 사용자 단말이 전송하는 복수의 카메라 영상의 두 영상씩 비교한 하나 이상의 공액점과 상기 사용자 단말이 전송하는 카메라 영상과 상기 검색된 기준 지오레퍼런싱 영상을 서로 비교한 공액점을 추출하고, 추출된 복수의 공액점이 가장 오차가 작도록 한점에서 만나도록 하는 신뢰성있는 상기 공액점을 추출할 수 있다.
상기 연속번들조정모듈은 상기 사용자 단말이 실시간 전송하는 센서정보와 카메라 영상에 대하여 상기 최종 위치 정보와 자세 정보를 결정하여 상기 사용자 단말로 실시간 피드백할 수 있다.
상기 사용자 단말은 피드백된 상기 최종 위치 정보 또는 상기 자세 정보를 기초로 네트워크 상의 다른 서버와 통신하여 해당 위치나 자세와 관련된 서비스 정보를 수신하여 화면의 지도 위에 해당 정보를 표시할 수 있다.
또한, 본 발명의 다른 일면에 따른, 사용자 단말과 네트워크를 통해 연동하는 서버에서 사용자 단말이 획득한 위치 및 자세 관련 정보를 보정하여 피드백하기 위한 사용자 단말의 위치자세 결정 방법에 있어서, 상기 서버는 사용자 단말이 전송하는 위치 및 자세 관련 센서정보와 카메라 영상에 대하여 상기 사용자 단말의 해당 위치 정보와 자세 정보를 결정하여 피드백하며, 상기 서버에서, 상기 센서정보를 기초로 상기 사용자 단말의 초기 위치 정보와 자세 정보를 결정하는 단계; 지오레퍼런싱을 통해 획득된 영상 취득 시의 각 카메라 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 데이터베이스를 참조하여 상기 카메라 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 단계; 상기 카메라 영상과 상기 검색된 기준 지오레퍼런싱 영상을 비교해 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 단계; 및 상기 데이터베이스를 참조해 상기 공액점에 대응되는 상기 사용자 단말의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해AT(Aerial Triangulation)에 따른 지오레퍼런싱 과정으로 상기 초기 위치 정보와 상기 자세 정보를 보정하는 단계를 포함한다.
또한, 본 발명의 또 다른 일면에 따른, 사용자 단말의 위치자세 결정 장치에 있어서, 카메라 영상을 획득하기 위한 카메라; 위치 및 자세 관련 센서정보를 측정하는 센서 모듈; 상기 센서정보를 기초로 초기 위치 정보와 자세 정보를 결정하는 초기 위치자세 결정 모듈; 지오레퍼런싱을 통해 획득된 영상 취득 시의 각 카메라 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 데이터베이스; 상기 데이터베이스를 참조하여 상기 카메라 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 검색모듈; 상기 카메라 영상과 상기 검색된 기준 지오레퍼런싱 영상을 비교해 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 영상매칭모듈; 및 상기 데이터베이스를 참조해 상기 공액점에 대응되는 상기 사용자 단말의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해 AT(Aerial Triangulation)에 따른 지오레퍼런싱 과정으로 상기 초기 위치 정보와 상기 자세 정보를 보정하는 연속번들조정모듈을 포함하는 것을 특징으로 한다.
그리고, 본 발명의 또 다른 일면에 따른, 사용자 단말에서 위치자세 결정 방법에 있어서, 카메라를 이용하여 카메라 영상을 획득하는 단계; 하나 이상의 센서를 이용하여 위치 및 자세 관련 센서정보를 측정하는 단계; 상기 센서정보를 기초로 초기 위치 정보와 자세 정보를 결정하는 단계; 지오레퍼런싱을 통해 획득된 영상 취득 시의 각 카메라 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 데이터베이스를 참조하여 상기 카메라 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 단계; 상기 카메라 영상과 상기 검색된 기준 지오레퍼런싱 영상을 비교해 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 단계; 및 상기 데이터베이스를 참조해 상기 공액점에 대응되는 상기 사용자 단말의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해 AT(Aerial Triangulation)에 따른 지오레퍼런싱 과정으로 상기 초기 위치 정보와 상기 자세 정보를 보정하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 사용자 단말의 위치자세 결정 방법 및 시스템에 따르면, 지오레퍼런싱된 기준 영상 DB를 이용하여 사용자 단말의 위치 및 자세에 대한 정보를 보다 정밀하게 결정하여 사용자 단말로 제공함으로써 이를 토대로 사용자 단말에서 위치기반 서비스에 효과적으로 활용할 수 있다. 사용자 단말로 제공된 위치 및 자세에 대한 정보는 실내 및 실외 모두에서 활용이 가능하며, 정교한 길 안내나 추가적 정보제공, 증강현실 서비스 등의 위치기반 서비스에 효과적으로 활용할 수 있다.
도 1은 본 발명의 일실시예에 따른 사용자 단말의 위치자세 결정 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 사용자 단말과 위치자세 결정 서버의 구체적인 블록도이다.
도 3은 본 발명의 일실시예에 따른 사용자 단말의 위치자세 결정 시스템의 동작 설명을 위한 흐름도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 사용자 단말의 위치자세 결정 시스템(100)을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 사용자 단말의 위치자세 결정 시스템(100)은, 사용자 단말(110)과 네트워크를 통해 연동하는 위치자세 결정서버(120)를 포함하며, 네트워크 상에는 사용자 단말(110)에 그 위치나 자세와 관련된 LBS(Location Based Service) 서비스(위치 기반 서비스) 정보를 제공하기 위한 LBS(Location Based Service) 서버가 포함될 수 있다.
여기서, 네트워크는 인터넷(Wi-Fi포함)일 수 있지만, 이에 한정되지 않으며 WCDMA(3G 또는 LTE기반의 4G 포함), WiBro 등의 무선 이동 통신망이나, 경우에 따라서는 유선 전화망 등을 포함할 수 있고, 사용자 단말(110)은 이와 같은 네트워크를 통해 연동하는 위치자세 결정서버(120)와 통신하여 자신이 실내 또는 실외에서 획득한 위치 및 자세 관련 정보(센서 정보, 카메라 영상 정보 등)를 전송하고 위치자세 결정서버(120)로부터 해당 카메라 영상이 나오게 하는 위치 및 자세 관련 정보를 보정한 좀 더 정밀한 보정된 위치 및 자세 관련 정보를 피드백 받는 서비스를 제공받을 수 있다.
사용자 단말(110)은 네트워크(예를 들어, 인터넷)에 접속하여 데이터 서비스를 이용할 수 있는 단말로서, 아이팟, 안드로이드 폰 등의 스마트폰(Smart phone)일 수 있고, 다만 이에 한정되는 것은 아니며, 네트워크를 통해 통신할 수 있는 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone: Personal Communications Services phone), 무선 통신이 가능한 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000), 개인용 디지털 보조기(PDA:Personal Digital Assistant), 왑폰(WAP phone:Wireless application protocol phone), 모바일 게임기(mobile play-station), 기타 PMP(Portable Multimedia Player) 등의 휴대용 또는 이동 단말일 수 있고, 노트북 PC, 데스크탑 PC, 팜 PC(Palm Personal Computer) 등일 수도 있으며, 경우에 따라 다른 전자 기기와 통신할 수 있는 가정용 또는 기업용 사회 전반의 다양한 전자 기기 또는 장치를 포함할 수 있다.
사용자 단말(110)은 위치자세 결정서버(120)로부터 정밀하게 추정되어 피드백된 최종 위치 정보(위도, 경도, 고도 등) 또는 자세 정보(전진방향(Roll축 방향), 전진방향의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 등의 회전각 정보)를 기초로 네트워크 상의 LBS서버와 통신하여 해당 위치나 자세와 관련된 서비스 정보를 수신하여 화면의 지도 위에 해당 정보를 표시할 수 있게 된다. 예를 들어, 사용자 단말(110)은 내비게이션 시스템과 같이 지도 위에 좀 더 정교한 길 안내 서비스를 제공할 수 있으며, 좀 더 정교하게 해당 자세에 맞는 (가상) 영상을 합성하는 증강현실 서비스가 가능하고, 기타 사용자 단말(110)의 정교한 위치와 자세에 맞는 다양한 추가적 정보제공의 제공이 가능하다.
이하 도 2의 사용자 단말(110) 및 위치자세 결정서버(120)의 블록도와 도 3의 흐름도를 참조하여 본 발명의 일실시예에 따른 사용자 단말의 위치자세 결정 시스템(100)의 동작을 좀 더 자세히 설명한다.
도 2와 같이, 사용자 단말(110)은 센서 모듈(111), 카메라(112), 및 수집 전송 모듈(113)을 포함하고, 위치자세 결정서버(120)는, 초기 위치자세 결정 모듈(121), 영상 데이터베이스(122), 영상 검색모듈(123), 영상 매칭 모듈(124), 및 연속번들 조정모듈(125)을 포함한다.
먼저, 사용자 단말(110)에서는, 사용자의 조작에 따라 또는 본 서비스를 위한 소정 어플리케이션의 동작에 따라, 센서 모듈(111)이 위치 및 자세(PA, Position and Attitude) 관련 센서정보를 측정하고, 카메라(112)가 주변에 영상(복수의 정지 영상 또는 동영상 가능)을 촬영하여 카메라 영상을 생성하며, 수집 전송 모듈(113)이 이와 같은 위치 및 자세(PA) 관련 센서정보와 카메라 영상(정보)을 수집하여, 위치자세 결정서버(120)로 전송한다(도 3의 S10).
여기서, 센서 모듈(111)이 측정하는 위치 및 자세(PA) 관련 센서정보는, GPS(Global Position System) 모듈에서 측정한 위치 데이터(위도, 경도, 고도 등), 컴파스(compass) 모듈에서 측정한 방향 데이터(진행되는 방향과 관련된 정보), 자이로 센서에서 측정한 자세 데이터(전진방향(Roll축 방향), 전진방향의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 등의 각속도 증분치와 관련된 회전각 정보), 또는 가속도 센서에서 측정한 가속도 데이터(진행되는 방향의 속도 증분치와 관련된 가속도 정보)를 등 일 수 있다.
이와 같은 위치 및 자세(PA) 관련 센서정보와 카메라 영상이 사용자 단말(110)로부터 전송되면, 초기 위치자세 결정 모듈(121)은 위치 및 자세(PA) 관련 센서정보를 기초로 사용자 단말(110)의 초기 외부 표정요소로서 초기 위치 정보(φ,λ,h)(위도, 경도, 고도 등)와 자세 정보(θRoll, θPitch, θYaw)(전진방향(Roll축 방향), 전진방향의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 등의 회전각 정보)를 결정한다(도 3의 S20).
초기 위치자세 결정 모듈(121)은 위치 및 자세(PA) 관련 센서정보의 컴파스 모듈의 방향 데이터, 자이로 센서의 자세 데이터, 가속도 센서의 가속도 데이터 등을 소정 항법 방정식에 적용하여 속도를 추정하고 위치 정보와 자세 정보를 결정할 수 있으며, 구비된 확장 칼만 필터를 이용해 GPS 모듈의 위치 데이터를 추가적으로 이용하여 사용자 단말(110)의 초기 외부 표정요소로서 위와 같은 초기 위치 정보(φ,λ,h)(위도, 경도, 고도 등)와 자세 정보(θRoll, θPitch, θYaw)를 결정할 수 있다. 이와 같은 항법 방정식이나 확장 칼만 필터를 이용하여 위치나 자세와 관련된 항법 정보를 추정하는 기술은 잘 알려져 있으므로 자세한 설명은 생략한다.
한편, 영상 데이터베이스(122)에는 지오레퍼런싱(georeferencing, 지리참조)을 통해 획득된 영상 취득 시의 각 해당 카메라 위치(φ,λ,h)와 자세(θRoll, θPitch, θYaw)에 대응되는 기준 지오레퍼런싱 영상과 각 영상점 좌표(영상점들의 지상 좌표)가 미리 구축되어 저장되어 있으며, 영상 검색모듈(123)은 영상 데이터베이스(122)를 참조하여 사용자 단말(110)로부터 수신된 카메라 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색한다(도 3의 S30). 영상 데이터베이스(122)에는 위와 같은 영상점 좌표가 저장되어 하기하는 바와 같은 위치 또는 자세 관련 정보의 산출에 유용하게 사용될 수 있지만, 이는 반드시 필요한 것은 아니고 생략가능하며, 영상에서의 해당 임의의 상대 좌표의 추정으로 대체될 수 있다.
지오레퍼런싱은 멀티센서(GPS(Global Positioning System), IMU(Inertial Measurement Unit), 디지털 카메라, 레이져 스캐너 등)을 이용해 획득된 카메라의 위치 및 자세 관련 데이터와 영상 데이터 등을 이용하여, 영상에 포함된 지상물이나 촬영 위치 등의 3차원 지상 좌표 정보를 획득하기 위한 알고리즘이다. 디지털 카메라 등의 연속적인 위치 및 자세 관련 데이터를 기반으로 AT(Aerial Triangulation)에 따른 지오레퍼런싱 과정을 수행하여 위치 및 자세 관련 데이터 등 외부표정요소를 보정해나가며 영상에 포함된 지상물(또는 영상점)의 좌표나 촬영 위치의 위치 및 자세를 추정할 수 있고 해당 촬영 시의 위치 및 자세에 대응된 지오레퍼런싱된 영상을 획득할 수 있다.
이와 같은 지오레퍼런싱(georeferencing, 지리참조)을 통해 각 지상 좌표에서 촬영될 때의 영상인 기준 지오레퍼런싱된 영상(영상점들의 지상 좌표 포함)에 대해 영상 취득 시의 각 카메라 위치와 자세가 명시되어(구분되어) 데이터베이스(122)에 미리 구축되어 저장되어 있으며, 영상 검색모듈(123)은 이와 같은 영상 데이터베이스(122)에서 사용자 단말(110)의 카메라 영상과 유사한 영상이 포함된 기준 지오레퍼런싱 영상을 검색할 수 있다.
영상 매칭 모듈(124)은 사용자 단말(110)의 카메라 영상과 영상 검색모듈(123)에서 검색된 상기 기준 지오레퍼런싱 영상을 비교해 매칭된 영상에 대한 카메라 촬영 위치(φ,λ,h)에 대응되는 영상점 좌표를 공액점으로서 추출할 수 있다(도 3의 S40). 이때 사용자 단말(110)이 전송하는 카메라 영상과 상기 검색된 기준 지오레퍼런싱 영상을 서로 비교한 공액점 이외에, 사용자 단말(110)이 전송하는 복수의 카메라 영상의 두 영상씩 비교해 매칭된 영상 부분에 대한 하나 이상의 공액점들을 더 추출할 수 있으며, 이와 같이 추출된 복수의 공액점이 가장 오차가 작도록 한점에서 만나도록 하는 신뢰성있는 공액점이 계산될 수 있다.
예를 들어, 하나의 지상점에 대해 동일 영상으로 추정된 카메라 영상과 영상 검색모듈(123)에서 검색된 기준 지오레퍼런싱 영상이 매칭된 부분의 영상점들은 소정의 공선방정식에서 하나의 직선 상에 존재하는 조건을 만족하여야 한다. 그러나, 동일 지상점이라 하더라도 영상점(공액점) 좌표의 오차로 인해 하나의 해당 지상점에서 만나지 않는 경우가 있으므로, 최소 제곱법(method of least squares)을 이용하여 하나의 지상점에 대한 복수 공선방정식의 직선들이 가장 오차가 작은 근접 범위에서 만나도록 하는 점을 신뢰성있는 공액점으로 계산할 수 있다.
이와 같이 공액점이 산출되면, 연속번들 조정모듈(125)은 공액점을 이용해 해당 공액점을 획득할 수 있는(해당 카메라 영상이 나오게 하는) 최종 외부표정요소를 결정하기 위하여, 위와 같이 매칭된 카메라 영상(들) 또는 기준 지오레퍼런싱된 영상(들)(또는 영상의 영상점들) 부분에 대해 초기 위치자세 결정 모듈(121)이 결정한 초기 외부 표정요소(초기 위치 정보와 자세 정보)를 보정하여 사용자 단말(110)의 최종 외부표정요소(최종 위치 정보와 자세 정보)를 결정하고(도 3의 S50), 사용자 단말(110)로 피드백할 수 있다(도 3의 S60). 이때 연속번들 조정모듈(125)은 사용자 단말(110)이 실시간 전송하는 PA 센서정보와 카메라 영상에 대하여 연속적으로 최종 위치 정보와 자세 정보를 결정하여 사용자 단말(110)로 실시간 피드백하게 된다. 이때 데이터베이스(122)에 저장된 매칭된 해당 부분의 기준 지오레퍼런싱된 영상(영상점들의 지상 좌표 포함)이 참조될 수 있으며, 연속번들 조정모듈(125)은 Bundle Block Adjustment기반의 무기준점 AT(Aerial Triangulation)에 따른 지오레퍼런싱 과정을 수행하여 초기 외부 표정요소(초기 위치 정보와 자세 정보)에 대한 보정을 수행하며 해당 영상을 촬영하는 사용자 단말(110)의 지상 (촬영) 좌표를 정밀하게 추정할 수 있다.
AT 수행 모델에 대하여 한국측량학회지, 제27권 제2호, 2009. 4：pp. 249~260, "UAV 기반 저가 멀티센서시스템을 위한 무기준점 AT를 이용한 영상의 Georeferencing"를 참조할 수 있다. AT에 따른 지오레퍼런싱은 영상 획득시의 카메라, 즉 사용자 단말(110)의 위치 및 자세를 결정하는 Indirect 방법 중의 하나로서, 연속번들 조정모듈(125)은 무기준점 AT에서의 소정의 수학적 모델(Gauss -Markov with Stochastic Constraints 모델)을 이용하고 위와 같이 매칭된 영상(들)(또는 영상의 영상점들) 부분에 대해, 데이터베이스(122)의 각 카메라 위치 및 자세에 대한 기준 지오레퍼런싱된 영상(영상점들의 지상 좌표 포함)을 참조하여, 지상 기준점없이 위와 같은 초기 외부표정요소(초기 위치 정보와 자세 정보)에 대해 최소 제곱법(method of least squares)을 적용하여, 위와 같은 수학적 모델의 소정 정규 방정식을 반복 계산함으로써, 최종적으로 수렴되는 최종 외부표정요소(최종 위치 정보와 자세 정보)를 추정할 수 있다. 이와 같이 과정에 따라 위와 같은 수학적 모델에 따른 소정 정규 방정식에서 해당 매칭된 기준 영상 부분에 대해 상기 공액점을 획득할 수 있는 가장 에러가 적은 최종 위치 정보와 자세 정보가 해당 카메라 영상이 나오게 하는 위치 및 자세 정보로서 추정될 수 있다.
위에서 기술한 바와 같이, 사용자 단말(110)이 네트워크 상의 위치자세 결정서버(120)와 연동하여 사용자 단말(110)의 해당 위치 정보와 자세 정보를 정밀하게 피드백받는 과정을 예시하였으나, 이에 한정되지 않으며 위와 같은 위치자세 결정서버(120)의 구성 요소들을 사용자 단말(110)에 위치자세 결정 장치로서 내장함으로써, 사용자 단말(110)이 직접 위와 같은 최종 외부표정요소를 추정하여 사용할 수도 있다. 즉, 사용자 단말(110)은 센서 모듈(111), 카메라(112), 및 수집 전송 모듈(113)을 포함할 뿐만 아니라, 초기 위치자세 결정 모듈(121), 영상 데이터베이스(122), 영상 검색모듈(123), 영상 매칭 모듈(124), 및 연속번들 조정모듈(125)을 모두 포함할 수도 있다. 이때, 사용자 단말(110)은 위치 및 자세 관련 센서정보와 카메라 영상 등을 네트워크 상의 서버로 전송할 필요없이 직접 위와 같은 정밀한 최종 외부표정요소를 추정할 수 있다.
사용자 단말(110)은 자체에서 직접 추정한 최종 외부표정요소, 또는 네트워크 상의 위치자세 결정서버(120)로부터 정밀하게 추정되어 피드백된 최종 외부표정요소, 즉, 최종 위치 정보(φ,λ,h)(위도, 경도, 고도 등) 또는 자세 정보(θRoll, θP it ch, θYaw)를 기초로 네트워크 상의 LBS서버와 통신하여 해당 위치나 자세와 관련된 서비스 정보를 수신하여 화면의 지도 위에 해당 정보를 표시할 수 있게 된다. 예를 들어, 사용자 단말(110)은 내비게이션 시스템과 같이 지도 위에 좀 더 정교한 길 안내 서비스를 제공할 수 있으며, 좀 더 정교하게 해당 자세에 맞는 (가상) 영상을 합성하는 증강현실 서비스가 가능하고, 기타 사용자 단말(110)의 정교한 위치와 자세에 맞는 다양한 추가적 정보제공의 제공이 가능하다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (8)

  1. 네트워크를 통해 연동하는 사용자 단말에서 전송하는 위치 및 자세 관련 센서정보와 카메라 영상에 대하여 상기 사용자 단말의 해당 위치 정보와 자세 정보를 결정하여 피드백하는 위치자세결정 서버를 포함하고,
    상기 위치자세결정 서버는, 상기 센서정보를 기초로 상기 사용자 단말의 초기 위치 정보와 자세 정보를 결정하는 초기 위치자세 결정 모듈;
    지오레퍼런싱을 통해 획득된 영상 취득 시의 각 카메라 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 데이터베이스;
    상기 데이터베이스를 참조하여 상기 카메라 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 검색모듈;
    상기 카메라 영상과 상기 검색된 기준 지오레퍼런싱 영상을 비교해 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 영상매칭모듈; 및
    상기 데이터베이스를 참조해 상기 공액점에 대응되는 상기 사용자 단말의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해 AT(Aerial Triangulation)에 따른 지오레퍼런싱 과정으로 상기 초기 위치 정보와 상기 자세 정보를 보정하는 연속번들조정모듈
    을 포함하는 것을 특징으로 하는 사용자 단말의 위치자세 결정 시스템.
  2. 제1항에 있어서,
    상기 센서정보는 GPS 모듈에서 측정한 위치 데이터, 컴파스 모듈에서 측정한 방향 데이터, 자이로 센서에서 측정한 자세 데이터, 또는 가속도 센서에서 측정한 가속도 데이터를 포함하는 것을 특징으로 하는 사용자 단말의 위치자세 결정 시스템.
  3. 제1항에 있어서,
    상기 영상매칭모듈은 상기 사용자 단말이 전송하는 복수의 카메라 영상의 두 영상씩 비교한 하나 이상의 공액점과 상기 사용자 단말이 전송하는 카메라 영상과 상기 검색된 기준 지오레퍼런싱 영상을 서로 비교한 공액점을 추출하고, 추출된 복수의 공액점이 가장 오차가 작도록 한점에서 만나도록 하는 신뢰성있는 상기 공액점을 추출하는 것을 특징으로 하는 사용자 단말의 위치자세 결정 시스템.
  4. 제1항에 있어서,
    상기 연속번들조정모듈은 상기 사용자 단말이 실시간 전송하는 센서정보와 카메라 영상에 대하여 상기 최종 위치 정보와 자세 정보를 결정하여 상기 사용자 단말로 실시간 피드백하는 것을 특징으로 하는 사용자 단말의 위치자세 결정 시스템.
  5. 제1항에 있어서,
    상기 사용자 단말은 피드백된 상기 최종 위치 정보 또는 상기 자세 정보를 기초로 네트워크 상의 다른 서버와 통신하여 해당 위치나 자세와 관련된 서비스 정보를 수신하여 화면의 지도 위에 해당 정보를 표시하는 것을 특징으로 하는 사용자 단말의 위치자세 결정 시스템.
  6. 사용자 단말과 네트워크를 통해 연동하는 서버에서 사용자 단말이 획득한 위치 및 자세 관련 정보를 보정하여 피드백하기 위한 사용자 단말의 위치자세 결정 방법에 있어서,
    상기 서버는 사용자 단말이 전송하는 위치 및 자세 관련 센서정보와 카메라 영상에 대하여 상기 사용자 단말의 해당 위치 정보와 자세 정보를 결정하여 피드백하며,
    상기 서버에서, 상기 센서정보를 기초로 상기 사용자 단말의 초기 위치 정보와 자세 정보를 결정하는 단계;
    지오레퍼런싱을 통해 획득된 영상 취득 시의 각 카메라 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 데이터베이스를 참조하여 상기 카메라 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 단계;
    상기 카메라 영상과 상기 검색된 기준 지오레퍼런싱 영상을 비교해 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 단계; 및
    상기 데이터베이스를 참조해 상기 공액점에 대응되는 상기 사용자 단말의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해AT(Aerial Triangulation)에 따른 지오레퍼런싱 과정으로 상기 초기 위치 정보와 상기 자세 정보를 보정하는 단계
    를 포함하는 것을 특징으로 하는 사용자 단말의 위치자세 결정 방법.
  7. 사용자 단말의 위치자세 결정 장치에 있어서,
    카메라 영상을 획득하기 위한 카메라;
    위치 및 자세 관련 센서정보를 측정하는 센서 모듈;
    상기 센서정보를 기초로 초기 위치 정보와 자세 정보를 결정하는 초기 위치자세 결정 모듈;
    지오레퍼런싱을 통해 획득된 영상 취득 시의 각 카메라 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 데이터베이스;
    상기 데이터베이스를 참조하여 상기 카메라 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 검색모듈;
    상기 카메라 영상과 상기 검색된 기준 지오레퍼런싱 영상을 비교해 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 영상매칭모듈; 및
    상기 데이터베이스를 참조해 상기 공액점에 대응되는 상기 사용자 단말의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해 AT(Aerial Triangulation)에 따른 지오레퍼런싱 과정으로 상기 초기 위치 정보와 상기 자세 정보를 보정하는 연속번들조정모듈
    을 포함하는 것을 특징으로 하는 사용자 단말의 위치자세 결정 장치.
  8. 사용자 단말에서 위치자세 결정 방법에 있어서,
    카메라를 이용하여 카메라 영상을 획득하는 단계;
    하나 이상의 센서를 이용하여 위치 및 자세 관련 센서정보를 측정하는 단계;
    상기 센서정보를 기초로 초기 위치 정보와 자세 정보를 결정하는 단계;
    지오레퍼런싱을 통해 획득된 영상 취득 시의 각 카메라 위치와 자세가 명시된 기준 지오레퍼런싱 영상을 미리 저장한 데이터베이스를 참조하여 상기 카메라 영상과 유사한 영상을 포함하는 기준 지오레퍼런싱 영상을 검색하는 단계;
    상기 카메라 영상과 상기 검색된 기준 지오레퍼런싱 영상을 비교해 매칭된 영상의 위치에 대응되는 영상점 좌표를 공액점으로서 추출하는 단계; 및
    상기 데이터베이스를 참조해 상기 공액점에 대응되는 상기 사용자 단말의 최종 위치 정보와 자세 정보를 결정하기 위하여, 상기 매칭된 영상에 대해 AT(Aerial Triangulation)에 따른 지오레퍼런싱 과정으로 상기 초기 위치 정보와 상기 자세 정보를 보정하는 단계
    를 포함하는 것을 특징으로 하는 사용자 단말에서 위치자세 결정 방법.
KR20120043618A 2012-04-26 2012-04-26 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템 KR101356192B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR20120043618A KR101356192B1 (ko) 2012-04-26 2012-04-26 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템
US14/397,275 US9749809B2 (en) 2012-04-26 2012-11-14 Method and system for determining the location and position of a smartphone based on image matching
EP12875140.1A EP2844009B1 (en) 2012-04-26 2012-11-14 Method and system for determining location and position of image matching-based smartphone
PCT/KR2012/009568 WO2013162140A1 (ko) 2012-04-26 2012-11-14 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템
CN201280072738.8A CN104335649B (zh) 2012-04-26 2012-11-14 基于图像匹配的确定智能手机位置和姿态的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20120043618A KR101356192B1 (ko) 2012-04-26 2012-04-26 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20130120598A true KR20130120598A (ko) 2013-11-05
KR101356192B1 KR101356192B1 (ko) 2014-01-24

Family

ID=49483401

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20120043618A KR101356192B1 (ko) 2012-04-26 2012-04-26 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템

Country Status (5)

Country Link
US (1) US9749809B2 (ko)
EP (1) EP2844009B1 (ko)
KR (1) KR101356192B1 (ko)
CN (1) CN104335649B (ko)
WO (1) WO2013162140A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180026291A (ko) * 2016-09-02 2018-03-12 변규민 증강현실을 이용한 음악컨텐츠 서비스 제공방법

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140227977A1 (en) * 2013-02-12 2014-08-14 Zary Segall Method, node, device, and computer program for interaction
IL228735B (en) * 2013-10-06 2018-10-31 Israel Aerospace Ind Ltd A system and method for determining target direction
CN103900473A (zh) * 2014-03-31 2014-07-02 浙江大学 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法
WO2016017253A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN105578591A (zh) * 2014-10-10 2016-05-11 华为技术有限公司 定位的方法、定位服务器和终端
GB2546954A (en) * 2015-04-17 2017-08-09 Cinime Asia Pacific Pte Ltd A location method and system
KR102432806B1 (ko) * 2015-10-26 2022-08-12 한화테크윈 주식회사 감시 시스템 및 그 제어 방법
CN107666492B (zh) * 2016-07-25 2021-07-27 中兴通讯股份有限公司 一种控制方法、服务传感器、服务装置及终端
CN106681000B (zh) * 2016-11-22 2020-09-11 宇龙计算机通信科技(深圳)有限公司 一种增强现实注册装置及其方法
CN106803844B (zh) * 2017-03-01 2019-02-15 维沃移动通信有限公司 一种灯光控制方法及移动终端
US20180350055A1 (en) * 2017-06-01 2018-12-06 Tesla, Inc. Augmented reality feature detection
CN111492596A (zh) 2017-12-19 2020-08-04 松下电器（美国）知识产权公司 发送方法、接收方法、发送装置、以及接收装置
CN110514181A (zh) * 2018-05-22 2019-11-29 杭州萤石软件有限公司 一种电子设备定位方法和装置
CN108897830B (zh) * 2018-06-22 2022-04-29 北京邮电大学 一种定位方法及装置
CN111143489B (zh) * 2018-11-06 2024-01-09 北京嘀嘀无限科技发展有限公司 基于图像的定位方法及装置、计算机设备和可读存储介质
US11924709B2 (en) * 2019-01-07 2024-03-05 Signify Holding B.V. Controller, system and method for providing a location-based service to an area
CN110275968A (zh) * 2019-06-26 2019-09-24 北京百度网讯科技有限公司 图像数据处理方法和装置
DE102019211871B4 (de) * 2019-08-07 2021-04-22 Siemens Schweiz Ag Verfahren und Anordnung zur Darstellung von technischen Objekten
US11871114B2 (en) * 2019-10-04 2024-01-09 Visit Inc. System and method for producing panoramic image content
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
JP2023501952A (ja) 2019-10-31 2023-01-20 マジック リープ， インコーポレイテッド 持続座標フレームについての品質情報を伴うクロスリアリティシステム
KR20220008328A (ko) * 2019-11-02 2022-01-20 가마니아 디지털 엔터테인먼트 코., 엘티디 실제와 가상을 결합한 위치 추적 방법
CN111026107B (zh) * 2019-11-08 2024-06-25 北京外号信息技术有限公司 用于确定可移动物体的位置的方法和系统
CN115398314A (zh) 2020-02-13 2022-11-25 奇跃公司 使用多分辨率帧描述符进行地图处理的交叉现实系统
CN113473379B (zh) * 2020-03-31 2022-08-30 安克创新科技股份有限公司 一种判断目标是否回到指定地点的方法
CN113654548A (zh) * 2021-07-16 2021-11-16 北京百度网讯科技有限公司 定位方法、装置、电子设备及存储介质
KR102650141B1 (ko) * 2021-12-09 2024-03-20 서정호 위치기반 증강현실 제어 시스템
CN115633122B (zh) * 2022-12-07 2023-03-28 广州市影擎电子科技有限公司 基于手机的伺服运动轨迹录制方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328134A (ja) 2003-04-22 2004-11-18 Fuji Photo Film Co Ltd 画像処理サーバ
EP1839193A1 (en) * 2004-12-31 2007-10-03 Nokia Corporation Provision of target specific information
EP3112802B1 (en) 2007-02-16 2019-10-09 Mitsubishi Electric Corporation Road feature measurement apparatus and road feature measuring method
KR101013751B1 (ko) * 2009-07-09 2011-02-14 주식회사 인스프리트 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템
KR101557663B1 (ko) * 2009-07-09 2015-10-07 에스케이플래닛 주식회사 증강 현실을 이용한 위치 기반 서비스 제공 방법과 그를 위한 시스템, 서버 및 휴대용 단말기
KR101092104B1 (ko) * 2009-08-26 2011-12-12 주식회사 팬택 3차원 위치영상 제공 방법 및 시스템
KR101648339B1 (ko) 2009-09-24 2016-08-17 삼성전자주식회사 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치
JP4821903B2 (ja) 2009-09-30 2011-11-24 カシオ計算機株式会社 表示端末、サーバ装置、画像共有システム、及び画像共有方法
US8427536B2 (en) * 2009-11-19 2013-04-23 Qualcomm Incorporated Orientation determination of a mobile station using side and top view images
KR101080078B1 (ko) 2009-12-08 2011-11-04 숭실대학교산학협력단 통합센서 기반의 모션 캡쳐 시스템
FR2960082B1 (fr) 2010-05-17 2012-08-10 Commissariat Energie Atomique Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180026291A (ko) * 2016-09-02 2018-03-12 변규민 증강현실을 이용한 음악컨텐츠 서비스 제공방법

Also Published As

Publication number Publication date
WO2013162140A1 (ko) 2013-10-31
EP2844009B1 (en) 2018-07-11
KR101356192B1 (ko) 2014-01-24
US9749809B2 (en) 2017-08-29
CN104335649A (zh) 2015-02-04
CN104335649B (zh) 2018-09-21
EP2844009A1 (en) 2015-03-04
US20150126223A1 (en) 2015-05-07
EP2844009A4 (en) 2015-12-30

Similar Documents

Publication Publication Date Title
KR101356192B1 (ko) 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템
JP5255595B2 (ja) 端末位置特定システム、及び端末位置特定方法
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN112785715B (zh) 虚拟物体显示方法以及电子设备
CA2762743C (en) Updating map data from camera images
JP2001503134A (ja) 携帯可能な手持ちデジタル地理データ・マネージャ
TW201142749A (en) Orientation determination of a mobile station using side and top view images
KR101413011B1 (ko) 위치 정보 기반 증강현실 시스템 및 제공 방법
JP5843288B2 (ja) 情報提示システム
KR101708820B1 (ko) 거리 및 고도 측정 장치, 이를 포함하는 데이터 구축 시스템 및 거리 및 고도 측정 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102622585B1 (ko) 실내 길안내 장치 및 그 방법
US20130314443A1 (en) Methods, mobile device and server for support of augmented reality on the mobile device
JP2014182479A (ja) 姿勢によって拡張現実感の表示を制御する情報端末、システム、プログラム及び方法
US8463299B1 (en) Displaying a digital version of a paper map and a location of a mobile device on the digital version of the map
US20120026324A1 (en) Image capturing terminal, data processing terminal, image capturing method, and data processing method
KR20100060472A (ko) 위치 측정 방법 및 이를 이용한 휴대 단말기
KR100878781B1 (ko) 휴대 단말기를 이용하여 구조물의 크기 및 좌표를 측정하는측량 방법
KR101601726B1 (ko) 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템
KR20210016757A (ko) 기지국 안테나 정보 관리 시스템 및 방법
EP3956690B1 (en) System and method for converging mediated reality positioning data and geographic positioning data
KR102010252B1 (ko) 증강 현실 서비스 제공 장치 및 방법
JP6546940B2 (ja) 方位推定装置、撮影・地図表示装置、方法、及びプログラム
JP2005134242A (ja) ナビゲーションシステム、ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム
WO2024057779A1 (ja) 情報処理装置、プログラムおよび情報処理システム
JP2004233169A (ja) 位置情報補正方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170111

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171123

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 7