KR20160061401A - 하이브리드 포토 네비게이션 및 맵핑 - Google Patents

하이브리드 포토 네비게이션 및 맵핑 Download PDF

Info

Publication number
KR20160061401A
KR20160061401A KR1020167010904A KR20167010904A KR20160061401A KR 20160061401 A KR20160061401 A KR 20160061401A KR 1020167010904 A KR1020167010904 A KR 1020167010904A KR 20167010904 A KR20167010904 A KR 20167010904A KR 20160061401 A KR20160061401 A KR 20160061401A
Authority
KR
South Korea
Prior art keywords
measurements
images
pose
measurement
image
Prior art date
Application number
KR1020167010904A
Other languages
English (en)
Other versions
KR101750469B1 (ko
Inventor
마크 레오 뫠그레인
마크 레오 ?그레인
크리스토퍼 브루너
휘 차오
무랄리 라마스와미 차리
아르빈드 라마난단
마헤쉬 라마찬드란
아비스헤크 티아기
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160061401A publication Critical patent/KR20160061401A/ko
Application granted granted Critical
Publication of KR101750469B1 publication Critical patent/KR101750469B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1654—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with electromagnetic compass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0263—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0263—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems
    • G01S5/0264—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems at least one of the systems being a non-radio wave positioning system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G06K9/00671—
    • G06T7/0018—
    • G06T7/2046—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H04W4/028—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H04W4/043—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

개시된 실시예들은, 구조 내의 그리고 주변의 위치들을 배회하면서, 구조의 일련의 외부 및 내부 이미지들의 캡쳐와 함께 복수의 센서들로부터 복수의 측정 세트들을 획득한다. 각각의 측정 세트는 적어도 하나의 이미지와 관련될 수 있다. 구조의 외부 구조적 엔벨로프는 구조의 외부 이미지들 및 UE의 대응하는 실외 궤적으로부터 결정된다. 구조 및 구조적 엔벨로프의 포지션 및 방향이 절대 좌표로 결정된다. 더욱이, 절대 좌표의 구조의 실내 맵이 구조의 내부 이미지들, 절대 좌표의 구조적 엔벨로프, 및 내부 이미지들을 캡쳐하기 위해 실내 영역의 배회 동안 UE의 실내 궤적과 관련된 측정들에 기초하여 획득될 수 있다.

Description

하이브리드 포토 네비게이션 및 맵핑{HYBRID PHOTO NAVIGATION AND MAPPING}
관련 출원들에 대한 상호 참조
[0001] 본 출원은, “Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation”이라는 명칭으로 2013년 9월 27일 출원된 미국 가출원 제 61/883,921호를 우선권으로 청구하는 “Hybrid Photo Navigation and Mapping”이라는 명칭으로 2014년 9월 25일자로 출원된 미국 출원 번호 제 14/497,219호를 우선권으로 청구하며, 이 두 출원은 본 명세서에서 그 전체가 인용에 의해 포함된다.
[0002] 본 명세서에 개시된 특허 요지는 일반적으로 지상파 포지셔닝 시스템(terrestrial positioning system)들에 관한 것이며, 특히 하이브리드 포토 네비게이션 및 맵핑을 위한 시스템들 및 방법에 관한 것이다.
[0003] 셀룰러 폰과 같은 단말의 위치를 아는 것이 종종 바람직하다. 예를 들어, 위치 서비스(LCS) 클라이언트는 긴급 서비스 콜의 경우 단말의 위치를 알거나, 네비게이션 보조 또는 방향 탐지와 같은 일부 서비스를 단말의 사용자에게 제공하고 싶어할 수 있다. "위치" 및 "포지션"이라는 용어는 동의어이며 본 명세서에서 상호 교환적으로 사용된다.
[0004] 모바일 디바이스와 같은 사용자 장비(UE)의 위치를 결정하는 일 방법은, 다수의 안테나들로부터의 신호 도달 시간의 측정에 기초한다. 예를 들어, UE는 복수의 기지국 안테나들로부터 수신된 신호들의 시간 차들을 측정할 수 있다. 기지국 안테나들의 위치들이 알려져 있기 때문에, 관측된 시간 차들은 단말의 위치를 계산하는데 사용될 수 있다.
[0005] UE는 측정 계산을 수행하기 위해 기지국 알마낵(BSA)을 사용할 수 있고 그리고/또는 포지션 계산을 위해 위치 서버에 측정치들을 전송할 수 있다. AFLT(Advanced Forward Link Trilateration)는 CDMA(Code Division Multiple Access) 시스템들에서 지상파 포지셔닝을 설명하기 위해 사용되는 한편, 용어 OTDOA(Observed Time Difference of Arrival)라는 용어는 WCDMA(Wideband CDMA) 및 LTE(Long Term Evolution) 시스템들의 상황에서 사용된다.
[0006] 그러나 현재의 위치 포지셔닝(position location) 솔루션들은 실외 맵핑/네비게이션에 초점을 맞추고 있는데, 여기서 GNSS(Global Navigation Satellite System) 및/또는 지상파 셀룰러(AFLT/OTDOA/Reference Signal Time Difference (RSTD))가 UE의 포지션을 결정하기 위해 사용될 수 있다. 대조적으로, SPS/지상 신호들이 비존재할 수 있고, 다중경로에 의해 제한 및/또는 영향받을 수 있는 실내 위치들의 경우, 쉽게 배치가능한 비용 효율적인 포지셔닝/네비게이션 시스템들이 존재하지 않는다. 더욱이, 대규모 스케일에 대한 실내 네비게이션을 보조하기 위한 실내 맵들의 포착 및/유지는 엄청나게 비용이 드는 것으로 확인되었다.
[0007] 네비게이션 보조들로서의 실내 맵들의 사용은 실외로부터 실내 맵들로의 정확하고 끊김 없는 전환 모두에 의해 촉진된다. 예를 들어, 외부 콘텐츠를 또한 제공(예컨데, 더 큰 영역 맵에서 실외에 관련한 룸 및/또는 빌딩 위치를 표시)하면서, 빌딩의 룸 내에서 UE를 로컬화하는 능력은 사용자 방향 및 네비게이션 지원을 제공할 때 도움이 될 수 있다. 전형적으로, 현재 SPS/무선 네비게이션 시스템들은, 심지어 이용가능하더라도, 실내 맵핑/네비게이션 솔루션을 위한 적절한 정확성을 제공하지 않는다.
[0008] 따라서, 네트워크 와이드 실내 네비게이션 시스템의 배치를 부분적으로 지원하기 위해 실내 맵들을 포함하는 맵들을 비용 효율적으로 포착 및 유지하기 위해 일관성 있는 전략들이 요구된다.
[0009] 일부 실시예들에서, 사용자 장비(UE) 상에서의 방법은, 구조 내의 복수의 위치들을 배회할 때 구조의 내부의 복수의 이미지들을 캡쳐하는 단계; 복수의 측정 세트들을 캡쳐하는 단계 ―각각의 측정 세트는 적어도 하나의 이미지에 대응하고, 각각의 측정 세트는 IMU(Inertial Measurement Unit) 측정들 또는 이용가능한 무선 측정들 중 적어도 하나를 포함함―; 캡쳐된 이미지들 및 복수의 측정 세트들에 부분적으로 기초하여 UE의 궤적을 추정하는 단계를 포함할 수 있다. 일부 실시예들에서, 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들을, UE에 무선으로 커플링된 서버에 전송될 수 있고; 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들에 기초하여, 구조의 실내 맵이 서버로부터 수신될 수 있으며, 여기서 실내 맵은 절대 좌표에 등록되고 UE의 수정된 궤적에 관련된 정보를 포함한다.
[0010] 다른 양상에서, 사용자 장비(UE)는, 구조 내의 복수의 위치들을 배회할 때 구조의 내부의 복수의 이미지들을 캡쳐하도록 구성된 카메라; IMU(Inertial Measurement Unit)를 포함하는 복수의 센서들; 이용가능한 무선 신호들의 측정을 취하도록 구성된 무선 모듈; 및 카메라, 센서들 및 무선 모듈에 커플링된 프로세서를 포함할 수 있다. 일부 실시예들에서, 프로세서는, 구조의 내부의 복수의 이미지들을 획득하고, 복수의 측정 세트들을 획득하고 ―각각의 측정 세트는 복수의 이미지들 중 적어도 하나의 이미지에 대응하고, 각각의 측정 세트는 IMU 측정들 및 이용가능한 무선 측정들 중 적어도 하나를 포함함―, 캡쳐된 이미지들 및 복수의 측정 세트들에 부분적으로 기초하여 UE의 궤적을 추정하고, 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들을, UE에 무선으로 커플링된 서버에 전송하고, 그리고 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들에 기초하여, 서버로부터 구조의 실내 맵을 수신하도록 구성될 수 있고, 실내 맵은 절대 좌표에 등록되고 UE의 수정된 궤적에 관련된 정보를 포함하다.
[0011] 추가의 양상에서, 사용자 장비(UE)는, 구조 내의 복수의 위치들을 배회할 때 구조의 내부의 복수의 이미지들을 캡쳐하도록 구성된 이미징 수단, IMU(Inertial Measurement Unit)를 포함하는 센싱 수단, 이용가능한 무선 신호들의 측정을 취하도록 구성된 무선 측정 수단, 구조의 내부의 복수의 이미지들을 획득하기 위한 수단, 복수의 측정 세트들을 획득하기 위한 수단 ―각각의 측정 세트는 복수의 이미지들 중 적어도 하나의 이미지에 대응하고, 각각의 측정 세트는 IMU 측정들 및 이용가능한 무선 측정들 중 적어도 하나를 포함함―, 캡쳐된 이미지들 및 복수의 측정 세트들에 부분적으로 기초하여 UE의 궤적을 추정하기 위한 수단, 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들을, UE에 무선으로 커플링된 서버에 전송하기 위한 수단, 그리고 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들에 기초하여, 서버로부터 구조의 실내 맵을 수신하기 위한 수단을 포함할 수 있고, 실내 맵은 절대 좌표에 등록되고 UE의 수정된 궤적에 관련된 정보를 포함한다.
[0012] 개시된 실시예들은 또한, 명령들을 포함하는 비일시적 컴퓨터 판독 가능 매체에 관련되며, 이 명령들은 프로세서에 의해 실행될 때 프로세서로 하여금, 구조 내의 복수의 위치들을 배회할 때 구조의 내부의 복수의 이미지들을 캡쳐하고; 복수의 측정 세트들을 캡쳐하고 ―각각의 측정 세트는 적어도 하나의 이미지에 대응하고, 각각의 측정 세트는 IMU(Inertial Measurement Unit) 측정들 또는 이용가능한 무선 측정들 중 적어도 하나를 포함함―; 캡쳐된 이미지들 및 복수의 측정 세트들에 부분적으로 기초하여 UE의 궤적을 추정하고; 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들을, UE에 무선으로 커플링된 서버에 전송하고; 그리고 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들에 기초하여, 서버로부터 구조의 실내 맵을 수신하도록 구성되게 하며, 실내 맵은 절대 좌표에 등록되고 UE의 수정된 궤적에 관련된 정보를 포함한다.
[0013] 개시된 방법들은, LPP, LPPe 또는 다른 프로토콜들을 사용하여, 서버들(위치 서버들을 포함함), 이동국들 등 중 하나 또는 그 초과에 의해 수행될 수 있다. 개시된 실시예들은 또한, 비일시적 컴퓨터 판독 가능 매체 또는 컴퓨터 판독 가능 메모리를 이용하여 프로세서에 의해 생성되거나, 저장되거나, 액세스되거나, 판독되거나 변경되는 프로그램 명령들, 펌웨어 및 소프트웨어와 관련된다.
[0014] 도 1a는 개시된 실시예들에 따른 방식으로 하이브리드 포토 네비게이션 및 맵핑을 지원하도록 이네이블된 UE의 특정한 예시적인 특징들을 설명하는 개략적인 블록도를 도시한다.
[0015] 도 1b는 예시적인 웨어러블 사용자 디바이스를 도시한다.
[0016] 도 2는 위치 지원 데이터 또는 위치 정보의 전달을 포함하는 UE들로의 위치 서비스들을 제공할 수 있는 시스템의 구조를 도시한다.
[0017] 도 3a 및 3b는 관련된 위치 정확도, 포지셔닝 모호성 및 전력 소비와 함께 다양한 상황들에서 상이한 포지셔닝 기술들의 유용성을 나타내는 표들을 도시한다.
[0018] 도 4는 개시된 실시예들에 따른 방식으로 맵핑을 수행할 수 있는 예시적인 애플리케이션(400)의 블록도이다.
[0019] 도 5a는 SV(satellite vehicle)들 및/또는 무선 네트워크로부터의 신호 수신이 이용가능할 수 있는 위치에 있는 사용자를 도시한다.
[0020] 도 5b는 실내 네비게이션 시스템을 위한 타겟들을 생성 및 맵핑하기 위한 예시적인 접근 방식을 설명하는, 소매점의 단순화된 오버헤드 뷰이다.
[0021] 도 6a는 무선 맵 생성을 위한 예시적인 방법의 흐름도를 도시한다.
[0022] 도 6b는 UE가 궤도를 따름에 따라 시간적으로 다양한 위치들 및 포인트들에서 발생할 수 있는 시선(Line of Sight) 및 비시선(Non Line of Sight) 상황들을 도시한다.
[0023] 도 7a는 구조 내의 이동국과 함께 사용자를 도시한다.
[0024] 도 7b는 실내 위치에서 모바일 디바이스 상의 카메라에 의해 캡쳐된 이미지를 도시한다.
[0025] 도 8은 개시된 실시예들에 따른 데이터 수집을 맵핑하는 예시적인 방법의 흐름도를 도시한다.
[0026] 도 9는 하이브리드 포토 맵핑 동안 예시적인 고레벨 데이터 흐름을 도시한다.
[0027] 도 10a-10c는 포토, 무선, 자기 및 기압 데이터에 기초한, 맵 생성을 위한 방법을 설명하는 흐름도를 도시한다.
[0028] 도 11은 MS의 위치를 결정할 수 있는 시스템에서 일부 엔티티들을 설명하는 간략화된 블록도를 도시한다.
[0029] 도 12는 포지션 결정 및 크라우드소싱된(crowdsourced) 맵 생성 및 네비게이션을 지원하도록 이네이블된 서버를 설명하는 간략화된 블록도를 도시한다.
[0030] 도 13은 개시된 실시예들에 따른 하이브리드 포토 맵핑의 예시적인 방법의 흐름도를 도시한다.
[0031] "사용자 디바이스(UD)" 또는 "사용자 장비(UE)"라는 용어는 본 명세서에서 상호 교환가능하게 사용되며, 디바이스, 예컨데 셀룰러 또는 다른 무선 통신 디바이스, 개인 통신 시스템(PCS) 디바이스, 개인 네비게이션 디바이스(PND), 개인 정보 관리기(PIM), 개인 디지털 보조기(PDA), 랩탑, 또는 무선 통신 및/또는 네비게이션 신호들을 수신할 수 있는 다른 적절한 모바일 디바이스를 지칭할 수 있다. 이 용어들은 또한, 위선 신호 수신, 지원 데이터 수신 및/또는 위치 관련 프로세싱이 디바이스 또는 PND에서 발생하는 지에 무관하게, 예컨데, 단거리 무선, 적외선, 유선 접속 또는 다른 접속에 의해 개인 네비게이션 디바이스(PND)와 통신하는 디바이스를 포함하도록 의도된다. UE는 모바일 전화, 노트패드 컴퓨터 또는 랩탑을 대표할 수 있거나, 본 명세서에서 스트리트 맵들 및/또는 지연 및/또는 신호 강도 맵들을 생성하기 위해 상기 측정 세트들을 수집하는 차량일 수 있다.
[0032] 또한, UE, UD, "이동국" 또는 "모바일 디바이스"라는 용어들은 무선 및 유선 통신 디바이스들, 컴퓨터들, 랩탑들 등을 포함하는 모든 디바이스들을 포함하도록 의도되고, 이들은, 위성 신호 수신, 지원 데이터 수신, 및/또는 포지션 관련 프로세싱이 디바이스, 서버 또는 네트워크와 관련된 다른 디바이스에서 발생하는지 무관하게, 예컨데, 인터넷, Wi-Fi, 셀룰러 무선 네트워크, DSL 네트워크, 패킷 케이블 네트워크 또는 다른 네트워크를 통해 서버와 통신할 수 있다. 상기한 것들의 임의의 동작가능한 조합이 또한 사용자 디바이스로 고려된다.
[0033] 도 1a는, 카메라 또는 다른 이미지 기반 기술들을 비롯하여, 무선 신호 및 센서 기반 측정들의 조합에 기반하여 맵핑을 지원하도록 이네이블된 UE(100)의 특정한 예시적인 피쳐들을 설명하는 개략적인 블록도를 도시한다. 또한, 일부 실시예들에서, UE(100)는 또한, 이미지 기반 기술들을 무선 신호 및 센서 기반 기술들과 결합함으로써 하이브리드 포토 네비게이션을 지원할 수 있다. "하이브리드"라는 용어는, 본 명세서에 개시된 실시예들에 따른 방식으로 맵핑 및 네비게이션을 수행하기 위해 센서 기반, 이미지 기반, 및/또는 무선 신호 기반 기술들 중 하나 또는 그 초과의 조합의 사용을 지칭하기 위해 사용된다. 일부 실시예들에서, UE(100)는 하이브리드 포토 맵핑을 지원할 수 있다. 일부 실시예들에서, UE(100)는 하이브리드 포토 네비게이션 및 위치 결정을 추가로 지원할 수 있다.
[0034] MS(100)는, 예를 들어, 하나 또는 그 초과의 프로세싱 유닛들 또는 프로세싱 유닛(들)(150), 메모리(130), 트랜시버(110)(예를 들어, 무선 네트워크 인터페이스), 및 (경우에 따라) GNSS 또는 SPS(Satellite Positioning System) 수신기(140), 및 광학 센서들/카메라(들)(180), 자력계, 고도계, 기압계 및 센서 뱅크(185)(통칭하여 센서들(185)로 지칭됨), IMU(Inertial Measurement Unit)(170), 비일시적 컴퓨터 판독가능 매체(160), 디스플레이(190), 및 메모리(130)를 포함할 수 있으며, 이들은 하나 또는 그 초과의 접속들(120)(예를 들어, 버스들, 라인들, 광섬유들, 링크들 등)으로 서로 동작가능하게 커플링될 수 있다. 특정 예시적인 실시예들에서, UE(100)의 일부 또는 전부는 칩셋 등의 형태를 가질 수 있다. 자력계는 지구의 자계의 방향 및/또는 강도를 측정할 수 있으며, 나침반으로 기능하고 그리고/또는 UE(100)의 이동 방향의 표시를 제공할 수 있다. 고도계는 보정된 레벨을 초과하는 고도의 표시를 제공하도록 사용될 수 있는 한편, 기압계는 대기압의 표시를 제공할 수 있으며, 이들은 고도를 결정하는데 사용될 수 있다.
[0035] GNSS/SPS 수신기(140)는 하나 또는 그 초과의 SPS 리소스들과 관련된 신호들을 수신하도록 이네이블될 수 있다. 수신된 GNSS/SPS 신호들은 UE(100)의 포지션을 결정하기 위해 사용될 수 있다. 트랜시버(110)는, 예를 들어, 무선 통신 네트워크들의 하나 또는 그 초과의 타입들을 통해 하나 또는 그 초과의 신호들을 송신하도록 이네이블되는 송신기(112) 및 무선 통신 네트워크들의 하나 또는 그 초과의 타입들을 통해 송신되는 하나 또는 그 초과의 신호들을 수신하기 위한 수신기(114)를 포함한다.
[0036] 일부 실시예들에서, UE(100)는 이미지 센서들, 예컨데 CCD 또는 CMOS 센서들 및/또는 카메라(들)(180)을 포함할 수 있고, 이들은 이하에서 "카메라(들)(180)"로 지칭된다. 카메라(들)(180)는 광학 이미지를 전자 또는 디지털 이미지로 변환하고 캡쳐된 이미지들을 프로세싱 유닛(들)(150)으로 전송할 수 있다. 예를 들어, 도 1b에 도시된 바와 같이, 일부 실시예들에서, 카메라(들)(180)는 웨어러블 모바일 디바이스에 하우징될 수 있고, 디스플레이(190), 프로세싱 유닛(들)(150) 및/또는 UE(100) 내의 다른 기능 유닛들에 동작가능하게 커플링될 수 있다.
[0037] 일부 실시예들에서, 프로세싱 유닛(들)(150)은 또한, 하나 또는 그 초과의 센서들(185)로부터 입력을 수신할 수 있고, 이들은 다양한 센서들(185), 예컨데, 자력계, 고도계 및/또는 기압계를 포함할 수 있다. 또한, 센서들(185)은 주변 광 센서, 음향 트랜스듀서 예컨데 마이크로폰/스피커들, 초음파 트랜스듀서 및/또는 깊이 정보를 포착하고 그리고/또는 타겟까지의 거리를 결정하기 위해 사용될 수 있는 깊이 센서들 중 하나 또는 그 초과를 포함할 수 있다. 일반적으로, 센서 뱅크(185) 및 총망라는 아닌 전술한 센서들의 리스트는 현대의 스마트폰들 및 다른 모바일 디바이스들에 점점 더 통합되는 트랜스듀서 및 센서들의 다양한 다른 타입들을 포함할 수 있다.
[0038] 일부 실시예들에서, UE(100)는 또한 IMU(Inertial Measurement Unit)(170)를 포함할 수 있다. 일부 실시예들에서, 3축 가속도계(들), 3축 자이로스코프(들), 및/또는 자력계(들)를 포함할 수 있는 IMU(170)는 속도, 방향 및/또는 다른 포지션 관련 정보를 프로세싱 유닛(들)(150)에 제공할 수 있다. 일부 실시예들에서, IMU(170)는 카메라(들)(180)에 의한 각각의 이미지 프레임의 캡쳐에 동기화된 측정 정보 그리고/또는 UE(100)의 센서들(185)에 의해 측정된 측정치들을 평가하고 출력하도록 구성될 수 있다. 일부 실시예들에서, IMU(170)의 출력은 UE(100)의 포지션 및 방향을 결정하기 위해 프로세싱 유닛(들)(150)에 의해 사용될 수 있다.
[0039] "무선 측정"이라는 용어는 본 명세서에서 SPS, 셀룰러, WLAN, WPAN 및 다른 라디오 신호들의 측정을 지칭하도록 사용된다. "비무선 측정"이라는 용어는 (비제한적으로) IMU, 기압계, 고도계 및 자력계 측정을 포함하는 센서 측정을 지칭한다. 일부 실시예들에서, UE에 의한 무선 측정의 캡쳐는 비무선 측정의 캡쳐와 동기될 수 있다. 더욱이, 무선 및/또는 비무선 측정의 캡쳐는 UE에 의한 캡쳐와 동기화될 수 있다. 예를 들어, 측정(무선 및/또는 비무선) 및 캡쳐된 이미지들은 타임스탬핑될 수 있고, 측정 및 이미지들은 타임 스탬프들에 기초하여 서로 관련될 수 있다. 이미지와 측정 및/또는 측정 서로 간의 관련성은 측정/이미지 기록과 동시에 그리고/또는 측정과 관련된 타임스탬프들에 기초하여 더 늦은 시점에 발생할 수 있다.
[0040] "측정 세트"라는 용어는, 어느 한 시점에 또는 어느 한 시점의 일부 특정 간격 내에, 측정 위치에서 UE에 의해 수행된 신호 측정을 지칭하는데 사용된다. 행해진 신호 측정은 맵핑 및/또는 포지션 결정과 관련될 수 있다. 행해진 신호 측정은 또한 UE(100), UE(100)의 성능들, 특정 위치/시간에 UE(100)에 의한 측정에 이용가능한 환경 특성들 및/또는 신호특성들에 의존할 수 있다. 전형적으로, 측정 세트는 이미지(들), 무선 측정 및 비무선 측정을 포함할 수 있고, 여기서 측정 세트의 각각의 엘리먼트는 어느 한 시점의 일부 특정 시간 간격 내에 기록되었을 수 있다. UE(100)에 의해 기록된 측정 세트들은 UE(100) 상의 메모리(130)에 저장되고 그리고/또는 서버로 전송될 수 있으며, 여기서 기록 세트들은 그 측정 위치와 관련된 다른 측정들과 프로세싱 및/또는 어그리게이팅될 수 있다. 예를 들어, 측정 세트들은 기지국 알마낵(BSA) 및/또는 맵핑/위치 결정에 저장될 수 있다.
[0041] 프로세싱 유닛(들)(150)은 하드웨어, 펌웨어 및 소프트웨어의 조합을 사용하여 구현될 수 있다. 일부 실시예들에서, 프로세싱 유닛(들)(150)은 맵핑 모듈(MM)(152), 네비게이션 모듈(NM)(154) 및 위치 지원 데이터 모듈(LADM)(158)을 포함할 수 있다. 일부 구현들에서, LADM(158)은 수신된 위치 지원 데이터를 프로세싱할 수 있다. 위치 지원 데이터는, PRS 지원 정보 등을 포함하여, 계층형 맵 정보 예컨데 다중경로 및 가시성 맵 지원 정보, OTDOA(Observed Time Difference of Arrival) 지원 정보의 형태를 취할 수 있다. 일부 실시예들에서, 프로세싱 유닛(들)(150)은 또한 컴퓨터 비젼 모듈(CVM)(155)을 포함할 수 있으며, 이는 다양한 이미지 프로세싱 및 CV 기능들을 구현할 수 있다.
[0042] 본 명세서에 사용되는 "맵 층"이란 용어는 UE의 포지션 및 포지션 불확실성에 대해 맞춤화된 정보, 예컨데 위치 지원 정보를 지칭한다. 맵의 각 층은 파라미터에 대한 정보를 포함할 수 있고, 여기서 정보는 층들에 공통인 절대 또는 전역 좌표와 관련하여 제공된다. 일반적으로, 맵 층들은 다양한 타입들의 정보를 포함할 수 있다. 예를 들어, 맵 층들은 수신된 신호 강도를 맵 위치들과 상관시키는 수신된 신호 강도 맵 층; 신호 대 잡음비(SNR)들을 맵 위치들과 상관시키는 신호 대 잡음 비(SNR) 맵 층; FLC(Forward Link Calibration) 정보를 맵 위치들과 상관시키는 FLC 층 등; 중 하나 또는 그 초과를 포함할 수 있다.
[0043] 일부 실시예들에서, 카메라(들)(180)는 다수의 카메라들, 프론트 및/또는 리어 페이싱 카메라들, 광각 카메라들을 포함할 수 있고, 또한 CCD, CMOS 및/또는 다른 센서들을 통합할 수 있다. 스틸 및/또는 비디오 카메라들일 수 있는 카메라(들)(180)은 일련의, 환경의 2D(2-Dimensional) 스틸 및/또는 비디오 이미지 프레임들을 캡쳐하고 캡쳐된 이미지 프레임들을 프로세싱 유닛(들)(150)으로 전송할 수 있다. 일부 실시예들에서, 카메라(들)(180)는 웨어러블 카메라, 또는 외부 카메라일 수 있고, 이는 UE(100)의 다른 기능 유닛들에 동작가능하게 커플링될 수 있지만, 상기 다른 기능들과 별개로 하우징될 수 있다. 일 실시예에서, 카메라(들)(180)에 의해 캡쳐된 이미지들은 로우(raw) 비압축 포맷일 수 있고, 프로세싱되고 그리고/또는 메모리(160)에 저장되기 전에 압축될 수 있다. 일부 실시예들에서, 이미지 압축은, 비손실 또는 손실 압축 기술들을 이용하여 프로세싱 유닛(들)(150)에 의해(예를 들어, CVM(155)에 의해) 수행될 수 있다.
[0044] 일부 실시예들에서, 카메라(180)는 깊이 감지 카메라일 수 있거나 깊이 센서들에 커플링될 수 있다. "깊이 센서"라는 용어는, 독립적으로 그리고/또는 카메라(들)(180)와 함께 환경에 대한 깊이 정보를 획득하는데 사용될 수 있는 기능 유닛들을 지칭하는데 사용된다. 일부 실시예들에서, GRBD 카메라들을 포함할 수 있으며, 이는 깊이 센서가 이네이블될 때, 컬러(RGB) 이미지들 외에도, 픽셀 당 깊이(D) 정보를 캡쳐할 수 있다. 다른 예로서, 일부 실시예들에서, 카메라(110)는 3DTOF(3D Time Of Flight) 카메라의 형태를 취할 수 있다. 3DTOF 카메라(110)를 이용하는 실시예들에서, 깊이 센서는 3DTOF 카메라(110)에 커플링된 스트로브 라이트의 형태를 취할 수 있고, 이는 배경의 객체들을 조명할 수 있고 반사된 광은 카메라(110)의 CCD/CMOS 센서에 의해 캡쳐될 수 있다. 깊이 정보는, 광 펄스들이 객체들로 이동하여 센서로 되돌아오는데 걸리는 시간을 측정함으로써 획득될 수 있다.
[0045] 추가의 예로서, 깊이 센서는 카메라들(110)에 커플링된 광 소스의 형태를 취할 수 있다. 일 실시예에서, 광 소스는 구조화된 또는 텍스쳐화된 광 패턴을 프로젝팅할 수 있으며, 이 패턴은 배경의 객체들로의 하나 또는 그 초과의 광의 협대역들로 구성될 수 있다. 그 다음, 깊이 정보는 객체의 표면 형상에 의해 유발된 프로젝트된 패턴의 기하학적 왜곡들을 이용함으로써 획득될 수 있다. 일 실시예에서, 깊이 정보는 스테레오 센서들 예컨데, RGB 카메라에 레지스터링된 적외선 카메라 및 적외선 구조화된 광 프로젝터의 조합으로부터 획득될 수 있다. 일부 실시예들에서, 카메라(들)(180)는 3차원(3D) 이미지들을 캡쳐할 수 있는 스테레오스코픽 카메라들일 수 있다. 다른 실시예에서, 카메라(들)(180)는 깊이 정보를 추정할 수 있는 깊이 센서들을 포함할 수 있다. 예를 들어, 깊이 센서는 수동형 스테레오 비젼 센서의 일부를 형성할 수 있으며, 이 센서는 배경에 대한 깊이 정보를 획득하기 위해 둘 또는 그 초과의 카메라들을 사용할 수 있다. 캡쳐된 배경에서 두 카메라들에 공통인 포인트들의 픽셀 좌표들은, 픽셀 당 깊이 정보를 획득하기 위해 카메라 포즈 정보 및/또는 삼각 기술들과 함께 사용될 수 있다. 일부 실시예들에서, 깊이 센서들은 사용 중이지 않을 때 디세이블될 수 있다. 예를 들어, 깊이 센서는 사용되고 있지 않을 때, 대기 모드에 놓이거나, 파워 오프될 수 있다. 일부 실시예들에서, 프로세서들(150)은 하나 또는 그 초과의 시점들에서 깊이 센싱을 디세이블(또는 이네이블)할 수 있다.
[0046] 프로세싱 유닛(들)(150)은 카메라(들)(180)에 의해 캡쳐된 이미지 프레임들을 프로세싱하도록 소프트웨어를 또한 실행시킬 수 있다. 예를 들어, 프로세싱 유닛(들)(150)은 카메라(들)(180)의 포즈를 결정하기 위해 카메라(들)(180)로부터 수신된 하나 또는 그 초과의 이미지 프레임들을 프로세싱하고, 다양한 컴퓨터 비젼 및 이미지 프로세싱 알고리즘들을 구현하고, 그리고/또는 카메라(들)(180)로부터 수신된 이미지에 대응하는 환경의 3D 재구성을 수행할 수 있다. 카메라(들)(180)의 포즈는 기준의 프레임에 관련하여 카메라(들)(180)의 포지션 및 방향을 지칭한다. 일부 실시예들에서, 카메라 포즈는 6 자유도(6-DOF)에 대해 결정될 수 있으며, 이는 3개의 전환 컴포넌트들(이는 기준 프레임의 X, Y, Z 좌표들로 주어질 수 있음) 및 3개의 각 컴포넌트들(예를 들어, 동일한 기준 프레임에 관련하여 롤, 피치 및 요)을 지칭한다.
[0047] 일부 실시예들에서, 카메라(들)(180)의 포즈 및/또는 UE(100)는 카메라(들)(180)에 의해 캡쳐된 이미지 프레임들에 기초하여 시각적 트래킹 솔루션을 이용하여 프로세싱 유닛(들)(150)에 의해 결정되고 그리고/또는 트래킹될 수 있다. 일부 실시예들에서, CVM(155)은 전용 회로, 예컨데, 주문형 집적회로(ASIC)들, 디지털 신호 프로세서(DSP)들, 그리고/또는 전용 프로세서(예컨데, 프로세싱 유닛(들)(150))를 이용하여 구현될 수 있다. 일부 실시예들에서, CVM(155)은 UE(100) 상의 하나 또는 그 초과의 다른 프로세서와 통신하기 위한 기능을 포함할 수 있다.
[0048] 일부 실시예들에서, CVM(155)은 다양한 컴퓨터 비젼 및/또는 이미지 프로세싱 방법들 예컨데, 3D 재구성, 이미지 압축 및 필터링을 구현할 수 있다. CVM(155)은 또한, 컴퓨터 비젼 기반 트래킹, 모델 기반 트래킹, SLAM(Simultaneous Localization And Mapping) 등을 구현할 수 있다. 일부 실시예들에서, CVM(155)에 의해 구현된 방법들은, 카메라의 6-DOF 포즈 측정치들의 추정을 생성하기 위해 사용될 수 있는 카메라(들)(180)에 의해 캡쳐된 컬러 또는 그레이스케일 이미지 데이터에 기초할 수 있다.
[0049] SLAM은 환경의 맵, 예컨데 UE(100)에 의해 모델링되고 있는 환경의 맵이 생성되면서 동시에 그 맵과 관련하여 UE(100)의 포즈를 트래킹하는 기술들의 부류를 지칭한다. SLAM 기술들은 VLSAM(Visual SLAM)을 포함하며, 여기서 카메라, 예컨데 UE(100) 상의 카메라(들)(180)에 의해 캡쳐된 이미지들은, 환경의 맵을 생성하도록 사용되면서 동시에 그 맵과 관련하여 카메라의 포즈를 트래킹할 수 있다. 따라서, VSLAM은 주변 환경의 3-D 구조를 또한 결정하면서 카메라의 6DOF 포즈를 트래킹하는 것을 포함할 수 있다. 예를 들어, 일부 실시예에서, VSLAM 기술들은, 하나 또는 그 초과의 캡쳐된 이미지 프레임들에서 핵심적인 특징 패치들 또는 키 포인트들을 검출하고, 캡쳐된 이미지된 프레임들을 키 프레임들 또는 기준 프레임들로 저장할 수 있다. 그 다음, 키 프레임 기반 SLAM에서, 카메라의 포즈가, 예를 들어, 현재 캡쳐된 이미지 프레임을 하나 또는 그 초과의 사전에 캡쳐된 그리고/또는 저장된 키 프레임들과 비교함으로써 결정될 수 있다.
[0050] 일부 실시예들에서, CVM(155)는 3D 재구성 모듈을 포함할 수 있으며, 이는 환경의 3D 모델 또는 재표현을 생성하기 위해 카메라 포즈 및 픽셀 당 맵 정보를 사용할 수 있다. 일부 실시예들에서, 3D 재구성 모듈은 전용 회로, 예컨데, 주문형 집적회로(ASIC)들, 디지털 신호 프로세서(DSP)들, 및/또는 전용 프로세서(예컨데, 프로세싱 유닛(들)(150))를 이용하여 구현될 수 있다. 3D 재구성 모듈은, 구조의 3D 모델을 획득하기 위해, 구조의 이미지들로부터 결정될 수 있는 포인트 클라우드의 3D 포인트들의 세트를 이용할 수 있다.
[0051] 일부 실시예에서, 프로세싱 유닛(들)(150)은, 카메라(들)(180)의 정확하고 강고한 6DOF 트래킹을 위해 UE(100) 주변의 환경의 조악한 맵을 구축하기 위해 단안 VSLAM 기술들을 이용함으로써 카메라(들)(180)의 포지션을 트래킹할 수 있다. 단안이라는 용어는 깊이 정보 없이 캡쳐된 이미지들 또는 이미지들을 캡쳐하기 위한 단일 비 스테레오스코픽 카메라의 사용을 지칭한다.
[0052] UE 및/또는 카메라 포즈를 트래킹하는 것은, 공간 좌표 시스템에서 다양한 방식으로 달성될 수 있다. SPS(Satellite Positioning System) 신호들이 예컨데, 실내 환경에서 이용불가능하거나 신뢰가능하지 않은 경우, 이러한 트래킹은 시각적 및 관성 트래킹 시스템들의 조합을 사용하여 행해질 수 있다. 예를 들어, 카메라(들)(180)에 의해 캡쳐된 이미지들은, UE(100) 및/또는 카메라(들)(180)의 포즈를 결정하기 위해, 센서 뱅크(185)(예를 들어, 고도계, 기압계, 자력계 등)의 센서들 및/또는 IMU(170)에 의한 측정치들과 함께 사용될 수 있다. 일부 실시예들에서, VSLAM 기반 기술이 부분적으로 IMU(170)에서 에러들(예컨데, 바이어스들 및 드리프트들)을 교정하기 위해 사용될 수 있다. 이용가능한 경우, GPS 좌표들이 또한 위치 정보를 제공하기 위해 사용될 수 있다. 일부 실시예들에서, 하이브리드 시각적-관성 트래커는 SLAM/VSLAM 시스템을 EKF(Extended Kalman Filter)와 통합하여, 카메라(들)(180) 및/또는 UE(100)D의 포즈를 트래킹하기 위해 다양한 입력들을 EKF에 제공할 수 있다. KF(Kalman Filter)는 트래킹 및 포즈 추정을 위해 널리 사용되는 방법이다. 특히, KF는, 알려지지 않은 변수들의 추정들을 포함할 수 있는, 기반 시스템 상태의 통계적 최적 추정을 생성하기 위해 시간의 흐름에 따른 잡음 있는 입력 측정들의 시퀀스에 대해 재귀적으로 동작한다. EKF는 KF의 적용을 용이하게 하기 위해 비선형 모델들을 선형화한다.
[0053] 일부 실시예들에서, 카메라의 포즈는 IMU(170)의 센서들을 재교정하고, 그리고/또는 IMU(170)의 센서들 및/또는 센서들(185)의 측정들로부터 바이어스들을 보상하고 그리고/또는 제거하기 위해 사용될 수 있다. 예를 들어, IMU(170) 및/또는 센서들(185)은 UE(100)에 의해 카메라(들)(180)에 의한 각각의 이미지 프레임의 캡쳐와 동기화 상태로 측정된 정보를 출력할 수 있다. 카메라 포즈가, 예를 들어, VLSAM에 기초하여 정확하게 추정될 수 있는 경우(예를 들어, 이미지들에서 하나 또는 그 초과의 대응하는 피쳐 포인트들의 성공적인 검출), VSLAM 추정된 카메라 포즈는 IMU(170) 및/또는 센서들(185)에 의한 측정들에 대해 수정을 적용하고 그리고/또는 IMU(170)/센서(185)를 재교정하기 위해 사용될 수 있어서, IMU(170)/센서들(185)에 의한 측정들은 VSLAM 결정된 포즈를 더욱 근접하게 트래킹할 수 있다.
[0054] 다른 실시예들에서, 카메라(들)(180)에 의한 깊이-이미지의 캡쳐와 함께 캡쳐될 수 있는, 깊이 센서로부터의 깊이 데이터는 실시간(또는 오프라인)으로 환경의 3D 또는 볼륨 모델을 생성 및 점진적으로 업데이트하도록 사용될 수 있다. 예를 들어, 현재 카메라 포즈는 관측된 이용가능한 깊이 데이터에 기초하여 3D 모델에 관하여 라이브 깊이-이미지 프레임을 트래킹함으로써 획득될 수 있다. 일 예로써, 캡쳐된 깊이-이미지들의 시퀀스의 각각의 깊이-이미지는, 각각의 프레임의 깊이 데이터에 기초하여 카메라(들)(180)의 포즈를 동시에 트래킹하면서, 3D 모델을 생성하고 그리고/또는 점진적으로 업데이트하도록 실시간 SLAM과 함께 사용될 수 있다. 깊이 센서들 및 SLAM 기술들에 있어서, 사용자들은 평활한, 점진적으로 업데이트되는 3D 재구성을 생성할 수 있다. 일부 실시예들에서, SLAM 기반 3D 재구성 기술들이 현존 3D 모델에 새로운 정보가 이미지화되었다고 결정할 때, 전력을 절약하기 위해, 깊이 센서들이 깊이 정보를 획득하도록 이네이블될 수 있다.
[0055] 더욱이, 3D 재구성 성능이 UE(100)에 이용가능하지 않은 경우, 카메라 포즈와 함께 캡쳐된 이미지 데이터 및 카메라 포즈의 결정 또는 이미지 프레임들의 캡쳐와 함께 캡쳐된 또는 측정된 다른 센서 데이터가 메모리(130), 매체(160)에 저장되고 그리고/또는 송신기(114)를 사용하여 서버로 전송될 수 있으며, 여기서 데이터는 환경의 3D 모델 및/또는 맵을 획득하기 위해 오프라인으로 프로세싱될 수 있다. 따라서, 본 명세서에 개시된 하나 이상의 방법들은 또한, UE(100)와 통신 상태인 서버에 의해 오프라인으로 수행될 수 있다.
[0056] 일부 예들에서, 3D 모델은 모델링되고 있는 3D 환경을 렌더링하는데 사용될 수 있는 텍스쳐화된 3D 메쉬, 와이어프레임 모델, 볼륨 데이터 세트, CAD 모델 등의 형태를 취할 수 있다. 예를 들어, 3D 메쉬가 사용되는 실시예들에서, VSLAM 기술의 키 프레임들이 환경의 포인트 클라우드 표현을 획득하기 위해 사용될 수 있다. 포인트 클라우드라는 용어는 좌표 시스템, 예컨데 X, Y 및 Z 좌표들을 갖는 3D 좌표 시스템의 데이터 포인트들의 세트를 지칭한다. 그 다음 포인트 클라우드 표현은 적절하게 스캐터링된 데이터 보간 방법을 사용하여 3D 메쉬로 변환될 수 있다. 일부 예들에서, 스캐터링된 데이터 포인트들의 세트에 기초하는 희소 포인트 클라우드 표현은 3D 재구성 동안 획득되고 사용될 수 있다.
[0057] 더욱이, 일부 실시예들에서, 프로세싱 유닛(들)(150)은 포지셔닝 엔진(PE) 또는 포지션 결정 모듈(PDM)(156)(이하에서 PDM(156))을 더 포함할 수 있으며, 이는 UE(100)에 대한 포지션 및 포지션 불확실성 추정을 결정하기 위해 수신된 위치 지원 데이터와 함께 또는 독립적으로 UE(100)에 의한 이미지들, 센서 및 무선 측정들로부터 유도된 정보를 사용할 수 있다. 예를 들어, LADDM(158)은 다중 경로 및 가시성 맵 지원 정보, PRS 타이밍 패턴 및/또는 뮤팅 정보 등을 포함하는 위치 지원 정보를 프로세싱할 수 있으며, 그 다음 이들은 신호 포착/측정 전략을 선택하고 그리고/또는 초기 위치를 결정하기 위해 프로세싱 유닛(들)(150)에 의해 사용될 수 있다. 일부 실시예들에서, 프로세싱 유닛(들)(150)은 또한, 도 1에 도시된 하나 또는 그 초과의 다른 기능 블록들과 함께 또는 직접적으로 지원 정보를 포함하는 LTE(Long Term Evolution) 포지셔닝 프로토콜(LPP) 또는 LPPe(LPP extensions) 메시지들과 같은 다양한 다른 수신된 것을 프로세싱할 수 있다.
[0058] 일부 실시예들에서, UE(100)는 내부 또는 외부에 있을 수 있는 하나 또는 그 초과의 UE 안테나들(미도시)을 포함할 수 있다. UE 안테나들은 트랜시버(110) 및/또는 SPS 수신기(140)에 의해 프로세싱되는 신호들을 송신 및/또는 수신하도록 사용될 수 있다. 일부 실시예들에서, UE 안테나들은 송수신기(110) 및 SPS 수신기(140)에 커플링될 수 있다. 일부 실시예들에서, UE(100)에 의해 수신된(송신된) 신호들의 측정들은 UE 안테나들의 접속 포인트 및 송수신기(110)에서 수행될 수 있다. 예를 들어, 수신된(송신된) RF 신호 측정들에 대한 측정 기준 포인트는 수신기(114)(송신기(112))의 입력(출력)단 및 UE 안테나들의 출력(입력)단일 수 있다. 다수의 UE 안테나들 또는 안테나 어레이들을 갖는 UE(100)에서, 안테나 커넥터는 다수의 UE 안테나들의 어그리게이트 출력(입력)을 나타내는 가상 포인트로서 뷰잉될 수 있다. 일부 실시예들에서, UE(100)는 신호 강도 및 TOA 측정들을 포함하는 수신된 신호들을 측정할 수 있고, 로우 측정들은 프로세싱 유닛(들)(150)에 의해 프로세싱될 수 있다.
[0059] 본 명세서에 설명된 방법론들은 애플리케이션에 의존하여 다양한 수단에 의해 구현될 수 있다. 예를 들어, 이러한 방법론들은 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 조합의 모듈들을 사용하여 구현될 수 있다. 하드웨어 구현의 경우, 프로세싱 유닛(들)(150)은 하나 또는 그 초과의 주문형 집적회로(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램가능 로직 디바이스(PLD)들, 필드 프로그램가능 게이트 어레이(FPGA)들, 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본 명세서에 개시된 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 조합 내에서 구현될 수 있다.
[0060] 펌웨어 및/또는 소프트웨어 구현의 경우, 방법론들은 본 명세서에 개시된 기능들을 수행하는 코드, 프로시져들, 기능들 등을 사용하여 구현될 수 있다. 명령들을 유형적으로 구현하는 임의의 기계 판독가능 매체는 본 명세서에 개시된 방법론들을 구현하는데 사용될 수 있다. 예를 들어, 소프트웨어 코드들은 프로세싱 유닛(들)(150)에 커넥팅되고 이에 의해 실행되는 비일시적 컴퓨터 판독가능 매체(160) 또는 메모리(130)에 저장될 수 있다. 메모리는 프로세서 유닛 내에 또는 프로세서 유닛 외부에 구현될 수 있다. 본 명세서에서 사용되듯이, "메모리"는 롱텀, 숏텀, 휘발성, 비휘발성, 또는 기타 메모리를 지칭하며, 임의의 특정 타입의 메모리 또는 임의의 특정 수의 메모리, 또는 메모리 상에 저장되는 임의의 특정 타입의 매체에 제한되지 않는다. 일부 실시예들에서, 메모리(130)는 하이브리드 포토 네비게이션 및 맵핑, 이미지 프로세싱, SLAM, 트래킹, 모델링, 3D 재구성, 및 프로세서(150) 상의 MM(152), NM(154), CVM(155) 및/또는 PDM(156)에 의해 수행되는 다른 태스크들을 가능하게 하는 프로그램 코드를 홀딩할 수 있다. 예를 들어, 메모리(160)는 데이터, 캡쳐된 스틸 이미지들, 깊이 정보, 비디오 프레임들, 프로그램 결과들, 3D 모델들, 키 프레임들은 물론 IMU(170), 다양한 센서들(185)에 의해 제공되는 데이터를 홀딩할 수 있다.
[0061] 펌웨어 및/또는 소프트웨어에서 구현되는 경우, 기능들은 컴퓨터 판독 가능 매체, 예컨데, 매체(160) 및/또는 메모리(130) 상에 하나 또는 그 초과의 명령들 또는 프로그램 코드로서 저장될 수 있다. 예들은 프로그램과 관련되거나 이에 의해 사용되는 컴퓨터 프로그램 및 데이터로 인코딩된 컴퓨터 판독 가능 매체를 포함한다. 예를 들어, 프로그램 코드가 저장되어 있는 컴퓨터 판독 가능 매체는 개시된 실시예들에 따른 방식으로 하이브리드 포토 맵핑 및 네비게이션을 지원하기 위한 프로그램 코드를 포함할 수 있다. 코드는 부분적으로, 위치 지원 정보를 사용함으로써, AFLT(Advanced Forward Link Trilateration)/하이브리드 AFLT/RSTD(Reference Signal Time Difference)/OTDOA 측정 및 포지셔닝을 추가로 지원할 수 있다. 컴퓨터 판독 가능 매체(160)는 물리적 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있다. 제한적이지 않은 예로써, 이러한 비일시적 컴퓨터 판독 가능 매체는 RAM, ROM, EEPROM, CD-ROM, 플래쉬 메모리, 또는 다른 광 디스크 저장소, 자기 디스크 저장소, 또는 다른 자기 저장 디바이스, 또는 컴퓨터에 의해 액세스될 수 있고, 명령들 및/또는 데이터의 형태로 원하는 프로그램 코드를 저장하도록 사용될 수 있는 임의의 다른 매체를 포함할 수 있으며; 디스크(disk) 및 디스크(disc)는 본 명세서에서 사용되듯이, 콤팩트 disc(CD), 레이저 disc, 광 disc, 디지털 다기능 disc(DVD), 플로피 disk, 및 블루레이 disc를 포함하며, 여기서 disk는 통상적으로 데이터를 자기적으로 재생하는 한편, disc는 레이저를 이용하여 광학적으로 데이터를 재생한다. 전술한 것들의 조합들이 또한 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.
[0062] 컴퓨터 판독 가능 매체(160) 상의 저장소에 부가하여, 명령들 및/또는 데이터가, 통신 장치에 포함된 송신 매체 상의 신호로서 제공될 수 있다. 예를 들어, 통신 장치는 트랜시버(110)를 포함할 수 있으며, 이는 명령들 또는 데이터를 나타내는 신호들을 수신기(112)를 통해 수신할 수 있다. 명령들 및 데이터는 하나 또는 그 초과의 프로세서들로 하여금, 하이브리드 포토 맵핑 및 네비게이션 및/또는 AFLT/하이브리드 AFLT/RSTD/OTDOA 측정 및 포지셔닝 및/또는 본 명세서에 약술된 다른 기능들을 구현하게 할 수 있다. 즉, 통신 장치는 개시된 기능들을 수행하기 위해 정보를 나타내는 신호들을 가진 통신 매체를 포함한다.
[0063] 메모리(130)는 임의의 데이터 저장 메카니즘을 나타낼 수 있다. 메모리(130)는 예를 들어, 주 메모리 및/또는 보조 메모리를 포함할 수 있다. 주 메모리는 예를 들어, 랜덤 액세스 메모리, 판독 전용 메모리 등을 포함할 수 있다. 이러한 예에서 프로세싱 유닛(들)(150)과 별개인 것을 설명되지만, 주 메모리의 일부 또는 전부는 프로세싱 유닛(들)(150) 내에 제공되거나 그렇지 않으면 프로세싱 유닛(들)과 콜로케이팅/커플링될 수 있다는 것을 이해해야 한다. 보조 메모리는, 예를 들어, 주 메모리와 동일하거나 유사한 타입의 메모리 및/또는 하나 또는 그 초과의 데이터 저장 디바이스들 또는 시스템들, 이를테면, 예컨데, 디스크 드라이브, 광 디스크 드라이브, 테이프 드라이브, 솔리드 스테이트 메모리 드라이브 등을 포함할 수 있다.
[0064] 특정 실시예들에서, 보조 메모리는 비일시적 컴퓨터 판독 가능 매체(160)를 동작가능하게 수용하거나, 그렇지 않으면 이에 커플링되도록 구성가능할 수 있다. 따라서, 특정 예시적인 구현들에서, 본 명세서에 제시된 방법들 및/또는 장치들은, 적어도 하나의 프로세싱 유닛(들)(150)에 의해 실행될 때, 본 명세서에 설명된 예시적인 동작들 전부 또는 일부를 수행하도록 동작가능하게 이네이블될 수 있는, 저장된 컴퓨터 구현가능 명령들(1108)을 포함할 수 있는 컴퓨터 판독 가능 매체(160)의 형태를 전체적으로 또는 부분적으로 취할 수 있다. 컴퓨터 판독 가능 매체(160)는 메모리(130)의 일부일 수 있다.
[0065] 더욱이, UE(100)는 3D 이미지들을 포함하는 컬러 이미지들을 렌더링할 수 있는 스크린 또는 디스플레이(190)를 포함할 수 있다. 일부 실시예들에서, 디스플레이(190)는 카메라(들)(180)에 의해 캡쳐된 라이브 이미지들, GUI(Graphical User Interfaces)들, 프로그램 출력 등을 디스플레이하기 위해 사용될 수 있다. 일부 실시예들에서, 디스플레이(190)는, 사용자들이 가상 키보드들, 아이콘들, 메뉴들, 또는 다른 GUI(Graphical User Interface)들, 사용자 제스처들 및/또는 입력 디바이스들 예컨데, 스타일러스 및 다른 필기구들의 어떤 조합을 통해 데이터를 입력하게 하는 터치스크린을 포함하고 그리고 또는 이에 하우징될 수 있다. 일부 실시예들에서, 디스플레이(190)는 액정 디스플레이(LCD) 디스플레이 또는 발광 다이오드(LED) 디스플레이, 예컨데 유기 LED(OLED) 디스플레이를 사용하여 구현될 수 있다. 다른 실시예들에서, 예를 들어, 도 1B에 도시된 바와 같이, 디스플레이(190)는 웨어러블 디스플레이 또는 헤드업 디스플레이일 수 있으며, 이들은 카메라(180), 프로세싱 유닛(들)(150) 및/또는 UE(100)의 다른 기능 유닛들에 동작가능하게 커플링될 수 있다.
[0066] 도 2는 위치 지원 데이터 또는 위치 정보의 전달을 포함하며, UE들에 위치 및/또는 네비게이션 서비스들을 제공할 수 있는 시스템(200)의 아키텍쳐를 도시한다. 일부 예들에서, 시스템(200)은, 본 명세서에 개시된 실시예들에 따른 방식으로, 서비스들을 맵핑하기 위해, 예컨데 하이브리드 포토 맵핑에 사용하기 위해 사용될 수 있다.
[0067] 예를 들어, 일부 예들에서, 서버(250)는 맵들 또는 다른 위치 지원 정보를 UE(100)(또는 복수의 UE들(100))에 선택적으로 전송할 수 있고, 이들은 UE(100)에 의해 적절한 위치를 추정하는데 사용될 수 있다. 더욱이, UE(100)에 의해 캡쳐될 수 있는, 하나 또는 그 초과의 이미지 프레임들, 비디오, 및/또는 다른 측정들이 서버(150)로 전송될 수 있다. 예를 들어, 일부 예들에서, (예를 들어, (158)에 의해) 수신된 위치 지원 데이터에 기초하여, UE(100)는 무선 신호 측정들 및/또는 센서들(185)을 사용하는 측정들을 포함하는 측정들을 획득할 수 있으며, 이들은 카메라(들)(180)에 의한 이미지들의 캡쳐와 함께 캡쳐될 수 있다. 캡쳐된 이미지들 및/또는 측정들은 UE(100)에 의해 로컬하게 사용될 수 있고 그리고/또는 서버(250)로 전송될 수 있다. 예를 들어, 캡쳐된 이미지들 및 측정들은, 위치의 모델들/맵들을 생성 또는 업데이트하고 그리고/또는 기지국 알마낵(BSA) 데이터를 업데이트하기 위해 UE(100) 및/또는 서버(150)에 의해 사용될 수 있다. 그 다음, 업데이트된 데이터/BSA 데이터는 위치 지원 데이터로서 하나 또는 그 초과의 UE(100)로 전송될 수 있다.
[0068] 도 2에 도시된 바와 같이, UE(100)는 네트워크(230) 및 네트워크(230)와 관련될 수 있는 기지국 안테나들(240-1, 240-4, 통칭하여 안테나 240으로 지칭됨)을 통해 서버(250)와 통신할 수 있다. 일부 예들에서, 서버(250)는 맵핑 서버, 위치 서버, BSA 서버, 포지션 결정 엔티티(PDE), 또는 다른 네트워크 엔티티 중 하나 또는 그 초과의 기능을 제공할 수 있다. 위치 및 다른 정보의 전달은 UE(100) 및 서버(250)에 적절한 레이트로 발생할 수 있다.
[0069] 일부 실시예들에서, 시스템(100)은 UE(100)와 서버(250) 사이에서 메시지들, 예컨데 LPP 또는 LPPe 메시지들을 사용할 수 있다. LPP 프로토콜은 3GPP(3rd Generation Partnership Project)로 알려진 기관으로부터 공개적으로 이용가능한 다양한 기술 규격들에 잘 알려지고 개시된다. LPPe는 OMA(Open Mobile Alliance)에 의해 정의되었고 LPP와 조합되어 사용될 수 있어서 각각의 조합된 LPP/LPPe 메시지는 임베딩된 LPPe 메시지를 포함하는 LPP 메시지일 것이다.
[0070] 일부 실시예들에서, UE(100)는, 포지션 결정에 사용될 수 있는, 기지국 안테나들(240)로부터의 신호들을 수신하고 측정할 수 있다. 안테나들(240)은 무선 통신 네트워크의 일부를 형성할 수 있으며, 이는 무선 광역 네트워크(WWAN), 무선 로컬 영역 네트워크(WLAN), 무선 개인 영역 네트워크(WPAN) 등일 수 있다. "네트워크" 및 "시스템"이라는 용어는 본 명세서에서 종종 상호 교환가능하게 사용된다. WWAN은 CDMA(Code Division Multiple Access) 네트워크, TDMA(Time Division Multiple Access) 네트워크, FDMA(Frequency Division Multiple Access) 네트워크, OFDMA(Orthogonal Frequency Division Multiple Access) 네트워크, SC-FDMA(Single-Carrier Frequency Division Multiple Access) 네트워크, LTE(Long Term Evolution), WiMax 등일 수 있다.
[0071] CDMA 네트워크는 하나 또는 그 초과의 라디오 액세스 기술들(RAT들), 예컨데 cdma2000, W-CDMA(Wideband-CDMA) 등을 구현할 수 있다. cdma2000은 IS-95, IS-2000 및 IS-856 표준들을 포함한다. TDMA 네트워크는 GSM(Global System for Mobile Communications), D-AMPS(Digital Advanced Mobile Phone System), 또는 일부 다른 RAT를 구현할 수 있다. GSM, W-CDMA 및 LTE는 "3GPP(3rd Generation Partnership Project)"로 알려진 기구로부터의 문서들에 설명된다. cdma2000은 "3GPP2(3rd Generation Partnership Project 2)"라는 명칭의 컨소시엄으로부터의 문서에 설명된다. 3GPP 및 3GPP2 문서들은 공개적으로 이용가능하다. WLAN는 IEEE 802.11x 네트워크일 수 있고, WPAN는 블루투스 네트워크, IEEE 802.15x 또는 일부 다른 타입의 개인 영역 네트워크 일 수 있다. 기술들은 또한, WWAN, WLAN 및/또는 WPAN의 임의의 조합과 함께 구현된다. 예를 들어, 안테나(240) 및 네트워크(230)는 E-UTRAN(evolved UMTS Terrestrial Radio Access Network) (LTE) 네트워크, WCDMA UTRAN 네트워크, GERAN(GSM/EDGE Radio Access Network), 1xRTT 네트워크, EvDO(Evolution-Data Optimized) 네트워크, WiMax 네트워크 또는 WLAN의 일부를 형성할 수 있다.
[0072] UE(100)은 또한, SPS/GNSS의 일부일 수 있는, 하나 또는 그 초과의 지구 궤도 SV(Space Vehicle)들(280-1 - 280-4, 통칭하여 SV들(280)로 지칭됨)로부터 신호들을 수신한다. SV들(280)은, 예를 들어, GNSS 성좌 예컨데, 미국 GPS(Global Positioning System), 유럽 갈릴레오 시스템, 러시아 글로나스 시스템 또는 중국 컴파스 시스템에 있을 수 있다. 특정 양상들에 따라, 본 명세서에 제시된 기술들은 SPS용 글로벌 시스템들(예를 들어, GNSS)로 제한되지 않는다. 예를 들어, 본 명세서에 제시된 기술들은, 다양한 지역 시스템들, 이를테면 예를 들어, 일본 상공의 QZSS(Quasi-Zenith Satellite System), 인도 상공의 IRNSS(Indian Regional Navigational Satellite System) 및/또는 하나 또는 그 초과의 글로벌 및/또는 지역 네비게이션 위성 시스템들과 관련될 수 있거나 그렇지 않으면 이에 사용하기 위해 이네이블되는 다양한 보강 시스템들(예를 들어, SBAS(Satellite Based Augmentation System))에 적용되거나 그렇지 않으면 이들에 사용하기 위해 이네이블될 수 있다. 제한적이지 않은 예로써, SBAS는 무결성 정보, 차동 정정 등을 제공하는 보강 시스템(들), 이를테면, 예를 들어, WAAS(Wide Area Augmentation System), EGNOS(European Geostationary Navigation Overlay Service), MSAS(Multi-functional Satellite Augmentation System), GAGAN(GPS and Geo Augmented Navigation system 또는 GPS and Geo Augmented Navigation system) 등을 포함할 수 있다. 따라서, 본 명세서에 사용된 바와 같이, SPS는 하나 또는 그 초과의 글로벌 및/또는 지역 네비게이션 위성 시스템들 및/또는 보강 시스템들의 임의의 조합을 포함할 수 있고, SPS 신호들은 SPS, SPS와 유사한 것 및/또는 이러한 하나 또는 그 초과의 SPS와 관련된 다른 신호들을 포함할 수 있다.
[0073] 간략화를 위해, 단지 하나의 UE(100) 및 서버(250)가 도 2에 도시된다. 일반적으로, 시스템(100)은, 추가의 네트워크들(230), LCS 클라이언트들(260), 이동국들(100), 서버들(250), (기지국) 안테나들(240) 및 SV(Space Vehicle)들(280)과 함께, 245-k(0 ≤ k ≤ Ncells, 여기서 Ncells는 셀들의 수임)로 표시되는 다수의 셀을 포함할 수 있다. 시스템(100)은 본 명세서에 개시된 실시예들에 따른 방식으로 매크로셀들 및 펨토셀들을 포함하는 셀들의 혼합을 추가로포함할 수 있다.
[0074] MS(100)는, OMA에 의해 정의되는 SUPL(Secure User Plane Location) 위치 솔루션 및 LTE 서빙 네트워크에 사용하기 위해 3GPP에 의해 정의되는 제어 평면 위치 솔루션을 포함할 수 있는(그러나 이에 한정되는 것은 아님) 포지셔닝 및 위치 서비스들을 지원하는 하나 또는 그 초과의 네트워크들(230)을 통해 서버(250)와 무선으로 통신할 수 있다. 예를 들어, 위치 서비스들(LCS)은 (위치 서버와 관련되는 기능을 제공할 수 있는) 서버(250)에 액세스하고 UE(100)의 위치에 대한 요청을 발행하는 LCS 클라이언트(260)를 대신하여 수행될 수 있다. 그 다음, 서버(250)는 UE(100)에 대한 위치 추정으로 LCS 클라이언트(260)에 응답할 수 있다. LCS 클라이언트(260)는 또한 예를 들어, 서버(250) 및 UE(100)에 의해 사용되는 위치 솔루션이 SUPL인 경우, SUPL 에이전트로서 알려질 수 있다. 일부 실시예들에서, UE(100)는 또한, UE(100) 내의 PDM(156)고 같은 일부 포지셔닝 가능 기능에 위치 요청을 발행하고 이후에 UE(100)에 대한 위치 추정을 다시 수신할 수 있는 LCS 클라이언트 또는 SUPL 에이전트(도 1에는 미도시)를 포함할 수 있다. UE(100) 내의 LCS 클라이언트 또는 SUPL 에이전트는 UE(100)의 사용자에 대한 위치 서비스들을 수행―예를 들어, UE(100)의 주변 내의 관심 포인트들을 식별하거나 네비게이션 방향을 제공할 수 있다.
[0075] 서버(250)는 SLP(SUPL Location Platform), eSMLC(evolved Serving Mobile Location Center), SMLC(Serving Mobile Location Center), GMLC(Gateway Mobile Location Center), PDE(Position Determining Entity), SAS(Standalone SMLC) 등의 형태를 취할 수 있다.
[0076] 도 2에 예시된 바와 같이, UE(100)는 네트워크(230)와 관련될 수 있는 네트워크(230) 및 안테나(240)를 통해 서버(250)와 통신할 수 있다. UE(100)는 포지션 결정을 위해 사용될 수 있는 안테나들(240)로부터 신호들을 수신 및 측정할 수 있다. 예를 들어, UE(100)는 포지션 결정을 가능하게 하기 위해, 셀들(245-1, 245-2, 245-3 및 245-4)과 각각 관련될 수 있는 안테나들(240-1, 240-2, 240-3 및/또는 240-4) 중 하나 또는 그 초과로부터 신호들을 수신 및 측정할 수 있다. UE(100)는 또한 SPS의 일부를 형성할 수 있는, SV(280)로부터 수신된 신호들을 사용하여 자신의 포지션을 결정할 수 있다. 다른 예로서, UE(100)는 UE(100) 상의 GPS(Global Positioning System) 또는 SPS 수신기(140)를 이용하고, (예를 들어, SV들(280)로부터의) AFLT 및 GPS 측정들과 함께 센서들(185)로부터의 측정들 및/또는 캡쳐된 이미지들에 기초하여 자신의 포지션을 컴퓨팅하는 하이브리드 위치 결정 방식을 사용할 수 있다. 일부 실시예들에서, GNSS, 지상 측정들(예를 들어, AFLT, 셀 섹터 측정들, WLAN 측정들, OTDOA) 및/또는 센서 측정들(예를 들어, IMU(170), 센서들(185), 카메라들 또는 이미지 센서들(깊이 센서들을 포함할 수 있음) 등을 이용하는 측정들)의 조합이 포지션 추정을 획득하기 위해 사용될 수 있다.
[0077] 일부 실시예들에서, 획득된 포지션 추정은 조악한 및/또는 초기의 포지션 추정일 수 있으며, 개시된 실시예들에 따른 방식으로 개선될 수 있다. 일반적으로, UE(100)에 의해 행해진 측정들은, UE(100) 및/또는 안테나들(240)의 컴퓨팅된 포지션들의 정확성 및 이용가능성을 향상시키기 위해, 네트워크 관련 측정들, 예컨데, BSA에 저장된 측정들과 결합될 수 있다.
[0078] 다른 예로서, WCDMA 및 LTE에 사용되는 OTDOA 기반 포지셔닝에서, UE(100)는 복수의 기지국 안테나들(240)로부터 수신된 신호들에서의 시간 차들을 측정할 수 있다. 안테나들(240)의 포지션들이 알려져 있기 때문에, 관측된 시간 차들은 UE(100)의 위치를 계산하기 위해 사용될 수 있다. 예를 들어, 기준 신호 시간 차(RSTD:Reference Signal Time Difference)로 지칭될 수 있는, 포지셔닝 기준 신호들(RPS:Positioning Reference Signal)의 측정된 도달 시간 차는, UE(100)의 포지션을 계산하기 위해, 각각의 셀의 절대 또는 상대 송신 타이밍, 및 기준 및 이웃 셀들에 대한 안테나들(240)의 알려진 포지션(들)과 함께 사용될 수 있다.
[0079] CDMA에 사용되는 AFLT 기반 포지셔닝에서, UE(100)는 파일럿 신호들의 위상들을 측정할 수 있으며, 이들은 절대 시간 스케일(예를 들어, GPS 시간)에 동기화되고, 4개의 기지국 안테나들(240-1 - 240-4)로부터 송신된다. 안테나(240-i)(1 ≤ i ≤ 4)로부터의 파일럿 신호의 측정된 위상은 UE(100)와 각각의 안테나 사이의 거리를 계산하기 위해 사용될 수 있다. 거리 측정들의 세트는, 안테나들(240)의 시간 오프셋들이 알려져 있다면, UE(100)의 위치를 계산하기 위해 사용될 수 있다.
[0080] MS(100)는 셀 신호의 도달 시간을 절대 시간 스케일과 비교함으로써 순방향 링크 셀 신호의 시간 동기화의 측정을 획득할 수 있다. UE(100)는 이러한 측정 시, 알려진 GPS 포지션 및 GPS 시간을 기록할 수 있고, 셀 송신기(들), 예컨데, 안테나(240-1)의 알려진 포지션을 이용하여, 셀 신호에 대한 도달 바이어스의 시간이 결정될 수 있다.
[0081] 셀 신호에 대한 시간 바이어스의 결정은 순방향 링크 교정(FLC:Forward Link Calibration)으로 알려져 있다. 일부 예들에서, UE(100)는 로우 측정 정보를 순방향 링크 교정을 수행할 수 있는 서버(250)로 전송한다. 예를 들어, 거리 교정은 순방향 링크 교정 값(FLC)으로서 정량화된다. 심지어 셀들 사이에 약 100ns의 동기화 편차가 30미터의 범위 오차로 변환될 것이기 때문에, FLC는 포지셔닝 정확도를 향상시킨다. 따라서, FLC 정확도는 지상 포지셔닝 시스템들에서 최적의 성능을 가능하게 한다. 그러나 셀(245) 내에서 조차도, FLC는 신호 감쇠, 차단, 다중 경로 등과 같은 다양한 팩터들에 기반하여 UE의 포지션에 따라 변화한다. 예를 들어, 차단 및/또는 다중경로가 더 일반적인 실내 또는 밀집한 도시 환경들에서, 실내 또는 밀집한 도시 환경을 맵핑하는 것 및/또는 정확한 포지션 추정을 획득하는 것은 어려운 일일 수 있다. 예를 들어, 다양한 신호들, 예컨데, SV들(280)로부터의 그리고/또는 하나 또는 그 초과의 안테나들(240)로부터의 신호들은 이용가능하지 않거나 약해서, 무선 신호들에 오직 의존하는 포지션 결정 기술들을 제한한다.
[0082] 따라서, 본 명세서에 개시된 실시예들은 본 명세서에 개시된 하이브리드 포토 맵핑 및 네비게이션 기술들을 사용하여 실내 환경들에서 맵핑 및 네비게이션을 가능하게 하며, 그로 인해, 포지션 추정을 향상시키고 지상 포지셔닝 시스템 배치 및 활용을 확장시킨다.
[0083] 도 3a 및 3b는 관련된 위치 정확도, 포지셔닝 모호성, 및 전력 소비와 함께 다양한 상황들에서 상이한 포지셔닝 기술들의 유용성을 나타내는 표들을 도시한다. 포지션 모호성은 기술을 이용하여 결정된 포지션이 올바르지 않을 가능성을 지칭한다. 예를 들어, 상이한 위치에서 촬영된 두 이미지들의 몇몇 특징 포인트들이 일치할 수 있어서, 모바일 디바이스의 실제 위치를 결정하는 것을 어렵게 한다.
[0084] 도 3a에 도시된 바와 같이, SPS 기반 포지셔닝 기술들은 전형적으로, 실외에서 글로벌하게 매우 유용하며, 높은 실외 정확도, 낮은 실외 포지션 모호성, 및 괜찮은 전력 소비를 보인다. 그러나 도 3b에 도시된 바와 같이, SPS 신호들은 실내에서 언제나 유용한 것은 아니며, 실내에서 이용가능할 때, SPS 신호 강도가 약할 수 있다. 따라서, 이동국이 실외에 있을 때보다 실내 정확도는 더 낮고 실외 모호성은 더 높다. 추가로, 위성들에 대한 LOS(Line Of Sight)는 SPS 시스템들과의 시간 스티칭을 가능하게 한다. 시간 스티칭은 다양한 센서들로부터 획득된 측정들을 공통 시간 스케일로 캡쳐된 이미지들에 정확하게 상관시키고 이를 정렬하는 능력을 지칭한다.
[0085] 관성 네비게이션 기술들은 실내 및 실외 모두에서 매우 유용하며, 괜찮은 전력 소비를 보이지만, 드리프트 및 다른 바이어스들 때문에, 이들의 정확도는 전형적으로 중간부터 양호까지의 범위로 낮다. IMU 측정들은 다른 측정들과 더욱 쉽게 시간 스티칭되고 상관된다.
[0086] 포토 네비게이션은 실내 및 실외 모두에서 매우 유용하지만, 높은 전력 소비 및 높은 실내 및 실외 위치 모호성을 보인다. 예를 들어, 때때로, 유사한 이미지들이 다양한 상이한 위치들에서 획득될 수 있어서, 추가의 이미지들 및/또는 다른 센서 입력 없으면 단일 위치의 식별을 어렵게 한다. 반면에, 이동국들이 영역에 로컬화될 수 있는 경우, 위치 정확도는 높다. 예를 들어, 알려진 랜드마크가 가시적인 곳으로부터의 위치들의 제한된 세트가 있을 수 있으며, 따라서, 캡쳐된 이미지를 기초로, UE의 위치가 맵핑 및 네비게이션 모두에 대해 정확하게 결정될 수 있다. 캡쳐된 이미지들은 비교적 빠르게 다른 측정들과 시간 스티칭되고 상관될 수 있다.
[0087] WAN 기반 위치 기술들은 실내 및 실외 모두에서 우수한 유용성을 보이며, 이용가능할 때, 비교적 강한 신호들을 갖는다. 그러나 WAN 신호들은, 셀룰러 신호들에 의해 서비스되지 않는 영역들이 존재하기 때문에 제한된 글로벌 유용성을 갖는다. WAN 기반 위치 기술들은 비교적 낮은 전력 소비를 보이고, 실내 및 실외에서 중간 정확도, 실내 및 실외에서 낮은 위치 모호성을 가지며, 괜찮은 용이도로 시간 스티칭될 수 있다.
[0088] 끝으로, LAN 또는 비컨 기반 위치 기술들은 실외에서 괜찮은 유용성과 실내에서 양호한 유용성을 보이지만, 신호 강도는 위치에 따라 현저하게 변화할 수 있다. LAN 신호들은 양호한 글로벌 유용성을 가지며, 괜찮은 전력 소비를 보이며, 실내 및 실외에서 중간 정확도, 실내 및 실외에서 낮은 위치 모호성을 가지며, 괜찮은 용이도로 시간 스티칭될 수 있다.
[0089] 도 3a 및 3b 및 전술한 설명으로부터 알 수 있듯이, 위치 기술들은 개별적으로 사용될 때 다양한 강도들 및 결함들을 갖는다. 따라서, 전술한 방법들 중 하나에 의존하는 현재의 위치 결정 기술들을 사용할 경우, 맵핑 및/또는 네비게이션 솔루션들은 종종 차선책일 수 있다.
[0090] 따라서, 본 명세서에 개시된 방법들은, 위치 결정을 가능하게 하기 위해 복수의 센서들로부터의 측정들과 이미지들 및 무선 신호 측정들을 결합한다. 예를 들어, SPS는 글로벌 범위를 갖는 한편, 강한 WAN 신호들은 로컬화된 실내 환경, 특히 무선 액세스 포인트들의 위치들이 알려진 상황에서, 저전력 백그라운드 네비게이션에 도움이 될 수 있다. 무선 신호들이 이용가능하지 않을 때 추가의 입력을 제공할 수 있는 관성 센서들로부터의 측정들 및 카메라 이미지들에 의해 제공된 우수한 로컬 정확도와 결합할 때, 더욱 강고하고 정확한 포지셔닝 솔루션들이 이네이블될 수 있다.
[0091] 그러나 특히 실내 위치들의 경우 맵들이 부족하다. 더욱이, 심지어 실내 맵들이 이용가능한 경우라도, 실내 맵들은 더 큰 영역 와이드 맵에 관련한 콘텍스트를 제공하지 않는다. 따라서, 사용자는 더 넓은 영역 맵에서 룸들, 복도들 등의 위치를 정할 수 없을 수 있다. 정확한 맵이 없으면, 위치 정보의 최적의 활용은 어렵다. 예를 들어, 포인트 A(예를 들어, 실내)로부터 포인트 B(예를 들어, 실외)로의 네비게이션 명령들 또는 그 반대는 이용가능한 맵 없이는 제공될 수 없다. 따라서, 내부 위치들에 대해 저렴한 비용으로 신뢰가능하고 정확한 맵들을 획득하는 것은 현존 모바일 디바이스 기능의 더욱 최적의 사용을 가능하게 할 수 있다. 따라서, 개시된 기술들은 또한, 맵핑 및/또는 네비게이션을 가능하게 하기 위해 복수의 센서들로부터의 측정들을 이미지들 및 무선 신호 측정들과 결합한다. 예를 들어, 이미지 기반 네비게이션 기술들은, 정확한 "포토" 및/또는 가시성 맵들에 사용될 때 향상될 수 있다. 유사하게, 카메라에 의해 캡쳐된 이미지들에 의해 제공된 정확도 교정은 효율적인 실내 무선 네비게이션을 제공하기 위해 사용될 수 있다. 본 명세서에 개시된 이런 저런 기술들은 로케이션들의 맵들을 획득하고 업데이트하고 그리고 네비게이션 기능을 이네이블하기 위해 모바일 디바이스들에 사용된다.
[0092] 일부 실시예들에서, 맵핑 모듈(MM)(152)은 "맵핑 모드"에서 UE(100)의 위치를 정하기 위해 사용될 수 있다. 맵핑 모드에서, UE(100) 상의 카메라(들)(180)는 센서들(185)(자력계, 고도계 및 기압계를 포함함) 및 IMU(170)로부터의 측정들과 함께 특정 프레임 레이트로 이미지들 또는 비디오를 캡쳐할 수 있다. 예를 들어, 사용자는 맵핑을 위해 UE(100)를 사용할 때, 맵핑 모드에서 UE(100)의 위치를 정할 수 있다. 맵핑 모드에서, 카메라는 "광각" 모드로 배치될 수 있다. 또한, 맵핑 모드에서, 고해상도 이미지들이 캡쳐될 수 있지만, 이미지들은 감소된 크기로 압축이나, 필터링 또는 변경된다. 일부 실시예들에서, 카메라(들)(180)에 의해 캡쳐된 이미지들은 고해상도로 로컬하게 저장될 수 있고 그리고/또는 이후의 프로세싱을 위해 서버(250)로 전송될 수 있다. 예를 들어, 일부 실시예들에서, 이미지들은 벡터 맵 또는 벡터 이미지들로 감소될 수 있고, 이들은 상이한 요구들에 맞게 다양한 상이한 콘텐츠 및 해상도를 제공한다.
[0093] 더욱이, 일부 실시예들에서, 맵핑 모드에 있을 때, CV 모듈(155)은 "맨하탄 월드" 가정을 사용하도록 구성될 수 있다. 이미지들 및/또는 포인트 클라우드들로부터 도시 구조들의 3D 재구성을 생성하도록 광범위하게 사용되는 맨하탄 월드(MW) 가정들은, 카메라에 의해 캡쳐된 배경들 또는 이미지들이 우세한 방향들로 구분 평탄면을 구성한다고 가정한다. 전형적으로, MW 가정들이 건물 형상을 결정하기 위해 사용되는 경우, 배경의 서로 직교하는 세 방향들의 우위가 가정된다. 수준 및 수직 면들 및 에지들이 또한 가정될 수 있다. MW 가정은 2D 이미지들로부터 3D 재구성을 가능하게 한다. 다양한 잘 알려진 기술들이 캡쳐된 이미지들에 기초하여 3D 재구성에 이용가능하다. 예를 들어, 일 예시적인 실시예에서, 우세한 면 방향들(예를 들어, X, Y, Z)이 이미지로부터 추출될 수 있고, (예를 들어, 이미지의 피쳐 포인트 밀도들에 기초하여) 가정들이 이미지의 면들에 대해 생성되고 3D 재구성이 이미지 픽셀들을 면들 중 하나 또는 그 초과의 면과 관련시킴으로써 획득될 수 있다. 깊이 센서들에 사용되는 경우, MW 가정들은 획득된 깊이 정보에 기초하여 더 빠른 3D 재구성을 가능하게 할 수 있다. 관성 센서들이 디바이스 방향 및 카메라 앵글을 결정하도록 사용되는 경우, MW 가정은 수직 및 수평 에지들 및 표면들 및 이들 각각의 위치들, 방향들 및 관련성들의 더욱 효율적인 식별을 가능하게 할 수 있다.
[0094] 일부 실시예들에서, UE(100) 상의 맵핑 모드는, 영역을 통해 사용자가 이동하는 경우, 그리고/또는 영역: (i)맵핑되지 않은 영역 그리고/또는 (ii)맵 데이터를 업데이트하는 것이 요구되는 영역을 통해 이동하도록 장려되는 경우, 기회적으로 활성화될 수 있다. 예를 들어, 맵핑 모드에 있는 경우, 서버의 위치에 속하는 크라우드소싱된 데이터(또는 이러한 데이터의 부재)에 기초하여, UE는 구조의 내부 및/또는 외부의 "조사"를 요청할 수 있다. 다른 실시예에서, 기회적 크라우드 소싱이 사용될 수 있으며, 사용자는 UE의 추정된 위치에 기초하여 맵핑 모드로 진입하도록 요청될 수 있다. 일부 실시예들에서, 사용자의 동의가 획득될 수 있고 사용자는 기회적 크라우드소싱된 맵핑에 활발하게 참여할 수 있다. 일부 실시예들에서, 예를 들어, 카메라(180)가 웨어러블인 경우, 이미지 캡쳐 및 센서 데이터 수집이 자동으로 트리거링될 수 있고, 데이터는 UE(100)에 저장되고 그리고/또는 앞서 획득된 사용자 동의에 기초하여 서버(250)로 송신될 수 있다. "크라우드소싱"이라는 용어는 수집된 이미지, 복수의 이동국 및/또는 PDE들로부터의 RF, 센서 및 포지셔닝 관련 측정들의 수집 및 그 이후의 어그리게이션을 지칭하도록 사용된다. 일부 실시예들에서, 맵에 (또는 현존 맵을 업데이트하기 위해) 바람직할 수 있는 구조 부근에 사용자가 있다고 검출될 때, 사용자는 개시된 실시예들에 따른 방식으로 맵핑을 수행하도록 요청 또는 장려될 수 있다.
[0095] 도 4는 개시된 실시예들에 따른 방식으로 맵핑을 수행할 수 있는 예시적인 애플리케이션(400)의 블록도이다. 일부 실시예들에서, 애플리케이션(400)의 일부들은 프로세싱 유닛(들)(150)을 사용하여 UE(100) 상에서 그리고/또는 UE(100)에 무선으로 커플링된 서버 상에서 구동될 수 있다. 일부 실시예들에서, 애플리케이션(400)은 CVM(155) 및 EKF 컴포넌트(405)를 이용하여 SLAM-EKF 토폴로지를 사용할 수 있다. 일부 실시예들에서, 애플리케이션(400)과 관련된 기능은 하드웨어나, 소프트웨어나, 또는 이들의 조합으로 구현될 수 있다.
[0096] 도 4에 도시된 바와 같이, CVM(155)은 무선 및 비무선 측정들의 캡쳐에 동기화되는 이미지 프레임들을 수신할 수 있다. 이용가능한 기능에 의존하여, 이미지 프레임들은 일련의 스틸 이미지들로서 및/또는 비디오의 일부로서 캡쳐될 수 있다. 비디오 캡쳐를 사용하는 실시예들은, 예를 들어, 초당 30 프레임으로 이미지들을 수신할 수 있다. 다른 실시예들은 다른 프레임 레이트를 사용할 수 있다. CVM(155)은 카메라 교정을 사용할 수 있다. 내장 카메라 교정은 주점, 초점 길이 및 반경 왜곡을 포함할 수 있다. 외부 카메라 교정 파라미터들은 IMU(170)과 관련한 회전 및 전환 정보를 포함할 수 있다. 회전은 추정될 수 있거나, 일부 실시예들에서, IMU는 카메라와 정렬되도록 가정될 수 있다.
[0097] 앞서 약술된 바와 같이, CVM(155)은 이미지 프레임들에서 키 포인트들을 결정 및 검출하기 위해 다양한 알고리즘들 중 임의의 알고리즘을 활용할 수 있다. 일부 실시예들에서 키 포인트 검출은 EKF 컴포넌트(405)로 릴레이되는 키포인트들의 측정된 2D 카메라 좌표들의 식별을 초래할 수 있다. EKF 컴포넌트(405)는 키 포인트 탐색 공간을 좁히기 위해 키 포인트들의 예측된 2D 카메라 좌표들을 CVM(155)과 추가로 공유할 수 있다. 하나 또는 그 초과의 키 포인트들이 CVM(155)에 의해 로케이팅될 때, 이러한 키 포인트들의 2D 카메라 좌표들이 EKF 컴포넌트(405)에 제공될 수 있다. 일부 실시예들에서, CVM(155)은 또한, 이미지 프레임들의 키 포인트들의 위치들에 기초하여, CVM(155)에 의해 결정될 수 있는 6 자유도(6DOF) 카메라 포즈를 제공할 수 있다.
[0098] 일부 실시예들에서, (CVM(155)에 의해 제공되는) 입력 6DOF 카메라 포즈는, CVM(155) 및/또는 IMU에 의해 공급되는 입력들 및/또는 무선 측정들에 기초하여, 절대 좌표로 UE의 포즈를 획득하기 위해 EKF(405)에 의해 개선될 수 있다. EKF에 의해 결정되는 6DOF 카메라 포즈는 또한, 타겟의 위치를 계산하기 위해 사용될 수 있다. EKF 컴포넌트(405)는 절대 좌표로 카메라(180)/UE(100)의 6DOF 포즈를 트래킹하기 위해 무선 및/또는 비무선 측정들과 함께 CVM(155)으로부터의 2D 키 포인트 측정들을 사용할 수 있다. 예를 들어, EKF 컴포넌트(405)는 절대 좌표 프레임워크로 특정 세트들을 앵커링하기 위해 최근의 GPS 또는 다른 무선 측정들(이용가능한 경우)을 사용할 수 있다. "절대 좌표" 또는 "글로벌 좌표"라는 용어는, GPS 또는 임의의 다른 글로벌 좌표 시스템 예컨데, 맵핑 및 네비게이션에 사용되는 WGS(World Geodetic System) 표준들에 의해 제공되는 것과 같은 절대 SPS 좌표들을 지칭하기 위해 사용된다. 일부 실시예들에서, EKF 컴포넌트(405)는 이미지 프레임들의 검출된 피쳐 포인트들의 3D 위치들 외에도 중력 벡터를 CVM(155)에 제공할 수 있다. 일부 실시예들에서, 키 포인트들의 중력 및 3-D 위치들이 포즈 추정 프로세스 동안 또는 그 일부로서 획득될 수 있다. 중력의 결정과 관련한 더 많은 정보를 위해, “Visual-Inertial Navigation, Mapping And Localization: A Scalable Real-Time Causal Approach” (2010) by Eagle S. Jones, Stefano Soatto를 참조하라. 종래의 시각-관성 기술들을 사용하는 시스템들에서, UE의 궤적이 결정될 수 있다. 그러나 종래의 기술들은 측정들에 기초하여 3D 구조적 엔벨로프 결정 및 실내 맵들의 결정을 개시하지 않으며, 여기서 구조적 3D 엔벨로프 정보 및 실내 맵들은 절대 좌표에 등록된다.
[0099] 일부 실시예들에서, 맵핑 애플리케이션은, EKF을 사용하는 동안 추가의 측정들을 획득하도록 사용자에 지시할 수 있다. 예를 들어, 루프 폐쇄 검출이 발생하고 그 다음 공동적으로 데이터 수집 반복들로부터, 추정된 맵/키 포인트들, 궤적들 및 루프 폐쇄 검출들, 및 이용가능한 경우, GPS 픽스들을 글로벌 번들 조정하기 위해 이미 맵핑된 영역을 지나가도록 사용자는 명령받을 수 있다.
[00100] 절대 좌표에 대한 타겟 및 앵커링 측정에 관련한 UE/카메라 포즈를 결정함으로써, UE의 절대 포즈는 EKF(405)에 의해 결정될 수 있다.
[00101] EKF 컴포넌트(405)는, 드리프트를 완화시키기 위해 사용될 수 있는 IMU(170) 및/또는 다른 센서들과 관련된 임의의 바이어스들을 추가로 결정할 수 있다. 글로벌 최적화 기술들, 예컨데 글로벌 번들 조정(GBA:Global Bundle Adjustment)은, 이하에 추가로 약술되듯이 맵핑 동안 UE의 폐쇄 루프 궤적의 계산에서 그리고 드리프트를 수정하기 위해, EKF(405)에 의해 사용될 수 있다.
[00102] 도 5a는 SV들(280)로부터의 신호 수신 및/또는 무선 네트워크(230)가 이용가능할 수 있는 위치의 사용자를 도시한다. 맵핑 모드에서, 이미지들은, 애플리케이션에 의해 지적된 대로 ―빌딩과 같은― 실외 위치들 주변을 사용자가 이동함에 따라 UE(100)에 의해 수집될 수 있다. 예를 들어, 사용자는 궤적(410)을 따르도록 지시될 수 있고, 이미지들은 사용자가 구조(427) 주변을 이동함에 따라 UE(100)에 의해 수집될 수 있다. SPS 및 셀룰러 측정들이 실외에서 전형적으로 이용가능하기 때문에, 궤적(410)은 SPS/셀룰러 측정들에 기초하여 결정될 수 있다. 신호 중단이 발생하는 경우, IMU(170) 및/또는 센서 뱅크(185)에 의한 타임스탬프된 측정들이 중단에 걸쳐 스티칭하도록 사용될 수 있는 타임스탬프된 캡쳐된 이미지들과 함께 사용될 수 있다. 예를 들어, 구조(427)의 타임스탬프된 이미지들은, 사용자 움직임을 트래킹하기 위해 IMU(170) 및/또는 센서 뱅크(185)로부터의 타임스탬프된 측정들과 함께 카메라(들)(180)에 의해 캡쳐될 수 있다. 일부 실시예들에서, 타임스탬프들은 이하에 추가로 설명되듯이, 신호/측정 중단에 걸쳐 타임스티칭하기 위해 그리고/또는 상이한 센서들로부터의 측정들을 상관시키기 위해 사용될 수 있다.
[00103] 일부 실시예들에서, MM(152)은, 외부에 가시적인 간판들(예컨데, 상점 간판 "XYZ 스토어"), 창문들, 문들, 오버행들, 코너 지점들, 이웃 구조들 등을 포함하는 두드러진 시각적 특징들의 이미지들을 캡쳐하도록 사용자에게 지시할 수 있다. 예를 들어, 벽이 "외부" 및 "내부" 모두라는 추론은 벽이 그 안에 창문을 가진 경우 행해질 수 있다. 이 창문은, 외부 및 내부로부터 뷰잉되기 때문에, 동일한 벽의 상이한 두 뷰들을 정렬하도록 사용될 수 있다. 따라서, MM(152)은 구조의 내부 및 외부 모두로부터 가시적일 것 같은 특징들을 캡쳐하도록 사용자에게 지시할 수 있다.
[00104] 일부 실시예들에서, 캡쳐된 이미지들은, 하나 또는 그 초과의 이미지들과 관련된 디스크립터들을 결정하고, 구조(427)의 외부 3D 구조적 엔벨로프, 궤적(410)을 결정하도록 CVM(155)에 의해 프로세싱되고, 본 명세서에 개시된 실시예들에 따른 방식으로 다른 정보를 획득하도록 프로세싱될 수 있다. 일부 실시예들에서, 캡쳐된 이미지는 서버로 전송될 수 있고, 캡쳐된 이미지들과 관련된 측정들의 프로세싱 및 피쳐 디스크립터는 서버에서 발생할 수 있고, 서버는 결과들, 예컨데, UE(100)에 대한 절대 좌표에 등록된 외부 3D 구조적 엔벨로프 및/또는 절대 좌표에 등록된 폐쇄 루프 궤적을 리턴할 수 있다. 일부 실시예들에서, 사용자의 궤적은 이전에 포토그래핑된 가시적 특징들에 대해 리턴함으로써 드리프트를 처리하도록 수정될 수 있다. 그 다음, "폐쇄 루프" 궤적이 결정되어 드리프트를 수정하기 위해 사용될 수 있다. 절대 좌표에 등록된 구조(427)의 외부 3D 구조적 엔벨로프는 수정된 그리고/또는 폐쇄 루프 궤적에 기초하여 결정될 수 있다. 예를 들어, 일부 실시예들에서, 캡쳐된 이미지들 및 측정들은 UE(100) 상의 애플리케이션(400)을 이용하여 프로세싱될 수 있다.
[00105] 이미지들, 무선(예를 들어, SPS 및 셀룰러) 측정들 및/또는 비무선(예를 들어, IMU(170) 및 센서 뱅크(185)) 측정들의 수집 이후, 사용자는 실외 위치(430)로부터 소매점(450)으로 진입할 수 있다.
[00106] 도 5b는 실내 네비게이션 시스템에 대한 타겟들을 생성하기 위한 예시적인 접근방식을 도시하는, 소매점(450)의 간략화된 조감도를 도시한다. 타겟들은 두드러진 시각적 특징들이며, 이들은 통로 간판(460), 잠재적으로 외부에서 가시적인 특징들 예컨데, 입구(470) 및/또는 창문(475), 가장자리, 코너 지점 등을 포함할 수 있다.
[00107] 도 5b에 도시된 바와 같이, 소매점(450)의 맵은 UE(100)로부터 수신된 입력을 사용하여 생성될 수 있다. UE 사용자(예를 들어, 상점 관리자)는 소매점(450)의 맵을 생성하기 위해 데이터를 수집할 수 있다. 일부 실시예들에서, UE(100) 상의 맵핑 애플리케이션, 예컨데, MM(152)은 통로 간판(460-1 내지 460-8), 입구(470), 창문(475) 및/또는 다른 외부에서 가시적인 특징들의 이미지들, 가장자리, 코너 지점, 오버헤드 조명 배열의 이미지들 등을 캡쳐하도록 사용자에게 지시할 수 있다.
[00108] 예를 들어, 사용자는, 사용자들가 이동할 것 같은 위치들을 통해 또는 위치들 부근을 통과하는 경로(435)를 따라, 모바일 디바이스를 가지고 상점을 통해 걸어갈 수 있다. 도 4b에 도시된 경로(435)는 단지 예로서 제공된다. 일부 실시예들에서, MM(152)은 사용자가 따라갈 더욱 철저한 경로를 제안할 수 있다. 예를 들어, 일부 실시예들에서, MM(152)은 일련의 폐쇄 루프들에서 상점(450)을 배회하도록 사용자에게 지시할 수 있다. 일 실시예에서, 사용자는 각각의 교차로에서 일 방향으로 턴하도록 지시받을 수 있다. 예를 들어, 위치의 배회가 일련의 폐쇄 루프들에서 발생할 확률을 높이기 위해 사용자는 각각의 교차로에서 우측으로 터닝(오른손 법칙) 또는 각각의 교차로에서 좌측으로 터닝(왼손 법칙)하도록 지시받을 수 있다. 경로(435)의 배회 동안, UE(100)/MM(152)은 (위치 지원 정보가 그 위치에서 유용한 경우) LADM(158), (캡쳐된 이미지들의 프로세싱에 관하여) CVM(156) 그리고/또는 (예를 들어, UE(100)의 추정된 위치를 결정하기 위해) PDM(156)으로부터 입력들을 수신할 수 있다.
[00109] 일부 실시예들에서, UE(100)/MM(152)은, 상점을 통한 사용자의 이동을 트래킹하기 위해 카메라(들)(180), IMU(170) 및/또는 센서 뱅크(185)로부터의 타임스탬핑된 가시적 및 관성 정보를 활용할 수 있다. 예를 들어, 상점의 타임스탬프된 이미지들은, 사용자 이동을 트래킹하기 위해 IMU(179) 및/또는 센서 뱅크(185)로부터 타임스탬핑된 측정들과 함께 카메라(들)(180)에 의해 캡쳐될 수 있다. 일부 실시예들에서, 타임스탬프들은 측정들을 상관시키고 그리고/또는 신호/측정 중단에 걸쳐 타임스티칭하기 위해 사용될 수 있다. 예를 들어, 무선 측정들이 시간 t1 부터 t2 까지 이용가능하지 않다면, 시간 t1에서 결정된 UE(100)의 SPS 기반 위치를 이용하여 t1부터 t2까지의 시간 간격 동안 UE의 위치를 결정하기 위해, IMU(170)에 의한 측정들이 부분적으로 사용될 수 있다. 추가로, 카메라(들)(180)에 의해 캡쳐된 이미지들 및/또는 센서 뱅크(185)에 의해 캡쳐된 측정들 및/또는 다른 무선 측정들이 타임스탬프들에 기초하여 IMU(170)에 의한 측정들과 상관되고, 본 명세서에 개시된 실시예들에 따른 방식으로 IMU(170)를 사용하여 결정된 위치/궤적 및/또는 IMU(170)의 바이어스들을 수정하기 위해 사용될 수 있다. 일부 실시예들에서, 트래킹은 이미지들의 캡쳐와 동기화된 IMU 측정들 및 캡쳐된 이미지들을 사용하여 수행될 수 있다.
[00110] 일부 실시예들에서, 경로(435)는 또한, UE(100)가 맵핑 애플리케이션에 의해 제공된 위치 정보가 SPS 수신기(140)에 의해 제공된 절대 좌표 시스템에 앵커링될 수 있도록 SPS 기반 포지셔닝을 사용할 수 있는 (상점(450) 바로 외부 또는 창문(475) 부근의 위치(430)와 같은) 위치들을 포함할 수 있다. 예를 들어, 일부 실시예들에서, MM(152)은, SPS 신호들이 이용가능한 위치에서 맵핑을 시작할 수 있고, 타임스탬핑된 캡쳐된 이미지들을 이용하여 그리고/또는 측정들과 관련된 타임스탬프들에 기반하여 측정 세트들을 타임스티칭함으로써 다양한 시간들에서 UE(100)의 위치를 결정할 수 있다.
[00111] 일부 실시예들에서, 정확한 SPS 신호들이 경로(435)의 배회 동안 하나 또는 그 초과의 포인트들(예를 들어, 창문(475) 부근)에서 이용가능한 경우, MM(152)은 추가의 SPS 기반 UE 위치들을 결정할 수 있고, 이들은 이들의 정확도, 가시적인 위성들의 수 또는 캐리어 위상의 이용성에 기초하여 추가 또는 새로운 앵커들로서 사용될 수 있다.
[00112] 사용자가 소매점(450)을 통해 걸어감에 따라, 다양한 타겟들이 지정될 수 있다. 지정은 요구되는 기능에 기초하여 자동으로 그리고/또는 수동으로 발생할 수 있다. 예시된 예에서, (간판(460-1 내지 460-8)을 포함하는) 통로 간판(460)은 타겟들로 지정된다. 예를 들어, MM(152)은 상점 관리자가 통로 간판의 이미지를 캡쳐하고 이를 타겟으로 지정할 수 있게 하는 사용자 인터페이스를 포함한다. 수동 지정은, 타겟(110)을 지정하는 사람이, 타겟(110)이 변경하지 않을 것이라는 지식(그로 인해, 타겟이 시각 기반 포지셔닝(VBP) 시스템에 타겟으로서 이후에 인식가능하게 될 것임을 확신하는 것을 도움)을 가지고 있는 경우 유용할 수 있다.
[00113] 일부 실시예들에서, UE(100)에 의해 수집된 데이터는 고객들에 의한 이후의 사용을 위해 소매점(450)의 맵을 구축하기 위해 서버로 전송될 수 있다. 예를 들어, 이미지들이 캡쳐될 때 UE(100)의 포지션에 속하는 타임스탬핑된 측정들 및 타겟들(110)의 타임스탬프된 이미지들은 서버로 전송될 수 있으며, 서버는 타겟들 각각에 대한 디스크립터를 구축할 수 있다. 디스크립터는 예를 들어, 타겟 상의 피쳐 포인트들을 포함할 수 있다. 이미지 디크스립터들은 SIFT(Scale Invariant Feature Transform), SURF(Speeded-Up Robust Descriptors) 등의 형태를 취할 수 있으며, 이들은 기술 분야에서 잘 알려져 있다. 결정된/저장된 이미지 디스크립터들은 UE의 포즈를 결정하기 위해 이미지 또는 객체 검출기에 의해 이후의 포인트에서 사용될 수 있다.
[00114] 일부 실시예들에서, UE(100)는 경로(435)에 대응하는 초기 궤적을 결정할 수 있다. 예를 들어, 일 실시예에서, 궤적은 EKF(405)에 의한 출력으로서 피쳐 포인트들의 3D 위치들 및/또는 UE(100)의 포즈들에 기초하여 결정될 수 있다. 일부 실시예들에서, 초기 궤적 및/또는 이미지들 및/또는 다른 측정들이 UE(100)에 무선으로 커플링된 서버로 전송될 수 있다. 서버는 실내 맵을 결정하기 위해 절대 좌표에 등록된 구조의 이용가능한 실외 3D 엔벨로프 및 UE의 초기 위치(430)의 지식을 사용할 수 있다. 예를 들어, 서버는 i) 앞서 결정된 구조의 이용가능한 3D 외부 엔벨로프와 궤적을 정렬하기 위해 외부적으로 가시적인 실내 피쳐들, 예컨데, 문, 창문 등, 또는 ii) 실내 맵을 생성하기 위해 이용가능한 3D 외부 엔벨로프와 함께, 캡쳐된 이미지들에서 구조의 부근의 내부가 가시적인 외부 키 포인트들: 중 하나 또는 그 초과를 사용할 수 있다. 예를 들어, 구조 부근의 키 포인트들의 지식은 외부 맵핑 페이스 동안, 예컨데 궤적(410)을 따라 이미지들을 캡쳐할 때, 캡쳐된 이미지들에 기초하여 이용가능할 수 있다.
[00115] 예를 들어, 일단 상점의 맵이 생성되면, 이미지 디스크립터들이 IMU(170)에 대한 드리프트/바이어스 수정을 수행하고 타겟 인식을 가능하게 하도록, 위치 지원 데이터로서 고객에 제공될 수 있다. 일부 실시예들에서, UE(100) 상에 이용가능한 성능들에 의존하여, 맵이 타입스태핑된 캡쳐된 이미지들 및 타임스탬핑된 무선(예를 들어, SPS 또는 셀룰러) 및 비무선(예를 들어, IMU(170) 또는 센서 뱅크(185)) 측정들에 기초하여 UE(100)에 구축될 수 있다.
[00116] 소매점(450)을 배회하면서 맵 생성을 위한 데이터를 수집할 때, 결정된 위치들(예를 들어, EKF(405)에 의해 출력된 UE(100)의 포즈)은 드리프트되기 쉬울 수 있다. 1% 드리프트 에러에 대해, 예를 들어, 100m의 경로 길이는 약 1m의 드리프트를 초래할 것이다. 드리프트 에러를 수정하기 위해, LCD(loop closure detection) 및 GBA(global bundle adjustment)가, UE(100)/MM(152)에 의해 수집된 데이터 및/또는 사용자가 데이터를 수집하는 것을 완료한 이후, EKF(405)에 의해 출력된 UE(100)의 포즈에 대해 수행될 수 있다. 일부 실시예들에서, LCD 및 GBA는 서버(예를 들어, 맵을 생성하는 서버)에 대해 수행될 수 있다. 예를 들어, UE(100)는 수정된 데이터 및/또는 추정된 궤적을 서버로 전송하며, 서버는 LCD 및 GBA 태스트들을 수행할 수 있다. 그러나, UE(100)에 이용가능한 성능들에 의존하여, LCD 및 GBA 중 하나 또는 그 초과가 UE(100) 상에서 수행될 수 있다.
[00117] 일부 실시예들에서, LCD는 드리프트를 결정하기 위해 이미지들에서 이전에 뷰잉된 피쳐들을 식별할 수 있다. UE(100)/MM(152)에 의해 수집된 데이터를 사용하면서, CVM(155)는 공통 피쳐 정보를 가진 영역들(440)을 결정하기 위해 카메라(들)(180)에 의해 캡쳐된 이미지들로부터의 피쳐 정보를 사용할 수 있다. 예를 들어, 좌표의 제 1 세트가, 제 1 이미지와 관련된 카메라 포즈 및 측정들에 기초하여 제 1 이미지에서 제 1 정적 피쳐에 대해 결정될 수 있다. 제 1 정적 피쳐는 제 2 세트의 좌표와 관련되고 카메라에 의해 캡쳐된 후속 이미지에서 식별될 수 있다. 피쳐와 관련된 위치가 변경되지 않기 때문에, LCD 알고리즘은 UE(100)의 궤적에 대한 드리프트를 결정할 수 있다. 예를 들어, LCD 알고리즘은 동일한 피쳐의 임의의 후속 방문에 좌표의 제 1 세트를 할당함으로써 "루프를 폐쇄"할 수 있다. 그 다음, GBA 알고리즘이 초기에 추정된 궤적(경로(435)에 대응함)으로부터 드리프트 에러를 완화 또는 제거하고, 소매점(450)의 맵을 유도하기 위해 사용될 수 있는 업데이트된 "폐쇄 루프" 궤적(또한 경로(435)에 대응함)을 계산하기 위해 측정들을 수정 및 정렬하도록 사용될 수 있다.
[00118] 간략화된 예로서, 사용자가 제 1 시간 동안 상점(450)의 위치(440-1)를 배회할 때, UE(100) 상의 CVM(155)은 위치(440-1)와 관련된 제 1 캡쳐된 이미지에서 제 1 특징을 마킹하고 제 1 피쳐와 관련된 제 1 추정된 위치를 결정할 수 있다. 예를 들어, 제 1 피쳐 포인트는 좌표(x1, y1, z1)와 관련될 수 있다. 사용자가 영역(440-1)을 다시 통과하고 제 2 이미지에서 제 1 피쳐를 캡쳐할 때, 피쳐와 관련된 좌표는 (x2, y2, z2)로 추정될 수 있다. 유사하게, 영역(440-2)과 관련된 제 2 피쳐는 제 1 경로 동안 좌표(x3, y3, z3) 및 제 2 경로 동안 좌표(x4, y4, z4)와 관련될 수 있다. 정적 피쳐와 관련된 좌표들에서의 차이는 드리프트가 원인일 수 있다. 드리프트가 연속적으로 발생하기 때문에, 전체 궤적이 수정될 수 있다.
[00119] 일 실시예에서, 일단 사용자가 데이터 수집을 완료하면, (모든 다른 데이터와 함께) 위치들(440-1 및 440-2)과 관련된 피쳐 정보 예컨데, 경로(435)와 관련된 추정된 궤적이 서버에 제공될 수 있다. 서버는 LCD 알고리즘을 수행하고 상점 관리자가 두 번 통과한 영역(440-1 및 440-2)을 식별하고, 좌표들((x1, y1, z1) 및 (x2, y2, z2))이 제 1 피쳐에 대응하는 한편, 좌표들((x3, y3, z3) and (x2, y2, z2))은 제 2 피쳐에 대응한다고 결정할 수 있다. 따라서, LCD 프로세스는 좌표(x1, y1, z1)를 제 1 피쳐의 두 번째 방문에 할당하고, 좌표(x3, y3, z3)를 제 2 피쳐의 두 번째 방문에 할당함으로써 루프들을 폐쇄한다. 드리프트는 초기에 추정된 궤적에 대해 발생한 것으로 뷰잉될 수 있다.
[00120] 그 다음, 글로벌 번들 조정이 경로(435)와 관련된 폐쇄 루프 궤적을 결정하고 드리프트를 수정하기 위해 사용될 수 있다. 예를 들어, 폐쇄 루프 궤적은 드리프트를 완화하기 위해 조정된 UE 위치들을 반영할 수 있다. 폐쇄 루프 궤적은 부분적으로 상점(450)의 맵을 결정하기 위해 사용될 수 있다.
[00121] 일단 맵이 생성되면, 맵은 UE(100) 상의 하나 또는 그 초과의 애플리케이션들(예를 들어, NM(154))에 대해 제공되거나 이용가능하게 될 수 있다. 맵은 소매점(450)을 통해 네비게이팅하기 위해 사용될 수 있다. 추가로, 맵을 사용할 때, 고객의 모바일 디바이스의 위치는 앞서 약술된 기술들을 이용하여 트래킹될 수 있다. 비록 추정된 위치가 네비게이션 동안 드리프트할 수 있지만, UE(100)의 위치는, NM(154)(또는 CVM(155))이 임의의 앞서 저장된 타겟들, 예컨데 예시적인 타겟들(460-1 내지 460-8)을 검출할 때마다 수정될 수 있다. 예를 들어, CVM(155)에서 이미지 또는 객체 검출 알고리즘들은 앞서 설명된 방식으로 드리프트를 수정하기 위해 카메라/UE 포즈를 제공할 수 있다.
[00122] 원하는 기능에 의존하여, 맵은 임의의 다양한 추가의 기능들을 포함할 수 있다. 예를 들어, 맵은 평면도를 통합할 수 있고, 물건 배치, 데일리 스페셜 등으로 보강되어 소매점(450)을 통해 사용자가 네비게이팅함에 따라 사용자 경험을 향상시킬 수 있다.
[00123] 일부 실시예들에서, 맵 구축 페이스 동안 UE(100)에 의해 결정된 Wi-Fi 또는 WLAN 액세스 포인트(AP)들의 식별 및 위치들이 결정되고 그리고/또는 저장될 수 있다. 일부 실시예들에서, (예를 들어, 네비게이션 동안 맵 데이터로부터의) AP들의 알려진 위치들은 또한 UE(100)의 위치의 추정을 획득하기 위해 사용될 수 있다. 예를 들어, WLAN 측정들 예컨데, RSSI(Received Signal Strength Indication), RTT(Round-Trip Time), 및/또는 다른 AP 무선 신호 측정은 상점(450)에서 UE(100)의 추정된 위치를 결정하기 위해 사용될 수 있다. 일부 실시예들에서, 추정된 위치는, 추정된 위치의 부근에서 타겟들을 검출하기 위한 타겟들에 대한 탐색을 제한함으로써 타겟 검출에 관련된 로드들의 프로세싱을 감소시키기 위해 VBP 알고리즘에 의해 사용될 수 있다. 이러한 기능은, 예를 들어, 고객이 소매점(300)에 진입한 이후 일부 포인트에서 상점 맵을 이용하여 네비게이션 애플리케이션을 시작할 때 유익할 수 있다. 초기에 위치가 없다면, NM(154)은 WLAN 측정에 기초하여 결정된 추정된 위치로부터 이익을 얻을 수 있다.
[00124] 예를 들어, UE가 소매점(450) 앞 근처(예를 들어, 영역(440-1) 근처)에 위치하고 있다고 NM(154)이 결정하면, NM(154)은 상점(450) 앞 부근에서 타겟들(460-1, 460-3, 460-5 or 460-7) 중 하나 또는 그 초과를 만날 가능성이 크다. 그러나 NM(154)은 상점(450)의 뒤에서 타겟들(460-2, 460-4, 460-6 또는 460-8) 중 어느 것도 검출할 것 같지는 않다. 따라서, NM(154)은 자신의 현재 위치에 기초하여 피쳐들에 대해 탐색할 때 타겟들(460-2, 460-4, 460-6 또는 460-8)을 고려대상에서 제외할 수 있다.
[00125] 도 5b와 관련하여 전술한 기술들은 또한 도 5a에서 실외 맵핑과 함께 사용될 수 있음을 주목해야 한다. 예를 들어, 폐쇄 루프 궤적이 앞서 이미지되고 저장된 피쳐들과 관련된 위치들에 적어도 부분적으로 기초하여 (도 5a에서) 경로(410)에 대해 앞서 약술된 대로 결정될 수 있다.
[00126] 도 6a는 무선 맵 생성을 위한 예시적인 방법(500)의 흐름도를 도시한다. 일부 실시예들에서, 방법(500)은 UE(100)에 의해 수행될 수 있다. 일부 실시예들에서, 방법(500)의 부분들은 UE(100) 및/또는 서버(150)에 의해 수행될 수 잇다. 단계(510)에서, UE(100)는 맵핑 모드로 진입할 수 있다.
[00127] "맵핑 모드"에서, UE(100)는 비교적 높은 레이트로 연속적인 GNSS, 카메라 및 관성 데이터 및 다른 센서 데이터를 수집할 수 있다. 또한, 맵핑 모드에서, 센서 측정들 예컨데, RF 측정들, GNSS 측정들 및 관성, 자력계 고도계 및/또는 기압계 센서들로부터의 데이터가 이미지들의 캡쳐와 함께 캡쳐될 수 있다. 맵핑 모드에서, LOS(Line of Sight) 조건들이 적어도 하나 또는 그 초과의 SPS 위성들(280)에 대해 존재하는 한, 시각적 주행거리 측정법 프로세스에 대한 추가의 앵커를 제공하고 시각 UE 클록 상태를 안정시키기 위해, (보통 스마트폰들에서 보여지는 "포지션 출력들"에 상반되게) 연속한 캐리어 위상 가측치(observables)와 같은 실제 GNSS 측정 데이터가 사용될 수 있다.
[00128] NLOS(Non Line of Sight) 조건들이 다양한 시점에서 하나 또는 그 초과의 위성들에 존재할 수 있지만, LOS 조건들이 그 시간에 다른 위성들에 존재하는 경우, LOS 위성들의 캐리어 위상 관측은 서로 스티칭될 수 있다. 예를 들어, 도 6b에 도시된 바와 같이, 시간 T0에서, 궤적(410)을 따를 때, UE(100)은 SV들(280-1 및 280-2), 안테나(240-1)로부터 LOS 신호들을 수신할 수 있는 한편, SV(280-3), 안테나(240-3) 및 AP(620-1)로부터 수신된 신호들은 NLOS일 수 있다. 또한, 이후의 시간 T1에 그리고 궤적(410) 상의 상이한 위치에서, UE(100)는 SV(280-3) 및 안테나(240-3)로부터 LOS 신호들을 수신할 수 있는 한편, SV(280-1 및 280-2), 안테나(240-1) 및 AP(620-1)로부터의 신호들은 NLOS일 수 있다.
[00129] 따라서, LOS 조건들이 다양한 시간에 SV들(280-1, 280-2 및/또는 280-3) 중 하나 또는 그 초과에 대해 존재하면, LOS 위성들의 캐리어 위상 관측들이 서로 스티칭될 수 있다. 캐리어 위상 가측치(종종 사이클 슬립으로 지칭됨)의 간단한 중단이 존재하거나 NLOS(Non LOS) 조건이 존재하는 상황에서, 관성 센서들, 기압 센서들, 자력계들 및/또는 이미지 기반 주행거리 측정법의 조합으로부터의 데이터가 중단들에 걸쳐 "스티칭"하고 UE 포지션을 결정하도록 사용될 수 있다.
[00130] 그 다음, 도 6a를 참조하면, 단계(515)에서, UE의 6-DOF 궤적이 SPS/GNSS 및 센서 측정들의 조합에 기초하여 결정될 수 있다. 예를 들어, 관성 스티칭이, 관성 궤적 드리프트가 일부 임계치 미만(예를 들어, GPS L1 파장의 절반 미만)일 때 사용될 수 있다.
[00131] 단계(520)에서, 3D 빌딩 엔벨로프(또는 외부 3D 구조적 엔벨로프) 및/또는 외부 3D 맵이 캡쳐된 이미지들, IMU(170)에 의한 측정들, 센서들(185)에 의한 측정들, 및 무선(SPS 및/또는 RF) 신호 측정들에 기초하여 획득될 수 있다. 일부 실시예들에서, 사용자는, 구조(예컨데, 구조(427))가 보이게 유지하면서, 이웃 랜드마크들, 구조들, 빌딩 오버행들 등의 이미지들을 캡쳐하도록 지시받을 수 있다. "빌딩 엔벨로프"라는 용어는, 빌딩의 내부와 외부 환경들 사이의 물리적 분리자로서 기능하는 빌딩/구조의 외부 쉘을 지칭한다. 일부 실시예들에서, MW 가정이 부분적으로 빌딩 엔벨로프를 결정하기 위해 사용될 수 있다.
[00132] 단계(525)에서, UE(100)의 폐쇄 루프 궤적이 결정될 수 있다. 예를 들어, LOS 조건들이 하나 보다 많은 위성에 존재하고 그로 인해 동시에 다수의 캐리어 위상 관측들이 허용되는 예들에서, 관성 궤적이 안정화될 수 있다. 예를 들어, 사용자/MS는 데이터 수집 동안 이전에 포토그래핑된 가시적 피쳐(들)로 리턴하도록 지시받을 수 있다. 두 이미지들에 대한 카메라 포즈가 예를 들어, VSLAM 기술들을 사용하여 컴퓨팅될 수 있다. 두 이미지들과 관련된 카메라 포즈들에 기초하여, IMU(자이로 및 가속도계 에러들)는 모델링되어, 궤적은 명백한 에러들 없이 가시적 피쳐(들)로 리턴하도록 재추정된다. 이러한 폐쇄 루프 궤적은, 포지션 불확실성의 3개의 디멘젼들, 회전 불확실성의 3개의 디멘젼들 및 수신기 클록 바이어스의 추가의 "디멘젼"을 나타내는 7 자유도(7-DOF)를 갖는 것으로 보여질 수 있다. 수신기 클록 바이어스는, 무선 범위 측정들 예컨데 GNSS, WWAN, 및 WLAN RTT와 관련된 측정들을 관련시킬 때 유용하며, 여기서 약 1ns의 타이밍 에러는 약 1 피트의 범위 에러로 전환된다. GNSS 위성들에 대한 LOS 조건들에서, 수정된 캐리어 위상 측정들은 약 1cm의 정확성이지만 알려지지 않은 적분 상수를 가질 수 있다. 이러한 적분 상수는 운동학적 캐리어 위상 프로세싱 기법에서 알려진 다수의 기술들에 의해 결정될 수 있다. 적분 절대 상수에 대한 지식 없이, 궤적에 대한 캐리어 위상에서의 변화는 궤적에 대해 정확한 UE 포지션 및 클록 바이어스 프로파일을 결정하는데 도움을 준다는 것을 이해해야 한다. 궤적에 대한 정확한 UE 포지션 및 클록 바이어스 프로파일은 정밀한 정확성으로 정확한 무선 지연 맵들의 생성을 위해 중요하다.
[00133] 많은 경우에, 미터 정도의 절대 에러들이 남아있을 수 있지만, 무선 다중 경로 변화로 인한 왜곡들이 효율적으로 완화될 수 있어서, 정확한 궤적 및 결국 다수의 정확하게 관련된 맵 층들을 갖는 정확한 맵을 제공하며, 여기서 관련성은 모두, 심지어 구조의 절대 포지션이 맵핑의 시작 시 미터보다 더 잘 알려지지 않은 경우에도, 미터보다 더 정확할 수 있다. 디바이스가 GNSS 신호들에 대해 LOS에 있는 동안, IMU 센서들을 협력적으로 교정하는 것은 물론, 다른 측정 소스들, 예컨데 WWAN, WLAN, 기압 센서들 및 자력계들의 더 큰 바이어스들 및 안정성을 결정하기 위해 사용될 수 있는 더 높은 정확성을 갖는 궤적을 생성하는 것이 가능하다.
[00134] 그 다음, 단계(530)에서, 일부 실시예들에서, 3D 빌딩 엔벨로프는 재추정된 7-DOF 궤적에 기초하여 재결정될 수 있다. 일부 실시예들에서, MW 가정들이 빌딩 엔벨로프를 결정하기 위해 사용될 수 있다. 예를 들어, 대부분의 벽들이 수직(완전하게 수직)이고 90도 각도를 충족한다는 것이 가정된다. 따라서, 이러한 방식으로, 빌딩이 초기 "개루프" 3D 포토 모델은 직각 벽들에 대해 조정되고 수직으로 정렬될 수 있다. 벽들은 또한 수직적이거나 평행하다고 가정될 수 있다. 그 다음, UE(100)의 궤적이 이러한 조정된 3D 포토 모델에 대해 시각적 주행 거리 측정법 데이터로부터 재계산될 수 있다. 그 다음, 단계(535)에서, 빌딩의 포지션이 부분적으로, GNSS 의사거리 측정을 이용하여 글로벌 좌표에 등록될 수 있다. 일부 실시예들에서, 구조의 외부 엔벨로프가 루프 오버행들 또는 다른 피쳐들의 로컬 뷰와 결합한 오버헤드 이미지들에 기초하여 조정될 수 있다.
[00135] 그 다음, 단계(540)에서, 재추정된 궤적이 글로벌 좌표에 등록될 수 있다. 일부 실시예들에서, 다중 경로, 위성 포지션, 위성 클록 드리프트, 잔여 전리층 및 대류권 신호 지연들 등으로 인해 발생한 의사거리 측정 에러가 차동 방법들을 사용하여 완화될 수 있고, 여기서 위성 포지션 및 클록, 전리층 활동 및 대류권 습기 지연 등에 대한 더욱 정확한 모델들이 에러들을 완화하기 위해 사용될 수 있다. 더욱이, 캐리어 위상 관측들이 동시에 이용가능한 정도까지, 다중 경로 에러들이 코드-캐리어 평활화를 이용하여 감소될 수 있고, 큰 코드 캐리어 변동을 갖는 측정들은 적절하게 가중될 수 있다.
[00136] 일부 실시예들에서, 캐리어 위상 차동 GNSS 프로세싱이 플로팅 또는 고정된(리졸빙된(resolved)) 캐리어 사이클 모호성을 갖는 디바이스 궤적 추정을 추가로 향상시키기 위해 사용될 수 있다. 캐리어 위상 차동 GNSS 프로세싱은 글로벌 좌표 시스템에 등록된 알려진 벤치마크 위치에서 인근의 기준 수신기를 전형적으로 사용한다. 이러한 경우, 잔여 대기 에러들이 대체로 소거되고, 사이클 모호성들이 리졸빙될 수 있다.
[00137] 대안적인 실시예에서, 디바이스 궤적은, 시간에 대해 합성 캐리어 위상 차동 프로세스를 형성하기 위해 시각적 주행거리 측정법을 이용하여 함께 스티칭될 수 있다. 위성 관련 에러들 및 대기 에러들이 상대적으로 느리게 변화하기 때문에, 로컬 맵의 정확성은 차동 프로세싱 없이도 초기에 유지될 수 있으며, 차동 프로세싱은, 적절한 기준 데이터가 이용가능하게 될 때 맵 등록 및 명확화를 위해 추후에 부가될 수 있다. 기준 데이터는 실제 위성 포지션, 방향 및 클록 오프셋의 관측들을 포함할 수 있다.
[00138] 일부 실시예들에서, 위성 방향은, 광역 위상 캐리어 위상 수정이 결정되고 적용될 수 있도록 위성 안테나의 위상 패턴을 고려하면서 결정될 수 있다. 그 다음, 신호 위상 변화를 생성하는 위성 방향 또는 임의의 다른 팩터가 지상 기준 수신기 네트워크를 이용하여 결정되면, 위성 안테나 위상 수정을 하든 그렇지 않든, 결과의 "차동 수정"들이 맵 프로세싱에서 사용하기 위해 로컬라이징될 수 있다.
[00139] 일부 실시예들에서, 단계(545)에서, 센서들로부터의 맵핑 모드에서 획득된 측정들이 또한, 서버(250) 상에 저장되어 있을 수 있는 하나 또는 그 초과의 현존 맵들을 생성 및/또는 업데이트하기 위해 사용될 수 있다. 이러한 맵들은 실외 2D 로드 맵 또는 평면도, 3D 내비게이션 가능한 피쳐 데이터베이스를 포함할 수 있는 포토 맵, 다양한 위치들에서 하나 또는 그 초과의 안테나들에 대한 신호 강도들을 나타낼 수 있는 히트 맵, 그리고/또는 다양한 위치들에서 안테나에 대해 신호 지연들을 나타낼 수 있는 공간적으로 가변적인 FLC 맵 중 하나 또는 그 초과를 포함할 수 있다. 일부 실시예들에서, 맵들 중 하나 또는 그 초과는 포지션 입도의 상이한 레벨들로 현존 맵 층들에 측정들로서 저장되고, 그리고/또는 이들과 어그리게이팅될 수 있다. 본 명세서에 사용되는 "맵 층"이라는 용어는 UE의 포지션 및 포지션 불확실성에 맞춤화되는, 정보 예컨데 위치 지원 정보를 지칭한다. 각 측정 타입에 대해 상이한 맵 층들이 존재할 수 있으며, 여기서 모든 맵 층들은 동일한 로컬 또는 절대 좌표에 등록될 수 있다. 예를 들어, 관심 있는 각각의 무선 신호에 대해, 지연, 신호 강도 또는 감쇠 맵 층들 중 적어도 하나가 존재할 수 있다. 기압 변화 주석 층이 존재할 수 있다. 표준 지구 자기장 모델에 로컬 수정들을 제공하는 자기장 변화 층이 존재할 수 있다.
[00140] 일부 실시예들에서, 맵핑 모드에 있을 때, UE(100)는, 맵 층들의 형태로 또한 제공될 수 있는 초기 위치 추정을 결정하기 위해 위치 지원 정보를 요청 그리고/또는 수신할 수 있다. 예를 들어, 제 1 FLC 값을 포함하는 위치 지원 정보는 UE(100)의 추정된 제 1 포지션 및 포지션 불확실성에 기초하여 UE(100)에 제 1 맵 층에서 제공될 수 있다. UE(100)의 포지션/포지션 불확실성이 이전에 제공된 위치 지원 정보에 기초하여 개선 또는 재추정될 때, 개선된 포지션 추정/포지션 불확실성에 기초한 FLC 값들이 UE 포지션의 더 정확한 결정을 가능하게 하도록 다른 맵 층으로부터 리트리브(retrieve)될 수 있다.
[00141] 일반적으로, 앱 층들은 정보의 다양한 다른 타입들을 포함할 수 있다. 예를 들어, 맵 층들은 수신된 신호 강도를 맵 위치들과 상관시키는 수신된 신호 강도 맵 층; SNR들을 맵 위치들과 상관시키는 신호 대 잡음비(SNR) 맵 층; 맵 위치들을 나타내는 LOS(Line of Sight) 맵 층, 여기서 LOS 조건들은 하나 또는 그 초과의 안테나들과 관련하여 존재할 것 같음; NLOS(Non-Line of Sight) 맵 층, NLOS 맵 층은 맵 위치들을 나타내며, 여기서 NLOS 또는 바디 블로킹된 조건들은 하나 또는 그 초과의 안테나들과 관련하여 존재할 것 같음; 등 중 하나 또는 그 초과를 포함할 수 있다.
[00142] 일부 실시예들에서, 맵 층들은 또한, BSA에서 위치들에 대해 안테나에 대한 다중 경로의 정도의 표시를 제공하기 위한 적어도 하나의 다중 경로 층을 포함할 수 있다. 더욱이, 일 실시예에서, 다중 경로 층은 안테나에 대해 긴 섀도우 영역들을 나타내기 위한, 제외 존들, 다중 경로의 크기의 표시 및/또는 롱 섀도우 영역에서 안테나에 대한 신호 감쇠 레벨을 포함하는 롱 섀도우 층; 또는 안테나에 대한 짧은 섀도우 영역들을 나타내기 위한, 짧은 섀도우 영역들에 안테나 신호들에 대한 타이밍 입도 정보를 포함하는 짧은 섀도우 층; 또는 안테나의 적어도 하나의 커버리지 영역에 고유한 송신 패턴들을 나타내기 위한 송신 패턴 층 중 적어도 하나를 더 포함할 수 있다. 일부 실시예들에서, UE(100)는 위치 및 위치 불확실성을 추정하기 위해 하나 또는 그 초과의 맵 층들에서 정보를 사용할 수 있고, 위치 및 위치 불확실성에 기초하여, 추가 맵 층들을 요청할 수 있다. 일부 실시예들에서, 복수의 맵 층들이 UE(100)의 위치/위치 불확실성에 기초하여 UE(100)에 제공될 수 있다. 일반적으로, 맵 층들을 포함하는 위치 지원 정보는 UE(100)와의 통신을 위해 사용되는 프로토콜들, 통신을 위해 이용가능한 대역폭, 신호 조건들, 비용, 통신, 메모리 및/또는 UE(100)에서 이용가능한 프로세싱 성능 및 다양한 다른 파라미터에 기초하여 UE(100)에 제공될 수 있다.
[00143] 유사하게, 측정들이 UE(100)로부터 수신된 때, 측정들은 현존 맵 층들을 생성하고 그리고 또는 업데이트하기 위해 사용될 수 있다. 예를 들어, 새로운 측정들이 하나 또는 그 초과의 맵 층들을 결정하기 위해 사용되는 하나 또는 그 초과의 이전의 측정들을 대체할 수 있다. 예를 들어, 일부 시간 기간보다 이전의 측정들 및/또는 하나 또는 그 초과의 맵 층들에서 (예를 들어, 현재 측정의 포지션 불확실성 추정을 초과하는 포지션 불확실성 추정을 갖는) 신뢰가능하지 않거나 부정확한 것으로 간주되는 측정이 업데이트될 수 있다. 일부 실시예들에서, 새로운 측정들이 이전의 측정들과 어그리게이팅될 수 있다. 예를 들어, 통계적으로 의미 있을 때, 평균, 중간 및/또는 다른 통계적 측정이 하나 또는 그 초과의 업데이트된 맵 층들을 생성하기 위해 측정을 현존 측정들과 어그리게이팅함으로써 컴퓨팅될 수 있다. 적절한 버젼의 제어 메카니즘이 제공된 맵 층들의 타임라인, 정밀도 및 정확성을 유지하기 위해 요구될 수 있다는 것이 이해되어야 한다.
[00144] 도 7a는 구조(527) 내에서 이동국을 가진 사용자를 도시한다. 도 7b에 도시되듯이, 매장 내에서 카메라(180)에 의해 캡쳐되고 UE(100) 상의 디스플레이(190)에 디스플레이된 이미지(640)는, 각각 상점들, "ABC 서점" 및 "PQR 신발 가게"로 도 7a에 도시된, 관심 포인트들(610 및 630)과 같은 하나 또는 그 초과의 간판들을 도시할 수 있다. 구조(527)에서, UE(100)는 SV들(280)의 하나 또는 그 초과로부터 간헐적으로 신호들을 수신할 수 있다. 그러나 액세스 포인트(AP)들(520)로부터의 신호들이 이용가능할 수 있다. 예를 들어, AP들(620-1 및 620-2)은 구조(527) 내에 배치된 WLAN 네트워크에 대한 액세스 포인트들일 수 있고 UE(100)에 액세스가능할 수 있다. 그러나 전술한 바와 같이, 일부 실시예들에서, UE(100)는, 구조(527) 내에 있을 때에 간헐적으로만, SV들(280) 그리고/또는 안테나들(240-1 및 240-2)로부터 신호들을 수신할 수 있다.
[00145] 일부 실시예들에서, 맵핑 모드 내의 UE(100)을 소지하고 구조(527) 내의 실내 위치를 사용자가 배회하면서, 이미지들 및 상술된 다른 센서 데이터가 계속해서 수집될 수 있다. 일부 실시예들에서, 사용자는, 위치를 고유하게 식별하도록 기능할 수 있는 피쳐 포인트들의 이미지들, 예컨데, 사진들, 간판들, 룸 번호들, 다양한 다른 마커들, 및/또는 "코너 지점들"을 캡쳐하기 위해 지향될 수 있다. 예를 들어, 사용자는 상점 간판들 "ABC 서점" 및 "PQR 신발 가게"에 각각 대응하는 관심 포인트들(610 및 630)을 캡쳐할 수 있다. 일부 실시예들에서, SLAM/VSLAM 기술들이, 캡쳐된 이미지들에서 관심 포인트들(610 및 630)과 같은 피쳐 포인트들을 사용하여 부분적으로, 카메라 포즈를 결정함으로써 맵을 획득하도록 위치 지원 데이터 및 다른 측정들(예를 들어, 무선 측정들 및/또는 센서 측정들)과 함께 사용될 수 있다. 일부 실시예들에서, EKF 기반 기술들이 사용자/UE가 따르는 위치/궤적을 결정하기 위해 사용될 수 있다.
[00146] 도 6a를 참조하면, 일부 실시예들에서, 단계(550)에서, 카메라(들)(180)에 의해 캡쳐된 이미지들, IMU(170)에 의한 측정들, (기압계/고도계/자력계를 포함하는) 센서들에 의한 측정들(185), 실내 영역의 배회 동안 캡쳐된 (존재한다면) RF 측정 및/또는 SPS 측정을 포함하는 데이터는 UE(100)의 7DOF 실내 궤 적을 결정하기 위해 UE(100)에 의해 프로세싱되고 그리고/또는 서버(250)로 전송될 수 있다.
[00147] 단계(555)에서, 실내 영역의 3D 모델 및/또는 맵이 다른 센서 측정들과 함께 캡쳐된 이미지들로부터 생성될 수 있다. 예를 들어, 고도계, 자력계, 기압 및 IMU 측정들이 부분적으로 생성된 맵들의 신뢰성의 표시들로서 그리고/또는 실내 맵들을 생성하기 위해 사용될 수 있다. 더욱이, 하나 또는 그 초과의 AP들이 이용가능한 예들에서, RTT(Round Trip Time) 및/또는 RSSI(Received Signal Strength Indicators)를 포함하는 RF 측정들이 (도 6a에서) AP들 예컨데 AP들(620-1 및 620-2) RF 측정들을 특징화하기 위해 사용될 수 있다. 일부 실시예들에서, MW 가정들이 캡쳐된 이미지들로부터 실내 영역의 3D 모델을 재구성하기 위해 사용될 수 있다. 예를 들어, CVM(155)이 재구성을 수행하기 위해 사용될 수 있고 그리고/또는 재구성이 서버(250)에 의해 오프라인으로 수행될 수 있다.
[00148] 일부 실시예들에서, 실내 맵들의 수집들이, 실내 또는 실외일 수 있는 커넥팅된/인근의 공간들에 대해 포인터들로 조직화될 수 있다. 예를 들어, 맵이 단일 구조에 대해 획득되거나 생성되고 있는 경우, 인접한 구조들 및/또는 구조 유닛들에 대한 정보가 이웃 구조까지 그리고/또는 이웃 구조 내로 네비게이션을 가능하게 하도록 부가될 수 있다. 예를 들어, 다층 오피스 빌딩에서, 맵들이 개별 층들로 분리된다면, 엘리베이터통 및 계단통은 물론 길을 따라 사용자가 들르는 각 층에 대한 상황 정보(각 문 외부 홀의 모델)가 각 맵에 포함될 수 있다. "커넥터" 맵들은 분리될 수 있거나 각각의 개별 맵을 중첩하는 층으로서 제공될 수 있다.
[00149] 그 다음, 단계(560)에서, 단계(555)에서 생성된 실내 모델이 단계(530)에서 결정된 빌딩 엔벨로프에 등록/이와 정렬될 수 있다. 일부 실시예들에서, 외부에서 가시적은 실내 구조 피쳐들 예컨데, 내부 및 외부 모두에서 가시적일 수 있는 창문, 문 등이 외부 맵에 대한 이미지들을 등록할 때 사용될 수 있다. 일부 실시예들에서, 각각의 룸 또는 적절한 실내 구조 유닛이 개별적으로 리졸빙될 수 있고, 외부 엔벨로프에 대해 스냅될 수 있다.
[00150] 예를 들어, 벽이 그 안에 창문을 갖는다면 벽이 "외부" 및 "내부" 모두라는 추정이 행해질 수 있다. 그 창문은, 외부 및 내부로부터 보여지듯이, 동일한 벽의 두 상이한 뷰를 정렬하도록 사용될 수 있다. 더욱이, 벽 두께는, 외부 뷰에서 창문 모서리로부터 외부 코너까지의 거리와 내부 뷰에서 동일한 창문 모서리로부터 관련된 내부 코너까지의 거리 사이의 차에 의해 추론될 수 있다. 벽 두께는 또한, 틀 또는 주변의 뷰가 용이하게 이용가능하면, 창틀의 깊이로부터 추론될 수 있다. 전부는 아니지만, 대부분의 경우, 구조의 모든 외부 벽들은 실질적으로 동일한 두께를 가질 것이다. 따라서, 이 경우를 가정하지만, 필요에 따라 이 가정을 체크하고 데이터에서 예외들을 찾으면서, 내부 맵을 개발하는 것이 가능할 수 있다. 다수의 방법들이 외부 벽 두께를 결정하기 위해 사용될 수 있고 하나의 방법만이 사용되는 경우보다 더 정확한 측정을 형성하기 위해 결합될 수 있다. 일단 벽 두께가 알려지면, 내부 및 외부 두 표면을 갖는 벽들은 정확하게 등록되고 정렬될 수 있고, 더 높은 내부 일치성을 생성하고 내부 맵을 더 정확하게 유도된 외부 쉘 형상, 방향 및 위치로 등록하는 것이 가능하게 한다.
[00151] 일부 경우들에서, 외부 표면을 가지지 않는, 내부 벽들은 외부 벽들 외부 벽들과 상이한 두께를 가질 것이다. 다시, 맵 모델에서 제 1 통로는 모든 내부 벽들이 동일한 폭을 갖는다고 가정할 수 있다. 예를 들어, 미국에서, 내부 비하중 벽은 2×4 인치 부재로 종종 프레임되는 한편, 외부 벽들은 2x6 인치 또는 2x8 인치 부재를 사용한다. 더욱이, 외부 사이딩은 외부 벽에 추가의 두께를 부가할 수 있다. 전체 모델은 다수의 룸들을 함께 빌딩 맵으로 어셈블링하고, 이들을 외부 벽들에 "스냅핑"함으로써 개발될 수 있고, 프로세스에서 외부 및 내부 벽 두께를 해결한다. 주어진 구조에서 벽 두께 및/또는 구조 재료들이 그 이웃들과 유사할 수 있다고 예상하는 것이 또한 합리적이다. 따라서, 일단 제 1 구조 벽두께가 알려지면, 달리 증명될 때까지, 이웃 벽 두께는 동일한 것으로 가정될 수 있거나, 다수의 벽 두께들이 독립적으로 해결되고 그 다음 비교될 수 있다. 기술 분야에 잘 알려져 있듯이, 유사한 프로세스가 루프 피치, 표면 영역 등을 결정하는데 이어진다.
[00152] 단계(565)에서, 일부 실시예들에서, 사용자/MS는 데이터 수집 동안 이전에 포토그래핑된 시각적 피쳐(들)로 리턴하도록 명령받을 수 있고, 폐쇄 루프 궤적이 IMU(170)(예를 들어, 자이로 및/또는 가속도계) 에러들에서 에러들을 완화하기 위해 결정될 수 있어서, 궤적은 명백한 에러 없이 가시적 피쳐(들)에 리턴하도록 재추정될 수 있다. 일부 실시예들에서, 사용자는 관성 센서 에러들의 효과를 최소화하기 위해, 일련의 하나 또는 그 초과의 폐쇄 루프들을 사용하여 실내 영역을 배회하도록 지시받을 수 있다. 예를 들어, 사용자가 모든 교차로마다 오른쪽(또는 왼쪽)으로 터닝하도록 사용자에게 지시하는 오른손(또는 왼손) 법칙이 폐쇄 루프들을 형성하고 구조 내부의 완전한 커버를 보장하기 위해 사용될 수 있다.
[00153] 그 다음, 단계(570)에서, 실내 영역의 3D 모델이 단계(365)로부터의 재추정된 폐쇄 루프 궤적에 기초하여 재프로세싱될 수 있다. 그 다음, 일부 실시예들에서, 단계(375)에서, 실내 맵이 3D 모델에 기초하여 생성될 수 있다.
[00154] 일부 실시예들에서, 수집된 데이터의 일부 또는 전부는 UE(100) 상에서 프로세싱될 수 있고 그리고/또는 프로세싱을 위해 서버(250)로 전송될 수 있다. 일부 실시예들에서, 맵들이 이웃 그리고/또는 첨부된 구조들에 대해 이용가능하면, 현재 구조 및 부속된/이웃 구조들에 대한 실내/실외 맵들이, 예를 들어, 외부 이미지들을 사용함으로써 서로 스티칭될 수 있다. 일부 실시예들에서, 이웃 구조 맵들에 대한 포인터들/관련들이 UE에 그리고/또는 서버 상에 캐싱될 수 있다. 일부 실시예들에서, "스마트 유리" 또는 다른 웨어러블 디바이스가 폰, 예컨데 카메라를 가진 블루투스 헤드셋에 커플링되는 경우, 스마트 유리/웨어러블 디바이스 상의 카메라가 트리거링될 수 있다.
[00155] 도 8은 개시된 실시예들에 따라 데이터 수집(700)을 맵핑하는 예시적인 방법을 위한 흐름도를 도시한다. 일부 실시예들에서, 방법(700)은 UE(100)에 의해 수행될 수 있다. 일부 실시예들에서, 방법(700)의 일부분들은 UE(700) 및/또는 서버(150)에 의해 수행될 수 있다. 일부 실시예들에서, 방법(700)의 일부들은 맵핑 모드에 있을 때 UE(100)에 의해 수행될 수 있다. 예를 들어, 방법(700)은 단계(705)에서 호출될 수 있고 UE(100)는 맵핑 모드에 진입하거나 놓이게 될 수 있다.
[00156] 다음으로, 단계(710)에서, 무선 신호들에 대한 탐색이 시작될 수 있다. 일부 실시예들에서, 요청되고 그리고/또는 서버(150)로부터 수신된 위치 지원 데이터가 무선 신호 탐색을 위한 전략을 선택하기 위해 UE(100)에 의해 사용될 수 있다. 일부 실시예들에서, 위치 지원 데이터는 WWAN, WLAN 및/또는 GNSS 지원 데이터를 포함할 수 있다. 단계(712)에서, 피드백이 무선 신호 탐색을 통해 제공될 수 있다. 예를 들어, 신호들이 서빙 셀 및 하나 또는 그 초과의 이웃 WLAN 셀들(245), 하나 또는 그 초과의 GNSS SV들(280) 및/또는 하나 또는 그 초과의 WLAN AP들(620) 및 이들의 메모된 절대 및/또는 상대적인 신호 강도로부터 수신될 수 있다.
[00157] 단계(720)에서, UE(100) 상의 하나 또는 그 초과의 센서들이 활성화될 수 있다. 예를 들어, 카메라(180), 센서들(185) 및/또는 IMU(170)이 활성화될 수 있다. 일부 실시예들에서, 센서들(185) 및/또는 IMU(170)의 측정들이 카메라(180)에 의한 이미지 프레임들의 캡쳐에 동기화될 수 있다. 일부 실시예들에서, 무선 포지셔닝(예를 들어, GNSS 및/또는 하이브리드 측정들에 기반한 포지셔닝)이 단계들(710/712)에서 획득된 신호들에 기반하여 이용가능하면, IMU(170)는 무선 포지셔닝에 기초하여 초기 포지션으로 초기화될 수 있다.
[00158] 일부 실시예들에서, UE(100)가 맵핑 모드에 놓일 때, 센서 측정들은 15fps - 30fps 비디오 프레임 레이트에 기초하여 그리고/또는 이와 함께 미세한 입도로 취해질 수 있다. 일부 실시예들에서, 하나 또는 그 초과의 센서들이 캡쳐된 이미지들에 기초하여 CV 기술들을 이용하여 결정되는 카메라 포즈를 사용하여 교정될 수 있다. 일부 실시예들에서, 애플리케이션 레벨에서 획득된 이미지 타임 스탬프, 애플리케이션 프로그래밍 인터페이스(API)로부터 획득된 센서 타임 스탬프, 타임스탬프들 사이의 오프셋 및/또는 노출 시간들에 기초한 카메라 타임스탬프들에서의 지터 중 하나 또는 그 초과가, (i) 다양한 센서 측정들을 수정하고, (ii) 캡쳐된 이미지들을 센서 측정들과 상관시키고, 그리고/또는 (iii) 측정들을 시간 스티칭하기 위해 사용될 수 있다. 일부 실시예들에서, 센서 측정들을 이미지들과 상관시킬 때, 상대적인 타임스탬프들 또는 오프셋들이 사용될 수 있다.
[00159] 일부 실시예들에서, 단계(722)에서, 사용자는 IMU(170)의 교정에 대해 선택적으로 명령받을 수 있다. 일부 실시예들에서, IMU(170)는 카메라(180)에 의해 캡쳐된 이미지들을 사용하여 교정될 수 있다. 예를 들어, 사용자는 카메라를 타겟 객체에 겨냥하고 그리고/또는 모션 시퀀스를 수행하도록 명령받을 수 있다. 단계(725)에서, 사용자에게 모션 시퀀스 및/또는 교정의 진행에 관련된 피드백이 제공될 수 있다. 예를 들어, 컴퓨터 비젼(CV) 기반 기술들은, 복수의 이미지들에 대한 카메라 포즈를 획득하기 위해 사용될 수 있다. IMU(170)는, 복수의 프레임들 각각에 대해 CV 기반 포즈들을 프레임들에 대한 대응하는 IMU 결정된 포즈들과 비교함으로써 부분적으로 교정될 수 있다. 일부 실시예들에서, IMU(170)는 잘 알려진 EKF 기술들을 사용하여 모델링될 수 있는 IMU(170) 에러 상태들에 CV 측정들을 관련시키는 관측 식들을 사용하여 교정될 수 있다.
[00160] 단계(730)에서, UE(100) 상의 안테나들에 대한 안테나 패턴들의 결정이 개시될 수 있다. 일부 상태들에서, 안테나 패턴 결정이 실외에서 수행될 수 있다. 각각의 안테나는 자신 고유의 위상 및 이득 패턴을 가질 것이다. UE(100)의 방향이 알려진 경우, 안테나 패턴은, 사용자가 디바이스를 전형적인 포즈로 홀딩하고 이를 하나 또는 그 초과의 축들 주위로 회전시킴에 따라 결정될 수 있다.
[00161] 따라서, 단계(732)에서, UE(100)에 대한 안테나 패턴 정보가 결정되도록 사용자에게 UE(100)의 모션에 속하는 명령들이 주어질 수 있다. 일부 실시예들에서, UE(100)의 모션 또는 움직임의 성능을 가능하게 하도록, 단계(735)에서, 디바이스를 이동시키기 위한 방향 및/또는 안테나 패턴 결정 프로세스의 완료의 정도 면에서, 피드백이 제공될 수 있다. 일부 실시예들에서, 피드백이 디스플레이(190)에 도시된 GUI(Graphical User Interface)를 이용하여 제공될 수 있다.
[00162] 단계(737)에서, UE(100)는 안테나 패턴 결정이 완료되었다는 지시를 제공할 수 있고 UE(100)의 안테나 패턴(739)이 생성될 수 있다. 일부 실시예들에서, 단계(737)에서 결정된 안테나 패턴들이, 예를 들어, 궤적(410)과 같은 따르는 궤적의 과정 동안 UE(100)의 추정된 방향에 기초하여, 예를 들어, 방법(500)(도 5a)의 단계(540) 동안 추가로 교정될 수 있다. 증가된 정확성을 위해 그리고 임의의 잔여 GNSS 캐리어 다중 경로를 추가로 완화하기 위해, 매우 과도하게 결정된 궤적 솔루션의 이용가능성을 갖는, 캐리어 다중 경로가 내부 궤적을 따라서 대부분 도전적이라고 관측이 나타내는 궤적(410)의 부분들에서, 임의의 잔여 위상 에러들이 맵핑아웃되고 그리고 제거되고 그리고/또는 가중 감소될 수 있다. 따라서, 심지어 단계(737)의 완료 후에 그리고/또는 방법(500)에서 실외 궤적의 결정과 관련된 하나 또는 그 초과의 단계들(예를 들어, 도 5a에서 515 내지 540)의 성능과 함께 안테나 패턴 수정이 발생할 수 있다. 일부 실시예들에서, 안테나 패턴 데이터(739)가 연속한 RF 신호 특성에 대한 안테나 패턴 영향들을 완화하기 위해 사용될 수 있다.
[00163] 단계(740)에서, UE(100)는 실외 엔벨로프 데이터 수집 모드에 놓일 수 있고, 단계(742)에서, 사용자는 실외 데이터 수집에 관해 명령받을 수 있다. 예를 들어, 카메라(들)(180)는 광각 모드에 놓일 수 있고 사용자는 문들, 창문들, 및 또한 실내에서 가시적일 수 있는 다른 피쳐들/구조 엘리먼트들의 이미지들을 캡쳐하도록 지시받을 수 있다. 다른 예로서, 사용자는 임의의 루프 오버헹들의 이미지들을 캡쳐하기 위해 지시될 수 있어서, 이들은 하부로부터 오버행들의 포토그래프들 및 루프 구조의 오버헤드 형상의 조합으로부터 빌딩 주변을 구축하는 프로세스에서 루프 디멘젼들로부터 차감될 수 있다. 오버헹들은 언제나 그런 것은 아니지만, 빌딩의 모든 사이드들에서 동일할 수 있음을 이해해야 한다. 따라서, 모델들은 관측된 단일 오버행이 전체 주변 둘레에서 동일하다고 가정할 수 있고, 그리고 나서 이후에, 맵 결정 프로세스 동안 이 가정을 수정할 수 있다. 마찬가지로, 루프 오버행의 몇몇 추정들이 행해질 수 있고 단일 외부 벽을 따라 평균될 수 있다. 따라서, 오버행 길이 및 루프 피치의 추정뿐만 아니라, 불확실 파라미터의 형태로, 이러한 파라미터들이 얼마나 잘 알려져 있는지를 파악하는 것이 중요하다.
[00164] 단계(745)에서, 사용자에게는 따를 궤적에 관한 피드백이 제공될 수 있다. 예를 들어, UE(100)의 사용자는, 구조의 뷰 및/또는 최적 거리를 유지하면서, 모든 사이드로부터 구조의 뷰를 획득하기 위해 연속적일 궤적을 따르도록 요청받을 수 있다. 일부 실시예들에서, 사용자는, 실외 구조가 뷰에서 맵핑되고 있는 것을 유지하면서, 인근의 구조들, 랜드마크 등의 이미지들을 캡쳐하도록 지시받을 수 있다. 사용자는 또한, 전체 모서리들, 예컨데, 빌딩 코너의 전체 범위, 처마 또는 기초벽의 전체 길이, 벽과 천장 사이의 모서리의 전체 길이가 한꺼번에 보여질 수 있도록 카메라를 겨냥하도록 요청받을 수 있다. 사용자는 예를 들어, 빌딩 또는 시티 블록의 주변을 일주하도록 요청받고, 관성 네비게이션의 루프를 폐쇄하고 궤적이 전체 루프에 대해 정밀하게 트래킹되었음을 확인하도록 이들의 응시 포인트에 리턴하도록 요청받을 수 있다. 사용자는, 너무 많은 위성들에 대한 로킹이 손실되거나 IMU 교정이 단기 이상 동안 절충되는 경우, 시각적 수단들을 사용하여 궤적을 재획득하고, 로킹이 회복되었고 그리고 나서 루트 상에 계속되는 것을 보장하기 위해, 백트래킹하도록 요청받을 수 있다.
[00165] 단계(747)에서, 실외 엔벨로프 결정을 위한 이미지 캡쳐 및 측정 프로세스가 미완인 경우, 단계(740)에서, 다른 반복이 시작될 수 있다. 예를 들어, 사용자는, 구조의 우수한 시각적 뷰를 계속해서 유지하면서, 캐리어 위상 연속성을 최대화하기 위해 그리고/또는 특정한 상이한 다중 경로 위치들을 회피하기 위해 궤적(410)을 반복하도록 요청받을 수 있다. 사용자에게 위성 위치들이 어떻게 디바이스를 홀딩하고 로킹을 유지하는지에 대한 신속한 피드백을 제공하기 위해, 하늘의 위성 위치들이 로킹이 손실되고 그리고/또는 회복된 때의 표현과 함께 사용자에게 디스플레이될 수 있다.
[00166] 단계(750)에서, UE(100)는 실내 데이터 수집 모드에 놓일 수 있고, 단계(752)에서, 사용자는 실내 데이터 수집에 관해 명령받을 수 있다. 예를 들어, 사용자는, 간판, 문들, 창문들, 모서리들, 코너들 또는 다른 고유한 피쳐들 등을 포함하는 다양한 실내 피쳐들의 이미지를 캡쳐하도록 지시받을 수 있다. 이러한 피쳐들이 또한 외부에서 가시적일 수 있다면, 이들은 구조의 외부 엔벨로프에 대한 구조의 실내 모델을 정렬 또는 등록하기 위해 사용될 수 있다. 일부 실시예들에서, 사용자는 관선 센서 에러들의 영향을 최소화하기 위해 일련의 폐쇄 루프들을 사용하여 실내 영역을 배회하도록 지시받을 수 있다. 다른 실시예들에서, 모든 교차로마다 그리고/또는 일부 측정된 거리 이후 사용자를 오른쪽(또는 왼쪽)으로 터닝하게 명령하는 오른손(또는 왼손) 법칙이, 폐쇄 루프를 형성하고 구조의 완전한 커버리지를 보장하기 위해 사용될 수 있다. 또한, 사용자는 문 및 창문 설주(jamb)들에서 벽 폭들의 이미지를 기록하도록 지시받을 수 있다. 추가로, 고도계, 기압계 등에 의한 측정들이 고도를 결정하기 위해 사용될 수 있고, 자력계들에 의한 측정들이 UE(100)의 이동의 방향을 획득하기 위해 사용될 수 있으며, 이는 IMU(170)에 의한 측정들에 부가하여 그리고/또는 보충하기 위해 사용될 수 있다. 일부 실시예들에서, 사용자는 다수의 앵글들로부터, 가능할 때, 무선 AP(들)의 사진들을 획득하도록 명령받을 수 있다. 일부 실시예들에서, 객체 방향이 제조자 및 아마도 심지어 모델 번호, 및 관련된 알려진 모델 특정 특성들을 획득하는 것뿐만 아니라 AP 상대 그리고/또는 절대 위치를 결정하기 위해 AP 상에서 수행될 수 있다.
[00167] 단계(755)에서, 사용자에게는 실내 데이터 수집 프로세스에 관해 피드백이 제공될 수 있다. 예를 들어, 사용자에게는 하나 또는 그 초과의 캡쳐된 이미지들에 피쳐들이 부족한 경우 그리고/또는 이미지 및/또는 하나 또는 그 초과의 이미지들이 피쳐가 풍부한 경우 표시가 제공될 수 있다. 또한, 하나 또는 그 초과의 AP들이 이용가능한 경우, RTT(Round Trip Time) 및/또는 RSSI(Received Signal Strength Indicators)를 포함하는 RF 측정들 또는 히트 맵들이 AP들을 특징화하기 위해 사용될 수 있다. 일부 실시예들에서, 맵핑 모드에서, UE(100)는 GNSS 및 WAN 신호들에 대한 신호 강도, 정확성 및/또는 이용성을 파악할 수 있고, 맵 데이터에 포함시키기 위해 지붕, 벽들, 창문들 및 문들에 대한 RF 투과성을 추론할 수 있다. 부가적으로, 애플리케이션이, 각각의 측정된 RF 신호가 사용자 바디를 통과하는지 여부를 결정하기 위해 안테나 패턴(739)으로부터 바디 차단을 추론할 수 있다.
[00168] 단계(757)에서, 실내 엔벨로프 결정을 위한 이미지 캡쳐 및 측정 프로세스가 미완이거나 부적절하다고 결정되면, 다른 반복이 단계(750)에서 개시될 수 있다. 예를 들어, 사용자는 실내 데이터 수집을 반복하도록 요청받을 수 있다.
[00169] 단계(760)에서, 수집된 측정들 및 이미지들이 맵 데이터(763)를 획득하기 위해 프로세싱될 수 있다. 일부 실시예들에서, 단계(760)는 서버, 예컨데 서버(250) 상에서 오프라인으로 수행될 수 있다. 예를 들어, UE(100)는 수집된 측정들 및 이미지들을 서버(250)로 전송할 수 있다. 예를 들어, 서버(250)는 기지국 알마낵(BSA) 서버 및/또는 다른 위치 서버일 수 있고, 이들은 측정들/이미지들을 프로세싱하고 그리고/또는 측정들/이미지들을 다른 이동국들로부터 수신된 데이터와 어그리게이팅할 수 있다. 일부 실시예들에서, 센서/RF/SPS/측정들이 맵 데이터(763)를 획득하기 위해 캡쳐된 이미지들에 상관될 수 있다.
[00170] 단계(770)에서, 하나 또는 그 초과의 맵들(773)이 맵 데이터(763)에 기초하여 생성될 수 있다. 일부 실시예들에서, 현존 맵들이 맵들(773)을 획득하기 위해 맵 데이터(763)에 기초하여 업데이트될 수 있다. 일부 실시예들에서, 맵들(773)이 UE 포지션 입도의 상이한 레벨들에서 층들로서 조직화될 수 있다.
[00171] 단계(780)에서, 사용자는 방법(700)에서 하나 또는 그 초과의 단계들을 반복하거나 맵핑 모드에서 종료하도록 프롬프팅될 수 있다. 일부 실시예들에서, 사용자가 맵핑 모드를 종료하도록 프롬프팅될 때, 수집된 데이터 및/또는 맵 데이터(763)의 개요가 사용자에게 보여질 수 있다. 사용자 입력에 기초하여 맵핑 모드가 단계(785)에서 종료하고 그리고/또는 방법(700)에서 또 하나의 단계들이 반복될 수 있다.
[00172] 도 9는 하이드로 포토 맵핑 동안 예시적인 고레벨 데이터 흐름(800)을 도시한다. 일부 실시예들에서, 실외 데이터 수집 단계(810-1) 동안, 카메라 및 관성 데이터(813), GNSS, WAN 및 LAN 측정들을 포함할 수 있는 무선 측정 데이터(815), 기압 또는 고도계 데이터(817), 안테나 패턴(739) 및 자력계 데이터(819) 중 하나 또는 그 초과가 수집될 수 있다.
[00173] 실외 데이터 프로세싱 단계(820)에서, 실외 데이터 수집 단계(810-1)에서 수집된 데이터는 실외 개루프 궤적(823)을 획득하기 위해 사용될 수 있고, 그 다음, 이는 외부 3D 빌딩 엔벨로프(825), 실외 무선 맵(827) 및 실외 폐쇄 루프 궤적(829)을 획득하기 위해 사용될 수 있다.
[00174] 일부 실시예들에서, 실내 데이터 수집 단계(810-2) 동안, 카메라 및 관성 데이터(813), GNSS, WAN 및 LAN 측정들을 포함할 수 있는 무선 측정 데이터(815), 기압 또는 고도계 데이터(817), 안테나 패턴(739) 및 자력계 데이터(819) 중 하나 또는 그 초과가 실내에서 수집될 수 있다.
[00175] 실내 데이터 프로세싱 단계(830)에서, 외부 3D 빌딩 엔벨로프(825), 실외 무선 맵(829) 및 실외 폐쇄 루프 궤적(827)이, 이후 내부 3D 빌딩 모델(835)을 획득하기 위해 사용될 수 있는 실내 개루프 궤적(833)을 획득하기 위해 810-1에서 수집된 데이터와 함께 사용될 수 있다. 실내 3D 빌딩 모델은, 실내 폐쇄 루프 궤적(839)을 획득하기 위해 카메라 및 관성 데이터에 사용될 수 있는 제 1 실내 및 실외 3D 빌딩 모델(837)을 획득하기 위해, 외부 3D 빌딩 엔벨로프(825)에 등록될 수 있다.
[00176] 맵 생성 단계(840)에서, 데이터 수집 단계들(810-1 및 810-2) 각각에서 실외 및 실내에서 수집된 데이터의 전부 또는 일부는, 내부 및 외부 3D 빌딩 모델(837)을 업데이트하고 그리고 다양한 맵들을 생성하기 위해 실내 폐쇄 루프 궤적(839)을 따라 사용될 수 있다. 예를 들어, 실내 및 실외 3D 무선 맵, 자기 맵 층, 기압 주석들 등이 획득될 수 있다.
[00177] 기압은 전형적으로, 빌딩 내에서 높이가 변화함에 따라, 표준 단열 감소율을 따른다. 그러나 일부 빌딩들 또는 빌딩들의 일부분이 가압될 수 있다. 표준 단열 감소율로부터의 임의의 편차들이 빌딩 가압의 결과로서 추론될 수 있다. 이러한 편차들은 물론 편차들의 임의의 불확실성은, 기압 주석으로서 맵에 메모될 수 있다. 예를 들어, 단열 감소율보다 높은 X MM Hg로 관측된 기압은 24층부터 36층까지로 예측될 것이다.
[00178] 도 10a는 포토, 무선, 자기 및 기압 데이터에 기초한 맵 생성을 위한 방법을 설명하는 흐름도(900)를 도시한다. 일부 실시예들에서, 방법(900)의 일부들이 UE(100) 및/또는 서버(250)에 의해 수행될 수 있다. 일부 실시예들에서, 방법(900)의 실시 이전에 또는 초기화 단계 동안, UE(100)은 맵핑 모드에 진입함으로써 다양한 측정들을 캡쳐할 수 있다. 예를 들어, 맵핑 모드에서, UE(100)는 연속한 GNSS 카메라 및 관성 데이터 및 다른 센서 데이터를 비교적 높은 레이트로 수집할 수 있다. 더욱이, 맵핑 모드에서, 센서 측정들 예컨데, RF 측정들, GNSS 측정들 및 관성, 자력계, 고도계 및/또는 기압 센서들로부터의 데이터가 이미지들의 캡쳐와 함께 캡쳐될 수 있다.
[00179] 단계(905)에서, UE의 실외 7-DOF 개루프 궤적(823)이 카메라 및 관성 데이터(813) 및 무선 측정 데이터(815)에 기초하여 결정될 수 있다. 예를 들어, SPS/GNSS/LAN/WAN 측정들, IMU(170) 측정들 및 카메라(들)(180)에 의해 캡쳐된 이미지들의 조합이 UE(100)의 7 DOF 궤적을 결정하기 위해 사용될 수 있다. 예를 들어, 관성 궤적 드리프트가 일부 임계치 미만(예를 들어, GPS L1 파장의 절반 미만)일 때 관성 스티칭이 사용될 수 있다.
[00180] 단계(910)에서, 일부 실시예들에서, 외부 3D 빌딩 엔벨로프(825)가 실외 7-DOF 개루프 궤적(823)에 기초하여 획득될 수 있다.
[00181] 단계(915)에서, 실외 7-DOF 폐쇄 루프 궤적(829)이 외부 3D 빌딩 엔벨로프(825)에 대한 시각적 주행거리 측정법을 재프로세싱함으로써 획득될 수 있다. 예를 들어, LOS 조건들이 하나 초과의 위성에 존재하고 그로 인해 동시에 다수의 캐리어 위상 관측들이 허용되는 경우, 관성 궤적은 데이터 수집 동안 이전에 포토그래핑된 가시적 피쳐(들)로 리턴함으로써 안정화될 수 있고, 자이로 및 가속도계 에러들은 모델링되어 궤적이 명백한 에러들 없이 가시적 피쳐(들)에 리턴하도록 재추정된다. 일부 실시예들에서, MW 추정들이 외부 3D 빌딩 엔벨로프(825)의 결정에 사용될 수 있다. 그 다음, UE(100)의 궤적이 실외 7-DOF 폐쇄 루프 궤적(829)을 획득하기 위해 이 조정된 3D 포토 모델에 대해 시각적 주행거리 측정법 데이터로부터 재계산될 수 있다. 다음으로, 단계(920)에서, 3D 빌딩 엔벨로프(825)가 7-DOF 폐쇄 루프 궤적(829)에 기초하여 업데이트 및/또는 재프로세싱될 수 있다.
[00182] 도 10b를 참조하면, 일부 실시예들에서, 단계(925)에서, 빌딩의 포지션 및 방향이 또한 부분적으로 업데이트된 3D 빌딩 엔벨로프(825) 및 무선 측정들(815)을 사용함으로써 글로벌 좌표에 등록될 수 있다. 그 다음, 단계(930)에서, 실외 7-DOF 폐쇄 루프 궤적(829)이 글로벌 좌표에 등록될 수 있다.
[00183] 일부 실시예들에서, 단계(930)에서, 안테나 패턴들(739), 업데이트된 3D 빌딩 엔벨로프(825) 및 무선 측정들(815)이 또한 하나 또는 그 초과의 현존 실외 무선 맵(들)(835)을 생성 및/또는 업데이트하기 위해 사용될 수 있다. 일부 실시예들에서, 실외 무선 맵(들)(835)이 생성되고 그리고/또는 서버(250) 상에 저장될 수 있다. 이러한 맵들은 실외 2D 로드 맵 또는 평명도, 3D 내비게이션 가능한 피쳐 데이터베이스를 포함할 수 있는 포토 맵, 다양한 위치들에서 하나 또는 그 초과의 안테나들에 대한 신호 강도들을 나타낼 수 있는 히트 맵, 및/또는 다양한 위치들에서 안테나에 대한 신호 지연들을 나타낼 수 있는 공간적으로 가변적인 FLC 맵 중 하나 또는 그 초과를 포함할 수 있다. 일부 실시예들에서, 맵들 중 하나 또는 그 초과는 포지션 입도의 상이한 레벨들의 층들로서 저장될 수 있다.
[00184] 단계(940)에서, 실내 7-DOF 로프 궤적(833)이 카메라 및 관성 데이터(813), 실내 무선 측정 데이터(815) 및 기압 및/또는 고도계 데이터(817)에 기초하여 추정될 수 있다. 예를 들어, SPS/GNSS/LAN/WAN 측정들의 조합, IMU(170) 측정들 및 카메라(들)(180)에 의해 캡쳐된 이미지들이 UE(100)의 7 DOF 궤적을 결정하기 위해 사용될 수 있다. 무선 신호 중단의 경우, 카메라 및 관성 데이터(813)이 궤적을 획득하기 위해 측정들과 함께 스티칭하도록 사용될 수 있다. 일부 실시예들에서, 실내 7-DOF 루프 궤적(833)이, 실내 측정들이 이용가능하지 않고 그리고/또는 다중 경로에 의해 현저하게 영향받을 수 있기 때문에, 실내 무선 측정 데이터(815)를 참조하지 않고, 카메라 및 관성 데이터(813) 및 기압 및/또는 고도계 데이터(817)에 기초하여 추정될 수 있다.
[00185] 도 10c에서, 단계(945)에서, 내부 3D 빌딩 모델(835) 및/또는 실내 영역의 맵이 카메라 및 관성 데이터(813), 실내 무선 측정 데이터(815) 및 실내 7-DOF 루프 궤적(833)으로부터 생성될 수 있다. 예를 들어, 고도계, 자력계, 기압 및 IMU 측정들이, 실내 맵들을 생성하기 위해 이미지 데이터와 함께 부분적으로 사용될 수 있다. 일부 실시예들에서, MW 추정들이 캡쳐된 이미지들로부터 실내 영역의 3D 모델을 재구성하기 위해 사용될 수 있다. 예를 들어, CVM(155)이 재구성을 수행하기 위해 사용될 수 있고 그리고/또는 재구성이 서버(250)에 의해 오프라인으로 수행될 수 있다. 깊이 센서가 UE(100) 상에서 이용가능한 실시예들에서, 제공된 깊이 데이터는 실내 영역들을 재구성하기 위해 사용될 수 있다. 더욱이, 실내 무선 측정 데이터(815)가 하나 또는 그 초과의 AP들에 대한 데이터를 포함하는 경우, RSSI(Received Signal Strength Indicators) 및/또는 RTT(Round Trip Time)를 포함하는 RF 측정들이 AP들 예컨데 AP들(620-1 및 620-2)(도 7a)를 특징화하도록 사용될 수 있다.
[00186] 단계(950)에서, 내부 및 외부 3D 빌딩 모델(837)이 부분적으로 외부 3D 내부 빌딩 모델(835)을 3D 빌딩 엔벨로프(825)에 등록/정렬시킴으로써 3D 내부 빌딩 모델(835)로부터 획득될 수 있다. 일부 실시예들에서, 내부적으로 그리고 외부적으로 모두 가시적일 수 있는 구조적 특징들 예컨데, 창문들, 문들 등이 이미지들을 외부 맵에 등록할 때 사용될 수 있다. 일부 실시예들에서, 각각의 룸 또는 적절한 실내 구조적 유닛들이 개별적으로 리졸빙될 수 있고, 그리고 나서 외부 엔벨로프에 스냅핑될 수 있다.
[00187] 단계(955)에서, 일부 실시예들에서, 실내 7-DOF 폐쇄 루프 궤적(839)이 내부 및 외부 3D 빌딩 모델(837)에 대해 시각적 주행거리 측정법을 재프로세싱함으로써 결정될 수 있다. 예를 들어, 데이터 수집 동안 이전에 포토그래핑되었던 시각적 피쳐(들)를 리턴함으로써, IMU(170)의 에러들이 보상될 수 있고 궤적이 명백한 에러들이 없는 시각적 특징(들)으로 리터닝하도록 재추정될 수 있다.
[00188] 그 다음, 단계(960)에서, 3D 모델 빌딩 모델(837)이 실내 7-DOF 폐쇄 루프 궤적(839) 및 관성 및 카메라 데이터(813)에 기초하여 프로세싱/업데이트될 수 있다. 그 다음, 일부 실시예들에서, 단계(960)에서, 실내 맵이 3D 모델에 기초하여 생성될 수 있다.
[00189] 단계(965)에서, 3D 실내/실외 무선 맵(841)이 실외 무선 맵(835), 무선 측정 데이터(815), 안테나 패턴들(739) 및 3D 모델 빌딩 모델(837)에 기초하여 획득될 수 있다.
[00190] 단계(970)에서, 자력계 데이터(819)가 자기 맵 층(847)을 생성하기 위해 사용될 수 있고, 단계(975)에서, 기압 데이터(817)가 기압 맵 주석을 생성하기 위해 사용될 수 있다.
[00191] 일부 실시예들에서, 수집된 데이터의 일부 또는 전부가 UE(100) 상에서 프로세싱되고 그리고/또는 프로세싱을 위해 서버(250)로 전송될 수 있다. 일부 실시예들에서, 맵들이 이웃 및/또는 부속 구조들에 대해 이용가능하면, 현재 구조 및 부속/이웃 구조들에 대한 실내/실외 맵들이 예를 들어, 외부 이미지들을 사용함으로써 함께 스티칭될 수 있다. 일부 실시예들에서, 이웃 구조에 대한 포인터들/관련성들이 UE에서 그리고/또는 서버 상에서 캐싱될 수 있다. 일부 실시예들에서, "스마트 유리" 또는 다른 웨어러블 디바이스가 폰, 예컨데 카메라를 가진 블루투스 헤드셋에 커플링되는 경우, 스마트 유리/웨어러블 디바이스 상의 카메라가 트리거링될 수 있다.
[00192] 도 11은 UE(100)의 위치를 결정할 수 있는 시스템(1000)에서 일부 엔티티들을 설명하는 간략화된 블록도를 도시한다. 일부 실시예들에서, 시스템(1000)은 UE 지원 포지셔닝 시스템의 일부를 형성할 수 있다. 도 10을 참조하면, UE(100)는 초기 측정들(1002) 및/또는 초기 위치 추정(1004)을 획득하기 위해 기준 소스(들)(1070)로부터 신호들을 측정할 수 있다. 기준 소스(들)(1070)는 네트워크(230)와 관련된 SV들(280) 및/또는 안테나들(240) 및/또는 AP들(620)로부터의 신호들을 나타낼 수 있다. UE(100)는 또한 예를 들어, 안테나들(240)로부터의 OTDOA/RSTD 관련 측정들 및/또는 SV들(280)에 대한 의사 거리 측정들과 같은 초기 측정들(1002)을 획득할 수 있다.
[00193] 일부 예들에서, UE(100)은 또한 초기 측정들(1002)을 사용함으로써 초기 위치 추정(1004)을 획득할 수 있다. "프리픽스"로 종종 일컬어지는 초기 위치 추정(1004)이 UE(100)의 포지션의 조악한 추정일 수 있다. 일부 예들에서, UE(100)에 의한 범위 측정들이 초기 위치 추정(1004)을 획득하기 위해 사용될 수 있다. 일부 예들에서, 서빙 셀, 또는 가장 강한 셀, 또는 최근 셀, 또는 다른 셀과 관련된 위치가 초기 위치 추정(1004)으로 사용될 수 있다. 예를 들어, 서빙 셀, 또는 가장 강한 셀, 또는 최근 셀, 또는 일부 다른 셀의 중심이 초기 위치 추정(1004)으로 사용될 수 있다. 추가의 예로서, 셀 내의 랜덤 또는 디폴트 시작 위치가 초기 위치 추정(1004)으로 사용될 수 있다. 셀 관련 정보가 셀 섹터 아이덴티티, 네트워크 ID, 시스템 ID 및 기지국에 의해 전송되는 다른 정보로부터 획득될 수 있다. UE(100)는 초기 위치 추정(1004) 및/또는 초기 측정들(1002)(예를 들어, 하나 또는 그 초과의 GNSS들로부터의 위성 측정들, 또는 하나 또는 그 초과의 네트워크들로부터의 네트워크 측정들 예컨데, OTDOA들 및/또는 RSTD들 등)을 서버(250)에 제공할 수 있다. 일부 상황들에서, UE(100)는 초기 위치 추정(1004)을 결정할 수 없을 수 있으며, 대신에, UE(100)에 의해 취해진 초기 측정들(1002)이 서버(250)에 전송될 수 있으며, 서버는 UE(100)에 대한 초기 위치 추정(1004)을 결정하기 위해 초기 측정들(1002)을 사용할 수 있다.
[00194] 그 다음, 서버(250)는 초기 위치 추정(1004), 예컨데 위치 지원 데이터(1006)에 기초한 위치 관련 정보를 UE(100)에 제공할 수 있다. 일부 실시예들에서, 위치 지원 데이터는 LDAM(158), MM(152), PDM(156), 및/또는 NM(154) 중 하나 또는 그 초과에 의해 수신될 수 있으며, SV들(280) 및/또는 안테나들(240)로부터 신호들을 획득 및 측정하는데 있어서, 그리고/또는 측정들(1002)로부터 획득된 임의의 초기 위치 추정(1004)을 정밀화하는데 있어서 UE(100)를 지원하기 위해 사용될 수 있다. 일부 실시예들에서, 위치 지원 데이터는 초기 위치 추정(1004)과 관련된 포지션 불확실성 및 초기 위치 추정(1004)에 맞춤화된 입도로 맵 층들 및/또는 다른 정보를 포함할 수 있다.
[00195] 예를 들어, 일부 예들에서, SET(Secure User Plane (SUPL) Enabled Terminal)의 형태를 취할 수 있는 UE(100)는 서버(250)와 통신할 수 있고 추가 측정들(1008)을 획득하기 위해 위치 지원 데이터(1006)를 사용할 수 있다. 일부 실시예들에서, 추가의 측정들(1008)은 다양한 FLC 관련 측정들 및/또는 파일럿 위상 측정들, 도달 시간, RSTD/OTDOA 측정들, 기지국 안테나들의 시간 오프셋들에 관련된 측정들, GPS(예를 들어, 의사거리) 측정들 등을 포함할 수 있다. 일부 실시예들에서, 위치 지원 데이터의 수신 또는 그의 결여에 응답하여, UE(100)는 맵핑 모드에 진입하여 추가의 측정들(1008)을 획득할 수 있으며, 이는 앞서 약술된 대로 카메라(들)(180), IMU(170), 센서들(185)로부터의 측정들 및 다른 무선(GNSS/WAN/LAN) 신호 측정들을 포함할 수 있다. 일부 실시예들에서, UE(100)는 네트워크(230)를 통해 추가의 측정들(208)을 서버(250) 또는 다른 PDE로 전송하고 그리고/또는 메모리(130)에 측정들을 저장할 수 있다.
[00196] 일부 실시예들에서, 서버(250), UE(100) 또는 다른 PDE는 UE(100)에 대한 개선된 위치를 획득하기 위해 추가의 측정들(208)을 사용할 수 있다. 일부 실시예들에서, UE(100)는 개선된 위치 추정을 직접 획득하기 위해 추가 측정들(1008)을 사용할 수 있다. 추가로, 일부 실시예들에서, UE(100)에 대한 개선된 위치 추정이 LCS 클라이언트(260)로 통신될 수 있다. UE(100)의 포지션/포지션 불확실성이 개선되거나 이전에 제공된 위치 지원 정보에 기초하여 재추정될 때, 개선된 포지션 추정/포지션 불확실성에 기초한 FLC 값들 및/또는 다른 정보가 UE 포지션의 더 정확한 결정을 가능하게 하도록 다른 맵 층으로부터 리트리브될 수 있다. 일반적으로, 위치 결정은 MS-지원될 수 있는데, 여기서 UE(100)은 포지션 결정에 사용하기 위해, 기지국을 통해 네트워크의 PDE로 로우 또는 사전 프로세싱된 측정 데이터를 다시 전송하며; 또는 MS-기반할 수 있는데, 여기서 포지션 계산이 UE(100)에 의해 수행된다.
[00197] 포지션 결정 서비스들을 제공하는 무선 통신 시스템들은, 전형적으로 하나 또는 그 초과의 데이터베이스들, 예컨데 기지국 알마낵(BSA) 데이터베이스, 맵 데이터베이스 등에서 위치 결정을 위해 사용되는 교정 정보 및 다른 측정들을 저장 및/또는 어그리게이팅한다. 예를 들어, 데이터베이스들은 맵 층들을 가진 맵들을 포함할 수 있으며, 이들은 다양한 다른 타입들의 정보를 포함할 수 있다.
[00198] 예를 들어, 맵 층들은 수신된 신호 강도를 맵 위치들과 상관시키는 수신된 신호 강도 맵 층; SNR들을 맵 위치들과 상관시키는 신호 대 잡음비(SNR) 맵 층; 맵 위치들을 나타내는 LOS(Line of Sight) 맵 층, 여기서 LOS 조건들은 하나 또는 그 초과의 안테나들과 관련하여 존재할 것 같음; NLOS(Non-Line of Sight) 맵 층, NLOS 맵 층은 맵 위치들을 나타내며, 여기서 NLOS 또는 바디 블로킹된 조건들은 하나 또는 그 초과의 안테나들과 관련하여 존재할 것 같음; 등 중 하나 또는 그 초과를 포함할 수 있다. 일부 실시예들에서, 맵 층들은 또한 BSA의 위치들에 대한 안테나에 대해 다중 경로의 범위의 표시를 제공하기 위해 적어도 하나의 다중 경로 층을 포함할 수 있다. 더욱이, 일 실시예에서, 다중 경로 층은 안테나에 대해 긴 섀도우 영역들을 나타내기 위한 롱 섀도우 층, 롱 섀도우 층은 제외 존들, 다중 경로의 크기의 표시 및/또는 롱 섀도우 영역에서 안테나에 대한 신호 감쇠 레벨을 포함함; 또는 안테나에 대한 짧은 섀도우 영역들을 나타내기 위한 짧은 섀도우 층, 짧은 섀도우 층은 짧은 섀도우 영역들에 안테나 신호들에 대한 타이밍 입도 정보를 포함함; 또는 안테나의 적어도 하나의 커버리지 영역에 고유한 전송 패턴들을 나타내기 위한 송신 패턴 층 중 적어도 하나를 더 포함할 수 있다.
[00199] 일부 실시예들에서, UE(100)는 위치 및 위치 불확실성을 추정하기 위해 하나 또는 그 초과의 맵 층들에서 정보를 사용할 수 있고, 위치 및 위치 불확실성에 기초하여, 추가 맵 층들을 요청 또는 리트리브할 수 있다. 일부 실시예들에서, 복수의 맵 층들이 UE(100)의 위치/위치 불확실성에 기초하여 UE(100)에 제공될 수 있다. 일반적으로, 맵 층들을 포함하는 위치 지원 정보는 UE(100)와의 통신을 위해 사용되는 프로토콜들, 통신을 위해 이용가능한 대역폭, 신호 조건들, 비용, 통신, 메모리 및/또는 UE(100)에서 이용가능한 프로세싱 성능 및 다양한 다른 파라미터에 기초하여 UE(100)에 제공될 수 있다.
[00200] 일부 실시예들에서, 맵 상의 각각의 영역은 맵 층의 입도에 의존적일 수 있는 하나 또는 그 초과의 경계 포인트들의 좌표(예를 들어, 위도, 경도, 고도)에 의해 식별될 수 있다. 따라서, 이러한 실시예들에서, 영역 내의 포인트들에 속하는 측정들이 어그리게이팅될 수 있고 영역과 관련될 수 있다. 어그리게이팅된 측정들 및 관련된 데이터의 계층의 일부 또는 전부는 UE의 포지션/포지션 불확실성에 기초하여 UE(100)에 제공될 수 있다.
[00201] BSA 데이터베이스는 교정 및 다른 기지국 관련 정보를 저장/어그리게이팅할 수 있다. 기지국에 대한 BSA 기록은 기지국 식별 정보, 기지국 안테나(들)의 포지션(예를 들어, 고도, 위도 및 경도), 안테나에 대한 포지션에서 FLC 값들, 안테나 방향, 범위, 리피터 정보 등을 특정할 수 있다. 본 명세서에 사용되는, "FLC 값"이라는 용어는 FLC 값들 및 FLC 잔여들 모두를 지칭할 수 있다. FLC 잔여들은 거리 단위(예를 들어, 미터)로 특정될 수 있는 한편, FLC 값들은 시간 단위(예를 들어, 초)로 특정될 수 있다. 일부 실시예들에서, BSA는 또한, 정보 예컨데, 기지국 섹터 커버리지 영역의 중심, 기지국 신호들의 최대 범위, 하나 또는 그 초과의 커버리지 영역(들)/서브-영역(들) 위의 평균 지형 높이, 하나 또는 그 초과의 커버리지 영역(들)/서브-영역(들) 위의 지형 높이 표준 편차, RTD(round-trip delay) 교정 정보, CDMA 시스템들에서 의사 랜덤 잡음(PN) 증가, 기지국 안테나 포지션에서 불확실성, 순방향 링크 지연 교정에서 불확실성 및 라운드 트립 지연 교정에서 불확실성을 포함할 수 있다.
[00202] 일부 실시예들에서, 지상 포지셔닝 시스템 교정을 가능하게 하는 시스템은 복수의 이동국/PDE들에 의한 개선된 포지션 추정 및 FLC 관련 측정들을 포함하는 추가의 측정들(1008)을 어그리게이팅할 수 있다. 일부 실시예들에서, 복수의 이동국들 각각에 의한 맵핑 모드에서의 측정들은 서버 상에 어그리게이팅 및 저장될 수 있으며, 통계적 중요성이 어그리게이션에 기초하여 유도될 수 있다. 예를 들어, 표준 편차, 분산, 평균, 중간값 및 다른 통계적 방안들이 어그리게이션으로부터 유도될 수 있다. 일부 실시예들에서, UE(100)에 의해 취해진 측정들은 데이터데이스의 측정들을 대체하기 위해 사용될 수 있다. 예를 들어, 시각적 이미지들 및/또는 다른 측정들이, 구조의 내부가 저장된 3D 빌딩 모델(837)에 대해 변화했다고 나타내면, 저장된 빌딩 모델(837)은 업데이트되고 그리고/또는 더욱 최근의 측정들에 기초하여 새로운 빌딩 모델로 대체될 수 있다. 유사하게, 외부 3D 빌딩 엔벨로프(825), 3D 무선 맵(841), 자기 맵 층(847) 및/또는 기압 맵 주석들(849) 및/또는 다른 맵 층들 중 하나 또는 그 초과가 새로운 측정들에 기초하여 업데이트될 수 있다. 따라서, UE(100)는 데이터베이스(들)의 정보 형태의 위치 지원 데이터(1006)를 수신할 있고 맵핑 모드에서 UE(100)에 의해 캡쳐되는 추가의 측정들(1008)이 현존 데이터베이스(들)를 업데이트하기 위해 사용될 수 있다.
[00203] 예를 들어, UE(100)와 관련된 개선된 위치 추정(들) 및 그 위치(들)에서 UE(100)에 의해 (캡쳐된 이미지들을 포함하는) 측정들이, 동일한 위치에 대해 그리고/또는 데이터베이스에 저장된 정보의 입도에 기초하여 그 위치 부근에서 영역에 대해 다른 이동국들에 의한 측정들과 관련되고 그리고/또는 어그리게이팅될 수 있다. 일부 실시예들에서, 캡쳐된 이미지들 중 하나 또는 그 초과는 키 프레임 이미지(들)와 관련된 추정된 카메라 포즈(들)와 함께 키 프레임들 또는 기준 프레임들로서 저장될 수 있다. 일부 실시예들에서, 외부 및 내부 3D 모델(837)은 키 프레임들을 포함할 수 있다.
[00204] 일부 실시예들에서, 개선된 포지션 추정은 포지션 픽스와 관련된 품질 임계치에 기초하여 어그리게이팅된 측정들과 관련될 수 있다. 예를 들어, 각각의 위치 픽스와 관련된 에러의 추정을 나타내는 "HEPE(Horizontal Estimated Position Error)" 품질 측정이, 어느 측정이 BSA 데이터베이스에 부가되고 그리고/또는 어그리게이팅되는지를 결정하기 위해 사용될 수 있다. 예를 들어, 원하는 정확성 또는 포지션 입도에 의존하여 일부 특정된 임계치 미만의 HEPE 값을 갖는 포지션 픽스들과 관련된 측정들이 부가되고 그리고/또는 데이터베이스(들)와 어그리게이팅될 수 있다.
[00205] 일부 실시예들에서, 기지국 알마낵 데이터베이스는 초기에 디폴트, 평균 또는 추정된 FLC 값들 및 상당히 정확한 안테나 포지션들로 구성될 수 있다. 일부 실시예들에서, 현존 BSA들이 사용될 수 있고 복수의 UE들(120) 및/또는 PDE들로부터 수신된 복수의 추가 측정들(208)에 기초하여 업데이트될 수 있다. 복수의 MS들(120)/PDE들에 의해 행해진 반복된 측정들에 기초하여, 안테나 포지션 추정들 및 공간적으로 가변적인 FLC 값들이 시간이 흐름에 따라 계속적으로 개선되어서 더 큰 안테나 포지션 확실성을 도출할 것이며, 이는 순방향 링크 교정 정확성을 개선하기 위해 사용될 수 있다.
[00206] 일부 실시예들에서, 서버(250)는 측정들과 관련된 상이한 입도들로 정보를 갖는 통계적으로 의미 있는 맵들을 생성하기 위해 많은 모바일들로부터 로우 측정 정보를 어그리게이팅할 수 있다. 일부 실시예들에서, 서버(250)는 BSA, 맵 그리고/또는 위치 서버의 기능들 중 일부 또는 전부를 수행할 수 있다. 예를 들어, 서버(250)는 위치 데이터를 수집 및 포맷팅하고, 맵들 또는 모델들을 생성 및 업데이트할 수 있고, 포지션 추정을 위해 이동국으로 지원을 제공할 수 있고, 그리고/또는 이동국들에 대한 포지션 추정들을 획득하기 위한 계산을 수행할 수 있다. 일부 실시예들에서, 서버(250)는 BAS 서버를 포함할 수 있고, 이는 완전한 BSA를 저장하는 BSA 데이터베이스를 관리할 수 있다.
[00207] 예를 들어, 복수의 이동국들/PDE들로부터 포토그래픽 및 다른 측정들의 크라우드 소싱(crowd sourcing)을 포함하는 개시된 실시예들은, 실내 맵들을 포함하는 연속적으로 유지되는 맵 데이터를 제공하고 그리고 리소스 집중 필드 작업에 대한 필요성을 감소 또는 제거할 수 있다. 일부 실시예들에서, 높은 샘플링 레이트가, 공유(publicly owned)의 모바일 디바이스들에 의한 빈번한 크라우드 소싱된 샘플링으로 인해 네트워크를 통해 유지될 수 있다. 일부 실시예들에서, 크라우드 소싱 측정이 데이터베이스(들)/BSA를 구축 및/또는 업데이트하기 위해 사용될 수 있다.
[00208] 샘플링 레이트, 통계적 중요성, 및 정보의 정확성이 위치에서 사용자 밀도에 비례하기 때문에, 더 높은 사용자 밀도를 갖는 인기 있는 장소들이 빈번하게 교정될 것이다. 따라서, 이러한 크라우드 기반 교정 시스템들은, 사용자들이 위치된 곳 그리고/또는 위치 서비스들이 반복적으로 사용되는 곳에 대해 그 자신을 최적화할 수 있다. 대조적으로, 현존 시스템들은 사용자 패턴들을 반영하지 않을 수 있는 신호 전파 모델들 또는 네트워크 기하 구조의 일부 메트릭에 기초하여 전형적으로 교정된다. 더욱이, 이동국 사용자들이 자주 방문하는 인기 있는 위치들은 또한, 최신의, 통계적으로 중요한, 그리고 정확한 정보를 갖는 경향이 있을 것이다. 추가적으로, 본 명세서에 개시된 실시예들에 따른 시스템의 전개 동안, 인기 있는 위치들에 대한 FLC 정보가 더욱 빈번하게 모아진 측정들에 기초하여 신속하게 획득될 수 있고 그로 인해 전개를 가능하게 한다.
[00209] 일부 실시예들에서, 포토그래픽 데이터 및 측정들이 또한 "워 드라이빙(wardriving)"에 의해 수집 및/또는 보충될 수 있다. 워 드라이빙에서, 사용자는 이미지들을 캡쳐하고, 센서 측정들을 취하고 그리고 무선 신호들의 측정들을 취할 수 있고, 이들은 맵들을 획득하기 위해 UE 위치와 상관될 수 있다. 수집된 측정들이 데이터베이스에 저장된 측정들과 어그리게이팅되고 그리고/또는 보충 및/또는 대체하고 그리고/또는 현존 맵들을 업데이트하도록 사용될 수 있다. 일부 실시예들에서, UE 사용자들(예를 들어, 측정/맵핑이 원해지는 위치 또는 루트 부근에 있는 사용자들)이 위치로 이동하도록 장려되고 그리고/또는 특정 루트를 취할 수 있다. 예를 들어, 현금 보상 형태의 보상, 환불, 무료 에어타임, 또는 루트를 따르거나 원하는 장소 부근의 구축들에 목표된 인센티브들이 인센티브들로서 사용될 수 있다. 일부 실시예들에서, 서버(250)로 주기적으로 측정들을 보고할 수 있는, 스마트폰 상에 애플리케이션을 인스톨하기 위해 사용자 동의가 획득될 수 있다.
[00210] 일부 실시예들에서, UE(100)에 제공된 맵들의 정보는, 신호의 검출의 가능성, UE(100)의 초기 포지션 불확실성의 추정과 함께 UE(100)의 추정된 포지션에서 신호의 가능한 정확성 중 하나 또는 그 초과의 표시를 포함할 수 있다. 더욱이, 일부 실시예들에서, UE(100)에 제공된 맵들은 또한, LOS 조건들의 가능성, 긴 다중 경로 조건들의 결여, 그리고/또는 UE(100)가 긴 또는 짧은 섀도우 영역에 있는 지에 대한 결정 중 하나 또는 그 초과의 표시를 포함할 수 있다. 맵들은 eNodeB 안테나 위치, 안테나 패턴 및 출력 파워와 같은 간단한 주석들을 포함할 수 있어서, 모바일은 1차 모델로 간단한 링크 분석을 수행할 수 있다. 추가로, 맵은 이러한 1차 모델과 더 높은 차수의 수정 항목들을 포함하는 더 로컬화된 모델 사이의 차들을 포함할 수 있다.
[00211] 이제 도 12가 참조되며, 도 12는 하이브리드 포토 맵핑 및 네비게이션을 지원하도록 이네이블되는 서버(250)를 설명하는 개략적인 블록도이다. 일부 실시예들에서, 서버(250)는 또한 포지션 결정 및 크라우드소싱된 맵 생성 및 네비게이션에 대한 지원을 제공할 수 있다. 일부 실시예들에서, 서버(250)는 개시된 실시예들에 따른 방식으로 계층화된 맵들을 포함하는 위치 지원 정보를 제공함으로써 위치 결정을 지원할 수 있다. 더욱이, 일부 실시예들에서, 서버(250)는 개시된 실시예들에 따른 방식으로 하나 또는 그 초과의 UE들(100)에 의해 보고된 측정들 및 정보에 기초하여 데이터베이스들(예를 들어, BSA, 맵, 및/또는 구성 데이터베이스)을 업데이트할 수 있다. 일부 실시예들에서, 서버(250)는, 예를 들어, 하나 또는 그 초과의 프로세싱 유닛들(1152), 메모리(1154), 저장소(1160) 및 (경우에 따라) 통신 인터페이스(1190)(예를 들어, 유선 라인 또는 무선 네트워크 인터페이스)를 포함할 수 있고, 이들은 하나 또는 그 초과의 커넥션들(1156)(예를 들어, 버스들, 라인들, 광섬유들, 링크들 등)로 동작가능하게 커플링될 수 있다. 어떤 예시적인 구현들에서, 서버(250)의 일부 부분이 칩셋 등의 형태를 취할 수 있다.
[00212] 통신 인터페이스(1190)는, 유선 송신 및/또는 수신을 지원하는 다양한 유선 및 무선 커넥션들을 포함할 수 있고, 원한다면, 무선 통신 네트워크들의 하나 또는 그 초과의 타입들을 통해 하나 또는 그 초과의 신호들의 송신 및 수신을 부가적으로 또는 대안적으로 지원할 수 있다. 통신 인터페이스(1190)는 또한, 다양한 다른 컴퓨터들 및 주변 장치들과 통신하기 위한 인터페이스들을 포함할 수 있다. 예를 들어, 일 실시예에서, 통신 인터페이스(1190)는 서버(250)에 의해 수행되는 통신 기능들 중 하나 또는 그 초과를 구현하는 네트워크 인터페이스 카드들, 입-출력 카드들, 칩들 및/또는 ASIC들을 포함할 수 있다. 일부 실시예들에서, 통신 인터페이서(1190)는 또한, 다양한 네트워크 구성 관련 정보, 예컨데, PCI들, 구성된 PRS 정보 그리고/또는 네트워크에서 기지국들에 의해 사용되는 타이밍 정보를 획득하기 위해 네트워크(230)와 인터페이스할 수 있다. 예를 들어, 통신 인터페이스(1190)는, PCI, 구성된 PRS, 타이밍 및/또는 네트워크(230)에서 기지국으로부터의 다른 정보를 획득하기 위해 3GPP TS 36.455에 정의된 LPPa(LPP annex) 프로토콜 또는 이 프로토콜의 변형을 사용할 수 있다. 프로세싱 유닛(1152)은 개시된 실시예에 따른 방식으로 위치 지원 데이터를 생성하기 위해 수신된 정보의 전부 또는 일부를 사용할 수 있다.
[00213] 프로세싱 유닛(1152)은 하드웨어, 펌웨어 및 소프트웨어의 조합을 이용하여 구현될 수 있다. 일부 실시예들에서, 프로세싱 유닛(1152)은 서버 위치 지원 데이터 모듈(1166)을 포함할 수 있고, 이는 이동국들(100)로의 송신을 위해, 다중 경로 및 시각 정보, 공간적으로 가변적인 FLC 데이터, PRS 타이밍 및 뮤팅 지원 정보 등을 갖는, 계층화된 맵들을 포함하는 위치 지원 정보를 생성할 수 있다. 일부 실시예들에서, 서버 위치 지원 데이터 모듈(1166)은 또한 이동국들(100)로의 송신을 위해 위치 지원 정보를 생성할 수 있다. 프로세싱 유닛(1152)은 또한 다양한 다른 LPP/LPPe 지원 정보를 직접 또는 도 11에 도시된 하나 또는 그 초과의 다른 기능 블록들과 함께 프로세싱할 수 있다. 일부 실시예들에서, 프로세싱 유닛(1152)은 LPP(LTE(Long Term Evolution) Positioning Protocol) 또는 LPPe(LPP extensions) 메시지들로서 위치 지원 정보를 생성할 수 있다.
[00214] 도 13은 개시된 실시예들에 따른 하이브리드 포토 맵핑의 예시적인 방법의 흐름도(1300)를 도시한다. 일부 실시예들에서, 방법(1300)은 UE에 의해; 그리고/또는 UE에 무선으로 커플링된 서버에 의해 수행될 수 있다. 일부 실시예들에서, 방법(1300)은 UE 상의 맵핑 애플리케이션에 의해 수행될 수 있다. 예를 들어, 맵핑 애플리케이션은 이미지들의 캡쳐 및/또는 따를 궤적에 속하는 명령들을 제공할 수 있다.
[00215] 일부 실시예들에서, 단계(1310)에서, 구조 내의 복수의 위치들을 배회할 때 구조의 내부의 복수의 이미지들이 캡쳐될 수 있다.
[00216] 다음으로, 단계(1320)에서, 복수의 측정 세트들이 캡쳐될 수 있고, 여기서 각각의 측정 세트는 적어도 하나의 이미지에 대응하고, 각각의 측정 세트는 IMU(Inertial Measurement Unit) 측정들 또는 이용가능한 무선 측정들 중 적어도 하나를 포함한다. 일부 실시예들에서, 각각의 측정 세트가 대응하는 이미지의 캡쳐의 짧은 시간 윈도우 내에서 캡쳐될 수 있다. 일부 실시예들에서, 각각의 측정 세트는 기압 측정들; 또는 고도계 측정들; 또는 자력계 측정들 중 하나 또는 그 초과를 더 포함한다. 일부 실시예들에서, 무선 측정들은: OTDOA(Observed Time Difference of Arrival) 측정들, 또는 RSTD(Reference Signal Time Difference) 측정들, 또는 AFLT(Advanced Forward Link Trilateralation) 측정들 또는 하이브리드-AFLT 측정들 중 하나를 포함하는 WWAN(Wireless Wide Area Network) 측정들; 또는 액세스 포인트(AP) 신호들의 라디오 주파수(RF) 측정들을 포함하는 WLAN(Wireless Local Area Network) 측정들 중 하나 또는 그 초과를 포함한다.
[00217] 단계(1330)에서, UE에 의해 배회된 궤적은, 부분적으로 캡쳐된 이미지들 및 복수의 측정 세트들에 기초하여 추정될 수 있다. 궤적은 예를 들어, 구조의 근처에서 절대 좌표에 있는 UE의 포지션을 획득함으로써; 그리고 부분적으로 절대 좌표에서 획득된 UE의 포지션에 기초하여 궤적을 추정함으로써 추정될 수 있다. 일부 실시예들에서, UE의 궤적은, 복수의 이미지들의 서브세트의 각각의 이미지에 관하여 UE의 대응하는 6DOF(Degrees Of Freedom) 포즈 ―6DOF 포즈는 이미지들의 서브세트의 키 포인트들에 기초하여 결정됨― 를 결정하기 위해 이 서브세트에 VSLAM(Visual Simultaneous Localization and Mapping) 기술들을 적용함으로써; 그리고 부분적으로, 대응하는 6DOF 포즈 및 측정 세트에 기초하여 절대 좌표에서 UE의 대응하는 포즈를 서브세트의 각 이미지에 대해 결정함으로써 추정될 수 있다. 일부 실시예들에서, 서브세트의 각각의 이미지에 대해, 절대 좌표에서 UE의 대응하는 포즈가 대응하는 6DOF 포즈 및 대응하는 특정 세트를 EKF(Extended Kalman Filter)에 제공함으로써 결정될 수 있고, EKF는 부분적으로 제공된 정보에 기초하여 절대 좌표에서 UE의 대응하는 포즈를 결정할 수 있다.
[00218] 단계(1340)에서, 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들이, UE에 무선으로 커플링된 서버에 전송된다.
[00219] 단계(1350)에서, 절대 좌표에 등록된 구조의 실내 맵이 서버로부터 수신될 수 있다. 수신된 실내 맵은 추정된 궤도, 캡쳐된 이미지들 및 대응하는 측정 세트들에 기초할 수 있으며, UE의 수정된 궤적에 관련된 정보를 포함할 수 있다.
[00220] 일부 실시예들에서, 실내 맵은 절대 좌표들에 정렬된 복수의 층들을 포함할 수 있다. 복수의 정렬된 층들은: 평면도 맵, 또는 3차원 구조 모델, 또는 표준 단열 감소율 모델에 의해 예측되지 않은 기압에 대한 임의의 변화에 대한 주석들, 또는 표준 지구 자기장 모델에 의해 예측되지 않은 자기장에 대한 임의의 변화에 대한 주석들, 또는 맵핑된 구조와 관련된 WWAN 신호들의 감쇠 또는 지연, 또는 구조 내의 WWAN 신호 강도에서 임의의 변화에 대한 주석들, 또는 맵핑된 구조와 관련된 WLAN 신호들의 감쇠 또는 지연, 또는 구조 내의 WLAN AP 위치들의 표시, 또는 구조 내의 WLAN 필드 강도들의 표시, 또는 구조 내의 WLAN RTT 지연 교정의 표시 중 적어도 두 개를 포함할 수 있다. 일부 실시예들에서, 절대 좌표에서 제공될 수 있는, UE의 수정된 궤적은 UE의 폐쇄 루프 궤적에 대응할 수 있다.
[00221] 흐름도 및 메시지 흐름들로 본 명세서에 개시된 방법들은 애플리케이션에 의존하여 다양한 수단으로 구현될 수 있다. 예를 들어, 방법들은 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 하드웨어 구현의 경우, 프로세싱 유닛(1152)이 하나 또는 그 초과의 주문형 집적회로(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램가능 로직 디바이스(PLD)들, 필드 프로그램가능한 게이트 어레이(FPGA)들, 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본 명세서에 개시된 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 조합 내에서 구현될 수 있다.
[00222] 교수의 목적을 위해 특정 실시예들과 관련하여 본 개시내용이 설명되었지만, 본 개시 내용은 여기에 제한되지 않는다. 다양한 적용 및 변경이 본 발명의 범위를 벗어나지 않고 행해질 수 있다. 따라서, 첨부된 청구항들의 사상 및 범위가 전술한 설명에 제한되지 않아야 한다.

Claims (30)

  1. 사용자 장비(UE) 상에서의 방법으로서,
    구조 내의 복수의 위치들을 배회할 때 상기 구조의 내부의 복수의 이미지들을 캡쳐하는 단계;
    복수의 측정 세트들을 캡쳐하는 단계 ―각각의 측정 세트는 적어도 하나의 이미지에 대응하고, 각각의 측정 세트는 IMU(Inertial Measurement Unit) 측정들 또는 이용가능한 무선 측정들 중 적어도 하나를 포함함―;
    캡쳐된 이미지들 및 상기 복수의 측정 세트들에 부분적으로 기초하여 상기 UE의 궤적을 추정하는 단계;
    상기 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들을, 상기 UE에 무선으로 커플링된 서버에 전송하는 단계; 및
    상기 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들에 기초하여, 상기 서버로부터 상기 구조의 실내 맵을 수신하는 단계를 포함하며,
    상기 실내 맵은 절대 좌표에 등록되고 상기 UE의 수정된 궤적에 관련된 정보를 포함하는,
    사용자 장비(UE) 상에서의 방법.
  2. 제 1 항에 있어서,
    상기 UE의 궤적을 추정하는 단계는,
    상기 구조의 근처의 절대 좌표로 상기 UE의 포지션을 획득하는 단계; 및
    절대 좌표로 획득된 상기 UE의 포지션에 부분적으로 기초하여 상기 궤적을 추정하는 단계를 포함하는, 사용자 장비(UE) 상에서의 방법.
  3. 제 2 항에 있어서,
    상기 UE의 궤적을 추정하는 단계는,
    상기 복수의 이미지들의 서브세트의 각각의 이미지에 관하여 상기 UE의 대응하는 6자유도(6DOF) 포즈를 결정하기 위해, 상기 복수의 이미지들의 서브세트에 VSLAM(Visual Simultaneous Localization and Mapping) 기법을 적용하는 단계 ―상기 6DOF 포즈는 상기 이미지들의 서브세트에서 키 포인트들에 기초하여 결정됨―; 및
    상기 서브세트의 각각의 이미지에 대해, 상기 대응하는 6DOF 포즈 및 상기 측정 세트에 부분적으로 기초하여 절대 좌표로 상기 UE의 대응하는 포즈를 결정하는 단계를 포함하는, 사용자 장비(UE) 상에서의 방법.
  4. 제 3 항에 있어서,
    상기 절대 좌표로 상기 UE의 대응하는 포즈를 결정하는 단계는,
    상기 서브세트의 각각의 이미지에 대해, 상기 대응하는 6DOF 포즈 및 상기 대응하는 측정 세트를 EKF(Extended Kalman Filter)에 제공하는 단계를 포함하며, 상기 EKF는 절대 좌표로 상기 UE의 대응하는 포즈를 결정하는, 사용자 장비(UE) 상에서의 방법.
  5. 제 1 항에 있어서,
    각각의 측정 세트는,
    기압 측정들; 또는
    고도계 측정들; 또는
    자력계 측정들
    중 하나 또는 그 초과를 더 포함하는, 사용자 장비(UE) 상에서의 방법.
  6. 제 5 항에 있어서,
    실내 맵은 상기 절대 좌표에 정렬된 복수의 층들을 포함하는, 사용자 장비(UE) 상에서의 방법.
  7. 제 6 항에 있어서,
    상기 복수의 정렬된 층들은,
    평면도 맵, 또는
    3차원 구조 모델, 또는
    표준 단열 감소율 모델에 의해 예측되지 않은 기압에 대한 임의의 변화에 대한 주석들, 또는
    표준 지구 자기장 모델에 의해 예측되지 않은 자기장에 대한 임의의 변화에 대한 주석들, 또는
    상기 맵핑된 구조와 관련된 WWAN 신호들의 감쇠 또는 지연, 또는
    상기 구조 내의 WWAN 신호 강도에서 임의의 변화에 대한 주석들, 또는
    상기 맵핑된 구조와 관련된 WLAN 신호들의 감쇠 또는 지연, 또는
    상기 구조 내의 WLAN AP 위치들의 표시, 또는
    상기 구조 내의 WLAN 필드 강도들의 표시, 또는
    상기 구조 내의 WLAN RTT 지연 교정들의 표시
    중 적어도 두 개를 포함하는, 사용자 장비(UE) 상에서의 방법.
  8. 제 1 항에 있어서,
    상기 무선 측정들은,
    OTDOA(Observed Time Difference of Arrival) 측정들, 또는 RSTD(Reference Signal Time Difference) 측정들, 또는 AFLT(Advanced Forward Link Trilateralation) 측정들, 또는 하이브리드-AFLT 측정들 중 하나를 포함하는 WWAN(Wireless Wide Area Network) 측정들; 또는
    액세스 포인트(AP)들 신호들의 RF(Radio Frequency) 측정들을 포함하는 WLAN(Wireless Local Area Network) 측정들
    중 하나 또는 그 초과를 포함하는, 사용자 장비(UE) 상에서의 방법.
  9. 제 1 항에 있어서,
    상기 UE의 수정된 궤적은 상기 UE의 폐쇄 루프 궤적에 대응하는, 사용자 장비(UE) 상에서의 방법.
  10. 제 1 항에 있어서,
    상기 방법은 상기 UE 상의 맵핑 애플리케이션에 의해 수행되며,
    상기 맵핑 애플리케이션은 상기 이미지들의 캡쳐에 속하는 명령들을 제공하는, 사용자 장비(UE) 상에서의 방법.
  11. 사용자 장비(UE)로서,
    구조 내의 복수의 위치들을 배회할 때 상기 구조의 내부의 복수의 이미지들을 캡쳐하도록 구성된 카메라;
    IMU(Inertial Measurement Unit)를 포함하는 복수의 센서들;
    이용가능한 무선 신호들의 측정을 취하도록 구성된 무선 모듈; 및
    상기 카메라, 센서들 및 무선 모듈에 커플링된 프로세서를 포함하며,
    상기 프로세서는,
    상기 구조의 내부의 복수의 이미지들을 획득하고,
    복수의 측정 세트들을 획득하고 ―각각의 측정 세트는 상기 복수의 이미지들 중 적어도 하나의 이미지에 대응하고, 각각의 측정 세트는 IMU 측정들 및 이용가능한 무선 측정들 중 적어도 하나를 포함함―,
    캡쳐된 이미지들 및 상기 복수의 측정 세트들에 부분적으로 기초하여 상기 UE의 궤적을 추정하고;
    상기 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들을, 상기 UE에 무선으로 커플링된 서버에 전송하고; 그리고
    상기 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들에 기초하여, 상기 서버로부터 상기 구조의 실내 맵을 수신하도록 구성되며, 상기 실내 맵은 절대 좌표에 등록되고 상기 UE의 수정된 궤적에 관련된 정보를 포함하는,
    사용자 장비(UE).
  12. 제 11 항에 있어서,
    상기 UE의 궤적을 추정하기 위해,
    상기 프로세서는,
    상기 구조의 근처의 절대 좌표로 상기 UE의 포지션을 획득하고; 그리고
    절대 좌표로 획득된 상기 UE의 포지션에 부분적으로 기초하여 상기 UE의 상기 궤적을 추정하도록 구성되는, 사용자 장비(UE).
  13. 제 12 항에 있어서,
    상기 UE의 궤적을 추정하기 위해,
    상기 프로세서는,
    상기 복수의 이미지들의 서브세트의 각각의 이미지에 관하여 상기 UE의 대응하는 6자유도(6DOF) 포즈를 결정하기 위해, 상기 복수의 이미지들의 서브세트에 VSLAM(Visual Simultaneous Localization and Mapping) 기법을 적용하고 ―상기 6DOF 포즈는 상기 이미지들의 서브세트에서 키 포인트들에 기초하여 결정됨―; 그리고
    상기 서브세트의 각각의 이미지에 대해, 상기 대응하는 6DOF 포즈 및 상기 측정 세트에 부분적으로 기초하여 절대 좌표로 상기 UE의 대응하는 포즈를 결정하도록 구성되는, 사용자 장비(UE).
  14. 제 13 항에 있어서,
    상기 서브세트의 각각의 이미지에 대응하는 절대 좌표로 상기 UE의 포즈를 결정하기 위해,
    상기 프로세서는,
    상기 서브세트의 각각의 이미지에 대해, 상기 대응하는 6DOF 포즈 및 상기 대응하는 측정 세트를 EKF(Extended Kalman Filter)에 제공하도록 구성되며, 상기 EKF는 절대 좌표로 상기 UE의 대응하는 포즈를 결정하는, 사용자 장비(UE).
  15. 제 11 항에 있어서,
    각각의 측정 세트는,
    기압 측정들; 또는
    고도계 측정들; 또는
    자력계 측정들
    중 하나 또는 그 초과를 더 포함하는, 사용자 장비(UE).
  16. 제 15 항에 있어서,
    실내 맵은 상기 절대 좌표에 정렬된 복수의 층들을 포함하는, 사용자 장비(UE).
  17. 제 16 항에 있어서,
    상기 복수의 정렬된 층들은,
    평면도 맵, 또는
    3차원 구조 모델, 또는
    표준 단열 감소율 모델에 의해 예측되지 않은 기압에 대한 임의의 변화에 대한 주석들, 또는
    표준 지구 자기장 모델에 의해 예측되지 않은 자기장에 대한 임의의 변화에 대한 주석들, 또는
    상기 맵핑된 구조와 관련된 WWAN 신호들의 감쇠 또는 지연, 또는
    상기 구조 내의 WWAN 신호 강도에서 임의의 변화에 대한 주석들, 또는
    상기 맵핑된 구조와 관련된 WLAN 신호들의 감쇠 또는 지연, 또는
    상기 구조 내의 WLAN AP 위치들의 표시, 또는
    상기 구조 내의 WLAN 필드 강도들의 표시, 또는
    상기 구조 내의 WLAN RTT 지연 교정들의 표시
    중 적어도 두 개를 포함하는, 사용자 장비(UE).
  18. 제 11 항에 있어서,
    상기 무선 측정들은,
    OTDOA(Observed Time Difference of Arrival) 측정들, 또는 RSTD(Reference Signal Time Difference) 측정들, 또는 AFLT(Advanced Forward Link Trilateralation) 측정들, 또는 하이브리드-AFLT 측정들 중 하나를 포함하는 WWAN(Wireless Wide Area Network) 측정들; 또는
    액세스 포인트(AP)들 신호들의 RF(Radio Frequency) 측정들을 포함하는 WLAN(Wireless Local Area Network) 측정들
    중 하나 또는 그 초과를 포함하는, 사용자 장비(UE).
  19. 제 11 항에 있어서,
    상기 UE의 수정된 궤적은 상기 UE의 폐쇄 루프 궤적에 대응하는, 사용자 장비(UE).
  20. 제 11 항에 있어서,
    상기 프로세서는 상기 이미지들의 캡쳐에 속하는 사용자-명령들을 제공하도록 구성되는, 사용자 장비(UE).
  21. 사용자 장비(UE)로서,
    구조 내의 복수의 위치들을 배회할 때 상기 구조의 내부의 복수의 이미지들을 캡쳐하도록 구성된 이미징 수단;
    IMU(Inertial Measurement Unit) 수단을 포함하는 센싱 수단;
    이용가능한 무선 신호들의 측정을 취하도록 구성된 무선 측정 수단;
    상기 구조의 내부의 복수의 이미지들을 획득하기 위한 수단;
    복수의 측정 세트들을 획득하기 위한 수단 ―각각의 측정 세트는 상기 복수의 이미지들 중 적어도 하나의 이미지에 대응하고, 각각의 측정 세트는 IMU 측정들 및 이용가능한 무선 측정들 중 적어도 하나를 포함함―,
    캡쳐된 이미지들 및 상기 복수의 측정 세트들에 부분적으로 기초하여 상기 UE의 궤적을 추정하기 위한 수단;
    상기 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들을, 상기 UE에 무선으로 커플링된 서버에 전송하기 위한 수단; 그리고
    상기 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들에 기초하여, 상기 서버로부터 상기 구조의 실내 맵을 수신하기 위한 수단을 포함하며, 상기 실내 맵은 절대 좌표에 등록되고 상기 UE의 수정된 궤적에 관련된 정보를 포함하는,
    사용자 장비(UE).
  22. 제 21 항에 있어서,
    상기 UE의 궤적을 추정하기 위한 수단은,
    상기 구조의 근처의 절대 좌표로 상기 UE의 포지션을 획득하기 위한 수단을 포함하며,
    상기 UE의 궤적을 추정하기 위한 수단은, 절대 좌표로 획득된 상기 UE의 포지션에 부분적으로 기초하여 상기 UE의 상기 궤적을 추정하는, 사용자 장비(UE).
  23. 제 22 항에 있어서,
    상기 UE의 궤적을 추정하기 위한 수단은,
    상기 복수의 이미지들의 서브세트의 각각의 이미지에 관하여 상기 UE의 대응하는 6자유도(6DOF) 포즈를 결정하기 위해, 상기 복수의 이미지들의 서브세트에 VSLAM(Visual Simultaneous Localization and Mapping) 기법을 적용하기 위한 수단 ―상기 6DOF 포즈는 상기 이미지들의 서브세트에서 키 포인트들에 기초하여 결정됨―; 및
    상기 서브세트의 각각의 이미지에 대해, 상기 대응하는 6DOF 포즈 및 상기 측정 세트에 부분적으로 기초하여 절대 좌표로 상기 UE의 대응하는 포즈를 결정하기 위한 수단을 포함하는, 사용자 장비(UE).
  24. 제 23 항에 있어서,
    상기 서브세트의 각각의 이미지에 대응하는 절대 좌표로 상기 UE의 포즈를 결정하기 위한 수단은,
    상기 서브세트의 각각의 이미지에 대해, 상기 대응하는 6DOF 포즈 및 상기 대응하는 측정 세트를 EKF(Extended Kalman Filter) 수단에 제공하기 위한 수단을 포함하며, 상기 EKF 수단은 절대 좌표로 상기 UE의 대응하는 포즈를 결정하는, 사용자 장비(UE).
  25. 제 21 항에 있어서,
    각각의 측정 세트는,
    기압 측정들; 또는
    고도계 측정들; 또는
    자력계 측정들
    중 하나 또는 그 초과를 더 포함하는, 사용자 장비(UE).
  26. 명령들을 포함하는 비일시적 컴퓨터 판독 가능 매체로서,
    상기 명령들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금,
    구조 내의 복수의 위치들을 배회할 때 상기 구조의 내부의 복수의 이미지들을 캡쳐하고;
    복수의 측정 세트들을 캡쳐하고 ―각각의 측정 세트는 적어도 하나의 이미지에 대응하고, 각각의 측정 세트는 IMU(Inertial Measurement Unit) 측정들 및 이용가능한 무선 측정들 중 적어도 하나를 포함함―,
    캡쳐된 이미지들 및 상기 복수의 측정 세트들에 부분적으로 기초하여 상기 UE의 궤적을 추정하고;
    상기 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들을, 상기 UE에 무선으로 커플링된 서버에 전송하고; 그리고
    상기 추정된 궤적, 캡쳐된 이미지들 및 대응하는 측정 세트들에 기초하여, 상기 서버로부터 상기 구조의 실내 맵을 수신하도록 구성되게 하며,
    상기 실내 맵은 절대 좌표에 등록되고 상기 UE의 수정된 궤적에 관련된 정보를 포함하는,
    비일시적 컴퓨터 판독 가능 매체.
  27. 제 26 항에 있어서,
    상기 UE의 궤적을 추정하기 위한 명령은 상기 프로세서로 하여금,
    상기 구조의 근처의 절대 좌표로 상기 UE의 포지션을 획득하게 하고, 그리고
    절대 좌표로 획득된 상기 UE의 포지션에 부분적으로 기초하여 상기 궤적을 추정하게 하는, 비일시적 컴퓨터 판독 가능 매체.
  28. 제 27 항에 있어서,
    상기 UE의 궤적을 추정하기 위기 위한 명령은 상기 프로세서로 하여금,
    상기 복수의 이미지들의 서브세트의 각각의 이미지에 관하여 상기 UE의 대응하는 6자유도(6DOF) 포즈를 결정하기 위해, 상기 복수의 이미지들의 서브세트에 VSLAM(Visual Simultaneous Localization and Mapping) 기법을 적용하게 하고 ―상기 6DOF 포즈는 상기 이미지들의 서브세트에서 키 포인트들에 기초하여 결정됨―; 및
    상기 서브세트의 각각의 이미지에 대해, 상기 대응하는 6DOF 포즈 및 상기 측정 세트에 부분적으로 기초하여 절대 좌표로 상기 UE의 대응하는 포즈를 결정하게 하는, 비일시적 컴퓨터 판독 가능 매체.
  29. 제 28 항에 있어서,
    절대 좌표로 상기 UE의 대응하는 포즈를 결정하기 위한 명령은 상기 프로세서로 하여금,
    상기 서브세트의 각각의 이미지에 대해, 상기 대응하는 6DOF 포즈 및 상기 대응하는 측정 세트를 EKF(Extended Kalman Filter)에 제공하게 하고,
    상기 EKF는 절대 좌표로 상기 UE의 대응하는 포즈를 결정하는, 비일시적 컴퓨터 판독 가능 매체.
  30. 제 26 항에 있어서,
    각각의 측정 세트는,
    기압 측정들; 또는
    고도계 측정들; 또는
    자력계 측정들
    중 하나 또는 그 초과를 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
KR1020167010904A 2013-09-27 2014-09-26 하이브리드 포토 네비게이션 및 맵핑 KR101750469B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361883921P 2013-09-27 2013-09-27
US61/883,921 2013-09-27
US14/497,219 2014-09-25
US14/497,219 US9400930B2 (en) 2013-09-27 2014-09-25 Hybrid photo navigation and mapping
PCT/US2014/057702 WO2015048434A1 (en) 2013-09-27 2014-09-26 Hybrid photo navigation and mapping

Publications (2)

Publication Number Publication Date
KR20160061401A true KR20160061401A (ko) 2016-05-31
KR101750469B1 KR101750469B1 (ko) 2017-07-04

Family

ID=52739773

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167010904A KR101750469B1 (ko) 2013-09-27 2014-09-26 하이브리드 포토 네비게이션 및 맵핑
KR1020167010903A KR101753267B1 (ko) 2013-09-27 2014-09-26 외부 하이브리드 포토 맵핑

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020167010903A KR101753267B1 (ko) 2013-09-27 2014-09-26 외부 하이브리드 포토 맵핑

Country Status (6)

Country Link
US (4) US20150092048A1 (ko)
EP (2) EP3049820B1 (ko)
JP (2) JP6072361B2 (ko)
KR (2) KR101750469B1 (ko)
CN (2) CN105579811B (ko)
WO (3) WO2015048434A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180111224A (ko) * 2017-03-31 2018-10-11 엘지전자 주식회사 단말기 및 그 제어 방법

Families Citing this family (159)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9733091B2 (en) * 2007-05-31 2017-08-15 Trx Systems, Inc. Collaborative creation of indoor maps
US9766074B2 (en) * 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
EP2572544A4 (en) * 2010-05-19 2017-01-18 Nokia Technologies Oy Physically-constrained radiomaps
US20160349057A1 (en) * 2010-10-13 2016-12-01 Elbit Systems Ltd. Multiple data sources pedestrian navigation system
US9625720B2 (en) * 2012-01-24 2017-04-18 Accipiter Radar Technologies Inc. Personal electronic target vision system, device and method
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US20150092048A1 (en) 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
CN107084710B (zh) 2014-05-05 2020-06-12 赫克斯冈技术中心 相机模块和测量子系统
US9964409B1 (en) * 2014-05-27 2018-05-08 Apple Inc. Localized map generation
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US9488481B2 (en) * 2014-10-14 2016-11-08 General Electric Company Map presentation for multi-floor buildings
WO2016077057A2 (en) * 2014-10-24 2016-05-19 Bounce Imaging, Inc. Imaging systems and methods
WO2016069499A1 (en) * 2014-10-26 2016-05-06 Galileo Group, Inc. Methods and systems for surface informatics based detection with machine-to-machine networks and smartphones
US20160295548A1 (en) * 2015-04-03 2016-10-06 Hyundai Motor Company Apparatus for Controlling Message Receiving Mode and Method Thereof
US20160314592A1 (en) * 2015-04-23 2016-10-27 Nokia Technologies Oy Method and apparatus for registration of interior and exterior three dimensional scans based on a semantic feature of a structure
US10033941B2 (en) * 2015-05-11 2018-07-24 Google Llc Privacy filtering of area description file prior to upload
US10878278B1 (en) * 2015-05-16 2020-12-29 Sturfee, Inc. Geo-localization based on remotely sensed visual features
EP3304985B1 (en) * 2015-05-25 2020-03-18 Telefonaktiebolaget LM Ericsson (PUBL) Adaptive measurement report mapping for ue positioning
WO2017003847A1 (en) * 2015-06-29 2017-01-05 Ubiqomm Llc Frame time synchronization in a wireless local area network
JP6594686B2 (ja) * 2015-07-14 2019-10-23 東急建設株式会社 三次元形状計測装置、三次元形状計測方法、及びプログラム
US10371821B2 (en) * 2015-07-16 2019-08-06 Nippon Telegraph And Telephone Corporation Satellite signal reception apparatus, satellite signal reception method and program therefor
US10324195B2 (en) 2015-07-27 2019-06-18 Qualcomm Incorporated Visual inertial odometry attitude drift calibration
US10048058B2 (en) * 2015-07-29 2018-08-14 Microsoft Technology Licensing, Llc Data capture system for texture and geometry acquisition
US9738399B2 (en) * 2015-07-29 2017-08-22 Hon Hai Precision Industry Co., Ltd. Unmanned aerial vehicle control method and unmanned aerial vehicle using same
CN107925718B (zh) 2015-07-31 2020-09-11 深圳市大疆创新科技有限公司 用于图像处理的系统和方法
DE102015010264A1 (de) * 2015-08-08 2017-02-09 Testo Ag Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
WO2017026758A1 (ko) * 2015-08-12 2017-02-16 엘지전자 주식회사 무선 통신 시스템에서 단말 위치를 측정하기 위한 방법 및 이를 수행하는 장치
US9952354B2 (en) 2015-09-11 2018-04-24 At&T Intellectual Property I, L.P. User equipment local barometric calibration
US9772395B2 (en) * 2015-09-25 2017-09-26 Intel Corporation Vision and radio fusion based precise indoor localization
US10395116B2 (en) * 2015-10-29 2019-08-27 Hand Held Products, Inc. Dynamically created and updated indoor positioning map
US10706615B2 (en) * 2015-12-08 2020-07-07 Matterport, Inc. Determining and/or generating data for an architectural opening area associated with a captured three-dimensional model
US20170178330A1 (en) * 2015-12-17 2017-06-22 Institute For Information Industry System and method for interior mobile mapping
JP2019503268A (ja) * 2016-01-29 2019-02-07 ノーブル センサーズ、エルエルシー 位置と関係付けられた超音波撮像
US10565723B2 (en) * 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US10132933B2 (en) * 2016-02-02 2018-11-20 Qualcomm Incorporated Alignment of visual inertial odometry and satellite positioning system reference frames
US10591593B2 (en) 2016-03-19 2020-03-17 Hipscience, Llc Point of reference displacement and motion sensor
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
US11232583B2 (en) * 2016-03-25 2022-01-25 Samsung Electronics Co., Ltd. Device for and method of determining a pose of a camera
US11313684B2 (en) * 2016-03-28 2022-04-26 Sri International Collaborative navigation and mapping
WO2017171908A1 (en) * 2016-04-01 2017-10-05 Intel Corporation Geo-information reporting for vehicle-to-vehicle sidelink communications
WO2017175227A1 (en) * 2016-04-06 2017-10-12 Anagog Ltd. Three dimensional map generation based on crowdsourced ‎positioning readings
WO2017184040A1 (en) * 2016-04-20 2017-10-26 Telefonaktiebolaget Lm Ericsson (Publ) A wireless device, a positioning node and methods therein for positioning of a wireless device in a wireless communications network
US10234856B2 (en) * 2016-05-12 2019-03-19 Caterpillar Inc. System and method for controlling a machine
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
US10890600B2 (en) 2016-05-18 2021-01-12 Google Llc Real-time visual-inertial motion tracking fault detection
US11017610B2 (en) * 2016-05-18 2021-05-25 Google Llc System and method for fault detection and recovery for concurrent odometry and mapping
US9965689B2 (en) * 2016-06-09 2018-05-08 Qualcomm Incorporated Geometric matching in visual navigation systems
CA3027828C (en) * 2016-06-14 2019-07-30 Rodney HERRING Software-defined radio earth atmosphere imager
CN116777994A (zh) * 2016-06-30 2023-09-19 奇跃公司 估计3d空间中的姿态
TWI594643B (zh) * 2016-07-01 2017-08-01 晶睿通訊股份有限公司 無線收發系統、無線接收裝置及無線收發方法
CN107621265A (zh) * 2016-07-14 2018-01-23 百度在线网络技术（北京）有限公司 一种用于进行室内导航的方法和装置
US10012517B2 (en) * 2016-08-01 2018-07-03 Infinity Augmented Reality Israel Ltd. Method and system for calibrating components of an inertial measurement unit (IMU) using scene-captured data
KR20210025721A (ko) * 2016-08-02 2021-03-09 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US11367246B2 (en) * 2016-08-19 2022-06-21 Movidius Ltd. Operations using sparse volumetric data
CN106403942B (zh) * 2016-08-30 2022-04-29 全球能源互联网研究院 基于变电站景深图像识别的人员室内惯性定位方法
US10928245B2 (en) * 2016-09-15 2021-02-23 Siteco Gmbh Light measurement using an autonomous vehicle
US10210603B2 (en) * 2016-10-17 2019-02-19 Conduent Business Services Llc Store shelf imaging system and method
TWI619093B (zh) * 2016-10-19 2018-03-21 財團法人資訊工業策進會 視覺定位裝置、方法及其電腦程式產品
US10928821B2 (en) 2016-11-04 2021-02-23 Intel Corporation Unmanned aerial vehicle-based systems and methods for generating landscape models
JP7213809B2 (ja) * 2016-12-09 2023-01-27 トムトム グローバル コンテント ベスローテン フエンノートシャップ ビデオベースの位置決め及びマッピングの方法及びシステム
GB201621903D0 (en) * 2016-12-21 2017-02-01 Blue Vision Labs Uk Ltd Localisation
WO2018119889A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
TW201823687A (zh) * 2016-12-30 2018-07-01 鴻海精密工業股份有限公司 導航系統及其使用方法
US10371530B2 (en) * 2017-01-04 2019-08-06 Qualcomm Incorporated Systems and methods for using a global positioning system velocity in visual-inertial odometry
US10893182B2 (en) 2017-01-10 2021-01-12 Galileo Group, Inc. Systems and methods for spectral imaging with compensation functions
CN106899935B (zh) * 2017-01-18 2018-08-14 深圳大学 一种基于无线接收设备和摄像头的室内定位方法及系统
US11205283B2 (en) * 2017-02-16 2021-12-21 Qualcomm Incorporated Camera auto-calibration with gyroscope
US10816676B2 (en) * 2017-02-25 2020-10-27 Uti Limited Partnership GNSS/INS integration deep inside of inertial sensors
US10327218B2 (en) 2017-03-16 2019-06-18 Qualcomm Incorporated Robust downlink positioning
US10097757B1 (en) 2017-03-24 2018-10-09 Fotonation Limited Method for determining bias in an inertial measurement unit of an image acquisition device
WO2018179176A1 (ja) * 2017-03-29 2018-10-04 楽天株式会社 表示制御装置、表示制御方法、及びプログラム
GB201705767D0 (en) * 2017-04-10 2017-05-24 Blue Vision Labs Uk Ltd Co-localisation
US11740083B2 (en) * 2017-05-04 2023-08-29 Google Llc Methods and apparatus for curbside surveying
US10664502B2 (en) 2017-05-05 2020-05-26 Irobot Corporation Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance
US10495762B2 (en) 2017-05-19 2019-12-03 Qualcomm Incorporated Non-line-of-sight (NLoS) satellite detection at a vehicle using a camera
CN107218935A (zh) * 2017-05-23 2017-09-29 河南华泰规划勘测设计咨询有限公司 一种室内空间测绘数据管理系统
US10417816B2 (en) * 2017-06-16 2019-09-17 Nauto, Inc. System and method for digital environment reconstruction
CN107167143A (zh) * 2017-07-05 2017-09-15 乐高乐佳（北京）信息技术有限公司 基于关键点的导向性导航方法、装置及设备
CN107257547B (zh) * 2017-07-18 2020-05-22 歌尔科技有限公司 设备定位方法及装置
CN110019570B (zh) * 2017-07-21 2020-03-20 百度在线网络技术（北京）有限公司 用于构建地图的方法、装置及终端设备
GB201712126D0 (en) 2017-07-27 2017-09-13 Crofton Group Ltd 3D model generation system and method
US10375669B2 (en) * 2017-08-04 2019-08-06 Qualcomm Incorporated Methods and systems for locating a mobile device using an asynchronous wireless network
JP7337775B2 (ja) * 2017-08-21 2023-09-04 ソニーグループ株式会社 測位データを報告する方法
CN107577646A (zh) * 2017-08-23 2018-01-12 上海莫斐信息技术有限公司 一种高精度轨迹运算方法及系统
US10848199B1 (en) * 2017-08-29 2020-11-24 Syed Karim Systems and methods for communicating data over satellites
CN107703144A (zh) * 2017-08-29 2018-02-16 南京航空航天大学 一种用于辅助船舶检测的穿戴式设备及检测方法
CN107784633B (zh) * 2017-09-04 2021-04-13 黄仁杰 适用于平面测量的无人机航拍图像校准方法
CN107421537B (zh) * 2017-09-14 2020-07-17 桂林电子科技大学 基于惯性传感器刚体网格的物体运动姿态感知方法和系统
US10776652B2 (en) * 2017-09-28 2020-09-15 Baidu Usa Llc Systems and methods to improve visual feature detection using motion-related data
US10802157B2 (en) * 2017-09-28 2020-10-13 Apple Inc. Three-dimensional city models and shadow mapping to improve altitude fixes in urban environments
US11175148B2 (en) * 2017-09-28 2021-11-16 Baidu Usa Llc Systems and methods to accommodate state transitions in mapping
WO2019083345A1 (ko) * 2017-10-27 2019-05-02 엘지전자 주식회사 무선통신시스템에서 단말이 otdoa와 관련된 동작을 수행하는 방법 및 이를 위한 장치
CN109831736B (zh) * 2017-11-23 2022-01-18 腾讯科技（深圳）有限公司 一种数据处理方法、装置、服务器及客户端
US11740321B2 (en) * 2017-11-30 2023-08-29 Apple Inc. Visual inertial odometry health fitting
KR101988555B1 (ko) * 2017-12-05 2019-06-12 충북대학교 산학협력단 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법
CN108235256B (zh) * 2017-12-29 2021-09-14 幻视信息科技（深圳）有限公司 一种基于slam的复合定位方法、装置及存储介质
EP4250255A3 (en) * 2018-02-02 2024-03-13 Panasonic Intellectual Property Corporation of America Information transmitting method, and client device
CN108376415B (zh) * 2018-02-13 2022-01-21 中国联合网络通信集团有限公司 一种轨迹填充的方法及装置
JP6923739B2 (ja) * 2018-02-28 2021-08-25 古野電気株式会社 航法装置、ｖｓｌａｍ補正方法、空間情報推定方法、ｖｓｌａｍ補正プログラム、および、空間情報推定プログラム
CN108490388B (zh) * 2018-03-13 2021-06-29 同济大学 一种基于uwb与vlc技术的多源联合室内定位方法
US10982968B2 (en) 2018-03-29 2021-04-20 Nio Usa, Inc. Sensor fusion methods for augmented reality navigation
CN109029496B (zh) * 2018-05-30 2022-03-08 北京市遥感信息研究所 一种适用于大面阵光学相机单场地辐射定标方法
US10970924B2 (en) * 2018-06-17 2021-04-06 Foresight Ai Inc. Reconstruction of a scene from a moving camera
CN108988974B (zh) * 2018-06-19 2020-04-07 远形时空科技（北京）有限公司 时间延时的测量方法、装置和对电子设备时间同步的系统
EP3818741A1 (en) * 2018-07-06 2021-05-12 Nokia Technologies Oy Method, apparatus and computer program for performing three dimensional radio model construction
WO2020014706A1 (en) * 2018-07-13 2020-01-16 Labrador Systems, Inc. Visual navigation for mobile devices operable in differing environmental lighting conditions
CN109074407A (zh) * 2018-07-23 2018-12-21 深圳前海达闼云端智能科技有限公司 多源数据建图方法、相关装置及计算机可读存储介质
US11080877B2 (en) 2018-08-02 2021-08-03 Matthew B. Schoen Systems and methods of measuring an object in a scene of a captured image
US11200421B1 (en) * 2018-08-22 2021-12-14 United Services Automobile Association (Usaa) Guided inspection system and method
US10834532B2 (en) * 2018-08-23 2020-11-10 NEC Laboratories Europe GmbH Method and system for wireless localization data acquisition and calibration with image localization
CN112567429A (zh) 2018-09-07 2021-03-26 华为技术有限公司 用于执行同步定位与地图构建的设备和方法
CN109195106B (zh) * 2018-09-17 2020-01-03 北京三快在线科技有限公司 列车内定位方法和装置
JP7190500B2 (ja) * 2018-09-21 2022-12-15 古野電気株式会社 航法装置、航法支援情報の生成方法、および、航法支援情報の生成プログラム
KR101948728B1 (ko) 2018-09-28 2019-02-15 네이버랩스 주식회사 데이터 수집 방법 및 시스템
US11061145B2 (en) * 2018-11-19 2021-07-13 The Boeing Company Systems and methods of adjusting position information
CN109520503A (zh) * 2018-11-27 2019-03-26 南京工业大学 一种平方根容积模糊自适应卡尔曼滤波slam方法
EP3668197B1 (en) 2018-12-12 2021-11-03 Rohde & Schwarz GmbH & Co. KG Method and radio for setting the transmission power of a radio transmission
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
CN109859178B (zh) * 2019-01-18 2020-11-03 北京航空航天大学 一种基于fpga的红外遥感图像实时目标检测方法
US11004224B2 (en) * 2019-01-22 2021-05-11 Velodyne Lidar Usa, Inc. Generation of structured map data from vehicle sensors and camera arrays
US11105735B1 (en) * 2019-02-19 2021-08-31 United Services Automobile Association (Usaa) Systems and methods for detecting properties relating to building components
US10922831B2 (en) * 2019-02-20 2021-02-16 Dell Products, L.P. Systems and methods for handling multiple simultaneous localization and mapping (SLAM) sources and algorithms in virtual, augmented, and mixed reality (xR) applications
CN113474680A (zh) * 2019-02-25 2021-10-01 古野电气株式会社 移动信息计算装置以及移动信息计算方法
US11037018B2 (en) 2019-04-09 2021-06-15 Simmonds Precision Products, Inc. Navigation augmentation system and method
US11249197B2 (en) * 2019-05-03 2022-02-15 Apple Inc. Image-based techniques for stabilizing positioning estimates
CN110376431A (zh) * 2019-05-29 2019-10-25 国网宁夏电力有限公司电力科学研究院 一种计量采集异常故障的解决方法
WO2020252575A1 (en) * 2019-06-17 2020-12-24 Rohit Seth Relative position tracking using motion sensor with drift correction
CN110519701B (zh) * 2019-08-15 2021-02-12 广州小鹏汽车科技有限公司 定位信息的创建方法、车载终端、服务器设备和定位系统
WO2021035471A1 (en) * 2019-08-26 2021-03-04 Beijing Voyager Technology Co., Ltd. Systems and methods for positioning a target subject
US10908299B1 (en) 2019-08-30 2021-02-02 Huawei Technologies Co., Ltd. User equipment positioning apparatus and methods
CN110634104B (zh) * 2019-09-05 2022-11-18 北京智行者科技股份有限公司 多地图拼接方法及装置
CN110706356B (zh) * 2019-09-19 2023-06-16 阿波罗智联(北京)科技有限公司 路径绘制方法、装置、电子设备和存储介质
CN110645986B (zh) * 2019-09-27 2023-07-14 Oppo广东移动通信有限公司 定位方法及装置、终端、存储介质
CN110702139B (zh) * 2019-09-29 2021-08-27 百度在线网络技术（北京）有限公司 一种时延标定方法、装置、电子设备和介质
AU2020363458A1 (en) * 2019-10-11 2022-04-28 Foundat Pty Ltd Geographically referencing an item
US11417104B2 (en) * 2019-11-01 2022-08-16 Walmart Apollo, Llc Systems and methods for automatically determining location of an object inside a retail store
CN110866927B (zh) * 2019-11-21 2021-07-20 哈尔滨工业大学 一种基于垂足点线特征结合的ekf-slam算法的机器人定位与构图方法
CN111079654A (zh) * 2019-12-18 2020-04-28 济南大陆机电股份有限公司 一种基于图片识别的水文设备信息采集方法及系统
CN111458735B (zh) * 2020-04-23 2023-02-24 内蒙古师范大学 自动识别指定位置闭合航线的方法及系统
US20230186496A1 (en) * 2020-05-11 2023-06-15 Carnegie Mellon University Vision Sensing Device and Method
US11128636B1 (en) 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
CN113691929B (zh) * 2020-05-15 2022-07-26 大唐移动通信设备有限公司 定位方法及装置
CN111798536B (zh) * 2020-06-15 2024-03-22 北京三快在线科技有限公司 一种定位地图的构建方法及装置
EP3944806A1 (de) * 2020-07-29 2022-02-02 Carl Zeiss Vision International GmbH Verfahren zum bestimmen des nahpunkts, zum bestimmen der nahpunktdistanz, zum bestimmen eines sphärischen brechwertes sowie zum herstellen eines brillenglases sowie entsprechende mobile endgeräte und computerprogramme
CN111817775B (zh) * 2020-08-31 2020-12-15 亚太卫星宽带通信（深圳）有限公司 一种星地协同更新终端位置的方法及卫星通信系统
EP4050459A1 (en) * 2021-02-24 2022-08-31 V-Labs SA Calibration of a display device
CN112669250B (zh) * 2021-03-16 2021-09-17 湖北亿咖通科技有限公司 一种轨迹对齐方法及电子设备
US11567163B2 (en) * 2021-04-07 2023-01-31 Zebra Technologies Corporation Mobile device locationing
US11494920B1 (en) * 2021-04-29 2022-11-08 Jumio Corporation Multi-sensor motion analysis to check camera pipeline integrity
US20230003544A1 (en) * 2021-06-14 2023-01-05 Astra Navigation, Inc. Embedding a Magnetic Map into an Image File
CN113449058B (zh) * 2021-06-25 2023-06-02 安克创新科技股份有限公司 一种地图数据传输方法、清洁机器人及存储介质
US11741631B2 (en) 2021-07-15 2023-08-29 Vilnius Gediminas Technical University Real-time alignment of multiple point clouds to video capture
CN113405555B (zh) * 2021-08-19 2021-11-23 智己汽车科技有限公司 一种自动驾驶的定位传感方法、系统及装置
US11917337B2 (en) * 2021-08-31 2024-02-27 Xerox Corporation System and method for selective image capture on sensor floating on the open sea
WO2023118957A1 (en) * 2021-12-23 2023-06-29 Bosch Car Multimedia Portugal, S.A. System for distributed mapping of atmospheric attenuation in satellite communications
CN114967843A (zh) * 2022-03-31 2022-08-30 Oppo广东移动通信有限公司 终端配件、电子设备及定位方法
CN117517215A (zh) * 2023-11-09 2024-02-06 中国矿业大学 一记录生态资源变化状态的遥感检测方法

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002532770A (ja) 1998-11-20 2002-10-02 ジオメトリックス インコーポレイテッド 映像に関連してカメラポーズを決定する方法及びシステム
JP2006351024A (ja) * 2002-05-24 2006-12-28 Olympus Corp 視野一致型情報呈示システム及びそれに用いられる携帯情報端末
US7657079B2 (en) 2002-06-28 2010-02-02 Intel Corporation Single constraint at a time (SCAAT) tracking of a virtual reality (VR) display
AU2003300959A1 (en) 2002-12-17 2004-07-22 Evolution Robotics, Inc. Systems and methods for visual simultaneous localization and mapping
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
US20050234679A1 (en) * 2004-02-13 2005-10-20 Evolution Robotics, Inc. Sequential selective integration of sensor data
CN1954628A (zh) 2004-05-06 2007-04-25 三菱电机株式会社 移动终端、服务器、信息提供系统以及移动终端的通信方法、服务器的通信方法、信息提供系统的信息提供方法
HU3056U (en) * 2005-04-29 2006-03-28 G & G Noevenyvedelmi Es Keresk Construction for making weed map
US7848881B2 (en) 2005-07-05 2010-12-07 Containertrac, Inc. Automatic past error corrections for location and inventory tracking
US8483704B2 (en) 2005-07-25 2013-07-09 Qualcomm Incorporated Method and apparatus for maintaining a fingerprint for a wireless network
US7599789B2 (en) 2006-05-24 2009-10-06 Raytheon Company Beacon-augmented pose estimation
US8320616B2 (en) 2006-08-21 2012-11-27 University Of Florida Research Foundation, Inc. Image-based system and methods for vehicle guidance and navigation
KR100855469B1 (ko) * 2006-09-13 2008-09-01 삼성전자주식회사 이동 로봇의 자세 추정 장치 및 방법
US7628074B2 (en) * 2007-03-15 2009-12-08 Mitsubishi Electric Research Laboratories, Inc. System and method for motion capture in natural environments
US9766074B2 (en) 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
JP5396585B2 (ja) * 2008-05-02 2014-01-22 株式会社ジオ技術研究所 地物特定方法
US8259692B2 (en) 2008-07-11 2012-09-04 Nokia Corporation Method providing positioning and navigation inside large buildings
US8538688B2 (en) 2008-11-18 2013-09-17 Nokia Corporation User generated pedestrian and indoor shortcut routes for navigation systems
US20100178934A1 (en) 2009-01-13 2010-07-15 Qualcomm Incorporated Environment-specific measurement weighting in wireless positioning
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US20100255856A1 (en) 2009-04-03 2010-10-07 Microsoft Corporation Location Sensing Selection for Mobile Devices
US8174437B2 (en) * 2009-07-29 2012-05-08 Hemisphere Gps Llc System and method for augmenting DGNSS with internally-generated differential correction
US8290511B2 (en) 2009-10-01 2012-10-16 Qualcomm Incorporated Venue application for mobile station position estimation
CN102109348B (zh) * 2009-12-25 2013-01-16 财团法人工业技术研究院 定位载体、估测载体姿态与建地图的系统与方法
US9157745B2 (en) 2010-01-14 2015-10-13 Qualcomm Incorporated Scalable routing for mobile station navigation with location context identifier
US8855929B2 (en) 2010-01-18 2014-10-07 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
JP2011170599A (ja) * 2010-02-18 2011-09-01 Mitsubishi Electric Corp 屋外構造物計測装置及び屋外構造物計測方法
JP5685828B2 (ja) * 2010-03-31 2015-03-18 富士通株式会社 可搬型携帯端末、可搬型携帯端末の測位プログラム及び測位システム
GB2479537B8 (en) 2010-04-12 2017-06-14 Vitec Group Plc Camera pose correction
CN102960036B (zh) 2010-05-19 2016-11-09 诺基亚技术有限公司 众包视觉和传感器勘测绘图
US9229089B2 (en) * 2010-06-10 2016-01-05 Qualcomm Incorporated Acquisition of navigation assistance information for a mobile station
US20130202197A1 (en) 2010-06-11 2013-08-08 Edmund Cochrane Reeler System and Method for Manipulating Data Having Spatial Co-ordinates
EP2400261A1 (de) 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
US8892118B2 (en) 2010-07-23 2014-11-18 Qualcomm Incorporated Methods and apparatuses for use in providing position assistance data to mobile stations
US9234965B2 (en) 2010-09-17 2016-01-12 Qualcomm Incorporated Indoor positioning using pressure sensors
EP3327697A1 (en) 2010-09-24 2018-05-30 iRobot Corporation Systems and methods for vslam optimization
US8676623B2 (en) 2010-11-18 2014-03-18 Navteq B.V. Building directory aided navigation
KR101207535B1 (ko) * 2010-12-31 2012-12-03 한양대학교 산학협력단 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법
US20120190379A1 (en) 2011-01-25 2012-07-26 T-Mobile Usa, Inc. Intelligent Management of Location Sensor
US8320939B1 (en) 2011-04-21 2012-11-27 Google Inc. Crowd-sourced information for interior localization and navigation
US8510041B1 (en) 2011-05-02 2013-08-13 Google Inc. Automatic correction of trajectory data
US20120303255A1 (en) 2011-05-26 2012-11-29 INRO Technologies Limited Method and apparatus for providing accurate localization for an industrial vehicle
US8787944B2 (en) * 2011-08-18 2014-07-22 Rivada Research, Llc Method and system for providing enhanced location based information for wireless handsets
WO2013040411A1 (en) 2011-09-15 2013-03-21 Honda Motor Co., Ltd. System and method for dynamic localization of wheeled mobile robots
WO2013049597A1 (en) 2011-09-29 2013-04-04 Allpoint Systems, Llc Method and system for three dimensional mapping of an environment
US9155675B2 (en) 2011-10-12 2015-10-13 Board Of Trustees Of The University Of Arkansas Portable robotic device
WO2013071190A1 (en) 2011-11-11 2013-05-16 Evolution Robotics, Inc. Scaling vector field slam to large environments
CN103105852B (zh) * 2011-11-14 2016-03-30 联想(北京)有限公司 位移计算方法和设备及即时定位与地图构建方法和设备
US8626198B2 (en) 2011-11-16 2014-01-07 Qualcomm Incorporated Characterizing an indoor structure based on detected movements and/or position locations of a mobile device
US8908914B2 (en) 2012-01-17 2014-12-09 Maxlinear, Inc. Method and system for map generation for location and navigation with user sharing/social networking
WO2013108243A1 (en) 2012-01-18 2013-07-25 Weisman Israel Hybrid-based system and method for indoor localization
WO2013126784A2 (en) 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
US8532885B1 (en) 2012-04-04 2013-09-10 Hemisphere Gnss Inc. Automatic GNSS signal allocation between remote and base receivers
JP5966542B2 (ja) * 2012-04-10 2016-08-10 富士通株式会社 軌跡解析装置および軌跡解析プログラム
US10082584B2 (en) 2012-06-21 2018-09-25 Microsoft Technology Licensing, Llc Hybrid device location determination system
US9576183B2 (en) 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
WO2014160342A1 (en) * 2013-03-13 2014-10-02 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US20150092048A1 (en) 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180111224A (ko) * 2017-03-31 2018-10-11 엘지전자 주식회사 단말기 및 그 제어 방법

Also Published As

Publication number Publication date
JP2016540187A (ja) 2016-12-22
EP3049821A2 (en) 2016-08-03
US9947100B2 (en) 2018-04-17
KR101750469B1 (ko) 2017-07-04
EP3049820B1 (en) 2019-12-25
CN105579811B (zh) 2019-06-28
CN105579811A (zh) 2016-05-11
WO2015048397A1 (en) 2015-04-02
US20150092048A1 (en) 2015-04-02
US20150094952A1 (en) 2015-04-02
EP3049821B1 (en) 2019-01-02
WO2015048434A1 (en) 2015-04-02
US9405972B2 (en) 2016-08-02
JP6072361B2 (ja) 2017-02-01
WO2015088628A3 (en) 2015-07-30
US9400930B2 (en) 2016-07-26
KR20160063367A (ko) 2016-06-03
JP2016540186A (ja) 2016-12-22
US20150094089A1 (en) 2015-04-02
CN105556329B (zh) 2017-10-10
CN105556329A (zh) 2016-05-04
US20160307328A1 (en) 2016-10-20
WO2015088628A2 (en) 2015-06-18
EP3049820A1 (en) 2016-08-03
KR101753267B1 (ko) 2017-07-19
JP6072360B2 (ja) 2017-02-01

Similar Documents

Publication Publication Date Title
KR101750469B1 (ko) 하이브리드 포토 네비게이션 및 맵핑
Maghdid et al. Seamless outdoors-indoors localization solutions on smartphones: Implementation and challenges
EP3329301B1 (en) Visual inertial odometry attitude drift calibration
CN110383099B (zh) 稳健下行链路定位
US9341720B2 (en) Camera-based position location and navigation based on image processing
US10132933B2 (en) Alignment of visual inertial odometry and satellite positioning system reference frames
US10595162B2 (en) Access point environment characterization
US9113077B2 (en) Orientation determination based on vanishing point computation
US20220276394A1 (en) Map-aided satellite selection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant