KR101524395B1 - 이미지 프로세싱에 기초한 카메라-기반 포지션 로케이션 및 네비게이션 - Google Patents

이미지 프로세싱에 기초한 카메라-기반 포지션 로케이션 및 네비게이션 Download PDF

Info

Publication number
KR101524395B1
KR101524395B1 KR1020137021136A KR20137021136A KR101524395B1 KR 101524395 B1 KR101524395 B1 KR 101524395B1 KR 1020137021136 A KR1020137021136 A KR 1020137021136A KR 20137021136 A KR20137021136 A KR 20137021136A KR 101524395 B1 KR101524395 B1 KR 101524395B1
Authority
KR
South Korea
Prior art keywords
sas
vector
mobile device
determining
reference point
Prior art date
Application number
KR1020137021136A
Other languages
English (en)
Other versions
KR20130116923A (ko
Inventor
라이오넬 제이 가린
아이만 나기브
찰스 에이 버간
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130116923A publication Critical patent/KR20130116923A/ko
Application granted granted Critical
Publication of KR101524395B1 publication Critical patent/KR101524395B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/23—Testing, monitoring, correcting or calibrating of receiver elements
    • G01S19/235—Calibration of receiver components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • User Interface Of Digital Computer (AREA)
  • Gyroscopes (AREA)

Abstract

하나 이상의 이미지들에 기초하여 모바일 디바이스의 포지션을 추정하기 위한 장치 및 방법이 개시된다. 포지셔닝 정보는 SAS (self-addressing source, 예컨대 QR 코드) 를 포함하는 이미지로부터 도출되고, 이로써 제 1 벡터 (V1) 및 SAS 포즈를 설정한다. 이미지는 또한, 모바일 디바이스와 셀프-어드레싱 소스 간의 변위를 결정하고, 이로써 제 1 벡터 (V2) 를 설정하는데 사용된다. 제 1 벡터 (V1), SAS 포즈 및 제 2 벡터 (V2) 를 사용하여, 모바일 디바이스는 높은 정확도로 그 포지션을 추정할 수도 있고 또한 추측 항법 네비게이션 및 자이로미터를 재교정할 수도 있다.

Description

이미지 프로세싱에 기초한 카메라-기반 포지션 로케이션 및 네비게이션 {CAMERA-BASED POSITION LOCATION AND NAVIGATION BASED ON IMAGE PROCESSING}
관련 출원들의 상호 참조
본 출원은, 2011년 1월 11일자로 출원되고 발명 명칭이 "Navigation based on image processing" 인 미국 가출원 제 61/431,742 호 (Atty Docket 090498P1) 에 우선권과 그 이익을 주장하며, 이 출원은 그 전체가 참조로 본원에 포함된다. 본 출원은 또한, 2011년 6월 30일자로 출원되고 발명 명칭이 "Camera-based position location and navigation based on image processing" 인 미국 출원 제 13/173,984 호 (Atty Docket 90498) 에 우선권과 그 이익을 주장하며, 이 출원은 그 전체가 참조로 본원에 포함된다.
배경
I. 발명의 기술 분야
일반적으로 본 개시물은 이미지 프로세싱에 기초한 카메라 기반 네비게이션용 장치 및 방법들에 관한 것이다. 보다 구체적으로, 본 개시물은 이미지 프로세싱 및 피처 해석에 기초한, 위성 수신이 이용 불가능하고, 제한되거나, 실존하지 않는 실내 및 도시 환경들에 대한 카메라 기반 보행자 네비게이션에 관한 것이다.
많은 퍼스널 네비게이션 디바이스들 (personal navigation devices; PNDs) 은 글로벌 네비게이션 위성 시스템 (GNSS) 을 포함하는데 이 시스템은 GNSS 신호들을 수신하고 실외 네비게이션을 제공한다. GNSS 신호들이 예컨대 도시 환경에서 부분적으로 블록킹되는 경우, 결정된 포지션 추정치들이 악화된다. GNSS 신호들이 이용 가능하지만 불충분한 경우, PND 는 GNSS 기반 포지션 추정에 하나 이상의 지상-기반 포지셔닝 방법들을 보충할 수도 있다.
GNSS 신호들이 예컨대 실내에서 전체적으로 블록킹되는 경우, PND 는 포지션 추정치를 연산하기 위한 GNSS 신호들을 갖지 않는다. 약하거나 블록킹된 GNSS 신호들을 보상하기 위해, PND 는 다수의 지상-기반 포지셔닝 방법들을 사용하여 포지션 추정치를 연산할 수도 있다. 대안으로, PND 는 단지 지상-기반 포지셔닝 방법에 기초하여 포지션 추정치를 구현할 수도 있다. 하나의 이러한 지상-기반 포지셔닝 방법은 셀룰러-기반 포지션 로케이션 기법들을 사용한다. 유감스럽게도, 셀룰러-기반 기법들은 종종 낮은 레졸루션 및 용납할 수 없는 고 레벨의 불확실성을 갖는 포지션 로케이션을 초래한다.
다른 이러한 지상-기반 포지셔닝 방법은 관성 네비게이션 시스템 (inertial navigation system; INS) 인데, 이 시스템은 추측 항법 (dead reckoning) 을 사용하여 포지션 추정치를 형성한다. 추측 항법은 움직임을 누산하기 위해 관성 센서 측정치들을 사용한다. 관성 센서들, 예컨대 MEMS 가속도계들 및/또는 MEMS 자이로미터들은 움직임을 통합 및 누산하여 움직임의 스텝을 결정한다. 즉, 추측 항법으로부터의 포지션 추정치는 이전의 포지션 추정치와 합산된 포지션에서의 결정된 증분 변화에 기초한다.
각각의 새로운 포지션 추정치는 또한, 과거의 포지션 추정치들로부터의 에러들과 현재 관성 측정치들로부터의 포지션 에러를 누산한다. 각각의 관성 센서 측정은 3-5% 의 에러를 포함할 수도 있고, 각 시간에서 이 에러가 합산되어 새로운 포지션 추정치를 형성하고, 이 에러는 누산하고, 따라서 추정된 포지션은 실제 포지션으로부터 빠르게 벗어날 수도 있다. 에러 바운딩 메커니즘이 사용되지 않으면, 포지션 추정치들은 시간이 경과함에 따라 드리프트 (drift) 할 것이다. 이러한 포지셔닝 방법들은 주기적인 재정렬 또는 재교정으로부터 이익을 얻는다.
예를 들어, 추측 항법은 개방된 실외 영역을 떠나고 실내 영역 또는 도심 협곡으로 들어가는 경우 필요할 수도 있다. 실내에 있는 동안 또는 도심 협곡에서, GNSS 신호들이 전체적으로 또는 부분적으로 블록킹되기 때문에 위성 기반 네비게이션 더 이상 가능하지 않을 수도 있다. 이 주기 동안, 모바일 디바이스는 관성 센서 측정치들 및 추측 항법을 사용하여 포지션 추정치를 연산할 수도 있다. 일부 경우들에서, 모바일 디바이스는 자력계 (3D 컴퍼스) 를 포함하여 추측 항법 정확도를 향상시킨다.
추측 항법은 액세스 포인트 (AP) 로부터의 송신들을 로컬라이징함으로써 향상될 수도 있다. 예를 들어, 모바일 디바이스는 기지의 WIFI 기지국의 로케이션을 사용하여 그 포지션을 결정할 수도 있다. 이러한 로케이션들은 선험적 맵핑, 삼각측량, 신호 세기 및/또는 라운드-트립 지연 연산들을 사용함으로써 결정되어야 한다. 이들 라디오 기법들은 모델링하기 어려울 수도 있고, 빌딩 내의 다수의 샘플링된 포지션들에 걸친 광범위한 교정 및 측정들을 필요로 할 수도 있고 (예를 들어, 측정들은 빌딩을 맵핑하기 위해 매 제곱 미터 내에서 적어도 한 번 취해질 수도 있음) 낮은 정확도 또는 낮은 레졸루션 포지션 추정치들을 여전히 초래할 수도 있다. 따라서, 포지션 추정을 위한 개선된 방법이 요망된다.
하나 이상의 이미지들에 기초하여 모바일 디바이스의 포지션을 결정하고 추측 항법 시스템을 재교정하는 장치 및 방법이 개시된다.
일부 양태들에 따르면, 카메라를 포함하는 모바일 디바이스에서 추측 항법 (dead-reckoning) 네비게이션을 교정하는 방법이 개시되는데, 이 방법은, 초기 포지션을 제공하는 단계; SAS (self-addressing source) 를 검출하는 단계; SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하는 단계; 레퍼런스 포인트에 대한 SAS 포즈 (pose) 를 결정하는 단계; SAS 에 대한 모바일 디바이스의 제 2 벡터 (V2) 를 결정하는 단계; 제 1 벡터 (V1), SAS 포즈 및 제 2 벡터 (V2) 에 기초하여 모바일 디바이스의 제 3 벡터 (V3) 를 연산하는 단계; 및 제 3 벡터 (V3) 에 기초하여 모바일 디바이스의 현재 포지션을 재교정하는 단계를 포함한다.
일부 양태들에 따르면, 카메라 및 추측 항법 네비게이션 시스템을 포함하는 모바일 디바이스가 개시되는데, 이 모바일 디바이스는, 초기 포지션을 제공하기 위한 수단; SAS 를 검출하기 위한 수단; SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하기 위한 수단; 레퍼런스 포인트에 대한 SAS 포즈를 결정하기 위한 수단; SAS 에 대한 모바일 디바이스의 제 2 벡터 (V2) 를 결정하기 위한 수단; 제 1 벡터 (V1), SAS 포즈 및 제 2 벡터 (V2) 에 기초하여 모바일 디바이스의 제 3 벡터 (V3) 를 연산하기 위한 수단; 및 제 3 벡터 (V3) 에 기초하여 모바일 디바이스의 현재 포지션을 재교정하기 위한 수단을 포함한다.
일부 양태들에 따르면, 프로세서 및 메모리를 포함하는 모바일 디바이스가 개시되는데, 이 메모리는, 초기 포지션을 제공하고; SAS 를 검출하고; SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하고; 레퍼런스 포인트에 대한 SAS 포즈 를 결정하고; SAS 에 대한 모바일 디바이스의 제 2 벡터 (V2) 를 결정하고; 제 1 벡터 (V1), SAS 포즈 및 제 2 벡터 (V2) 에 기초하여 모바일 디바이스의 제 3 벡터 (V3) 를 연산하며; 제 3 벡터 (V3) 에 기초하여 모바일 디바이스의 현재 포지션을 재교정하기 위한 소프트웨어 명령들을 포함한다.
일부 양태들에 따르면, 모바일 디바이스를 위한 프로그램 코드가 저장되어 있는 컴퓨터 판독가능 저장 매체가 개시되는데, 이 프로그램 코드는, 초기 포지션을 제공하고; SAS 를 검출하고; SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하고; 레퍼런스 포인트에 대한 SAS 포즈를 결정하고; SAS 에 대한 모바일 디바이스의 제 2 벡터 (V2) 를 결정하고; 제 1 벡터 (V1), SAS 포즈 및 제 2 벡터 (V2) 에 기초하여 모바일 디바이스의 제 3 벡터 (V3) 를 연산하며; 제 3 벡터 (V3) 에 기초하여 모바일 디바이스의 현재 포지션을 재교정하기 위한 코드를 포함한다.
일부 양태들에 따르면, 카메라를 포함하는 모바일 디바이스의 포지션을 결정하는 방법이 개시되는데, 이 방법은, SAS 를 검출하는 단계; SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하는 단계; 레퍼런스 포인트에 대한 SAS 포즈를 결정하는 단계; SAS 에 대한 모바일 디바이스의 제 2 벡터 (V2) 를 결정하는 단계; 제 1 벡터 (V1), SAS 포즈 및 제 2 벡터 (V2) 에 기초하여 모바일 디바이스의 제 3 벡터 (V3) 를 연산하는 단계; 및 제 3 벡터 (V3) 에 기초하여 모바일 디바이스의 현재 포지션을 연산하는 단계를 포함한다.
일부 양태들에 따르면, 카메라를 포함하는 모바일 디바이스가 개시되는데, 이 모바일 디바이스는, SAS 를 검출하기 위한 수단; SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하기 위한 수단; 레퍼런스 포인트에 대한 SAS 포즈를 결정하기 위한 수단; SAS 에 대한 모바일 디바이스의 제 2 벡터 (V2) 를 결정하기 위한 수단; 및 제 1 벡터 (V1), SAS 포즈 및 제 2 벡터 (V2) 에 기초하여 모바일 디바이스의 제 3 벡터 (V3) 를 연산하기 위한 수단을 포함한다.
일부 양태들에 따르면, 프로세서 및 메모리를 포함하는 모바일 디바이스가 개시되는데, 이 메모리는, SAS 를 검출하고; SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하고; 레퍼런스 포인트에 대한 SAS 포즈를 결정하고; SAS 에 대한 모바일 디바이스의 제 2 벡터 (V2) 를 결정하며; 제 1 벡터 (V1), SAS 포즈 및 제 2 벡터 (V2) 에 기초하여 모바일 디바이스의 제 3 벡터 (V3) 를 연산하기 위한 소프트웨어 명령들을 포함한다.
일부 양태들에 따르면, 모바일 디바이스를 위한 프로그램 코드가 저장되어 있는 컴퓨터 판독가능 저장 매체가 개시되는데, 이 프로그램 코드는, SAS 를 검출하고; SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하고; 레퍼런스 포인트에 대한 SAS 포즈를 결정하고; SAS 에 대한 모바일 디바이스의 제 2 벡터 (V2) 를 결정하며; 제 1 벡터 (V1), SAS 포즈 및 제 2 벡터 (V2) 에 기초하여 모바일 디바이스의 제 3 벡터 (V3) 를 연산하기 위한 코드를 포함한다.
다른 양태들은 예시에 의해 각종 양태들이 도시되고 설명되는 다음의 상세한 설명으로부터 당업자에게 용이하게 명백하게 될 것으로 이해된다. 도면들과 상세한 설명은 사실상 예시적인 것이고 제한적인 것은 아닌 것으로 여겨져야 한다.
도면들을 참조하여 단지 예시의 방식으로 본 발명의 실시형태들이 설명될 것이다.
도 1 은 첨부된 예시들에 대한 레전드를 나타낸다.
도 2 는 추측 항법으로부터의 포지션 추정치들에서 불안정하고 무한한 에러를 예시한다.
도 3 은 본 발명의 일부 실시형태들에 따른 레퍼런스 포인트에 대해 위치된 수 개의 셀프-어드레싱 소스 (self-addressing source) 들을 갖는 빌딩 플로어 플랜을 나타낸다.
도 4 내지 도 6 은 본 발명의 일부 실시형태들에 따른 소스들의 예들을 나타낸다.
도 7 은 본 발명의 일부 실시형태들에 따른 셀프-어드레싱 소스로부터 추출된 문자숫자식 정보를 나타낸다.
도 8 및 도 9 는 본 발명의 일부 실시형태들에 따른 셀프-어드레싱 소스로 배향된 모바일 디바이스를 각각 포함하는 3 차원들에서의 네비게이션 시나리오들을 예시한다.
도 10 내지 도 12 는 본 발명의 일부 실시형태들에 따른 레퍼런스 시스템들을 링크한다.
도 13 내지 도 15 는 본 발명의 일부 실시형태들에 따른 모바일 디바이스의 포지션 추정치를 결정하는 벡터 연산들을 예시한다.
도 16 은 본 발명의 일부 실시형태들에 따른 모바일 디바이스를 예시한다.
도 17 내지 도 21 은 본 발명의 일부 실시형태들에 따른 DR 기법의 재교정의 방법들을 예시한다.
첨부된 도면들에 관련하여 아래에서 설명하는 상세한 설명은 본 개시물의 각종 양태들의 설명으로서 의도되고 본 개시물이 실시될 수도 있는 양태들만을 나타내도록 의도되지는 않는다. 본 개시물에서 설명되는 각각의 양태는 본 개시물의 일 예 또는 예시로서만 제공되고, 다른 양태들보다 바람직하거나 또는 이로운 것으로서 해석되어야 하는 것은 아니다. 상세한 설명은 본 개시물의 철저한 이해를 제공할 목적을 위해 특정 세부사항들을 포함한다. 그러나, 본 개시물은 이들 특정 세부사항들 없이 실시될 수도 있다는 것은 당업자들에게 자명할 것이다. 일부 인스턴스들에서, 잘 알려진 구조들 및 디바이스들은 본 개시물의 개념들을 모호하게 하는 것을 피하기 위하여 블록도 형태로 도시된다. 두문자어들 및 다른 서술적 기술용어는 단지 편의 및 명료함을 위해서만 사용될 수도 있고 본 개시물의 범위를 제한하는 의도는 아니다.
본원에서 설명되는 추정된 포지션을 결정하기 위한 포지션 결정 기법들은 광역 네트워크 (WWAN), 무선 로컬 영역 네트워크 (WLAN), 무선 개인 영역 네트워크 (WPAN) 등과 같은 각종 무선 통신 네트워크들에 연계하여 구현될 수도 있다. 용어 "네트워크" 및 "시스템" 은 종종 상호교환적으로 사용된다. WWAN은 코드 분할 다중 접속 (CDMA) 네트워크, 시분할 다중 접속 (TDMA) 네트워크, 주파수 분할 다중 접속 (FDMA) 네트워크, 직교 주파수 분할 다중 접속 (OFDMA) 네트워크, 단일 캐리어 주파수 분할 다중 접속 (SC-FDMA) 네트워크, LTE (Long Term Evolution) 등이 될 수도 있다.
CDMA 네트워크는 cdma2000, 광대역-CDMA (W-CDMA) 등과 같은 하나 이상의 무선 액세스 기술들 (RATs) 을 구현할 수도 있다. Cdma2000은 IS-95, IS-2000, 및 IS-856 표준들을 포함한다. TDMA 네트워크는 이동 통신 세계화 시스템 (GSM), 디지털 진보형 이동 전화 시스템 (Digital Advanced Mobile Phone System; D-AMPS), 또는 약간 다른 RAT 를 구현할 수도 있다. GSM, W-CDMA 및 LTE 는 "3세대 파트너십 프로젝트" (3GPP) 라는 이름의 컨소시엄으로부터의 문서들에서 기재되어 있다. Cdma2000은 "3세대 파트너십 프로젝트 2" (3GPP2) 라는 이름의 컨소시엄으로부터의 문서들에서 기재되어 있다. 3GPP 및 3GPP2 문서들은 공개적으로 입수가능하다. WLAN은 IEEE 802.11x 표준들로 구현될 수도 있다. WPAN은 블루투스, IEEE 802.15x, 또는 다른 표준들로 구현될 수도 있다. 이 기법들은 또한 WWAN, WLAN 및/또는 WPAN의 임의의 조합에 연계하여 구현될 수도 있다.
위성 포지셔닝 시스템 (SPS) 은 통상 엔티티들이 송신기들로부터 수신된 신호들에 적어도 부분적으로는 기초하여 지구상의 또는 지구 위쪽의 그 엔티티들의 로케이션을 결정하는 것을 가능하게 하도록 위치된 송신기들의 시스템을 포함한다. 이러한 송신기는 통상 정해진 수의 칩들의 반복형 의사랜덤 잡음 (PN) 코드로 마킹된 신호를 송신하고 지상 기반 제어국들, 사용자 장비들 및/또는 우주 운송수단들 상에 위치될 수도 있다. 특정 예에서, 이러한 송신기들은 지구궤도를 도는 위성 운송수단들 (SVs) 상에 위치될 수도 있다. 예를 들어, 글로벌 포지셔닝 시스템 (GPS), 갈릴레오 (Galileo), GLONASS 또는 콤파스와 같은 글로벌 내비게이션 위성 시스템 (GNSS) 의 콘스텔레이션 (constellation) 에서의 SV가 그 콘스텔레이션에서의 다른 SV들에 의해 송신되는 PN 코드들과는 (예를 들어, 상이한 위성을 갖는 PN 코드를 사용하여 GPS에서처럼 각각의 위성을 위한 상이한 PN 코드들을 사용하여 또는 GLONASS 에서와 같이 상이한 주파수들 상에 동일한 코드를 사용하여) 구별가능한 PN 코드로 마킹된 신호를 송신할 수도 있다. 특정 양태들에 따라서, 본원에서 제시된 기법들은 SPS를 위한 글로벌 시스템들 (예컨대, GNSS) 로 한정되지 않는다. 예를 들어, 본원에서 제공된 기법들은 각종 지역 시스템들 (예컨대, 일본의 준천정위성 (Quasi-Zenith Satellite) 시스템 (QZSS), 인도의 인도 지역 내비게이션 위성 시스템 (IRNSS), 중국의 베이더우 (Beidou) 등), 및/또는 하나 이상의 글로벌 및/또는 지역 내비게이션 위성 시스템들에 관련되거나 그렇지 않으면 이런 시스템들과 함께 사용하는게 가능할 수도 있는 각종 보강 시스템들 (예를 들어, 위성 기반 보강 시스템 (SBAS)) 에 적용될 수도 있거나 또는 그렇지 않으면 그런 시스템들에서 사용하는게 가능할 수도 있다. 비제한적인 예로써, SBAS 시스템은 무결성 정보, 차분 정정 등을 제공하는 하나 이상의 보강 시스템들 (예컨대, 광역 보강 시스템 (WAAS), 유럽 정지궤도 내비게이션 오버레이 서비스 (EGNOS), 다기능 위성 오차보정 시스템 (MSAS), GPS 지원 정지궤도 보강 내비게이션 또는 GPS 및 정지궤도 보강 내비게이션 시스템 (GAGAN) 등) 을 포함할 수도 있다. 따라서, 본원에서 사용되는 바와 같이 SPS 또는 GPS 는 하나 이상의 전역 및/또는 지역 내비게이션 위성 시스템들 및/또는 보강 시스템들의 임의의 조합을 포함할 수도 있고, SPS 신호들은 SPS, SPS-형, 및/또는 이러한 하나 이상의 SPS에 연관된 다른 신호들을 포함할 수도 있다.
본원에서 사용되는 바와 같이, 모바일 디바이스는 때때로, 이동국 (MS), 사용자 장비 (UE), 셀룰러 폰, 모바일폰 또는 다른 무선 통신 디바이스, 개인용 통신 시스템 (PCS) 디바이스, 개인용 내비게이션 디바이스 (PND), 개인 정보 관리기 (PIM), 개인휴대 정보 단말 (PDA), 무선 통신 및/또는 내비게이션 신호들을 수신할 수 있는 랩톱 또는 다른 적절한 이동국을 지칭한다. 용어 모바일 디바이스는 또한, 이를테면 단거리 무선, 적외선, 유선 접속, 또는 다른 접속에 의해, 위성 신호 수신, 지원 데이터 수신, 및/또는 포지션 관련 프로세싱이 모바일 디바이스에서 또는 원격으로 일어나는지에 무관하게, 개인용 내비게이션 디바이스 (PND) 와 통신하는 디바이스들을 포함하는 것으로 의도된다. 또한, 모바일 디바이스는 위성 신호 수신, 지원 데이터 수신, 및/또는 포지션 관련 프로세싱이 모바일 디바이스에서, 서버에서, 또는 네트워크에 관련된 다른 디바이스에서 일어나는지의 여부에 무관하게, 인터넷, WiFi, 또는 다른 네트워크를 통해 서버와 통신할 수 있는, 무선 통신 디바이스들, 컴퓨터들, 랩톱들 등을 포함한, 모든 디바이스들을 포함한다. 또한 위의 것의 임의의 동작가능한 조합물은 모바일 디바이스로서 간주된다.
본 발명에 따르면, 모바일 디바이스는 레퍼런스 포인트로부터 셀프-어드레싱 소스로의 제 1 변위, 로컬 레퍼런스 시스템에 대한 셀프-어드레싱 소스의 포즈, 및 모바일 디바이스와 셀프-어드레싱 소스 간의 제 2 변위를 사용하여 높은 정확도 및 높은 레졸루션을 갖는 그 포지션 추정치를 연산하고 그 추측 항법 파라미터들을 재정렬한다. 제 2 변위는, 셀 폰 카메라와 같은 단일 카메라로 획득 또는 캡처될 수도 있는 이미지로부터 결정된다. 대안으로, 이미지는 스테레오스코픽 카메라로 또는 비디오 카메라로 획득 또는 캡처될 수도 있다. 이 방식으로, 다수의 샘플링된 포지션들을 갖는 빌딩의 선험적 맵핑이 필요하지 않을 수도 있다.
모바일 디바이스는 관성 센서들을 사용하여 스텝 길이 및 방향을 결정한다. 대안으로, 모바일 디바이스는 제 1 이미지에서 2 이상의 피처들을 식별하고, 그 후 제 2 이미지에서 이들 피처들을 식별하여 제 1 이미지로부터 제 2 이미지로 각각의 피처의 움직임을 추적한다. 셀프-로케이션 및 맵핑 (SLAM) 기법은 스텝 길이 및 방향을 결정하는데 사용될 수도 있다. 대안으로, 자력계가 사용되어 방향을 결정할 수도 있고 SLAM 기법이 사용되어 스텝 길이를 결정할 수도 있다. 연속적인 이미지들의 쌍들이 사용되어 캡처된 복수의 이미지들 중 다수에 걸쳐 이동하는 복수의 피처들 또는 랜드마크들을 식별 및 추적할 수도 있다. 이 방식으로, 모바일 디바이스는 랜드마크들 및 레퍼런스 포지션들에 대해 모바일 디바이스가 어디에 있는지를 식별할 수도 있다.
도 1 은 첨부 예시들에 대한 레전드를 나타낸다. 제 1 아이콘은 초기 포지션 (10) 또는 중간 포지션들 (11-14) 일 수도 있는, 모바일 디바이스 (100) 의 실제 또는 트루 (true) 포지션을 나타낸다. 제 2 아이콘은 모바일 디바이스 (100) 의 초기 포지션 추정치 (20) 를 나타낸다. 제 3 아이콘은 추측 항법에 기초한 포지션 추정치 (30-34) 를 나타낸다. 제 4 아이콘은 연산된 포지션 (40) 을 나타낸다. 제 5 아이콘은 가중된 포지션 추정치 (50) 를 나타낸다. 제 6 아이콘은 재교정된 포지션 (60) 을 나타낸다. 제 7 아이콘은 SAS (70)(셀프-어드레싱 소스) 를 나타낸다. 제 8 아이콘은 레퍼런스 (80) 를 나타낸다.
도 2 는 추측 항법 또는 관성 센서로부터의 포지션 추정치들 및 이미지 기반 포지션 추정 기법에 내재하는 불안정하고 무한한 에러를 예시한다. 도시된 시나리오에서, 모바일 디바이스 (100) 는 초기 시간에서 초기 포지션 (10) 으로부터 제 1 시간에서 제 1 중간 포지션 (11) 으로, 제 2 시간에서 제 2 중간 포지션 (12) 으로, 그리고 제 3 시간에서 제 3 중간 포지션 (13) 으로 이동한다. 초기 포지션 추정치 (20) 가 베이스 포지션으로서 사용된다. 이 초기 포지션 추정치 (20) 는 GNSS 신호 또는 다른 절대적 포지셔닝 기법에 기초하여 결정될 수도 있다. 대안으로, 초기 포지션 추정치 (20) 는 상대적인 레퍼런스 로케이션으로 (예를 들어, 임의의 레퍼런스 시스템의 원점 (0, 0, 0)) 설정되고, 이후에 빌딩 또는 로컬 레퍼런스 시스템에서 이후에 결정된 포지션 추정치로부터 되추적 (backtrack) 함으로써 결정될 수도 있다. 대안으로, 초기 포지션 추정치 (20) 는 SAS (70) 의 이미지를 프로세싱하는 것에 기초하여 설정될 수도 있다.
증분 시간들에서, 모바일 디바이스 (100) 는 추측 항법 기법을 사용하여, 초기 시간에서 초기 포지션 추정치 (30), 제 1 시간에서 제 1 포지션 추정치 (31), 제 2 시간에서 제 2 포지션 추정치 (32), 및 제 3 시간에서 제 3 포지션 추정치 (33) 를 결정할 수도 있다. 전술된 바와 같이, 각각의 증분 포지션 추정치와 함께 에러가 누산되고, 이는 모바일 디바이스의 실제 포지션들로부터 후속의 포지션 추정치들이 더 멀어져가는 가능성을 초래한다. 본 발명의 실시형태들은 이미지 기반 포지셔닝을 위해 광학 소스들을 사용하여 추측 항법 기법을 재교정하고 후속의 포지션 추정치들로부터 이 누산된 에러를 제거한다.
도 3 은 본 발명의 일부 실시형태들에 따라, 레퍼런스 (80) 에 대해 위치된 여러 개의 셀프-어드레싱 소스들 (SAS (71), SAS (72), SAS (73) 및 SAS (74)) 을 갖는 빌딩 플로어 플랜을 나타낸다. 레퍼런스 (80) 는 셀프-어드레싱 소스 그 자체일 수도 있고 또는 셀프-어드레싱 소스와 콜로케이팅 (collocate) 될 수도 있다. 레퍼런스 (80) 는 셀프-어드레싱 소스들이 배열될 수도 있는 레퍼런스 배향 및 레퍼런스 포인트를 제공한다. 레퍼런스 (80) 용으로 편리한 로케이션은 빌딩의 1 층 코너일 수도 있고 빌딩 또는 카디날 (Cardinal) 방향들의 스퀘어 에지들과 정렬 및 배향될 수도 있다. 셀프-어드레싱 소스 (SAS (71), SAS (72), SAS (73) 및 SAS (74)) 용으로 편리한 로케이션은, 예를 들어 통로의 끝 (SAS (71)) 에서, 통로들의 교차부 (SAS (72)) 에서, 내부 출입구 부근 (SAS (73)), 또는 외부 입구 부근 (SAS (74)) 에서 외부 또는 내부 벽에 부착될 수도 있다.
도 4 내지 도 6 은 본 발명의 일부 실시형태들에 따른 소스들의 예들을 나타낸다.
도 4 에서, SAS (70) 는 3 차원 구조이고 상이한 고도들 및 방위들로부터 보여지는 경우 3 개의 발광 다이오드들 (LEDs) 에 의해 형성된 패럴랙스 (parallax) 의 이점을 취한다. 패럴랙스는, 상이한 시선 (line of sight) 들로부터 보여지는 경우 LED 들의 상대적이고 명백한 포지션에서의 명백한 변위 또는 차이이다. SAS (70) 는 제 1 평면 (78) 에서 제 1 LED (75) 및 제 2 LED (76), 및 제 2 평면 (79) 에서 제 3 LED (77) 를 포함한다. 제 2 평면 (79) 은 제 1 평면 (78) 에 평행하고 제 1 평면 (78) 으로부터 거리 (d) 만큼 오프셋된 것으로 도시된다. Y-Z 평면으로 프로젝팅되는 경우, 제 1 LED (75) 와 제 2 LED (76) 간의 수평 거리는 거리 (d) 이고, 제 2 LED (76) 와 제 3 LED (77) 간의 수평 거리는 또한 거리 (d) 이다. X-Y 평면으로 프로젝팅되는 경우, 제 1 LED (75) 와 제 2 LED (76) 간의 수직 거리는 거리 (d) 이고, 제 2 LED (76) 와 제 3 LED (77) 간의 수직 거리는 또한 거리 (d) 이다.
제 2 LED (76) 로부터 수직한 허수 축을 따른 먼 포인트로부터 SAS (70) 를 보는 경우, 제 1 LED (75), 제 2 LED (76) 및 제 3 LED (77) 는 길이 (d) 의 증분들에서 수직 라인을 따라 균등하게 이격된 광원들로서 나타난다. 이 먼 포인트 위의 포지션에서 보는 경우, 제 1 LED (75), 제 2 LED (76) 및 제 3 LED (77) 는 다시 직선을 따라 나타나지만, 제 3 LED (77) 는 제 2 LED (76) 로부터 d 보다 더 큰 거리로 이격되는 것으로 나타난다. 이 먼 포인트 아래의 포지션에서 보는 경우, 제 1 LED (75), 제 2 LED (76) 및 제 3 LED (77) 는 다시 직선으로 나타나지만, 제 3 LED (77) 는 제 2 LED (76) 로부터 d 보다 더 작은 거리로 이격된 것으로 나타난다. 이 먼 포인트의 우측 포지션에서 보는 경우, 제 1 LED (75) 는 제 2 LED (76) 바로 아래에 있지만, 제 3 LED (77) 는 제 1 LED (75) 와 제 2 LED (76) 간에 형성된 수직 라인의 우측으로 옮겨져 있지만 수직 축을 따른 세퍼레이션은 일정하게 유지된다.
또한, LED 들 중 하나 이상은 레퍼런스 (80) 에 대한 SAS (70) 의 포지션 및/또는 레퍼런스 (80) 의 배향에 대한 SAS (70) 의 포즈를 방출하도록 조절될 수도 있다. SAS (70) 의 포즈는, SAS (70) 가 다른 레퍼런스 시스템의 배향에 대하여 배향되는 방법을 나타낸다. 대안으로, LED 들 중 하나 이상은 이 정보로 링크를 방출하도록 조절될 수도 있다. 예를 들어, SAS (70) 는 LED 들 중 하나 이상으로부터 이 정보를 플래시함으로써 문자숫자식 정보를 인코딩할 수도 있다.
도 5 는 SAS (70)(그러나 셀프-어드레싱 소스가 아닐 수도 있음) 를 나타내는데, 이는 미리결정된 길이 (L) 및 미리결정된 폭 (W) 의 사이드들을 갖는 2 차원 블랙 직사각형이다. 이 SAS (70) 는 종이 시트 상에 인쇄되고 그 후 벽에 고정될 수도 있다. SAS (70) 의 센터로부터 수직 축을 따라 먼 포인트로부터 SAS (70) 를 보는 경우, SAS (70) 는 직사각형으로서 나타난다. 이 먼 포인트 위 또는 아래의 포인트로부터 SAS (70) 를 보는 경우, SAS (70) 는 수평 사이드들에 평행한 사다리꼴로서 나타난다. 포인트로부터 이 먼 포인트의 좌측 또는 우측으로 SAS (70) 를 보는 경우, SAS (70) 는 수직 사이드들에 평행한 사다리꼴로서 나타난다. 현재 시각 뷰로부터 형성된 각각의 사이드 또는 각도들의 길이들을 분석함으로써, 부분 제 1 벡터 (SAS (70) 로부터 모바일 디바이스 (100) 로의 고도 (α) 및 방위각 (β)) 가 결정될 수도 있다. 미리결정된 길이 (L) 및 미리결정된 폭 (W) 이 알려지면, 모바일 디바이스 (100) 는 완전한 제 1 벡터 (SAS (70) 로부터 모바일 디바이스 (100) 로의 고도 (α), 방위각 (β) 및 거리 (D)) 를 결정할 수도 있다.
모바일 디바이스 (100) 는 또한, SAS (70) 가 그 안에 인코딩된 문자숫자식 정보를 포함하는 경우 SAS (70) 로부터 정보를 디코딩함으로써 제 2 벡터를 결정할 수도 있다. 문자숫자식 정보는 레퍼런스 (80) 에 대한 SAS (70) 의 포지션 및 레퍼런스 (80) 의 배향에 대한 SAS (70) 의 포즈, 또는 이러한 문자숫자식 정보에의 링크를 포함할 수도 있다. 링크는 각종 셀프-어드레싱 소스들에 관한 정보의 테이블 또는 데이터베이스를 액세스하는데 사용된 URL 또는 인덱스일 수도 있다.
SAS (70) 가 충분히 분리되는 경우 SAS (70) 는 근접도에 의해 결정될 수 있다. 또한, 도 5 에 도시된 바와 같이 인쇄된 SAS (70) 대신에, SAS (70) 는 문 또는 문 프레임의 윤곽일 수도 있다. 통상적으로, 문 또는 문프레임은 표준 폭 및 높이를 갖고, 이는 미리결정된 길이 (L) 및 미리결정된 폭 (W) 으로서 각각 사용된다.
도 6 은 퀵 리스폰스 코드 (quick response; QR 코드) 인 SAS (70) 를 도시한다. QR 코드는 문자숫자식 정보를 인코딩하는 2 차원 바 코드의 형태이다. 예에서, QR 코드는 URL 링크를 제공하는데, 이 링크를 모바일 디바이스 (100) 가 사용하여 추가의 정보를 액세스한다. 도 4 의 SAS (70) 와 달리, 도 5 및 도 6 의 SAS (70) 는 전력을 필요로 하지 않고, 2 차원이며, 종이 시트 위에 인쇄될 수도 있다.
도 7 은 본 발명의 일부 실시형태들에 따른 SAS (70) 로부터 추출된 문자숫자식 정보를 제시한다. SAS (70) 는 (1) 레퍼런스 (80) 에 대한 SAS (70) 의 포지션 (예를 들어, 제 1 벡터 (V1) 로도 표현된 레퍼런스 (80) 로부터 (u, v, w) 미터들); (2) 글로벌 레퍼런스 시스템에 대한 SAS (70) 의 포지션 (예를 들어, 경도, 위도, 고도 (LLA)); (3) 로컬 레퍼런스의 배향에 대한 SAS (70) 의 포즈 (예를 들어, SAS 포즈 (ωX, ωY, ωZ) 로서 또는 제 2 회전 매트릭스 (M2) 의 형태로 표현됨); (4) 글로벌 레퍼런스 시스템에 대한 SAS (70) 의 포즈; 및 (5) SAS (70) 의 사이즈 또는 디멘전들 (예를 들어, 20cm 의 길이, 또는 30 cm의 높이 및 20cm 의 폭) 중 하나 이상을 포함할 수도 있다. 대안으로, SAS (70) 는 다른 셀프-어드레싱 정보도 포함할 수도 있다. 문자숫자식 정보는, 서버 상에 있을 수도 있는 이 정보에 대한 링크 (예를 들어, 인덱스 또는 URL) 에서 직접적으로 (예를 들어, 인코드 텍스트로서) 또는 간접적으로 이 정보를 제공할 수도 있다.
도 8 및 도 9 는 3 차원들에서의 네비게이션 시나리오들을 예시하는데, 각각은 본 발명의 일부 실시형태들에 따른 뷰의 그 필드 내에서 SAS (70) 를 갖는 모바일 디바이스 (100) 를 포함한다.
도 8 은 글로벌 레퍼런스 시스템에 대해 빌딩 외부를 도시하고 (빌딩의 입구 부근에 도시된) 레퍼런스 (80), (빌딩의 벽에 포스팅된) SAS (70), 및 (SAS (70) 를 향해 지향된 카메라 (110) 가 있는) 모바일 디바이스 (100) 를 포함한다. 일부 실시형태들에서, 모바일 디바이스 (100) 는 또한, 추측 항법 네비게이션 시스템을 포함한다.
글로벌 레퍼런스 시스템은 {위도, 경도, 및 고도} 에 의해 정의되고, 대지에 대한 공간에서의 포인트를 식별하는데 사용될 수도 있다. 글로벌 레퍼런스 시스템에서, 레퍼런스 (80) 는 (LLA80) 로서 표현된 포인트에 위치되고, SAS (70) 는 (LLA70) 로서 표현된 포인트에 위치되며, 모바일 디바이스 (100) 는 (LLA100) 에 위치된 포인트로서 표현된다.
빌딩 내의 특정 포인트에 대해 LLA 로케이션을 설정하는 것은 적당한 GNSS 또는 GPS 신호 범위의 부족으로 인해 어려울 수도 있다. 편의를 위해 글로벌 레퍼런스 시스템에서 절대적 항 (term) 들을 사용하는 대신에, 로컬 레퍼런스 시스템에서 레퍼런스 (80) 에 대한 포인트를 표현하는 것이 유리하다. 예를 들어, 빌딩 내의 일 포인트는 레퍼런스 포인트로부터 빌딩의 벽을 따라 20, 빌딩의 내부를 향한 벽으로부터 23.5 미터, 이 내부 포인트 위의 9 미터이고, 이는 빌딩에 고정된 로컬 레퍼런스 시스템에서 (20, 23.5, 9) 로서 표현될 수도 있다. 로컬 레퍼런스 시스템 {Xlocal, Ylocal, Zlocal} 은 레퍼런스 (80) 에 의해 정의될 수도 있고, 여기서 레퍼런스 (80) 는 로컬 레퍼런스 시스템의 원점 (0, 0, 0) 에서 임의로 설정된다. 예를 들어, 원점은, X 축이 제 1 벽을 따라 있고, Y 축이 제 1 벽에 수직하며, Z 축은 수직 방향에 있고 먼저의 2 개의 축들에 수직인 경우 빌딩의 코너로 설정될 수도 있다.
가끔, SAS 레퍼런스 시스템의 SAS (70) 부근의 포인트를 표현하는 것이 유리하다. 유사하게, SAS (70) 는 SAS 레퍼런스 시스템 {XSAS, YSAS, ZSAS} 을 정의하는데 사용될 수도 있는데, 이 시스템에서 SAS (70) 의 포인트는 SAS 레퍼런스 시스템의 원점 (0, 0, 0) 으로 임의로 설정된다. 예를 들어, 원점은 SAS (70) 의 센터로 설정될 수도 있고, 여기서 X 축은 SAS (70) 의 수평 에지를 따라 있고, Y 축은 SAS (70) 의 수직 에지를 따라 있으며, Z 축은 SAS (70) 로부터 돌출한다.
또한, 모바일 레퍼런스 시스템에서 모바일 디바이스 (100) 부근의 포인트를 표현하는 것이 유리할 수도 있다. 모바일 디바이스 (100) 는, 모바일 디바이스 (100) 의 코너 또는 다른 포인트가 모바일 레퍼런스 시스템의 원점 (0, 0, 0) 으로 임의로 설정되는 모바일 레퍼런스 시스템 {Xmobile, Ymobile, Zmobile} 을 정의하는데 사용될 수도 있다. 예를 들어, 카메라 (110) 의 센터 또는 모바일 디바이스 (100) 의 코너는, X 축이 모바일 디바이스 (100) 의 수평 에지를 따라 있고, Y 축이 모바일 디바이스 (100) 의 수직 에지를 따라 있으며, Z 축이 카메라의 조준선에서 모바일 디바이스 (100) 로부터 돌출되어 있는 경우 원점으로 설정된다.
SAS (70) 및 모바일 디바이스 (100) 의 포지션들은 상대적 벡터들로서 표현될 수도 있다. 제 1 벡터 (V1) 는 레퍼런스 (80) 로부터 SAS (70) 까지의 제 1 변위로서 정의되고, 통상적으로 로컬 레퍼런스 시스템의 항들에서 표현된다. 제 1 벡터 (V1) 는 종종, SAS (70) 에 의해 홀딩된 정보로부터 결정된다. 제 2 벡터 (V2) 는 모바일 디바이스 (100) 로부터 SAS (70) 까지의 제 2 변위로서 정의되고, 통상적으로 SAS 레퍼런스 시스템의 항들에서 표현된다. 제 2 벡터 (V2) 는 이미지 프로세싱으로부터 도출된다. 예를 들어, SAS (70) 의 지오메트리, 예컨대 배향 및 명백한 사이즈를 분석 및 결정한다. 제 3 벡터 (V3) 는 레퍼런스 (80) 로부터 모바일 디바이스 (100) 로의 제 3 변위로서 정의되고, 통상적으로 로컬 레퍼런스 시스템의 항들에서 표현된다. 제 3 벡터 (V3) 는 제 1 벡터 (V1) 및 제 2 벡터 (V2) 로부터 연산된다.
SAS (70) 의 포지션 (글로벌 레퍼런스 시스템에서 LLA70) 은 레퍼런스 (80) 의 포지션 (글로벌 레퍼런스 시스템에서 LLA80) 및 제 1 벡터 (V1) 로부터 연산될 수도 있다. 모바일 디바이스 (100) 의 포지션 (글로벌 레퍼런스 시스템에서 LLA100) 은 SAS (70) 의 포지션 (글로벌 레퍼런스 시스템에서 LLA70), 레퍼런스 (80) 에 대한 SAS (70) 의 포즈, 및 (SAS 레퍼런스 시스템에서) 제 2 벡터 (V2) 로부터 연산될 수도 있다.
도 9 에서, 통로는 그 카메라의 뷰 필드에서 SAS (70) 를 갖는 모바일 디바이스 (100) 를 갖고 도시된다. 제 1 벡터 (V1) 는 레퍼런스 (80) 로부터 SAS (70) 로 연장되고, 제 2 벡터 (V2) 는 모바일 디바이스 (100) 로부터 SAS (70) 로 연장된다. 제 2 벡터 (V2) 를 단순화하기 위해, 모바일 디바이스 (100) 는, 적소에 콜이 없는 경우 모바일 디바이스 (100) 가 허리 높이에 있고 핸즈-프리 동작 없이 콜이 발생하는 경우 머리 높이에 있다고 가정할 수도 있다.
도 10 내지 도 12 는 본 발명의 일부 실시형태들에 따른 레퍼런스 시스템들을 링크한다.
도 10 의 테이블은 각종 레퍼런스 시스템들에 대하여 각종 로케이션들의 포지션들을 요약한다. 레퍼런스 (80) 는 (글로벌 레퍼런스 시스템에서)(LLA80) 및 (글로벌 레퍼런스 시스템에서)(0, 0, 0) 에 위치된다. SAS (70) 는 (글로벌 레퍼런스 시스템에서)(LLA70) 및 (로컬 레퍼런스 시스템에서)(u, v, w), (SAS 레퍼런스 시스템에서)(0, 0, 0) 에 위치된다. 모바일 디바이스 (100) 는 (글로벌 레퍼런스 시스템에서)(LLA100), (극 좌표들의 로컬 레퍼런스 시스템에서)(ρ, θ, φ), (극 좌표들의 SAS 레퍼런스 시스템에서)(D, α, β), 및 (모바일 레퍼런스 시스템에서)(0, 0, 0) 에 위치된다.
도 11 에서, SAS (70) 는 4 개의 상이한 레퍼런스 시스템들에서 레퍼런스 (80) 및 모바일 디바이스 (100) 에 대해 도시된다. 글로벌 레퍼런스 시스템은 대지 (Earth) 에 의해 정의된다. 빌딩의 배향은 종종 로컬 레퍼런스 시스템을 정의한다. 빌딩의 벽들이 카디날 방향들과 정렬되면, 로컬 레퍼런스 시스템은 글로벌 레퍼런스 시스템으로부터 도출될 수도 있다. 예를 들어, 제 1 벽은 북쪽과 정렬되고 X 축에 의해 표현되고, 수직 벽은 서쪽과 정렬되고 Y 축에 의해 표현되며, "업 (up)" 을 표현하는 수직 방향은 Z 축에 의해 나타내어진다.
로컬 레퍼런스 시스템에서, 제 1 벡터 (V1) 는 (0, 0, 0) 에서의 레퍼런스 (80) 와 SAS (70) 의 포지션 (u, v, w) 간의 변위로서 도시된다. 로컬 레퍼런스 시스템의 배향에 대하여 SAS (70) 의 포즈 (ωX, ωY, ωZ) 는 로컬 레퍼런스 시스템의 3 개의 축들에 관한 각도 회전으로 표현된다. SAS (70) 의 포즈는, SAS (70) 가 로컬 레퍼런스 시스템에 대하여 배향되는 방법을 나타낸다.
모바일 디바이스 (100) 는 또한, 레퍼런스 (80) 보다는 SAS (70) 에 대하여 종종 참조되는 포즈를 갖는다. 모바일 디바이스 (100) 의 포즈는 유사하게, SAS 레퍼런스 시스템에 대하여 모바일 디바이스 (100) 가 배향되는 방법을 나타내는데 사용되고 3 개의 각도 회전들 (μX, μY, μZ) 에 의해 나타내어진다.
SAS 레퍼런스 시스템에서, 제 2 벡터 (V2) 는 (0, 0, 0) 에서 SAS (70) 의 포지션과 (D, α, β) 에서 모바일 디바이스 (100) 의 포지션 간의 벡터이다. 로컬 레퍼런스 시스템으로 표현된 경우, 제 2 벡터 (V2) 는 (ρ, θ, φ) 에서 모바일 디바이스 (100) 의 포지션과 (u, v, w) 에서 SAS (70) 의 포지션 간의 벡터로서 도시된다. 로컬 레퍼런스 시스템에서, 제 3 벡터 (V3) 는 (0, 0, 0) 에서 레퍼런스 (80) 과 (ρ, θ, φ) 에서 모바일 디바이스 (100) 의 포지션 간의 벡터로서 도시된다.
도 12 는 각종 레퍼런스 시스템들 간의 각 배향 (angular orientation) 들에 관한 것이다. 모바일 디바이스 (100) 는 모바일 디바이스 (100) 의 포즈로서 상기에 나타낸 SAS (70) 에 대한 배향을 갖는다. 모바일 디바이스 (100) 는 제 1 회전 매트릭스 (M1) 를 사용하여 모바일 레퍼런스 시스템에서 표현된 배향을 SAS 레퍼런스 시스템에서 표현된 배향으로 변환할 수도 있다.
유사하게, SAS (70) 는 SAS (70) 의 포즈로서 상기에서 나타낸 레퍼런스 (80) 에 대한 배향을 갖는다. 모바일 디바이스 (100) 는 제 2 회전 매트릭스 (M2) 를 사용하여 SAS 레퍼런스 시스템에서 표현된 배향을 로컬 레퍼런스 시스템에서 표현된 배향으로 변환할 수도 있다.
모바일 디바이스 (100) 는 제 3 회전 매트릭스 (M3) 를 사용하여 로컬 레퍼런스 시스템에서 표현된 배향을 글로벌 레퍼런스 시스템에서 표현된 배향으로 변환할 수도 있다. 글로벌 및 로컬 레퍼런스 시스템들은, 회전 매트릭스 (M3) 가 3×3 아이덴티티 매트릭스 (대각선을 따라 1 이고 모든 다른 엘리먼트들은 제로임) 이거나 트리비얼 (trivial) 매트릭스 (교환된 아이덴티티 매트릭스의 컬럼 및 로우들) 이도록 공동 선형 축들 (co-linear axes) 로 셋업될 수도 있다.
제 1 회전 매트릭스 (M1) 는 가속도계로부터 결정된 중력 벡터를 사용하고, 결정하기 위해 카메라 (110) 로부터의 이미지로부터 결정된 모바일 포즈 (μX, μY, μZ) 를 사용하여 초기화될 수도 있다.
제 2 회전 매트릭스 (M2) 는 SAS 포즈 (ωX, ωY, ωZ) 를 사용하여 초기화될 수도 있다. SAS 포즈 (ωX, ωY, ωZ) 는 SAS (70) 로부터 직접 결정되거나 도 7 을 참조하여 전술된 바와 같이 링크를 통해 SAS (70) 로부터 간적접으로 결정된다. 대안으로, 제 2 회전 매트릭스 (M2) 는 SAS (70) 에 의해 직접 또는 간접적으로 인코딩될 수도 있다.
모바일 디바이스 (100) 는 회전 매트릭스들을 사용하여, 모바일 레퍼런스 시스템으로부터의 가속도계 및 자이로미터로부터의 측정치들의 배향을 로컬 또는 글로벌 레퍼런스 시스템으로 변환한다. 이들 측정치들은 모바일 레퍼런스 시스템에 대하여 생성되고 초기에 표현된다. 모바일 디바이스 (100) 는 제 1 회전 매트릭스 (M1) 를 사용하여, 모바일 레퍼런스 시스템으로부터의 이러한 측정치들을 SAS 레퍼런스 시스템으로 변환한다. 모바일 디바이스 (100) 는 그 후, 제 2 회전 매트릭스 (M2) 를 사용하여 SAS 레퍼런스 시스템에서의 측정치들을 로컬 레퍼런스 시스템으로 변환한다. 필요하다면, 모바일 디바이스 (100) 는 그 후, 제 3 회전 매트릭스 (M3) 를 사용하여 로컬 레퍼런스 시스템에서의 측정치들을 글로벌 레퍼런스 시스템으로 변환한다.
일단 로컬 또는 글로벌 레퍼런스 시스템에서 표현되면, 가속도계 측정치들은 이중 적분 (double integration) 에 의해 선형 가속도 측정치들로부터 선형 변위 값들로 변환될 수도 있고, 그 후 누산되어 절대적 선형 움직임을 제공한다. 자이로미터 측정치들은 유사하게, 이중 적분에 의해 각 가속도 측정치들로부터 각 변위 값들로 변환되고 그 후 누산될 수도 있다.
모바일 디바이스 (100) 는 또한, SAS 레퍼런스 시스템으로 표현된 포지션들을 로컬 레퍼런스 시스템으로 변환한다. 모바일 디바이스 (100) 는 이미지 프로세싱을 사용하여 SAS 레퍼런스 시스템에서 그 포지션을 결정한다. 모바일 디바이스 (100) 의 포지션은 (D, α, β) 로서 제 2 벡터 (V2) 로 표현되고, 여기서 D 는 SAS (70) 와 모바일 디바이스 (100) 간의 거리이고 (α, β) 는 SAS (70) 로부터 모바일 디바이스 (100) 까지의 각도를 표현한다.
제 1 벡터 (V1) 는 예를 들어 제 1 벡터 (V1) 를 획득하기 위해 서버에서의 데이터베이스에 액세스함으로써 SAS (70) 를 판독하는 것에 기초하여 결정된다. 대안으로, 제 1 벡터 (V1) 는 SAS (70) 로부터 직접 디코딩된다.
제 2 벡터 (V2) 는 이미지를 사용하여 모바일 디바이스 (100) 에 의한 이미지 프로세싱에 기초한다. 예를 들어, 모바일 디바이스 (100) 는 단일 이미지로부터 SAS (70) 의 상대적인 포지셔닝을 검출한다. 대안으로, 모바일 디바이스 (100) 는 이미지로부터 이미지로의 자연적 피처들을 검출 및 추적하여 제 2 벡터 (V2) 를 결정한다. 일부 실시형태들에서, 피처들을 검출하는 것은 SIFT (scale-invariant feature transform) 을 사용하는 것을 포함한다.
모바일 디바이스 (100) 는 제 1 벡터 (V1) 및 제 2 벡터 (V2) 를 사용하는 연산으로부터 제 3 벡터 (V3) 를 연산하여 연산된 포지션 (40) 을 형성한다. 예를 들어, 제 3 벡터 (V3) 는 제 1 벡터 (V1) 와 제 2 벡터 (V2) 간의 벡터 차 또는 동등하게는 로컬 레퍼런스 시스템의 벡터 (0, 0, 0) 에서 (D, α, β) 까지와 동일하다.
도 13 내지 도 15 는 본 발명의 일부 실시형태들에 따른 모바일 디바이스 (100) 의 연산된 포지션 (40) 을 결정하는 벡터 연산들을 예시한다.
도 13 에서, 모바일 디바이스 (100) 의 초기 포지션 (10) 및 연산된 포지션 (40) 이 도시된다. 제 1 벡터 (V1) 는 SAS (70) 와 레퍼런스 (80) 간의 방향 및 거리를 나타낸다. 제 2 벡터 (V2) 는 SAS (70) 와 모바일 디바이스 (100) 간의 방향 및 거리를 나타낸다. 전술된 바와 같이, 제 2 벡터 (V2) 는 이미지 프로세싱을 수행하는 모바일 디바이스 (100) 에 의해 형성된다. 제 3 벡터 (V3) 는 SAS 포즈를 고려하여 제 1 벡터 (V1) 및 제 2 벡터 (V2) 의 차이 (V3 = V1 - V2) 로부터 연산된다. 이론적으로, 연산된 포지션 (40) 은 초기 포지션 (10) 과 동일하다. 그러나, 포지션들 및 각도들을 추정하는데 있어서 부정확도로 인해, 연산된 포지션 (40) 은 초기 포지션 (10) 과 약간 상이할 수도 있다.
도 14 에서, 모바일 디바이스 (100) 는 연산된 포지션 (40) 으로 그 추측 항법 프로세스를 재교정한다. 전술된 바와 같이, 제 3 벡터 (V3) 는 연산된 포지션 (40) 을 초래한다. 추측 항법 재교정 프로세스는 포지션 추정치 (30) 를 연산된 포지션 (40) 으로 이동시키고, 이로써 재교정된 포지션 (60) 을 설정한다. 이 재교정된 포지션 (60) 은 다른 포지셔닝 방법 (예를 들어, GPS 또는 이미지-기반 포지셔닝) 이 이용 불가능하다면 다음의 추측 항법 단계에서 사용될 수도 있다.
도 15 에서, 다른 추측 항법 프로세스는 재교정을 위해 가중화 방법을 사용한다. 추측 항법 재교정된 프로세스는 재교정된 포지션 (60) 을 연산된 포지션 (40) 과 포지션 추정치 (30) 의 (가중된 포지션 추정치 (50) 에서의) 가중된 평균으로 설정한다. 연산된 포지션 (40) 이 포지션 추정치 (30) 보다 더 정확해질 것으로 예상되는 대부분의 상황들에서, 연산된 포지션 (40) 에는 더 높은 가중치 (higher weighting) 가 제공된다. 예를 들어, 재교정된 포지션 (60) 은 포지션 추정치 (30) 의 10% 배 더하기 연산된 포지션 (40) 의 90% 배와 동일하다.
도 16 은 본 발명의 일부 실시형태들에 따른 모바일 디바이스 (100) 를 예시한다. 모바일 디바이스 (100) 는 카메라 (110), 가속도계 (120), 자이로미터 (130), 프로세서 (150), 메모리 (160) 및 포지션 로케이션 디바이스 (170) 를 포함한다. 이들 컴포넌트들 또는 모듈들 각각은 프로세서 (150) 에 커플링되고, 이 프로세서는 프로세싱하기 위한 수단 또는 연산하기 위한 수단으로서 작용한다. 모바일 디바이스 (100) 는 또한, 추측 항법 네비게이션 소프트웨어 및 소프트웨어를 포함하여, (1) 카메라 (110) 에 의해 캡처된 SAS (70) 의 이미지를 사용한 이미지-기반 포지셔닝; (2) 가속도계 (120), 자이로미터 (130), 또는 조합으로부터의 센서 데이터를 사용한 추측 항법 기반 포지셔닝; 및 (3) 포지션 로케이션 디바이스 (170) 를 사용한 위성 기반 포지션 중 하나 또는 이들의 조합을 사용하여 포지션을 결정할 수도 있다.
카메라 (110) 는 이미지들을 프로세서 (150) 에 제공한다. 이미지들을 캡처함으로써, 프로세서 (150) 는 SAS (70) 를 검출하는 제 1 단계를 취한다. 즉, 프로세서 (150) 는 이미지들을 프로세싱하여 SAS (70) 또는 다른 피처들을 검출 및 해석한다.
가속도계 (120) 는 바디 레퍼런스 시스템 (body reference system; BRS) 에서 가속 측정치들을 제공한다. 바디 레퍼런스 시스템은 모바일 디바이스 (100) 의 바디에 대한 것이다. 자이로미터 (130) 는 바디 레퍼런스 시스템에서 측정치들을 제공한다. 프로세서 (150) 는 자이로미터 (130) 를 설정하고 오프셋 및 스케일링 팩터 (k) 로 자이로미터 (130) 를 업데이트한다. 일부 실시형태들에서, 프로세서 (150) 는 모바일 디바이스 (100) 의 배향으로부터의 센서 측정치들을, 오프셋 및 스케일링 팩터 (k) 로 자이로미터 (130) 를 재교정하는데 사용되는 로컬 레퍼런스 시스템으로 변환한다. 일부 실시형태들에서, 프로세서 (150) 는 SAS (70) 의 배향에 대하여 모바일 디바이스 (100) 의 포즈를 결정하도록 이미지를 프로세싱한다.
GNSS 수신기를 포함할 수도 있는 포지션 로케이션 디바이스 (170) 는 로컬 레퍼런스 시스템에서 GNSS 포지션을 제공한다. 예를 들어, 포지션 로케이션 디바이스 (170) 는 위성 및/또는 의사-위성 (pseudo-lite) 수신기 (예를 들어, GPS 수신기) 인데, 이는 경도 및 위도 (LL) 를 포함하는, 또는 다르게는 경도, 위도 및 고도 (LLA) 를 포함하는 GPS-형 포지션을 연산 및 제공한다.
일부 실시형태들에서, 모바일 디바이스 (100) 는 가속도계 (120) 또는 자이로미터 (130) 중 어느 하나를 포함하는 한편, 다른 실시형태들에서 모바일 디바이스 (100) 는 가속도계 (120) 및 자이로미터 (130) 양자 모두를 포함한다. 일부 실시형태들에서, 모바일 디바이스 (100) 는 포지션 로케이션 디바이스 (170) 를 포함하는 한편, 다른 실시형태들에서 모바일 디바이스 (100) 는 포지션 로케이션 디바이스 (170) 를 포함하지 않는다.
메모리 (160) 는 프로세서 (150) 안에 통합되고/되거나 이로부터 분리될 수도 있다. 메모리 (160) 는 프로세서 (150) 에 의해 실행 가능한 것으로 본원에서 설명된 프로시저들 및 방법들의 코드를 포함한다. 프로세서 (150) 는 메모리 (160) 에 데이터를 저장한다. 데이터는 로 (raw) 데이터, 예컨대 이미지들, 가속 측정치들 및 자이로미터 측정치들을 포함할 수도 있다. 데이터는 또한, 중간 (intermediary) 데이터, 예컨대 변환된 측정치들, 프로세싱된 이미지들, SAS (70) 로부터 추출된 정보, 및 누산된 측정치들을 포함할 수도 있다.
(1) 카메라 (110) 로부터의 이미지들; (2) 가속도계 (120) 및/또는 자이로미터 (130) 로부터의 누산된 측정치들에 기초하여 그리고 가능하게는 추측 항법으로부터의 이전의 포지션; 또는 (3) 포지션 로케이션 디바이스 (170) 로부터의 GNSS 포지션에 기초하여, 프로세서 (150) 는 가능한 미래의 추측 항법 연산들에 대한 재교정된 포지션 (60) 을 연산한다. 재교정된 포지션 (60) 은 미래의 프로세싱을 위해 프로세서 (150) 내부에 유지될 수도 있고, 사용자에게 해석 또는 디스플레이될 수도 있으며, 또는 저장이나 프로세싱을 위한 외부 애플리케이션으로 전송될 수도 있다.
도 17 내지 도 21 은 본 발명의 일부 실시형태들에 따른 DR 기법의 재교정을 위한 방법들을 예시한다.
도 17 에서, 프로세서 (150) 에 의해 수행된 단계들이 도시된다. 단계 200 에서, 프로세서 (150) 는 추측 항법 프로세스를 초기화하고 초기 포지션 (10) 을 설정한다. 초기 포지션 (10) 은 이미지-기반 포지션, GNSS-기반 포지션에 기초할 수도 있고, 또는 임의의 레퍼런스 시스템의 원점 (0, 0, 0) 으로서 설정될 수도 있다. 단계 210 에서, 프로세서 (150) 는 추측 항법을 사용하여 초기 포지션 (10) 에 대한 제 1 업데이트된 포지션을 결정할 수도 있다. 추측 항법-기반 포지션은 가속도계 (120) 및/또는 자이로미터 (130) 로부터의 측정치들을 사용하여 추정된다. 통상적으로, 추측 항법 포지션 추정치는 GNSS 신호들 및 이미지-기반 포지셔닝이 이용 불가능한 경우 이루어진다. 대안으로, 프로세서 (150) 는 SAS (70) 를 포함하는 이미지의 이미지 프로세싱을 사용하여 초기 포지션 (10) 에 대한 제 1 업데이트된 포지션을 결정할 수도 있다. 이미지를 사용하여 이미지-기반 포지션을 결정하기 위한 프로세스가 이하에서 설명된다.
단계 220 에서, 카메라 (110) 는 이미지를 캡처한다. 단계 230 에서, 프로세서 (150) 는 이미지를 수신 및 프로세싱한다. 단계 240 에서, 프로세서 (150) 는 프로세싱된 이미지 내의 SAS (70) 를 검출하고자 시도하고 이로써 SAS (70) 를 검출하기 위한 수단으로서 작용한다. 단계 250 에서, SAS (70) 가 검출되지 않으면, 프로세싱은 추측 항법에 기초하여 포지션 추정치를 연산하는 것을 계속하도록 다이렉팅된다.
SAS (70) 가 검출되면, 프로세싱은 이미지-기반 포지션을 찾도록 다이렉팅된다. 단계 260 에서, 프로세서 (150) 는 모바일 디바이스 (100) 에 대한 SAS (70) 까지의 레인지 및 각도들을 추정하고 이로써 도 8 내지 도 11 을 참조하여 전술된 바와 같이 제 2 벡터 (V2) 를 결정한다. 단계 270 에서, 프로세서 (150) 는 SAS (70) 를 디코딩하여 도 7 을 참조하여 전술된 바와 같이 제 1 벡터 (V1) 및 SAS 포즈를 결정하고, 이로써 프로세서 (150) 는 제 1 벡터 (V1) 를 결정하기 위한 수단 및 모바일 디바이스 (100) 에 대한 SAS 포즈를 결정하기 위한 수단으로서 작용한다. 단계 280 에서, 프로세서 (150) 는 도 11 내지 도 13 을 참조하여 전술된 바와 같이 제 1 벡터 (V1), 제 2 벡터 (V2) 및 SAS 포즈에 기초하여 연산된 포지션 (40) 을 초래하는, 제 3 벡터 (V3) 를 찾도록 벡터 연산을 수행한다. 단계 290 에서, 프로세서 (150) 는 연산된 포지션 (40) 으로 포지션 추정치 (30) 를 재교정하여, 도 14 및 도 15 를 참조하여 전술된 바와 같이 재교정된 포지션 (60) 을 형성하고, 이로써 프로세서 (150) 는 제 3 벡터 (V3) 에 기초하여 모바일 디바이스 (100) 의 현재 포지션을 재교정하기 위한 수단으로서 작용한다.
도 18 에서, 단계 (230) 의 이미지 프로세싱의 예가 도시된다. 카메라 (110) 는 컬러 이미지 (예를 들어, 컬러 JPEG 포맷 이미지) 를 캡처한다. 단계 232 에서, 프로세서 (150) 는 컬러-투-그레이스케일 변환 프로세스를 실행하여 컬러 이미지를 그레이스케일 이미지로 변형한다. 컬러 이미지는, SAS (70) 를 검출 및 해석하는 경우 프로세서 (150) 에 의해 필요하지 않은 엑스트라 정보를 포함한다. 일부 실시형태들에서, 카메라 (110) 는 컬러 이미지 보다는 그레이스케일 이미지를 제공한다. 단계 234 에서, 프로세서 (150) 는 바이너리-투-비트맵 변환 프로세스를 실행하여 그레이스케일 이미지를 블랙 앤 화이트 이미지로 변형한다. 블랙 앤 화이트 이미지는 프로세서 (150) 에 대한 충분한 정보를 포함하여 블랙 앤 화이트 이미지 내에서 SAS (70) 를 검출 및 해석한다.
도 19 에서, 흐름도는 SAS (70), 모바일 디바이스 (100) 및 서버 (300) 간의 가능한 교차를 도시한다. SAS (70) 는 모바일 디바이스 (100) 에 보이는 로케이션에 위치된다. 단계 310 에서, 모바일 디바이스 (100) 는 SAS (70) 를 포함하는 이미지를 캡처한다. 이 실시형태에서, SAS (70) 는 링크 (예컨대, URL) 로 인코딩된다. 단계 320 에서, 프로세서 (150) 는 SAS (70) 로부터 링크를 검출 및 추출한다. 모바일 디바이스 (100) 는 그 후, SAS-정보 요청 (330) 을 서버 (300) 로 전송한다. SAS-정보 요청 (330) 은 SAS (70) 로부터 추출된 링크를 포함한다. 링크는 서버 (300) 에 의해 사용되어 레퍼런스 (80) 에 대한 SAS (70) 의 로케이션 또는 포지션 추정치를 포함하는 데이터베이스에 액세스한다. 데이터베이스는 또한, SAS (70) 의 포지션 추정치의 불확실성을 포함할 수도 있다. 데이터베이스는 또한, 로컬 레퍼런스 시스템에 대한 SAS (70) 의 포즈를 포함한다. 여기서, 서버 (300) 는 제공된 링크에 기초하여 SAS (70) 의 로케이션 정보를 제공하는 레퍼런스 데이터베이스로서 작용한다. 데이터베이스는 미리결정된 피처들의 리스트, 예컨대 SAS (70) 들의 식별자들, 및 대응하는 로케이션 및 레퍼런스에 대한 SAS 포즈를 포함한다.
일부 실시형태들에서, 모바일 디바이스 (100) 는 SAS (70) 에 관한 크라우드-소스 (crowd-source) 로케이션 정보를 제공하는 것을 돕는다. SAS-정보 요청 (330) 을 서버 (300) 로 전송하기 전에, 모바일 디바이스 (100) 는 제 2 벡터 (V2) 로서 상기에서 지칭된, 그자체로부터 SAS (70) 까지의 추정된 변위를 결정한다. 모바일 디바이스 (100) 는 모바일 디바이스 (100) 로부터 SAS (70) 로의 이 변위와 모바일 디바이스의 마지막 결정된 모바일 로케이션을 결합하고, 이로써 SAS (70) 의 로케이션을 근사한다. 일부 실시형태들에서, SAS (70) 는 로케이션 또는 로케이션에 대한 인덱스를 포함하지 않는다. 일부 경우들에서, SAS (70) 에 의해 제공된 로케이션은 부정확할 수도 있다. 이들 실시형태들 및 경우들에서, 모바일 디바이스 (100) 는 SAS (70) 의 그 추정치를 서버에 알리도록 작용한다. 모바일 디바이스 (100) 는 그 후, SAS-정보 요청 (330) 을 구축하는데, 이 요청은 SAS (70) 의 이 근접한 로케이션을 SAS-정보 요청 (330) 안에 통합한다. 모바일 디바이스 (100) 는 또한, SAS-정보 요청 (330) 에 포함될 수도 있는 SAS 포즈를 추정할 수도 있다. 모바일 디바이스 (100) 는 SAS (70) 의 근접한 로케이션을 전송할 수도 있고, 이용 가능하다면 추정된 SAS 포즈를 별개의 메시지로 전송할 수도 있다.
SAS (70) 의 아이덴티티 및 근접한 로케이션은 그 후, 서버 (300) 로 전송된다. 서버 (300) 는 크라우드-소싱 서버로서 작용할 수도 있고, 또는 SAS (70) 의 아이덴티티 및 근접한 로케이션을 크라우드-소싱 서버로 포워딩할 수도 있다. 크라우드-소싱 서버는 그 후, SAS (70) 와 같은 다수의 셀프-어드레싱 소스들의 데이터베이스를 구축할 수 있다. 더 많은 모바일 디바이스들 (100) 이 SAS (70) 의 아이덴티티 및 대응하는 로케이션 및 추정된 SAS 포즈를 보고하기 때문에, 각각의 SAS (70) 및 SAS 포즈의 로케이션 추정은 시간이 경과함에 따라 개선될 수도 있다.
크라우드-소싱 서버가 SAS (70) 의 적어도 하나의 로케이션 추정을 획득한 후에, 크라우드-소싱 서버는 네비게이션 또는 로케이션 추정 능력들을 갖지 않는 다른 모바일 디바이스들로부터의 로케이션 요청들을 지원할 수도 있다. 이들 네비게이션 불능 디바이스들은 SAS (70) 를 포함하는 이미지를 캡처하고, SAS (70) 내의 정보를 추출하고, SAS-정보 요청 (330) 을 서버 (300) 로 전송하며, SAS-정보 응답 (340) 에서 SAS (70) 의 로케이션 추정을 수신할 것이다. 이 방식으로, 서버 (300) 는 네비게이션-가능 모바일 디바이스들에 의해 업데이트되지만 네비게이션-가능 및 네비게이션-불능 모바일 디바이스들 양자 모두로부터의 로케이션 요청들을 지원한다. 따라서, SAS (70) 는 포지션 또는 포지션에 대한 인덱스를 포함하거나 포함하지 않을 수도 있다. 그러나, 이러한 크라우드-소싱 서버를 사용하여, 크라우드-소싱 데이터베이스가 미래에 구축된 후 어느 때 SAS (70) 의 뷰 안으로 오는, 이후의 모바일 디바이스는 크라우드-소싱 서버로부터 SAS (70) 의 포지션을 액세스할 수도 있다. 이 방식으로, 이후의 모바일 디바이스는 위성 포지셔닝 신호들 없이 그리고 추측 항법 없이 그러나 카메라 만으로 그 포지션을 결정할 수도 있고, 크라우드-소싱 서버에 액세스할 수도 있다.
SAS-정보 요청 (330) 이 SAS (70) 에 관련된 포지션 정보를 포함하는 경우, 모바일 디바이스 (100) 는 이 포지션 정보를 결정한다. SAS (70) 에 관련된 포지션 정보는 (GNSS-기반 포지션, 추측 항법 기반 포지션, 또는 초기 이미지-기반 포지션 추정치일 수도 있는) 모바일 디바이스 (100) 에 대한 최종 포지션 추정치에 기초하여 결정된 포지션 추정치 (및 가능하게는 SAS (70) 의 대응하는 불확실성) 및 가능하게는 SAS 포즈 추정을 포함한다. SAS (70) 의 포지션 추정치를 결정할 수 없고 덜 정교한 모바일 디바이스 (100) 는, SAS-정보 요청 (330) 을 구축하는 경우 SAS (70) 의 로케이션 추정에 대해 그 자체의 로케이션 추정을 대체할 수도 있다. SAS-정보 요청 (330) 은, 제공된 로케이션이 SAS (70) 의 로케이션 추정 또는 모바일 디바이스 (100) 의 로케이션 추정인지를 나타내는 필드를 포함할 수도 있다. 서버 (300) 는 다수의 모바일 디바이스들 (100) 로부터의 대응하는 불확실성에 의해 가중된 SAS (70) 의 다수의 포지션 추정치들을 누산하여, 각각의 SAS (70) 에 대해 데이터베이스에 포함된 포지션 추정치들에 도달하거나 리파이닝한다. 이와 같이, SAS (70) 의 로케이션은 선험적으로 결정될 필요가 없다. 대신에, 서버 (300) 는 SAS-정보 요청 (330) 메시지들 내의 로케이션 추정들에 기초하여 그 데이터베이스를 능동적으로 업데이트할 수도 있다.
SAS-정보 요청 (330) 메시지들에 응답하여, 서버 (300) 는 SAS-정보 응답 (340) 을 전송한다. SAS-정보 응답 (340) 은 SAS (70) 의 절대적 포지션 (예를 들어, SAS (70) 의 LLA) 을 포함할 수도 있거나 기지의 포인트를 참조한 SAS (70) 의 상대적 포지션 (예를 들어, 레퍼런스 (80) 에 대한 제 1 벡터 (V1)) 을 포함할 수도 있다.
서버 (300) 로부터 취출된 정보 및 제 2 벡터 (V2) 계산에 기초하여, 모바일 디바이스 (100) 는 전술된 바와 같이 그 포지션을 결정할 수도 있다. 서버 (300) 는 또한, SAS-정보 응답 (340) 또는 세컨더리 메시지 내에서 모바일 디바이스 (100) 에 SAS-정보 요청 (330) 에 기초한 근처의 관심 포인트들에 관한 정보를 제공할 수도 있다. 예를 들어, SAS (70) 가 쇼핑몰의 제 1 스토어의 윈도우에 있으면, 근처 관심 포인트는 제 1 스토어에 이웃하는 제 2 스토어일 수도 있고, 또는 제 1 스토어에 경쟁자인 제 2 스토어일 수도 있다.
도 20 에서, 추측 항법을 교정하기 위한 것과 같은 네비게이션을 교정하는 프로시저가 도시된다. 단계 400 에서, 프로세서 (150) 는 시작 포인트로서 작용하도록 초기 포지션 추정치를 결정한다. 이 시작 포인트는 GNSS 정보 또는 SAS-결정된 포지션에 기초할 수도 있다. 대안으로, 초기 포지션은 임의적으로 설정될 수도 있고 추측 항법 단계들을 따라 되추적함으로써 미래의 결정된 포지션으로부터 절대적 포지션으로서 이후에 결정될 수도 있다.
단계 410 에서, 가속도계 (120) 및/또는 자이로미터 (130) 로부터의 측정치들이 누산되어 시작 포인트로부터의 변위를 결정한다. 단계 420 에서, 초기 포지션 및 변위에 기초하여 현재 포지션의 추정이 설정된다. 단계 430 에서, 카메라 (110) 는 SAS (70) 를 포함하는 이미지를 캡처한다. 단계 440 에서, 프로세서 (150) 는 SAS (70) 로부터 포지션 정보를 추출하여 제 1 벡터 (V1) 및 SAS 포즈를 형성한다. 단계 450 에서, 모바일 디바이스 (100) 는 모바일 디바이스 (100) 로부터 SAS (70) 까지의 레인지 및 각변위를 결정하여 제 2 벡터 (V2) 를 형성한다. 단계 460 에서, 프로세서 (150) 는 제 1 벡터 (V1), SAS 포즈 및 제 2 벡터 (V2) 를 결합하여 제 3 벡터 (V3) 를 결정하고, 이로써 모바일 디바이스 (100) 의 업데이트된 포지션 추정치를 결정한다. 단계 470 에서, 프로세서 (150) 는 그 마지막 포지션 추정치를 업데이트된 포지션 추정치로 교정한다.
도 21 에서, 초기 포지션 (10) 에서 최종 포지션 (14) 으로의 경로를 따른 포지션들을 추정하는 프로세스가 도시된다. 모바일 디바이스 (100) 는 초기 포지션 (10) 에서 출발하는데, 이 포지션은 GPS-기반 포지션과 같은 GNSS-기반 포지션일 수도 있다.
제 1 주기 동안, 모바일 디바이스 (100) 는 초기 포지션 (10) 에서 제 1 중간 포지션 (11) 으로 이동한다. 이 제 1 주기의 끝에서, 프로세서 (150) 는 하나 이상의 관성 센서들로부터의 관성 센서 측정치들 및 초기 포지션 (10) 에 기초하여 추측 항법을 사용하여 제 1 포지션 추정치 (31) 를 결정한다. 일부 실시형태들에서, 추측 항법은 자력계로부터 스텝 방향 및 가속도계 (120) 를 사용한 스텝 거리를 결정한다. 제 1 포지션 추정치 (31) 를 결정하는 활동은 SLAM (simultaneous localization and mapping) 알고리즘을 사용할 수도 있다. 그러나, 가속도계 (120) 및 자이로미터 (130) 로부터의 측정치들을 누산하는 것에 내재된 에러들 때문에, 제 1 포지션 추정치 (31) 는 제 1 중간 포지션 (11) 을 부정확하게 나타낸다.
제 2 주기 동안, 모바일 디바이스 (100) 는 제 1 중간 포지션 (11) 에서 제 2 중간 포지션 (12) 으로 이동한다. 이 제 2 주기의 끝에서, 프로세서 (150) 는 가속도계 (120) 및/또는 자이로미터 (130) 로부터의 측정치들 및 제 1 중간 포지션 (11) 에 기초하여 제 2 포지션 추정치 (32) 를 결정한다. 도시된 바와 같이, 포지션 추정치들은 실제 포지션들로부터 계속 벗어난다.
제 3 주기 동안, 모바일 디바이스 (100) 는 제 2 중간 포지션 (12) 에서 제 3 중간 포지션 (13) 으로 이동한다. 프로세서 (150) 는 제 2 벡터 (V2) 에 의해 도시된 바와 같이 SAS (70) 를 검출하고 SAS 포즈를 추출한다. 일부 실시형태들에서, SAS (70) 는 제 1 벡터 (V1) 및 SAS 포즈를 형성하기 위한 정보를 포함하는 QR 코드, 바 코드 (일차원 바 코드 또는 이차원 바 코드), 텍스트 및/또는 무선 송신기 (예컨대, RFID 태그) 이고, 또는 이 정보에 대한 서버 (300) 상의 데이터베이스로의 링크이다. 프로세서 (150) 는 이 정보를 사용하여 제 1 벡터 (V1) 를 설정하고, 그 후 제 1 벡터 (V1) 및 제 2 벡터 (V2) 를 결합하여 제 3 벡터 (V3) 를 형성하는데, 제 3 벡터는 모바일 디바이스 (100) 의 연산된 포지션 (40) 을 나타낸다. 연산된 포지션 (40) 은 포지션 추정치 (34) 에 대해 재교정된 포지션 (60) 으로서 사용될 수도 있다. 대안으로, 프로세서 (150) 는 또한, 연산된 포지션 (40) 과 가중될 수도 있는 제 3 포지션 추정치 (33) 를 결정하여 재교정된 포지션 (60) 을 형성할 수도 있다.
제 4 주기 동안, 모바일 디바이스 (100) 는 제 3 중간 포지션 (13) 에서 최종 포지션 (14) 으로 이동한다. 제 3 포지션 추정치 (33) 를 레퍼런스 포지션으로서 사용하기 보다는, 추측 항법 프로세스는 SAS (70) 로부터의 정보에 기초한 재교정된 포지션 (60) 을 사용한다.
본원에서 설명된 방법론들은 애플리케이션들에 의존하는 갖가지 수단들에 의해 구현될 수도 있다. 예를 들어, 이들 방법론들은 하드웨어, 펌웨어, 소프트웨어, 또는 그것들의 임의의 조합으로 구현될 수도 있다. 하드웨어 구현에 대해, 프로세싱 유닛들은 하나 이상의 주문형 집적회로들 (ASICs), 디지털 신호 프로세서들 (DSPs), 디지털 신호 프로세싱 디바이스들 (DSPDs), 프로그램가능 로직 디바이스들 (PLDs), 필드 프로그램가능 게이트 어레이들 (FPGAs), 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본원에서 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 그것들의 조합으로 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현의 경우, 방법론들은 본원에서 설명된 기능들을 수행하는 모듈들 (예컨대, 프로시저들, 함수들 등) 으로 구현될 수도 있다. 명령들을 유형적으로 포함하는 임의의 머신 판독가능 매체는 본원에서 설명되는 방법론들의 구현함에 있어서 사용될 수도 있다. 예를 들어, 소프트웨어 코드들은 메모리에 저장되고 프로세서 유닛에 의해 실행가능할 수도 있다. 메모리는 프로세서 유닛 내에 또는 프로세서 유닛 외부에 구현될 수도 있다. 본원에서 사용되는 바와 같이 메모리 (160) 는 장기, 단기, 휘발성, 비휘발성, 또는 다른 메모리 중의 임의의 유형을 지칭하고, 메모리의 임의의 특정 유형 또는 메모리들의 수, 또는 메모리가 저장되는 매체의 유형으로 제한되는 것은 아니다.
펌웨어 및/또는 소프트웨어로 구현된다면, 기능들은 하나 이상의 펌웨어 또는 소프트웨어 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장될 수도 있다. 컴퓨터 판독가능 저장 매체들은 그 안에 저장된 프로그램 코드를 포함한다. 예들은 데이터 구조를 갖고 인코딩된 컴퓨터 판독가능 매체들 및 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독가능 매체들을 포함한다. 컴퓨터 판독가능 매체들은 물리적 컴퓨터 저장 매체들을 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스 될 수 있는 임의의 다른 매체를 포함할 수도 있고; 디스크 (disk 및 disc) 는, 여기서 사용되는 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다용도 디스크 (DVD), 플로피 디스크 (disk) 및 블루-레이 디스크 (disk) 를 포함하며 여기서 디스크 (disk) 는 보통 데이터를 자기적으로 재생하는 반면 디스크 (disc) 는 데이터를 레이저를 이용하여 광학적으로 재생한다. 상기한 것들의 조합들은 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
컴퓨터 판독가능 매체 상에 저장하는 것 외에도, 명령들 및/또는 데이터는 통신 장치에 포함된 송신 매체 상의 신호들로서 제공될 수도 있다. 예를 들어, 통신 장치는 명령들 및 데이터를 나타내는 신호들을 갖는 트랜시버를 포함할 수도 있다. 그 명령들 및 데이터는 하나 이상의 프로세서들이 청구항들에서 요약될 수 있는 기능들을 구현하게 하도록 구성된다. 다시 말하면, 통신 장치는 개시된 기능들을 수행하는 정보를 나타내는 신호들을 가지는 송신 매체를 포함한다. 첫째로는, 통신 장치에 포함된 송신 매체는 개시된 기능들을 수행하는 정보의 제 1 부분을 포함할 수 있는 반면, 둘째로는 통신 장치에 포함된 송신 매체는 개시된 기능들을 수행하는 정보의 제 2 부분을 포함할 수도 있다.
개시된 양태들의 이전의 설명은 당업자가 본 개시물을 제작하고 사용하게 하도록 제공된다. 이들 양태들에 대한 갖가지 변형예들은 당업자들에게 용이하게명확하게 될 것이고, 여기에 정의된 일반 원리들은 본 개시물의 정신 또는 범위로부터 벗어남 없이 다른 양태들에 적용될 수도 있다.

Claims (45)

  1. 카메라 및 적어도 하나의 관성 센서를 포함하는 모바일 디바이스에서 네비게이션을 교정하는 방법으로서,
    초기 포지션을 제공하는 단계;
    SAS (self-addressing source) 를 검출하는 단계;
    상기 SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하는 단계;
    상기 레퍼런스 포인트에 대한 SAS 포즈 (pose) 를 결정하는 단계;
    상기 SAS 에 대한 상기 모바일 디바이스의 제 2 벡터 (V2) 를 결정하는 단계로서, 상기 제 2 벡터 (V2) 는 상기 카메라에 의해 캡처된 상기 SAS 의 이미지로부터 적어도 부분적으로 기초하여 결정되고, 상기 제 2 벡터 (V2) 는 상기 모바일 디바이스로부터 상기 SAS 까지의 변위 및 상기 모바일 디바이스로부터 상기 SAS 까지의 각도에 의해 표현되는, 상기 제 2 벡터 (V2) 를 결정하는 단계;
    상기 제 1 벡터 (V1), 상기 SAS 포즈 및 상기 제 2 벡터 (V2) 에 기초하여 상기 모바일 디바이스의 제 3 벡터 (V3) 를 연산하는 단계로서, 상기 제 3 벡터 (V3) 는 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 변위 및 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 각도에 의해 표현되는, 상기 제 3 벡터 (V3) 를 연산하는 단계;
    상기 제 3 벡터 (V3) 에 적어도 부분적으로 기초하여 상기 모바일 디바이스의 상기 초기 포지션을 연산하는 단계; 및
    상기 제 3 벡터 (V3) 에 기초하여 자이로미터를 재교정하는 단계로서, 상기 관성 센서는 자이로미터를 포함하는, 상기 자이로미터를 재교정하는 단계를 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  2. 제 1 항에 있어서,
    상기 초기 포지션은 원점 (0, 0, 0) 을 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  3. 제 1 항에 있어서,
    상기 초기 포지션은 이미지-기반 포지션 추정치를 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  4. 제 1 항에 있어서,
    상기 초기 포지션은 글로벌 네비게이션 위성 시스템 기반 포지션 (GNSS-기반 포지션) 을 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  5. 제 1 항에 있어서,
    상기 SAS 는 퀵 리스폰스 코드 (quick response code; QR 코드) 를 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  6. 제 1 항에 있어서,
    상기 SAS 는 바 코드를 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  7. 제 1 항에 있어서,
    상기 SAS 는 텍스트를 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  8. 제 1 항에 있어서,
    상기 SAS 는 데이터베이스에 대한 링크를 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  9. 제 1 항에 있어서,
    상기 SAS 는 무선 송신기를 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  10. 제 9 항에 있어서,
    상기 무선 송신기는 RFID 태그를 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  11. 제 1 항에 있어서,
    상기 SAS 포즈를 결정하는 단계 이후 및 상기 제 3 벡터 (V3) 를 연산하는 단계 이전에, 상기 SAS 에 대한 모바일 포즈를 결정하는 단계를 더 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  12. 제 1 항에 있어서,
    상기 SAS 를 검출하는 단계는 상기 SAS 의 이미지를 캡처하는 단계를 포함하고,
    상기 제 2 벡터 (V2) 를 결정하는 단계는 상기 이미지에서의 상기 SAS 의 지오메트리를 결정하는 단계를 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  13. 삭제
  14. 제 1 항에 있어서,
    상기 SAS 를 검출하는 단계는 SIFT (scale-invariant feature transform) 를 사용하는 단계를 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  15. 제 1 항에 있어서,
    상기 제 2 벡터 (V2) 를 결정하는 단계 이후 및 상기 제 3 벡터 (V3) 를 연산하는 단계 이전에, 상기 제 1 벡터 (V1) 를 포함하는 데이터베이스를 갖는 서버로 SAS 정보 요청을 전송하는 단계; 및
    상기 제 1 벡터 (V1) 를 포함하는 상기 서버로부터의 SAS 정보 응답을 수신하는 단계를 더 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  16. 제 15 항에 있어서,
    상기 SAS 정보 요청은 상기 모바일 디바이스에 의해 결정된 상기 SAS 의 포지션 추정치를 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  17. 제 16 항에 있어서,
    상기 SAS 정보 요청은 상기 모바일 디바이스에 의해 결정된 추정된 SAS 포즈를 더 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  18. 제 16 항에 있어서,
    상기 SAS 의 상기 포지션 추정치는 상기 모바일 디바이스의 추정된 포지션을 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  19. 제 15 항에 있어서,
    상기 SAS 정보 응답은 상기 데이터베이스로부터의 SAS 포즈를 더 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  20. 제 1 항에 있어서,
    상기 초기 포지션을 제공하는 단계 이후 및 상기 SAS 를 검출하는 단계 이전에, 상기 초기 포지션에 대한 제 1 업데이트된 포지션을 결정하기 위해 추측 항법 (dead reckoning) 을 사용하는 단계를 더 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  21. 제 20 항에 있어서,
    상기 추측 항법을 사용하는 단계는 SLAM (simultaneous localization and mapping) 알고리즘을 사용하는 단계를 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  22. 제 20 항에 있어서,
    상기 추측 항법을 사용하는 단계는,
    자력계를 사용하여 방향을 결정하는 단계; 및
    가속도계를 사용하여 스텝을 결정하는 단계를 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  23. 제 1 항에 있어서,
    상기 제 2 벡터 (V2) 를 결정하는 단계 이후 및 상기 제 3 벡터 (V3) 를 연산하는 단계 이전에, 상기 제 2 벡터 (V2) 및 상기 초기 포지션에 기초하여 상기 SAS 의 추정된 포지션을 결정하는 단계를 더 포함하는, 모바일 디바이스에서 네비게이션을 교정하는 방법.
  24. 카메라, 및 적어도 하나의 관성 센서를 포함하는 네비게이션 시스템을 포함하는 모바일 디바이스로서,
    초기 포지션을 제공하기 위한 수단;
    SAS (self-addressing source) 를 검출하기 위한 수단;
    상기 SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하기 위한 수단;
    상기 레퍼런스 포인트에 대한 SAS 포즈 (pose) 를 결정하기 위한 수단;
    상기 SAS 에 대한 상기 모바일 디바이스의 제 2 벡터 (V2) 를 결정하기 위한 수단으로서, 상기 제 2 벡터 (V2) 는 상기 카메라에 의해 캡처된 상기 SAS 의 이미지로부터 적어도 부분적으로 기초하여 결정되고, 상기 제 2 벡터 (V2) 는 상기 모바일 디바이스로부터 상기 SAS 까지의 변위 및 상기 모바일 디바이스로부터 상기 SAS 까지의 각도에 의해 표현되는, 상기 제 2 벡터 (V2) 를 결정하기 위한 수단;
    상기 제 1 벡터 (V1), 상기 SAS 포즈 및 상기 제 2 벡터 (V2) 에 기초하여 상기 모바일 디바이스의 제 3 벡터 (V3) 를 연산하기 위한 수단으로서, 상기 제 3 벡터 (V3) 는 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 변위 및 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 각도에 의해 표현되는, 상기 제 3 벡터 (V3) 를 연산하기 위한 수단;
    상기 제 3 벡터 (V3) 에 적어도 부분적으로 기초하여 상기 모바일 디바이스의 상기 초기 포지션을 연산하기 위한 수단; 및
    상기 제 3 벡터 (V3) 에 기초하여 자이로미터를 재교정하기 위한 수단으로서, 상기 관성 센서는 자이로미터를 포함하는, 상기 자이로미터를 재교정하기 위한 수단을 포함하는, 모바일 디바이스.
  25. 프로세서 및 메모리를 포함하고 카메라 및 적어도 하나의 관성 센서를 더 포함하는 모바일 디바이스로서,
    상기 메모리는,
    초기 포지션을 제공하고;
    SAS (self-addressing source) 를 검출하고;
    상기 SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하고;
    상기 레퍼런스 포인트에 대한 SAS 포즈 (pose) 를 결정하고;
    상기 SAS 에 대한 상기 모바일 디바이스의 제 2 벡터 (V2) 를 결정하되, 상기 제 2 벡터 (V2) 는 상기 카메라에 의해 캡처된 상기 SAS 의 이미지로부터 적어도 부분적으로 기초하여 결정되고, 상기 제 2 벡터 (V2) 는 상기 모바일 디바이스로부터 상기 SAS 까지의 변위 및 상기 모바일 디바이스로부터 상기 SAS 까지의 각도에 의해 표현되고;
    상기 제 1 벡터 (V1), 상기 SAS 포즈 및 상기 제 2 벡터 (V2) 에 기초하여 상기 모바일 디바이스의 제 3 벡터 (V3) 를 연산하되, 상기 제 3 벡터 (V3) 는 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 변위 및 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 각도에 의해 표현되고;
    상기 제 3 벡터 (V3) 에 적어도 부분적으로 기초하여 상기 모바일 디바이스의 상기 초기 포지션을 연산하며;
    상기 제 3 벡터 (V3) 에 기초하여 자이로미터를 재교정하기 위한, 상기 프로세서에 의해 실행 가능한 소프트웨어 명령들을 포함하고,
    상기 관성 센서는 자이로미터를 포함하는, 모바일 디바이스.
  26. 카메라와 적어도 하나의 관성 센서를 포함하는 모바일 디바이스를 위한 프로그램 코드가 저장되어 있는 컴퓨터 판독가능 저장 매체로서,
    상기 프로그램 코드는,
    초기 포지션을 제공하고;
    SAS (self-addressing source) 를 검출하고;
    상기 SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하고;
    상기 레퍼런스 포인트에 대한 SAS 포즈 (pose) 를 결정하고;
    상기 SAS 에 대한 상기 모바일 디바이스의 제 2 벡터 (V2) 를 결정하되, 상기 제 2 벡터 (V2) 는 상기 카메라에 의해 캡처된 상기 SAS 의 이미지로부터 적어도 부분적으로 기초하여 결정되고, 상기 제 2 벡터 (V2) 는 상기 모바일 디바이스로부터 상기 SAS 까지의 변위 및 상기 모바일 디바이스로부터 상기 SAS 까지의 각도에 의해 표현되고;
    상기 제 1 벡터 (V1), 상기 SAS 포즈 및 상기 제 2 벡터 (V2) 에 기초하여 상기 모바일 디바이스의 제 3 벡터 (V3) 를 연산하되, 상기 제 3 벡터 (V3) 는 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 변위 및 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 각도에 의해 표현되며;
    상기 제 3 벡터 (V3) 에 기초하여 자이로미터를 재교정하기 위한 코드를 포함하고,
    상기 관성 센서는 자이로미터를 포함하는, 컴퓨터 판독가능 저장 매체.
  27. 카메라 및 적어도 하나의 관성 센서를 포함하는 모바일 디바이스의 포지션을 결정하는 방법으로서,
    SAS (self-addressing source) 를 검출하는 단계;
    상기 SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하는 단계;
    상기 레퍼런스 포인트에 대한 SAS 포즈 (pose) 를 결정하는 단계;
    상기 SAS 에 대한 상기 모바일 디바이스의 제 2 벡터 (V2) 를 결정하는 단계로서, 상기 제 2 벡터 (V2) 는 상기 카메라에 의해 캡처된 상기 SAS 의 이미지로부터 적어도 부분적으로 기초하여 결정되고, 상기 제 2 벡터 (V2) 는 상기 모바일 디바이스로부터 상기 SAS 까지의 변위 및 상기 모바일 디바이스로부터 상기 SAS 까지의 각도에 의해 표현되는, 상기 제 2 벡터 (V2) 를 결정하는 단계;
    상기 제 1 벡터 (V1), 상기 SAS 포즈 및 상기 제 2 벡터 (V2) 에 기초하여 상기 모바일 디바이스의 제 3 벡터 (V3) 를 연산하는 단계로서, 상기 제 3 벡터 (V3) 는 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 변위 및 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 각도에 의해 표현되는, 상기 제 3 벡터 (V3) 를 연산하는 단계;
    상기 제 3 벡터 (V3) 에 기초하여 상기 모바일 디바이스의 현재 포지션을 연산하는 단계; 및
    상기 제 3 벡터 (V3) 에 기초하여 자이로미터를 재교정하는 단계로서, 상기 관성 센서는 자이로미터를 포함하는, 상기 자이로미터를 재교정하는 단계를 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  28. 제 27 항에 있어서,
    상기 SAS 는 퀵 리스폰스 코드 (QR 코드) 를 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  29. 제 27 항에 있어서,
    상기 SAS 는 바 코드를 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  30. 제 27 항에 있어서,
    상기 SAS 는 텍스트를 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  31. 제 27 항에 있어서,
    상기 SAS 는 데이터베이스에 대한 링크를 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  32. 제 27 항에 있어서,
    상기 SAS 는 무선 송신기를 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  33. 제 32 항에 있어서,
    상기 무선 송신기는 RFID 태그를 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  34. 제 27 항에 있어서,
    상기 SAS 포즈를 결정하는 단계 이후 및 상기 제 3 벡터 (V3) 를 연산하는 단계 이전에, 상기 SAS 에 대한 모바일 포즈를 결정하는 단계를 더 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  35. 제 27 항에 있어서,
    상기 SAS 를 검출하는 단계는 상기 SAS 의 이미지를 캡처하는 단계를 포함하고,
    상기 제 2 벡터 (V2) 를 결정하는 단계는 상기 이미지에서의 상기 SAS 의 지오메트리를 결정하는 단계를 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  36. 제 27 항에 있어서,
    상기 SAS 를 검출하는 단계는 SIFT (scale-invariant feature transform) 를 사용하는 단계를 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  37. 제 27 항에 있어서,
    상기 제 2 벡터 (V2) 를 결정하는 단계 이후 및 상기 제 3 벡터 (V3) 를 연산하는 단계 이전에, 상기 제 1 벡터 (V1) 를 포함하는 데이터베이스를 갖는 서버로 SAS 정보 요청을 전송하는 단계; 및
    상기 제 1 벡터 (V1) 를 포함하는 상기 서버로부터의 SAS 정보 응답을 수신하는 단계를 더 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  38. 제 37 항에 있어서,
    상기 SAS 정보 요청은 상기 모바일 디바이스에 의해 결정된 상기 SAS 의 포지션 추정치를 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  39. 제 38 항에 있어서,
    상기 SAS 정보 요청은 상기 모바일 디바이스에 의해 결정된 추정된 SAS 포즈를 더 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  40. 제 38 항에 있어서,
    상기 SAS 의 상기 포지션 추정치는 상기 모바일 디바이스의 추정된 포지션을 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  41. 제 37 항에 있어서,
    상기 SAS 정보 응답은 상기 데이터베이스로부터의 SAS 포즈를 더 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  42. 제 27 항에 있어서,
    상기 제 2 벡터 (V2) 를 결정하는 단계 이후 및 상기 제 3 벡터 (V3) 를 연산하는 단계 이전에, 상기 제 2 벡터 (V2) 및 초기 포지션에 기초하여 상기 SAS 의 추정된 포지션을 결정하는 단계를 더 포함하는, 모바일 디바이스의 포지션을 결정하는 방법.
  43. 카메라 및 적어도 하나의 관성 센서를 포함하는 모바일 디바이스로서,
    SAS (self-addressing source) 를 검출하기 위한 수단;
    상기 SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하기 위한 수단;
    상기 레퍼런스 포인트에 대한 SAS 포즈 (pose) 를 결정하기 위한 수단;
    상기 SAS 에 대한 상기 모바일 디바이스의 제 2 벡터 (V2) 를 결정하기 위한 수단으로서, 상기 제 2 벡터 (V2) 는 상기 카메라에 의해 캡처된 상기 SAS 의 이미지로부터 적어도 부분적으로 기초하여 결정되고, 상기 제 2 벡터 (V2) 는 상기 모바일 디바이스로부터 상기 SAS 까지의 변위 및 상기 모바일 디바이스로부터 상기 SAS 까지의 각도에 의해 표현되는, 상기 제 2 벡터 (V2) 를 결정하기 위한 수단;
    상기 제 1 벡터 (V1), 상기 SAS 포즈 및 상기 제 2 벡터 (V2) 에 기초하여 상기 모바일 디바이스의 제 3 벡터 (V3) 를 연산하기 위한 수단으로서, 상기 제 3 벡터 (V3) 는 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 변위 및 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 각도에 의해 표현되는, 상기 제 3 벡터 (V3) 를 연산하기 위한 수단; 및
    상기 제 3 벡터 (V3) 에 기초하여 자이로미터를 재교정하기 위한 수단으로서, 상기 관성 센서는 자이로미터를 포함하는, 상기 자이로미터를 재교정하기 위한 수단을 포함하는, 모바일 디바이스.
  44. 프로세서 및 메모리를 포함하고 카메라 및 적어도 하나의 관성 센서를 더 포함하는 모바일 디바이스로서,
    상기 메모리는,
    SAS (self-addressing source) 를 검출하고;
    상기 SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하고;
    상기 레퍼런스 포인트에 대한 SAS 포즈 (pose) 를 결정하고;
    상기 SAS 에 대한 상기 모바일 디바이스의 제 2 벡터 (V2) 를 결정하되, 상기 제 2 벡터 (V2) 는 상기 카메라에 의해 캡처된 상기 SAS 의 이미지로부터 적어도 부분적으로 기초하여 결정되고, 상기 제 2 벡터 (V2) 는 상기 모바일 디바이스로부터 상기 SAS 까지의 변위 및 상기 모바일 디바이스로부터 상기 SAS 까지의 각도에 의해 표현되고;
    상기 제 1 벡터 (V1), 상기 SAS 포즈 및 상기 제 2 벡터 (V2) 에 기초하여 상기 모바일 디바이스의 제 3 벡터 (V3) 를 연산하되, 상기 제 3 벡터 (V3) 는 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 변위 및 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 각도에 의해 표현되며;
    상기 제 3 벡터 (V3) 에 기초하여 자이로미터를 재교정하기 위한, 상기 프로세서에 의해 실행 가능한 소프트웨어 명령들을 포함하고,
    상기 관성 센서는 자이로미터를 포함하는, 모바일 디바이스.
  45. 카메라 및 적어도 하나의 관성 센서를 포함하는 모바일 디바이스를 위한 프로그램 코드가 저장되어 있는 컴퓨터 판독가능 저장 매체로서,
    상기 프로그램 코드는,
    SAS (self-addressing source) 를 검출하고;
    상기 SAS 와 레퍼런스 포인트 간의 제 1 벡터 (V1) 를 결정하고;
    상기 레퍼런스 포인트에 대한 SAS 포즈 (pose) 를 결정하고;
    상기 SAS 에 대한 상기 모바일 디바이스의 제 2 벡터 (V2) 를 결정하되, 상기 제 2 벡터 (V2) 는 상기 카메라에 의해 캡처된 상기 SAS 의 이미지로부터 적어도 부분적으로 기초하여 결정되고, 상기 제 2 벡터 (V2) 는 상기 모바일 디바이스로부터 상기 SAS 까지의 변위 및 상기 모바일 디바이스로부터 상기 SAS 까지의 각도에 의해 표현되고;
    상기 제 1 벡터 (V1), 상기 SAS 포즈 및 상기 제 2 벡터 (V2) 에 기초하여 상기 모바일 디바이스의 제 3 벡터 (V3) 를 연산하되, 상기 제 3 벡터 (V3) 는 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 변위 및 상기 레퍼런스 포인트로부터 상기 모바일 디바이스까지의 각도에 의해 표현되며;
    상기 제 3 벡터 (V3) 에 기초하여 자이로미터를 재교정하기 위한 코드를 포함하고,
    상기 관성 센서는 자이로미터를 포함하는, 컴퓨터 판독가능 저장 매체.
KR1020137021136A 2011-01-11 2012-01-09 이미지 프로세싱에 기초한 카메라-기반 포지션 로케이션 및 네비게이션 KR101524395B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161431742P 2011-01-11 2011-01-11
US61/431,742 2011-01-11
US13/173,984 2011-06-30
US13/173,984 US9341720B2 (en) 2011-01-11 2011-06-30 Camera-based position location and navigation based on image processing
PCT/US2012/020624 WO2012096877A1 (en) 2011-01-11 2012-01-09 Camera-based position location and navigation based on image processing

Publications (2)

Publication Number Publication Date
KR20130116923A KR20130116923A (ko) 2013-10-24
KR101524395B1 true KR101524395B1 (ko) 2015-05-29

Family

ID=46454957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137021136A KR101524395B1 (ko) 2011-01-11 2012-01-09 이미지 프로세싱에 기초한 카메라-기반 포지션 로케이션 및 네비게이션

Country Status (7)

Country Link
US (1) US9341720B2 (ko)
EP (1) EP2663876B1 (ko)
JP (2) JP2014508284A (ko)
KR (1) KR101524395B1 (ko)
CN (1) CN103282793B (ko)
TW (1) TW201237370A (ko)
WO (1) WO2012096877A1 (ko)

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011042729A1 (en) 2009-10-05 2011-04-14 Bae Systems Plc Improvements relating to navigation systems
US9160979B1 (en) * 2011-05-27 2015-10-13 Trimble Navigation Limited Determining camera position for a photograph having a displaced center of projection
US8981995B2 (en) 2011-06-03 2015-03-17 Microsoft Technology Licensing, Llc. Low accuracy positional data by detecting improbable samples
US8810649B2 (en) * 2011-06-30 2014-08-19 Qualcomm Incorporated Navigation in buildings with rectangular floor plan
US9464903B2 (en) 2011-07-14 2016-10-11 Microsoft Technology Licensing, Llc Crowd sourcing based on dead reckoning
US9470529B2 (en) 2011-07-14 2016-10-18 Microsoft Technology Licensing, Llc Activating and deactivating sensors for dead reckoning
US10184798B2 (en) * 2011-10-28 2019-01-22 Microsoft Technology Licensing, Llc Multi-stage dead reckoning for crowd sourcing
US9429657B2 (en) 2011-12-14 2016-08-30 Microsoft Technology Licensing, Llc Power efficient activation of a device movement sensor module
US9116233B2 (en) * 2012-07-10 2015-08-25 Broadcom Corporation Power mode control for sensors
US9817125B2 (en) 2012-09-07 2017-11-14 Microsoft Technology Licensing, Llc Estimating and predicting structures proximate to a mobile device
CN103674011B (zh) * 2012-09-19 2017-07-25 联想(北京)有限公司 即时定位与地图构建设备、系统与方法
US9159133B2 (en) * 2012-11-05 2015-10-13 Qualcomm Incorporated Adaptive scale and/or gravity estimation
US10444845B2 (en) 2012-12-21 2019-10-15 Qualcomm Incorporated Display of separate computer vision based pose and inertial sensor based pose
US9677890B2 (en) * 2013-01-10 2017-06-13 Intel Corporation Positioning and mapping based on virtual landmarks
GB2511096A (en) * 2013-02-22 2014-08-27 Fox Murphy Ltd A Mobile Indoor Navigation System
US10649424B2 (en) 2013-03-04 2020-05-12 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics
US9665088B2 (en) 2014-01-31 2017-05-30 Fisher-Rosemount Systems, Inc. Managing big data in process control systems
US10866952B2 (en) 2013-03-04 2020-12-15 Fisher-Rosemount Systems, Inc. Source-independent queries in distributed industrial system
US10223327B2 (en) 2013-03-14 2019-03-05 Fisher-Rosemount Systems, Inc. Collecting and delivering data to a big data machine in a process control system
US10386827B2 (en) 2013-03-04 2019-08-20 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics platform
US10678225B2 (en) 2013-03-04 2020-06-09 Fisher-Rosemount Systems, Inc. Data analytic services for distributed industrial performance monitoring
US9823626B2 (en) 2014-10-06 2017-11-21 Fisher-Rosemount Systems, Inc. Regional big data in process control systems
US10649449B2 (en) 2013-03-04 2020-05-12 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics
US9804588B2 (en) 2014-03-14 2017-10-31 Fisher-Rosemount Systems, Inc. Determining associations and alignments of process elements and measurements in a process
US10909137B2 (en) 2014-10-06 2021-02-02 Fisher-Rosemount Systems, Inc. Streaming data for analytics in process control systems
US9397836B2 (en) 2014-08-11 2016-07-19 Fisher-Rosemount Systems, Inc. Securing devices to process control systems
US10282676B2 (en) 2014-10-06 2019-05-07 Fisher-Rosemount Systems, Inc. Automatic signal processing-based learning in a process plant
US9558220B2 (en) 2013-03-04 2017-01-31 Fisher-Rosemount Systems, Inc. Big data in process control systems
GB2513957B (en) * 2013-03-15 2020-11-25 Fisher Rosemount Systems Inc Method and apparatus for determining the position of a mobile control device in a process plant
DE112014001381T5 (de) 2013-03-15 2016-03-03 Fisher-Rosemount Systems, Inc. Emerson Process Management Datenmodellierungsstudio
US10031489B2 (en) 2013-03-15 2018-07-24 Fisher-Rosemount Systems, Inc. Method and apparatus for seamless state transfer between user interface devices in a mobile control room
CN104077954B (zh) * 2013-03-29 2017-09-15 国际商业机器公司 定位方法及其系统、编码标签生成方法及其系统
US9070344B2 (en) 2013-05-24 2015-06-30 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Integrating street view with live video data
FR3007832B1 (fr) * 2013-06-28 2015-07-17 Ixblue Systeme de navigation et de pointage et procede de calibration d'un systeme de navigation et de pointage
TWI537580B (zh) 2013-11-26 2016-06-11 財團法人資訊工業策進會 定位控制方法
CN104748754B (zh) * 2013-12-31 2017-11-10 财团法人车辆研究测试中心 车辆定位方法及其系统
DE102014002150B3 (de) * 2014-02-15 2015-07-23 Audi Ag Verfahren zur Ermittlung der absoluten Position einer mobilen Einheit und mobile Einheit
CN104881860B (zh) 2014-02-28 2019-01-08 国际商业机器公司 基于照片进行定位的方法和装置
US9355599B2 (en) 2014-03-06 2016-05-31 3M Innovative Properties Company Augmented information display
KR101948242B1 (ko) * 2014-03-31 2019-05-10 인텔 코포레이션 전자 디바이스를 위한 관성 측정 유닛
CN106164982B (zh) * 2014-04-25 2019-05-03 谷歌技术控股有限责任公司 基于影像的电子设备定位
US9964409B1 (en) * 2014-05-27 2018-05-08 Apple Inc. Localized map generation
DE102014210739A1 (de) * 2014-06-05 2015-12-17 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Drehratensensors und elektrisches Gerät
US9519278B2 (en) 2014-06-09 2016-12-13 Richard J. Petrocy Modularized self-addressing apparatus and method
US9074742B1 (en) 2014-06-09 2015-07-07 Richard J. Petrocy Modularized display apparatus and method
US9202397B1 (en) 2014-06-09 2015-12-01 Richard J. Petrocy Modularized lighting display system
CN105393084B (zh) * 2014-07-03 2019-03-05 华为技术有限公司 确定位置信息的方法、装置及用户设备
US9541404B2 (en) 2014-08-29 2017-01-10 Samsung Electronics Co., Ltd. System for determining the location of entrances and areas of interest
CN104198989B (zh) * 2014-09-16 2017-10-20 北京邮电大学 一种基于照明光源和Wi‑Fi信号的混合模式室内定位系统
US9245409B1 (en) 2014-10-04 2016-01-26 Joingo, LLC. System and method for communicating a gaming machine notification to a mobile device
US10168691B2 (en) 2014-10-06 2019-01-01 Fisher-Rosemount Systems, Inc. Data pipeline for process control system analytics
US10333619B2 (en) 2014-12-12 2019-06-25 Nokia Technologies Oy Optical positioning
CN106662631A (zh) * 2015-01-22 2017-05-10 广州艾若博机器人科技有限公司 基于rfid的定位与地图构建方法及其装置
US9304003B1 (en) 2015-03-18 2016-04-05 Microsoft Technology Licensing, Llc Augmented reality navigation
US9120622B1 (en) 2015-04-16 2015-09-01 inVia Robotics, LLC Autonomous order fulfillment and inventory control robots
DE102015107555A1 (de) * 2015-05-13 2016-11-17 Philosoft IP UG (haftungsbeschränkt) Positionsbestimmung eines Nutzer-Endgeräts durch Kombinieren von mittels des Nutzer-Endgeräts ermittelter Information
CN105844264B (zh) * 2015-05-19 2019-03-22 北京林业大学 一种基于受力的油用牡丹果实图像的识别方法
US10415978B2 (en) 2015-11-20 2019-09-17 Samsung Electronics Co., Ltd. Landmark location determination
EP3173821B1 (en) 2015-11-30 2023-04-19 Signify Holding B.V. Distinguishing devices having positions and directions
TWI579565B (zh) * 2015-12-17 2017-04-21 財團法人資訊工業策進會 室內行動製圖系統及方法
US10072934B2 (en) 2016-01-15 2018-09-11 Abl Ip Holding Llc Passive marking on light fixture detected for position estimation
EP3413090A4 (en) * 2016-02-06 2019-10-16 Positec Power Tools (Suzhou) Co., Ltd AUTOMATIC OPERATING SYSTEM, AUTOMOTIVE DEVICE AND ITS CONTROL METHOD
US10503483B2 (en) 2016-02-12 2019-12-10 Fisher-Rosemount Systems, Inc. Rule builder in a process control network
TWI595338B (zh) * 2016-03-30 2017-08-11 高瞻資訊股份有限公司 移動載具至預定實體位置的方法
US9921291B2 (en) * 2016-04-07 2018-03-20 Qualcomm Incorporated Multi-tiered distance travelled estimator
US10012517B2 (en) * 2016-08-01 2018-07-03 Infinity Augmented Reality Israel Ltd. Method and system for calibrating components of an inertial measurement unit (IMU) using scene-captured data
US10589931B2 (en) 2016-09-30 2020-03-17 Staples, Inc. Hybrid modular storage fetching system
CA3038898A1 (en) 2016-09-30 2018-04-05 Staples, Inc. Hybrid modular storage fetching system
US10683171B2 (en) 2016-09-30 2020-06-16 Staples, Inc. Hybrid modular storage fetching system
DE102016222664A1 (de) * 2016-11-17 2018-05-17 Robert Bosch Gmbh Verfahren zur Installation eines Lokalisierungssystems
JP2018105659A (ja) * 2016-12-23 2018-07-05 国立研究開発法人理化学研究所 識別装置、識別システム、学習装置、学習方法、識別プログラム、学習プログラム、記録媒体、及び集積回路
CN106643801B (zh) * 2016-12-27 2019-11-19 纳恩博（北京）科技有限公司 一种定位准确度的检测方法及电子设备
US10600327B2 (en) 2017-08-07 2020-03-24 Fujitsu Limited Unmanned aircraft transportation
US10757485B2 (en) 2017-08-25 2020-08-25 Honda Motor Co., Ltd. System and method for synchronized vehicle sensor data acquisition processing using vehicular communication
CN107632606A (zh) * 2017-09-27 2018-01-26 哈工大机器人（合肥）国际创新研究院 大区域基于Slam和Tag标签的移动机器人导航与定位方法
JP2019086390A (ja) * 2017-11-07 2019-06-06 国立研究開発法人宇宙航空研究開発機構 移動体の測位装置及びその較正方法
WO2019100011A1 (en) 2017-11-17 2019-05-23 Divine Logic, Inc. Systems and methods for tracking items
CN110390365B (zh) 2018-04-16 2022-11-22 台达电子工业股份有限公司 载具追踪系统及方法
FR3082643A1 (fr) * 2018-06-18 2019-12-20 Soletanche Freyssinet Procede de geolocalisation et systeme pour sa mise en œuvre
US11163317B2 (en) 2018-07-31 2021-11-02 Honda Motor Co., Ltd. System and method for shared autonomy through cooperative sensing
US11181929B2 (en) 2018-07-31 2021-11-23 Honda Motor Co., Ltd. System and method for shared autonomy through cooperative sensing
US11084410B1 (en) 2018-08-07 2021-08-10 Staples, Inc. Automated guided vehicle for transporting shelving units
US11590997B1 (en) 2018-08-07 2023-02-28 Staples, Inc. Autonomous shopping cart
US11630447B1 (en) 2018-08-10 2023-04-18 Staples, Inc. Automated guided vehicle for transporting objects
JP7326720B2 (ja) 2018-10-26 2023-08-16 富士通株式会社 移動体位置推定システムおよび移動体位置推定方法
US11061145B2 (en) * 2018-11-19 2021-07-13 The Boeing Company Systems and methods of adjusting position information
WO2020137315A1 (ja) * 2018-12-28 2020-07-02 パナソニックＩｐマネジメント株式会社 測位装置及び移動体
US11180069B2 (en) 2018-12-31 2021-11-23 Staples, Inc. Automated loading of delivery vehicles using automated guided vehicles
US11119487B2 (en) 2018-12-31 2021-09-14 Staples, Inc. Automated preparation of deliveries in delivery vehicles using automated guided vehicles
US11124401B1 (en) 2019-03-31 2021-09-21 Staples, Inc. Automated loading of delivery vehicles
US12055403B2 (en) 2019-05-03 2024-08-06 Apple Inc. Adjusting heading sensor output based on image data
US11146925B2 (en) * 2019-07-23 2021-10-12 Arm Limited Location system
US11609344B2 (en) * 2020-04-07 2023-03-21 Verizon Patent And Licensing Inc. Systems and methods for utilizing a machine learning model to determine a determined location of a vehicle based on a combination of a geographical location and a visual positioning system location
CN111783492A (zh) * 2020-06-09 2020-10-16 北京无限向溯科技有限公司 基于二维码的室内定位方法、装置、移动终端和存储介质
WO2023027696A1 (en) * 2021-08-24 2023-03-02 Hewlett-Packard Development Company, L.P. Locations identifications
US11867514B2 (en) * 2021-09-24 2024-01-09 Telenav, Inc. Navigation system with independent positioning mechanism and method of operation thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040078137A1 (en) * 2002-10-21 2004-04-22 Bae Systems Integrated Defense Solutions Inc. Navigation of remote controlled vehicles
US20060184013A1 (en) * 2004-12-14 2006-08-17 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
US20080137912A1 (en) * 2006-12-08 2008-06-12 Electronics And Telecommunications Research Institute Apparatus and method for recognizing position using camera
WO2009098319A2 (en) * 2008-02-09 2009-08-13 Trw Limited Navigational device for a vehicle

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337688B1 (en) * 1999-01-29 2002-01-08 International Business Machines Corporation Method and system for constructing a virtual reality environment from spatially related recorded images
US6542824B1 (en) * 1999-01-29 2003-04-01 International Business Machines Corporation Method and system for determining position information utilizing a portable electronic device lacking global positioning system (GPS) reception capability
JP3915654B2 (ja) 2002-10-18 2007-05-16 株式会社日立製作所 屋内位置検出装置及び屋内位置検出方法
JP4581696B2 (ja) 2005-01-17 2010-11-17 株式会社デンソーウェーブ 位置情報提供システム
WO2006088916A2 (en) * 2005-02-14 2006-08-24 Regents Of The University Of Minnesota Vehicle position system using passive roadway tags
JP2007040762A (ja) 2005-08-01 2007-02-15 Toyota Motor Corp 光ジャイロ較正装置、光ジャイロを搭載するロボット及び光ジャイロ較正プログラム
EP2050544B1 (en) * 2005-09-30 2011-08-31 iRobot Corporation Robot system with wireless communication by TCP/IP transmissions
WO2007044301A2 (en) * 2005-10-04 2007-04-19 Intersense, Inc. Tracking objects with markers
JP4262241B2 (ja) 2005-11-30 2009-05-13 株式会社ナビタイムジャパン オフライン経路表示システム、携帯端末装置および認識コード生成装置
JP4899657B2 (ja) 2006-06-21 2012-03-21 トヨタ自動車株式会社 道路形状取得装置
US20080133366A1 (en) 2006-11-30 2008-06-05 Mobilocity Rendering barcodes on mobile device screens for use at retailer point of sale locations to obtain discounts
US20080154714A1 (en) 2006-12-21 2008-06-26 Microsoft Corporation Personalized e-coupons for mobile communication devices
JP2008309530A (ja) 2007-06-12 2008-12-25 National Institute Of Information & Communication Technology 位置検出装置、それにおける位置の検出をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4985166B2 (ja) 2007-07-12 2012-07-25 トヨタ自動車株式会社 自己位置推定装置
US7626540B2 (en) 2008-02-05 2009-12-01 Sony Ericsson Mobile Communications Ab System and method for providing location assistance data using a radio transmission
US20090307067A1 (en) 2008-06-04 2009-12-10 30 Second Software Location based coupon delivery system
TW201024674A (en) 2008-12-30 2010-07-01 Inventec Appliances Corp Locating method and system
US7868821B2 (en) * 2009-01-15 2011-01-11 Alpine Electronics, Inc Method and apparatus to estimate vehicle position and recognized landmark positions using GPS and camera
US8855929B2 (en) * 2010-01-18 2014-10-07 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
US20120143495A1 (en) * 2010-10-14 2012-06-07 The University Of North Texas Methods and systems for indoor navigation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040078137A1 (en) * 2002-10-21 2004-04-22 Bae Systems Integrated Defense Solutions Inc. Navigation of remote controlled vehicles
US20060184013A1 (en) * 2004-12-14 2006-08-17 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
US20080137912A1 (en) * 2006-12-08 2008-06-12 Electronics And Telecommunications Research Institute Apparatus and method for recognizing position using camera
WO2009098319A2 (en) * 2008-02-09 2009-08-13 Trw Limited Navigational device for a vehicle

Also Published As

Publication number Publication date
JP2017223664A (ja) 2017-12-21
JP2014508284A (ja) 2014-04-03
CN103282793B (zh) 2015-11-25
KR20130116923A (ko) 2013-10-24
US20120176491A1 (en) 2012-07-12
TW201237370A (en) 2012-09-16
EP2663876B1 (en) 2015-09-23
EP2663876A1 (en) 2013-11-20
US9341720B2 (en) 2016-05-17
CN103282793A (zh) 2013-09-04
WO2012096877A1 (en) 2012-07-19

Similar Documents

Publication Publication Date Title
KR101524395B1 (ko) 이미지 프로세싱에 기초한 카메라-기반 포지션 로케이션 및 네비게이션
KR102694971B1 (ko) 시각적인 관성 주행 거리계와 위성 포지셔닝 시스템 기준 프레임들의 정렬
KR101750469B1 (ko) 하이브리드 포토 네비게이션 및 맵핑
US9361688B2 (en) Sensor calibration and position estimation based on vanishing point determination
EP2726817B1 (en) Navigation in buildings with rectangular floor plan
US8855929B2 (en) Using object to align and calibrate inertial navigation system
US8427536B2 (en) Orientation determination of a mobile station using side and top view images
CN108419442A (zh) 托架旋转不敏感型惯性导航
US20220357464A1 (en) Determining position information of mobile devices
US20230305139A1 (en) Position accuracy using sensor data
US20220276394A1 (en) Map-aided satellite selection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee