KR20220065672A - 실내 측위 및 추적을 위한 심층 스마트폰 센서 융합 - Google Patents

실내 측위 및 추적을 위한 심층 스마트폰 센서 융합 Download PDF

Info

Publication number
KR20220065672A
KR20220065672A KR1020210143644A KR20210143644A KR20220065672A KR 20220065672 A KR20220065672 A KR 20220065672A KR 1020210143644 A KR1020210143644 A KR 1020210143644A KR 20210143644 A KR20210143644 A KR 20210143644A KR 20220065672 A KR20220065672 A KR 20220065672A
Authority
KR
South Korea
Prior art keywords
data
neural network
magnetic field
generating
prediction
Prior art date
Application number
KR1020210143644A
Other languages
English (en)
Inventor
치드로브스키 보리스
안츠펠드 레오니드
산사노 에밀리오
Original Assignee
네이버 주식회사
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사, 네이버랩스 주식회사 filed Critical 네이버 주식회사
Publication of KR20220065672A publication Critical patent/KR20220065672A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0258—Hybrid positioning by combining or switching between measurements derived from different systems
    • G01S5/02585—Hybrid positioning by combining or switching between measurements derived from different systems at least one of the measurements being a non-radio measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0263—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
    • G01C21/188—Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/08—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with magnetic or electric fields produced or modified by objects or geological structures or by detecting devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/01—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
    • G01S2205/02—Indoor

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Electromagnetism (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Medical Informatics (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Image Analysis (AREA)

Abstract

센서 데이터로부터 실내 환경 내의 휴대용 전자 디바이스의 위치를 예측하는 방법이 개시된다. 방법은 적어도 하나의 절대 위치 예측을 생성하는 단계 - 각각의 절대 위치 예측을 생성하는 단계는 휴대용 전자 디바이스의 무선 신호 데이터 및/또는 자기장 데이터에 기초함 -, 및 변위 예측을 생성하는 단계를 포함하며, 변위 예측을 생성하는 단계는, 신경망에 의해, 휴대용 전자 디바이스의 관성 센서 데이터에 기초하여 변위 예측을 생성하는 단계를 포함한다. 절대 위치 예측을 생성하는 단계는 제1 속도로 반복될 수 있고, 변위 예측을 생성하는 단계는 제2 속도로 반복될 수 있다. 방법은 적어도 하나의 변위 예측 및 적어도 하나의 절대 위치 예측으로 이전에 예측된 위치를 업데이트함으로써 예측된 위치를 결정하는 단계를 더 포함한다.

Description

실내 측위 및 추적을 위한 심층 스마트폰 센서 융합{DEEP SMARTPHONE SENSORS FUSION FOR INDOOR POSITIONING AND TRACKING}
본 개시는 휴대용 전자 디바이스들의 실내 측위 및 추적에 관한 것이다.
스마트폰들, 태블릿 컴퓨터들과 같은 휴대용 전자 디바이스들에서 위치기반 서비스들이 널리 사용되고 있다. 이러한 서비스들에는 휴대용 전자 디바이스들에 대한 신뢰성 있는 측위 및 추적 기술들이 필요하다. GPS 및 갈릴레오(Galileo)와 같은 위성 측위 시스템들은 실외에서 신뢰성 있는 측위를 제공하지만, 완전히 폐쇄되거나 부분적으로 폐쇄될 수 있는 실내 환경에서 필적할 만한 측위 정확도를 달성하는 것은 여전히 어려운 일이다. 실내 위치 기반 서비스들은 관련된 사회적 및 상업적 이점들을 제공하여 올바른 실내 측위를 위한 해결책들을 제공해야 하는 기술적 요구가 증가한다.
종래 기술의 스마트폰 기반 실내 측위를 위한 방법들은 다양한 조건들에서 강점들과 약점들을 보인다. 이러한 기술들은 일반적인 스마트폰들에 포함된 서로 상이한 센서들을 이용한다. Wi-Fi 센서들 및 블루투스 센서들과 같은 네트워크 센서들은 실내 환경 내에 분산된 여러 액세스 포인트들로부터 휴대용 전자 디바이스의 위치를 추정하기 위한 RSS 핑거프린트들로 이용될 수 있는, 실내 위치에서 수신된 신호 강도들을 추정하기 위해 이용될 수 있다.
Wi-Fi 핑거프린트 인식은 스마트폰 기반 실내 측위를 위해 가장 널리 사용되는 기술이다([Davidson and Pich
Figure pat00001
: “A survey of selected indoor positioning methods for Smartphones”, IEEE Communications Surveys Tutorials, 19(2):1347-1370; Gressmann et al.: Towards ubiquitous indoor location based services and indoor navigation. In 7th Workshop on Positioning Navigation and Communication, WPNC, pages 107-112. IEEE, 2010; Khalajmehrabadi et al.:” Modern Wlan fingerprinting indoor positioning methods and deployment challenges”, IEEE Communications Surveys Tutorials, 19(3):1974-2002, 2017; Ma et al.:”Wifi sensing with channel state information: A survey”, ACM Comput. Surv., 52(3):46:1-46:36, June 2019; Wang et al.: ”Pedestrian Stride-Length Estimation Based on LSTM and Denoising Autoencoders”, Sensors, 19(4), 2019]). 측위는 측정된 Wi-Fi 핑거프린트를 이전에 수집된 기준 핑거프린트와 매칭함으로써 수행된다. 가장 근접하게 매칭되는 기준 핑거프린트와 연관된 위치가 위치 추정값으로서 반환된다. 위치 추정은 기준 데이터가 없는 영역들로 외삽할 수 있는 가우스 프로세스들을 사용하여 개선될 수 있는 간단한 최근접 이웃 매칭(nearest-neighbor matching)(Gressmann et al.)에 기초할 수 있으며, 이는 [Ferris et al.: “Wifi-slam using gaussian process latent variable models”, in: Proc. 20th Intern. Joint Conference on Artificial Intelligence (IJCAI), pages 2480-2485, 2007]에 기술된 바와 같다. 정확한 측위를 산출하기 위해 Wi-Fi 핑거프린트들은 조밀하게 기록되어야 하고 정확한 위치들로 어노테이트(annotate) 되어야 한다. 어노테이트된 무선(radio)의 희소성 문제는 [Yuanet et al., "Efficient Wifi fingerprint training using semi-supervised learning", in: Ubiquitous Positioning Indoor Navigation and Location Based Service, pages 148-155, 2014]에 의해, 준 지도 학습 접근법들에 기초하여 하는 효율적인 핑거프린트 학습 방법을 이용함으로써 해결되었다. 다른 접근법은 [Yoo and Johansson, “Semi-supervised learning for mobile robot localization using wireless signal strengths”, in: Intern. Conf. Indoor Positioning and Indoor Navigation (IPIN), pages 1-8, 2017]에서, 라플라시안 임베디드 회귀 최소 제곱(Laplacian embedded regression least square) 접근법으로 산출된 레이블링 되지 않은 데이터에 대한 수도-레이블(pseudo-label)들을 이용하여 위치추정(localization)을 위한 준 지도 방법을 이용함으로써 제안되었다. 어노테이트된 무선 데이터의 결여에 대한 또 다른 해결책은 [Chidlovskii and Antsfeld, “Semi-supervised variational autoencoder for Wifi indoor localization”, in: Intern. Conf. Indoor Positioning and Indoor Navigation (IPIN), pages 1-8. IEEE, 2019]에서, Wi-Fi 기반 위치 예측을 위한 변분 오토인코더 학습을 제안함으로써 기술된다.
Wi-Fi 및 블루투스 데이터를 사용하는 실내 측위용 접근법들은 인프라 의존적이다. 따라서 우수한 성능을 달성하기 위해 이러한 시스템들은 커버리지가 넓은 많은 수의 액세스 포인트들이 필요하다. 더욱이 RSS 변동들이 심하면 종종 부정확한 위치추정 결과들이 나타나며 2 내지 3m의 위치추정 오류가 발생한다.
위치추정 시스템들의 다른 범주는 인프라 독립적(infrastructure-free)이다([Gu et al.: “Indoor localization improved by spatial context ― a survey”, ACM Comput. Surv., 52(3):64:1-64:35, July 2019]). 이 범주에는 관성 측정 장치(IMU) 및 자력계에 기반하는 측위 시스템들이 포함된다. 이러한 센서들은 위치추정에 일반적으로 사용되는 다른 센서들에 비해 비용 이점을 갖는다. 보행자 추측 항법(Pedestrian Dead Reckoning, PDR) 시스템들은 모바일 전화의 가속도계와 자이로스코프를 활용하여 사용자의 경로를 추적한다. PDR 시스템들은 상대 위치만 제공할 수 있으며 시작 위치를 필요로 한다. 철 요소들(벽, 기둥, 창)을 포함하는 요소들은 종종 자기장 기반 접근법에 활용될 수 있는 고유한 자기 이상(magnetic anomaly)들을 생성한다.
PDR 접근법들은 가속도계, 자이로스코프 및 자력계 데이터 스트림들로부터의 걸음 검출, 보폭(step length) 추정 및 사용자 진행방향 추정을 결합하는 것에 의존한다. PDR은 단거리에서 정확한 측위를 달성할 수 있지만 장거리에서는 드리프트(drift)를 겪을 수 있다. PDR 접근법들은 걸음 검출, 보폭 추정 및 진행방향 결정에 의존한다. 최신 기술에 따르면 PDR 접근법들은 많은 파라미터 조정을 거치게 되는데, 그 이유는 보폭이 키, 나이 등과 같은 사용자의 특성들에 따라 달라지거나 동일한 사용자라도 사용자 활동에 따라 다를 수 있기 때문이다. 피크 검출, 플랫존(flat zone) 검출 및 제로 크로싱(zero crossing) 검출과 같은 최신 기술의 걸음 검출 알고리즘들도 많은 파라미터 튜닝에 의존한다([Shin et al.: “Adaptive step length estimation algorithm using low-cost mems inertial sensors”, in: IEEE Sensors Applications Symposium, pages 1-5, 2007]).
AMID 방법([Lee et al.: “Accurate magnetic indoor localization using deep learning”, Sensors, 2018])은 심층 신경망을 사용하여 자기 시퀀스 패턴들을 인식하는 실내 측위 시스템을 제안한다. 특징들이 자기 시퀀스들로부터 추출되고, 심층 신경망은 주변의 자기 랜드마크들에 의해 생성된 패턴들에 기초하여 시퀀스들을 분류하는 데 사용된다. 그러나 유사한 자기 시그니처들이 매우 상이한 위치들에 있는 경우 이 방법은 실패한다. 동일한 강자성 물체들로 인해 동일한 자기 이상들이 상이한 위치들에 존재할 수 있으므로 센서의 위치가 정확하게 검출될 수 없다.
따라서 Wi-Fi 기반 측위 방법들과 PDR 모두 심각한 한계들이 있다. 측위의 정확도를 향상시키기 위해 다음과 같이, 특정 센서 패턴들에 기초한 랜드마크들의 식별이 제안되었다 [Sousa Lima et al.: “Human activity recognition using inertial sensors in a smartphone: An overview”, Sensors, 19(14):3213, 2019] 및 [Wang et al.: “Indoor localization using smartphone magnetic and light sensors: a deep LSTM approach”, MONET, 25(2):819-832, 2020]. 마찬가지로, [Deng et al.: “Continuous indoor positioning fusing wifi, smartphone sensors and landmarks”, Sensors 16 (09), 2016]은 Wi-Fi 측위, PDR 및 랜드마크 검출의 융합을 제안한다.
따라서, 무선 신호 데이터 및/또는 자기장 데이터로부터 휴대용 전자 디바이스의 절대 위치를 정확하게 예측하는 개선된 방법에 대한 필요성이 있다.
최신 기술의 문제들을 해결하기 위해, 실내 측위를 위한 스마트폰 관성 센서들, 자기장 데이터 및 Wi-Fi 측정을 융합하기 위한 새로운 센서 융합 프레임워크가 개시되며, 이는 자기장 데이터로부터 휴대용 전자 디바이스의 절대 위치를 예측하는 새로운 접근법을 포함한다.
일 실시예에서, 센서 데이터로부터 실내 환경 내의 휴대용 전자 디바이스의 위치를 예측하는 컴퓨터 구현 방법이 제공된다. 컴퓨터 구현 방법은 휴대용 전자 디바이스의 적어도 하나의 절대 위치 예측을 생성하는 단계를 포함하며, 각각의 절대 위치 예측을 생성하는 단계는 무선 신호 데이터 및/또는 자기장 데이터에 기초하고, 적어도 하나의 절대 위치 예측을 생성하는 단계는 제1 속도로 반복된다. 방법은 휴대용 전자 디바이스의 변위 예측을 생성하는 단계를 포함하고, 변위 예측을 생성하는 단계는, 신경망에 의해, 휴대용 전자 디바이스의 관성 센서 데이터로부터 변위 예측을 생성하는 단계를 포함하고, 변위 예측을 생성하는 단계는 제1 속도와 상이한 제2 속도로 반복된다. 방법은 적어도 하나의 변위 예측 및 적어도 하나의 절대 위치 예측으로 이전에 예측된 위치를 업데이트함으로써 예측된 위치를 결정하는 단계를 더 포함할 수 있다.
실시예들에서, 제2 속도는 제1 속도보다 높다. 방법은 복수의 반복된 변위 예측 및 적어도 하나의 절대 위치 예측들로 이전에 예측된 위치를 업데이트함으로써 예측된 위치들의 시퀀스를 결정하는 단계를 더 포함할 수 있다.
일 양태에 따르면, 관성 센서 데이터로부터 변위 예측을 생성하는 단계는 관성 센서 데이터를 그래픽 표현으로 변환하는 단계를 포함한다. 신경망은 컨볼루션 신경망(CNN), 양방향 순환 신경망(RNN) 및 어텐션 레이어를 포함하는 신경망 중 적어도 하나를 포함할 수 있다.
다른 양태에 따르면, 신경망은 변위 회귀를 위한 피드-포워드(feed-forward) 네트워크들 및 활동을 예측하기 위한 피드-포워드 네트워크를 포함하고, 예측된 활동은 변위 예측을 생성하기 위해 변위 회귀를 보정하기 위해 이용된다.
일 실시예에 따르면, 적어도 하나의 절대 위치 예측을 생성하는 단계는 무선 신호 데이터로부터 절대 위치 예측을 생성하기 위해 학습된 변분 오토인코더(variational autoencoder, VAE)를 이용하는 단계를 포함한다.
다른 실시예에 따르면, 휴대용 전자 디바이스의 센서 데이터로부터 위치를 예측하기 위한 기계 학습 시스템을 학습시키는 컴퓨터 구현 방법이 개시된다. 방법은 사용자 활동을 식별하는 것을 학습하도록 센서 학습 데이터의 서브세트로 모션 분류기를 학습시키는 단계 - 학습 데이터는 궤적을 따라 휴대용 전자 디바이스를 휴대하는 사용자에 의해 캡처된 관성 센서 데이터를 포함함 -, 센서 학습 데이터로부터 랜드마크들의 검출을 위한 랜드마크 분류기들을 학습시키는 단계, 및 센서 학습 데이터에 어노테이트 하기 위한 수도-레이블들을 생성하는 단계를 포함할 수 있다. 수도-레이블들을 생성하는 단계는 모션 분류기에 의해 식별된 사용자 활동 및 랜드마크 분류기에 의해 식별된 랜드마크 위치들을 이용하는 단계를 포함하고, 수도-레이블들을 생성하는 단계는, 모션 분류기에 의해 식별된 사용자 활동이 사용자가 이동 중임을 나타낼 경우, 2개의 랜드마크 위치들 사이에서 위치들을 보간하는 단계를 포함한다. 방법은 어노테이트된 학습 데이터로 신경망을 학습시키는 단계를 더 포함할 수 있다.
일 양태에 따르면, 랜드마크 분류기를 학습시키는 단계는 관성 센서 데이터로부터 배향 벡터들을 추정하고 배향 벡터들의 변화를 랜드마크 위치를 나타내는 것으로서 이용하는 단계를 포함한다.
일 실시예에서, 자기장 데이터로부터 휴대용 전자 디바이스의 절대 위치를 예측하는 컴퓨터 구현 방법은 휴대용 전자 디바이스의 센서의 자기장 데이터에 기초하여 그래픽 표현들을 생성하는 단계, 및 신경망을 사용하여 그래픽 표현들에 적어도 부분적으로 기초하여 휴대용 전자 디바이스의 절대 위치를 결정하는 단계를 포함한다. 자기장 데이터는 자기장 값들의 시계열을 포함한다. 신경망은 하나 이상의 컨볼루션 레이어들 및 하나 이상의 컨볼루션 레이어들에 대한 다중 채널 입력을 포함한다.
하나 이상의 컨볼루션 레이어들 및 하나 이상의 컨볼루션 레이어들에 대한 다중 채널 입력을 포함하는 신경망을 이용하여 그래픽 표현들에 적어도 부분적으로 기초하여 휴대용 전자 디바이스의 절대 위치를 결정함으로써, 정확한 방식으로 휴대용 전자 디바이스의 절대 위치를 결정하는 개선된 방법이 제공된다.
일 양태에서, 자기장 데이터에 기초하여 그래픽 표현들을 생성하는 단계는 자기장 값들의 시계열의 자기장 값들의 서브세트를 선택하는 단계, 및 자기장 값들의 서브세트 또는 자기장 값들의 서브세트의 투영을 하나 이상의 2차원 이미지들로 변환하는 단계를 포함한다. 그래픽 표현들은 반복 플롯(Recurrence plot, RP), 그래미안 각도 합산 필드(Gramian Angular Summation Field, GASF) 및/또는 그래미안 각도 차이 필드(Gramian Angular Difference Field, GADF)와 같은 그래미안 각도 필드, 및 마르코프 전이 필드(Markov Transition Fields, MTF) 중 적어도 하나를 포함할 수 있다.
일 양태에서, 신경망은 하나 이상의 게이티드 순환 유닛(gated recurrent unit)들과 같은 하나 이상의 순환 레이어들을 포함할 수 있다. 하나 이상의 순환 레이어들은 하나 이상의 컨볼루션 레이어들을 따를 수 있다. 신경망은 건물 내의 지구 자기장의 특성들에 기초하여 학습되어 건물 내의 센서의 위치를 결정할 수 있다. 제1 방법에 따라 생성될 수 있는 제1 그래픽 표현 및 제1 방법과 상이한 제2 방법에 따라 생성된 제2 그래픽 표현은 하나 이상의 컨볼루션 레이어들에 대한 다중 채널 입력에서 동시에 입력되며, 제1 그래픽 표현과 제2 그래픽 표현은 자기장 값의 동일한 세트로부터 획득된다. 제1 방법 및 제2 방법은 반복 플롯(RP), 그래미안 각도 합산 필드(GASF) 및/또는 그래미안 각도 차이 필드(GADF)와 같은 그래미안 각도 필드, 또는 마르코프 전이 필드(MTF)를 생성하는 방법들일 수 있다.
양태들에 따르면, 방법은 실내 측위 시스템과 같은 측위 시스템으로부터 획득된 하나 이상의 시작 위치들로 신경망을 초기화하는 단계를 더 포함한다. 테스트를 위해 신경망은 노이즈가 있는 그라운드 트루스(ground truth) 포인트 또는 위치로 초기화될 수 있다.
양태들에 따르면, 방법은, 센서에 의해, 자기장 데이터를 생성하는 단계를 더 포함할 수 있다. 휴대용 전자 디바이스의 절대 위치를 결정하는 단계는 시각적 표현들 중 제1 타임스탬프와 연관된 시각적 표현들의 세트 및 다음 중 적어도 하나를 입력하는 단계를 포함할 수 있다: (i) 하나 이상의 이전에 결정된 위치들, (ii) 이전에 결정된 특징 벡터들, 및 (iii) 제1 타임스탬프와 상이한 각자의 타임스탬프들과 연관된 시각적 표현들의 하나 이상의 세트들.
추가 실시예에서, 컴퓨터 실행가능 명령어들이 저장된 컴퓨터 판독가능 저장 매체가 제공된다. 하나 이상의 프로세서들에 의해 실행될 때, 컴퓨터 실행가능 명령어들은 전술된 휴대용 전자 디바이스의 절대 위치를 예측하는 방법을 수행한다.
추가 실시예에서, 프로세싱 회로부를 포함하는 장치가 제공된다. 프로세싱 회로부는 전술된 휴대용 전자 디바이스의 절대 위치를 예측하는 방법을 수행하도록 구성된다.
다음의 상세한 설명 및 첨부 도면들은 본 발명의 특성 및 이점들에 대한 보다 상세한 이해를 제공한다.
첨부된 도면들은 실시예들의 원리들을 설명할 목적으로 본 명세서에 통합되고 그 일부를 형성한다. 도면들은 그들이 어떻게 만들어지고 사용될 수 있는지에 대한 예시되고 기술된 실시예들로만 실시예들을 제한하는 것으로 해석되어서는 안 된다. 추가의 특징들 및 이점들은, 첨부 도면들에 예시된 바와 같이, 아래 실시예들의 설명 및 더욱 구체적인 부분에서 명백해질 것이다.
도 1은 적어도 하나의 실시예에 따른, 실내 위치추정을 위한 방법의 프로세스 흐름도를 도시한다.
도 2는 실시예들에 따른, 실내 위치추정을 위한 시스템을 도시한다.
도 3은 실시예들에 따른, PDR을 위한 신경망의 블록도를 도시한다.
도 4는 다른 실시예들에 따른, PDR을 위한 신경망에 대한 블록도를 도시한다.
도 5는 실시예들에 따른. 센서 데이터를 그래픽 표현으로 변환하는 것을 도시한다.
도 6은 실시예들에 따른, PDR을 위한 신경망을 학습시키기 위한 방법의 프로세스 흐름도를 도시한다.
도 7a 및 도 7b는 실시예들에 따른, PDR을 위한 신경망을 학습시키기 위해 이용되는 예시적인 학습 경로에 대한 센서 데이터를 도시한다.
도 8은 적어도 하나의 실시예에 따른, 실내 위치추정을 위한 방법의 프로세스 흐름도를 도시한다.
도 9는 모바일 전화와 관련된 예시적인 기준 프레임들 및 회전 각도들을 도시한다.
도 10a 및 도 10b는 실시예들에 따른 예시적인 신경망 아키텍처들을 도시한다.
도 11은 종래의 위치 예측들을 갖는 일 실시예에 따라 생성된 위치 예측들을 도시한다.
도 12는 적어도 하나의 실시예에 따른, 실내 위치추정을 위한 방법의 프로세스 흐름도를 도시한다.
도 13은 일 실시예에 따른, 랜드마크들을 선택하기 위한 방법의 프로세스 흐름도를 도시한다.
도 14는 개시된 방법들이 수행될 수 있는 예시적인 아키텍처를 도시한다.
본 명세서에서는 실내 위치추정을 위한 시스템들 및 방법들에 대해 기술한다. 설명을 목적으로, 기술된 실시예들의 완전한 이해를 제공하기 위해 많은 예들 및 특정 상세사항들이 제시된다. 청구항에 의해 정의된 바와 같은 실시예들은 이들 예들의 특징들 중 일부 또는 전부를 단독으로 또는 아래에 기술된 다른 특징들과 조합하여 포함할 수 있고, 본 명세서에 기술된 특징들 및 개념들의 수정들 및 동등물들을 더 포함할 수 있다. 예시된 실시예들은, 요소들 및 구조들이 참조 번호들로 표시되는 도면들을 참조하여 기술될 것이다. 또한, 실시예가 방법인 경우, 방법의 단계들 및 요소들은 병렬 또는 순차적 실행으로 조합될 수 있다. 이들이 모순되지 않는 한, 이하에서 기술되는 모든 실시예들은 서로 조합될 수 있다.
본 개시의 양태들은 스마트폰 관성 센서들 및 Wi-Fi 측정들을 융합하는 새로운 센서 융합 프레임워크로 실내 측위 및 추적 문제를 해결한다. 보행자 추측 항법에 대한 심층 학습 접근법이 제안된다. 본 개시는 원시 센서 데이터에서 사용자 모션 상태들 및 랜드마크들을 검출하고 이러한 분류들을 이용하여 수도-레이블들을 생성함으로써 PDR을 위한 신경 모델을 학습시키기 위한 대용량의 어노테이트된 데이터세트를 생성하기 위한 방법들을 더 포함한다.
본 개시에 기술된 시스템들 및 방법들은 IPIN 2019 Indoor Localization Competition: Track 3 - Smartphone-based (http://indoorloc.uji.es/ipin2019track3/에서 이용 가능함)의 오프라인 설정에 대해 평가되었으며, 이는 종래의 현대 스마트폰을 들고 사람이 걸은 경로를 스마트폰 센서들의 판독값들에 기초하여 재현하는 작업을 수반한다.
본 발명의 추가의 양태들은 이동 전화 센서들과 같은 센서들에 의해 제공되는 자기장 데이터를 사용하여 실내 위치추정의 문제를 해결한다. 실내 환경에서 자기 이상들은 상이한 강자성 물체들에 의해 생성될 수 있다. 일 양태에서, 실내 자기 이상들로 인한 지구 자기장의 변화들은 다변수(multi-variate) 시계열로 캡처 및 변환될 수 있다. 시각적 패턴들에서 시간적 패턴들을 변환하는 데 여러 기술들이 사용될 수 있다. 예를 들어, 반복 플롯, 그래미안 각도 필드 및 마르코프 전이 필드(Markov Transition Field)를 사용하여 자기장 시계열을 이미지 시퀀스들로 나타낼 수 있다. 일 양태에서, 컨볼루션 및 순환 레이어들을 결합함으로써 랜드마크 기반 분류가 센서 위치 또는 연관된 사용자 위치에 대한 심층 회귀로 보완될 수 있다. 일 양태에서, 신경망의 예측은 노이즈가 있는 시작 추정으로 부트스트랩될(bootstrapped) 수 있다.
본 발명의 실시예들을 자기장 기반 위치추정 방법들을 평가하기 위한 MagPie 데이터세트에 대해 테스트하였다([David Hanley, Alexander B. Faustino, Scott D. Zelman, David A. Degenhardt, and Timothy Bretl. Magpie: “A dataset for indoor positioning with magnetic anomalies”, Eigth International Conference of Indoor Positioning and Indoor Navigation (IPIN), 2017]).
도 1은 실내 위치추정을 위한 방법(100)의 흐름도를 도시한다. 방법(100)은 휴대용 전자 디바이스의 내장 센서들에 의해 제공되는 센서 데이터로부터 실내 환경 내의 스마트폰과 같은 휴대용 전자 디바이스의 위치를 예측하기 위해 이용될 수 있다.
방법(100)은 무선 신호 데이터 및/또는 자기장 데이터로부터, 또는 전용 센서들에 의해 감지된 유사한 물리적 환경 데이터로부터 휴대용 전자 디바이스의 절대 위치에 대한 예측들을 생성하는 단계(110)를 포함한다. 휴대용 전자 디바이스에는 일반적으로 무선 신호들을 캡처하도록 구성된 Wi-Fi 센서가 장착되어 있다. Wi-Fi 센서는 Wi-Fi 액세스 포인트들과 같은 이웃하는 무선 액세스 포인트들로부터 RSS 데이터를 생성하도록 구성된다. 일반적으로 Wi-Fi 데이터의 수집을 위한 시간 간격은 4초에 한 번과 같이 비교적 길다.
무선 신호 데이터로부터 절대 위치에 대한 예측들을 생성하는 단계는 제1 속도로 반복될 수 있고, 자기장 데이터로부터 절대 위치에 대한 예측들을 생성하는 단계는 제1 속도보다 클 수 있는 제2 속도로 반복될 수 있다.
일 실시예에서, Wi-Fi 데이터로부터 절대 위치 예측을 생성하는 단계는 저비용으로 수집된 어노테이트되지 않은 Wi-Fi 데이터를 어노테이트된 Wi-Fi 데이터의 제한된 세트와 결합하는 반 지도 학습 패러다임에 기초할 수 있다. 일 실시예에서, 유럽 특허 출원 제19306204.9호에 기술된 바와 같이 VAE에 기반한 방법이 이용된다. VAE 인코더-디코더 아키텍처는 획득한 RSS 데이터를 잠재 변수에 매핑하는 인코더를 포함하며, 사용가능한 레이블링된 데이터의 회귀자 역할을 한다. VAE 디코더는 레이블링된 데이터와 레이블링되지 않은 데이터에 대한 정규화기로서 기능한다. 예측된 위치를 생성하기 위한 잠재 변수를 이용하기 위해 분류 신경망이 이용될 수 있다.
추가적으로 또는 대안적으로, 절대 위치 예측을 생성하는 단계는 도 8 내지 도 10, 도 12 및 도 13을 참조하여 아래에서 더 상세히 설명되는 바와 같이 자기장 데이터를 이용하는 것에 기초할 수 있다.
방법(100)은 학습된 신경망에 입력된 관성 센서 데이터를 이용하여 변위 예측을 생성하는 단계(120)를 더 포함한다. 관성 센서 데이터는 일반적으로 장치의 IMU 센서들에서 높은 속도로 제공되어서, 학습된 신경망이 높은 속도로 로컬 변위 예측들(Δx, Δy)을 생성하게 한다. 높은 속도는 무선 신호 데이터로부터 절대 위치 예측을 반복하는 제1 속도 및 자기장 데이터로부터 절대 위치를 예측하는 제2 속도보다 클 수 있다.
실시예들에서, 단계(120)는 관성 센서 데이터를 그래픽 표현으로 변환하는 단계를 포함할 수 있으며, 그래픽 표현은 학습된 신경망에 입력되어 수평 변위 예측들(Δx, Δy)을 생성한다. 기압계 센서 데이터가 수직 변위 예측(Δz)을 생성하기 위해 이용될 수 있다.
아래에서 더 상세히 기술되는 실시예들에 따르면, 변위 예측을 위한 신경망은 CNN 또는 RNN을 포함할 수 있다. 다른 실시예들에 따르면, 센서 데이터의 그래픽 표현은 반복 매트릭스(recurrence matrix)를 구축하는 것에 기초할 수 있다.
방법(100)은 이전에 예측된 위치를 변위 예측 및/또는 절대 위치 예측들로 업데이트함으로써 위치를 예측하는 단계(130)를 더 포함한다. 절대 위치 예측들은 일반적으로 상대적으로 낮은 속도로 이용가능한 반면 변위 예측은 일반적으로 높은 속도로 생성되기 때문에, 예측된 위치를 변위 예측들만으로 업데이트하는 것은 높은 속도로 수행될 수 있는 반면, 예측된 위치를 절대 위치 예측들로 업데이트하는 것은 낮은 속도로 수행될 수 있다. 예측된 위치들의 시퀀스는 복수의 변위 예측들을 적어도 하나의 절대 위치 예측과 융합함으로써 결정될 수 있다. 변위 예측들에 더하여 적어도 하나의 절대 위치 예측을 이용하면 정확도를 향상시킬 수 있는데, 그 이유는 절대 위치 예측이 복수의 변위 예측들을 합산하여 발생하는 예측의 체계적 드리프트를 보정할 수 있기 때문이다.
실시예들에서, 예측된 위치를 생성하도록 절대 위치 예측과 변위 예측을 융합하기 위해 칼만(Kalman) 필터에 기초할 수 있다. 칼만 필터 기반 접근법을 이용하는 것은 리소스가 제한된 스마트폰들에 특히 적합한데, 그 이유는 계산적으로 가볍기 때문이다. 실시예들에서, 칼만 필터는 높은 속도로 생성된 PDR 예측들과 상대적으로 낮은 속도로 생성된 절대 위치 예측들을 결합하기 위한 센서 융합 프레임워크로서 이용될 수 있다. 실시예들에서, 칼만 필터는 [Chen, ”Fusion of Wifi, smartphone sensors and landmarks using the Kalman filter for indoor localization”, Sensors, 15(1):715-732, 2015]에 기술된 바와 같이 이용될 수 있다.
방법(100)은 선택적으로 단계(130)에서 예측된 위치에 맵이 없는(map-free) 투영을 적용하는 단계(140)를 포함한다. 단계(140)는, 예를 들어, 아래에서 더 상세히 설명되는 바와 같이, 예측된 위치를 알려진 실내 위치들의 컨벡스 헐(convex hull)에 투영함으로써 실내 위치 외부에 놓인, 단계(130)에서 예측된 위치를 실내 위치 내의 위치로 보정할 수 있다.
도 2는 방법(100)을 수행하도록 구성된 시스템(200)을 도시한다. 시스템(200)은 센서들(222, 242, 262)에 의해 제공되는 센서 데이터에 의존한다. 센서(222)는 RSS 데이터를 제공하는 Wi-Fi 센서와 같은 무선 신호 데이터를 위한 센서일 수 있다. 센서(242)는 휴대용 전자 디바이스의 현재 위치에서 자기장 데이터를 측정하도록 구성된, 휴대용 전자 디바이스에 포함된 자력계일 수 있다. 센서(262)는 스마트폰들과 같은 휴대용 전자 디바이스들에 일반적으로 제공되는 가속도계 및 자이로스코프와 같은 여러 IMU 센서들을 포함할 수 있다.
자력계(242)에 의해 제공되는 자기장 데이터는 블록(244)에 의해 사전-프로세싱될 수 있다. 사전-프로세싱된 자력계 데이터는 예컨대 반복 플롯(recurrent plot)을 생성함으로써 자기장 데이터의 그래픽 표현을 생성하도록 구성된 변환 블록(246)에 제공될 수 있다. 그래픽 표현은 신경망(248)에 제공될 수 있다. 아래에서 더 상세히 설명되는 바와 같이, 신경망(248)은 RNN이 뒤따르는 다중채널 CNN을 포함할 수 있다. 신경망(248)은 도 10a 및 도 10b를 참조하여 아래에서 설명되는 바와 같이 절대 위치 예측을 생성하도록 구성될 수 있다. 휴대용 전자 디바이스의 자력계들은 보통 적당한 속도로 자기장 데이터를 생성하도록 구성되기 때문에, 자력계(242), 사전-프로세싱 블록(244), 변환 블록(246) 및 신경망(248)의 파이프라인은 적당한 속도로 절대 위치 예측을 제공할 수 있다.
IMU 센서들(262)은 관성 센서 데이터를 고속으로 제공할 수 있다. 사전-프로세싱 블록(264) 후에, 데이터 스트림은 변환 블록(266)에 의해 그래픽 표현으로 변환될 수 있다. 아래에서 더 자세히 설명되는 바와 같이, 변환 블록은 IMU 데이터 스트림에 걸쳐 실행되는 슬라이딩 윈도우의 데이터로부터 그래픽 표현을 구성하는 것에 대응할 수 있다. IMU 데이터 스트림의 그래픽 표현들은 사용자 위치의 변화 예측에 대응하는 변위 예측을 이미지 프레임 입력으로부터 추론하도록 학습된 신경망(268)에 제공될 수 있다. 아래에서 더 상세히 설명되는 바와 같이, 신경망(268)은 CNN 또는 RNN을 포함할 수 있다. 실시예들에서, 변환 블록(266)은 원시 모드에서 센서 데이터를 변환할 수 있으며, 예컨대 데이터 값을 픽셀의 색상 값으로 변환하고 모든 센서 치수들에 대해 픽셀들을 연결(concatenate)함으로써 센서의 데이터 값들로부터 그래픽 표현을 단순히 형성할 수 있다. 대안적으로, 변환 블록(266)은 그래픽 표현을 구축하기 위해 반복 매트릭스을 형성하는 것을 이용할 수 있다.
시스템(200)은 Wi-Fi RSS 데이터와 같은 무선 신호 데이터로부터 절대 위치 예측을 생성하기 위한 컴포넌트들을 더 포함한다. 네트워크 센서(222)는 비교적 낮은 속도로 무선 신호 데이터를 수집하도록 구성될 수 있다. 무선 신호 데이터는 Wi-Fi 핑거프린팅 측위 방법에 따라 절대 위치 예측을 생성하기 위해 신경망들(224, 228)의 파이프라인에 입력될 수 있다. 실시예들에서, 신경망(224)은 VAE를 구현하고, 신경망(228)은 유럽 특허 출원 제19306204.9호에 개시된 바와 같이 VAE(224)의 잠재 변수로부터 절대 위치 예측을 결정하도록 구성된 분류 신경망을 구현할 수 있다. VAE를 이용하면 레이블링된 데이터의 필요성이 크게 줄어드는데, 그 이유는 소량(10 내지 15%)의 레이블링된 데이터와 어노테이트되지 않은 방대한 Wi-Fi 관찰 데이터세트를 결합하여 위치추정 컴포넌트에 대한 정확한 예측 변수를 구축하게 하기 때문이다.
센서 융합 모듈(280)은 IMU 센서들(262), 변환 블록(266) 및 신경망(268)의 파이프라인에 의한 상대적으로 높은 속도로 생성된 변위 예측을 자력계(242), 변환 블록(244), 및 신경망(248)의 파이프라인에 의해 생성된 절대 위치 예측, 및/또는 네트워크 센서(222), 신경망들(224, 228)의 파이프라인에 의해 생성된 절대 위치 예측과 융합하도록 구성될 수 있다. 파이프라인(262, 264, 266, 268)의 높은 속도의 예측에 비해, 파이프라인(242, 244, 248) 및 파이프라인(222, 224, 228)은 상대적으로 낮은 속도로 예측들을 생성하므로 센서 융합 모듈(280)은 위치를 자주 업데이트하기 위해 변위 예측을 이용하며, 비교적 드물게 하나 이상의 절대 위치 예측들을 이용한다. 하나 이상의 절대 위치 예측들을 이용하는 위치의 업데이트는 드물긴 하지만 변위 예측의 오류들의 누적으로 인한 드리프트를 보정할 수 있다.
센서 융합 모듈(280)에 의해 생성된 예측들은 타겟 공간 외부, 예를 들어 건물 외부에 놓일 수 있다. 이 문제를 극복하기 위한 직접적인 해결책은 실내 환경의 위치 지도에 접근하여 위치 지도에 따라 예측이 실내 환경 내부에 있는지 여부에 기초하여 센서 융합 모듈(280)의 예측을 보정하는 것이다 대신에, 시스템을 보다 일반적이고 지도 독립적이게 하기 위해, 본 개시는 센서 융합 모듈(280)에 의해 생성된 예측의 맵이 없는 투영을 적용하는 것을 제안한다. 투영 모듈(290)은 이용가능한 어노테이트된 학습 세트에서 이웃들의 상위 매칭 수 Nr가 고려되는 가중치 이웃 예측을 계산하도록 구성된다. 이어서, 식별된 최근접 이웃들의 위치들의 가중치 합으로서 절대 위치 예측이 산출된다. 가중치 합은 예측과 대응하는 이웃들 간의 거리들의 역수로서 계산된 가중치들을 이용하며, 따라서 Nr개의 이웃들로 정의된 컨벡스 헐(convex hull)을 정의한다.
도 2는 또한, 점선을 이용하여, 신경망(268)을 학습시키는 데 사용되는 데이터 흐름 및 모듈들을 도시한다. 학습 데이터는 일반적으로 단지 소수의 그라운드 트루스(ground truth) 어노테이션들(278)만 포함한다. 학습 동안, 사전-프로세싱된 데이터가 랜드마크 검출기(272), 활동 분류기(274), 및 속도 및 보폭(stride) 추정기(276)에 제공된다. 사전-학습 단계에서, 랜드마크 검출기(272)는 사전-프로세싱된 센서 데이터로부터 랜드마크를 예측하기 위해 학습될 수 있다. 랜드마크들은 일반적으로 사용자가 복도의 한 모퉁이에 도달하여 복도를 계속 걷기 위해 방향을 바꾸는 때와 같은 방향 변경들을 의미할 수 있다. 랜드마크 검출기(272)는 배향 변경들을 검출하기 위해 배향 벡터들을 이용할 수 있다. 랜드마크 검출기(272)는 랜드마크의 존재를 분류하기 위해 배향 데이터를 다른 센서 데이터 및/또는 랜드마크 그라운드 트루스와 상관시킬 수 있다. 배향 벡터들은 가속도계, 자이로스코프 및 자력계 데이터에서 추정될 수 있다. 실시예에서, 랜드마크 검출기(272)는 랜덤 포레스트(random forest) 모델로 구현된다.
활동 분류기(274)는 학습 데이터를 생성하는 데 사용되는 휴대용 전자 디바이스를 휴대하는 사용자가 걷고 있었는지 또는 가만히 서 있었는지 여부를 추론하기 위해 IMU 센서 데이터를 분류하도록 학습될 수 있다.
또한, 학습 동안, 속도 및 보폭 추정기(276)는 센서 데이터로부터 사용자의 속도 및 보폭을 추정하도록 학습될 수 있다. 랜드마크 검출기(272), 활동 분류기(274), 및 속도 및 보폭 추정기(276)의 출력은 아래에서 더 상세히 설명되는 바와 같이 수도-레이블들을 생성하기 위해 이용된다. 수도-레이블들을 생성하면 어노테이션들(278)의 부족을 극복할 수 있으므로, IMU 센서들(262)에 의해 수집된 이용가능한 학습 센서 데이터에, 생성된 수도-레이블들로 어노테이트되어 신경망(268) 학습을 위한 완전히 어노테이트된 학습 데이터를 생성한다.
도 3은 CNN에 기초한 PDR을 위한 신경망(268)의 구현을 도시한다. 신경망(268)은 센서 데이터로부터 획득된 그래픽 표현(302)을 수신할 수 있다. 그래픽 표현(302)은 컨볼루션 레이어들(304, 306), 이어서 맥스-풀링 레이어(308), 컨볼루션 레이어(310) 및 맥스-풀링 레이어(312)에 의해 프로세싱될 수 있다. 맥스-풀링 레이어(312)의 출력은 피드-포워드 레이어들(318x, 318y, 314)에 제공될 수 있다. 피드-포워드 레이어(314)의 출력은 활동 분류(316)를 생성하기 위해 이용될 수 있다. 피드-포워드 레이어들(318x, 318y)의 출력은 이전에 결정된 위치에 대한 휴대용 전자 디바이스의 변위에 대한 변위 예측들(Δx, Δy)에 대응하는 예측들(324x, 324y)을 생성하기 위해 피드-포워드 레이어들(320x, 320y), 이어서 피드-포워드 레이어들(322x, 322y)의 각자의 파이프라인들에 의해 프로세싱될 수 있다.
따라서 도 3의 신경망(268)의 구현은 3개의 컨볼루션 레이어들 및 2개의 맥스-풀링 레이어들, 이어서 완전히 연결된 레이어들을 수반한다. 맥스-풀링 레이어들은 CNN에 의해 생성된 예측들의 전반적인 정확도를 개선하는 데 도움이 된다. 또한, 컨볼루션 레이어들(304, 306, 310)에서 컨볼루션 커널들은 입력 이미지 크기의 함수에서 다양하다. 풀링 레이어들(308, 312)은 이미지의 행들과 열들의 수를 줄임으로써 컨볼루션 레이어 출력의 특징들을 추출할 수 있다. 실시예들에서, 맥스-풀링 레이어들(308, 312)은 본 발명의 2x2 서브섹션들의 최대값을 저장하기 위해 보폭(2)을 갖는 2x2 필터를 포함한다. CNN의 마지막 단계에서 소프트맥스 활성화 함수를 갖는 완전 연결 레이어들(322x, 322y)은 CNN의 출력을 계산한다.
CNN들을 PDR을 위한 신경망(268)으로 이용하면 센서들 간의 상관 관계를 식별할 수 있다. 특히 CNN들은 다중 모드 시계열 센서 데이터에 내재된 로컬 종속성 특성들을 활용할 수 있다. 또한 CNN들을 이용하면 이동의 병진 불변 특성(translational invariant nature)을 활용할 수 있다.
도 4는 PDR을 위한 신경망(268)의 대안적인 실시예를 도시한다. 센서 데이터의 그래픽 표현(302)은 bi-LSTM 레이어들(404 내지 410)의 파이프라인에 의해 프로세싱될 수 있다. 마지막 출력 레이어(412)는 도 3을 참조하여 상술된 바와 같이, 동일한 방식으로, 예측된 변위들(324x, 324y)을 생성하도록 구성된 피드-포워드 레이어들(314x, 318x 및 318y)에 출력을 제공하도록 구성될 수 있다.
도 4에 따른 신경망(268)의 실시예는 값들의 시퀀스들을 프로세싱하고 입력 스트림에서 장거리 상호 의존성들을 캡처하는 데 특화된 RNN들을 이용한다. RNN들은 하나의 시간 단계에서 다음 단계로 정보를 전달할 수 있기 때문에, 이들은 입력 스트림 내의 이전 값들에 대한 정보를 캡처하도록 구성된다. 특히 RNN들은 IMU 센서 데이터의 시계열 데이터 내의 시간 패턴들을 캡처하는 데 적합하다. 도 4에 따른 RNN 기반 실시예는 양방향 방식으로 시계열 데이터를 공급하는 방식을 이용하여 bi-LSTM이 둘 모두의 시간 방향들의 패턴들을 인식하도록 학습되도록 한다. LSTM 네트워크들은 보다 전통적인 RNN의 기울기(gradient) 소실(vanishing) 및 폭주(exploding) 문제들을 극복하고 장거리 종속성들을 효율적으로 학습시키기 위해 제안되었다.
도 5는 센서 데이터에서 그래픽 표현들을 생성하는 것을 도시한다. 도 5는 가속도계, 자이로스코프 및 자력계 데이터 값들의 그래프들을 표시한다. 각각의 가속도계, 자이로스코프 및 자력계는 X, Y, Z 축들을 따라 각자의 값들에 대한 데이터 값들을 제공한다. 라인 플롯들(52)로 도시된 데이터 값들은 그래픽 표현(54)으로 변환된다. 도시된 실시예에서, 데이터 값들은 그래픽 표현(54)의 픽셀의 색상 채도를 결정하기 위해 이용되어, 각각의 센서 데이터 차원에 대한 픽셀들의 행을 생성한다. 실시예들에 따르면, 양의 데이터 값은 rgb 색상 차원과 같은 제1 색상 차원의 픽셀의 색상 채도를 결정할 수 있고, 음의 데이터 값은 상이한 rgb 색상 차원과 같은 제2 색상 차원의 픽셀의 색상 채도를 결정할 수 있다. 모든 센서 데이터를 연결함(concatenating)으로써 차원 Δt
Figure pat00002
d의 그래픽 표현이 산출되며, 여기서 Δt는 고려되는 슬라이딩 시간 윈도우의 크기이다. Δt의 폭은 신경망(268)에 대한 입력을 위한 각각의 데이터 포인트의 폭을 결정한다. 일 실시예에서, 그래픽 표현(54)을 생성하기 전에 센서 데이터는 임의의 사용자의 변위를 특성화하기에 충분한 주파수인 50Hz의 주파수로 다운샘플링된다. 실시예들에서, 윈도우 폭은 1초에 대응하여, 그래픽 표현(54)의 각각의 데이터 포인트는 50개의 열들(Δt=50)을 갖는다.
도 5는 3개의 센서들인 가속도계, 자이로스코프 및 자력계에 해당하는 총 12개의 특징들을 갖는 실시예, 및 각각의 센서에 대해, 각각의 축에 대한 하나의 행 및 결합된 X, Y, Z 값들로부터 계산된 크기에 대한 하나의 행을 도시한다. 위에서 상세히 설명된 바와 같이, 신경 모델(268)은 변위(Δx, Δy)를 예측하기 위한 하나의 회귀 분기 및 사용자 활동을 예측하기 위한 분류 분기를 갖는다. 도 5에 도시된 실시예는 신경망(268)에, 그래픽 표현(54)으로 직접 번역된 센서 데이터 값들(예컨대, 변환 블록(266)으로부터의 가속도계 및 자이로스코프 데이터 값들, 및 변환 블록(246)으로부터의 자력계 데이터 값들)이 공급되는 원시 데이터 모드에 대응한다. 대안적으로, 그래픽 표현은 반복 매트릭스에 기초하여 형성될 수 있다.
도 6은 PDR을 위한 신경망을 학습시키기 위한 방법(600)을 도시한다. 방법(600)은 센서 판독값들을 기록하는 휴대용 전자 디바이스를 휴대하는 사용자에 의해 캡처된 학습 데이터를 이용할 수 있다. 학습 데이터는 기록된 센서 판독값들과 제한된 수의 랜드마크들에 대한 어노테이션들을 포함한다. 방법(600)은 고속으로 생성된 원시 센서 데이터에 수도-레이블들로 어노테이트 할 수 있다. 수도-레이블들의 생성은 사용자 활동 분류 및 랜드마크 검출의 간단한 작업들에 대한 사전-학습에 기초한다.
방법(600)은 사용자가 걷고 있는 것과 사용자가 가만히 서 있는 것을 구별하기 위해 활동 분류기를 학습시키는 단계(610)를 포함한다. 또한, 방법(600)은 랜드마크 분류기를 학습시키는 단계(620)를 포함한다. 따라서, 데이터가 제공된 랜드마크들은 학습 데이터를 캡처하는 동안의 사용자 궤적의 방향 변화들을 나타낸다고 가정한다. 방법(600)에 따른 학습은 특히 두 개의 연속적인 랜드마크들 사이에서 사용자의 궤적에 대한 배향의 변화들이 없다고 가정하므로, 랜드마크들에 대응하는 포인트들 사이의 사용자의 궤적은 직선이다.
활동 분류를 위한 활동 분류기를 학습시키고 랜드마크 분류를 위한 랜드마크 분류기를 학습시키는 것은 비교적 쉬운 작업들이기 때문에, 활동 분류기와 랜드마크 분류기는 높은 정확도를 달성하도록 학습될 수 있으며, 이는 생성된 수도-레이블들의 높은 정확도를 보장한다.
방법(600)은 랜드마크들 사이의 사용자 모션에 대한 이러한 가정에 기초하여 수도-레이블들을 생성하는 단계(630)를 포함한다. 그러나 궤적을 따르는 사용자의 속도는 궤적 중에 마주치는 문이나 다른 사람들과 같은 장애물로 인해 변할 수 있다. 수도-레이블들을 생성하는 단계는 가속도계의 데이터로부터 다수의 걸음들을 획득함으로써 랜드마크들 사이의 궤적을 따른 속도를 결정하는 단계를 이용한다. 속도는 연속 랜드마크들 사이의 거리와 그들의 대응하는 타임스탬프들에 따라 조정된다. 사용자의 궤적이 임의의 두 개의 연속 랜드마크들 사이의 직선을 따른다는 가정은 종종 긴 복도들이 있는 건물들이 포함된 대부분의 실내 환경들에서 검증된다. 따라서 이 가정으로 인해 발생하는 오류는 다중 문 통로들과 복도들의 폭 사이의 사용자 선택들과 같은 상황들로 제한된다.
방법(600)은 변위 예측들을 생성하기 위해 PDR을 위한 신경망을 학습시키는 단계(640)를 더 포함한다. PDR을 위한 신경망을 학습시키는 단계(640)는 생성된 수도-레이블들로 학습 세트를 강화(enrich)하는 단계를 포함하고 PDR을 위한 신경망을 학습시키기 위한 강화된 학습 세트를 이용한다. PDR을 위한 신경망을 학습시키는 단계는 회귀를 위한 학습 및 활동 예측을 위한 학습을 포함한다. 회귀를 위한 학습은 변위(Δx, Δy)를 예측하는 것을 목표로 한다. PDR을 위한 신경망을 학습시키는 단계는 일반적인 교차 엔트로피 손실(Lossce)로 학습시키는 단계를 포함할 수 있는 한편, 회귀를 위한 PDR을 위한 신경망을 학습시키는 단계는 2D 포인트들의 세트에 대한 L2 손실을 다음 식에 따라 최소화하는 단계를 포함할 수 있다
Figure pat00003
여기서
Figure pat00004
은 어노테이션 데이터로부터 산출되고,
Figure pat00005
은 변위 예측이다. PDR을 위한 신경 모델을 학습시키기 위해, 학습률 10-3인 Adam 옵티마이저(optimizer)가 이용된다. 총 학습 및 검증 손실들이 다음 식에 따라 계산된다
Figure pat00006
여기서
Figure pat00007
는 회귀와 활동 예측 간의 절충점이다.
도 7a 및 도 7b는 방법(600)에 따른 학습을 위한 예시적인 궤적에 대한 학습 데이터를 도시한다. 도 7a의 좌측 패널은 IPIN 컨퍼런스 챌린지의 실내 측위 및 실내 내비게이션에 포함된 사용자 경로의 일례를 도시한다. 도 7a의 우측 패널은 가속도계, 자이로스코프, 자력계 및 기압계 센서들의 연관 센서 데이터뿐만 아니라 속도 및 보폭 추정치들을 도시한다. 예시적인 경로는 포인트 0에서 스마트폰을 켜고 교정(calibration)이 종료하게 하는 것으로 시작하여 10 포인트들에 걸쳐 있다. 이어서 사용자는 포인트들 1, 2, 3, 4를 지나 포인트 5로 이동한다. 포인트 5로부터 사용자는 뒤돌아 포인트 6을 생성하고 포인트들 7, 8, 9를 거쳐 시작 위치로 다시 복귀한다. 포인트 1 내지 포인트 5 및 포인트 7 내지 포인트 10은 방향 변경들을 포함하기 때문에 랜드마크들이다. 랜드마크 검출기는 전술된 바와 같이 배향 변경들을 이용하는 것에 기초하여 포인트 1 내지 포인트 5 및 포인트 7 내지 포인트 10을 랜드마크들로서 식별하도록 학습된다.
도 7b의 좌측 패널은 배향 변경들이 사용자 궤적의 검출된 랜드마크 위치들(1 내지 5 및 7 내지 10)과 어떻게 상관되는지 도시한다. 도 7b의 우측 하단 패널은 파라미터 데이터가 궤적이 고정된 바닥 내에 있음을 나타내고, 두 랜드마크들 사이의 각각의 궤적 세그먼트에 대한 예상 보폭을 추가로 표시함을 도시한다.
본 개시에서 기술된 시스템들 및 방법들을 IPIN 경쟁의 오프라인 설정에 대해 평가하였으며, 이는 스마트폰 센서들의 판독값들에 기초하여 종래의 현대 스마트폰을 들고 있는 사람에 의해 선택된 경로를 재현하는 작업을 포함한다. 센서 데이터는 "센서 데이터 가져오기(Get Sensors Data)" 안드로이드 애플리케이션을 사용하여 로그 파일에 기록 및 저장되었다. 경쟁 데이터는 또한 주어진 타임스탬프들의 사용자 위치들로 이루어진 랜드마크들의 세트를 포함한다. 경쟁 데이터에 제공되는 학습 세트는 각각 5분 길이의 15개의 상이한 사용자 궤적들에 대응하는 50개의 로그 파일들로 이루어지며, 이는 양방향으로 다수 회 횡단되었다. 유효성 검사 세트에는 10분 길이의 10개의 상이한 궤적들과 연관된 10개의 로그 파일들이 포함되었다. 학습 로그 파일들에서 모든 중요한 방향전환(turn)에 랜드마크들로서 어노테이트 되었지만, 검증 세트는, 반드시 직선을 따라야 할 필요는 없고 방향전환들, U턴들, 정지들 및 기타 도전적인 움직임들을 포함할 수 있는 두 개의 연속 랜드마크들 사이의 궤적들을 포함한다. IPIN 경쟁의 평가 로그 파일에는 임의의 랜드마크들 정보 없이 20분 동안의 센서 데이터의 기록들만 포함된다. 챌린지는 평가 로그 파일의 센서 데이터에 기초하여 사용자의 경로를 재현하여 0.5초마다 사용자 위치 추정치들을 제공하는 것이다.
기술된 시스템들 및 방법들의 장점들을 상이한 컴포넌트들을 제거하고 대응하는 위치추정 오류들을 측정함으로써 평가하였다.
IPIN'19 실내 위치추정 챌린지 MAE 50% 75% 90%
[m] Err [m] Err* [m] Err[m]
우승자 2.0 1.5 2.27 5.1
2위(*) 1.7 1.3 2.36 3.9
3위 2.1 1.8 2.54
개시된 파이프라인
PLs RPs 모델 Wi-Fi PRJ MAE 50% 75% 90%
[m] Err [m] Err* [m] Err
RNN
Figure pat00008
Figure pat00009
 1.79 1.33 2.44 4.50
Figure pat00010
 RNN
Figure pat00011
Figure pat00012
 1.53 1.29 1.92 3.31
Figure pat00013
Figure pat00014
 RNN
Figure pat00015
 2.10 1.56 2.85 4.49
Figure pat00016
Figure pat00017
 RNN
Figure pat00018
 1.74 1.47 2.19 3.32
Figure pat00019
Figure pat00020
 RNN
Figure pat00021
Figure pat00022
 1.64 1.28 1.99 3.45
CNN
Figure pat00023
Figure pat00024
 1.98 1.42 2.46 4.51
Figure pat00025
 CNN
Figure pat00026
Figure pat00027
 1.54 1.16 1.99 3.21
Figure pat00028
Figure pat00029
 CNN
Figure pat00030
 1.97 1.38 2.32 5.01
Figure pat00031
Figure pat00032
 CNN
Figure pat00033
 2.22 1.89 2.83 4.11
Figure pat00034
Figure pat00035
 CNN
Figure pat00036
Figure pat00037
 1.58 1.05 1.80 3.70
표 1: IPIN'19 챌린지의 최상의 결과들 및 수도-레이블(PLs), RPs, Wi-Fi 및 맵이 없는 투영들(PRJ)을 제거함에 의한 개시된 시스템에 대한 MAE, 50%, 75% 및 90% 오류들.표 1에서 상단은 챌린지의 상위 3개 결과들을 보고하고, 이어서 CNN 및 RNN을 심층 PDR 모델들로서 신경망들로 사용할 때의 개시된 시스템의 결과들을 제시한다. 표 1은 Wi-Fi 기반 절대 위치 예측 및 맵이 없는 투영을 이용하여 수도-레이블들을 평가할 때의 결과들을 보고한다. 표 1에서 추론할 수 있는 바와 같이, 75% 오류에서 1.80미터의 최상의 성능은 센서 데이터의 그래픽 표현들을 생성하기 위해 수도-레이블들 및 반복 플롯들을 이용하는 것과 함께 CNN을 심층 PDR 모델로 사용하는 시스템에 대해 획득된다. 이에 비해 IPIN '19 챌린지의 우승자는 2.27미터의 75% 오류로 보고되었다. Wi-Fi 측위 및 맵이 없는 투영 컴포넌트들을 제거하면 이러한 컴포넌트들 모두가 CNN 및 RNN 모델들 둘 모두에 대해 정확도를 개선하는 데 중요한 역할을 한다는 것을 알 수 있다.
도 11은 전술된 시스템(200)의 컴포넌트들에 따라 생성된 위치 예측과 최신 PDR 방법의 예측들을 도시한다.
센서들에 의해 제공되는 자기장 데이터를 사용하여 실내 위치추정의 문제를 해결하는, 파이프라인(242, 244, 246, 248)에 의해 생성된 절대 위치 예측들과 관련된 본 발명의 추가의 양태들이 아래에 기술될 것이다.
실내 자기 시그니처들은 벽들, 기둥들, 문들 및 엘리베이터들과 같은 다양한 강자성 물체들에 의해 유도된 지구 자기장의 교란들이다. 이러한 이상들은 관측 포인트까지의 거리가 감소함에 따라 두드러진다. 다수의 실내 강자성 물체들과 이들이 유발하는 교란들은 고유한 패턴들로 시그니처들을 형성하며, 이는 이들 시그니처들을 그 패턴들에 기초하여 분류할 수 있게 한다. 자기장 데이터는 모바일 폰과 같은 모바일 컴퓨팅 디바이스에 포함될 수 있는 자력계와 같은 센서들에 의해 획득될 수 있다. 따라서, 모바일 전화 애플리케이션은 실내 환경에서 센서 기반의 측위 및 내비게이션에 사용될 수 있다.
사용자들이 실내 환경을 내비게이팅할 때 수집되는 자기 데이터는 다변수 시계열로 형성될 수 있는 순차적인 특성을 가질 수 있다. 실시예들에서, 다변수 시계열은 하나 이상의 이미지들과 같은 하나 이상의 시각적/그래픽 표현들로 변환된다. 이들 이미지들은 상이한 자기 패턴들을 나타낼 수 있다. 그래픽 표현들은 위치 벡터 임베딩들을 추출하는 컨볼루션 레이어들에 대한 다중 채널 입력을 형성할 수 있다. 일례에서, 그래픽 표현들은 완전히 연결된(fully connected, FC) 레이어들에 공급될 수 있다. FC 레이어들은 분류 모드에서 최근접 랜드마크를 예측하도록 훈련되거나, 회귀 모드(regression mode)에서 사용자의 위치 좌표를 직접 추정하도록 훈련될 수 있다.
회귀 기반 및 랜드마크 기반의 이 두 가지 접근법들은 자기 센서 데이터를 사용하는 그 개념들에 의해 보완된다. 따라서 이들은 다중 작업 방식으로 조합될 수 있다. 윙로스(wing loss) 기술은 각각의 컴포넌트들의 예측들에 대한 신뢰도를 추정하고 보다 정확한 위치추정 예측기를 생성함으로써 이 두 컴포넌트들을 조합하는 데 사용할 수 있다. 그러나 면밀한 분석에 따르면 두 방법들 모두 실제로 매우 유사한 상황들에서 실패한 것으로 나타났다. 그들의 실패들은 시스템이 매우 상이한 장소들에서 직면하는 유사한 자기 시그니처들로 인해 초래된다. 설명하자면, 동일한 자기 이상들이 동일한 강자성 물체들, 예를 들어 복도의 상이한 코너들에 배치된 동일한 전기자 기둥(armature pillars)들로 인해 발생되는 것이다.
일 실시예에 따르면, 심층 학습 접근법은 컨볼루션 및 순환 레이어들 및 이들의 학습을 포함하는 심층 신경망들의 가장 최근의 발전들로부터 이익을 얻기 위해 사용된다. 실시예들에서, 위치추정 컨텍스트는, 시스템 또는 모델이 유사한 자기 패턴들을 명확하게 하는 것을 돕기 위해, 다중 채널 심층 회귀에서 완전히 연결된 레이어들을 대체하는 순환 레이어들로 캡처된다. 컨볼루션 레이어들이 위치 임베딩들을 추출하는 한편 순환 레이어들은 유사한 패턴들을 명확하게 하기 위해 내부 상태들에서 위치추정 컨텍스트를 인코딩한다. 모델은 하나 이상의 컨볼루션 레이어들을 갖는 컨볼루션 신경망(CNN) 및 하나 이상의 순환 레이어들을 갖는 순환 신경망(RNN)을 포함하는 신경망일 수 있다.
순차 데이터에 대한 모델들은 부트스트래핑(bootstrapping) 문제에 노출될 수 있다. 일부 모델들은 제1 예측을 생성하기 위해 자기 센서 데이터를 축적해야 할 수도 있다. 실제로 이러한 축적에 5 내지 10초가 소요될 수 있다. 순환 모델들은 시도(trial)의 시작 포인트를 알아야 한다는 또 다른 제약이 있을 수 있다. 일 실시예에서, 랜드마크 기반 분류 또는 CNN 기반 회귀 모델들과 같은 하나 이상의 다른 모델들, 또는 Wi-Fi 신호들과 같은 다른 센서들로부터의 근사 위치가 이러한 문제들을 해결하는 데 사용된다. 하나 이상의 다른 모델들로부터의 근사 위치는 노이즈가 있는 예측일 수 있다. 따라서, 일 실시예에서, 모델은 시작 포인트 추정 오류 하에서 테스트된다.
MagPie 데이터세트에 대한 집중 평가들은 본 발명의 실시예들이 강력하고 정확한 위치추정 시스템에 기여한다는 것을 나타내었다. 실제로 3개의 MagPie 건물들에 대한 위치추정 오류가 0.30 내지 1.05 m로 감소되어, 0.95 내지 4.49 m의 오류를 갖는 AMID 방법을 큰 폭으로 개선할 수 있다. 파이프라인의 모델 학습 및 평가는 오프라인으로 수행될 수 있다. 네트워크는 이미 관찰된 데이터로 피드-포워드하므로 테스트 단계는 온라인으로 수행될 수 있다.
실시예들은 로컬 자기 센서, 예를 들어, 모바일 폰으로부터의 자력계와 연관된 로컬 기준 프레임을 글로벌 기준 프레임으로 변환하는 방법을 포함한다. 자기장 데이터는 다변수 시계열을 형성할 수 있다. 방법은 다변수 시계열을 다채널 2D 시퀀스들로 변환하는 단계를 포함할 수 있다. 이를 통해 시계열의 패턴 검출을 이미지들의 패턴 마이닝, 그리고 컨볼루션 및 순환 신경망들의 최근 발전으로부터의 이점들로 대체할 수 있다. MagPie 데이터세트에 대한 실시예들에 따른 방법들의 평가는 낮은 위치추정 오류 및 최신 방법들의 큰 폭의 개선을 나타낸다. 실시예들은 인프라에 대한 임의의 투자를 요구하지 않고 자기장 기반 측위 시스템들을 Wi-Fi, 블루투스 및 PDR 방법들에 대해 경쟁력 있고 필적할 수 있게 한다.
도 8은 일 실시예에 따른 실내 위치추정을 위한 예시적인 방법(800)의 프로세스 흐름도이다. 방법(800)은 실내 측위를 위한 독립형(stand-alone) 해결책으로서 적용될 수 있다. 대안적으로, 방법(800)의 방법 단계들은 전술된 방법(100)의 단계(110)의 일부로서 수행될 수 있다.
선택적 단계(810)에서, 방법은 자력계, 자이로스코프, 및/또는 모바일 컴퓨팅 장치의 가속도계와 같은 하나 이상의 센서들을 교정하는 단계를 포함할 수 있다. 예를 들어, 자이로스코프는 자력계와 같은 센서의 기준 프레임을 글로벌 기준 프레임으로 변환하는 데 사용될 수 있다.
단계(820)에서, 자기장 데이터는 하나 이상의 교정된 센서들 중의 센서, 예를 들어, 자력계에 의해 생성될 수 있다. 자기장 데이터는 자기장 값들의 시계열을 포함할 수 있다. 예를 들어, 센서는 센서가 건물 내에서 이동되거나 또는 지구의 자기장을 간섭하는 물체들의 근처에서 이동될 때 자기장의 변화들을 검출할 수 있다. 센서는 지구의 자기장과 강자성 물체들에 기초하는 자기 시그니처들을 검출할 수 있다. 이들 시그니처들은 지구의 자기장을 교란하기 때문에 이상들로서 알려져 있다. 이러한 구조들의 영향은 관찰 포인트까지의 거리가 감소함에 따라 두드러지게 된다. 결과적으로 이러한 시그니처들은 그의 패턴들에서의 고유성을 표시하고, 이는 그들 패턴들에 기초하여 시그니처들을 분류할 수 있게 한다.
단계(830)에서, 센서의 자기장 데이터에 기초하여 시각적 표현들이 생성된다. 단계(830)는 자기장 값들의 시계열의 자기장 값들의 서브세트를 선택하는 단계, 및 자기장 값들의 서브세트 또는 자기장 값들의 서브세트의 투영을 하나 이상의 2차원 이미지들로 변환하는 단계를 포함할 수 있다. 그래픽 표현들은 반복 플롯(RP), 그래미안 각도 합산 필드(GASF), 및/또는 그래미안 각도 차이 필드(GADF)와 같은 그래미안 각도 필드, 및 마르코프 전이 필드(MTF) 중 적어도 하나를 포함할 수 있다. 예를 들어, 그래픽 표현들은 단일 타임스탬프 동안 신경망에 동시에 입력될 수 있는 반복 플롯(RP), 그래미안 각도 합산 필드(GASF), 및/또는 그래미안 각도 차이 필드(GADF)와 같은 그래미안 각도 필드, 및 마르코프 전이 필드(MTF) 중 적어도 두개, 세개, 또는 전부를 포함할 수 있다.
제1 방법에 따라 생성된 제1 그래픽 표현 및 제1 방법과 상이한 제2 방법에 따라 생성된 제2 그래픽 표현은 하나 이상의 컨볼루션 레이어들에 대한 다중 채널 입력에서 동시에 입력되며, 제1 그래픽 표현과 제2 그래픽 표현은 자기장 값의 동일한 세트로부터 획득된다. 제1 방법 및 제2 방법은 반복 플롯(RP), 그래미안 각도 합산 필드(GASF), 및/또는 그래미안 각도 차이 필드(GADF)와 같은 그래미안 각도 필드, 또는 마르코프 전이 필드(MTF)에 대한 방법들일 수 있다.
단계(840)에서, 센서의 위치는 신경망을 사용하는 시각적 표현들에 기초하여 결정된다. 신경망은 컨볼루션 신경망과 컨볼루션 신경망의 컨볼루션 레이어에 대한 다중 채널 입력을 포함한다. 신경망은 하나 이상의 게이티드 순환 유닛들을 포함하는 순환 신경망을 포함할 수 있다. 하나 이상의 순환 레이어들은 하나 이상의 컨볼루션 레이어들을 따를 수 있다. 초기에, 방법은 순환 신경망을 실내 측위 시스템과 같은 측위 시스템으로부터 획득된 하나 이상의 시작 위치들로 초기화하는 단계를 더 포함할 수 있다. 테스트를 위해, 순환 신경망은 학습/테스트/검증 데이터로부터 획득된 노이즈가 있는 그라운드 트루스 포인트 또는 위치로 초기화될 수 있다.
단계(840)는, 신경망에, 시각적 표현들 중 제1 타임스탬프와 연관된 시각적 표현들의 세트 및 다음 중 적어도 하나를 입력하는 단계를 포함할 수 있다: (i) 하나 이상의 이전에 결정된 위치들, (ii) 이전에 결정된 특징 벡터들, 및 (iii) 상기 제1 타임스탬프와 상이한 각자의 타임스탬프들과 연관된 시각적 표현들의 하나 이상의 세트들.
하나 이상의 컨볼루션 레이어들 및 하나 이상의 컨볼루션 레이어들에 대한 다중 채널 입력을 포함하는 신경망을 이용하여 그래픽 표현들에 적어도 부분적으로 기초하여 휴대용 전자 디바이스의 절대 위치를 결정함으로써, 정확한 방식으로 휴대용 전자 디바이스의 절대 위치를 결정하는 개선된 방법이 제공된다.
단계(850)에서, 센서의 궤적이 센서의 결정된 위치 및 센서의 미리 결정된 위치에 기초하여 결정된다.
MagPIE(자기 측위 실내 추정(Magnetic Positioning Indoor Estimation)) 데이터세트는 자기 이상들을 이용한 실내 측위 알고리즘들의 평가를 위한 데이터세트이다. 데이터세트에는 센티미터 정확도를 갖는 그라운드 트루스 위치 측정들과 함께 IMU(관성 측정 단위) 및 자력계 측정들이 포함된다. 데이터는 UIUC 캠퍼스의 CSL(Coordinated Sciences Laboratory), Talbot 연구소 및 Loomis 연구소의 3개 건물들에서 수집되었다. 데이터세트는 (마치 문자메시지를 보내는 듯한) 핸드헬드 전화기를 갖고 걷는 사람(WLK)의 데이터 포인트들 및 UGV(무인 지상 차량들)의 데이터 포인트들을 포함한다. 두 가지 상이한 테스트 시나리오들이 이용가능하다: 하나는 건물의 자기장에 임의의 변경들이 부과되지 않고(이상치 없음), 두 번째 세트에는 건물의 자기장을 변경하는 물체들이 장면에 추가된다(이상치들이 있음).
일 실시예에 따르면, 자기장 데이터로부터 휴대용 전자 디바이스의 절대 위치를 예측하는 방법은, 임의의 시간에 모바일 전화 센서 데이터를 분석함으로써 사용자 및/또는 모바일 전화의 위치를 결정하는 단계를 포함하는 모바일 전화 기반 위치추정 방법을 포함할 수 있다. 건물의 바닥은 압력 센서 데이터로부터 종종 정확하게 검출되기 때문에 3D 위치추정 문제는 사용자의 위치가 두 값들(
Figure pat00038
및
Figure pat00039
)로 기술되는 더 간단한 2D 위치추정 문제로 축소될 수 있다.
모바일 전화에서 가속도계, 자이로스코프 및 자력계는 로컬 기준 프레임에서 그들의 데이터를 제공한다. 가속도계 및 자이로스코프 센서들이 자기 센서 값들을 로컬로부터 글로벌 기준 프레임으로 변환하는 데 사용될 수 있다(도 9 참조). 아래에서는 자기장 데이터가 공간에서 전화기의 배향에 의존하지 않는다고 가정할 수 있다. 공간에서 전화기의 배향은 글로벌 기준 프레임을 참조하므로 타임스탬프(
Figure pat00040
)에서 세 개의 값들
Figure pat00041
로 구성된 다변수 시계열을 형성한다. 학습 및 테스트 데이터세트들은 시도(trial)들의 세트들로 이루어질 수 있다. 임의의 학습 시도는 자기장 데이터 및 그라운드 트루스 위치들을 포함할 수 있다:
Figure pat00042
, 여기서
Figure pat00043
는 측정 타임스탬프이다. 테스트 시도의 경우 그라운드 트루스 위치들이 이용가능하지 않을 수 있으므로,
Figure pat00044
. 데이터세트는 건물을 통과하는 단일 보행자 시도들의 세트가 포함된다. 시도들은 상이한 날짜에 건물의 상이한 부분들에서 수집될 수 있다.
모바일 전화 센서들은 일반적으로 동기화되지 않는다; 이들은 상이한 타임스탬프들과 상이한 빈도들로 데이터를 캡처한다. 임의의 추가 프로세싱의 경우, 센서 판독값들은 동일한 타임스탬프들에서 동기화 및 정렬될 수 있다.
내장된 자력계들은 저가 센서들이며 자기장에 관한 그들의 측정치들은 종종 센서 제조 문제들 및 플랫폼 및 환경에 의해 유도되는 자기 편차들을 포함한 오류들에 의해 오염된다. 따라서 높은 정확도를 달성하기 위해 측정 전에 자력계가 교정될 수 있다.
자기 편차들은 자력계 주변에 존재하는 강자성 요소들로 인해 발생할 수 있다. 자기 편차들은 영구 자기 및 유도 자기로 구성될 수 있다. 첫 번째 것은 경철 효과라고 하고 두 번째 것은 연철 효과라고 한다. 경철 효과들은 영구 자석들과 자기 히스테리시스, 즉 자화된 철 재료들의 잔류로 인해 발생하며 바이어스 벡터(
Figure pat00045
)와 동일하다. 연철 효과들은 강자성 요소들과 외부 장의 상호 작용으로 인해 발생하며, 이는 자기장을 유도한다. 이는 감지된 필드의 강도뿐만 아니라 방향도 변경시킨다. 연철 효과는 3 × 3 행렬 Λ로 모델링될 수 있다.
이상적인 3축 자력계는 전화기와 관련된 직교 축들을 따라 자기장 강도를 측정한다. 임의의 자기 간섭이 없는 경우 자력계 판독값들은 지구의 자기장을 측정한다. 센서가 모든 가능한 배향들로 회전할 때 자력계 측정들이 수행되는 경우, 측정치들은 3D 구 상에 놓여야 한다. 구의 반경은 자기장 강도이다. 자력계는 원시 자기 데이터로부터
Figure pat00046
및 Λ를 추정함으로써 교정될 수 있다. 일단
Figure pat00047
및 Λ가 발견되면, 교정된 데이터는
Figure pat00048
를 적용하여 획득될 것이다.
공간에서 전화기의 배향은 4원수(quaternion) 또는 회전 각도들(요, 피치, 롤)로 기술될 수 있다(도 9 참조). 4원수는 세 개의 회전 각도들로 변환될 수 있다. 이들 회전 각도들은 전화기로부터 직접 획득되거나 자이로스코프 판독값들로부터 재구성될 수 있다. 이동하는 동안 사람은 다양한 위치들(자신의 앞의 위로, 귀 근처, 주머니 안 등)에서 전화기를 잡을 수 있다. 짧은 시간에도 전화기의 위치는 상당히 변경될 수 있다. 전화기의 센서들이 로컬 기준 프레임에서의 측정치들을 제공함에 따라, 이들을 글로벌 기준 프레임으로 변환하기 위해 회전 각도들이 사용될 수 있다.
실시예들에서, 자기장 기반 위치추정은 예를 들어 도 2의 시스템(200)의 블록(246)에서 자기장 데이터의 그래픽 표현들을 형성하기 위해 심층 신경망(DNN)들을 사용하여 구현된다. DNN 학습 프로세스는 기울기 역전파를 통한 목적 함수 최적화 및 네트워크 가중치 업데이트를 포함할 수 있다. 신경망과 같은 모델은 회귀 모델 또는 분류 모델을 포함할 수 있다. 회귀 모델들을 학습시킬 때 평균-제곱-오차(Mean-Square-Error, MSE), 평균 절대 오차(MAE) 및 후버 손실(Huber loss)이 목적 최소화 함수로 사용될 수 있다. 분류 모델들은 교차 엔트로피 손실로 학습될 수 있다.
단일 시도의 자기장 값들은 다변수 시계열을 나타낸다. 각각의 관찰은 3개의 값들(
Figure pat00049
)로 이루어질 수 있다. 축들(x, y 및 z)은 직교할 필요가 없다. 자기장의 일부 배향들은 다른 것들보다 더 중요할 수 있다. 예를 들어,
Figure pat00050
및
Figure pat00051
와 같은 상이한 조합들 및 투영들이 자기장 값들에 기초하여 계산될 수 있다. 자기장 값들의 최적 투영들의 선택은 모델 하이퍼 파라미터 중 하나일 수 있다.
초기에, 센서 데이터는 (예컨대, 도 2의 244에서 센서들(242)에 대해) 사전-프로세싱될 수 있다. 사전-프로세싱 후 자기장 값들의 투영들이 획득되면 이들은 DNN에 입력될 수 있다. 예를 들어, 1차원 시계열(
Figure pat00052
)에 대한 특징 생성 단계는 슬라이딩 윈도우 접근법을 적용하는 단계를 포함할 수 있다. 예를 들어, 윈도우 크기 및 중첩에 기초하여 시계열로부터 복수의 서브세트들이 선택될 수 있다. 예를 들어, 윈도우 크기는 5 내지 10초일 수 있고 윈도우들의 중첩은 20 내지 1퍼센트 사이, 예를 들어 10, 5, 또는 2퍼센트일 수 있다. 데이터 포인트들 또는 자기장 값들의 모든 서브세트에 대해 자기장 패턴들을 그래픽 표현들으로 변환하기 위해 1D 시계열로부터 2D 이미지들로의 비선형 변환이 적용될 수 있다. 예를 들어, 반복 플롯(RP)들로 변환된 순차적 값들을 분석하기 위해 컨볼루션 신경망들이 사용될 수 있다. RP들이 시계열에서 한 가지 특정 유형의 반복을 다루기 때문에 PR들은 시계열을 그래픽 표현들, 예를 들어 2D 시각적 패턴들로 인코딩하는 다른 방법들을 이용하여 확장될 수 있다. 예를 들어, 다른 방법들은 그래미안 각도 합산/차이 필드들(GASF/GADF) 및 마르코프 전이 필드(MTF)들일 수 있다.
이 네 가지 비선형 1D에서 2D로의 변환들은 아래에서 더 자세히 기술된다.
반복 플롯(RP)들은 이전에 상이한 시계열 및 애플리케이션들에 대해 제안된 바 있다. 자기장 데이터의 경우 RP들은 다음과 같이 유클리드 메트릭에 대해 계산될 수 있다:
Figure pat00053
Figure pat00054
방법은 민코스키(Minkowski) 또는 맨하탄(Manhattan) 메트릭들과 같은 임의의 쌍별(pairwise) 거리 메트릭들로 확장될 수 있다.
그래미안 각도 필드(GAF)에서 시계열은 데카르트 좌표(Cartesian coordinates) 대신 극좌표(polar coordinate) 시스템으로 표현될 수 있다. 시계열 값들은 모든 값들이 극좌표들로 표현되기 위해 간격(
Figure pat00055
)에 속하도록 재스케일링(rescale)될 수 있다.
Figure pat00056
Figure pat00057
이어서 극좌표 인코딩된 시계열 벡터는 행렬로 변환된다. 시계열 벡터의 길이가 n인 경우, 변환된 행렬은 형태(n × n)이다. GAF는 다음과 같이 GAF의 두 가지 변형들: 그래미안 각도 합산 필드(GASF) 및 그래미안 각도 차이 필드(GADF) 중 하나를 포함할 수 있다
Figure pat00058
Figure pat00059
MTF(마르코프 전이 필드)의 주요 발상은 시계열을 마르코프 프로세스의 결과로 간주하는 것이다. 이 방법은 이산화 후 분위수 빈(bin)들의 마르코프 행렬을 구축하고 준-그래미안 행렬에서 동적 전환 확률을 인코딩한다.
시계열(
Figure pat00060
)의 경우,
Figure pat00061
분위수 빈들이 식별될 수 있으며 각각의
Figure pat00062
은 대응하는 빈들(
Figure pat00063
,
Figure pat00064
)에 할당될 수 있다.
Figure pat00065
가중치 인접 행렬(
Figure pat00066
)은 다음과 같이, 시간축을 따라 일차 마르코프 체인 방식으로 분위수 빈들 중의 전이들을 계수함으로써 구성될 수 있다:
Figure pat00067
위에 제시된 4가지 변환들은 윈도우 크기 7초, 윈도우 스텝 크기 1초, 이미지 크기 100 및 "캔버라(Canberra)" 거리 메트릭들을 사용하여 MagPie 데이터세트로부터 한 번의 시도(CSL 학습 시도 N 11)를 사용하여 시각화될 수 있다. 도 12는 시도를 위한 글로벌 좌표계의 자기장 시계열(1210)을 도시한다.
도 12는 위에 제시된 RP, GASF, GADF 및 MTF 방법들을 사용하여 2D 패턴들(1220)에서 시계열을 변환한 결과를 도시한다(상위 3개 행들, 3차원 x, y, z에 대한 10개의 반복 플롯들의 시퀀스; 위에서 두 번째 3개 행들, 3차원 x, y, z에 대한 10개의 연속적인 그래미안 각도 합산 필드 플롯들; 위에서 세 번째 3개 행들, 3차원 x, y, z에 대한 10개의 연속적인 그래미안 각도 차이 필드 플롯들; 마지막 3개 행들, 3차원 x, y, z에 대한 10개의 연속적인 마르코프 전이 필드 플롯들). 모든 이미지들은 자기장 시계열(1210)로부터 7초에서 24초 사이의 세그먼트에서 생성된다. 이미지들은 원래 자기 값들(
Figure pat00068
)에 대해 별도로 구축된다.
다음의 설명 부분에서, 자기장 데이터에 기초하여 휴대용 전자 디바이스의 절대 위치를 예측하기 위한 실시예들에 따른 3개의 상이한 신경망들이 논의된다. 전술된 시스템(200)의 실시예들에서, 신경망(248)은 이들 신경망들에 따라 구성될 수 있다.
제1 신경망은 랜드마크 기반 분류 모델이라고 칭해질 것이다. 이 모델의 경우 자기 지도들이 구성되며, 이는 자기 랜드마크들을 검출하는 것을 포함한다. 모델은 올바른 위치를 랜드마크들 중 하나로 분류하도록 학습된다. 보다 상세하게는, 자기 데이터를 보간하여 자기 그리드 지도가 구성된다. 이어서, 평활화 프로세스는 센서 판독 오프셋으로 인한 오류들을 보정할 수 있다. 랜드마크 검출은 도 13에 도시된 바와 같이 로컬 최소값/최대값(피크들) 검출, (이상값들을 제거하기 위한) 자기 랜드마크 후보 미세 조정 및 자기 랜드마크 선택을 포함할 수 있다.
자기 랜드마크들은 그들의 주변들보다 더 크거나 작은 자기 강도들을 갖는 강자성 물체들일 수 있다. 따라서 자기 랜드마크 후보들은 자기 지도에서 로컬 최소값/최대값을 찾음으로써 식별될 수 있다.
모든 포인트들이 측위를 위한 자기 랜드마크들로 사용될 수 있는 것은 아니다. 이들 포인트들 사이에는 실내 지자기 환경과 자기 랜드마크 특성들에 따라 이상치들이 존재한다. 일부 영역들에서는 자기 강도가 거의 변하지 않는다. 또한, 일부 자기 랜드마크들의 자기 강도들은 시간이 지남에 따라 변동한다. 변동들은 전기 모터들과 같은 전자기 요소들로 인해 발생할 수 있다. 이러한 변동들은 로컬 최소값/최대값의 클러스터들을 생성할 수 있다. 자기 랜드마크 후보 미세 조정은 문제를 해결하는 데 도움이 된다. 유클리드 거리 기반 레이어 트리가 사용되어 이들 포인트들을 하나의 자기 랜드마크 후보로 그룹화할 수 있다.
랜드마크 후보들의 대부분은 평균 자기 강도보다 훨씬 높거나 낮은 값들을 갖는다. 그러나 일부 후보들의 자기 강도는 평균 강도들과 유사하여 자기 시퀀스 패턴이 생성되지 않는다. 임계값들이 정의되거나 설정되어 이들 후보들을 자동으로 식별하고 필터링할 수 있다. 임계값들은 수동으로 설정될 수 있다.
자기 랜드마크들이 선택되거나 결정되면 위치추정 작업은 최근접 랜드마크를 식별하는 것으로 축소될 수 있다. 분류기가 사용되어 최근접 랜드마크를 결정할 수 있다.
모델 입력은 N-채널 텐서일 수 있다. 예를 들어, N은 RP, GASF, GADF 및 MTF 각각에 대해 3개의 채널들씩 12개일 수 있다. 분류 아키텍처는 위치 임베딩들을 추출하는 두 개의 컨볼루션 레이어들 및 분류를 위한 두 개의 완전히 연결된 레이어들을 포함할 수 있다. 예를 들어, CSL 건물에 대해 30개의 자기 랜드마크들이 결정될 수 있다. 따라서 출력 레이어는 30개의 뉴런들을 가질 수 있다(도 10a). 손실 함수는 교차 엔트로피 손실일 수 있다.
CNN+FC 회귀 모델로 칭해지는 제2 신경망의 경우 랜드마크 기반 분류가 직접 절대 위치 회귀로 대체된다. CNN+FC 회귀 모델은 랜드마크 분류 아키텍처를 복제하지만 출력 레이어는 단지 x-위치 및 y-위치(
Figure pat00069
및
Figure pat00070
)에 대해 2개의 뉴런들만 가질 수 있다. 대안적으로, 출력 레이어는 x-위치, y-위치 및 z-위치에 대해 3개의 뉴런들을 가질 수 있다. 목적 최소화 함수에 대해, MSE, MAE 또는 후버 손실이 사용될 수 있다. CNN+FC 회귀는 시스템을 자기장 지도 품질 및 선택된 랜드마크들에 독립적이게 만든다. 그러나 랜드마크 기반 및 CNN 기반 회귀 모델은 상이한 위치들에서의 유사한 자기 패턴들에 직면할 때 실패한다.
일 실시예에서, 상이한 위치들에서의 유사한 자기 패턴들을 명확하게 하기 위해 내비게이션 컨텍스트가 고려된다. 세 번째 신경망은 CNN+RNN 회귀 모델로 칭한다. 이 모델에서 FC 레이어들은 순환 레이어들로 대체된다. 순환 신경망(RNN)들은 순차적이고 규칙적인 타임스탬프 기반 데이터를 작업하는 데 사용될 수 있다. 학습 프로토콜은 RNN에 대해 변경될 수 있으며 데이터는 포인트별(point-by-point) 방식이 아닌 시도별(trial-by-trial) 방식으로 프로세싱될 수 있다. 각각의 트랙에 대해 위치 추정치들(
Figure pat00071
)이 순차적으로 생성되며, 이전 추정치들은 다음 위치(
Figure pat00072
)를 예측하는 역할을 한다.
CNN+RNN 회귀 모델은 다중 채널 CNN+RNN 심층 회귀 모델을 포함할 수 있다. CNN+RNN 회귀 모델은 위치 임베딩들을 추출하기 위해 컨볼루션 레이어들을 유지하지만 FC 레이어들은 순환 레이어들로 대체한다. 도 10b는 일 실시예에 따른 CNN+RNN 회귀 모델의 아키텍처를 도시한다. CNN+RNN 회귀 모델은 하나 이상의 컨볼루션 레이어들을 갖는 컨볼루션 신경망 및 GRU 셀들의 2-레이어 단방향 RNN과 같은 적어도 하나의 순환 레이어를 갖는 순환 신경망을 포함한다.
RNN은 다양한 길이의 입력 시퀀스들을 수용할 수 있다. 모델은 제1 타임스탬프와 연관된 자기장 데이터의 제1 그래픽 표현에 기초하여 위치를 예측함으로써 시작될 수 있다. 후속적으로, 모델은 제2 타임스탬프와 연관된 자기장 데이터의 제1 그래픽 표현 및 제2 그래픽 표현에 기초하여 다음 위치를 예측할 수 있다. 다음 위치는 각자의 이전 타임스탬프들 또는 이전에 결정된 위치들과 연관된 적어도 일부 그래픽 표현들에 기초하여 예측될 수 있다. 대안적으로, 다른 실내 측위 시스템들이 이전 위치들을 결정하기 위해 사용될 수 있으며, 이들은 이어서 센서 또는 사용자의 다음 위치를 예측하는 데 사용될 수 있다. RNN 레이어들에 대해 이전에 결정된 위치들 또는 이전에 생성된 그래픽 표현들의 최대 수는 미리 정의되거나 사용자에 의해 설정될 수 있다. 결과적으로, 모델은, 다음 예측을 위해, 이전에 결정된 위치들 또는 이전에 생성된 그래픽 표현들 전부 또는 10 내지 20개의 최대 수의 이전에 결정된 위치들 또는 이전에 생성된 그래픽 표현들의 시퀀스를 사용할 수 있다.
대안적인 센서들 및 위치추정 시스템들이, 예를 들어 Wi-Fi 또는 블루투스 신호들로부터 제1 위치(position) 또는 위치(location)를 결정하기 위해 사용될 수 있다. Wi-Fi 기반 위치추정의 평균 거리 오차는 2 내지 3미터이므로 이 오차는 시작 포인트 위치에 임의의 노이즈를 추가함으로써 학습 및 테스트 단계 모두에서 시뮬레이션될 수 있다.
모든 모델을 MagPie 데이터세트에 대해 평가하였다. 세 건물들, 즉 CSL, Loomis 및 Talbot은 상이한 레이아웃들과 상이한 위치추정의 복잡성을 갖는다. 학습 및 테스트 데이터세트들에 추가하여, 검증 데이터세트가 (신경망이 과적합(overfit)되기 시작할 때 학습을 중지하기 위한) 조기 중지를 위해 사용된다. CNN+FC 회귀 모델들은 CSL 건물에 대해 좋은 결과를 나타낸다. 모든 건물들, 3개 모델들과 1, 3, 9, 12개 채널들 모두에 대한 최상의 결과들이 표 1에 제시되어 있다. CNN+FC 랜드마크 기반 분류 모델은 분류를 위해 랜드마크들을 사용하며, 이는 건물들이 자기 이상들에서 크게 상이함을 확인했다. CSL에서만 좋은 결과들이 획득되었다. CNN+RNN 심층 회귀는 궤적 컨텍스트를 고려하며, 이는 패턴 모호성 문제를 해결하는 데 도움이 되고 위치추정 오류를 상당히 줄일 수 있다. 건물에 대한 CNN+RNN 모델들 결과들에 의한 예측들이 도 12에서 참조 부호(1230)으로 도시된다.
표 2는 세 건물들에 대한 세 가지 방법들의 성능을 요약한 것이다. 또한 이 표는 채널들의 수가 1개(RP의 경우 x), 3개(RP의 경우 x,y,z), 9개(RP, GASF 및 GADF의 경우 x,y,z) 또는 12개(모든 방법들의 경우 z,y,z)일 때의 위치추정 오류들을 보고한다. 결과들은 여러 채널들을 사용하는 것이 최종적으로 낮은 오류에 크게 기여한다는 것을 분명히 나타낸다.
건물 채널들의 수 CNN+FC
랜드마크들		 CNN+FC
회귀		 CNN+RNN
회귀
CSL 1 5.15 5.09 5.80
3 2.16 1.47 4.61
9 1.16 0.97 0.81
12 0.95 0.98 0.30
Loomis 1 8.13 8.50 7.36
3 6.62 6.72 2.51
9 5.77 6.16 1.15
12 4.62 5.05 1.07
Talbot 1 9.27 11.32 6.91
3 6.79 6.91 4.04
9 4.95 4.90 1.17
12 4.49 4.72 1.06
표 2: 1, 3, 9 및 12개의 채널들에 대한 심층 회귀 및 랜드마크 분류 방법들의 위치추정 오류[m]모든 모델들에 대해, 시작 포인트 추정은 학습 및 테스트 시도들 모두에 대해 노이즈가 있을 수 있다. 노이즈는 평균 0 m 및 분산 3 m의 정규 분포로 시뮬레이션될 수 있다. 모델은 하이퍼 파라미터들에 따라 학습될 수 있다. 하이퍼-파라미터들은 RNN 레이어들의 수, 쌍별 거리 메트릭, 시작 포인트들의 수, 시작 포인트 노이즈 및 교사 강제 확률을 포함할 수 있다.
본 출원의 실시예들은 자기장 데이터에 기초하여 절대 위치들을 예측하기 위한 다수의 개선 사항들을 제공하며, 자기장 시계열을 2D 표현으로 변환하여 CNN 기반 모델들을 사용하는 것을 가능하게 하는 것, 랜드마크들 없이 사용자의 위치의 심층 회귀로서 위치추정을 프로세싱하는 것, 및 알고리즘이 부트스트랩할 수 있게 하는 것을 포함한다.
실시예들은 자기 패턴 모호성으로 인해 발생하는 문제를, 시도 컨텍스트를 나타내는 센서 또는 사용자의 전체 궤적들을 고려함으로써, 그리고 RNN 레이어들이 뒤따르는 CNN 레이어들을 포함하는 신경망을 사용하여 해결한다. 자기장 패턴들의 모호성은 매우 유사하지만 건물의 매우 상이한 위치들에 있는 자기 패턴들을 구별하는 어려운 작업에 직면한 CNN+FN 모델들을 오작동하게 한다. 대신, 순환 모델들은 센서 및/또는 사용자의 궤적들의 컨텍스트를 내부 RNN 상태들로서 고려한다. 이는 순환 모델의 이전 상태들에 의해 주어지는 내비게이션 콘텐츠를 고려하여 패턴 위치들을 명확하게 하는 데 도움이 된다. 파이프라인의 개발 및 평가는 오프라인으로 수행할 수 있다. 제안된 모든 방법들이 정확한 모델들을 학습시키는 데 시간(및 메모리)를 필요로 하지만, 이들은 이미 관찰된 데이터로 네트워크를 피드-포워드하기 때문에 테스트 단계에서 온라인으로 실행될 수 있다.
RNN들을 사용할 때 한 가지 문제는 궤적들의 제1 포인트들에 대한 지연일 수 있다. 이 문제를 극복하기 위해, 더 작은 윈도우 크기를 가진 모델들이나 다음 포인트에 대한 궤적에서 더 적은 수의 포인트들을 결정하는 모델들이 사용될 수 있으며, 메인 모델이 예측에 필요한 데이터를 수집한 후 작은 모델은 스위치 오프될 수 있다.
RNN들의 다른 문제로는 테스트 시간에 궤적의 시작 포인트를 알아야 하고 시작 N초 동안 데이터를 축적해야 한다는 요구 사항이 있다. 이 부트스트래핑 문제에 대한 해결책으로서, RNN들은 다른 센서 데이터로부터의 제1 포인트들의 추정들(예를 들어, 압력 센서로부터의 바닥 추정 및 Wi-Fi 신호들로부터의 위치추정 추정)을 사용할 수 있다.
일부 특정 실시예들이 위에서 상세하게 기술되었지만, 실시예들의 의도된 범위를 벗어남이 없이 위의 교시에 비추어 그리고 첨부된 청구 범위들의 내용 내에서 실시예들의 다양한 수정들, 변경들 및 개선들이 이루어질 수 있음이 당업자에게 명백할 것이다. 또한, 당업자에게 친숙하다고 생각되는 분야들은 본 명세서에 기술된 실시예들을 불필요하게 모호하게 하지 않기 위해 본 명세서에 기술하지 않았다. 따라서, 실시예들은 특정 예시적인 실시예들에 의해 제한되는 것이 아니라, 첨부된 청구범위들의 범위에 의해서만 제한된다는 것을 이해해야 한다.
위의 실시예들이 방법 단계들의 맥락에서 설명되었지만, 그것들은 또한 대응하는 장치 또는 시스템의 대응하는 컴포넌트, 모듈 또는 특징의 설명을 나타낸다.
방법 단계들의 일부 또는 전부는 프로세서, 마이크로 프로세서, 전자 회로 또는 프로세싱 회로부에 의해(또는 그를 사용하여) 실행된다는 점에서 컴퓨터에 의해 구현될 수 있다.
전술된 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 컴퓨터 판독가능 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루-레이, CD, ROM, PROM 및 EPROM, EEPROM 및 플래시 메모리와 같은 비일시적 저장 매체를 사용하여 수행될 수 있다. 그러한 컴퓨터 판독가능 매체는 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있다.
일반적으로, 실시예들은 프로그램 코드 또는 컴퓨터 실행가능 명령어들을 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드 또는 컴퓨터 실행가능 명령어들은 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때 방법들 중 하나를 수행하도록 작동 가능하다. 프로그램 코드 또는 컴퓨터 실행가능 명령어들은 컴퓨터 판독가능 저장 매체에 저장될 수 있다.
일 실시예에서, 저장 매체(또는 데이터 캐리어 또는 컴퓨터 판독가능 매체)는, 프로세서에 의해 수행될 때, 본 명세서에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램 또는 컴퓨터 실행가능 명령어들을 저장한다. 추가의 실시예에서, 장치는 하나 이상의 프로세서들 및 위에 언급된 저장 매체를 포함한다.
추가의 실시예에서, 장치는 예컨대 메모리와 통신하는 프로세서와 같은 프로세싱 회로부와 같은 수단을 포함하고, 이 수단은 본 명세서에 기술된 방법들 중 하나를 수행하도록 구성되거나 적응된다.
추가의 실시예는 본 명세서에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램 또는 명령어들이 설치된 컴퓨터를 포함한다.
전술된 방법들 및 실시예들은 데이터 교환을 위한 인터넷과 같은 네트워크(1404)(무선 및/또는 유선일 수 있음)를 통해 통신하는 서버(1400) 및 하나 이상의 클라이언트 디바이스들(1402)을 포함하는 도 14에 예시된 것과 같은 아키텍처 내에서 구현될 수 있다. 서버(1400) 및 클라이언트 디바이스들(1402)은 데이터 프로세서(1412) 및 하드 디스크와 같은 메모리(1413)를 포함한다. 클라이언트 디바이스들(1402)은 자율 차량(1402b), 로봇(1402c), 컴퓨터(1402d), 또는 휴대 전화(1402e)를 포함하는, 서버(1400)와 통신하는 임의의 디바이스일 수 있다.
보다 정확하게는, 일 실시예에서, 도 1, 도 6 또는 도 8의 실시예에 따른 방법들은 서버(1400)에서 수행될 수 있다. 다른 실시예들에서, 도 1, 도 6 또는 도 8의 실시예들에 따른 방법들은 클라이언트 디바이스(1402)에서 부분적으로 또는 완전히 수행될 수 있다. 또 다른 실시예들에서, 방법들은 분산 방식으로 상이한 서버 또는 복수의 서버들에서 수행될 수 있다.

Claims (15)

  1. 센서 데이터로부터 실내 환경 내의 휴대용 전자 디바이스의 위치를 예측하는 컴퓨터 구현 방법에 있어서,
    휴대용 전자 디바이스의 적어도 하나의 절대 위치 예측을 생성하는 단계 - 상기 각각의 절대 위치 예측을 생성하는 단계는 상기 휴대용 전자 디바이스의 무선(radio) 신호 데이터 및/또는 자기장 데이터에 기초하고, 상기 적어도 하나의 절대 위치 예측을 생성하는 단계는 제1 속도로 반복됨 -;
    상기 휴대용 전자 디바이스의 변위 예측을 생성하는 단계 - 상기 변위 예측을 생성하는 단계는, 신경망에 의해, 상기 휴대용 전자 디바이스의 관성 센서 데이터에 기초하여 상기 변위 예측을 생성하는 단계를 포함하고, 상기 변위 예측을 생성하는 단계는 상기 제1 속도와 상이한 제2 속도로 반복됨 -; 및
    상기 적어도 하나의 변위 예측 및 상기 적어도 하나의 절대 위치 예측으로 이전에 예측된 위치를 업데이트함으로써 예측된 위치를 결정하는 단계를 포함하는, 컴퓨터 구현 방법.
  2. 제1항에 있어서, 상기 관성 센서 데이터로부터 상기 변위 예측을 생성하는 단계는 상기 관성 센서 데이터를 그래픽 표현으로 변환하는 단계를 포함하고, 상기 신경망은 컨볼루션 신경망, 양방향 순환 신경망 및 어텐션 레이어를 포함하는 신경망 중 적어도 하나를 포함하는, 컴퓨터 구현 방법.
  3. 제1항에 있어서, 상기 신경망은 변위 회귀를 위한 피드-포워드(feed-forward) 네트워크들 및 활동을 예측하기 위한 피드-포워드 네트워크를 포함하고, 예측된 상기 활동은 상기 변위 예측을 생성하기 위해 상기 변위 회귀를 보정하기 위해 이용되는, 컴퓨터 구현 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 적어도 하나의 절대 위치 예측을 생성하는 단계는 상기 무선 신호 데이터로부터 상기 절대 위치 예측을 생성하기 위해 학습된 변분 오토인코더(variational autoencoder)를 이용하는 단계를 포함하는, 컴퓨터 구현 방법.
  5. 휴대용 전자 디바이스의 센서 데이터로부터 위치를 예측하기 위한 기계 학습 시스템을 학습시키는 컴퓨터 구현 방법에 있어서,
    사용자 활동을 식별하는 것을 학습하도록 센서 학습 데이터의 서브세트로 모션 분류기를 학습시키는 단계 - 상기 학습 데이터는 궤적을 따라 상기 휴대용 전자 디바이스를 휴대하는 사용자에 의해 캡처된 관성 센서 데이터를 포함함 -;
    상기 센서 학습 데이터로부터 랜드마크들의 검출을 위한 랜드마크 분류기를 학습시키는 단계;
    상기 센서 학습 데이터에 어노테이트 하기 위한 수도-레이블들을 생성하는 단계 - 상기 수도-레이블들을 생성하는 단계는 상기 모션 분류기에 의해 식별된 사용자 활동 및 상기 랜드마크 분류기에 의해 식별된 랜드마크 위치들을 이용하는 단계를 포함하고, 상기 수도-레이블들을 생성하는 단계는, 상기 모션 분류기에 의해 식별된 상기 사용자 활동이 상기 사용자가 이동 중임을 나타낼 경우, 2개의 랜드마크 위치들 사이에서 위치들을 보간하는 단계를 포함함 -; 및
    상기 어노테이트된 학습 데이터로 신경망을 학습시키는 단계를 포함하는, 방법.
  6. 제5항에 있어서, 상기 랜드마크 분류기를 학습시키는 단계는 상기 관성 센서 데이터로부터 배향 벡터들을 추정하고 상기 배향 벡터들의 변화를 랜드마크 위치를 나타내는 것으로서 이용하는 단계를 포함하는, 컴퓨터 구현 방법.
  7. 자기장 데이터로부터 휴대용 전자 디바이스의 절대 위치를 예측하는 컴퓨터 구현 방법으로서, 상기 방법(800)은
    휴대용 전자 디바이스의 센서의 자기장 데이터에 기초하여 그래픽 표현들을 생성하는 단계 - 상기 자기장 데이터는 자기장 값들의 시계열을 포함함 -; 및
    신경망을 사용하여 상기 그래픽 표현들에 적어도 부분적으로 기초하여 상기 휴대용 전자 디바이스의 절대 위치를 결정하는 단계를 포함하며,
    상기 신경망은 하나 이상의 컨볼루션 레이어들을 포함하고, 상기 신경망은 상기 하나 이상의 컨볼루션 레이어들에 대한 다중 채널 입력을 포함하는, 컴퓨터 구현 방법.
  8. 제7항에 있어서, 상기 자기장 데이터에 기초하여 상기 그래픽 표현들을 생성하는 단계는
    상기 자기장 값들의 시계열의 자기장 값들의 서브세트를 선택하는 단계, 및
    상기 자기장 값들의 서브세트 또는 상기 자기장 값들의 서브세트의 투영을 하나 이상의 2차원 이미지들로 변환하는 단계를 포함하는, 컴퓨터 구현 방법.
  9. 제7항 또는 제8항에 있어서, 상기 그래픽 표현들은 반복 플롯(recurrence plot, RP), 그래미안 각도 합산 필드(Gramian Angular Summation Field, GASF), 그래미안 각도 차이 필드(Gramian Angular Difference Field, GADF), 및 마르코프 전이 필드(Markov Transition Field, MTF) 중 적어도 하나를 포함하는, 컴퓨터 구현 방법.
  10. 제7항 또는 제8항에 있어서, 상기 신경망은 하나 이상의 순환 레이어들을 포함하고, 상기 하나 이상의 순환 레이어들은 상기 하나 이상의 컨벌루션 레이어들을 따르고/따르거나
    제1 방법에 따라 생성된 제1 그래픽 표현 및 상기 제1 방법과 상이한 제2 방법에 따라 생성된 제2 그래픽 표현은 상기 하나 이상의 컨볼루션 레이어들에 대해 상기 다중 채널 입력에서 동시에 입력되고, 상기 제1 그래픽 표현과 상기 제2 그래픽 표현은 자기장 값의 동일한 세트로부터 획득되는, 컴퓨터 구현 방법.
  11. 제7항 또는 제8항에 있어서, 상기 신경망은 측위 시스템으로부터 획득된 하나 이상의 시작 위치들로 초기화되고/되거나
    상기 신경망은 건물 내의 지구 자기장의 특성들에 기초하여 학습되어 상기 건물 내의 상기 센서의 상기 위치를 결정하는, 컴퓨터 구현 방법.
  12. 제7항 또는 제8항에 있어서, 상기 휴대용 전자 디바이스의 절대 위치를 결정하는 단계는, 상기 신경망에서, 시각적 표현들 중 제1 타임스탬프와 연관된 시각적 표현들의 세트 및
    (i)하나 이상의 이전에 결정된 위치들,
    (ii)이전에 결정된 특징 벡터들, 및
    (iii)상기 제1 타임스탬프와 상이한 각자의 타임스탬프들과 연관된 시각적 표현들의 하나 이상의 세트들 중 적어도 하나를 입력하는 단계를 포함하고/하거나
    상기 방법은, 상기 센서에 의해, 상기 자기장 데이터를 생성하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  13. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 적어도 하나의 절대 위치 예측을 생성하는 단계는, 제7항의 상기 컴퓨터 구현 방법에 따라 상기 자기장 데이터로부터 상기 휴대용 전자 디바이스의 상기 절대 위치를 예측하는 단계를 포함하는, 컴퓨터 구현 방법.
  14. 하나 이상의 프로세서들(1412)을 포함하는 장치(1400, 1402)로서, 상기 하나 이상의 프로세서들(1412)은 제1항 내지 제3항 또는 제5항 내지 제8항 중 어느 한 항의 상기 방법(100)을 수행하도록 구성되는, 장치(1400, 1402).
  15. 하나 이상의 프로세서들(1412)에 의해 실행될 때, 제1항 내지 제3항 또는 제5항 내지 제8항의 상기 방법(100)을 수행하는 컴퓨터 실행가능 명령어들이 저장되는 하나 이상의 컴퓨터 판독가능 저장 매체(1413).
KR1020210143644A 2020-11-13 2021-10-26 실내 측위 및 추적을 위한 심층 스마트폰 센서 융합 KR20220065672A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20306380.5 2020-11-13
EP20306380.5A EP4001948A1 (en) 2020-11-13 2020-11-13 Deep smartphone sensors fusion for indoor positioning and tracking

Publications (1)

Publication Number Publication Date
KR20220065672A true KR20220065672A (ko) 2022-05-20

Family

ID=74285179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210143644A KR20220065672A (ko) 2020-11-13 2021-10-26 실내 측위 및 추적을 위한 심층 스마트폰 센서 융합

Country Status (4)

Country Link
US (1) US11927448B2 (ko)
EP (2) EP4001948A1 (ko)
JP (1) JP7339314B2 (ko)
KR (1) KR20220065672A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210282033A1 (en) * 2020-03-09 2021-09-09 Psj International Ltd. Positioning system for integrating machine learning positioning models and positioning method for the same
US20220338158A1 (en) * 2021-04-20 2022-10-20 Nec Laboratories America, Inc. Device tracking with radio ranging and sensor functions
CN115209341B (zh) * 2022-06-30 2024-10-08 南京捷希科技股份有限公司 一种基于信道状态信息的加权随机森林室内定位方法
US20240175974A1 (en) * 2022-11-30 2024-05-30 Sony Group Corporation Indoor positioning device and related method
CN117221846B (zh) * 2023-08-15 2024-05-17 广州视声智能股份有限公司 多蓝牙传感器的自组网方法及蓝牙网络

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469982B2 (en) * 2013-09-11 2019-11-05 Invensense, Inc. System and method for enhanced integrated navigation with wireless angle of arrival
US20150119086A1 (en) * 2013-10-25 2015-04-30 Alcatel-Lucent Usa Inc. Simultaneous localization and mapping systems and methods
US20160371394A1 (en) * 2015-06-22 2016-12-22 The Governing Council Of The University Of Toronto Indoor localization using crowdsourced data
JP6852310B2 (ja) * 2015-11-30 2021-03-31 株式会社リコー 慣性装置、プログラム、測位方法
US10408627B2 (en) * 2015-11-30 2019-09-10 Ricoh Company, Ltd. Inertial device to estimate position based on corrected movement velocity
US10429196B2 (en) * 2017-03-08 2019-10-01 Invensense, Inc. Method and apparatus for cart navigation
KR102601141B1 (ko) * 2018-06-22 2023-11-13 삼성전자주식회사 이미지 센서와 복수의 지자기 센서를 융합하여 위치 보정하는 이동 로봇 장치 및 제어 방법
GB2588572B (en) * 2019-03-20 2024-01-10 Navenio Ltd Transition Detection
EP3798918A1 (en) 2019-09-26 2021-03-31 Naver Corporation Using semi-supervised variational autoencoder for wi-fi-based indoor localization
US20230243658A1 (en) * 2020-07-07 2023-08-03 Ohio State Innovation Foundation Systems, Methods and Devices for Map-Based Object's Localization Deep Learning and Object's Motion Trajectories on Geospatial Maps Using Neural Network

Also Published As

Publication number Publication date
JP7339314B2 (ja) 2023-09-05
US20220155079A1 (en) 2022-05-19
JP2022078967A (ja) 2022-05-25
EP4194881A1 (en) 2023-06-14
US11927448B2 (en) 2024-03-12
EP4001948A1 (en) 2022-05-25

Similar Documents

Publication Publication Date Title
JP7339314B2 (ja) 室内測位および追跡のための深層スマートフォンセンサ融合
US10096129B2 (en) Three-dimensional mapping of an environment
Liu et al. Fusion of magnetic and visual sensors for indoor localization: Infrastructure-free and more effective
US8831872B2 (en) Apparatus and method for estimating location of mobile body and generating map of mobile body environment using upper image of mobile body environment, and computer readable recording medium storing computer program controlling the apparatus
US20160371394A1 (en) Indoor localization using crowdsourced data
CN110660083A (zh) 一种结合视频场景特征感知的多目标跟踪方法
EP3588129A1 (en) Apparatus and method with ego motion estimation
JP2020505614A (ja) １つ以上の慣性センサからの向き情報を補正する装置および方法
CN115699098A (zh) 使用比例图和三维模型的基于机器学习的对象标识
Skrzypczyński Mobile robot localization: Where we are and what are the challenges?
Antsfeld et al. Magnetic field sensing for pedestrian and robot indoor positioning
Ishihara et al. Deep radio-visual localization
CN115307641A (zh) 机器人定位方法、装置、机器人和存储介质
Tan et al. Implicit multimodal crowdsourcing for joint RF and geomagnetic fingerprinting
Rybski et al. Using visual features to build topological maps of indoor environments
Antsfeld et al. Deep smartphone sensors-WiFi fusion for indoor positioning and tracking
CN117990105A (zh) 一种基于云平台的智能医疗服务方法
CN115482252A (zh) 基于运动约束的slam闭环检测和位姿图优化方法
CA2894863A1 (en) Indoor localization using crowdsourced data
CN107665495B (zh) 对象跟踪方法及对象跟踪装置
Kim et al. InFo: indoor localization using fusion of visual information from static and dynamic cameras
Wen et al. Efficient indoor positioning with visual experiences via lifelong learning
Kim et al. Vision-based navigation with efficient scene recognition
Rybski et al. Appearance-based minimalistic metric SLAM
Jensen et al. Motion detection and path planning in dynamic environments

Legal Events

Date Code Title Description
E902 Notification of reason for refusal