JP7339314B2 - 室内測位および追跡のための深層スマートフォンセンサ融合 - Google Patents
室内測位および追跡のための深層スマートフォンセンサ融合 Download PDFInfo
- Publication number
- JP7339314B2 JP7339314B2 JP2021183842A JP2021183842A JP7339314B2 JP 7339314 B2 JP7339314 B2 JP 7339314B2 JP 2021183842 A JP2021183842 A JP 2021183842A JP 2021183842 A JP2021183842 A JP 2021183842A JP 7339314 B2 JP7339314 B2 JP 7339314B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- neural network
- computer
- magnetic field
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title description 11
- 230000005291 magnetic effect Effects 0.000 claims description 146
- 238000000034 method Methods 0.000 claims description 140
- 238000013528 artificial neural network Methods 0.000 claims description 96
- 238000012549 training Methods 0.000 claims description 60
- 238000006073 displacement reaction Methods 0.000 claims description 42
- 238000013527 convolutional neural network Methods 0.000 claims description 40
- 230000000694 effects Effects 0.000 claims description 29
- 125000004122 cyclic group Chemical group 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 13
- 230000007704 transition Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 238000013459 approach Methods 0.000 description 16
- 230000004807 localization Effects 0.000 description 14
- 238000005259 measurement Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 12
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 10
- 230000005294 ferromagnetic effect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 241001137251 Corvidae Species 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 229910052742 iron Inorganic materials 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000010200 validation analysis Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 241001143500 Aceraceae Species 0.000 description 2
- CWYNVVGOOAEACU-UHFFFAOYSA-N Fe2+ Chemical compound [Fe+2] CWYNVVGOOAEACU-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- LFEUVBZXUFMACD-UHFFFAOYSA-H lead(2+);trioxido(oxo)-$l^{5}-arsane Chemical compound [Pb+2].[Pb+2].[Pb+2].[O-][As]([O-])([O-])=O.[O-][As]([O-])([O-])=O LFEUVBZXUFMACD-UHFFFAOYSA-H 0.000 description 2
- 230000005389 magnetism Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 1
- 241001272996 Polyphylla fullo Species 0.000 description 1
- 241001479493 Sousa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0257—Hybrid positioning
- G01S5/0258—Hybrid positioning by combining or switching between measurements derived from different systems
- G01S5/02585—Hybrid positioning by combining or switching between measurements derived from different systems at least one of the measurements being a non-radio measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0257—Hybrid positioning
- G01S5/0263—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
- G01C21/188—Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0205—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
- G01V3/08—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with magnetic or electric fields produced or modified by objects or geological structures or by detecting devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S2205/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S2205/01—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
- G01S2205/02—Indoor
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Electromagnetism (AREA)
- Environmental & Geological Engineering (AREA)
- Geology (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Medical Informatics (AREA)
- Navigation (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Image Analysis (AREA)
Description
本開示は携帯用電子デバイスの室内測位および追跡に関する。
スマートフォン、タブレットコンピュータのような携帯用電子デバイスで位置基盤サービスが広く使われている。このようなサービスには携帯用電子デバイスに対する信頼性ある測位および追跡技術が必要である。ＧＰＳおよびガリレオ（Ｇａｌｉｌｅｏ）のような衛星測位システムは室外で信頼性ある測位を提供するが、完全に閉鎖されたり部分的に閉鎖され得る室内環境で匹敵するほどの測位正確度を達成することは依然として難しいことである。室内位置基盤サービスは、関連した社会的および商業的な利点を提供して正しい室内測位のための解決策を提供しなければならない技術的要求が増加する。
従来技術のスマートフォン基盤室内測位のための方法は、多様な条件において強みと弱点を示す。このような技術は一般的なスマートフォンに含まれた互いに異なるセンサを利用する。Ｗｉ－Ｆｉセンサおよびブルートゥース（登録商標）センサのようなネットワークセンサは、室内環境内に分散した多様なアクセスポイントから携帯用電子デバイスの位置を推定するためのＲＳＳフィンガープリントとして利用され得る、室内の位置で受信された信号強度を推定するために利用され得る。
Ｗｉ－Ｆｉフィンガープリント認識はスマートフォン基盤室内測位のために最も広く使われる技術である（非特許文献１乃至５）。測位は測定されたＷｉ－Ｆｉフィンガープリントを以前に収集された基準フィンガープリントとマッチングすることによって遂行される。最近接するようにマッチングされる基準フィンガープリントに関連した位置が位置推定値として返還される。位置推定は基準データがない領域で外挿できるガウスプロセスを使って改善され得る簡単な最近傍マッチング（ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｒ ｍａｔｃｈｉｎｇ）（非特許文献２）に基づくことができ、これは非特許文献６に記述された通りである。正確な測位を算出するためにＷｉ－Ｆｉフィンガープリントは稠密に記録されなければならず、正確な位置でアノテート（ａｎｎｏｔａｔｅ）されなければならない。アノテートされた無線（ｒａｄｉｏ）の希少性の問題は非特許文献７によって、半教師あり学習接近法に基づいてする効率的なフィンガープリント学習方法を利用することによって解決された。他の接近法は非特許文献８で、ラプラシアンエンベデッド回帰最小自乗（Ｌａｐｌａｃｉａｎ ｅｍｂｅｄｄｅｄ ｒｅｇｒｅｓｓｉｏｎ ｌｅａｓｔ ｓｑｕａｒｅ）接近法で算出されたラベリングされていないデータに対する疑似ラベル（ｐｓｅｕｄｏ－ｌａｂｅｌ）を利用して位置推定（ｌｏｃａｌｉｚａｔｉｏｎ）のための半教師あり方法を利用することによって提案された。アノテートされた無線データの欠如に対するさらに他の解決策は、非特許文献９で、Ｗｉ－Ｆｉ基盤位置予測のための変分オートエンコーダ学習を提案することによって記述される。
Ｗｉ－Ｆｉおよびブルートゥースデータを使う室内測位用接近法はインフラ依存的である。したがって、優秀な性能を達成するためにこのようなシステムは、カバレッジが広い多数のアクセスポイントが必要である。さらに、ＲＳＳ変動が激しいとたびたび不正確な位置推定結果が示され、２～３ｍの位置推定エラーが発生する。
位置推定システムの他の範疇はインフラ独立的（ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｆｒｅｅ）である（非特許文献１０）。この範疇には慣性測定装置（ＩＭＵ）および磁力計に基づく測位システムが含まれる。このようなセンサは位置推定に一般的に使われる他のセンサに比べて費用上の利点を有する。歩行者推測航法（Ｐｅｄｅｓｔｒｉａｎ Ｄｅａｄ Ｒｅｃｋｏｎｉｎｇ、ＰＤＲ）システムはモバイル電話の加速度計とジャイロスコープを活用してユーザーの経路を追跡する。ＰＤＲシステムは相対位置のみ提供することができ、開始位置を必要とする。鉄要素（壁、柱、窓）を含む要素はたびたび磁場基盤接近法に活用され得る固有な磁気異常（ｍａｇｎｅｔｉｃ ａｎｏｍａｌｙ）を生成する。
ＰＤＲ接近法は加速度計、ジャイロスコープおよび磁力計のデータストリームからの歩数の検出、歩幅（ｓｔｅｐ ｌｅｎｇｔｈ）の推定およびユーザーの進行方向の推定を結合することに依存する。ＰＤＲは短距離で正確な測位を達成できるものの、長距離ではドリフト（ｄｒｉｆｔ）が発生し得る。ＰＤＲ接近法は歩数の検出、歩幅の推定および進行方向の決定に依存する。最新の技術によると、ＰＤＲ接近法は多くのパラメータの調整を経ることになるが、その理由は歩幅が背丈、年齢などのようなユーザーの特性によって変わるか同じユーザーであってもユーザーの活動によって異なり得るためである。ピーク検出、フラットゾーン（ｆｌａｔ ｚｏｎｅ）検出およびゼロクロッシング（ｚｅｒｏ ｃｒｏｓｓｉｎｇ）検出のような最新技術の歩数検出アルゴリズムも多くのパラメータチューニングに依存する（非特許文献１１）。
ＡＭＩＤ方法（非特許文献１２）は深層ニューラルネットワークを使って磁気シーケンスパターンを認識する室内測位システムを提案する。特徴が磁気シーケンスから抽出され、深層ニューラルネットワークは周辺の磁気ランドマークによって生成されたパターンに基づいてシーケンスを分類するのに使われる。しかし、類似する磁気シグネチャが非常に異なる位置にある場合、この方法は失敗する。同一の強磁性物体によって同一の磁気異常が異なる位置に存在し得るため、センサの位置が正確に検出され得ない。
したがって、Ｗｉ－Ｆｉ基盤測位方法とＰＤＲはいずれも深刻な限界がある。測位の正確度を向上させるために、次のように、特定のセンサパターンに基づいたランドマークの識別が提案された［非特許文献１３および非特許文献１４。同様に、非特許文献１５はＷｉ－Ｆｉ測位、ＰＤＲおよびランドマーク検出の融合を提案する。
したがって、無線信号データおよび／または磁場データから携帯用電子デバイスの絶対位置を正確に予測する改善された方法に対する必要性がある。
Ｄａｖｉｄｓｏｎ ａｎｄ Ｐｉｃｈｅ：「Ａ ｓｕｒｖｅｙ ｏｆ ｓｅｌｅｃｔｅｄ ｉｎｄｏｏｒ ｐｏｓｉｔｉｏｎｉｎｇ ｍｅｔｈｏｄｓ ｆｏｒ Ｓｍａｒｔｐｈｏｎｅｓ」、ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｕｒｖｅｙｓ Ｔｕｔｏｒｉａｌｓ、１９（２）：１３４７－１３７０
Ｇｒｅｓｓｍａｎｎ ｅｔ ａｌ．：Ｔｏｗａｒｄｓ ｕｂｉｑｕｉｔｏｕｓ ｉｎｄｏｏｒ ｌｏｃａｔｉｏｎ ｂａｓｅｄ ｓｅｒｖｉｃｅｓ ａｎｄ ｉｎｄｏｏｒ ｎａｖｉｇａｔｉｏｎ．Ｉｎ ７ｔｈ Ｗｏｒｋｓｈｏｐ ｏｎ Ｐｏｓｉｔｉｏｎｉｎｇ Ｎａｖｉｇａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＷＰＮＣ、ｐａｇｅｓ １０７ー１１２．ＩＥＥＥ、２０１０
Ｋｈａｌａｊｍｅｈｒａｂａｄｉ ｅｔ ａｌ．：「Ｍｏｄｅｒｎ Ｗｌａｎ ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ ｉｎｄｏｏｒ ｐｏｓｉｔｉｏｎｉｎｇ ｍｅｔｈｏｄｓ ａｎｄ ｄｅｐｌｏｙｍｅｎｔ ｃｈａｌｌｅｎｇｅｓ」、ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｕｒｖｅｙｓ Ｔｕｔｏｒｉａｌｓ、１９（３）：１９７４－２００２、２０１７
Ｍａ ｅｔ ａｌ．：「Ｗｉｆｉ ｓｅｎｓｉｎｇ ｗｉｔｈ ｃｈａｎｎｅｌ ｓｔａｔｅ ｉｎｆｏｒｍａｔｉｏｎ：Ａ ｓｕｒｖｅｙ」、ＡＣＭ Ｃｏｍｐｕｔ．Ｓｕｒｖ．、５２（３）：４６：１－４６：３６、Ｊｕｎｅ ２０１９
Ｗａｎｇ ｅｔ ａｌ．：「Ｐｅｄｅｓｔｒｉａｎ Ｓｔｒｉｄｅ－Ｌｅｎｇｔｈ Ｅｓｔｉｍａｔｉｏｎ Ｂａｓｅｄ ｏｎ ＬＳＴＭ ａｎｄ Ｄｅｎｏｉｓｉｎｇ Ａｕｔｏｅｎｃｏｄｅｒｓ」、Ｓｅｎｓｏｒｓ、１９（４）、２０１９
Ｆｅｒｒｉｓ ｅｔ ａｌ．：「Ｗｉｆｉ－ｓｌａｍ ｕｓｉｎｇ ｇａｕｓｓｉａｎ ｐｒｏｃｅｓｓ ｌａｔｅｎｔ ｖａｒｉａｂｌｅ ｍｏｄｅｌｓ」、ｉｎ：Ｐｒｏｃ．２０ｔｈ Ｉｎｔｅｒｎ．Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＩＪＣＡＩ）、ｐａｇｅｓ ２４８０－２４８５、２００７
Ｙｕａｎｅｔ ｅｔ ａｌ．、「Ｅｆｆｉｃｉｅｎｔ Ｗｉｆｉ ｆｉｎｇｅｒｐｒｉｎｔ ｔｒａｉｎｉｎｇ ｕｓｉｎｇ ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ」、ｉｎ：Ｕｂｉｑｕｉｔｏｕｓ Ｐｏｓｉｔｉｏｎｉｎｇ Ｉｎｄｏｏｒ Ｎａｖｉｇａｔｉｏｎ ａｎｄ Ｌｏｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅ、ｐａｇｅｓ １４８－１５５、２０１４
Ｙｏｏ ａｎｄ Ｊｏｈａｎｓｓｏｎ、「Ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｆｏｒ ｍｏｂｉｌｅ ｒｏｂｏｔ ｌｏｃａｌｉｚａｔｉｏｎ ｕｓｉｎｇ ｗｉｒｅｌｅｓｓ ｓｉｇｎａｌ ｓｔｒｅｎｇｔｈｓ」、ｉｎ：Ｉｎｔｅｒｎ．Ｃｏｎｆ．Ｉｎｄｏｏｒ Ｐｏｓｉｔｉｏｎｉｎｇ ａｎｄ Ｉｎｄｏｏｒ Ｎａｖｉｇａｔｉｏｎ（ＩＰＩＮ）、ｐａｇｅｓ １－８、２０１７
Ｃｈｉｄｌｏｖｓｋｉｉ ａｎｄ Ａｎｔｓｆｅｌｄ、「Ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｖａｒｉａｔｉｏｎａｌ ａｕｔｏｅｎｃｏｄｅｒ ｆｏｒ Ｗｉｆｉ ｉｎｄｏｏｒ ｌｏｃａｌｉｚａｔｉｏｎ」、ｉｎ：Ｉｎｔｅｒｎ．Ｃｏｎｆ．Ｉｎｄｏｏｒ Ｐｏｓｉｔｉｏｎｉｎｇ ａｎｄ Ｉｎｄｏｏｒ Ｎａｖｉｇａｔｉｏｎ（ＩＰＩＮ）、ｐａｇｅｓ １－８．ＩＥＥＥ、２０１９
Ｇｕ ｅｔ ａｌ．：「Ｉｎｄｏｏｒ ｌｏｃａｌｉｚａｔｉｏｎ ｉｍｐｒｏｖｅｄ ｂｙ ｓｐａｔｉａｌ ｃｏｎｔｅｘｔ？ ａ ｓｕｒｖｅｙ」、ＡＣＭ Ｃｏｍｐｕｔ．Ｓｕｒｖ．、５２（３）：６４：１－６４：３５、Ｊｕｌｙ ２０１９］
Ｓｈｉｎ ｅｔ ａｌ．：「Ａｄａｐｔｉｖｅ ｓｔｅｐ ｌｅｎｇｔｈ ｅｓｔｉｍａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｕｓｉｎｇ ｌｏｗ－ｃｏｓｔ ｍｅｍｓ ｉｎｅｒｔｉａｌ ｓｅｎｓｏｒｓ」、ｉｎ：ＩＥＥＥ Ｓｅｎｓｏｒｓ Ａｐｐｌｉｃａｔｉｏｎｓ Ｓｙｍｐｏｓｉｕｍ、ｐａｇｅｓ １－５、２００７
Ｌｅｅ ｅｔ ａｌ．：「Ａｃｃｕｒａｔｅ ｍａｇｎｅｔｉｃ ｉｎｄｏｏｒ ｌｏｃａｌｉｚａｔｉｏｎ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ」、Ｓｅｎｓｏｒｓ、２０１８
Ｓｏｕｓａ Ｌｉｍａ ｅｔ ａｌ．：「Ｈｕｍａｎ ａｃｔｉｖｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｉｎｅｒｔｉａｌ ｓｅｎｓｏｒｓ ｉｎ ａ ｓｍａｒｔｐｈｏｎｅ：Ａｎ ｏｖｅｒｖｉｅｗ」、Ｓｅｎｓｏｒｓ、１９（１４）：３２１３、２０１９
Ｗａｎｇ ｅｔ ａｌ．：「Ｉｎｄｏｏｒ ｌｏｃａｌｉｚａｔｉｏｎ ｕｓｉｎｇ ｓｍａｒｔｐｈｏｎｅ ｍａｇｎｅｔｉｃ ａｎｄ ｌｉｇｈｔ ｓｅｎｓｏｒｓ：ａ ｄｅｅｐ ＬＳＴＭ ａｐｐｒｏａｃｈ」、ＭＯＮＥＴ、２５（２）：８１９－８３２、２０２０
Ｄｅｎｇ ｅｔ ａｌ．：「Ｃｏｎｔｉｎｕｏｕｓ ｉｎｄｏｏｒ ｐｏｓｉｔｉｏｎｉｎｇ ｆｕｓｉｎｇ ｗｉｆｉ、ｓｍａｒｔｐｈｏｎｅ ｓｅｎｓｏｒｓ ａｎｄ ｌａｎｄｍａｒｋｓ」、Ｓｅｎｓｏｒｓ １６（０９）、２０１６
最新技術の問題を解決するために、室内測位のためのスマートフォン慣性センサ、磁場データおよびＷｉ－Ｆｉ測定を融合するための新しいセンサ融合フレームワークが開示され、これは磁場データから携帯用電子デバイスの絶対位置を予測する新しい接近法を含む。
一実施例において、センサデータから室内環境内の携帯用電子デバイスの位置を予測するコンピュータの具現方法が提供される。コンピュータの具現方法は、携帯用電子デバイスの少なくとも一つの絶対位置予測を生成する段階を含み、それぞれの絶対位置予測を生成する段階は無線信号データおよび／または磁場データに基づき、少なくとも一つの絶対位置予測を生成する段階は第１速度で繰り返される。方法は携帯用電子デバイスの変位予測を生成する段階を含み、変位予測を生成する段階は、ニューラルネットワークによって、携帯用電子デバイスの慣性センサデータから変位予測を生成する段階を含み、変位予測を生成する段階は第１速度と異なる第２速度で繰り返される。方法は、少なくとも一つの変位予測および少なくとも一つの絶対位置予測で以前に予測された位置をアップデートすることによって予測された位置を決定する段階をさらに含むことができる。
他の実施例によると、携帯用電子デバイスのセンサデータから位置を予測するための機械学習システムを学習させるコンピュータの具現方法が開示される。方法は、ユーザーの活動を識別することを学習するようにセンサ学習データのサブセットでモーション分類器を学習させる段階－学習データは軌跡に沿って携帯用電子デバイスを携帯するユーザーによってキャプチャーされた慣性センサデータを含む－、センサ学習データからランドマークの検出のためのランドマーク分類器を学習させる段階、およびセンサ学習データにアノテートするための疑似ラベルを生成する段階を含むことができる。疑似ラベルを生成する段階はモーション分類器によって識別されたユーザーの活動およびランドマーク分類器によって識別されたランドマーク位置を利用する段階を含み、疑似ラベルを生成する段階は、モーション分類器によって識別されたユーザーの活動がユーザーが移動中であることを示す場合、２個のランドマーク位置の間で位置を補間する段階を含む。方法はアノテートされた学習データでニューラルネットワークを学習させる段階をさらに含むことができる。
一実施例において、磁場データから携帯用電子デバイスの絶対位置を予測するコンピュータの具現方法は、携帯用電子デバイスのセンサの磁場データに基づいてグラフィック表現を生成する段階、およびニューラルネットワークを使ってグラフィック表現に少なくとも部分的に基づいて携帯用電子デバイスの絶対位置を決定する段階を含む。磁場データは磁場値の時系列を含む。ニューラルネットワークは一つ以上の畳み込み層および一つ以上の畳み込み層に対する多重チャネル入力を含む。
一つ以上の畳み込み層および一つ以上の畳み込み層に対する多重チャネル入力を含むニューラルネットワークを利用して、グラフィック表現に少なくとも部分的に基づいて携帯用電子デバイスの絶対位置を決定することによって、正確な方式で携帯用電子デバイスの絶対位置を決定する改善された方法が提供される。
追加の実施例において、コンピュータ実行可能命令語が保存されたコンピュータ読み取り可能保存媒体が提供される。一つ以上のプロセッサによって実行される時、コンピュータ実行可能命令語は前述した携帯用電子デバイスの絶対位置を予測する方法を遂行する。
追加の実施例において、プロセッシング回路部を含む装置が提供される。プロセッシング回路部は前述した携帯用電子デバイスの絶対位置を予測する方法を遂行するように構成される。
次の詳細な説明および添付図面は本発明の特性および利点に対するより詳細な理解を提供する。
添付された図面は、実施例の原理を説明する目的で本明細書に統合されてその一部を形成する。図面はそれらがどのように作られて使われ得るかに対する、例示され記述された実施例にのみ実施例を制限するものと解釈されてはならない。追加の特徴および利点は、添付図面に例示された通り、以下の実施例の説明およびさらに具体的な部分で明白となるであろう。
少なくとも一つの実施例に係る、室内位置推定のための方法のプロセスフローチャートを図示する。
実施例に係る、室内位置推定のためのシステムを図示する。
実施例に係る、ＰＤＲのためのニューラルネットワークのブロック図を図示する。
他の実施例に係る、ＰＤＲのためのニューラルネットワークに対するブロック図を図示する。
実施例に係る、センサデータをグラフィック表現に変換することを図示する。
実施例に係る、ＰＤＲのためのニューラルネットワークを学習させるための方法のプロセスフローチャートを図示する。
実施例に係る、ＰＤＲのためのニューラルネットワークを学習させるために利用される例示的な学習経路に対するセンサデータを図示する。
実施例に係る、ＰＤＲのためのニューラルネットワークを学習させるために利用される例示的な学習経路に対するセンサデータを図示する。
少なくとも一つの実施例に係る、室内位置推定のための方法のプロセスフローチャートを図示する。
モバイル電話に関連した例示的な基準フレームおよび回転角度を図示する。
実施例に係る例示的なニューラルネットワークアーキテクチャーを図示する。
実施例に係る例示的なニューラルネットワークアーキテクチャーを図示する。
従来の位置予測を有する一実施例により生成された位置予測を図示する。
少なくとも一つの実施例に係る、室内位置推定のための方法のプロセスフローチャートを図示する。
一実施例に係る、ランドマークを選択するための方法のプロセスフローチャートを図示する。
開示された方法が遂行され得る例示的なアーキテクチャーを図示する。
＜発明の概要＞
実施例において、第２速度は第１速度より速い。方法は複数の繰り返された変位予測および少なくとも一つの絶対位置予測で以前に予測された位置をアップデートすることによって予測された位置のシーケンスを決定する段階をさらに含むことができる。
一態様によると、慣性センサデータから変位予測を生成する段階は慣性センサデータをグラフィック表現に変換する段階を含む。ニューラルネットワークは畳み込みニューラルネットワーク（ＣＮＮ）、双方向循環ニューラルネットワーク（ＲＮＮ）およびアテンションレイヤを含むニューラルネットワークのうち少なくとも一つを含むことができる。
他の態様によると、ニューラルネットワークは変位回帰のためのフィード－フォワード（ｆｅｅｄ－ｆｏｒｗａｒｄ）ネットワークおよび活動を予測するためのフィード－フォワードネットワークを含み、予測された活動は変位予測を生成するために変位回帰を補正するために利用される。
一実施例によると、少なくとも一つの絶対位置予測を生成する段階は、無線信号データから絶対位置予測を生成するために学習された変分オートエンコーダ（ｖａｒｉａｔｉｏｎａｌ ａｕｔｏｅｎｃｏｄｅｒ、ＶＡＥ）を利用する段階を含む。
一態様によると、ランドマーク分類器を学習させる段階は、慣性センサデータから配向ベクトルを推定し、配向ベクトルの変化をランドマーク位置を示すものとして利用する段階を含む。
一態様において、磁場データに基づいてグラフィック表現を生成する段階は、磁場値の時系列の磁場値のサブセットを選択する段階、および磁場値のサブセットまたは磁場値のサブセットの投影を一つ以上の２次元イメージに変換する段階を含む。グラフィック表現は反復プロット（Ｒｅｃｕｒｒｅｎｃｅ ｐｌｏｔ、ＲＰ）、グラミアン角度合算フィールド（Ｇｒａｍｉａｎ Ａｎｇｕｌａｒ Ｓｕｍｍａｔｉｏｎ Ｆｉｅｌｄ、ＧＡＳＦ）および／またはグラミアン角度差フィールド（Ｇｒａｍｉａｎ Ａｎｇｕｌａｒ Ｄｉｆｆｅｒｅｎｃｅ Ｆｉｅｌｄ、ＧＡＤＦ）のようなグラミアン角度フィールド、およびマルコフ遷移フィールド（Ｍａｒｋｏｖ Ｔｒａｎｓｉｔｉｏｎ Ｆｉｅｌｄｓ、ＭＴＦ）のうち少なくとも一つを含むことができる。
一態様において、ニューラルネットワークは一つ以上のゲーテッド循環ユニット（ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ）のような一つ以上の循環レイヤを含むことができる。一つ以上の循環レイヤは一つ以上の畳み込み層に従うことができる。ニューラルネットワークは建物内の地球磁場の特性に基づいて学習されて建物内のセンサの位置を決定することができる。第１方法により生成され得る第１グラフィック表現および第１方法と異なる第２方法により生成された第２グラフィック表現は、一つ以上の畳み込み層に対する多重チャネル入力で同時に入力され、第１グラフィック表現と第２グラフィック表現は磁場値の同一のセットから獲得される。第１方法および第２方法は反復プロット（ＲＰ）、グラミアン角度合算フィールド（ＧＡＳＦ）および／またはグラミアン角度差フィールド（ＧＡＤＦ）のようなグラミアン角度フィールド、またはマルコフ遷移フィールド（ＭＴＦ）を生成する方法であり得る。
各態様によると、方法は室内測位システムのような測位システムから獲得された一つ以上の開始位置でニューラルネットワークを初期化する段階をさらに含む。テストのためにニューラルネットワークはノイズがあるグラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）ポイントまたは位置で初期化され得る。
各態様によると、方法は、センサによって、磁場データを生成する段階をさらに含むことができる。携帯用電子デバイスの絶対位置を決定する段階は、視覚的表現のうち第１タイムスタンプに関連した視覚的表現のセットおよび次のうち少なくとも一つを入力する段階を含むことができる：（ｉ）一つ以上の以前に決定された位置、（ｉｉ）以前に決定された特徴ベクトル、および（ｉｉｉ）第１タイムスタンプと異なる各自のタイムスタンプに関連した視覚的表現の一つ以上のセット。
＜発明の詳細な説明＞
本明細書では室内位置推定のためのシステムおよび方法に対して記述する。説明を目的として、記述された実施例の完全な理解を提供するために多くの例および特定の詳細事項が提示される。請求項によって定義されたような実施例はこれらの例の特徴のうち一部又は全部を、単独でまたは以下に記述された他の特徴らと組み合わせて含むことができ、本明細書に記述された特徴および概念の修正および同等物をさらに含むことができる。例示された実施例は、要素および構造が参照番号で表示される図面を参照して記述されるであろう。また、実施例が方法である場合、方法の段階および要素は並列または順次的実行で組み合わせられ得る。これらが矛盾しない限り、以下で記述されるすべての実施例は互いに組み合わせられ得る。
本開示の態様はスマートフォン慣性センサおよびＷｉ－Ｆｉ測定を融合する新しいセンサ融合フレームワークで室内測位および追跡問題を解決する。歩行者推測航法に対する深層学習接近法が提案される。本開示は生センサデータからユーザーモーション状態およびランドマークを検出し、このような分類を利用して疑似ラベルを生成することによってＰＤＲのための神経モデルを学習させるための大容量のアノテートされたデータセットを生成するための方法をさらに含む。
本開示に記述されたシステムおよび方法はＩＰＩＮ ２０１９ Ｉｎｄｏｏｒ Ｌｏｃａｌｉｚａｔｉｏｎ Ｃｏｍｐｅｔｉｔｉｏｎ：Ｔｒａｃｋ ３－Ｓｍａｒｔｐｈｏｎｅ－ｂａｓｅｄ（ｈｔｔｐ：／／ｉｎｄｏｏｒｌｏｃ．ｕｊｉ．ｅｓ／ｉｐｉｎ２０１９ｔｒａｃｋ３／で利用可能）のオフライン設定に対して評価されたし、これは従来の現代スマートフォンを所持して人が歩いた経路をスマートフォンセンサの読み取り値に基づいて再現する作業を伴う。
本発明の追加の態様は、移動電話センサのようなセンサによって提供される磁場データを使って室内位置推定の問題を解決する。室内環境で磁気異常は異なる強磁性物体によって生成され得る。一態様において、室内磁気異常による地球磁場の変化は、多変数（ｍｕｌｔｉ－ｖａｒｉａｔｅ）時系列でキャプチャーおよび変換され得る。視覚的パターンで時間的パターンを変換するのに多様な技術が使われ得る。例えば、反復プロット、グラミアン角度フィールドおよびマルコフ遷移フィールド（Ｍａｒｋｏｖ Ｔｒａｎｓｉｔｉｏｎ Ｆｉｅｌｄ）を使って磁場時系列をイメージシーケンスで示すことができる。一態様において、畳み込みおよび循環レイヤを結合することによってランドマーク基盤分類がセンサ位置または関連したユーザー位置に対する深層回帰で補完され得る。一態様において、ニューラルネットワークの予測はノイズがある開始推定でブートストラップ（ｂｏｏｔｓｔｒａｐｐｅｄ）され得る。
本発明の実施例を磁場基盤位置推定方法を評価するためのＭａｇＰｉｅデータセットに対してテストした（［Ｄａｖｉｄ Ｈａｎｌｅｙ、Ａｌｅｘａｎｄｅｒ Ｂ．Ｆａｕｓｔｉｎｏ、Ｓｃｏｔｔ Ｄ．Ｚｅｌｍａｎ、Ｄａｖｉｄ Ａ．Ｄｅｇｅｎｈａｒｄｔ、ａｎｄ Ｔｉｍｏｔｈｙ Ｂｒｅｔｌ．Ｍａｇｐｉｅ：「Ａ ｄａｔａｓｅｔ ｆｏｒ ｉｎｄｏｏｒ ｐｏｓｉｔｉｏｎｉｎｇ ｗｉｔｈ ｍａｇｎｅｔｉｃ ａｎｏｍａｌｉｅｓ」、Ｅｉｇｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ Ｉｎｄｏｏｒ Ｐｏｓｉｔｉｏｎｉｎｇ ａｎｄ Ｉｎｄｏｏｒ Ｎａｖｉｇａｔｉｏｎ（ＩＰＩＮ）、２０１７］）。
図１は、室内位置推定のための方法１００のフローチャートを図示する。方法１００は、携帯用電子デバイスの内蔵センサによって提供されるセンサデータから室内環境内のスマートフォンのような携帯用電子デバイスの位置を予測するために利用され得る。
方法１００は、無線信号データおよび／または磁場データから、または専用センサによって感知された類似する物理的環境データから携帯用電子デバイスの絶対位置に対する予測を生成する段階１１０を含む。携帯用電子デバイスには一般的に無線信号をキャプチャーするように構成されたＷｉ－Ｆｉセンサが装着されている。Ｗｉ－ＦｉセンサはＷｉ－Ｆｉアクセスポイントのような隣り合う無線アクセスポイントからＲＳＳデータを生成するように構成される。一般的にＷｉ－Ｆｉデータの収集のための時間間隔は、４秒に一度のように比較的長い。
無線信号データから絶対位置に対する予測を生成する段階は、第１速度で繰り返され得、磁場データから絶対位置に対する予測を生成する段階は、第１速度より大きくてもよい第２速度で繰り返され得る。
一実施例において、Ｗｉ－Ｆｉデータから絶対位置予測を生成する段階は、低費用で収集されたアノテートされていないＷｉ－ＦｉデータをアノテートされたＷｉ－Ｆｉデータの制限されたセットと結合する半教師あり学習パラダイムに基づき得る。一実施例において、欧州特許出願第１９３０６２０４．９号に記述された通り、ＶＡＥに基づいた方法が利用される。ＶＡＥエンコーダ－デコーダアーキテクチャーは獲得したＲＳＳデータを潜在変数にマッピングするエンコーダを含み、使用可能なラベリングされたデータの回帰子役割をする。ＶＡＥデコーダはラベリングされたデータとラベリングされていないデータに対する正規化器として機能する。予測された位置を生成するための潜在変数を利用するために分類ニューラルネットワークが利用され得る。
追加的にまたは代案として、絶対位置予測を生成する段階は、図８～図１０、図１２および図１３を参照して以下でさらに詳細に説明されるように磁場データを利用することに基づき得る。
方法１００は、学習されたニューラルネットワークに入力された慣性センサデータを利用して変位予測を生成する段階１２０をさらに含む。慣性センサデータは一般的に装置のＩＭＵセンサで高い速度で提供され、学習されたニューラルネットワークが高い速度でローカル変位予測（Δｘ、Δｙ）を生成するようにする。高い速度は無線信号データから絶対位置予測を繰り返す第１速度および磁場データから絶対位置を予測する第２速度より大きいこともある。
実施例で、段階１２０は慣性センサデータをグラフィック表現に変換する段階を含むことができ、グラフィック表現は学習されたニューラルネットワークに入力されて水平変位予測（Δｘ、Δｙ）を生成する。気圧計センサデータが垂直変位予測（Δｚ）を生成するために利用され得る。
以下でさらに詳細に記述される実施例によると、変位予測のためのニューラルネットワークはＣＮＮまたはＲＮＮを含むことができる。他の実施例によると、センサデータのグラフィック表現は反復マトリクス（ｒｅｃｕｒｒｅｎｃｅ ｍａｔｒｉｘ）を構築することに基づき得る。
方法１００は、以前に予測された位置を変位予測および／または絶対位置予測でアップデートすることによって位置を予測する段階１３０をさらに含む。絶対位置予測は一般的に相対的に低い速度で利用可能である反面変位予測は一般的に高い速度で生成されるため、予測された位置を変位予測のみでアップデートすることは高い速度で遂行され得る反面、予測された位置を絶対位置予測でアップデートすることは低い速度で遂行され得る。予測された位置のシーケンスは複数の変位予測を少なくとも一つの絶対位置予測と融合することによって決定され得る。変位予測に加え、少なくとも一つの絶対位置予測を利用すれば正確度を向上させることができるが、その理由は絶対位置予測が複数の変位予測を合算して発生する予測の体系的ドリフトを補正することができるためである。
実施例で、予測された位置を生成するように絶対位置予測と変位予測を融合するためにカルマン（Ｋａｌｍａｎ）フィルタに基づき得る。カルマンフィルタ基盤接近法を利用するのはリソースが制限されたスマートフォンに特に適合であるが、その理由は計算的に軽いためである。実施例で、カルマンフィルタは高い速度で生成されたＰＤＲ予測と相対的に低い速度で生成された絶対位置予測を結合するためのセンサ融合フレームワークとして利用され得る。実施例で、カルマンフィルタは［Ｃｈｅｎ、「Ｆｕｓｉｏｎ ｏｆ Ｗｉｆｉ、ｓｍａｒｔｐｈｏｎｅ ｓｅｎｓｏｒｓ ａｎｄ ｌａｎｄｍａｒｋｓ ｕｓｉｎｇ ｔｈｅ Ｋａｌｍａｎ ｆｉｌｔｅｒ ｆｏｒ ｉｎｄｏｏｒ ｌｏｃａｌｉｚａｔｉｏｎ」、Ｓｅｎｓｏｒｓ、１５１：７１５－７３２、２０１５］に記述された通りに利用され得る。
方法１００は、選択的に段階１３０で予測された位置にマップがない（ｍａｐ－ｆｒｅｅ）投影を適用する段階１４０を含む。段階１４０は、例えば、以下でさらに詳細に説明されるように、予測された位置を知られている室内位置の凸包（ｃｏｎｖｅｘ ｈｕｌｌ）に投影することによって室内位置外部に置かれた、段階１３０で予測された位置を室内位置内の位置に補正することができる。
図２は方法１００を遂行するように構成されたシステム２００を図示する。システム２００はセンサ２２２、２４２、２６２により提供されるセンサデータに依存する。センサ２２２はＲＳＳデータを提供するＷｉ－Ｆｉセンサのような無線信号データのためのセンサであり得。センサ２４２は携帯用電子デバイスの現在位置で磁場データを測定するように構成された、携帯用電子デバイスに含まれた磁力計であり得る。センサ２６２はスマートフォンのような携帯用電子デバイスに一般的に提供される加速度計およびジャイロスコープのような各種ＩＭＵセンサを含むことができる。
磁力計２４２により提供される磁場データはブロック２４４により事前－プロセッシングされ得る。事前－プロセッシングされた磁力計データは例えば、反復プロット（ｒｅｃｕｒｒｅｎｔ ｐｌｏｔ）を生成することによって磁場データのグラフィック表現を生成するように構成された変換ブロック２４６に提供され得る。グラフィック表現はニューラルネットワーク２４８に提供され得る。以下でさらに詳細に説明されるように、ニューラルネットワーク２４８はＲＮＮが後続する多重チャネルＣＮＮを含むことができる。ニューラルネットワーク２４８は図１０ａおよび図１０ｂを参照して以下で説明されるように、絶対位置予測を生成するように構成され得る。携帯用電子デバイスの磁力計は普通適当な速度で磁場データを生成するように構成されるため、磁力計２４２、事前－プロセッシングブロック２４４、変換ブロック２４６およびニューラルネットワーク２４８のパイプラインは適当な速度で絶対位置予測を提供することができる。
ＩＭＵセンサ２６２は慣性センサデータを高速で提供することができる。事前－プロセッシングブロック２６４後に、データストリームは変換ブロック２６６によりグラフィック表現に変換され得る。以下でさらに詳しく説明されるように、変換ブロックはＩＭＵデータストリームに亘って実行されるスライディングウインドウのデータからグラフィック表現を構成することに対応し得る。ＩＭＵデータストリームのグラフィック表現はユーザー位置の変化予測に対応する変位予測をイメージフレーム入力から推論するように学習されたニューラルネットワーク２６８に提供され得る。以下でさらに詳細に説明されるように、ニューラルネットワーク２６８はＣＮＮまたはＲＮＮを含むことができる。実施例で、変換ブロック２６６は生モードでセンサデータを変換することができ、例えばデータ値をピクセルの色相値に変換してすべてのセンサの寸法に対してピクセルを連結（ｃｏｎｃａｔｅｎａｔｅ）することにより、センサのデータ値からグラフィック表現を単純に形成することができる。代案として、変換ブロック２６６はグラフィック表現を構築するために反復マトリクスを形成することを利用することができる。
システム２００はＷｉ－Ｆｉ ＲＳＳデータのような無線信号データから絶対位置予測を生成するためのコンポーネントをさらに含む。ネットワークセンサ２２２は比較的低い速度で無線信号データを収集するように構成され得る。無線信号データは、Ｗｉ－Ｆｉフィンガープリンティング測位方法によって絶対位置予測を生成するためにニューラルネットワーク２２４、２２８のパイプラインに入力され得る。実施例で、ニューラルネットワーク２２４はＶＡＥを具現し、ニューラルネットワーク２２８は欧州特許出願第１９３０６２０４．９号に開示された通り、ＶＡＥ２２４の潜在変数から絶対位置予測を決定するように構成された分類ニューラルネットワークを具現することができる。ＶＡＥを利用すればラベリングされたデータの必要性が大きく減るが、その理由は、少量（１０～１５％）のラベリングされたデータとアノテートされていない膨大なＷｉ－Ｆｉ観察データセットを結合して位置推定コンポーネントに対する正確な予測変数を構築するようにするためである。
センサ融合モジュール２８０はＩＭＵセンサ２６２、変換ブロック２６６およびニューラルネットワーク２６８のパイプラインによる相対的に高い速度で生成された変位予測を、磁力計２４２、変換ブロック２４４、およびニューラルネットワーク２４８のパイプラインによって生成された絶対位置予測、および／またはネットワークセンサ２２２、ニューラルネットワーク２２４、２２８のパイプラインによって生成された絶対位置予測と融合するように構成され得る。パイプライン２６２、２６４、２６６、２６８の高い速度の予測に比べて、パイプライン２４２、２４４、２４８およびパイプライン２２２、２２４、２２８は相対的に低い速度で予測を生成するため、センサ融合モジュール２８０は位置をしばしばアップデートするために変位予測を利用し、比較的希に一つ以上の絶対位置予測を利用する。一つ以上の絶対位置予測を利用する位置のアップデートは、希ではあるが変位予測のエラーの累積によるドリフトを補正することができる。
センサ融合モジュール２８０により生成された予測はターゲット空間の外部、例えば建物の外部に置かれ得る。この問題を克服するための直接的な解決策は、室内環境の位置地図に接近して位置地図により予測が室内環境の内部にあるかどうかに基づいてセンサ融合モジュール２８０の予測を補正することである。その代わりに、システムをより一般的かつ地図独立的にするために、本開示はセンサ融合モジュール２８０により生成された予測のマップがない投影を適用することを提案する。投影モジュール２９０は利用可能なアノテートされた学習セットで隣の上位マッチング数Ｎｒが考慮される加重値隣予測を計算するように構成される。引き続き、識別された最近接隣の位置の加重値の和で絶対位置予測が算出される。加重値の和は予測と対応する隣間の距離の逆数で計算された加重値を利用し、したがってＮｒ個の隣で定義された凸包（ｃｏｎｖｅｘ ｈｕｌｌ）を定義する。
図２はまた、点線を利用して、ニューラルネットワーク２６８を学習させるのに使われるデータの流れおよびモジュールを図示する。学習データは一般的に、単に少数のグラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）アノテーション２７８のみを含む。学習の間、事前－プロセッシングされたデータがランドマーク検出器２７２、活動分類器２７４、および速度および歩幅（ｓｔｒｉｄｅ）推定器２７６に提供される。事前－学習段階で、ランドマーク検出器２７２は事前－プロセッシングされたセンサデータからランドマークを予測するために学習され得る。ランドマークは一般的にユーザーが廊下の一つのコーナーに到達して廊下を歩き続くために方向を変える時のような方向の変更を意味し得。ランドマーク検出器２７２は配向変更を検出するために配向ベクトルを利用することができる。ランドマーク検出器２７２はランドマークの存在を分類するために配向データを他のセンサデータおよび／またはランドマークグラウンドトゥルースと相関させることができる。配向ベクトルは加速度計、ジャイロスコープおよび磁力計データで推定され得る。実施例で、ランドマーク検出器２７２はランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）モデルで具現される。
活動分類器２７４は、学習データを生成するのに使われる携帯用電子デバイスを携帯するユーザーが歩いていたかまたはじっと立っていたかどうかを推論するために、ＩＭＵセンサデータを分類するように学習され得る。
また、学習の間、速度および歩幅推定器２７６はセンサデータからユーザーの速度および歩幅を推定するように学習され得る。ランドマーク検出器２７２、活動分類器２７４、および速度および歩幅推定器２７６の出力は、以下でさらに詳細に説明されるように疑似ラベルを生成するために利用される。疑似ラベルを生成すればアノテーション２７８の不足を克服できるため、ＩＭＵセンサ２６２により収集された利用可能な学習センサデータに、生成された疑似ラベルでアノテートされてニューラルネットワーク２６８学習のための完全にアノテートされた学習データを生成する。
図３は、ＣＮＮに基づいたＰＤＲのためのニューラルネットワーク２６８の具現を図示する。ニューラルネットワーク２６８はセンサデータから獲得されたグラフィック表現３０２を受信することができる。グラフィック表現３０２は畳み込み層３０４、３０６、引き続き最大プーリング層３０８、畳み込み層３１０および最大プーリング層３１２によりプロセッシングされ得る。最大プーリング層３１２の出力はフィードフォワード層３１８ｘ、３１８ｙ、３１４に提供され得る。フィードフォワード層３１４の出力は活動分類３１６を生成するために利用され得る。フィードフォワード層３１８ｘ、３１８ｙの出力は、以前に決定された位置に対する携帯用電子デバイスの変位に対する変位予測（Δｘ、Δｙ）に対応する予測３２４ｘ、３２４ｙを生成するために、フィードフォワード層３２０ｘ、３２０ｙ、引き続きフィードフォワード層３２２ｘ、３２２ｙの各自のパイプラインによってプロセッシングされ得る。
したがって、図３のニューラルネットワーク２６８の具現は、３個の畳み込み層および２個の最大プーリング層、引き続き完全に連結されたレイヤを伴う。最大プーリング層はＣＮＮによって生成された予測の全般的な正確度を改善するのに役に立つ。また、畳み込み層３０４、３０６、３１０で畳み込みカーネルは入力イメージの大きさの関数で多様である。プーリング層３０８、３１２はイメージの行と列の数を減らすことによって畳み込み層の出力の特徴を抽出することができる。実施例で、最大プーリング層３０８、３１２は本発明の２×２サブセクションの最大値を保存するために歩幅２を有する２×２フィルタを含む。ＣＮＮの最後の段階でソフトマックス活性化関数を有する完全連結レイヤ３２２ｘ、３２２ｙはＣＮＮの出力を計算する。
ＣＮＮをＰＤＲのためのニューラルネットワーク２６８として利用すると、センサの間の相関関係を識別することができる。特にＣＮＮは多重モード時系列センサデータに内在されたローカル従属性特性を活用することができる。また、ＣＮＮを利用すると、移動の並進不変特性（ｔｒａｎｓｌａｔｉｏｎａｌ ｉｎｖａｒｉａｎｔ ｎａｔｕｒｅ）を活用することができる。
図４は、ＰＤＲのためのニューラルネットワーク２６８の代案的な実施例を図示する。センサデータのグラフィック表現３０２はｂｉ－ＬＳＴＭレイヤ４０４～４１０のパイプラインによってプロセッシングされ得る。最後の出力レイヤ４１２は図３を参照して前述した通り、同じ方式で、予測された変位３２４ｘ、３２４ｙを生成するように構成されたフィードフォワード層３１４ｘ、３１８ｘおよび３１８ｙに出力を提供するように構成され得る。
図４に係るニューラルネットワーク２６８の実施例は、値のシーケンスをプロセッシングし入力ストリームで長距離相互依存性をキャプチャーするのに特化したＲＮＮを利用する。ＲＮＮは一つの時間段階から次の段階に情報を伝達できるため、これらは入力ストリーム内の以前の値に対する情報をキャプチャーするように構成される。特にＲＮＮはＩＭＵセンサデータの時系列データ内の時間パターンをキャプチャーするのに適合する。図４に係るＲＮＮ基盤実施例は、双方向方式で時系列データを供給する方式を利用して、ｂｉ－ＬＳＴＭが二つすべての時間方向のパターンを認識するように学習されるようにする。ＬＳＴＭネットワークはより伝統的なＲＮＮの傾き（ｇｒａｄｉｅｎｔ）消失（ｖａｎｉｓｈｉｎｇ）および暴走（ｅｘｐｌｏｄｉｎｇ）問題を克服し、長距離従属性を効率的に学習させるために提案された。
図５は、センサデータでグラフィック表現を生成することを図示する。図５は加速度計、ジャイロスコープおよび磁力計データ値のグラフを表示する。それぞれの加速度計、ジャイロスコープおよび磁力計はＸ、Ｙ、Ｚ軸に沿って各自の値に対するデータ値を提供する。ラインプロット５２で図示されたデータ値はグラフィック表現５４に変換される。図示された実施例で、データ値はグラフィック表現５４のピクセルの色相彩度を決定するために利用されて、それぞれのセンサデータ次元に対するピクセルの行を生成する。実施例によると、正のデータ値はｒｇｂ色相次元のような第１色相次元のピクセルの色相彩度を決定することができ、負のデータ値は異なるｒｇｂ色相次元のような第２色相次元のピクセルの色相彩度を決定することができる。すべてのセンサデータを連結する（ｃｏｎｃａｔｅｎａｔｉｎｇ）ことによって、次元Δｔ×ｄのグラフィック表現が算出され、ここでΔｔは考慮されるスライディング時間ウインドウの大きさである。Δｔの幅はニューラルネットワーク２６８に対する入力のためのそれぞれのデータポイントの幅を決定する。一実施例において、グラフィック表現５４を生成する前に、センサデータは任意のユーザーの変位を特性化するのに十分な周波数である５０Ｈｚの周波数でダウンサンプリングされる。実施例で、ウインドウ幅は１秒に対応して、グラフィック表現５４のそれぞれのデータポイントは５０個の列（Δｔ＝５０）を有する。
図５は３個のセンサである加速度計、ジャイロスコープおよび磁力計に該当する総１２個の特徴を有する実施例、およびそれぞれのセンサに対して、それぞれの軸に対する一つの行および結合されたＸ、Ｙ、Ｚ値から計算された大きさに対する一つの行を図示する。上記で詳細に説明された通り、神経モデル２６８は変位（Δｘ、Δｙ）を予測するための一つの回帰分岐およびユーザーの活動を予測するための分類分岐を有する。図５に図示された実施例はニューラルネットワーク２６８に、グラフィック表現５４で直接翻訳されたセンサデータ値（例えば、変換ブロック２６６からの加速度計およびジャイロスコープデータ値、および変換ブロック２４６からの磁力計データ値）が供給される生データモードに対応する。代案として、グラフィック表現は反復マトリクスに基づいて形成され得る。
図６は、ＰＤＲのためのニューラルネットワークを学習させるための方法６００を図示する。方法６００は、センサ読み取り値を記録する携帯用電子デバイスを携帯するユーザーによってキャプチャーされた学習データを利用することができる。学習データは記録されたセンサ読み取り値と制限された数のランドマークに対するアノテーションを含む。方法６００は、高速で生成された生センサデータに疑似ラベルでアノテートすることができる。疑似ラベルの生成はユーザーの活動分類およびランドマーク検出の簡単な作業に対する事前－学習に基づく。
方法６００は、ユーザーが歩いているのとユーザーがじっと立っているのを区別するために、活動分類器を学習させる段階６１０を含む。また、方法６００はランドマーク分類器を学習させる段階６２０を含む。したがって、データが提供されたランドマークは学習データをキャプチャーする間のユーザー軌跡の方向変化を示すと仮定する。方法６００に係る学習は、特に二つの連続的なランドマーク間でユーザーの軌跡に対する配向の変化がないと仮定するため、ランドマークに対応するポイントの間のユーザーの軌跡は直線である。
活動分類のための活動分類器を学習させ、ランドマーク分類のためのランドマーク分類器を学習させることは比較的容易な作業であるため、活動分類器とランドマーク分類器は高い正確度を達成するように学習され得、これは生成された疑似ラベルの高い正確度を保障する。
方法６００は、ランドマークの間のユーザーモーションに対するこのような仮定に基づいて疑似ラベルを生成する段階６３０を含む。しかし、軌跡に沿うユーザーの速度は軌跡中に遭遇するドアや他人のような障害物によって変わり得る。疑似ラベルを生成する段階は、加速度計のデータから多数の歩数を獲得することによってランドマークの間の軌跡に沿った速度を決定する段階を利用する。速度は連続ランドマークの間の距離とそれらの対応するタイムスタンプにより調整される。ユーザーの軌跡が任意の二つの連続ランドマークの間の直線に沿うという仮定は、たびたび長い廊下がある建物が含まれた殆どの室内環境で検証される。したがって、この仮定により発生するエラーは多重ドア通路と廊下の幅の間のユーザー選択のような状況に制限される。
方法６００は、変位予測を生成するためにＰＤＲのためのニューラルネットワークを学習させる段階６４０をさらに含む。ＰＤＲのためのニューラルネットワークを学習させる段階６４０は、生成された疑似ラベルで学習セットを強化（ｅｎｒｉｃｈ）する段階を含み、ＰＤＲのためのニューラルネットワークを学習させるための強化された学習セットを利用する。ＰＤＲのためのニューラルネットワークを学習させる段階は、回帰のための学習および活動予測のための学習を含む。回帰のための学習は変位（Δｘ、Δｙ）を予測することを目標とする。ＰＤＲのためのニューラルネットワークを学習させる段階は、一般的な交差エントロピー損失（Ｌｏｓｓｃｅ）で学習させる段階を含むことができる一方、回帰のためのＰＤＲのためのニューラルネットワークを学習させる段階は、２Ｄポイントのセットに対するＬ２損失を次の式により最小化する段階を含むことができる
ここでΔｘｎ、Δｙｎはアノテーションデータから算出され、
は変位予測である。ＰＤＲのための神経モデルを学習させるために、学習率１０－３であるＡｄａｍオプティマイザー（ｏｐｔｉｍｉｚｅｒ）が利用される。総学習および検証損失が次の式により計算される
ここでαは回帰と活動予測間の折衝点である。
図７ａおよび図７ｂは、方法６００に係る学習のための例示的な軌跡に対する学習データを図示する。図７ａの左側パネルはＩＰＩＮカンファレンスチャレンジの室内測位および室内ナビゲーションに含まれたユーザー経路の一例を図示する。図７ａの右側パネルは加速度計、ジャイロスコープ、磁力計および気圧計センサの関連センサデータだけでなく、速度および歩幅推定値を図示する。例示的な経路はポイント０でスマートフォンをつけて校正（ｃａｌｉｂｒａｔｉｏｎ）が終了するようにすることで始めて１０ポイントに渡っている。引き続き、ユーザーはポイント１、２、３、４を通ってポイント５に移動する。ポイント５からユーザーは振り向いてポイント６を生成し、ポイント７、８、９を経て開始位置に再び復帰する。ポイント１～ポイント５およびポイント７～ポイント１０は方向変更を含むためランドマークである。ランドマーク検出器は前述した通り、配向変更を利用することに基づいてポイント１～ポイント５およびポイント７～ポイント１０をランドマークとして識別するように学習される。
図７ｂの左側パネルは配向変更がユーザー軌跡の検出されたランドマーク位置（１～５および７～１０）とどのように関係するかを図示する。図７ｂの右側の下段のパネルはパラメータデータが軌跡が固定された底内にあることを示し、二つのランドマークの間のそれぞれの軌跡セグメントに対する予想歩幅を追加で表示することを図示する。
本開示で記述されたシステムおよび方法をＩＰＩＮ競争のオフライン設定に対して評価したし、これはスマートフォンセンサの読み取り値に基づいて従来の現代スマートフォンを所持している人によって選択された経路を再現する作業を含む。センサデータは「センサデータを持ってくる（Ｇｅｔ Ｓｅｎｓｏｒｓ Ｄａｔａ）」アンドロイドアプリケーションを使ってログファイルに記録および保存された。競争データはまた、与えられたタイムスタンプのユーザー位置からなるランドマークのセットを含む。競争データに提供される学習セットはそれぞれ５分の長さの１５個の異なるユーザー軌跡に対応する５０個のログファイルからなり、これは双方向に多数回横断された。有効性検査セットには１０分の長さの１０個の異なる軌跡に関連した１０個のログファイルが含まれた。学習ログファイルですべての重要な方向転換（ｔｕｒｎ）にランドマークとしてアノテートされたが、検証セットは、必ずしも直線に沿わなければならないものではなく、方向転換、Ｕターン、停止およびその他挑戦的な動きを含むことができる二つの連続ランドマークの間の軌跡を含む。ＩＰＩＮ競争の評価ログファイルには、任意のランドマークの情報なしに２０分の間のセンサデータの記録のみ含まれる。チャレンジは評価ログファイルのセンサデータに基づいてユーザーの経路を再現して、０．５秒ごとにユーザー位置推定値を提供することである。
記述されたシステムおよび方法の長所を、異なるコンポーネントを除去して対応する位置推定エラーを測定することによって評価した。
表１：ＩＰＩＮ’１９チャレンジの最上の結果および疑似ラベル（ＰＬｓ）、ＲＰｓ、Ｗｉ－Ｆｉおよびマップがない投影（ＰＲＪ）を除去することによる開示されたシステムに対するＭＡＥ、５０％、７５％および９０％エラー。
表１で上段はチャレンジの上位３個の結果を報告し、引き続きＣＮＮおよびＲＮＮを深層ＰＤＲモデルであってニューラルネットワークとして使う時の開示されたシステムの結果を提示する。表１はＷｉ－Ｆｉ基盤絶対位置予測およびマップがない投影を利用して疑似ラベルを評価する時の結果を報告する。表１で推論できるように、７５％エラーで１．８０メートルの最上の性能は、センサデータのグラフィック表現を生成するために疑似ラベルおよび反復プロットを利用するのと共に、ＣＮＮを深層ＰＤＲモデルとして使うシステムに対して獲得される。これに比べ、ＩＰＩＮ’１９チャレンジの優勝者は２．２７メートルの７５％エラーと報告された。Ｗｉ－Ｆｉ測位およびマップがない投影コンポーネントを除去すれば、このようなコンポーネントすべてがＣＮＮおよびＲＮＮモデルのいずれに対しても正確度を改善するのに重要な役割をするということが分かる。
図１１は、前述したシステム２００のコンポーネントにより生成された位置予測と最新ＰＤＲ方法の予測を図示する。
センサによって提供される磁場データを使って室内位置推定の問題を解決する、パイプライン２４２、２４４、２４６、２４８により生成された絶対位置予測に関連した本発明の追加の態様が以下に記述されるであろう。
室内磁気シグネチャは壁、柱、ドアおよびエレベータのような多様な強磁性物体によって誘導された地球磁場の撹乱である。このような異常は観測ポイントまでの距離が減少するにつれて目立つ。多数の室内強磁性物体とこれらが誘発する撹乱は固有なパターンでシグネチャを形成し、これはこれらシグネチャをそのパターンに基づいて分類できるようにする。磁場データはモバイルフォンのようなモバイルコンピューティングデバイスに含まれ得る磁力計のようなセンサによって獲得され得る。したがって、モバイル電話アプリケーションは室内環境でセンサ基盤の測位およびナビゲーションに使われ得る。
ユーザーが室内環境をナビゲーティングする時に収集される磁気データは多変数時系列で形成され得る順次的な特性を有し得る。実施例で、多変数時系列は一つ以上のイメージのような一つ以上の視覚的／グラフィック表現に変換される。これらイメージは異なる磁気パターンを示すことができる。グラフィック表現は位置ベクトルエンベッディングを抽出する畳み込み層に対する多重チャネル入力を形成することができる。一例で、グラフィック表現は完全に連結された（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ、ＦＣ）レイヤに供給され得る。ＦＣレイヤは分類モードで最近接ランドマークを予測するように訓練されたり、回帰モード（ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅ）でユーザーの位置座標を直接推定するように訓練され得る。
回帰基盤およびランドマーク基盤のこの二つの接近法は磁気センサデータを使うその概念によって補完される。したがって、これらは多重作業方式で組み合わせられ得る。ウイングロス（ｗｉｎｇ ｌｏｓｓ）技術はそれぞれのコンポーネントの予測に対する信頼度を推定し、より正確な位置推定予測器を生成することによってこの二つのコンポーネントを組み合わせるのに使うことができる。しかし、綿密な分析によると、二つの方法はいずれも実際に非常に類似する状況で失敗したものと示された。それらの失敗はシステムが非常に異なる場所で直面する類似する磁気シグネチャによってもたらされる。説明すると、同一の磁気異常が同一の強磁性物体、例えば廊下の異なるコーナーに配置された同一のアーマチュアの柱（ａｒｍａｔｕｒｅ ｐｉｌｌａｒｓ）によって発生するものである。
一実施例によると、深層学習接近法は畳み込みおよび循環レイヤおよびこれらの学習を含む深層ニューラルネットワークの最も最近の発展から利益を得るために使われる。実施例で、位置推定コンテクストは、システムまたはモデルが類似する磁気パターンを明確にすることを助けるために、多重チャネル深層回帰で完全に連結されたレイヤを代替する循環レイヤでキャプチャーされる。畳み込み層が位置エンベッディングを抽出する一方、循環レイヤは類似するパターンを明確にするために内部状態で位置推定コンテクストをエンコーディングする。モデルは一つ以上の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）および一つ以上の循環レイヤを有する循環ニューラルネットワーク（ＲＮＮ）を含むニューラルネットワークであり得る。
順次データに対するモデルはブートストラップ（ｂｏｏｔｓｔｒａｐｐｉｎｇ）問題に露出され得る。一部のモデルは第１予測を生成するために磁気センサデータを蓄積しなければならないこともある。実際にこのような蓄積に５～１０秒が必要とされ得る。循環モデルは試み（ｔｒｉａｌ）の開始ポイントを知らなければならないというさらに他の制約があり得る。一実施例において、ランドマーク基盤分類またはＣＮＮ基盤回帰モデルのような一つ以上の他のモデル、またはＷｉ－Ｆｉ信号のような他のセンサからの近似位置がこのような問題を解決するのに使われる。一つ以上の他のモデルからの近似位置はノイズがある予測であり得る。したがって、一実施例において、モデルは開始ポイント推定エラー下でテストされる。
ＭａｇＰｉｅデータセットに対する集中評価は、本発明の実施例が強力かつ正確な位置推定システムに寄与するということを示した。実際に３個のＭａｇＰｉｅ建物に対する位置推定エラーが０．３０～１．０５ｍに減少して、０．９５～４．４９ｍのエラーを有するＡＭＩＤ方法を大幅に改善することができる。パイプラインのモデル学習および評価はオフラインで遂行され得る。ネットワークはすでに観察されたデータでフィード－フォワードするのでテスト段階はオンラインで遂行され得る。
実施例はローカル磁気センサ、例えば、モバイルフォンからの磁力計に関連したローカル基準フレームをグローバル基準フレームに変換する方法を含む。磁場データは多変数時系列を形成することができる。方法は多変数時系列を多チャンネル２Ｄシーケンスに変換する段階を含むことができる。これを通じて時系列のパターン検出をイメージのパターンマイニング、そして畳み込みおよび循環ニューラルネットワークの最近の発展からの利点で代替することができる。ＭａｇＰｉｅデータセットに対する実施例に係る方法の評価は低い位置推定エラーおよび最新方法の大幅の改善を示す。実施例はインフラに対する任意の投資を要求せず、磁場基盤測位システムをＷｉ－Ｆｉ、ブルートゥースおよびＰＤＲ方法に対して競争力があって匹敵できるようにする。
図８は、一実施例に係る室内位置推定のための例示的な方法８００のプロセスフローチャートである。方法８００は室内測位のための独立型（ｓｔａｎｄ－ａｌｏｎｅ）解決策として適用され得る。代案として、方法８００の方法段階は前述した方法１００の段階１１０の一部として遂行され得る。
選択的段階８１０で、方法は磁力計、ジャイロスコープ、および／またはモバイルコンピューティング装置の加速度計のような一つ以上のセンサを校正する段階を含むことができる。例えば、ジャイロスコープは磁力計のようなセンサの基準フレームをグローバル基準フレームに変換するのに使われ得る。
段階８２０で、磁場データは一つ以上の校正されたセンサのうちのセンサ、例えば、磁力計によって生成され得る。磁場データは磁場値の時系列を含むことができる。例えば、センサはセンサが建物内で移動したりまたは地球の磁場を干渉する物体の近所で移動される時に磁場の変化を検出することができる。センサは地球の磁場と強磁性物体に基づく磁気シグネチャを検出することができる。これらシグネチャは地球の磁場を撹乱するので異常として知られている。このような構造の影響は観察ポイントまでの距離が減少するにつれて目立つようになる。その結果、このようなシグネチャはそのパターンでの固有性を表示し、これはそれらのパターンに基づいてシグネチャを分類できるようにする。
段階８３０で、センサの磁場データに基づいて視覚的表現が生成される。段階８３０は磁場値の時系列の磁場値のサブセットを選択する段階、および磁場値のサブセットまたは磁場値のサブセットの投影を一つ以上の２次元イメージに変換する段階を含むことができる。グラフィック表現は反復プロット（ＲＰ）、グラミアン角度合算フィールド（ＧＡＳＦ）、および／またはグラミアン角度差フィールド（ＧＡＤＦ）のようなグラミアン角度フィールド、およびマルコフ遷移フィールド（ＭＴＦ）のうち少なくとも一つを含むことができる。例えば、グラフィック表現は単一タイムスタンプの間、ニューラルネットワークに同時に入力され得る反復プロット（ＲＰ）、グラミアン角度合算フィールド（ＧＡＳＦ）、および／またはグラミアン角度差フィールド（ＧＡＤＦ）のようなグラミアン角度フィールド、およびマルコフ遷移フィールド（ＭＴＦ）のうち少なくとも二つ、三つ、又はすべてを含むことができる。
第１方法により生成された第１グラフィック表現および第１方法と異なる第２方法により生成された第２グラフィック表現は、一つ以上の畳み込み層に対する多重チャネル入力で同時に入力され、第１グラフィック表現と第２グラフィック表現は磁場値の同一のセットから獲得される。第１方法および第２方法は反復プロット（ＲＰ）、グラミアン角度合算フィールド（ＧＡＳＦ）、および／またはグラミアン角度差フィールド（ＧＡＤＦ）のようなグラミアン角度フィールド、またはマルコフ遷移フィールド（ＭＴＦ）に対する方法であり得る。
段階８４０で、センサの位置はニューラルネットワークを使う視覚的表現に基づいて決定される。ニューラルネットワークは畳み込みニューラルネットワークと畳み込みニューラルネットワークの畳み込み層に対する多重チャネル入力を含む。ニューラルネットワークは一つ以上のゲーテッド循環ユニットを含む循環ニューラルネットワークを含むことができる。一つ以上の循環レイヤは一つ以上の畳み込み層に従い得る。初期に、方法は循環ニューラルネットワークを室内測位システムのような測位システムから獲得された一つ以上の開始位置で初期化する段階をさらに含むことができる。テストのために、循環ニューラルネットワークは学習／テスト／検証データから獲得されたノイズがあるグラウンドトゥルースポイントまたは位置で初期化され得る。
段階８４０は、ニューラルネットワークに、視覚的表現のうち第１タイムスタンプに関連した視覚的表現のセットおよび次のうち少なくとも一つを入力する段階を含むことができる：（ｉ）一つ以上の、以前に決定された位置、（ｉｉ）以前に決定された特徴ベクトル、および（ｉｉｉ）前記第１タイムスタンプと異なる各自のタイムスタンプに関連した視覚的表現の一つ以上のセット。
一つ以上の畳み込み層および一つ以上の畳み込み層に対する多重チャネル入力を含むニューラルネットワークを利用して、グラフィック表現に少なくとも部分的に基づいて携帯用電子デバイスの絶対位置を決定することによって、正確な方式で携帯用電子デバイスの絶対位置を決定する改善された方法が提供される。
段階８５０で、センサの軌跡がセンサの決定された位置およびセンサの予め決定された位置に基づいて決定される。
ＭａｇＰＩＥ（磁気測位室内推定（Ｍａｇｎｅｔｉｃ Ｐｏｓｉｔｉｏｎｉｎｇ Ｉｎｄｏｏｒ Ｅｓｔｉｍａｔｉｏｎ））データセットは磁気異常を利用した室内測位アルゴリズムの評価のためのデータセットである。データセットにはセンチメートル正確度を有するグラウンドトゥルース位置測定と共に、ＩＭＵ（慣性測定単位）および磁力計測定が含まれる。データはＵＩＵＣキャンパスのＣＳＬ（Ｃｏｏｒｄｉｎａｔｅｄ Ｓｃｉｅｎｃｅｓ Ｌａｂｏｒａｔｏｒｙ）、Ｔａｌｂｏｔ研究所およびＬｏｏｍｉｓ研究所の３つの建物で収集された。データセットは（まるで文字メッセージを送るような）ハンドヘルド電話機を所持して歩く人（ＷＬＫ）のデータポイントおよびＵＧＶ（無人地上車両）のデータポイントを含む。二つの異なるテストシナリオが利用可能である：一つは建物の磁場に任意の変更が賦課されず、（異常値なし）、二番目のセットには建物の磁場を変更する物体が場面に追加される（異常値がある）。
一実施例によると、磁場データから携帯用電子デバイスの絶対位置を予測する方法は、任意の時間でモバイル電話センサデータを分析することによってユーザーおよび／またはモバイル電話の位置を決定する段階を含むモバイル電話基盤位置推定方法を含むことができる。建物の底は圧力センサデータからたびたび正確に検出されるので、３Ｄ位置推定問題はユーザーの位置が二つの値（posxおよびposy）で記述されるさらに簡単な２Ｄ位置推定問題に縮小され得る。
モバイル電話で加速度計、ジャイロスコープおよび磁力計はローカル基準フレームでそれらのデータを提供する。加速度計およびジャイロスコープセンサが磁気センサ値をローカルからグローバル基準フレームに変換するのに使われ得る（図９参照）。以下では磁場データが空間で電話機の配向に依存しないと仮定することができる。空間で電話機の配向はグローバル基準フレームを参照するため、タイムスタンプ（ｔ）で三個の値
モバイル電話センサは一般的に同期化されない；これらは異なるタイムスタンプと異なる頻度でデータをキャプチャーする。任意の追加プロセッシングの場合、センサ読み取り値は同じタイムスタンプで同期化および整列され得る。
内蔵された磁力計は安価のセンサであり、磁場に関するそれらの測定値はたびたびセンサの製造問題およびプラットホームおよび環境によって誘導される磁気偏差を含んだエラーによって汚染される。したがって、高い正確度を達成するために測定前に磁力計が校正され得る。
磁気偏差は磁力計の周辺に存在する強磁性要素によって発生し得る。磁気偏差は永久磁気および誘導磁気で構成され得る。最初のものは硬鉄効果といい、二番目のものは軟鉄効果という。硬鉄効果は永久磁石と磁気ヒステリシス、すなわち磁化された鉄材料の残留によって発生し、バイアスベクトル（ｂｍ）と同一である。軟鉄効果は強磁性要素と外部場の相互作用により発生し、これは磁場を誘導する。これは感知されたフィールドの強度だけでなく方向も変更させる。軟鉄効果は３×３行列Λでモデリングされ得る。
理想的な三軸磁力計は電話機に関連した直交軸に沿って磁場の強度を測定する。任意の磁気干渉がない場合、磁力計の読み取り値は地球の磁場を測定する。センサがあらゆる可能な配向で回転する時に磁力計の測定が遂行される場合、測定値は３Ｄ球上に置かれなければならない。球の半径は磁場の強度である。磁力計は生磁気データからｂｍおよびΛを推定することによって校正され得る。一応ｂｍおよびΛが発見されると、校正されたデータは
空間で電話機の配向は４元数（ｑｕａｔｅｒｎｉｏｎ）または回転角度（ヨー、ピッチ、ロール）で記述され得る（図９参照）。4元数は三個の回転角度に変換され得る。これら回転角度は電話機から直接獲得されたりジャイロスコープの読み取り値から再構成され得る。移動する間、人は多様な位置（自身の前の上に、耳の近く、ポケットの中など）で電話機を捉え得る。短い時間でも電話機の位置はかなり変更され得る。電話機のセンサがローカル基準フレームでの測定値を提供することにより、これらをグローバル基準フレームに変換するために回転角度が使われ得る。
実施例で、磁場基盤位置推定は例えば、図２のシステム２００のブロック２４６で磁場データのグラフィック表現を形成するために深層ニューラルネットワーク（ＤＮＮ）を使って具現される。ＤＮＮ学習プロセスは傾き逆伝播を通じての目的関数最適化およびネットワーク加重値アップデートを含むことができる。ニューラルネットワークのようなモデルは回帰モデルまたは分類モデルを含むことができる。回帰モデルを学習させる時、平均－自乗－誤差（Ｍｅａｎ－Ｓｑｕａｒｅ－Ｅｒｒｏｒ、ＭＳＥ）、平均絶対誤差（ＭＡＥ）およびフーバー損失（Ｈｕｂｅｒ ｌｏｓｓ）が目的最小化関数として使われ得る。分類モデルは交差エントロピー損失として学習され得る。
単一試みの磁場値は多変数時系列を示す。それぞれの観察は３個の値
初期に、センサデータは（例えば、図２の２４４でセンサ２４２に対して）事前－プロセッシングされ得る。事前－プロセッシング後に磁場値の投影が獲得されると、これらはＤＮＮに入力され得る。例えば、１次元時系列（
に対する特徴生成段階はスライディングウインドウ接近法を適用する段階を含むことができる。例えば、ウインドウのサイズおよび重複に基づいて時系列から複数のサブセットが選択され得る。例えば、ウインドウのサイズは５～１０秒であり得、ウインドウの重複は２０～１パーセントの間、例えば１０、５、または２パーセントであり得る。データポイントまたは磁場値のすべてのサブセットに対して、磁場パターンをグラフィック表現に変換するために１Ｄ時系列から２Ｄイメージへの非線形変換が適用され得る。例えば、反復プロット（ＲＰ）に変換された順次的値を分析するために畳み込みニューラルネットワークが使われ得る。ＲＰが時系列で一つの特定類型の反復を扱うため、ＰＲは時系列をグラフィック表現、例えば２Ｄ視覚的パターンにエンコーディングする他の方法を利用して拡張され得る。例えば、他の方法はグラミアン角度合算／差フィールド（ＧＡＳＦ／ＧＡＤＦ）およびマルコフ遷移フィールド（ＭＴＦ）であり得る。
この４つの非線形１Ｄから２Ｄへの変換は以下でさらに詳しく記述される。
反復プロット（ＲＰ）は、以前に異なる時系列およびアプリケーションに対して提案されたことがある。磁場データの場合、ＲＰは次のようにユークリッドメトリックに対して計算され得る：
方法はミンコフスキー（Ｍｉｎｋｏｗｓｋｉ）またはマンハッタン（Ｍａｎｈａｔｔａｎ）メトリックのような任意のペアワイズ（ｐａｉｒｗｉｓｅ）距離メトリックに拡張され得る。
グラミアン角度フィールド（ＧＡＦ）で時系列は、デカルト座標（Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ）の代わりに極座標（ｐｏｌａｒ ｃｏｏｒｄｉｎａｔｅ）システムで表現され得る。時系列値はすべての値が極座標で表現されるために、間隔（［－１、１］）に属するようにリスケーリング（ｒｅｓｃａｌｅ）され得る。
引き続き、極座標エンコーディングされた時系列ベクトルは行列に変換される。時系列ベクトルの長さがｎである場合、変換された行列は形態（ｎ×ｎ）である。ＧＡＦは次のように、ＧＡＦの二つの変形：グラミアン角度合算フィールド（ＧＡＳＦ）およびグラミアン角度差フィールド（ＧＡＤＦ）のうち一つを含むことができる
ＭＴＦ（マルコフ遷移フィールド）の主な発想は時系列をマルコフプロセスの結果として見なすことである。この方法は、離散化後に分位数ビン（ｂｉｎ）のマルコフ行列を構築し、準－グラミアン行列で動的転換確率をエンコーディングする。
時系列（Ｖ）の場合、Ｑ分位数ビンが識別され得、それぞれのｖｉは対応するビン
前記提示された４つの変換は、ウインドウのサイズ７秒、ウインドウのステップサイズ１秒、イメージのサイズ１００および「キャンベラ（Ｃａｎｂｅｒｒａ）」距離メトリックを使ってＭａｇＰｉｅデータセットから一回の試み（ＣＳＬ学習試みＮ １１）を使って視角化され得る。図１２は、試みのためのグローバル座標系の磁場時系列１２１０を図示する。
図１２は、前記提示されたＲＰ、ＧＡＳＦ、ＧＡＤＦおよびＭＴＦ方法を使って２Ｄパターン１２２０で時系列を変換した結果を図示する（上位３個の行、３次元ｘ、ｙ、ｚに対する１０個の反復プロットのシーケンス；上から二番目の３個の行、３次元ｘ、ｙ、ｚに対する１０個の連続的なグラミアン角度合算フィールドプロット；上から三番目の３個の行、３次元ｘ、ｙ、ｚに対する１０個の連続的なグラミアン角度差フィールドプロット；最後の３個の行、３次元ｘ、ｙ、ｚに対する１０個の連続的なマルコフ遷移フィールドプロット）。すべてのイメージは磁場時系列１２１０から７秒～２４秒の間のセグメントで生成される。イメージは本来の磁気値
次の説明部分で、磁場データに基づいて携帯用電子デバイスの絶対位置を予測するための実施例に係る３個の異なるニューラルネットワークが議論される。前述したシステム２００の実施例で、ニューラルネットワーク２４８はこれらニューラルネットワークにより構成され得る。
第１ニューラルネットワークはランドマーク基盤分類モデルと称されるであろう。このモデルの場合、磁気地図が構成され、これは磁気ランドマークを検出することを含む。モデルは正しい位置をランドマークのうち一つとして分類するように学習される。より詳細には、磁気データを補間して磁気グリッド地図が構成される。引き続き、平滑化プロセスはセンサ読み取りオフセットによるエラーを補正することができる。ランドマークの検出は図１３に図示された通り、ローカル最小値／最大値（ピーク）の検出、（異常値を除去するための）磁気ランドマーク候補微細調整および磁気ランドマーク選択を含むことができる。
磁気ランドマークはそれらの周辺よりさらに大きいか小さい磁気強度を有する強磁性物体であり得る。したがって、磁気ランドマーク候補は磁気地図でローカル最小値／最大値を探すことによって識別され得る。
すべてのポイントが測位のための磁気ランドマークとして使われ得るものではない。これらポイントの間には室内地磁気環境と磁気ランドマーク特性によって異常値が存在する。一部の領域では磁気強度がほとんど変わらない。また、一部の磁気ランドマークの磁気強度は時間が経過するにつれて変動する。変動は電気モータのような電磁要素によって発生し得る。このような変動はローカル最小値／最大値のクラスターを生成することができる。磁気ランドマーク候補微細調整は問題の解決に役に立つ。ユークリッド距離基盤レイヤツリーが使われて、これらポイントを一つの磁気ランドマーク候補にグループ化することができる。
殆どのランドマーク候補は平均磁気強度よりはるかに高いか低い値を有する。しかし、一部の候補の磁気強度は平均強度と類似しているため磁気シーケンスパターンが生成されない。臨界値が定義または設定されて、これら候補を自動で識別しフィルタリングすることができる。臨界値は手動で設定され得る。
磁気ランドマークが選択または決定されると、位置推定作業は最近接ランドマークを識別することに縮小され得る。分類器が使われて最近接ランドマークを決定することができる。
モデル入力はＮ－チャネルテンソルであり得る。例えば、ＮはＲＰ、ＧＡＳＦ、ＧＡＤＦおよびＭＴＦそれぞれに対して３個のチャネルずつ１２個であり得る。分類アーキテクチャーは位置エンベッディングを抽出する二つの畳み込み層および分類のための二つの完全に連結されたレイヤを含むことができる。例えば、ＣＳＬ建物に対して３０個の磁気ランドマークが決定され得る。したがって、出力レイヤは３０個のニューロンを有することができる（図１０ａ）。損失関数は交差エントロピー損失であり得る。
ＣＮＮ＋ＦＣ回帰モデルと称される第２ニューラルネットワークの場合、ランドマーク基盤分類が直接絶対位置回帰で代替される。ＣＮＮ＋ＦＣ回帰モデルはランドマーク分類アーキテクチャーを複製するが、出力レイヤは単にｘ－位置およびｙ－位置（posxandposy）に対して２個のニューロンのみ有することができる。代案として、出力レイヤはｘ－位置、ｙ－位置およびｚ－位置に対して３個のニューロンを有することができる。目的最小化関数に対して、ＭＳＥ、ＭＡＥまたはフーバー損失が使われ得る。ＣＮＮ＋ＦＣ回帰はシステムを磁場地図品質および選択されたランドマークに独立的にさせる。しかし、ランドマーク基盤およびＣＮＮ基盤回帰モデルは異なる位置での類似する磁気パターンに直面する時に失敗する。
一実施例において、異なる位置での類似する磁気パターンを明確にするためにナビゲーションコンテクストが考慮される。三番目のニューラルネットワークはＣＮＮ＋ＲＮＮ回帰モデルと称する。このモデルでＦＣレイヤは循環レイヤで代替される。循環ニューラルネットワーク（ＲＮＮ）は順次的かつ規則的なタイムスタンプ基盤データを作業するのに使われ得る。学習プロトコルはＲＮＮに対して変更され得、データはポイント別（ｐｏｉｎｔ－ｂｙ－ｐｏｉｎｔ）方式ではなく試み別（ｔｒｉａｌ－ｂｙ－ｔｒｉａｌ）方式でプロセッシングされ得る。それぞれのトラックに対して位置推定値
ＣＮＮ＋ＲＮＮ回帰モデルは多重チャネルＣＮＮ＋ＲＮＮ深層回帰モデルを含むことができる。ＣＮＮ＋ＲＮＮ回帰モデルは位置エンベッディングを抽出するために畳み込み層を維持するが、ＦＣレイヤは循環レイヤで代替する。図１０ｂは、一実施例に係るＣＮＮ＋ＲＮＮ回帰モデルのアーキテクチャーを図示する。ＣＮＮ＋ＲＮＮ回帰モデルは一つ以上の畳み込み層を有する畳み込みニューラルネットワークおよびＧＲＵセルの２－レイヤ単方向ＲＮＮのような少なくとも一つの循環レイヤを有する循環ニューラルネットワークを含む。
ＲＮＮは多様な長さの入力シーケンスを収容することができる。モデルは第１タイムスタンプに関連した磁場データの第１グラフィック表現に基づいて位置を予測することによって開始され得る。後続的に、モデルは第２タイムスタンプに関連した磁場データの第１グラフィック表現および第２グラフィック表現に基づいて次の位置を予測することができる。次の位置は各自の以前のタイムスタンプまたは以前に決定された位置に関連した少なくとも一部のグラフィック表現に基づいて予測され得る。代案として、他の室内測位システムが以前の位置を決定するために使われ得、これらは引き続き、センサまたはユーザーの次の位置を予測するのに使われ得る。ＲＮＮレイヤに対して以前に決定された位置または以前に生成されたグラフィック表現の最大数は予め定義されるかユーザーによって設定され得る。その結果、モデルは、次の予測のために、以前に決定された位置または以前に生成されたグラフィック表現のすべてまたは１０～２０個の最大数の以前に決定された位置または以前に生成されたグラフィック表現のシーケンスを使うことができる。
代案的なセンサおよび位置推定システムが、例えばＷｉ－Ｆｉまたはブルートゥース信号から第１位置（ｐｏｓｉｔｉｏｎ）または位置（ｌｏｃａｔｉｏｎ）を決定するために使われ得る。Ｗｉ－Ｆｉ基盤位置推定の平均距離誤差は２～３メートルであるので、この誤差は開始ポイント位置に任意のノイズを追加することによって学習およびテスト段階のすべてにおいてシミュレーションされ得る。
すべてのモデルをＭａｇＰｉｅデータセットに対して評価した。三つの建物、すなわちＣＳＬ、ＬｏｏｍｉｓおよびＴａｌｂｏｔは異なるレイアウトと異なる位置推定の複雑性を有する。学習およびテストデータセットに追加して、検証データセットが（ニューラルネットワークが過剰適合（ｏｖｅｒｆｉｔ）され始まる時に学習を中止するための）早期中止のために使われる。ＣＮＮ＋ＦＣ回帰モデルはＣＳＬ建物に対して良い結果を示す。すべての建物、３個のモデルと１、３、９、１２個のチャネルすべてに対する最上の結果が表１に提示されている。ＣＮＮ＋ＦＣランドマーク基盤分類モデルは分類のためにランドマークを使用し、これは建物が磁気異常で大きく異なることを確認した。ＣＳＬでのみ良い結果が獲得された。ＣＮＮ＋ＲＮＮ深層回帰は軌跡コンテクストを考慮し、これはパターンの曖昧性の問題を解決するのに役に立ち、位置推定エラーをかなり減らすことができる。建物に対するＣＮＮ＋ＲＮＮモデル結果による予測が図１２において参照符号１２３０で図示される。
表２は三つの建物に対する三つの方法の性能を要約したものである。また、この票はチャネルの数が１個（ＲＰの場合ｘ）、３個（ＲＰの場合ｘ、ｙ、ｚ）、９個（ＲＰ、ＧＡＳＦおよびＧＡＤＦの場合ｘ、ｙ、ｚ）または１２個（すべての方法の場合ｚ、ｙ、ｚ）である時の位置推定エラーを報告する。結果は複数のチャネルを使うのが、最終的に低いエラーに大きく寄与するということを明確に示す。
すべてのモデルに対して、開始ポイントの推定は学習およびテスト試みすべてに対してノイズがあり得る。ノイズは平均０ｍおよび分散３ｍの正規分布でシミュレーションされ得る。モデルはハイパーパラメータによって学習され得る。ハイパーパラメータはＲＮＮレイヤの数、ペアワイズ距離メトリック、開始ポイントの数、開始ポイントノイズおよび教師強制確率を含むことができる。
本出願の実施例は磁場データに基づいて絶対位置を予測するための多数の改善事項を提供し、磁場時系列を２Ｄ表現に変換してＣＮＮ基盤モデルを使うことを可能にすること、ランドマークなしにユーザーの位置の深層回帰として位置推定をプロセッシングすること、およびアルゴリズムがブートストラップできるようにすることを含む。
実施例は磁気パターンの曖昧性により発生する問題を、試みコンテクストを示すセンサまたはユーザーの全体軌跡を考慮することによって、そしてＲＮＮレイヤが後続するＣＮＮレイヤを含むニューラルネットワークを使って解決する。磁場パターンの曖昧性は非常に類似しているが、建物の非常に異なる位置にある磁気パターンを区別する難しい作業に直面したＣＮＮ＋ＦＮモデルを誤作動するようにする。その代わりに、循環モデルはセンサおよび／またはユーザーの軌跡のコンテクストを内部ＲＮＮ状態として考慮する。これは循環モデルの以前の状態によって与えられるナビゲーションコンテンツを考慮してパターン位置を明確にするのに役に立つ。パイプラインの開発および評価はオフラインで遂行され得る。提案されたすべての方法が正確なモデルを学習させるのに時間（およびメモリ）を必要とするが、これらはすでに観察されたデータでネットワークをフィード－フォワードするため、テスト段階でオンラインで実行され得る。
ＲＮＮを使う時、一つ問題は軌跡の第１ポイントに対する遅延であり得る。この問題を克服するために、さらに小さいウインドウサイズを有するモデルや次のポイントに対する軌跡でさらに少ない数のポイントを決定するモデルが使われ得、メインモデルが予測に必要なデータを収集した後、小さいモデルはスイッチオフされ得る。
ＲＮＮの他の問題としては、テスト時間に軌跡の開始ポイントを知らなければならず、開始Ｎ秒の間データを蓄積しなければならないという要求事項がある。このブートストラップ問題に対する解決策として、ＲＮＮは他のセンサデータからの第１ポイントの推定（例えば、圧力センサからの底推定およびＷｉ－Ｆｉ信号からの位置推定）を使うことができる。
一部の特定の実施例が前記で詳述されたが、実施例の意図された範囲を逸脱することなく、前記教示に照らして、そして添付された特許請求の範囲の内容内で実施例の多様な修正、変更および改善がなされ得ることが当業者に明白であろう。また、当業者になじまれていると考えられる分野は、本明細書に記述された実施例を不要に曖昧にさせないために本明細書に記述していない。したがって、実施例は特定の例示的な実施例によって限定されるものではなく、添付された特許請求の範囲の範囲によってのみ限定されることが理解されるべきである。
前記の実施例が方法段階の脈絡で説明されたが、それらはまた、対応する装置またはシステムの対応するコンポーネント、モジュールまたは特徴の説明を示す。
方法段階の一部又は全部はプロセッサ、マイクロプロセッサ、電子回路またはプロセッシング回路部によって（またはそれを使って）実行されるという点でコンピュータによって具現され得る。
前述した実施例はハードウェアまたはソフトウェアで具現され得る。具現はコンピュータ読み取り可能保存媒体、例えば、フロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭおよびフラッシュメモリのような非一過性の保存媒体を使って遂行され得る。そのようなコンピュータ読み取り可能媒体は汎用または特殊目的のコンピュータシステムによってアクセスされ得る任意の利用可能な媒体であり得る。
一般的に、実施例はプログラムコードまたはコンピュータ実行可能命令語を有するコンピュータプログラム製品として具現され得、プログラムコードまたはコンピュータ実行可能命令語はコンピュータプログラム製品がコンピュータで実行される時に方法のうち一つを遂行するように作動可能である。プログラムコードまたはコンピュータ実行可能命令語はコンピュータ読み取り可能保存媒体に保存され得る。
一実施例において、保存媒体（またはデータキャリアまたはコンピュータ読み取り可能媒体）は、プロセッサによって遂行される時、本明細書に記述された方法のうち一つを遂行するためのコンピュータプログラムまたはコンピュータ実行可能命令語を保存する。追加の実施例で、装置は一つ以上のプロセッサおよび前記で言及された保存媒体を含む。
追加の実施例で、装置は例えばメモリと通信するプロセッサのようなプロセッシング回路部のような手段を含み、この手段は本明細書に記述された方法のうち一つを遂行するように構成されたり適応される。
追加の実施例は、本明細書に記述された方法のうち一つを遂行するためのコンピュータプログラムまたは命令語が設置されたコンピュータを含む。
前述した方法および実施例は、データ交換のためのインターネットのようなネットワーク１４０４（無線および／または有線であり得る）を通じて通信するサーバー１４００および一つ以上のクライアントデバイス１４０２を含む図１４に例示されたようなアーキテクチャー内で具現され得る。サーバー１４００およびクライアントデバイス１４０２はデータプロセッサ１４１２およびハードディスクのようなメモリ１４１３を含む。クライアントデバイス１４０２は自律車両１４０２ｂ、ロボット１４０２ｃ、コンピュータ１４０２ｄ、または携帯電話１４０２ｅを含む、サーバー１４００と通信する任意のデバイスであり得る。
より正確には、一実施例において、図１、図６または図８の実施例に係る方法はサーバー１４００で遂行され得る。他の実施例で、図１、図６または図８の実施例に係る方法はクライアントデバイス１４０２で部分的にまたは完全に遂行され得る。さらに他の実施例で、方法は分散方式で異なるサーバーまたは複数のサーバーで遂行され得る。
Claims (15)
- センサデータから室内環境内の携帯用電子デバイスの位置を予測するコンピュータの具現方法において、
携帯用電子デバイスの少なくとも一つの絶対位置予測を生成する段階－それぞれの前記絶対位置予測を生成する段階は前記携帯用電子デバイスの無線信号データおよび／または磁場データに基づき、前記少なくとも一つの絶対位置予測を生成する段階は第１速度で繰り返される－；
前記携帯用電子デバイスの変位予測を生成する段階－前記変位予測を生成する段階はニューラルネットワークによって、前記携帯用電子デバイスの慣性センサデータに基づいて前記変位予測を生成する段階を含み、前記変位予測を生成する段階は前記第１速度より速い第２速度で繰り返される－；および
少なくとも一つの前記変位予測および前記少なくとも一つの絶対位置予測で以前に予測された位置をアップデートすることによって予測された位置を決定する段階を含む、コンピュータの具現方法。 - 前記慣性センサデータから前記変位予測を生成する段階は前記慣性センサデータをグラフィック表現に変換する段階を含み、前記ニューラルネットワークは畳み込みニューラルネットワーク、双方向循環ニューラルネットワークおよびアテンションレイヤを含むニューラルネットワークのうち少なくとも一つを含む、請求項１に記載のコンピュータの具現方法。
- 前記ニューラルネットワークは、複数のフィードフォワード層を用いて変位の予測を繰り返す変位回帰のためのフィード－フォワードネットワークおよびフィードフォワード層を用いて活動分類を生成して活動を予測するためのフィード－フォワードネットワークを含み、予測された前記活動は前記変位予測を生成するために前記変位回帰を補正するために利用される、請求項１に記載のコンピュータの具現方法。
- 前記少なくとも一つの絶対位置予測を生成する段階は、アノテートされていないＷｉ－ＦｉデータをアノテートされたＷｉ－Ｆｉデータの制限されたセットと結合することによって前記無線信号データから前記絶対位置予測を生成するために学習された変分オートエンコーダを利用する段階を含む、請求項１～３のいずれか一項に記載のコンピュータの具現方法。
- ユーザーの活動を識別することを学習するようにセンサ学習データのサブセットでモーション分類器を学習させる段階－前記センサ学習データは軌跡に沿って前記携帯用電子デバイスを携帯するユーザーによってキャプチャーされた慣性センサデータを含む－；
前記センサ学習データからランドマークの検出のためのランドマーク分類器を学習させる段階と、
前記センサ学習データにアノテートするための疑似ラベルを生成する段階－前記疑似ラベルを生成する段階は前記モーション分類器によって識別されたユーザーの活動および前記ランドマーク分類器によって識別されたランドマーク位置を利用する段階を含み、前記疑似ラベルを生成する段階は前記モーション分類器によって識別された前記ユーザーの活動が前記ユーザーが移動中であることを示す場合、２個のランドマーク位置の間で位置を補間する段階を含む－；および
前記アノテートされた学習データで前記ニューラルネットワークを学習させる段階をさらに含む、請求項１に記載のコンピュータの具現方法。 - 前記ランドマーク分類器を学習させる段階は前記慣性センサデータから配向ベクトルを推定し、前記配向ベクトルの変化をランドマーク位置を示すものとして利用する段階を含む、請求項５に記載のコンピュータの具現方法。
- 前記携帯用電子デバイスのセンサの磁場データに基づいてグラフィック表現を生成する段階－前記磁場データは磁場値の時系列を含む－；および
前記ニューラルネットワークを使って前記グラフィック表現に少なくとも部分的に基づいて前記携帯用電子デバイスの絶対位置を決定する段階をさらに含み、
前記ニューラルネットワークは一つ以上の畳み込み層を含み、前記ニューラルネットワークは前記一つ以上の畳み込み層に対する多重チャネル入力を含む、請求項１～６のいずれか１項に記載のコンピュータの具現方法。 - 前記磁場データに基づいて前記グラフィック表現を生成する段階は
前記磁場値の時系列の磁場値のサブセットを選択する段階、および
前記磁場値のサブセットまたは前記磁場値のサブセットの投影を一つ以上の２次元イメージに変換する段階を含む、請求項７に記載のコンピュータの具現方法。 - 前記グラフィック表現は反復プロット、グラミアン角度合算フィールド、グラミアン角度差フィールド、およびマルコフ遷移フィールドのうち少なくとも一つを含む、請求項７または８に記載のコンピュータの具現方法。
- 前記ニューラルネットワークは一つ以上の循環レイヤを含み、前記一つ以上の循環レイヤは前記一つ以上の畳み込み層にした従い／従うか
第１方法により生成された第１グラフィック表現および前記第１方法と異なる第２方法により生成された第２グラフィック表現は前記一つ以上の畳み込み層に対して前記多重チャネル入力で同時に入力され、前記第１グラフィック表現と前記第２グラフィック表現は磁場値の同一のセットから獲得される、請求項７～９のいずれか一項に記載のコンピュータの具現方法。 - 前記ニューラルネットワークは測位システムから獲得された一つ以上の開始位置で初期化され／されるか
前記ニューラルネットワークは建物内の地球磁場の特性に基づいて学習されて前記建物内の前記センサの位置を決定する、請求項７～１０のいずれか一項に記載のコンピュータの具現方法。 - 前記携帯用電子デバイスの絶対位置を決定する段階は前記ニューラルネットワークで、視覚的表現のうち第１タイムスタンプに関連した視覚的表現のセットおよび
（ｉ）一つ以上の以前に決定された位置、
（ｉｉ）以前に決定された特徴ベクトル、および
（ｉｉｉ）前記第１タイムスタンプと異なる各自のタイムスタンプに関連した視覚的表現の一つ以上のセットのうち少なくとも一つを入力する段階を含み／含むか
前記コンピュータの具現方法は、前記センサによって、前記磁場データを生成する段階をさらに含む、請求項７～１１のいずれか一項に記載のコンピュータの具現方法。 - 前記少なくとも一つの絶対位置予測を生成する段階は請求項７～１２のいずれか一項に記載されたコンピュータの具現方法によって前記磁場データから前記携帯用電子デバイスの前記絶対位置を予測する段階を含む、請求項１～４のいずれか一項に記載のコンピュータの具現方法。
- 一つ以上のプロセッサを含む装置であって、前記一つ以上のプロセッサは請求項１～１３のいずれか一項に記載のコンピュータの具現方法を遂行するように構成される、装置。
- 一つ以上のプロセッサにより実行される時、請求項１～１３のいずれか一項に記載のコンピュータの具現方法を遂行するコンピュータ実行可能命令語が保存される一つ以上の、コンピュータ読み取り可能保存媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20306380.5 | 2020-11-13 | ||
| EP20306380.5A EP4001948A1 (en) | 2020-11-13 | 2020-11-13 | Deep smartphone sensors fusion for indoor positioning and tracking |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022078967A JP2022078967A (ja) | 2022-05-25 |
| JP7339314B2 true JP7339314B2 (ja) | 2023-09-05 |
Family
ID=74285179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021183842A Active JP7339314B2 (ja) | 2020-11-13 | 2021-11-11 | 室内測位および追跡のための深層スマートフォンセンサ融合 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11927448B2 (ja) |
| EP (2) | EP4194881A1 (ja) |
| JP (1) | JP7339314B2 (ja) |
| KR (1) | KR20220065672A (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210282033A1 (en) * | 2020-03-09 | 2021-09-09 | Psj International Ltd. | Positioning system for integrating machine learning positioning models and positioning method for the same |
| CN115209341A (zh) * | 2022-06-30 | 2022-10-18 | 南京捷希科技有限公司 | 一种基于信道状态信息的加权随机森林室内定位方法 |
| US20240175974A1 (en) * | 2022-11-30 | 2024-05-30 | Sony Group Corporation | Indoor positioning device and related method |
| CN117221846B (zh) * | 2023-08-15 | 2024-05-17 | 广州视声智能股份有限公司 | 多蓝牙传感器的自组网方法及蓝牙网络 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017106891A (ja) | 2015-11-30 | 2017-06-15 | 株式会社リコー | 慣性装置、プログラム、測位方法 |
| US20180259350A1 (en) | 2017-03-08 | 2018-09-13 | Invensense, Inc. | Method and apparatus for cart navigation |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10469982B2 (en) * | 2013-09-11 | 2019-11-05 | Invensense, Inc. | System and method for enhanced integrated navigation with wireless angle of arrival |
| US20150119086A1 (en) * | 2013-10-25 | 2015-04-30 | Alcatel-Lucent Usa Inc. | Simultaneous localization and mapping systems and methods |
| US20160371394A1 (en) * | 2015-06-22 | 2016-12-22 | The Governing Council Of The University Of Toronto | Indoor localization using crowdsourced data |
| US10408627B2 (en) * | 2015-11-30 | 2019-09-10 | Ricoh Company, Ltd. | Inertial device to estimate position based on corrected movement velocity |
| KR102601141B1 (ko) * | 2018-06-22 | 2023-11-13 | 삼성전자주식회사 | 이미지 센서와 복수의 지자기 센서를 융합하여 위치 보정하는 이동 로봇 장치 및 제어 방법 |
| GB2588572B (en) * | 2019-03-20 | 2024-01-10 | Navenio Ltd | Transition Detection |
| EP3798918A1 (en) | 2019-09-26 | 2021-03-31 | Naver Corporation | Using semi-supervised variational autoencoder for wi-fi-based indoor localization |
| US20230243658A1 (en) * | 2020-07-07 | 2023-08-03 | Ohio State Innovation Foundation | Systems, Methods and Devices for Map-Based Object's Localization Deep Learning and Object's Motion Trajectories on Geospatial Maps Using Neural Network |
-
2020
- 2020-11-13 EP EP23153904.0A patent/EP4194881A1/en active Pending
- 2020-11-13 EP EP20306380.5A patent/EP4001948A1/en active Pending
-
2021
- 2021-09-17 US US17/477,701 patent/US11927448B2/en active Active
- 2021-10-26 KR KR1020210143644A patent/KR20220065672A/ko not_active Application Discontinuation
- 2021-11-11 JP JP2021183842A patent/JP7339314B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017106891A (ja) | 2015-11-30 | 2017-06-15 | 株式会社リコー | 慣性装置、プログラム、測位方法 |
| US20180259350A1 (en) | 2017-03-08 | 2018-09-13 | Invensense, Inc. | Method and apparatus for cart navigation |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4001948A1 (en) | 2022-05-25 |
| US11927448B2 (en) | 2024-03-12 |
| JP2022078967A (ja) | 2022-05-25 |
| KR20220065672A (ko) | 2022-05-20 |
| EP4194881A1 (en) | 2023-06-14 |
| US20220155079A1 (en) | 2022-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7339314B2 (ja) | 室内測位および追跡のための深層スマートフォンセンサ融合 | |
| Liu et al. | Fusion of magnetic and visual sensors for indoor localization: Infrastructure-free and more effective | |
| He et al. | Geomagnetism for smartphone-based indoor localization: Challenges, advances, and comparisons | |
| US20160371394A1 (en) | Indoor localization using crowdsourced data | |
| KR102207195B1 (ko) | 하나 이상의 관성 센서들로부터 방위 정보를 정정하기 위한 장치 및 방법 | |
| WO2012035707A1 (ja) | 地図生成装置、地図生成方法、移動体の移動方法、及びロボット装置 | |
| Wu et al. | Indoor positioning based on walking-surveyed Wi-Fi fingerprint and corner reference trajectory-geomagnetic database | |
| Chiang et al. | Magnetic field-based localization in factories using neural network with robotic sampling | |
| Vedadi et al. | Automatic visual fingerprinting for indoor image-based localization applications | |
| Rao et al. | Ctin: Robust contextual transformer network for inertial navigation | |
| Antsfeld et al. | Magnetic field sensing for pedestrian and robot indoor positioning | |
| Ishihara et al. | Deep radio-visual localization | |
| Tan et al. | Implicit multimodal crowdsourcing for joint RF and geomagnetic fingerprinting | |
| Ye et al. | Unsupervised localization by learning transition model | |
| Antsfeld et al. | Deep smartphone sensors-WiFi fusion for indoor positioning and tracking | |
| Rybski et al. | Using visual features to build topological maps of indoor environments | |
| CA2894863A1 (en) | Indoor localization using crowdsourced data | |
| Wen et al. | Efficient indoor positioning with visual experiences via lifelong learning | |
| Kim et al. | InFo: indoor localization using fusion of visual information from static and dynamic cameras | |
| CN115307641A (zh) | 机器人定位方法、装置、机器人和存储介质 | |
| Romero-Ramirez et al. | ReSLAM: Reusable SLAM with heterogeneous cameras | |
| Nowicki et al. | Indoor navigation using QR codes and WiFi signals with an implementation on mobile platform | |
| Zhou et al. | Activity Semantics-based Indoor Localization using Smartphones | |
| Ju et al. | Spatio-temporal Feature Extraction of Magnetic Patterns for Indoor Positioning. | |
| Jensen et al. | Motion detection and path planning in dynamic environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230824 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7339314 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |