WO2018098850A1 - 一种基于多传感器融合的室内导航装置及方法 - Google Patents

一种基于多传感器融合的室内导航装置及方法 Download PDF

Info

Publication number
WO2018098850A1
WO2018098850A1 PCT/CN2016/109442 CN2016109442W WO2018098850A1 WO 2018098850 A1 WO2018098850 A1 WO 2018098850A1 CN 2016109442 W CN2016109442 W CN 2016109442W WO 2018098850 A1 WO2018098850 A1 WO 2018098850A1
Authority
WO
WIPO (PCT)
Prior art keywords
magnetic
magnetic field
path
matrix
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/109442
Other languages
English (en)
French (fr)
Inventor
李国民
李敏
王东海
郝兵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Sygole Intelligent Technology Co Ltd
Huazhong University of Science and Technology
Original Assignee
Guangdong Sygole Intelligent Technology Co Ltd
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Sygole Intelligent Technology Co Ltd, Huazhong University of Science and Technology filed Critical Guangdong Sygole Intelligent Technology Co Ltd
Publication of WO2018098850A1 publication Critical patent/WO2018098850A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link

Definitions

  • the invention belongs to the field of indoor navigation based on geomagnetic distribution, and particularly relates to an indoor navigation device and method based on fusion of multiple sensors such as magnetic gradient.
  • the technical problem to be solved by the present invention is to provide an indoor navigation device and method with accurate navigation and accurate positioning.
  • the present invention adopts the following technical solutions:
  • An indoor navigation device based on multi-sensor fusion
  • the device comprises an indoor magnetic map construction module, a measurement module, a navigation and positioning module, a central processing unit, a data storage module, a wireless communication module and a feedback interaction module, and an indoor magnetic map construction module.
  • the measurement module, the navigation and positioning module, the data storage module, the wireless communication module, and the feedback interaction module respectively perform data interconnection communication with the central processing unit.
  • the indoor magnetic map building module comprises a floor height measuring module, an indoor path segmentation module, a magnetic field three component measuring module and a magnetic field gradient measuring module.
  • the measurement module includes a pressure sensor, a magnetic gradient sensor, an accelerometer sensor, a gyro sensor, and an ultrasonic sensor, and the data communication between the air pressure sensor, the magnetic gradient sensor, the accelerometer sensor, the gyro sensor, and the ultrasonic sensor is performed by a central processing unit .
  • the navigation positioning module has a built-in air pressure sensor floor height measuring unit, a magnetic field map matching positioning unit, an accelerometer short distance compensation unit, a gyroscope rotation angle positioning unit and an ultrasonic sensor ranging unit.
  • the data storage module includes an SD card, a hard disk, and/or an EEPROM.
  • the wireless communication module includes a walking path cloud recording unit and a path magnetic field updating unit.
  • the feedback interaction module includes an earphone, a left hand vibrator, a right hand vibrator, a keypad, an LED, and a speaker.
  • An indoor navigation method based on multi-sensor fusion comprising the following steps:
  • the basic information data includes: a pressure difference ⁇ P between the current position of the floor and the ground, and a time series of magnetic induction on the walking path between the current time position and the position of the previous time And the magnetic field gradient matrix time series, the time series value of the XYZ three-direction acceleration when the human body or the AGV trolley travels on the walking path, the time series value of the XYZ three-direction angular velocity when the human body or the AGV trolley travels on the walking path, the human body or the AGV The distance of the obstacle in front of the X-axis direction when the trolley travels on the walking path;
  • the step S1 specifically includes:
  • the fork port carries a unique address number, and the fork port includes a turn intersection, a cross-shaped intersection and a T-shaped intersection on the walking path;
  • the step S3 specifically includes:
  • the known position at the previous moment is the starting point, determining the current moment as the navigation target, determining the path from the previous moment to the current moment as the matching object, and measuring the magnetic induction time in the segment.
  • step S3.2 matching the magnetic induction intensity time series and the magnetic field gradient matrix time series of different paths is specifically:
  • m and n represent the number of rows and columns of the matching matrix M, respectively, and the values of m and n are the time series length of the magnetic map magnetic field and the time series length of the matching object path magnetic field, respectively, w c and w g are magnetic maps respectively.
  • the cumulative matrix A is calculated by the dynamic time warping algorithm.
  • the element A nm in the cumulative matrix A is the magnetic map magnetic field matrix map m row and the matching object path magnetic field matrix MEASURE before The minimum integrated value when the best match is achieved between the n rows, and the best matching point is obtained according to the minimum integrated value, and the position in the magnetic map corresponding to the best matching point is the current time position.
  • the magnetic map constructed by the invention has the advantages of simple path, reduced redundant overlap, accurate positioning and accurate navigation, and the combination of various sensors is used to maximize the three-component information and magnetic gradient information of the magnetic field in different places.
  • Figure 1 is a schematic view showing the structure of the apparatus of the present invention
  • Figure 2 is a schematic flow chart of the method of the present invention.
  • an indoor navigation device based on multi-sensor fusion
  • the device includes an indoor magnetic map construction module, a measurement module, a navigation positioning module, a central processing unit, a data storage module, a wireless communication module, and a feedback interaction module.
  • the indoor magnetic map building module, the measuring module, the navigation positioning module, the data storage module, the wireless communication module and the feedback interaction module respectively perform data interconnection communication with the central processor.
  • the central processor is used to collect and analyze geomagnetic data, and perform map matching, wireless network transmission, and human-computer interaction communication in real time.
  • the indoor magnetic map construction module includes a floor height measurement module, an indoor path segmentation module, a magnetic field three-component measurement module, and a magnetic field gradient measurement module.
  • the floor height measurement module calibrates the height difference of each floor, and the indoor path segmentation module automatically performs all possible possible discrete segments of the walking path after obtaining the plan of each floor in the room, and the magnetic field three-component measurement module measures when drawing the magnetic map.
  • the three-component magnetic field of the segmented path, the magnetic field gradient measurement module measures the three-component magnetic field gradient of the segmented path as the magnetic map is drawn.
  • the measured three-component magnetic field data and the three-component magnetic field gradient data are stored by the central processing unit in the data storage module.
  • the measurement module includes a pressure sensor, a magnetic gradient sensor, an accelerometer sensor, a gyro sensor, and an ultrasonic sensor. Measuring the air pressure difference ⁇ P of the floor relative to the ground, the magnetic gradient sensor is used to measure the magnetic induction time series and the magnetic field gradient matrix time series on a small path before the indoor location, and the accelerometer sensor is used to measure the walking path of the human body or the AGV trolley.
  • the time series value of the XYZ three-direction acceleration when traveling on the gyro sensor is used to measure the time series value of the XYZ three-direction angular velocity when the human body or the AGV trolley travels on the walking path
  • the ultrasonic sensor is used to measure the human body or the AGV trolley is walking.
  • Each sensor performs its own functional task, and the measured data is deeply fused by the central processing unit and matched with the magnetic field map data in the data storage module to complete indoor positioning and navigation.
  • traveling on the walking path it is based on the load of the room in the scheme.
  • the case of the internal navigation device The magnetic gradient sensor described above is obtained by combining six magnetic sensors into a square shape. Each of the above sensors exchanges data through a central processing unit.
  • the navigation positioning module has a built-in air pressure sensor floor height measuring unit, a magnetic field dynamic shaping matching unit, an accelerometer short distance compensation unit, a gyroscope rotation angle positioning unit, and an ultrasonic sensor ranging unit.
  • the program of each function module is stored in the data storage module and is called in real time by the central processing unit during use.
  • the data storage module specifically includes an SD card, an EEPROM, and a hard disk, and can store map data and each module program.
  • Different applications can use different data storage modules. For example, when using blind navigation, SD card and EEPROM can be used for portability. If the application is used in navigation such as AGV car, EEPROM and hard disk can be used to store large amounts of data. Flexible way.
  • the wireless communication module includes a walking path cloud recording unit and a path magnetic field updating unit.
  • the walking path cloud recording unit records the navigation path and walking habits each time the user navigates, and records the walking habits in the cloud for quick recall in the future.
  • the path magnetic field updating unit records the magnetic field map information of each discrete straight line segment each time the navigation is navigated, and stores the latest map data update in the data storage module.
  • the feedback interaction module includes an earphone, a left hand vibrator, a right hand vibrator, a keypad, an LED, and a speaker. Each module is optional.
  • the earphone can provide voice information for the blind person during navigation; the left hand vibrator is installed in the left hand of the blind, and the blind person is turned to the left in a vibrating manner; the right hand vibrator is installed in the right hand of the blind, and the blind person is turned right in a vibrating manner; the keypad is a combination of numbers and letters.
  • the keyboard provides the blind person with navigation destination information input before navigation; the LED and the speaker provide safety warning for the blind or AGV car, and the LED flashes when the ultrasonic sensor detects a sudden danger or the obstacle is too close in front of the blind or AGV car. At the same time, the horn also sounds an alarm.
  • the indoor navigation function can be realized by using existing or adding new sensors and corresponding processing units on smart hardware such as mobile phones, AGVs, and wearable navigation bracelets.
  • the invention also discloses an indoor navigation method based on multi-sensor fusion, as shown in FIG. 2, comprising the following steps:
  • the basic information data includes: a pressure difference ⁇ P between the current position of the floor and the ground, and a time series of magnetic induction on the walking path between the current time position and the position of the previous time And the magnetic field gradient matrix time series, the time series value of the XYZ three-direction acceleration when the human body or the AGV trolley travels on the walking path, the time series value of the XYZ three-direction angular velocity when the human body or the AGV trolley travels on the walking path, the human body or the AGV The distance of the obstacle in front of the X-axis direction when the trolley travels on the traveling path.
  • the step S1 specifically includes:
  • the fork port carries out a unique address number, which includes a turn intersection, a cross-shaped intersection, and a T-shaped intersection on the walking path.
  • the magnetic field gradient matrix g [gradient_x gradient_y gradient_z], the magnetic induction intensity average and the magnetic field gradient matrix constitute the magnetic field data, and the magnetic field data of all the discrete straight segment segment paths constitute the magnetic map data.
  • the human body or AGV can travel from the starting point to the end point on the segmented straight path path.
  • the map data is stored in a storage module such as an EEPROM, a hard disk, an SD card, or the like.
  • the step S3 specifically includes:
  • the known position at the previous moment is the starting point, determining the current moment as the navigation target, determining the path from the previous moment to the current moment as the matching object, and measuring the magnetic induction time in the segment.
  • the time series values a x , a y of the XYZ axis three-direction acceleration when walking on the path are obtained.
  • the segment path is also referred to as a "blind zone” correspondingly, and the "blind zone" data information is supplemented by the prediction process to make the navigation more accurate.
  • step S3.2 matching the magnetic induction intensity time series and the magnetic field gradient matrix time series of different paths is specifically:
  • m and n represent the number of rows and columns of the matching matrix M, respectively, and the values of m and n are the time series length of the magnetic map magnetic field and the time series length of the matching object path magnetic field, respectively, w c and w g are magnetic maps respectively.
  • the cumulative matrix A is calculated by the dynamic time warping algorithm.
  • the element A nm in the cumulative matrix A is the magnetic map magnetic field matrix map m row and the matching object path magnetic field matrix MEASURE before The minimum integrated value when the best match is achieved between the n rows, and the best matching point is obtained according to the minimum integrated value, and the position in the magnetic map corresponding to the best matching point is the current time position.
  • the magnetic gradient sensor can be used to establish the magnetic map of the segmentation path of the indoor straight segment, and the depth fusion data of various sensors such as air pressure sensor, magnetic gradient sensor, accelerometer sensor, gyro sensor and ultrasonic sensor can be used to realize indoor linear navigation and blind zone estimation.
  • sensors such as air pressure sensor, magnetic gradient sensor, accelerometer sensor, gyro sensor and ultrasonic sensor can be used to realize indoor linear navigation and blind zone estimation.
  • the function of turning, avoiding obstacles, etc. effectively avoids the insufficient information of the three-component magnetic field of a single magnetic sensor and the failure of the magnetic blind "blind zone”.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

一种基于多传感器融合的室内导航装置及方法，构建当前室内的磁地图；实时测量室内当前位置的基础信息数据，该基础信息数据包括：楼层当前位置相对于地面的气压差ΔP，当前时刻所在位置与前一时刻所在位置之间的行走路径上的磁感应强度时间序列和磁场梯度矩阵时间序列，人体或者AGV小车在行走路径上行进时的XYZ三方向加速度的时间序列值，人体或者AGV小车在行走路径上行进时的XYZ三方向角速度的时间序列值，人体或者AGV小车在行走路径上行进时的X轴方向前方的障碍物距离。将基础信息数据进行融合，定位实时位置并进行直线分段导航。本发明导航精准，定位准确。

Description

一种基于多传感器融合的室内导航装置及方法 技术领域
本发明属于基于地磁分布的室内导航领域，尤其涉及一种基于磁梯度等多个传感器融合的室内导航装置及方法。
背景技术
随着经济社会的快速发展，人们活动的室内空间变得日益庞大和复杂，在大型地下停车场、购物百货商场、大型物流仓库等室内场所确定自己或者AGV的位置，并沿着特定路径导航到室内某一目的地显得力不从心，尤其是盲人，缺乏视觉感知能力时室内导航更为困难，因此迫切需要一种室内定位导航技术。
尽管室内导航需求强烈，传统的导航技术却因各种技术限制，无法满足室内定位要求。比如，目前室外应用最广泛的GPS技术在室内使用时，卫星信号容易被建筑物阻隔，导致无法实现准确定位；尽管手机的无线通讯信号可以穿透多数建筑的墙壁，但移动通信基站的分布密度太低，利用手机无线通讯信号进行定位的精度不足；基于Wi-Fi的定位技术需要了解每一个Wi-Fi热点的准确位置，甚至对每一个Wi-Fi信号强度进行测量，测量成本太高，定位精度难以保证。
近年来出现了基于地磁分布的室内定位方法，其原理是基于大型建筑物墙壁中的钢筋和室内货架、桌脚等铁磁性物质对室内地球磁场的改变，利用磁场传感器检测室内不同位置的不同磁场大小来进行定位。现有室内磁场导航方法的不足之处主要在于：磁场是一个梯度场，而仅仅测量磁场三分量数据并没有充分利用磁场分布信息，很有可能限于传感器的测量精度和室内地磁场分布变化差异性太小导致测量“盲区”。
发明内容
本发明要解决的技术问题是提供一种导航精确，定位精准的室内导航装置及方法。
为了解决上述技术问题，本发明采取以下技术方案：
一种基于多传感器融合的室内导航装置，所述装置包括室内磁地图构建模块、测量模块、导航定位模块、中央处理器、数据存储模块、无线通讯模块和反馈交互模块，室内磁地图构建模块、测量模块、导航定位模块、数据存储模块、无线通讯模块和反馈交互模块分别与中央处理器进行数据互联通讯。
所述室内磁地图构建模块包括楼层高度测量模块、室内路径分段模块、磁场三分量测量模块和磁场梯度测量模块。
所述测量模块包括气压传感器、磁梯度传感器、加速度计传感器、陀螺仪传感器和超声波传感器，该气压传感器、磁梯度传感器、加速度计传感器、陀螺仪传感器和超声波传感器之间通过中央处理器进行数据通讯。
所述导航定位模块内置有相互之间进行数据通讯交换的气压传感器楼高测量单元、磁场地图匹配定位单元、加速度计短距离补偿单元、陀螺仪旋转角度定位单元和超声波传感器测距单元。
所述数据存储模块包括SD卡、硬盘和/或EEPROM。
所述无线通讯模块包括行走路径云记录单元和路径磁场更新单元。
所述反馈交互模块包括耳机、左手震动器、右手震动器、小键盘、LED和喇叭。
一种基于多传感器融合的室内导航方法，所述方法包括以下步骤：
S1,构建当前室内的磁地图；
S2，实时测量室内当前位置的基础信息数据，该基础信息数据包括：楼层当前位置相对于地面的气压差ΔP，当前时刻所在位置与前一时刻所在位置之间的行走路径上的磁感应强度时间序列和磁场梯度矩阵时间序列，人体或者AGV小车在行走路径上行进时的XYZ三方向加速度的时间序列值，人体或者AGV小车在行走路径上行进时的XYZ三方向角速度的时间序列值，人体或者AGV小车在行走路径上行进时的X轴方向前方的障碍物距离；
S3,将基础信息数据进行融合，定位实时位置并进行直线分段导航。
所述步骤S1具体包括：
S1.1，将行走路径上的分叉口为断点，对室内平面图中所有的行走路径进行直线段离散分段处理得到离散直线段分段路径，对每一离散直线段分段路径和分叉口进行唯一地址编号，该分叉口包括行走路径上的拐弯路口、十字形路口和T字形路口；
S1.2，在每一个离散直线段分段路径上匀速行走，采集该离散直线段分段路径中每一点上的XYZ三方向磁感应强度平均值
Figure PCTCN2016109442-appb-000001
和磁场梯度矩阵g＝[gradient_x gradient_y gradient_z]，该磁感应强度平均值和磁场梯度矩阵构成磁场数据，所有离散直线段分段路径的磁场数据构成磁地图数据；
S1.3，将离散直线段分段路径唯一地址编号和相应的磁地图数据配对存储，从而生成用于室内导航的磁地图。
所述步骤S3具体包括：
S3.1，利用公式Δh＝ΔP/(ρg)获得楼层当前位置相对于地面的高度，其中ρ为空气密度，g为重力加速度；
S3.2,以前一时刻所在的已知位置为起点，确定当前时刻的位置为导航目标，确定前一时刻到当前时刻的该段路径为匹配对象，将该段路径中测得的磁感应强度时间序列
Figure PCTCN2016109442-appb-000002
和磁场梯度矩阵时间序列G＝[gradient_X gradient_Y gradient_Z]，与磁地图中的从前一已知位置开始2倍于匹配对象行走时间的时间范围内的磁感应强度时间序列
Figure PCTCN2016109442-appb-000003
和磁场梯度矩阵时间序列g＝[gradient_x gradienty_y gradient_z]进行匹配，确定当前时刻所在位置；
S3.3，在行走路径中，若某一段路径的磁感应强度和磁场梯度矩阵变化小于设定值，获取在该段路径上行走时的XYZ轴三方向加速度的时间序列值ax,ay,az，并且对该ax,ay,az进行时间的双积分，预测该三方向的行走距离sx,sy,sz：sx＝∫∫axdt,sy＝∫∫aydt,sz＝∫∫azdt；
S3.4，在行走路径上拐弯时，实时确定拐弯角度的大小，获取当前拐弯处XYZ轴三方向角速度的ωx,ωy,ωz，并且对该ωx,ωy,ωz进行时间的一次积分，预测三方向的拐弯角度为θx,θy,θz：θx＝∫ωxdt,θy＝∫ωydt,θz＝∫ωzdt；
S3.5，若检测到在行走路径上行进时前方有障碍物，则进行提示。
所述步骤S3.2中，对不同路径的磁感应强度时间序列和磁场梯度矩阵时间序列进行匹配具体为：
S3.2.1，计算匹配矩阵M，匹配矩阵M中的元素Mmn的计算方式为
Figure PCTCN2016109442-appb-000004
其中，m、n分别代表匹配矩阵M的行数和列数，m、n的数值分别是磁地图磁场的时间序列长度和匹配对象路径磁场的时间序列长度，wc、wg分别是磁地图磁场与匹配对象路径磁场之间的磁场分量差异和磁场梯度差异的权重系数；
S3.2.2，得到匹配矩阵M后，利用动态时间规整算法计算累积矩阵A，累积矩阵A中的元素Anm的计算方式为：Anm＝DTW[map(1:m),MEASURE(1:n)]，其中：
Figure PCTCN2016109442-appb-000005
Figure PCTCN2016109442-appb-000006
Figure PCTCN2016109442-appb-000007
其中
Figure PCTCN2016109442-appb-000008
从匹配矩阵M的每一行中分别选取，从该匹配矩阵M中选择L个元素组成规整路径，累积矩阵A中的元素Anm是磁地图磁场矩阵map前m行和匹配对象路径磁场矩阵MEASURE前n行之间实现最佳匹配时的最小累计值，根据该最小累计值得到最佳匹配点，该最佳匹配点对应的磁地图中的位置为当前时刻所在位置。
本发明构建的磁地图路径简洁，减少冗余重叠，定位准确，导航精准，通过多种传感器的结合使用，最大程度地识别不同地点的磁场三分量信息和磁梯度信息。
附图说明
附图1为本发明装置的结构示意图；
附图2为本发明方法的流程示意图。
具体实施方式
为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述。
如附图1所示，一种基于多传感器融合的室内导航装置，所述装置包括室内磁地图构建模块、测量模块、导航定位模块、中央处理器、数据存储模块、无线通讯模块和反馈交互模块，室内磁地图构建模块、测量模块、导航定位模块、数据存储模块、无线通讯模块和反馈交互模块分别与中央处理器进行数据互联通讯。中央处理器用于采集、分析地磁数据，并实时进行地图匹配、无线网络传输、人机交互通讯等作用。
室内磁地图构建模块包括楼层高度测量模块、室内路径分段模块、磁场三分量测量模块和磁场梯度测量模块。楼层高度测量模块标定每一楼层的高度差，室内路径分段模块在获取室内每一楼层的平面图后自动进行所有可能的行走路径直线段离散分段，磁场三分量测量模块在绘制磁地图时测量分段路径的三分量磁场，磁场梯度测量模块在绘制磁地图时测量分段路径的三分量磁场梯度。所测的三分量磁场数据和三分量磁场梯度数据由中央处理器存储在数据存储模块。构建地图时按照楼层高度测量模块、室内路径分段模块、磁场三分量测量模块和磁场梯度测量模块的顺序由上到下构建。
测量模块包括气压传感器、磁梯度传感器、加速度计传感器、陀螺仪传感器和超声波传感器。测量楼层相对于地面的气压差ΔP，磁梯度传感器用于测量室内所在位置之前某一小段路径上的磁感应强度时间序列和磁场梯度矩阵时间序列，加速度计传感器用于测量人体或者AGV小车在行走路径上行进时的XYZ三方向加速度的时间序列值，陀螺仪传感器用于测量人体或者AGV小车在行走路径上行进时的XYZ三方向角速度的时间序列值，超声波传感器用于测量人体或者AGV小车在行走路径上行进时的X轴方向前方的障碍物距离。各传感器执行各自的功能任务，由中央处理器将所测得的数据进行深度融合，并和数据存储模块中的磁场地图数据进行匹配，完成室内定位导航。在行走路径上行进时是基于负载有本方案中的室 内导航装置的情况。上述磁梯度传感器由6个磁传感器组成一个正方体形状得到。上述各传感器通过中央处理器进行数据的通讯交换。
所述导航定位模块内置有气压传感器楼高测量单元、磁场动态规整匹配单元、加速度计短距离补偿单元、陀螺仪旋转角度定位单元和超声波传感器测距单元。各功能模块的程序存储在数据存储模块中，使用时由中央处理器实时调用。
数据存储模块具体包括：SD卡、EEPROM和硬盘，可以存储地图数据和各模块程序。不同的应用场合可以使用不同的数据存储模块，比如应用在盲人导航时，为了便携性可以使用SD卡、EEPROM，如果应用在AGV小车等导航时，为了存储大量数据可以使用EEPROM和硬盘等，使用方式灵活。
所述无线通讯模块包括行走路径云记录单元和路径磁场更新单元。行走路径云记录单元记录每次用户导航时的导航路径和行走习惯，并将这种行走习惯记录在云端，供日后快速调用。路径磁场更新单元记录每次行走导航时的各离散直线段的磁场地图信息，并将最新的地图数据更新存储在数据存储模块。
所述反馈交互模块包括耳机、左手震动器、右手震动器、小键盘、LED和喇叭。各模块可选择性使用。耳机可以为盲人提供导航时的语音信息；左手震动器安装在盲人左手，以震动方式提示盲人左转弯；右手震动器安装在盲人右手，以震动方式提示盲人右转弯；小键盘是数字和字母组合键盘，为盲人提供导航前的导航目的地信息输入；LED和喇叭为盲人或者AGV小车提供安全警示，当超声波传感器检测到盲人或者AGV小车前方遇到突发危险或障碍物太近时LED便闪烁提示，同时喇叭也响起警报声。
通过上述装置的模块化设计，可以在手机、AGV、可穿戴式导航手环等智能硬件上利用现有或者添加新的传感器和相应处理单元实现室内导航功能。
本发明还揭示了一种基于多传感器融合的室内导航方法，如附图2所示，包括以下步骤：
S1,构建当前室内的磁地图。
S2，实时测量室内当前位置的基础信息数据，该基础信息数据包括：楼层当前位置相对于地面的气压差ΔP，当前时刻所在位置与前一时刻所在位置之间的行走路径上的磁感应强度时间序列和磁场梯度矩阵时间序列，人体或者AGV小车在行走路径上行进时的XYZ三方向加速度的时间序列值，人体或者AGV小车在行走路径上行进时的XYZ三方向角速度的时间序列值，人体或者AGV小车在行走路径上行进时的X轴方向前方的障碍物距离。
S3,将基础信息数据进行融合，定位实时位置并进行直线分段导航。
所述步骤S1具体包括：
S1.1，将行走路径上的分叉口为断点，对室内平面图中所有的行走路径进行直线段离散分段处理得到离散直线段分段路径，对每一离散直线段分段路径和分叉口进行唯一地址编号，该分叉口包括行走路径上的拐弯路口、十字形路口和T字形路口。通过唯一地址编号，减小了磁地图绘制时的测量数据，也减小了磁数据存储容量要求，使得各行走路径不易发生冗余和重叠。
S1.2，在每一个离散直线段分段路径上匀速行走，采集该离散直线段分段路径中每一点上的XYZ三方向磁感应强度平均值
Figure PCTCN2016109442-appb-000009
和磁场梯度矩阵g＝[gradient_x gradient_y gradient_z]，该磁感应强度平均值和磁场梯度矩阵构成磁场数据，所有离散直线段分段路径的磁场数据构成磁地图数据。采集时，需要以同一手持或AGV等设备搭载室内导航装置，保持X轴向前、Z轴向上的状态，人体或者AGV匀速在分段直线段路径上从起点走至终点，采集后将磁地图数据存储在存储模块内，如EEPROM、硬盘、SD卡等数字化存储介质内。
S1.3，将离散直线段分段路径唯一地址编号和相应的磁地图数据配对存储，从而生成用于室内导航的磁地图。具体为将每一离散直线段分段路径上的磁场数据以行走时的时间为顺序存储为数据矩阵，并将数据矩阵与直线段分段路径唯一地址编号配对存储。
所述步骤S3具体包括：
S3.1，利用公式Δh＝ΔP/(ρg)获得楼层当前位置相对于地面的高度，其中ρ为空气密度，g为重力加速度。
S3.2,以前一时刻所在的已知位置为起点，确定当前时刻的位置为导航目标，确定前一时刻到当前时刻的该段路径为匹配对象，将该段路径中测得的磁感应强度时间序列
Figure PCTCN2016109442-appb-000010
和磁场梯度矩阵时间序列G＝[gradient_X gradient_Y gradient_Z]，与磁地图中的从前一已知位置开始2倍于匹配对象行走时间的时间范围内的磁感应强度时间序列
Figure PCTCN2016109442-appb-000011
和磁场梯度矩阵时间序列g＝[gradient_x gradienty_y gradient_z]进行匹配，确定当前时刻所在位置；
S3.3，在行走路径中，若某一段路径的磁感应强度和磁场梯度矩阵变化小于设定值，获取在该段路径上行走时的XYZ轴三方向加速度的时间序列值ax,ay,az，并且对该ax,ay,az进行时间的双积分，预测该XYZ轴三方向的行走距离sx,sy,sz：sx＝∫∫axdt,sy＝∫∫aydt,sz＝∫∫azdt。该段路径也相应地称为“盲区”，通过该预测处理，补充“盲区”数据信息，使导航更加精确。
S3.4，在行走路径上拐弯时，实时确定拐弯角度的大小，获取当前拐弯处XYZ轴三方向角速度的ωx,ωy,ωz，并且对该ωx,ωy,ωz进行时间的一次积分，预测XYZ轴三方向的拐弯角度为θx,θy,θz：θx＝∫ωxdt,θy＝∫ωydt,θz＝∫ωzdt。
S3.5，若检测到在行走路径上行进时前方有障碍物，则进行提示，提高安全性。
所述步骤S3.2中，对不同路径的磁感应强度时间序列和磁场梯度矩阵时间序列进行匹配具体为：
S3.2.1，计算匹配矩阵M，匹配矩阵M中的元素Mmn的计算方式为
Figure PCTCN2016109442-appb-000012
其中，m、n分别代表匹配矩阵M的行数和列数，m、n的数值分别是磁地图磁场的时间序列长度和匹配对象路径磁场的时间序列长度，wc、wg分别是磁地图磁场与匹配对象路径磁场之间的磁场分量差异和磁场梯度 差异的权重系数；
S3.2.2，得到匹配矩阵M后，利用动态时间规整算法计算累积矩阵A，累积矩阵A中的元素Anm的计算方式为：Anm＝DTW[map(1:m),MEASURE(1:n)]，其中：
Figure PCTCN2016109442-appb-000013
Figure PCTCN2016109442-appb-000014
Figure PCTCN2016109442-appb-000015
其中
Figure PCTCN2016109442-appb-000016
从匹配矩阵M的每一行中分别选取，从该匹配矩阵M中选择L个元素组成规整路径，累积矩阵A中的元素Anm是磁地图磁场矩阵map前m行和匹配对象路径磁场矩阵MEASURE前n行之间实现最佳匹配时的最小累计值，根据该最小累计值得到最佳匹配点，该最佳匹配点对应的磁地图中的位置为当前时刻所在位置。
可以利用磁梯度传感器建立室内直线段分段路径的磁地图，利用气压传感器、磁梯度传感器、加速度计传感器、陀螺仪传感器、超声波传感器等多种传感器的深度融合数据，实现室内直线导航、盲区估计、拐弯、避障等功能，有效避免了单个磁传感器三分量磁场的不充分信息和磁导航“盲区”的失效。
需要说明的是，以上所述并非是对发明技术方案的限定，在不脱离本发明的创造构思的前提下，任何显而易见的替换均在本发明的保护范围之内。

Claims (11)

  1. 一种基于多传感器融合的室内导航装置，其特征在于，所述装置包括室内磁地图构建模块、测量模块、导航定位模块、中央处理器、数据存储模块、无线通讯模块和反馈交互模块，室内磁地图构建模块、测量模块、导航定位模块、数据存储模块、无线通讯模块和反馈交互模块分别与中央处理器进行数据互联通讯。
  2. 根据权利要求1所述的基于多传感器融合的室内导航装置，其特征在于，所述室内磁地图构建模块包括楼层高度测量模块、室内路径分段模块、磁场三分量测量模块和磁场梯度测量模块。
  3. 根据权利要求2所述的基于多传感器融合的室内导航装置，其特征在于，所述测量模块包括气压传感器、磁梯度传感器、加速度计传感器、陀螺仪传感器和超声波传感器，该气压传感器、磁梯度传感器、加速度计传感器、陀螺仪传感器和超声波传感器之间通过中央处理器进行数据通讯。
  4. 根据权利要求3所述的基于多传感器融合的室内导航装置，其特征在于，所述导航定位模块内置有相互之间进行数据通讯交换的气压传感器楼高测量单元、磁场地图匹配定位单元、加速度计短距离补偿单元、陀螺仪旋转角度定位单元和超声波传感器测距单元。
  5. 根据权利要求4所述的基于多传感器融合的室内导航装置，其特征在于，所述数据存储模块包括SD卡、硬盘和/或EEPROM。
  6. 根据权利要求5所述的基于多传感器融合的室内导航装置，其特征在于，所述无线通讯模块包括行走路径云记录单元和路径磁场更新单元。
  7. 根据权利要求6所述的基于多传感器融合的室内导航装置，其特征在于，所述反馈交互模块包括耳机、左手震动器、右手震动器、小键盘、LED和喇叭。
  8. 一种根据权利要求7所述的基于多传感器融合的室内导航方法， 其特征在于，所述方法包括以下步骤：
    S1,构建当前室内的磁地图；
    S2，实时测量室内当前位置的基础信息数据，该基础信息数据包括：楼层当前位置相对于地面的气压差ΔP，当前时刻所在位置与前一时刻所在位置之间的行走路径上的磁感应强度时间序列和磁场梯度矩阵时间序列，人体或者AGV小车在行走路径上行进时的XYZ三方向加速度的时间序列值，人体或者AGV小车在行走路径上行进时的XYZ三方向角速度的时间序列值，人体或者AGV小车在行走路径上行进时的X轴方向前方的障碍物距离；
    S3,将基础信息数据进行融合，定位实时位置并进行直线分段导航。
  9. 根据权利要求8所述的基于多传感器融合的室内导航方法，其特征在于，所述步骤S1具体包括：
    S1.1，将行走路径上的分叉口为断点，对室内平面图中所有的行走路径进行直线段离散分段处理得到离散直线段分段路径，对每一离散直线段分段路径和分叉口进行唯一地址编号，该分叉口包括行走路径上的拐弯路口、十字形路口和T字形路口；
    S1.2，在每一个离散直线段分段路径上匀速行走，采集该离散直线段分段路径中每一点上的XYZ三方向磁感应强度平均值
    Figure PCTCN2016109442-appb-100001
    和磁场梯度矩阵g＝[gradient_x gradient_y gradient_z]，该磁感应强度平均值和磁场梯度矩阵构成磁场数据，所有离散直线段分段路径的磁场数据构成磁地图数据；
    S1.3，将离散直线段分段路径唯一地址编号和相应的磁地图数据配对存储，从而生成用于室内导航的磁地图。
  10. 根据权利要求9所述的基于多传感器融合的室内导航方法，其特征在于，所述步骤S3具体包括：
    S3.1，利用公式Δh＝ΔP/(ρg)获得楼层当前位置相对于地面的高度，其中ρ为空气密度，g为重力加速度；
    S3.2,以前一时刻所在的已知位置为起点，确定当前时刻的位置为导航目标，确定前一时刻到当前时刻的该段路径为匹配对象，将该段路径中 测得的磁感应强度时间序列
    Figure PCTCN2016109442-appb-100002
    和磁场梯度矩阵时间序列G＝[gradient_X gradient_Y gradient_Z]，与磁地图中的从前一已知位置开始2倍于匹配对象行走时间的时间范围内的磁感应强度时间序列
    Figure PCTCN2016109442-appb-100003
    和磁场梯度矩阵时间序列g＝[gradient_x gradienty_y gradient_z]进行匹配，确定当前时刻所在位置；
    S3.3，在行走路径中，若某一段路径的磁感应强度和磁场梯度矩阵变化小于设定值，获取在该段路径上行走时的XYZ轴三方向加速度的时间序列值ax,ay,az，并且对该ax,ay,az进行时间的双积分，预测该三方向的行走距离sx,sy,sz：sx＝∫∫axdt,sy＝∫∫aydt,sz＝∫∫azdt；
    S3.4，在行走路径上拐弯时，实时确定拐弯角度的大小，获取当前拐弯处XYZ轴三方向角速度的ωx,ωy,ωz，并且对该ωx,ωy,ωz进行时间的一次积分，预测三方向的拐弯角度为θx,θy,θz：θx＝∫ωxdt,θy＝∫ωydt,θz＝∫ωzdt；
    S3.5，若检测到在行走路径上行进时前方有障碍物，则进行提示。
  11. 根据权利要求10所述的基于多传感器融合的室内导航方法，其特征在于，所述步骤S3.2中，对不同路径的磁感应强度时间序列和磁场梯度矩阵时间序列进行匹配具体为：
    S3.2.1，计算匹配矩阵M，匹配矩阵M中的元素Mmn的计算方式为
    Figure PCTCN2016109442-appb-100004
    其中，m、n分别代表匹配矩阵M的行数和列数，m、n的数值分别是磁地图磁场的时间序列长度和匹配对象路径磁场的时间序列长度，wc、wg分别是磁地图磁场与匹配对象路径磁场之间的磁场分量差异和磁场梯度差异的权重系数；
    S3.2.2，得到匹配矩阵M后，利用动态时间规整算法计算累积矩阵A，累积矩阵A中的元素Anm的计算方式为：Anm＝DTW[map(1:m),MEASURE(1:n)]，其中：
    Figure PCTCN2016109442-appb-100005
    Figure PCTCN2016109442-appb-100006
    Figure PCTCN2016109442-appb-100007
    其中
    Figure PCTCN2016109442-appb-100008
    从匹配矩阵M的每一行中分别选取，从该匹配矩阵M中选择L个元素组成规整路径，累积矩阵A中的元素Anm是磁地图磁场矩阵map前m行和匹配对象路径磁场矩阵MEASURE前n行之间实现最佳匹配时的最小累计值，根据该最小累计值得到最佳匹配点，该最佳匹配点对应的磁地图中的位置为当前时刻所在位置。
PCT/CN2016/109442 2016-12-02 2016-12-12 一种基于多传感器融合的室内导航装置及方法 Ceased WO2018098850A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611095958.9 2016-12-02
CN201611095958.9A CN106370189B (zh) 2016-12-02 2016-12-02 一种基于多传感器融合的室内导航装置及方法

Publications (1)

Publication Number Publication Date
WO2018098850A1 true WO2018098850A1 (zh) 2018-06-07

Family

ID=57891160

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/109442 Ceased WO2018098850A1 (zh) 2016-12-02 2016-12-12 一种基于多传感器融合的室内导航装置及方法

Country Status (2)

Country Link
CN (1) CN106370189B (zh)
WO (1) WO2018098850A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109916396A (zh) * 2019-04-04 2019-06-21 南京邮电大学 一种基于多维地磁信息的室内定位方法
CN110967013A (zh) * 2018-10-01 2020-04-07 刘佳兴 一种基于室内地磁场信息和智能手机的室内区域定位系统
CN111307154A (zh) * 2020-02-27 2020-06-19 南京大学 一种基于磁铁阵列扫描的室内行人追踪系统及其工作方法
CN113703446A (zh) * 2021-08-17 2021-11-26 泉州装备制造研究所 一种基于磁钉的导引车导航方法及调度系统
CN113703059A (zh) * 2021-09-02 2021-11-26 中船海洋探测技术研究院有限公司 一种针对水际铁磁性目标集群的远距离磁探方法
CN114281048A (zh) * 2021-12-28 2022-04-05 哈尔滨工业大学芜湖机器人产业技术研究院 一种基于工业互联网的agv智能管理系统
CN116086435A (zh) * 2023-01-16 2023-05-09 中北大学 基于多磁传感器的定位方法、系统、电子设备及存储介质
CN121048625A (zh) * 2025-08-28 2025-12-02 北京瑞迪时空信息技术有限公司 一种基于多源信息融合的自适应室内定位方法及系统

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107139172B (zh) * 2017-05-18 2019-06-25 深圳市微付充科技有限公司 机器人控制方法和装置
CN107121140B (zh) * 2017-06-05 2019-11-05 南京邮电大学 一种基于多源传感器的位置获取方法
CN107290797B (zh) * 2017-06-23 2019-01-18 西北工业大学 一种基于群体感知的障碍物检测系统及方法
CN107462241B (zh) * 2017-06-27 2021-08-17 中测高科（北京）测绘工程技术有限责任公司 结合图像的地磁基础图的测量方法、装置和系统
CN107314757A (zh) * 2017-08-04 2017-11-03 谢文静 一种多层建筑物的楼层定位系统及定位方法
CN108801259B (zh) * 2018-04-27 2021-03-02 北京邮电大学 一种室内导航方法、装置及移动终端
CN108592903B (zh) * 2018-07-17 2021-01-26 北京九天探索科技有限公司 一种基于路网地磁基准库的车辆地磁匹配定位方法
CN110332936B (zh) * 2019-05-23 2023-04-21 湖南大学 基于多传感器的室内运动轨迹导航方法
CN111103887B (zh) * 2020-01-14 2021-11-12 大连理工大学 一种基于多传感器的多移动机器人调度系统设计方法
CN113952031B (zh) * 2020-07-21 2025-10-17 巴德阿克塞斯系统股份有限公司 磁跟踪超声探头及生成其3d可视化的系统、方法和设备
CN112050804B (zh) * 2020-07-31 2022-04-08 东南大学 一种基于地磁梯度的近场磁图构建方法
CN112595330B (zh) * 2020-11-13 2021-10-15 禾多科技（北京）有限公司 车辆定位方法、装置、电子设备和计算机可读介质
CN112504265B (zh) * 2020-11-16 2023-02-28 中国科学院空天信息创新研究院 一种用于室内车辆地磁匹配定位的地磁基准库构建方法
CN113076910B (zh) * 2021-04-16 2022-12-13 陕西恒拓创诚科技有限公司 基于人工智能的agv小车磁带干扰物检测方法及系统
CN114526730B (zh) * 2022-01-21 2023-06-30 华南理工大学 基于磁梯度的运动速度估计方法及装置
CN114910753B (zh) * 2022-04-21 2023-03-24 武汉朗德电气有限公司 一种用于gil故障定位的声波传输装置及检测方法
CN119512071A (zh) * 2024-10-12 2025-02-25 苏州维达奇智能科技有限公司 一种多路径自主导航式自动导车系统及其控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015006726A2 (en) * 2013-07-12 2015-01-15 Microsoft Corporation Indoor location-finding using magnetic field anomalies
CN104390643A (zh) * 2014-11-24 2015-03-04 上海美琦浦悦通讯科技有限公司 基于多信息融合实现室内定位的方法
CN104897154A (zh) * 2015-04-29 2015-09-09 中测高科（北京）测绘工程技术有限责任公司 基于手机的室内地磁导航方法及装置
CN105516929A (zh) * 2016-01-25 2016-04-20 赵佳 建立室内地图数据的方法、室内定位方法及对应装置
CN205283825U (zh) * 2015-12-25 2016-06-01 杭州万向职业技术学院 一种基于地磁的室内定位装置
CN206269826U (zh) * 2016-12-02 2017-06-20 华中科技大学 一种基于多传感器融合的室内导航装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015006726A2 (en) * 2013-07-12 2015-01-15 Microsoft Corporation Indoor location-finding using magnetic field anomalies
CN104390643A (zh) * 2014-11-24 2015-03-04 上海美琦浦悦通讯科技有限公司 基于多信息融合实现室内定位的方法
CN104897154A (zh) * 2015-04-29 2015-09-09 中测高科（北京）测绘工程技术有限责任公司 基于手机的室内地磁导航方法及装置
CN205283825U (zh) * 2015-12-25 2016-06-01 杭州万向职业技术学院 一种基于地磁的室内定位装置
CN105516929A (zh) * 2016-01-25 2016-04-20 赵佳 建立室内地图数据的方法、室内定位方法及对应装置
CN206269826U (zh) * 2016-12-02 2017-06-20 华中科技大学 一种基于多传感器融合的室内导航装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110967013A (zh) * 2018-10-01 2020-04-07 刘佳兴 一种基于室内地磁场信息和智能手机的室内区域定位系统
CN109916396A (zh) * 2019-04-04 2019-06-21 南京邮电大学 一种基于多维地磁信息的室内定位方法
CN109916396B (zh) * 2019-04-04 2023-08-08 南京邮电大学 一种基于多维地磁信息的室内定位方法
CN111307154A (zh) * 2020-02-27 2020-06-19 南京大学 一种基于磁铁阵列扫描的室内行人追踪系统及其工作方法
CN111307154B (zh) * 2020-02-27 2023-02-21 南京大学 一种基于磁铁阵列扫描的室内行人追踪系统及其工作方法
CN113703446A (zh) * 2021-08-17 2021-11-26 泉州装备制造研究所 一种基于磁钉的导引车导航方法及调度系统
CN113703446B (zh) * 2021-08-17 2023-11-07 泉州装备制造研究所 一种基于磁钉的导引车导航方法及调度系统
CN113703059A (zh) * 2021-09-02 2021-11-26 中船海洋探测技术研究院有限公司 一种针对水际铁磁性目标集群的远距离磁探方法
CN113703059B (zh) * 2021-09-02 2023-11-17 中船海洋探测技术研究院有限公司 一种针对水际铁磁性目标集群的远距离磁探方法
CN114281048A (zh) * 2021-12-28 2022-04-05 哈尔滨工业大学芜湖机器人产业技术研究院 一种基于工业互联网的agv智能管理系统
CN116086435A (zh) * 2023-01-16 2023-05-09 中北大学 基于多磁传感器的定位方法、系统、电子设备及存储介质
CN121048625A (zh) * 2025-08-28 2025-12-02 北京瑞迪时空信息技术有限公司 一种基于多源信息融合的自适应室内定位方法及系统

Also Published As

Publication number Publication date
CN106370189A (zh) 2017-02-01
CN106370189B (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
WO2018098850A1 (zh) 一种基于多传感器融合的室内导航装置及方法
CN103472823B (zh) 一种智能机器人用的栅格地图创建方法
US10699573B1 (en) Device locator
Le Grand et al. 3-axis magnetic field mapping and fusion for indoor localization
Zhou et al. Activity sequence-based indoor pedestrian localization using smartphones
CN107734457B (zh) 智慧停车场导航系统及方法
CN105072580B (zh) 基于扫地机器人的wifi指纹地图自动采集系统及方法
EP3351024B1 (en) Landmark location determination
CN110392908B (zh) 用于生成地图数据的电子设备及其操作方法
CN102576064A (zh) 用于标识预定义区域内的兴趣点的方法和装置
CN105043380A (zh) 基于微机电传感器、WiFi定位、磁场匹配的室内导航方法
US10117061B2 (en) Systems and methods to track movement of a device in an indoor environment
CN108692720A (zh) 定位方法、定位服务器及定位系统
CN104764461B (zh) 一种用于医院门诊的导航方法和装置
CN106767771B (zh) 一种用于室内导航的传感器装置的磁地图生成方法
CN107036597A (zh) 一种基于智能手机内置惯性传感器的室内定位导航方法
CN110455291A (zh) 用于利用磁场异常进行户内定位-寻找的方法和装置
CN104596504A (zh) 应急救援场景下快速构建地图辅助室内定位方法及系统
CN103207383A (zh) 基于单个移动节点对一静止节点进行二维无线定位的方法
CN108513353B (zh) 基于双信标节点实现移动机器人定位的方法
Etzion et al. MoRPI: Mobile robot pure inertial navigation
Karimi et al. Pedestrian navigation services: challenges and current trends
US20180084387A1 (en) Determining Location Based on Measurements of Device Orientation
WO2017092008A1 (zh) 一种导航方法和用于导航的设备
CN206269826U (zh) 一种基于多传感器融合的室内导航装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16922819

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16922819

Country of ref document: EP

Kind code of ref document: A1