WO2023212983A1

WO2023212983A1 - 一种智能手机和可穿戴设备的音频定位系统、方法及终端

Info

Publication number: WO2023212983A1
Application number: PCT/CN2022/093481
Authority: WO
Inventors: 陈锐志
Original assignee: 浙江德清知路导航科技有限公司
Priority date: 2022-05-05
Filing date: 2022-05-18
Publication date: 2023-11-09
Also published as: CN114828211A; CN114828211B

Abstract

本发明属于音频定位技术领域，公开了一种智能手机和可穿戴设备的音频定位系统、方法及终端，利用基站网络传输测距信号，并设计频率为12kHz～21kHz的特定空间信号；利用用户终端接收和解码测距信号，以最先到达信号估计基站和用户终端之间的距离，并根据在用户位置测量的多个距离估计用户位置。本发明提供了一种用于智能手机和可穿戴设备的音频定位系统(APS)，是一种基于音频的精准测距技术。本发明测距精度高，信号覆盖范围广，能够在不改变智能手机硬件的情况下支持所有智能手机平台。实验结果证明，本发明的APS可以在50米的信号有效范围内提供16cm的测距精度和38cm的静态定位精度。

Description

一种智能手机和可穿戴设备的音频定位系统、方法及终端

技术领域

本发明属于音频定位技术领域，尤其涉及一种智能手机和可穿戴设备的音频定位系统、方法及终端。

背景技术

目前，全球导航卫星系统(GNSS)一直是一种重要的室外定位技术。然而，微弱的GNSS信号无法穿透到室内空间。在室内环境中精准定位人员、物体和车辆仍然是一项具有挑战性的任务。近年来，由于室内导航、位置服务和人工智能等应用对室内人员、物体、机器人和车辆定位的大量需求，开发精准室内定位技术的兴趣日益浓厚。超宽带、Wi-Fi RTT、蓝牙AoA、音频测距、5G技术等多种定位技术已经展示了室内精准定位的潜力。

全球导航卫星系统(GNSS)技术已经实现了汽车导航、自动驾驶、包裹跟踪、土地测量、滑坡监测、无人机(UAV)导航定位等大量应用。然而，这些应用中的大多数目前都用于能接收GNSS信号的室外环境。全国人类活动模式调查(NHAPS)报告称，人们有86.9％的时间花在封闭的建筑物中。大约80％的数据通信、70％的电话、80％的移动支付和80％的位置相关信息发生在室内。在机场、火车站、展览馆和大型工厂等封闭的室内环境中，对人员、机器人、设备、拖车、购物车和许多其他物体进行定位以提供智能管理功能的兴趣和需求越来越大。此外，未来的应用，如智慧城市、数字孪生和即将到来的元宇宙应用，需要获取与室内人员、物体和车辆的位置相关的实时地理空间数据，并将这些实时信息投射到虚拟空间以实现系统智能。室内精准定位技术现在在提供地理空间大数据以支持人工智能(AI)应用方面发挥着至关重要的作用。

然而，由于GNSS信号不可用、室内拓扑复杂、信号传播环境具有挑战性，以及人们手持智能手机的任意多变姿势，如发短信、摇摆、打电话并把它放在口袋里，在室内环境中精准定位人员、物体和车辆仍然是一项具有挑战性的任务。Wi-Fi和蓝牙是最常见的室内定位射频信号，是因为这些信号在智能手机中可用。近年来，各种技术包括：

(1)Wi-Fi Fine Timing Measurement(FTM)，通过使用往返时间(RTT)测距解决方案实现高定位精度。该技术嵌入在Google智能手机中，它可以达到1米左右的测距精度，并提供1～2米的定位精度。但是，由于RTT解决方案的交互特性，它只能同时支持有限数量的用户。

(2)超宽带(UWB)测距技术最初由Apple应用于智能手机行业。目前，其他公司，如小米和三星也已在其智能手机中实现了UWB芯片。虽然目前支持UWB的智能手机可以提供方向性和近距离检测功能，但是智能手机全面定位能力的发展还有待未来几年。

(3)蓝牙5.1提供了通过天线阵列测量信号到达角(AoA)的能力。AoA是根据在每个天线处收集的信号相位和幅度测量值估算的。它是一种低成本、低功耗的解决方案。根据信号发射器的安装高度，可以达到1～3m的定位精度。但是，它受到天线阵列的限制，需要预先进行复杂的误差补偿。

(4)5G是另一种具有很大潜力的室内定位技术。5G有利于定位的三个特点：基站密集安装(室内空间30～50米)、带宽宽、天线阵列适配。5G可以提供优于1米的测距精度和2～3米的定位精度。

(5)同步定位和建图(SLAM)已在机器人、自动驾驶和无人机上得到了很好的应用。它是一种昂贵的解决方案，需要大量计算，因此尚未在智能手机平台中采用。

通过上述分析，现有技术存在的问题及缺陷为：

(1)由于RTT解决方案的交互特性，只能同时支持有限数量的用户。蓝牙5.1受到天线阵列的限制，需要预先进行复杂的误差补偿。现有的同步定位和建图方法成本高，且需要大量计算，因此尚未在智能手机平台中采用。

(2)室内定位技术分析如下：

(2.1)Wi-Fi技术通过无线接入点(包括无线路由器)组成的无线局域网络(WLAN)，可以实现复杂环境中的定位、监测和追踪任务。它以网络节点(无线接入点)的位置信息为基础和前提，采用经验测试和信号传播模型相结合的方式，对已接入的移动设备进行位置定位，更高度大约在1米至20米之间。如果定位测算仅基于当前连接的Wi-Fi接入点，而不是参照周边Wi-Fi的信号强度合成图，则Wi-Fi定位就很容易存在误差(例如：定位楼层错误)。另外，Wi-Fi接入点通常都只能覆盖半径90米左右的区域，而且很容易受到其他信号的干扰，从而影响其精度，定位器的能耗也较高。

(2.2)蓝牙技术蓝牙通讯是一种短距离低功耗的无线传输技术，在室内安装适当的蓝牙局域网接入点后，将网络配置成基于多用户的基础网络连接模式，并保证蓝牙局域网接入点始终是这个微网络的主设备。这样通过检测信号强度就可以获得用户的位置信息。蓝牙室内定位技术更大的优点是设备体积小、短距离、低功耗。

(2.3)红外线技术室内定位是通过安装在室内的光学传感器，接收各移动设备(红外线IR标识)发射调制的红外射线进行定位，具有相对较高的室内定位精度。但是，由于光线不能穿过障碍物，使得红外射线仅能视距传播，容易受其他灯光干扰，并且红外线的传输距离较短，使其室内定位的效果很差。当移动设备放置在口袋里或者被墙壁遮挡时，就不能正常工作，需要在每个房间、走廊安装接收天线，导致总体造价较高。

(2.4)超宽带技术超宽带技术与传统通信技术的定位方法有较大差异，它不需要使用传统通信体制中的载波，而是通过发送和接收具有纳秒或纳秒级以下的极窄脉冲来传输数据，可用于室内定位，例如：战场士兵的位置发现、机器人运动跟踪等。超宽带系统与传统的窄带系统相比，具有穿透力强、功耗低、抗多径效果好、安全性高、系统复杂度低、能够提高定位精度等优点，通常用于室内移动物体的定位跟踪或导航。

(2.5)RFID技术RFID定位技术利用射频方式进行非接触式双向通信交换数据，实现移动设备识别和定位的目的。它可以在几毫秒内得到厘米级定位精度的信息，且传输范围大、成本较低；不过，由于以下问题未能解决，以RFID定位技术的适用范围受到局限。1)RFID不便于整合到移动设备之中2)作用距离短(一般最长为几十米)3)用户的安全隐私保护4)国际标准化。

(2.6)超声波技术超声波定位主要采用反射式测距(发射超声波并接收由被测物产生的回波后，根据回波与发射波的时间差计算出两者之间的距离)，并通过三角定位等算法确定物体的位置。超声波定位整体定位精度较高、系统结构简单，但容易受多径效应和非视距传播的影响，降低定位精度；同时，它还需要大量的底层硬件设施投资，总体成本较高。

(2.7)ZigBee技术ZigBee是一种短距离、低速率的无线网络技术。它介于RFID和蓝牙之间，可以通过传感器之间的相互协调通信进行设备的位置定位。目前国内Zigbee技术主要采用ISM频段中的2.5G频率，其衍射能力弱，穿墙能力弱。

发明内容

针对现有技术存在的问题，本发明提供了一种智能手机和可穿戴设备的音频定位系统、方法、介质、设备及终端。

本发明是这样实现的，一种智能手机和可穿戴设备的音频定位方法，所述智能手机和可穿戴设备的音频定位方法包括：

利用基站网络传输测距信号，并设计频率为12kHz～21kHz的特定空间信号；利用用户终端接收和解码测距信号，以最先到达信号估计基站和用户终端之间的距离，并根据在用户位置测量的多个距离估计用户位置。

进一步，所述智能手机和可穿戴设备的音频定位方法包括以下步骤：

步骤一，设计频率为12kHz～21kHz的Chirp信号；

步骤二，基于音频的精准测距；

步骤三，基于音频测距和惯性传感器的定位。

进一步，所述步骤一中设计的Chirp信号表示为：

其中，A(t)是声波的幅度，T是Chirp信号的周期，f ₀分别f _e是初始频率和截止频率；分析室内衰落信道，接收信号表示为：

其中，α _i、τ _i和N _i(t)分别是第i个传播路径的信道衰落系数、传播延迟和随机噪声，h(t)是室内环境中的信道脉冲响应，τ _i是第i个分量的时延，τ ₀是第一视线分量的时延。

进一步，所述步骤二中的基于音频的精准测距包括：

Chirp信号采用50ms的周期。

给定测距信号s(t)在智能手机中生成，以及麦克风接收到的相应信号x(t)，通过傅里叶变换得到信号S(f)和X(f)的频域描述。广义交叉谱G(f)推导为：

G(f)＝E[S(f)X(f) ^H

其中，E[*]是数学期望算子，f是信号频率，H是厄米转置。

采用相位变换加权方案获得所有频率分量的单位增益，保留实际延迟信息；

通过进行傅里叶逆变换，获得以下相关函数R(τ)：

其中，τ是相关函数的时延，测距信号s(t)的时延Δt由下式获得：

其中，β是阈值因子，β·max[|R(τ)|]表示估计阈值。

得到时间延迟Δt后，计算用户终端与发送信号的相应基站之间的距离d：

d＝Δt·c

其中，c是声速，为343m/s。在获得至少三个基站的距离后，通过应用最小二乘三边测量算法或综合滤波算法估计用户终端的位置。

进一步，所述步骤三中的基于音频测距和惯性传感器的定位包括：

通过整合声学范围和惯性传感器的测量值估计用户终端的位置，估计用户位置的数据处理包括数据驱动部分和模型驱动部分；其中，所述数据驱动部分基于深度学习方法估计用户速度矢量；所述模型驱动部分利用扩展卡尔曼滤波器来整合速度矢量和测距测量来估计用户位置、航向和速度。

(1)数据驱动部分：利用智能手机或标签上的加速度计和陀螺仪传感器的测量值估计速度矢量v＝[v _x,v _y,v _z] ^T，是基于深度学习方法的数据驱动方法。

(2)模型驱动部分：集成速度矢量与基于音频的精准测距，使用扩展卡尔曼滤波器估计用户的位置、航向和速度。

进一步，所述步骤三中的基于音频测距和惯性传感器的定位还包括：

通过对步长为10Hz的IMU测量应用滑动窗口程序，学习速度矢量的输出速率为20Hz。位移向量通过将速度向量乘以两个连续周期t ₁和t ₂的时间间隔估计，如下所示：

从绝对坐标系中收集距离和方位角测量值，采用2D方法进行用户位置估计。

采用扩展卡尔曼滤波器融合从PDR网络获得的位移矢量。位移向量位于由初始航向x和垂直方向u定义的局部坐标系L(x,y,u)中，y轴由右手笛卡尔坐标系的作用定义。由于EKF输出的最终坐标在由东北天方向定义的导航坐标系G(e,n,u)中，两个坐标系G和L在水平面上存在一个旋转角θ。在滤波器的状态向量中引入该旋转角度θ如下：

X _k＝[e _k n _k θ _k] ^T

其中，[e _k,n _k]分别为历元k内在东、北方向的水平坐标；θ _k包括坐标系G和L之间的旋转角度以及陀螺仪的累积漂移误差。系统状态转移方程描述如下：

其中，

是使用状态转移方程预测的协调器；W _k是服从正态分布N(0、Q _k)的过程噪声，Q _k是过程噪声的协方差矩阵；Δx _k和Δy _k是数据驱动PDR网络获得的从周期k-1到周期k的局部坐标系L中的位移分量。

使用433MHz的射频无线电来同步所有信号发射器之间的时钟，并实现小于0.1ms的同步误差；如果从多个信号发射器接收测距信号，则使用多个TDoA观测数据，观测方程Z _k表示为：

其中，

是用预测状态向量

计算的预测观察值的向量，S _i是G坐标系中第i个发射机的坐标向量，V _k是Z _k的误差向量，Z _k服从正态分布N(0,R _k)，其中R _k是Z _k的协方差矩阵，m是当前用户位置可用的发射器数量，c是温度T下的声速。

EKF更新为：

其中

X _k是状态估计，P _k是更新后的协方差矩阵。

本发明的另一目的在于提供一种应用所述的智能手机和可穿戴设备的音频定位方法的智能手机和可穿戴设备的音频定位系统，所述智能手机和可穿戴设备的音频定位系统包括传输测距信号的基站网络、特定设计的空间信号、用于接收和解码测距信号以及估计用户位置的用户终端。

其中，所述基站网络是一组信号发射器，由扬声器、时钟同步模块、蓝牙低功耗模块和微控制器单元组成，用于通过空中广播特别设计的信号，且网络中基站时钟与433MHz射频无线电同步；

所述空间信号是一组线性调频信号，频率为12kHz～21kHz；

所述用户终端，用于接收和解码测距信号，以最先到达信号估计基站和用户终端之间的距离，并根据在用户位置测量的多个距离估计用户位置；

所述用户终端实施综合信号处理程序，用户终端是用于定位人员的智能手机或用于定位物体和车辆的标签，针对基于标签的用户终端开发专用芯片。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的智能手机和可穿戴设备的音频定位系统。

结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：

第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：

本发明提供了一种基于音频的智能手机和可穿戴设备的音频定位系统(APS)。与大多数基于射频(RF)的技术不同，该解决方案基于音频。本发明的音频定位方法有三个优点：测距精度高，信号覆盖范围广，能够在不改变智能手机硬件的情况下支持所有智能手机平台。

本发明提供了一种声学定位系统，由三部分组成：用于信号传输的基站网络、定义测距信号的空间信号以及用于接收测距信号、计算测距测量和估计用户位置的用户终端；测距信号采用12kHz～21kHz频段，测距精度为16cm；通过使用惯性传感器学习速度矢量，在定位算法中训练数据驱动的PDR网络，并通过使用扩展卡尔曼滤波器进一步与音频测距测量集成；APS在静态情况下提供±38厘米的定位精度，在动态情况下提供±58厘米的定位精度。

第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：

本发明提供了一种用于智能手机和可穿戴设备的音频定位系统(APS)，是一种基于音频的精准测距技术。实验结果证明，本发明的APS可以在50米的信号有效范围内提供16cm的测距精度和38cm的静态定位精度。

第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

(1)本发明的技术方案填补了国内外业内技术空白：

本发明提出了一种基于音频的定位技术，填补了国内外基于音频定位的室内定位技术空白。

(2)本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题：

本发明解决了在不改变手机硬件的前提下，提供高精度的室内定位服务。

(3)本发明的技术方案是否克服了技术偏见：

本发明提出了一种基于音频测距和PDR的组合定位技术，紧密耦合了模型驱动的音频精准测距和数据驱动的PDR，建立数据与模型双驱动的导航定位理论新范式及新方案。

通过使用惯性传感器学习速度矢量，在定位算法中训练数据驱动的PDR网络，并通过使用扩展卡尔曼滤波器进一步与音频测距测量集成。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的智能手机和可穿戴设备的音频定位方法流程图；

图2是本发明实施例提供的APS的三个组成部分示意图；

图3是本发明实施例提供的基站的硬件布局示意图；

图4是本发明实施例提供的测距信号的相关函数示意图；

图5是本发明实施例提供的估计用户位置的集成框架示意图；

图6是本发明实施例提供的数据驱动的PDR网络的训练过程示意图；

图7是本发明实施例提供的使用经过训练的PDR网络估计速度矢量的过程示意图；

图8是本发明实施例提供的使用激光干涉仪评估轨道上测距差异性能的实验装置示意图；

图9是本发明实施例提供的APS定位误差的测试环境示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种智能手机和可穿戴设备的音频定位系统、方法及终端，下面结合附图对本发明作详细的描述。

一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。

如图1所示，本发明实施例提供的智能手机和可穿戴设备的音频定位方法包括以下步骤：

S101，设计频率为12kHz～21kHz的Chirp信号；

S102，基于音频的精准测距；

S103，基于音频测距和惯性传感器的定位。

如图2所示，本发明实施例提供的智能手机和可穿戴设备的音频定位系统包括传输测距信号的基站网络、特定设计的空间信号、用于接收和解码测距信号以及估计用户位置的用户终端。

其中，基站网络是一组信号发射器，由扬声器、时钟同步模块、蓝牙低功耗模块和微控制器单元组成，用于通过空中广播特别设计的信号，且网络中基站时钟与433MHz射频无线电同步；

空间信号是一组线性调频信号，频率为12kHz～21kHz；

用户终端，用于接收和解码测距信号，以最先到达信号估计基站和用户终端之间的距离，并根据在用户位置测量的多个距离估计用户位置；

用户终端实施综合信号处理程序，用户终端是用于定位人员的智能手机或用于定位物体和车辆的标签，针对基于标签的用户终端开发专用芯片。

下面结合具体实施例对本发明的技术方案作进一步的说明。

1、系统概述

音频定位系统的高级架构如图2所示。它由三个部分组成：传输测距信号的基站网络、特定设计的空间信号、用于接收和解码测距信号以及估计用户位置的用户终端。

基站网络是一组信号发射器，通过空中广播特别设计的信号。网络中基站时钟与433MHz射频无线电同步。全网维护一个主时钟，其他所有时钟都与主时钟同步，精度不到10万秒，对于APS来说已经足够了，因为声速约为343m/s。这意味着同步误差小于3.4cm。图3显示了基站的硬件布局，主要由扬声器、时钟同步模块、蓝牙低功耗模块和微控制器单元组成。

空间信号是一组线性调频(LFM)信号。LFM信号，也称为Chirp信号，具有更好的抗多普勒效应的能力，由于声波的传播速度较低，是音频定位的一个重要问题。为了减少环境噪声的影响，在传输测距信号时不产生任何可听的声音，本发明选择了频率为12kHz～21kHz的Chirp信号。由于所有智能手机都支持该频段，因此APS可以直接用于安卓和苹果系统的智能手机，而无需对智能手机进行任何硬件更改。这一特性使得这项技术可以很容易地应用到大众市场。

特别设计的Chirp信号可表示为：

其中A(t)是声波的幅度，T是Chirp信号的周期，f ₀分别f _e是初始频率和截止频率。考虑到室内衰落信道，接收信号可表示为：

其中，α _i、τ _i和N _i(t)是第i个传播路径的信道衰落系数、传播延迟和随机噪声，h(t)是室内环境中的信道脉冲响应(CIR)，τ _i是第i个分量的时延，而τ ₀是第一视线(LOS)分量的时延。

用户终端的功能是接收和解码测距信号，以最先到达信号来估计基站和用户终端之间的距离，并根据在用户位置测量的多个距离估计用户位置。由于接收到的信号可能会受到环境噪声、墙壁反射信号、玻璃窗等的干扰，因此在用户终端中实施了综合信号处理程序，以提取距离信号的初至信号。用户终端可以是用于定位人员的智能手机，也可以是用于定位物体和车辆的标签。由于智能手机的内置麦克风可用于接收声学测距信号，因此，Android或iOS操作系统的智能手机无需更改任何硬件。针对基于标签的用户终端，已开发了专用芯片。

2、基于音频的精准测距

公式(1)所表达的Chirp信号可以通过使用一个基站的扬声器生成并在空中广播。它是一种具有不同特征编码的脉冲信号。APS的Chirp信号周期大约是50ms，与用于人类口头交流的音频信号相比相对较短。基站定期广播Chirp脉冲，由用户终端接收。用户终端可以是智能手机，也可以是嵌入芯片的标签，专门处理从基站发送的测距信号。

智能手机内置的麦克风通常可以记录20Hz～23kHz的频段。为了利用智能手机中现有的麦克风，本发明的测距信号设计在这个频段内。人声音频信号一般在15kHz以下，为了减少其干扰，将测距信号调整到12kHz～21kHz的频段，也适用于上面提到的测距信号，因此无需更改智能手机中的任何硬件。Chirp信号采用50ms的周期。

广义互相关(GCC)是一种典型的估算时延的方法，时延可以转换为用户终端和基站之间的几何距离。公式(1)中定义的给定测距信号s(t)可以在智能手机中生成，以及麦克风接收到的相应信号x(t)，通过傅里叶变换可以得到信号S(f)和X(f)的频域描述。广义交叉谱G(f)可以推导出为：

G(f)＝E[S(f)X(f) ^H

其中，E[*]是数学期望算子，f是信号频率，H是厄米转置。为了实现更稳健的解决方案，采用相位变换(PHAT)加权方案来获得所有频率分量的单位增益，即保留实际延迟信息。

通过进行以下傅里叶逆变换(IFT)，可以获得以下相关函数R(τ)：

其中τ是相关函数的时延，测距信号s(t)的时延Δt可由下式获得：

其中，β是阈值因子，β·max[|R(τ)|]表示估计阈值。

得到时间延迟Δt后，可以很容易地计算出用户终端与发送信号的相应基站之间的距离d：

d＝Δt·c

其中，c是声速，约为343m/s。在获得至少三个基站的距离后，可以通过应用最小二乘三边测量算法或综合滤波算法来估计用户终端的位置，以防集成其他传感器的测量结果，如智能手机内置的惯性传感器。

3、基于音频测距和惯性传感器的定位

通过整合声学范围和惯性传感器的测量值来估计用户终端的位置，估计用户位置的数据处理框架主要由两部分组成，如图5所示，它由两部分组成：基于深度学习方法来估计用户速度矢量的数据驱动部分；利用扩展卡尔曼滤波器来整合速度矢量和测距测量来估计用户位置、航向和速度的模型驱动部分。

数据驱动部分。利用智能手机或标签上的加速度计和陀螺仪传感器的测量值来估计速度矢量v＝[v _x,v _y,v _z] ^T，这是一种基于深度学习方法的数据驱动方法。

模型驱动部分。集成速度矢量与基于音频的精准测距，使用扩展卡尔曼滤波器(EKF)，来估计用户的位置、航向和速度。

惯性传感器以其低功耗和高数据速率方面的优势在智能手机和可穿戴设备的定位中发挥着重要作用。然而，加速度计、陀螺仪和磁力计等低成本惯性传感器的测量存在漂移误差，当对加速度进行双积分以获得位移时，会导致误差无限增长。采用深度学习方法，利用惯性传感器的测量作为输入，来估计行人行走轨迹。这是行人航位推算(PDR)的数据驱动方法，与使用步进检测的模型驱动方法完全不同。

该解决方案中使用了ResNet-18网络，是一个18层深度的卷积神经网络，常用于图像识别的训练网络。可以从ImageNet数据库中加载超过100万张图像训练的网络版本。采用该框架来训练PDR网络，如图6所示，利用运动捕捉系统收集训练数据集，该数据集可以跟踪智能手机的位移矢量，精度为几毫米。利用运动捕捉系统来收集训练数据集，该数据集可以以几毫米的精度跟踪速度矢量。在每个时期收集的所有数据，包括速度矢量和IMU(惯性测量单元)测量值，都被转换到初始局部坐标系，该坐标系由数据收集初始时期的任意水平航向和垂直线定义。坐标变换在数据预处理步骤中完成，如图6所示，学习到的速度矢量可以以高达20Hz的速率输出。位移向量可以通过将速度向量乘以两个连续周期的时间间隔来估计。

图7显示了使用经过训练的PDR网络估计速度矢量的过程。由于IMU传感器可以输出200Hz的数据速率，因此通过对步长为10Hz的IMU测量应用滑动窗口程序，学习速度矢量的输出速率可以高达20Hz。位移向量可以通过将速度向量乘以两个连续周期t ₁和t ₂的时间间隔来估计，如下所示：

学习速度向量是一个相对向量。利用PDR网络学习到的速度向量获得的行走轨迹可以保持其几何形状，但没有任何绝对的水平方向。因此，它仍然需要从绝对坐标系中收集一些距离和方位角等测量值，例如汽车导航中常用的东北天坐标系。

对于户外环境，GNSS技术通常用于定位智能手机或可穿戴设备。这是一项非常成熟的技术。因此，APS更适合室内环境，虽然它也适用于室外环境，但它并不是室外环境中最具成本效益的解决方案。室内定位通常发生在水平地板平面中，因此，本发明的算法采用2D方法进行用户位置估计。

如图4所示，采用扩展卡尔曼滤波器(EKF)来融合从PDR网络获得的位移矢量。如上所述，该位移向量位于由初始航向x和垂直方向u(向上)定义的局部坐标系L(x,y,u)中，y轴由右手笛卡尔坐标系的作用定义。由于EKF输出的最终坐标在由东北天方向定义的导航坐标系G(e,n,u)中，这两个坐标系G和L在水平面上存在一个旋转角θ。因此，在滤波器的状态向量中引入该旋转角度θ如下：

X _k＝[e _k n _k θ _k] ^T

其中，[e _k,n _k]分别为历元k内在东、北方向的水平坐标。实际上，θ _k包括坐标系G和L之间的旋转角度以及陀螺仪的累积漂移误差。系统状态转移方程描述如下：

其中，

是使用状态转移方程预测的协调器。W _k是服从正态分布N(0、Q _k)的过程噪声，Q _k是过程噪声的协方差矩阵。Δx _k和Δy _k是数据驱动PDR网络获得的从周期k-1到周期k的局部坐标系L中的位移分量。

在APS系统中，使用433MHz的射频无线电来同步所有信号发射器之间的时钟，并实现小于0.1ms的同步误差，这对解决方案来说已经足够了。然而，将智能手机的时钟与信号发射器的时钟同步是不可能的。利用一个称为到达时间差(TDoA)的可观察量，它取自同一时期两个不同发射器的时延差，以消除智能手机的时钟误差。如果可以从多个信号发射器接收测距信号，则可以使用多个TDoA观测数据。观测方程Z _k可以表示为：

其中，

是用预测状态向量

计算的预测观察值的向量，S _i是G坐标系中第i个发射机的坐标向量，V _k是Z _k的误差向量，Z _k服从正态分布N(0,R _k)，其中R _k是Z _k的协方差矩阵，m是当前用户位置可用的发射器数量，c是温度T下的声速。EKF可以更新为：

其中

X _k是状态估计，P _k是更新后的协方差矩阵。

二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用的应用实施例。

应用例1

某国际展览中心1号展厅游客室内导览系统：某国际展览中心坐落于某小镇，其中1号展厅全厅大小为47.7*106.2*19米，总占地面积超过5000m ²。该场景面向实际会展中游客的寻位需求，以音频为核心，在应用上采取数模融合的定位方案。场馆内覆盖了音频高精度定位源，完成了实际应用场景对本发明技术方案的验证与指标测试。如图9所示。

应用例2

某市大学师生四食堂定位辅助疫情防控系统：为体现数模融合定位技术在防疫监控层面的先进作用，与某大学合作，在该校师生四食堂试行音频定位辅助疫情防控系统。该系统为该校大健康管理系统的子系统，旨在在学校恢复正常教学的情况下，为避免大规模病毒感染，学校需能实时掌握全校人员基础健康信息和人员流动信息，高效追溯防疫各类人群。音频系统在人员密度监测和防疫溯源两个方面，都有十分明确的功能需求。

1)人员密度监测

基于通过实时定位信号，采集校内人员活动信息，通过数据分析和呈现(热力图)校内各区域的人员聚集情况，包括但不限于办公楼、宿舍楼、教学楼、食堂、图书馆、体育馆等生活配套设施，可以实时显示人员数量和密度。

2)防疫溯源

通过实时定位服务，实现全校人员行为轨迹的记录和查询。结合校园地图和定位数据，动态呈现人员的活动轨迹，可以快速查找人员的活动轨迹。同时基于定位数据，分析两两人员接触的距离与接触时长构建密切接触者模型，可以快速查询14天、21天等不同时间范围的密切接触者。本项目将音频信号定位方法引入，补齐室内定位技术这块短板，为学校建立完整的校园内位置服务网络，保障师生安全提供技术保证。

通过试点推行，验证了音频信号定位技术在提供室内定位数据时具有准确、稳定、可靠、兼容及耐用的特点。

应用例3

某市大型火车站定位导航系统：通过在火车站内区域、站外广场及地下停车场内安装的音频基站提供的伪卫星信号，实现面向大众提供室内外一体化无缝导航，同时向管理平台提供生产、安保人员的位置服务。

用户使用集成室内引擎的专用导航应用APP，当人员位于室外区域时对接GNSS卫星信号；当人员进入室内以后，APP自动判断进入室内环境，将定位信号从GNSS卫星信号切换至音频信号，持续提供定位服务。位置信息可通过WiFi或4G信号上传至管理云服务平台，为管理方提供设备人员分布感知、风险预警、动态巡逻展示、视频监控联动、应急指挥管理等功能。

应用例4

某市货运机场人员设备定位系统：采用音频定位技术，通过数模融合定位算法及高精度地图将定位结果呈现给用户，提供室内外一体化的人员设备定位服务。实现机场及其相关装卸货区域、车间等主要室内区域的人员、车辆和资产设备的定位，主要包括：人员、车辆、资产的实时定位、电子围栏报警、一键报警、轨迹回放等功能，使得安全管理工作由人工管理和流程管理转变为智慧管理，极大地提升安全管理效果，具有重大的应用价值。

应用例5

移动公司5G展厅游客导览定位系统：移动为向大众科普5G将如何改变人们的生活方式、提升生活质量，也为推广各行业5G技术的最新应用成果，在公司侧厅举办了“5G+未来”主题展览。通过音频数模融合定位系统，展厅内的设备均可实时获取自身所在的位置，并提供给游客；当设备感应到游客出现在附近时，便自动播放介绍视频或语音，实现“人找展位，展位寻人”的联动目的。

三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。

为了评估APS系统的TDoA测量精度，如图8所示，在实验室中沿37米的轨道进行了实验。信号发射器T ₁安装在轨道的一端，另一个信号发射器T ₂安装在非常靠近测试智能手机的麦克风处。有了这个设置，只需同步两个发射器的时钟，通过取T ₁和T ₂的时间延迟Δt _i的差值，可以消除智能手机和发射器之间的时钟误差Δt _c，如下所示：

TDoA＝(Δt ₁+Δt _c)-(Δt ₂+Δt _c)＝Δt ₁-Δt ₂

Δd＝c·TDoA

此外，使用激光干涉仪精确测量测距差的真实值Δd。然后，通过将智能手机测量值与激光干涉仪测量的真实值进行比较，可以计算出Δd的误差。沿轨道进行四轮实验，对于每一轮实验，沿轨道每隔两米进行测量。表1显示了测距差异的误差统计。

表1测距差异的误差统计

在评估了测距差异性能后，在某国际展览中心1号展厅内进行了定位解决方案的性能评估，如图9所示。静态和动态测试均使用四个不同型号的智能手机：华为P9、华为P40、小米10和荣耀8。静态测试是在徕卡TS60全站仪获得的地面真实坐标点进行的，测距精度为0.6mm+1ppm，角度误差为0.5弧秒。沿预定轨迹以步行速度进行动态测试，动态轨迹的地面实况也由同一个全站仪实时测量，表2为静态测试的误差统计，表3为动态测试的误差统计。如表2和表3所示，静态情况下可以达到平均38cm的定位精度，动态情况下可以达到平均58cm的定位精度。

如图9所示，参考点采用徕卡TS 60全站仪进行测量，测距精度为0.6mm+1ppm，角度误差为0.5弧秒，如图9(a)所示。如图9(b)和图9(c)所示进行静态和动态(步行速度)测试。

表2 APS的静态定位误差

表3动态测试的错误统计

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims

一种智能手机和可穿戴设备的音频定位方法，其特征在于，所述智能手机和可穿戴设备的音频定位方法包括：

利用基站网络传输测距信号，用户终端接收和解码测距信号，以最先到达信号估计基站和用户终端之间的距离，并根据在用户位置测量的多个距离估计用户位置。
如权利要求1所述智能手机和可穿戴设备的音频定位方法，其特征在于，所述智能手机和可穿戴设备的音频定位方法包括以下步骤：

步骤一，设计频率为12kHz～21kHz的Chirp信号；

步骤二，基于音频的精准测距；

步骤三，基于音频测距和惯性传感器的定位。
如权利要求2所述智能手机和可穿戴设备的音频定位方法，其特征在于，所述步骤一中设计的Chirp信号表示为：

其中，A(t)是声波的幅度，T是Chirp信号的周期，f ₀分别f _e是初始频率和截止频率；分析室内衰落信道，接收信号表示为：

其中，α _i、τ _i和N _i(t)分别是第i个传播路径的信道衰落系数、传播延迟和随机噪声，h(t)是室内环境中的信道脉冲响应，τ _i是第i个分量的时延，τ ₀是第一视线分量的时延。
如权利要求2所述智能手机和可穿戴设备的音频定位方法，其特征在于，所述步骤二中的基于音频的精准测距包括：

Chirp信号采用50ms的Chirp周期；

给定测距信号s(t)在智能手机中生成，以及麦克风接收到的相应信号x(t)，通过傅里叶变换得到信号S(f)和X(f)的频域描述；广义交叉谱G(f)推导为：

G(f)＝E[S(f)X(f) ^H

其中，E[*]是数学期望算子，f是信号频率，H是厄米转置；

采用相位变换加权方案获得所有频率分量的单位增益，保留实际延迟信息；

通过进行傅里叶逆变换，获得以下相关函数R(τ)：

其中，τ是相关函数的时延，测距信号s(t)的时延Δt由下式获得：

其中，β是阈值因子，β·max[|R(τ)|]表示估计阈值；

得到时间延迟Δt后，计算用户终端与发送信号的相应基站之间的距离d：

d＝Δt·c

其中，c是声速，为343m/s；在获得至少三个基站的距离后，通过应用最小二乘三边测量算法或综合滤波算法估计用户终端的位置。
如权利要求2所述智能手机和可穿戴设备的音频定位方法，其特征在于，所述步骤三中的基于音频测距和惯性传感器的定位包括：

通过整合声学范围和惯性传感器的测量值估计用户终端的位置，估计用户位置的数据处理包括数据驱动部分和模型驱动部分；其中，所述数据驱动部分基于深度学习方法估计用户速度矢量；所述模型驱动部分利用扩展卡尔曼滤波器来整合速度矢量和测距测量来估计用户位置、航向和速度；

(1)数据驱动部分：利用智能手机或标签上的加速度计和陀螺仪传感器的测量值估计速度矢量v＝[v _x,v _y,v _z] ^T，是基于深度学习方法的数据驱动方法；

(2)模型驱动部分：集成速度矢量与基于音频的精准测距，使用扩展卡尔曼滤波器估计用户的位置、航向和速度。
如权利要求2所述智能手机和可穿戴设备的音频定位方法，其特征在于，所述步骤三中的基于音频测距和惯性传感器的定位还包括：

通过对步长为10Hz的IMU测量应用滑动窗口程序，学习速度矢量的输出速率为20Hz；位移向量通过将速度向量乘以两个连续周期t ₁和t ₂的时间间隔估计，如下所示：

从绝对坐标系中收集距离和方位角测量值，采用2D方法进行用户位置估计；

采用扩展卡尔曼滤波器融合从PDR网络获得的位移矢量；位移向量位于由初始航向x和垂直方向u定义的局部坐标系L(x,y,u)中，y轴由右手笛卡尔坐标系的作用定义；由于EKF输出的最终坐标在由东北天方向定义的导航坐标系G(e,n,u)中，两个坐标系G和L在水平面上存在一个旋转角θ；在滤波器的状态向量中引入该旋转角度θ如下：

X _k＝[e _k n _k θ _k] ^T

其中，[e _k,n _k]分别为历元k内在东、北方向的水平坐标；θ _k包括坐标系G和L之间的旋转角度以及陀螺仪的累积漂移误差；系统状态转移方程描述如下：

其中，
是使用状态转移方程预测的协调器；W _k是服从正态分布N(0、Q _k)的过程噪声，Q _k是过程噪声的协方差矩阵；Δx _k和Δy _k是数据驱动PDR网络获得的从周期k-1到周期k的局部坐标系L中的位移分量；

使用433MHz的射频无线电来同步所有信号发射器之间的时钟，并实现小于0.1ms的同步误差；如果从多个信号发射器接收测距信号，则使用多个TDoA观测数据，观测方程Z _k表示为：

其中，
是用预测状态向量
计算的预测观察值的向量，S _i是G坐标系中第i个发射机的坐标向量，V _k是Z _k的误差向量，Z _k服从正态分布N(0,R _k)，其中R _k是Z _k的协方差矩阵，m是当前用户位置可用的发射器数量，c是温度T下的声速；

EKF更新为：

其中，
X _k是状态估计，P _k是更新后的协方差矩阵。
一种应用如权利要求1～6任意一项所述智能手机和可穿戴设备的音频定位方法的智能手机和可穿戴设备的音频定位系统，其特征在于，所述智能手机和可穿戴设备的音频定位系统包括传输测距信号的基站网络、特定设计的空间信号、用于接收和解码测距信号以及估计用户位置的用户终端；

其中，所述基站网络是一组信号发射器，由扬声器、时钟同步模块、蓝牙低功耗模块和微控制器单元组成，用于通过空中广播特别设计的信号，且网络中基站时钟与433MHz射频无线电同步；

所述空间信号是一组线性调频信号，频率为12kHz～21kHz；

所述用户终端，用于接收和解码测距信号，以最先到达信号估计基站和用户终端之间的距离，并根据在用户位置测量的多个距离估计用户位置；

所述用户终端实施综合信号处理程序，用户终端是用于定位人员的智能手机或用于定位物体和车辆的标签，针对基于标签的用户终端开发专用芯片。
一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

利用基站网络传输测距信号，并设计频率为12kHz～21kHz的特定空间信号；利用用户终端接收和解码测距信号，以最先到达信号估计基站和用户终端之间的距离，并根据在用户位置测量的多个距离估计用户位置。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

利用基站网络传输测距信号，并设计频率为12kHz～21kHz的特定空间信号；利用用户终端接收和解码测距信号，以最先到达信号估计基站和用户终端之间的距离，并根据在用户位置测量的多个距离估计用户位置。
一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述智能手机和可穿戴设备的音频定位系统。