WO2023029390A1 - 一种毫米波雷达手势检测识别方法 - Google Patents

一种毫米波雷达手势检测识别方法 Download PDF

Info

Publication number
WO2023029390A1
WO2023029390A1 PCT/CN2022/077067 CN2022077067W WO2023029390A1 WO 2023029390 A1 WO2023029390 A1 WO 2023029390A1 CN 2022077067 W CN2022077067 W CN 2022077067W WO 2023029390 A1 WO2023029390 A1 WO 2023029390A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
wave radar
millimeter
behavior
data
Prior art date
Application number
PCT/CN2022/077067
Other languages
English (en)
French (fr)
Inventor
黄岩
刘江
林庆庆
李威
周睿
马莉
张慧
洪伟
Original Assignee
东南大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东南大学 filed Critical 东南大学
Publication of WO2023029390A1 publication Critical patent/WO2023029390A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明公开了一种毫米波雷达手势检测识别方法,基于线性调频连续毫米波雷达搭建了手势行为识别系统,采用短时傅里叶变换提取手势行为雷达数据的时频特征,使用一维频域陷波方法对手势行为时频特征数据进行滤波,使用滑窗搜索的方法自动检测并提取手势行为有效特征信息,使用卷积神经网络对手势行为数据进行分类,达到94.72%的准确率。本发明创新地使用滑窗搜索法和频域陷波法,具有自动检测并提取手势行为有效特征信息的能力,且手势行为分类准确率较高。

Description

一种毫米波雷达手势检测识别方法 技术领域
本发明属于雷达手势识别领域,尤其涉及一种自动检测并识别手势信号的方法。
背景技术
随着计算机技术的快速发展,人机交互变得越来越多样化和智能化,从最初的文字命令行交互到图形界面交互再到手势识别交互和语音交互等,每一次技术的革新都能在社会上掀起一阵浪潮。特别是在手机、电脑方面,交互方式上的创新一度成为各大生产厂商的竞争武器。自施乐研究中心(Xerox Palo Alto Research Center)诞生第一个图形界面之后,图形化界面交互至今仍然是人机交互的主流方式,随着深度学习算法和计算机硬件的快速发展,语音交互、手势交互逐渐登上历史舞台。
目前手势识别主要可分为二维和三维的,二维手势识别主要依靠计算机视觉实现手势分类任务,而三维手势识别则包含了深度信息,早期,这些深度信息往往需要其他的可穿戴传感器收集,现在可以使用雷达来实现深度信息的采集。在2015年,Google的ATAP(Advanced Technologies and Projects)部门向大家展示过非常炫酷的Project Soli,从其发布的概念视频中可以看到,Google主要将手势交互应用到了可穿戴设备中,其提出了使用毫米波雷达进行微手势的捕捉这一手势交互发展方向,其他几种常见的解决方案有如微软Kinect为代表的深度感应技术(结构光和飞行时间)、LeapMotion为代表的红外投影与成像和uSense为代表的光学立体成像技术,相较于这些技术,毫米波雷达对环境的依耐小,没有光照环境的影响且具有深度信息,此外,由于毫米波雷达的精度可达到毫米级,可以很好地捕捉到手势的微小变化,更重要的是,毫米波信号具有一定的穿透性,这是光学解决方案所不具备的。由于毫米波雷达可集成到芯片上,使用毫米波雷达进行手势识别在便携式可穿戴式设备上的应用将越来越广泛。
发明内容
发明目的:针对上述现有技术,提出一种毫米波雷达手势检测识别方法,利用毫米波雷达来采集手势行为数据并利用卷积神经网络来实现手势行为的分类任务,并且能在手势行为特征图中自动检测单个手势数据并提取有效信息。
技术方案:一种毫米波雷达手势检测识别方法,包括如下步骤:
步骤1:在微波暗室中搭建手势行为毫米波雷达数据采集平台,配置好的毫米波雷 达信号通过发射天线发射,实验人员将手放在毫米波雷达正前方,在指定时间内做出相应的动作,毫米波雷达信号经过手部反射后经由接收天线与本振信号进行混频,得到基带信号;每一帧回波信号通过毫米波雷达板载的基带信号处理模块进行ADC采样操作后产生二进制文件并存储在本地;通过反复采集,得到多个手势的多个样本,一次手势行为的雷达数据打包在同一个二进制文件中并传输到电脑端;
步骤2:电脑端对每个单一手势的二进制文件进行解包处理得到雷达回波信息,即距离时域-方位时域信息,在距离维做傅里叶变换得到距离频域-方位时域图,检测距离频域-方位时域图中能量最高的距离单元得到手势行为的雷达回波信号,将手势雷达回波信号做傅里叶变换得到其频谱,使用汉明窗带阻滤波器对所述频谱进行处理,处理结果经过逆傅里叶变换得到滤波后的手势雷达回波信号,再经过短时傅里叶变换得到滤波后的手势行为时频特征图,使用滑窗搜索的方法对数据进行手势有效信息检测和提取;通过重复对单一手势数据处理,得到手势行为数据集;
步骤3:搭建卷积神经网络并对步骤2中得到的手势行为数据集进行训练得到手势行为识别模型,优化参数和网络结构得到高准确率模型;
步骤4:应用步骤3中得到的手势行为识别模型来进行手势行为识别,采集一次手势行为的数据,重复步骤2的数据处理流程得到该手势的特征图,使用训练好的手势行为识别模型进行手势行为分类,得到分类结果并输出。
进一步的,所述毫米波雷达为线性调频连续毫米波雷达。
进一步的,所述步骤2中,使用滑窗搜索的方法对数据进行手势有效信息检测和提取具体为:使用多尺寸窗口并行滑动得到不同尺寸窗口下的能量序列图,筛选出能量最大的窗口得到手势行为的有效信息。
进一步的,所述卷积神经网络包含两个卷积层、两个池化层和两个全连接层。
有益效果:1、本发明通过毫米波雷达获取手势行为运动信息。
2、本发明使用时频分析方法快速获取手势行为运动特征。
3、本发明使用一维频域陷波方法对手势行为数据进行强能量干扰抑制。
4、本发明使用滑窗搜索方法自动检测手势行为数据并进行提取。
附图说明
图1为本发明搭建的手势行为雷达数据采集平台;
图2为本发明设计的向前握拳手势行为示意图;
图3为本发明设计的握拳展开手势行为示意图;
图4为本发明设计的从左往右挥手手势行为示意图;
图5为本发明设计的从右往左挥手手势行为示意图;
图6为本发明设计的向前平移手势行为示意图;
图7为本发明设计的向后平移手势行为示意图;
图8为角反射器运动的距离频域-方位时域图;
图9为不同距离单元反射回波能量图;
图10(a)为手势行为的时频图;
图10(b)为滤波后的手势行为时频图;
图11为滑窗搜索示意图;
图12为卷积神经网络结构示意图;
图13为卷积神经网络模型训练结果;
图14为卷积神经网络模型的T-SNE图。
具体实施方式
下面结合附图对本发明做更进一步的解释。
为取得实际的实测数据,使用TI公司的MMWCAS-RF-EVM雷达射频板和MMWCAS-DSP-EVM基带信号处理板,在微波暗室搭建手势行为毫米波雷达数据采集平台,如图1所示。微波暗室利用吸波材料的高磁导率引导电磁波并通过共振将电磁波能量消耗掉,从而减少微波的反射,暗室内可以认为是一个相对纯净的电磁环境,通常用于测试天线、雷达等设备的测试精度和效率。
结合实际应用,本实例设计了几个常用的、区分度高的动作,这些动作包含大幅度运动手势和小幅度运动手势,兼顾了手势行为的微多普勒特征。本文设计的基础手势包括向前握拳、握拳展开、从左往右挥手、从右往左挥手、向前平移和向后平移6个手势行为,如图2-图7所示。
在电脑端使用脚本对毫米波雷达的波形、采集规则进行配置,本发明使用的77G线性调频连续毫米波雷达波形起始频率设置为77GHz,频率上升斜率为79MHz/us,ADC采样点数为256,采样率为8000ksps(每秒钟千次采样),采样带宽B s为2.528GHz,距离分辨率为6cm。配置好的毫米波雷达信号通过发射天线发射,实验人员将手放在毫米波雷达正前方,每一个手势动作的数据采集200帧,每帧持续20ms,所以每个手势动 作采集时间为4s。同时,每帧发射64次线性调频波,每个chirp持续时间为290us,所以实际发射线性调频波的时间为18.56ms。每一次手势动作数据采集共包含12800个chirp,3276800次有效采样,这些采样点稀疏地散布在一次手势动作采集时间内,既保证了手势动作数据采集的完整性,也保证了手势动作时间的灵活性,这样更符合实际情况。
毫米波雷达信号经过手部反射后经由接收天线与本振信号进行混频,得到基带信号,每一帧回波信号通过毫米波雷达板载的基带信号处理模块进行ADC采样等操作后产生二进制文件并存储在本地。一次手势行为的雷达数据应打包在同一个二进制文件中,即每个二进制文件包含同一手势的多帧数据。通过反复采集,得到多个手势的多个样本,这些样本通过数据线传输至电脑端。
将角反射器放置在毫米波雷达正前方移动并进行数据采集,采样得到的数据以16位无符号整型的格式存放在二进制文件中并传给电脑端,在电脑端使用Matlab脚本对该二进制文件进行解包读取,并按照每个chirp采样数×chirp数的格式进行组织,得到一个距离时域-方位时域的矩阵S ra,由于采样初始数据存在抖动,同时为便于后续降采样,在数据读取时选择了第2~161共160帧的数据,得到的矩阵S ra大小为256×10240,在距离时域维,第n行数据表征了距离雷达n·ΔR处目标的雷达数据,ΔR为距离分辨率。
对S ra的每一列做傅里叶变换得到距离频域-方位时域矩阵S Ra,表示为:
S Ra=FFT(S ra)
S Ra表征了雷达回波信号的二维距离压缩图。使用角反射器采集到的数据的S Ra用热力图表现出来如图8所示。
通过目标物体反射回波的S Ra,可以根据距离频域值的大小来定位目标物体,并进一步提取该距离目标物体的运动信息。图9展示了在距离频域维某次采样周期内目标物体反射回波的能量,能量峰值所在距离单元即为手运动的数据。
检测距离频域-方位时域图中能量最高的距离单元得到手势行为的雷达回波信息,此时手势行为的时频图中包含人体静止部分反射的强能量干扰,对手势雷达回波数据进行短时傅里叶变换得到时频谱图:
Figure PCTCN2022077067-appb-000001
其中x(n)为手势雷达回波信号,h(n)为加窗函数,得到的手势行为时频图如图10 (a)所示。使用汉明窗带阻滤波器对频谱进行强干扰能量滤波,处理后的频谱经过逆傅里叶变换得到滤波后的手势雷达回波信号,再经过短时傅里叶变换得到的滤波后的手势雷达数据的时频特征图如图10(b)所示。此时的结果虽包含手势行为数据,但在无效信息太多,即在单个手势采集的4s中,手势信号出现的时间是不确定的,在整个时频特征图中,手势信号所占比例太小,易造成模型过拟合,如图11所示,本发明使用滑窗搜索的方法来对数据进行手势有效信息检测和提取,即使用多尺寸窗口并行滑动得到不同尺寸窗口下的能量序列图,筛选出能量最大的窗口得到手势行为的有效信息,这种方法能自动捕捉手势信号并对数据进行提取,是其他装置所不具备的。通过重复上述对单一手势数据处理的流程,对所有手势的数据进行处理得到手势行为数据集。
搭建如图12所示的卷积神经网络,其由两个卷积层和两个全连接层构成,图13展示的是卷积神经网络模型训练的结果,该模型在测试集上的准确率达到了94.72%。图14是卷积神经网络模型在手势行为数据集上的T-SNE图,T-SNE图能体现该模型将不同类型样本分开的程度,图中不同颜色的点代表被模型分类到不同类别的样本,从图中可以看出,不同的类别之间距离十分明显,表明使用该模型处理后的手势行为数容易被分开并正确分类。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (4)

  1. 一种毫米波雷达手势检测识别方法,其特征在于,包括如下步骤:
    步骤1:在微波暗室中搭建手势行为毫米波雷达数据采集平台,配置好的毫米波雷达信号通过发射天线发射,实验人员将手放在毫米波雷达正前方,在指定时间内做出相应的动作,毫米波雷达信号经过手部反射后经由接收天线与本振信号进行混频,得到基带信号;每一帧回波信号通过毫米波雷达板载的基带信号处理模块进行ADC采样操作后产生二进制文件并存储在本地;通过反复采集,得到多个手势的多个样本,一次手势行为的雷达数据打包在同一个二进制文件中并传输到电脑端;
    步骤2:电脑端对每个单一手势的二进制文件进行解包处理得到雷达回波信息,即距离时域-方位时域信息,在距离维做傅里叶变换得到距离频域-方位时域图,检测距离频域-方位时域图中能量最高的距离单元得到手势行为的雷达回波信号,将手势雷达回波信号做傅里叶变换得到其频谱,使用汉明窗带阻滤波器对所述频谱进行处理,处理结果经过逆傅里叶变换得到滤波后的手势雷达回波信号,再经过短时傅里叶变换得到滤波后的手势行为时频特征图,使用滑窗搜索的方法对数据进行手势有效信息检测和提取;通过重复对单一手势数据处理,得到手势行为数据集;
    步骤3:搭建卷积神经网络并对步骤2中得到的手势行为数据集进行训练得到手势行为识别模型,优化参数和网络结构得到高准确率模型;
    步骤4:应用步骤3中得到的手势行为识别模型来进行手势行为识别,采集一次手势行为的数据,重复步骤2的数据处理流程得到该手势的特征图,使用训练好的手势行为识别模型进行手势行为分类,得到分类结果并输出。
  2. 根据权利要求1所述的毫米波雷达手势检测识别方法,其特征在于,所述毫米波雷达为线性调频连续毫米波雷达。
  3. 根据权利要求1所述的毫米波雷达手势检测识别方法,其特征在于,所述步骤2中,使用滑窗搜索的方法对数据进行手势有效信息检测和提取具体为:使用多尺寸窗口并行滑动得到不同尺寸窗口下的能量序列图,筛选出能量最大的窗口得到手势行为的有效信息。
  4. 根据权利要求1所述的毫米波雷达手势检测识别方法,其特征在于,所述卷积神经网络包含两个卷积层、两个池化层和两个全连接层。
PCT/CN2022/077067 2021-09-01 2022-02-21 一种毫米波雷达手势检测识别方法 WO2023029390A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111019002.1 2021-09-01
CN202111019002.1A CN113762130B (zh) 2021-09-01 2021-09-01 一种毫米波雷达手势检测识别方法

Publications (1)

Publication Number Publication Date
WO2023029390A1 true WO2023029390A1 (zh) 2023-03-09

Family

ID=78792406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/077067 WO2023029390A1 (zh) 2021-09-01 2022-02-21 一种毫米波雷达手势检测识别方法

Country Status (2)

Country Link
CN (1) CN113762130B (zh)
WO (1) WO2023029390A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116482680A (zh) * 2023-06-19 2023-07-25 精华隆智慧感知科技(深圳)股份有限公司 一种身体干扰识别方法、装置、系统和存储介质
CN116559809A (zh) * 2023-03-28 2023-08-08 南京桂瑞得信息科技有限公司 一种基于多源融合网络的雷达辐射源个体识别方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762130B (zh) * 2021-09-01 2024-02-13 东南大学 一种毫米波雷达手势检测识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309690A (zh) * 2018-03-27 2019-10-08 南京理工大学 基于时频谱和距离多普勒谱的手势识别检测方法
CN111476058A (zh) * 2019-01-23 2020-07-31 北京邮电大学 一种基于毫米波雷达的手势识别方法
CN112034446A (zh) * 2020-08-27 2020-12-04 南京邮电大学 一种基于毫米波雷达的手势识别系统
CN113762130A (zh) * 2021-09-01 2021-12-07 东南大学 一种毫米波雷达手势检测识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109188414A (zh) * 2018-09-12 2019-01-11 北京工业大学 一种基于毫米波雷达的手势运动探测方法
CN109583436B (zh) * 2019-01-29 2023-09-12 杭州朗阳科技有限公司 一种基于毫米波雷达的手势识别系统
CN110765974B (zh) * 2019-10-31 2023-05-02 复旦大学 基于毫米波雷达和卷积神经网络的微动手势识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309690A (zh) * 2018-03-27 2019-10-08 南京理工大学 基于时频谱和距离多普勒谱的手势识别检测方法
CN111476058A (zh) * 2019-01-23 2020-07-31 北京邮电大学 一种基于毫米波雷达的手势识别方法
CN112034446A (zh) * 2020-08-27 2020-12-04 南京邮电大学 一种基于毫米波雷达的手势识别系统
CN113762130A (zh) * 2021-09-01 2021-12-07 东南大学 一种毫米波雷达手势检测识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116559809A (zh) * 2023-03-28 2023-08-08 南京桂瑞得信息科技有限公司 一种基于多源融合网络的雷达辐射源个体识别方法
CN116482680A (zh) * 2023-06-19 2023-07-25 精华隆智慧感知科技(深圳)股份有限公司 一种身体干扰识别方法、装置、系统和存储介质
CN116482680B (zh) * 2023-06-19 2023-08-25 精华隆智慧感知科技(深圳)股份有限公司 一种身体干扰识别方法、装置、系统和存储介质

Also Published As

Publication number Publication date
CN113762130A (zh) 2021-12-07
CN113762130B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
WO2023029390A1 (zh) 一种毫米波雷达手势检测识别方法
Franceschini et al. Hand gesture recognition via radar sensors and convolutional neural networks
CN109583436B (zh) 一种基于毫米波雷达的手势识别系统
CN111399642B (zh) 手势的识别方法、装置、移动终端和存储介质
Skaria et al. Deep-learning methods for hand-gesture recognition using ultra-wideband radar
CN110348288B (zh) 一种基于77GHz毫米波雷达信号的手势识别方法
Wu et al. Dynamic hand gesture recognition using FMCW radar sensor for driving assistance
Liu et al. Deep learning and recognition of radar jamming based on CNN
CN111461037B (zh) 一种基于fmcw雷达的端到端手势识别方法
Ahmed et al. Radar-based air-writing gesture recognition using a novel multistream CNN approach
CN113837131B (zh) 一种基于fmcw毫米波雷达的多尺度特征融合手势识别方法
EP4254137A1 (en) Gesture recognition method and apparatus
Ghaffar et al. Hand pointing gestures based digital menu board implementation using IR-UWB transceivers
CN113064483A (zh) 一种手势识别方法以及相关装置
CN115877376A (zh) 基于多头自注意力机制的毫米波雷达手势识别方法及识别系统
CN115343704A (zh) 基于多任务学习的fmcw毫米波雷达的手势识别方法
Qu et al. Dynamic hand gesture classification based on multichannel radar using multistream fusion 1-D convolutional neural network
Wang et al. A survey of hand gesture recognition based on FMCW radar
CN116524537A (zh) 一种基于cnn和lstm联合的人体姿态识别方法
Yang et al. Sparsity aware dynamic gesture classification using dual-band radar
Zhou et al. Efficiently user-independent ultrasonic-based gesture recognition algorithm
Wang et al. Hand gesture recognition scheme based on millimeter-wave radar with convolutional neural network
Tong et al. Specific Emitter Identification Based on Multichannel Depth Feature Fusion
Li et al. Hand character gesture recognition based on a single millimetre‐wave radar chip
CN114970618B (zh) 基于毫米波雷达的环境鲁棒的手语识别方法及系统

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE