WO2024041053A1 - 一种室内被动式人体行为识别方法及装置 - Google Patents

一种室内被动式人体行为识别方法及装置 Download PDF

Info

Publication number
WO2024041053A1
WO2024041053A1 PCT/CN2023/095306 CN2023095306W WO2024041053A1 WO 2024041053 A1 WO2024041053 A1 WO 2024041053A1 CN 2023095306 W CN2023095306 W CN 2023095306W WO 2024041053 A1 WO2024041053 A1 WO 2024041053A1
Authority
WO
WIPO (PCT)
Prior art keywords
matrix
cir
cnn model
indoor
area
Prior art date
Application number
PCT/CN2023/095306
Other languages
English (en)
French (fr)
Inventor
张登银
马永连
陆松浩
郭丁旭
Original Assignee
南京邮电大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京邮电大学 filed Critical 南京邮电大学
Priority to US18/331,887 priority Critical patent/US20230385610A1/en
Publication of WO2024041053A1 publication Critical patent/WO2024041053A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B13/00—Transmission systems characterised by the medium used for transmission, not provided for in groups H04B3/00 - H04B11/00
    • H04B13/005—Transmission systems in which the medium consists of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0619—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal using feedback from receiving side
    • H04B7/0621—Feedback content
    • H04B7/0626—Channel coefficients, e.g. channel state information [CSI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings

Definitions

  • the invention relates to an indoor passive human behavior recognition method and device, belonging to the field of information processing technology.
  • the present invention provides an indoor passive human behavior recognition method and device.
  • the first aspect is an indoor passive human behavior recognition method based on transfer learning, including the following steps:
  • Step 1 Divide the indoor activity space into several areas, collect the CIR (Channel Impulse Response) data packets of the reflected signals of each activity in each area, and obtain the H (M, N, Z) matrix.
  • M represents the area number
  • N represents the human activity type
  • Z represents the CIR data packet.
  • Step 2 Preprocess the H(M, N, Z) matrix to obtain the preprocessed H(M, N, Z) matrix.
  • Step 3 Extract features from the preprocessed H(M, N, Z) matrix to obtain training samples for the CNN model.
  • Step 4 Use training samples to perform transfer learning on the CNN model to obtain a trained CNN model.
  • Step 5 Obtain the indoor CIR amplitude value and input the CIR amplitude value into the trained CNN model. type, output human behavior.
  • H(i) represents the channel state information of the i-th subcarrier
  • represents the amplitude of the i-th subcarrier
  • ⁇ H(i) represents the phase of the i-th subcarrier
  • j is a complex imaginary number.
  • the method for obtaining the area number is as follows:
  • the step two includes the following steps:
  • the PCA principal component analysis method is used to perform data dimensionality reduction processing on the CIR data packet of the denoised H(M, N, Z) matrix, and the dimensionally reduced H(M, N, Z) matrix is obtained.
  • the step three includes the following steps:
  • Clustering calculation is performed on the CIR amplitude values of various activities in each region, and n major categories are obtained.
  • the CIR amplitude value of the area number corresponding to each type of human body reflection path in various activities is used as the first training sample.
  • the CIR amplitude values corresponding to the remaining area numbers of various activities are used as the second training sample.
  • the step four includes the following steps:
  • Substitute the initial parameters of the CNN model into the CNN model freeze the parameters of the convolution layer and pooling layer before the fully connected layer of the CNN model, and then select a certain number of second training samples to form secondary training data to train the fully connected layer of the CNN model. , obtain the trained CNN model.
  • the CNN model includes: three convolutional layers, a pooling layer is connected after each convolutional layer, and the output ends of all pooling layers are connected to two fully connected layers after fusion calculation. Finally, A fully connected layer is connected to a Dropout layer, and a Dropout layer is connected to a softmax layer.
  • an indoor passive human behavior recognition device based on transfer learning includes the following modules:
  • H (M, N, Z) matrix used to divide the indoor activity space into several areas, collect the CIR data packets of the reflected signals of each activity in each area, and obtain the H (M, N, Z) matrix, where M represents the area number and N represents the human activity type, and Z represents the CIR packet.
  • Preprocessing module used to preprocess the H(M, N, Z) matrix, and obtain the preprocessed H(M, N, Z) matrix.
  • Training sample acquisition module used to extract features from the preprocessed H(M, N, Z) matrix and obtain training samples for the CNN model.
  • CNN training module used to perform transfer learning on the CNN model using training samples to obtain a trained CNN model.
  • Behavior recognition module used to obtain indoor CIR amplitude values, input the CIR amplitude values into the trained CNN model, and output human behavior.
  • the invention provides an indoor passive human behavior recognition method and device, using MIMO (Multiple-Input Multiple-Output, multiple-in, multiple-output) technology, without increasing spectrum resources and antenna transmission power, which can significantly It improves the throughput of the system, thereby improving the communication quality, and can make full use of the amplitude of the CIR signal and the phase difference information brought by multiple antennas.
  • MIMO Multiple-Input Multiple-Output, multiple-in, multiple-output
  • DWT Discrete Wavelet Transform, discrete wavelet transform
  • the PCA principal component analysis method can effectively select the optimal subcarriers and achieve the goal of dimensionality reduction.
  • the MKMMD multi-core maximum mean difference and the sample classification method based on the wireless sensing principle of the Fresnel zone are combined with the transfer learning CNN network model training method to solve the problem of few samples and training efficiency.
  • the detection equipment of the invention is simple, low in cost, good in privacy and good in recognition effect.
  • Figure 1 is an implementation flow chart of the method of the present invention.
  • Figure 2 is a schematic diagram of indoor propagation of signals according to the present invention.
  • Figure 3 is a schematic diagram of the division of areas in the room during the implementation of the method of the present invention.
  • Figure 4 shows the final result of signal preprocessing.
  • Figure 5 is a box plot of CIR amplitude distribution.
  • the first embodiment is an indoor passive human behavior recognition method based on transfer learning, including the following steps:
  • Step 1 Divide the indoor activity space into several areas, collect the CIR data packets of the reflected signals of each activity in each area, and obtain the H (M, N, Z) matrix, where M represents the area number and N represents the human body.
  • Activity type, Z represents CIR packet.
  • Step 2 Preprocess the H(M, N, Z) matrix to obtain the preprocessed H(M, N, Z) matrix.
  • Step 3 Extract features from the preprocessed H(M, N, Z) matrix to obtain training samples for the CNN model.
  • Step 4 Use training samples to perform transfer learning on the CNN model to obtain a trained CNN model.
  • Step 5 Obtain the indoor CIR amplitude value, input the CIR amplitude value into the trained CNN model, and output human behavior.
  • the second embodiment is an indoor passive human behavior recognition device based on transfer learning, including the following modules:
  • H (M, N, Z) matrix used to divide the indoor activity space into several areas, collect the CIR data packets of the reflected signals of each activity in each area, and obtain the H (M, N, Z) matrix, where M represents the area number, N represents the human activity type, and Z represents the CIR data packet.
  • Preprocessing module used to preprocess the H(M, N, Z) matrix to obtain the preprocessed H(M, N, Z) matrix.
  • Training sample acquisition module used to extract features from the preprocessed H(M, N, Z) matrix and obtain training samples for the CNN model.
  • CNN training module used to perform transfer learning on the CNN model using training samples to obtain a trained CNN model.
  • Behavior recognition module used to obtain indoor CIR amplitude values, input the CIR amplitude values into the trained CNN model, and output human behavior.
  • an indoor passive human behavior recognition method based on transfer learning includes the following steps:
  • Step 1 As shown in Figure 2, set up a transmitter and three receivers at both ends of the room at a height of about 1.2 meters from the ground, and use an antenna array with MIMO multiple input and output technology to collect indoor reflected signals.
  • the CIR data packet represents the Channel Impulse Response (CIR) to describe the multipath effect of the channel.
  • CIR Channel Impulse Response
  • the channel impulse response refers to the signal energy value of the signal reaching the receiver after different times.
  • H(i) represents the channel state information of the i-th subcarrier
  • represents the amplitude of the i-th subcarrier
  • ⁇ H(i) represents the phase of the i-th subcarrier
  • j is a complex imaginary number.
  • the room removes the area where the furniture is located, and divides the activity space into 36 areas of the same 6x6 distribution. Starting from the upper left corner, each area is numbered from left to right in each row.
  • Step 2 Preprocess the H(M, N, Z) matrix to obtain the preprocessed H(M, N, Z) matrix.
  • the PCA principal component analysis method is used to perform data dimensionality reduction processing on the CIR data packet of the denoised H(M, N, Z) matrix, and the dimensionally reduced H(M, N, Z) matrix is obtained. .
  • Step 3 Extract features from the dimensionally reduced H(M, N, Z) matrix to obtain training samples for the CNN model.
  • MKMMD multi-core maximum mean difference and wireless sensing principle based on Fresnel zone are used to process the H(M, N, Z) matrix to obtain training samples for the CNN model.
  • the 36 areas are divided into 3 categories according to the statistical characteristics of the CIR amplitude values of sitting down.
  • the difference in CIR amplitude values of adjacent areas in each category is within the set threshold.
  • the area number is recorded: ⁇ 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 31, 32, 33, 34, 35, 36 ⁇ , ⁇ 17, 18, 20 , 22 ⁇ , ⁇ 13, 14, 15, 16, 19, 21, 23, 24, 25, 26, 27, 28, 29, 30 ⁇ .
  • the number of the area corresponding to the human body reflection path is obtained.
  • the activity type was finally selected to be sitting, and the CIR amplitude value of the area number corresponding to each type of human body reflection path was used as the first training sample.
  • the CIR amplitude values with area numbers ⁇ 3, 9, 10, 31 ⁇ , ⁇ 18, 20 ⁇ , ⁇ 14, 26 ⁇ are used as the first training samples.
  • the CIR amplitude values corresponding to the remaining area numbers are used as the second training sample.
  • Step 4 Use training samples to perform transfer learning on the CNN model to obtain a trained CNN model.
  • Substitute the initial parameters of the CNN model into the CNN model freeze the parameters of the convolution layer and pooling layer before the fully connected layer of the CNN model, and then select a certain number of second training samples to form secondary training data to train the fully connected layer of the CNN model. , obtain the trained CNN model.
  • Transfer learning solves the problem of small human activity recognition data samples. On the other hand, it also reduces the cost of the entire model training without losing the accuracy of activity recognition. It also significantly improves the reusability of the human activity recognition system. promote.
  • the CNN model includes: three convolutional layers, each convolutional layer is followed by a pooling layer, the last pooling layer is followed by two fully connected layers, and a Dropout layer is added after the last fully connected layer.
  • a softmax layer is connected after the dropout layer, and the softmax layer is used for classification.
  • the size of the convolution kernel in each convolutional layer is 3 ⁇ 3, and the activation function of the convolutional layer is Leaky ReLU (Leaky Rectified Linear Unit, leaky linear rectification unit).
  • Step 5 Obtain the indoor CIR amplitude value, input the CIR amplitude value into the trained CNN model, and output human behavior.
  • embodiments of the present invention may be provided as methods, systems, or computer program products.
  • the invention may take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment combining software and hardware aspects.
  • the invention may take the form of a computer program product embodied on one or more computer-usable storage media (including, but not limited to, disk storage, CD-ROM, optical storage, etc.) having computer-usable program code embodied therein.
  • These computer program instructions may also be stored in a computer-readable memory that can direct a computer or other programmable data processing device to operate in a specific manner, such that the instructions stored in the computer-readable memory
  • the instructions in the memory produce an article of manufacture including instruction means to implement the functions specified in the flow diagram process or processes and/or the block diagram block or blocks.
  • These computer program instructions may also be loaded onto a computer or other programmable data processing device, causing a series of operating steps to be performed on the computer or other programmable device to produce computer-implemented processing, thereby executing on the computer or other programmable device.
  • Instructions provide steps for implementing the functions specified in a process or processes of a flowchart diagram and/or a block or blocks of a block diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种室内被动式人体行为识别方法及装置，将室内的活动空间划分成若干区域，采集每个区域中的每种活动的反射信号的信道脉冲响应数据包，获得H(M、N、Z)矩阵；对H(M、N、Z)矩阵进行预处理，得到预处理后的H(M、N、Z)矩阵；对预处理后的H(M、N、Z)矩阵进行特征提取，获取卷积神经网络模型的训练样本；利用训练样本对卷积神经网络模型进行迁移学习，获得训练好的卷积神经网络模型；获取室内信道脉冲响应幅度值，将信道脉冲响应幅度值输入训练好的卷积神经网络模型，输出人体行为。本发明提供的一种室内被动式人体行为识别方法及装置，检测设备简单，成本低，隐私性佳，识别效果好。

Description

一种室内被动式人体行为识别方法及装置 技术领域
本发明涉及一种室内被动式人体行为识别方法及装置，属于信息处理技术领域。
背景技术
物联网技术的迅速发展促进了人与物、物与物之间的联系,极大地改变了人类的生活方式。人体行为识别作为物联网智能化领域重要的研究热点之一,为人们的生活带来了很大方便。各种智能化系统已开始应用到生活的各个领域,典型的一个应用就是为独居老人专门设计的跌倒检测系统。
传统的人体行为识别利用各种传感器，如物理传感器、摄像头等，近些年来，随着无线网络的快速发展，射频信号的作用已经从单一的通信介质扩展到非侵入式的环境传感工具，利用无线信号进行人体行为识别，解放了用户的穿戴限制，拥有广阔的发展前景。其基本原理是射频信号通过多路径在无线介质中传播，反射不同物体并到达接收器，因此携带有关环境的信息。人体是良好的反射体，通过分析接收到的射频信号模式和特征，可以检测人类活动和行为状态，如呼吸率、手势和跌倒等。
近年来，被广泛关注的深度学习已经被成功运用于语音识别、图形识别等各个领域，通过深度学习从室内环境无线信号中提取出特征，可以进行人体活动识别。迁移学习解决了使用冗余的数据训练模型会导致过拟合的现象，但是目前采用MMD(maximum mean discrepancy，最大平均差异)为衡量指标的基于迁移学习算法的CNN(Convolutional Neural Networks,卷 积神经网络)网络模型仍然存在识别精度不够高的问题，原因在于当数据分布存在差异时，错误接收的数据分布相同。
如何利用射频信号提高对人体行为识别的精度，是本领域技术人员急需要解决的技术问题。
发明内容
目的：为了克服现有技术中存在的不足，本发明提供一种室内被动式人体行为识别方法及装置。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
第一方面，一种基于迁移学习的室内被动式人体行为识别方法，包括如下步骤：
步骤一：将室内的活动空间划分成若干区域，采集每个区域中的每种活动的反射信号的CIR(Channel Impulse Response，信道脉冲响应)数据包，获得H(M、N、Z)矩阵，其中M代表区域编号，N代表人体活动类型，Z代表CIR数据包。
步骤二：对H(M、N、Z)矩阵进行预处理，得到预处理后的H(M、N、Z)矩阵。
步骤三：对预处理后的H(M、N、Z)矩阵进行特征提取，获取CNN模型的训练样本。
步骤四：利用训练样本对CNN模型进行迁移学习，获得训练好的CNN模型。
步骤五：获取室内CIR幅度值，将CIR幅度值输入训练好的CNN模 型，输出人体行为。
作为优选方案，CIR计算公式如下：
H(i)＝||H(i)||ej∠H(i)
其中，H(i)表示第i个子载波的信道状态信息，||H(i)||表示第i个子载波的幅度，∠H(i)表示第i个子载波的相位，j是复数的虚部。
作为优选方案，所述区域编号获取方法如下：
将活动空间划分为区域面积相同的n×n分布的M个区域，并从最左上角开始，每行从左向右依次对每个区域进行编号。
作为优选方案，所述步骤二包括如下步骤：
使用hampel对H(M、N、Z)矩阵的CIR数据包进行滤波处理，获得滤波后的H(M、N、Z)矩阵。
对滤波后的H(M、N、Z)矩阵的CIR数据包进行插值处理，获得插值后的H(M、N、Z)矩阵。
对插值后的H(M、N、Z)矩阵的CIR数据包进行卡尔曼平滑滤波，获得平滑后的H(M、N、Z)矩阵。
对平滑后的H(M、N、Z)矩阵的CIR数据包进行小波变换，获得去噪后的H(M、N、Z)矩阵。
利用PCA主成分分析法对去噪后的H(M、N、Z)矩阵的CIR数据包进行数据降维处理，得到降维后的H(M、N、Z)矩阵。
作为优选方案，所述步骤三包括如下步骤：
对各种活动的各区域CIR幅度值进行聚类计算，获得n个大类。
将各种活动的M个区域划分为n个大类。
计算各种活动的每类中各区域CIR幅度值的MKMMD值，获取MKMMD最小值所对应的区域的编号。
从各种活动的每类中MKMMD最小值所对应的区域中根据菲涅尔区的无线感知原理，获取人体反射路径所对应的区域的编号。
将各种活动的每类人体反射路径所对应的区域的编号的CIR幅度值作为第一训练样本。
将各种活动的剩下的区域编号对应的CIR幅度值作为第二训练样本。
作为优选方案，所述步骤四包括如下步骤：
利用第一训练样本对CNN模型进行训练，获得CNN模型初始参数。
将CNN模型初始参数代入CNN模型，冻结CNN模型全连接层之前的卷积层和池化层的参数，再将第二训练样本挑选一定数量组成二级训练数据对CNN模型的全连接层进行训练，获得训练好的CNN模型。
作为优选方案，所述CNN模型包括：三层卷积层，在每层卷积层后均连接有池化层，所有池化层的输出端进行融合计算后连接有两个全连接层，最后一个全连接层后连接有Dropout层，Dropout层后连接有softmax层。
第二方面，一种基于迁移学习的室内被动式人体行为识别装置，包括如下模块：
采集模块：用于将室内的活动空间划分成若干区域，采集每个区域中的每种活动的反射信号的CIR数据包，获得H(M、N、Z)矩阵，其中M代表区域编号，N代表人体活动类型，Z代表CIR数据包。
预处理模块：用于对H(M、N、Z)矩阵进行预处理，得到预处理后 的H(M、N、Z)矩阵。
训练样本获取模块：用于对预处理后的H(M、N、Z)矩阵进行特征提取，获取CNN模型的训练样本。
CNN训练模块：用于利用训练样本对CNN模型进行迁移学习，获得训练好的CNN模型。
行为识别模块：用于获取室内CIR幅度值，将CIR幅度值输入训练好的CNN模型，输出人体行为。
有益效果：本发明提供的一种室内被动式人体行为识别方法及装置，使用MIMO(Multiple-Input Multiple-Output,多进多出)技术，在不增加频谱资源和天线发射功率前提下，可以大幅度的提高系统的吞吐量，从而改善通信质量，并且可以充分利用CIR信号的振幅和多天线带来的相位差信息。采用DWT(Discrete Wavelet Transform，离散小波变换)当活动频率较高时，可以提供高时间分辨率。当活动缓慢时，也会提供高频率分辨率。此外，DWT能够计算对应于不同频率范围的不同级别的信号能量。采用PCA主成分分析法可有效选择最优子载波，达到降维的目标。采用统计特征，MKMMD多核最大均值差异和基于菲涅尔区的无线感知原理的样本分类方法与迁移学习相结合CNN网络模型训练方法，解决了样本少和训练效率的问题。本发明检测设备简单，成本低，隐私性佳，识别效果好。
附图说明
图1为本发明方法的实施流程图。
图2为本发明信号室内传播示意图。
图3为本发明方法实施时房间内区域划分示意图。
图4为信号预处理最终的结果图。
图5为CIR幅度分布箱形图。
具体实施方式
下面结合具体实施例对本发明作更进一步的说明。
第一种实施例一种基于迁移学习的室内被动式人体行为识别方法，包括如下步骤：
步骤一：将室内的活动空间划分成若干区域，采集每个区域中的每种活动的反射信号的CIR数据包，获得H(M、N、Z)矩阵，其中M代表区域编号，N代表人体活动类型，Z代表CIR数据包。
步骤二：对H(M、N、Z)矩阵进行预处理，得到预处理后的H(M、N、Z)矩阵。
步骤三：对预处理后的H(M、N、Z)矩阵进行特征提取，获取CNN模型的训练样本。
步骤四：利用训练样本对CNN模型进行迁移学习，获得训练好的CNN模型。
步骤五：获取室内CIR幅度值，将CIR幅度值输入训练好的CNN模型，输出人体行为。
第二种实施例一种基于迁移学习的室内被动式人体行为识别装置，包括如下模块：
采集模块：用于将室内的活动空间划分成若干区域，采集每个区域中的每种活动的反射信号的CIR数据包，获得H(M、N、Z)矩阵，其中M 代表区域编号，N代表人体活动类型，Z代表CIR数据包。
预处理模块：用于对H(M、N、Z)矩阵进行预处理，得到预处理后的H(M、N、Z)矩阵。
训练样本获取模块：用于对预处理后的H(M、N、Z)矩阵进行特征提取，获取CNN模型的训练样本。
CNN训练模块：用于利用训练样本对CNN模型进行迁移学习，获得训练好的CNN模型。
行为识别模块：用于获取室内CIR幅度值，将CIR幅度值输入训练好的CNN模型，输出人体行为。
实施例：
如图1所示，一种基于迁移学习的室内被动式人体行为识别方法，包括如下步骤：
步骤一：如图2所示，在室内两端离地面高度约为1.2米，设置一个发射端，三个接收端，利用MIMO多输入输出技术的天线阵列采集室内的反射信号。
将室内的活动空间划分成若干区域，采集每个区域中的每种活动的反射信号的CIR数据包，获得H(M、N、Z)矩阵，其中M代表区域编号，N代表人体活动类型，Z代表CIR数据包。
CIR数据包表示信道脉冲响应(Channel Impulse Response，CIR)来对信道的多径效应进行描述。
信道脉冲响应是指信号经过不同时间到达接收方的信号能量值。信道 冲击响应的计算公式如下：
H(i)＝||H(i)||ej∠H(i)
其中，H(i)表示第i个子载波的信道状态信息，||H(i)||表示第i个子载波的幅度，∠H(i)表示第i个子载波的相位，j是复数的虚部。
如图3所示，房间除去家具所在区域，将活动空间划分为区域面积相同的6x6分布的36个区域，并从最左上角开始，每行从左向右依次对每个区域进行编号。
步骤二：对H(M、N、Z)矩阵进行预处理，得到预处理后的H(M、N、Z)矩阵。
使用hampel对H(M、N、Z)矩阵的CIR数据包进行滤波处理，获得滤波后的H(M、N、Z)矩阵。用于去除CIR数据包中异常值。
对滤波后的H(M、N、Z)矩阵的CIR数据包进行插值处理，获得插值后的H(M、N、Z)矩阵。用于保证接收端CIR数据包不丢失。
对插值后的H(M、N、Z)矩阵的CIR数据包进行卡尔曼平滑滤波，获得平滑后的H(M、N、Z)矩阵。
对平滑后的H(M、N、Z)矩阵的CIR数据包进行小波变换，获得去噪后的H(M、N、Z)矩阵。
如图4所示，利用PCA主成分分析法对去噪后的H(M、N、Z)矩阵的CIR数据包进行数据降维处理，得到降维后的H(M、N、Z)矩阵。
步骤三：对降维后的H(M、N、Z)矩阵进行特征提取，获取CNN模型的训练样本。
在实验过程中为了剔除环境对于人体活动识别的干扰，将整个房间等比例划分为M＝36(6×6)个区域，在每个区域上对实验者的每个活动进行采集，活动类型N＝4，分别为跨步，行走，坐下和踢腿。标记为动作a，b，c，d，以此类推在16号区域采集的第一次坐下动作就可以被记为16c1，方便记忆不容易混淆。
采用统计特征，MKMMD多核最大均值差异和基于菲涅尔区的无线感知原理对H(M、N、Z)矩阵进行处理，获取CNN模型的训练样本。
已知环境会对信号的传播产生多径效应的影响，即使是在同一个房间内的不同区域做相同的动作，其采集得到的CIR数据也会有所不同。对于在同一区域上的不同动作，因为它们具有不同的特征，因此本实施例通过采集到的CIR对动作进行分类。为了尽可能地减少环境对于人体活动识别的影响，提高整个系统的可复用性，将重点放在不同区域上同一动作的接收信号究竟有何相似性。如图5所示，使用箱型图展示了在第1个到第36个区域上活动类型为“坐下”时的CIR幅度分布，揭示了不同区域上同一动作的CIR数据分布差异。虽然很难用统计特征来表示不同区域的相同活动，但是通过箱型图可以直观地看到，相邻区域具有相似的统计特征。
根据统计特征的结果，首先根据坐下的CIR幅度值的统计特征将36个区域划分为3大类，每一类相邻区域CIR幅度值之差都在设定阈值内，以图5中对区域的编号进行记录：{1，2，3，4，5，6，7，8，9，10，11，12，31，32，33，34，35，36}，{17，18，20，22}，{13，14，15，16，19，21，23，24，25，26，27，28，29，30}。
计算每类中各区域CIR幅度值的MKMMD值，获取MKMMD最小值所对应的区域的编号。
再从每类中MKMMD最小值所对应的区域中根据菲涅尔区的无线感知原理，获取人体反射路径所对应的区域的编号。
最终选定活动类型为坐下，每类人体反射路径所对应的区域的编号的CIR幅度值作为第一训练样本。区域编号为{3，9，10，31}，{18，20}，{14，26}的CIR幅度值作为第一训练样本。
剩下的区域编号对应的CIR幅度值作为第二训练样本。
步骤四：利用训练样本对CNN模型进行迁移学习，获得训练好的CNN模型。
利用第一训练样本对CNN模型进行训练，获得CNN模型初始参数。
将CNN模型初始参数代入CNN模型，冻结CNN模型全连接层之前的卷积层和池化层的参数，再将第二训练样本挑选一定数量组成二级训练数据对CNN模型的全连接层进行训练，获得训练好的CNN模型。
迁移学习解决了人体活动识别数据样本小的问题，另一方面来说也减小了整个模型训练的成本，并不损失活动识别精确度，而且对于人体活动识别系统的复用性有了明显的提升。
所述CNN模型包括：三层卷积层，在每层卷积层后接续的是池化层，最后一个池化层后连接两层全连接层，最后一个全连接层之后添加了Dropout层。Dropout层后连接有softmax层，softmax层用于分类。
每层卷积层中卷积核的大小都是3×3，卷积层的激活函数是Leaky ReLU(Leaky Rectified Linear Unit，渗漏线性整流单元)。
步骤五：获取室内CIR幅度值，将CIR幅度值输入训练好的CNN模型，输出人体行为。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存 储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (8)

  1. 一种室内被动式人体行为识别方法，其特征在于：包括如下步骤：
    步骤一：将室内的活动空间划分成若干区域，采集每个区域中的每种活动的反射信号的CIR数据包，获得H(M、N、Z)矩阵，其中M代表区域编号，N代表人体活动类型，Z代表CIR数据包；
    步骤二：对H(M、N、Z)矩阵进行预处理，得到预处理后的H(M、N、Z)矩阵；
    步骤三：对预处理后的H(M、N、Z)矩阵进行特征提取，获取CNN模型的训练样本；
    步骤四：利用训练样本对CNN模型进行迁移学习，获得训练好的CNN模型；
    步骤五：获取室内CIR幅度值，将CIR幅度值输入训练好的CNN模型，输出人体行为。
  2. 根据权利要求1所述的一种室内被动式人体行为识别方法，其特征在于：
    CIR计算公式如下：
    H(i)＝||H(i)||ej∠H(i)
    其中，H(i)表示第i个子载波的信道状态信息，||H(i)||表示第i个子载波的幅度，∠H(i)表示第i个子载波的相位，j是复数的虚部。
  3. 根据权利要求1所述的一种室内被动式人体行为识别方法，其特征在于：
    所述区域编号获取方法如下：
    将活动空间划分为区域面积相同的n×n分布的M个区域，并从最左上角开始，每行从左向右依次对每个区域进行编号。
  4. 根据权利要求1所述的一种室内被动式人体行为识别方法，其特征在于：
    所述步骤二包括如下步骤：
    使用hampel对H(M、N、Z)矩阵的CIR数据包进行滤波处理，获得滤波后的H(M、N、Z)矩阵；
    对滤波后的H(M、N、Z)矩阵的CIR数据包进行插值处理，获得插值后的H(M、N、Z)矩阵；
    对插值后的H(M、N、Z)矩阵的CIR数据包进行卡尔曼平滑滤波，获得平滑后的H(M、N、Z)矩阵；
    对平滑后的H(M、N、Z)矩阵的CIR数据包进行小波变换，获得去噪后的H(M、N、Z)矩阵；
    利用PCA主成分分析法对去噪后的H(M、N、Z)矩阵的CIR数据包进行数据降维处理，得到降维后的H(M、N、Z)矩阵。
  5. 根据权利要求1所述的一种室内被动式人体行为识别方法，其特征在于：
    所述步骤三包括如下步骤：
    对各种活动的各区域CIR幅度值进行聚类计算，获得n个大类；
    将各种活动的M个区域划分为n个大类；
    计算各种活动的每类中各区域CIR幅度值的MKMMD值，获取MKMMD最小值所对应的区域的编号；
    从各种活动的每类中MKMMD最小值所对应的区域中根据菲涅尔区的无线感知原理，获取人体反射路径所对应的区域的编号；
    将各种活动的每类人体反射路径所对应的区域的编号的CIR幅度值作 为第一训练样本；
    将各种活动的剩下的区域编号对应的CIR幅度值作为第二训练样本。
  6. 根据权利要求1所述的一种室内被动式人体行为识别方法，其特征在于：
    所述步骤四包括如下步骤：
    利用第一训练样本对CNN模型进行训练，获得CNN模型初始参数；
    将CNN模型初始参数代入CNN模型，冻结CNN模型全连接层之前的卷积层和池化层的参数，再将第二训练样本挑选一定数量组成二级训练数据对CNN模型的全连接层进行训练，获得训练好的CNN模型。
  7. 根据权利要求1至6任一项所述的一种室内被动式人体行为识别方法及系统，其特征在于：所述CNN模型包括：三个卷积层，在每个卷积层后均连接有池化层，所有池化层的输出端进行融合计算后连接有两个全连接层，最后一个全连接层后连接有Dropout层，Dropout层后连接有softmax层。
  8. 一种室内被动式人体行为识别装置，其特征在于：包括如下模块：
    采集模块：用于将室内的活动空间划分成若干区域，采集每个区域中的每种活动的反射信号的CIR数据包，获得H(M、N、Z)矩阵，其中M代表区域编号，N代表人体活动类型，Z代表CIR数据包；
    预处理模块：用于对H(M、N、Z)矩阵进行预处理，得到预处理后的H(M、N、Z)矩阵；
    训练样本获取模块：用于对预处理后的H(M、N、Z)矩阵进行特征提取，获取CNN模型的训练样本；
    CNN训练模块：用于利用训练样本对CNN模型进行迁移学习，获得 训练好的CNN模型；
    行为识别模块：用于获取室内CIR幅度值，将CIR幅度值输入训练好的CNN模型，输出人体行为。
PCT/CN2023/095306 2022-08-24 2023-05-19 一种室内被动式人体行为识别方法及装置 WO2024041053A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/331,887 US20230385610A1 (en) 2022-08-24 2023-06-08 Indoor passive human behavior recognition method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211023957.9A CN115510949A (zh) 2022-08-24 2022-08-24 一种室内被动式人体行为识别方法及装置
CN202211023957.9 2022-08-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/331,887 Continuation US20230385610A1 (en) 2022-08-24 2023-06-08 Indoor passive human behavior recognition method and device

Publications (1)

Publication Number Publication Date
WO2024041053A1 true WO2024041053A1 (zh) 2024-02-29

Family

ID=84501522

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/095306 WO2024041053A1 (zh) 2022-08-24 2023-05-19 一种室内被动式人体行为识别方法及装置

Country Status (2)

Country Link
CN (1) CN115510949A (zh)
WO (1) WO2024041053A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115510949A (zh) * 2022-08-24 2022-12-23 南京邮电大学 一种室内被动式人体行为识别方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102998654A (zh) * 2012-11-23 2013-03-27 无锡儒安科技有限公司 基于被动式无线射频识别标签相位信息的定位方法及装置
CN106131958A (zh) * 2016-08-09 2016-11-16 电子科技大学 一种基于信道状态信息和支持向量机的室内被动定位方法
US10310079B1 (en) * 2018-03-02 2019-06-04 Amazon Technologies, Inc. Presence detection using wireless signals confirmed with ultrasound and/or audio
CN111212379A (zh) * 2020-01-06 2020-05-29 天津工业大学 一种基于卷积神经网络的新型csi室内定位方法
CN113920577A (zh) * 2021-08-06 2022-01-11 南京邮电大学 一种室内非接触式人体活动识别方法及系统
CN114638264A (zh) * 2022-03-18 2022-06-17 南京邮电大学 一种基于信道状态信息的人员被动入侵检测边界估计方法
CN115510949A (zh) * 2022-08-24 2022-12-23 南京邮电大学 一种室内被动式人体行为识别方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102998654A (zh) * 2012-11-23 2013-03-27 无锡儒安科技有限公司 基于被动式无线射频识别标签相位信息的定位方法及装置
CN106131958A (zh) * 2016-08-09 2016-11-16 电子科技大学 一种基于信道状态信息和支持向量机的室内被动定位方法
US10310079B1 (en) * 2018-03-02 2019-06-04 Amazon Technologies, Inc. Presence detection using wireless signals confirmed with ultrasound and/or audio
CN111212379A (zh) * 2020-01-06 2020-05-29 天津工业大学 一种基于卷积神经网络的新型csi室内定位方法
CN113920577A (zh) * 2021-08-06 2022-01-11 南京邮电大学 一种室内非接触式人体活动识别方法及系统
CN114638264A (zh) * 2022-03-18 2022-06-17 南京邮电大学 一种基于信道状态信息的人员被动入侵检测边界估计方法
CN115510949A (zh) * 2022-08-24 2022-12-23 南京邮电大学 一种室内被动式人体行为识别方法及装置

Also Published As

Publication number Publication date
CN115510949A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
WO2023010886A1 (zh) 一种室内非接触式人体活动识别方法及系统
CN106407905A (zh) 基于机器学习的无线感知动作识别方法
WO2024041053A1 (zh) 一种室内被动式人体行为识别方法及装置
CN112861813B (zh) 基于复值卷积神经网络的墙后人体行为识别方法
CN105786189B (zh) 一种基于肌动信号的指部独立动作识别方法及系统
CN112333653A (zh) 基于WiFi信道状态信息的身份智能识别方法、系统
Zhang et al. CSI-based human activity recognition with graph few-shot learning
CN108038419A (zh) 基于Wi-Fi的室内人员被动检测方法
CN113609976A (zh) 一种基于WiFi设备的方向敏感多手势识别系统及方法
Ding et al. Device-free location-independent human activity recognition using transfer learning based on CNN
CN107666707A (zh) 一种基于距离测量和位置指纹的室内定位方法
CN109241814A (zh) 基于yolo神经网络的行人检测方法
Deng et al. GaitFi: Robust device-free human identification via WiFi and vision multimodal learning
CN116343261A (zh) 基于多模态特征融合与小样本学习的手势识别方法和系统
CN110048978A (zh) 一种信号调制识别方法
Shi et al. Deep learning networks for human activity recognition with CSI correlation feature extraction
CN113453180B (zh) 一种人体摔倒智能检测方法、系统、信息数据处理终端
CN101964055B (zh) 一种模仿视觉感知机制的自然场景类型辨识方法
Kabir et al. CSI-DeepNet: A lightweight deep convolutional neural network based hand gesture recognition system using Wi-Fi CSI signal
CN112380903B (zh) 一种基于WiFi-CSI信号增强的人体活动识别方法
Imbeault-Nepton et al. Filtering data bins of UWB radars for activity recognition with random forest
Shen et al. WiAgent: Link selection for CSI-based activity recognition in densely deployed wi-Fi environments
CN107273692A (zh) 一种传感器感知能力受限的随机集理论的分布式融合方法
CN115276857B (zh) 基于Cholesky分解和卷积神经网络相结合的全盲频谱检测方法
Wu et al. Device-free human activity recognition with identity-based transfer mechanism

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23856146

Country of ref document: EP

Kind code of ref document: A1