WO2024066038A1 - 一种基于多模态数据集成的建筑工人实时安全监控方法 - Google Patents

一种基于多模态数据集成的建筑工人实时安全监控方法 Download PDF

Info

Publication number
WO2024066038A1
WO2024066038A1 PCT/CN2022/137034 CN2022137034W WO2024066038A1 WO 2024066038 A1 WO2024066038 A1 WO 2024066038A1 CN 2022137034 W CN2022137034 W CN 2022137034W WO 2024066038 A1 WO2024066038 A1 WO 2024066038A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
prediction model
sample
image
location data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2022/137034
Other languages
English (en)
French (fr)
Inventor
杨之乐
郭媛君
吴承科
刘祥飞
吴新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Publication of WO2024066038A1 publication Critical patent/WO2024066038A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the present invention relates to the technical field of construction site safety monitoring, and in particular to a real-time safety monitoring method for construction workers based on multimodal data integration.
  • Construction sites have complex environments, many workers, and many types of work. It is often not timely enough to rely solely on manual observation of images taken by surveillance cameras to determine whether there are safety accidents or hidden dangers.
  • the present invention provides a real-time safety monitoring method for construction workers based on multimodal data integration, aiming to solve the problem of insufficient accuracy in identifying safety risks at construction sites in the prior art.
  • a first aspect of the present invention provides a method for real-time safety monitoring of construction workers based on multimodal data integration, the method comprising:
  • the physiological indicator data, the voice signal data, the geographic location data, and the target image are input into a trained prediction model to obtain a safety risk level output by the prediction model.
  • the method for real-time safety monitoring of construction workers based on multimodal data integration wherein the acquisition of geographic location data of each worker includes:
  • the geographic location data of each worker is acquired according to the first location data and the second location data respectively corresponding to each worker.
  • the method for real-time safety monitoring of construction workers based on multimodal data integration wherein the acquiring of geographic location data of each worker according to the first location data and the second location data respectively corresponding to each worker, comprises:
  • the first position data and the second position data corresponding to a worker When the difference between the first position data and the second position data corresponding to a worker exceeds the preset range, the first position data and the second position data corresponding to the worker are discarded, and the first position data and the second position data corresponding to the worker are reacquired.
  • the real-time safety monitoring method for construction workers based on multimodal data integration wherein the prediction model includes a first encoding module, a second encoding module, a third encoding module, a fusion module and a prediction module, and the step of obtaining the safety risk level output by the prediction model includes:
  • the target feature vector is input into the prediction module to obtain the security risk level output by the prediction module.
  • the method for real-time safety monitoring of construction workers based on multimodal data integration wherein the step of inputting the feature image and the target image into a second encoding module and obtaining a first feature vector output by the second encoding module comprises:
  • An attention mechanism is performed on the block features corresponding to each image block, and the first feature vector is obtained according to the result of the attention mechanism.
  • each set of labeled data includes sample physiological indicator data, sample voice signal data, sample geographic location data, sample target image and safety risk level labeling results.
  • the method for real-time safety monitoring of construction workers based on multimodal data integration comprises:
  • the step of selecting target labeled data is re-executed until the parameters of the initial prediction model converge, and the model after the parameters converge is used as the prediction model.
  • a second aspect of the present invention provides a real-time safety monitoring device for construction workers based on multimodal data integration, comprising:
  • a first data acquisition module is used to acquire physiological index data, voice signal data, and geographic location data of each worker;
  • a second data acquisition module is used to acquire a target image, wherein the target image includes a plurality of workers;
  • the prediction module is used to input the physiological indicator data, the voice signal data, the geographic location data, and the target image into a trained prediction model to obtain the safety risk level output by the prediction model.
  • the third aspect of the present invention provides a terminal, which includes a processor and a computer-readable storage medium communicatively connected to the processor, the computer-readable storage medium is suitable for storing multiple instructions, and the processor is suitable for calling the instructions in the computer-readable storage medium to execute the steps of implementing any of the above-mentioned methods for real-time safety monitoring of construction workers based on multimodal data integration.
  • the fourth aspect of the present invention provides a computer-readable storage medium, which stores one or more programs.
  • the one or more programs can be executed by one or more processors to implement the steps of any of the above-mentioned methods for real-time safety monitoring of construction workers based on multimodal data integration.
  • the present invention provides a real-time safety monitoring method for construction workers based on multimodal data integration.
  • the multimodal data is input into a neural network model to predict the safety risk level, thereby avoiding inaccurate human behavior recognition caused by complex facilities and a large number of workers in the images of the construction site.
  • the present invention can improve the accuracy of safety risk identification at construction sites.
  • FIG1 is a flow chart of an embodiment of a method for real-time safety monitoring of construction workers based on multimodal data integration provided by the present invention
  • FIG2 is a structural principle diagram of an embodiment of a real-time safety monitoring device for construction workers based on multimodal data integration provided by the present invention
  • FIG3 is a schematic diagram showing the principles of an embodiment of a terminal provided by the present invention.
  • the real-time safety monitoring method for construction workers based on multimodal data integration provided by the present invention can be applied to a terminal with computing capabilities.
  • the terminal can execute the real-time safety monitoring method for construction workers based on multimodal data integration provided by the present invention to perform power grid peak-shaving scheduling.
  • the terminal can be but is not limited to various computers, mobile terminals, smart home appliances, wearable devices, etc.
  • the steps include:
  • S200 Acquire a target image, where the target image includes a plurality of workers.
  • the worker's physiological indicator data may include the worker's heart rate, blood pressure, body temperature, blood oxygen saturation, etc.
  • the physiological indicator data can be collected through wearable devices such as smart bracelets and smart watches.
  • the voice signal data can be collected through wearable devices or mobile devices such as handheld communicators and mobile phones.
  • the geographic location data can be collected through wearable devices or mobile devices, and the target image is obtained by shooting with a camera set up at the construction site.
  • the physiological indicator data, the voice signal data and the geographic location data may be data collected within a preset time period before the current moment, and the target image may be a plurality of images taken within the preset time period before the current moment.
  • two or more devices are used to obtain the geographic location data of each worker, including:
  • the geographic location data of each worker is acquired according to the first location data and the second location data respectively corresponding to each worker.
  • the acquiring of geographical location data of each worker according to the first location data and the second location data respectively corresponding to each worker includes:
  • the first position data and the second position data corresponding to a worker When the difference between the first position data and the second position data corresponding to a worker exceeds the preset range, the first position data and the second position data corresponding to the worker are discarded, and the first position data and the second position data corresponding to the worker are reacquired.
  • the position signals collected by the two are cross-compared. If the difference between the two exceeds the preset range, the position signal is re-collected. If the difference between the two is within the preset range, the average of the two is taken for subsequent processing.
  • the method provided in this embodiment further includes the steps of:
  • S300 Input the physiological indicator data, the voice signal data, the geographic location data, and the target image into a trained prediction model to obtain the safety risk level output by the prediction model.
  • the prediction model includes a first encoding module, a second encoding module, a third encoding module, a fusion module and a prediction module.
  • the step of obtaining the security risk level output by the prediction model includes:
  • S350 Input the target feature vector into the prediction module to obtain the security risk level output by the prediction module.
  • the first encoding module is used to extract features of non-image and non-sound data and convert it into a 2D feature image.
  • the first encoding module may include a filtering unit and a convolution unit. After the input data is subjected to Kalman filtering by the filtering unit, the features are extracted by the convolution unit and converted into a 2D image to obtain the feature image. For example, the convolution unit extracts a feature matrix and uses each value in the matrix as a pixel value in the image to obtain the feature image.
  • the second encoding module is used for image processing. Specifically, the feature image and the target image are input into the second encoding module to obtain the first feature vector output by the second encoding module, including:
  • An attention mechanism is performed on the block features corresponding to each image block, and the first feature vector is obtained according to the result of the attention mechanism.
  • the first feature vector includes a first image feature vector and a second image feature
  • the second encoding module includes two processing modules: a first processing module and a second processing module, the first processing module is used to process the feature image obtained by converting the data after feature extraction to obtain the first image feature vector, and the second processing module is used to process the image taken by the camera device to obtain the second image feature vector.
  • the two processing models have the same structure, that is, the processing methods for the input images are the same. Taking the target image as an example, the process of processing it by the second encoding module is introduced as follows:
  • the target image is input to the second processing module in the second encoding module.
  • the target image is divided into multiple image blocks.
  • the initial features are extracted first, which can be achieved through a convolution layer.
  • the initial features corresponding to the image block and the position information of the image block in the target image are fused to obtain the block features corresponding to the image block.
  • the attention mechanism is executed. It is worth noting that the attention mechanism can be executed multiple times. After each execution of the attention mechanism, the block features corresponding to each image block will be updated.
  • the block features corresponding to each image block after the last attention mechanism calculation are fused (for example, directly connected) to obtain the second image feature vector.
  • the process of obtaining the first image feature vector is consistent with the process of obtaining the first image feature vector, except that the feature image is input into the first processing module in the second encoding module.
  • the training process of the prediction model is described below.
  • the training process of the prediction model is as follows:
  • each set of labeled data includes sample physiological indicator data, sample voice signal data, sample geographic location data, sample target image and safety risk level labeling results.
  • the modules in the prediction model are first trained using open source data, and then fine-tuning training is performed using labeled data in the construction site scenario, which can significantly reduce the demand for labeled data in the construction site scenario.
  • the constructing of the initial prediction model comprises:
  • the initial prediction model is constructed based on the second encoding module, the third encoding module and the prediction module trained with open source data.
  • the second encoding module and the third encoding module can be pre-trained with labeled open source data.
  • the open source data used to pre-train the second encoding module and the third encoding module is data with classification labels.
  • the training process only one of the first processing module and the second processing module in the second encoding module is trained, and the trained parameters are shared after the training is completed. Taking the training of the first processing module in the second encoding module as an example, during the training process, the sample data is input into the first processing module, and classification is performed based on the feature vector output by the first processing module.
  • the parameters of the first processing module are updated according to the difference between the classification result and the classification label corresponding to the sample data, so that the first processing module has the function of preliminarily extracting classification features, and then fine-tuning training is performed according to the corresponding construction site scene annotation data.
  • the step of selecting target labeled data is re-executed until the parameters of the initial prediction model converge, and the model after the parameters converge is used as the prediction model.
  • the sample physiological indicator data, sample voice signal data, sample geographic location data and sample target image in the target annotation data are input into the initial prediction model and processed in accordance with steps S310 to S350 in the foregoing text, that is, the sample physiological indicator data and the sample geographic location data are input into the first encoding module in the initial prediction model, the features of the physiological indicator data and the geographic location data are extracted by the first encoding module and converted into sample feature images, the sample feature images and the sample target images are input into the second encoding module, the sample first feature vector output by the second encoding module is obtained, the sample voice signal data is input into the third encoding module, the sample second feature vector output by the third encoding module is obtained, the sample first feature vector and the sample second feature vector are input into the fusion module for fusion to obtain a sample target feature vector, the sample target feature vector is input into the prediction module, and the safety risk level prediction result output by the prediction module is obtained.
  • the loss is only obtained based on the difference between the model output and the annotation results to update the model parameters.
  • a reconstruction module is set to be trained together with the initial prediction model. Specifically, in addition to obtaining the first loss based on the security risk level prediction result and the security risk level annotation result in the target annotation data, the sample first feature vector and the sample second feature vector are also input into the reconstruction module.
  • the sample first feature vector includes a sample first image feature vector and a sample second image feature.
  • the sample first image feature vector is input into the reconstruction module, and the reconstruction module outputs a reconstructed first image.
  • the sample second image feature is input into the reconstruction module, and the reconstruction module outputs a reconstructed second image.
  • the sample second feature vector is input into the reconstruction module, and the reconstruction module outputs a reconstructed speech signal.
  • different processing units can be respectively set in the reconstruction module to process the features of different modal data.
  • a first sub-loss is obtained according to the difference between the reconstructed first image and the sample feature image
  • a second sub-loss is obtained according to the difference between the reconstructed second image and the sample target image
  • a third sub-loss is obtained according to the difference between the reconstructed speech signal and the sample speech signal data.
  • the first sub-loss, the second sub-loss and the third sub-loss are summed to obtain the second loss.
  • the first loss and the second loss are summed (which may be a weighted sum) to obtain a training loss corresponding to the target labeled data, and the parameters of the initial prediction model are updated based on the training loss corresponding to the target labeled data.
  • one type of data in the sample annotation data except the sample target image is randomly set to 0, that is, the sample physiological indicator data, the sample voice signal data or the sample geographic location data in the target annotation data is set to 0.
  • updating the parameters of the initial prediction model according to the training loss corresponding to the target annotation data includes:
  • the sample physiological indicator data, the sample voice signal data or the sample geographic location data in the target annotated data is set to 0 to obtain processed annotated data;
  • the selected data is data randomly selected from the multiple groups of labeled data.
  • the parameters of the initial prediction model are updated according to the training loss corresponding to the target labeled data and the third loss, and the training loss corresponding to the target labeled data and the third loss are summed, and the parameters of the initial prediction model are updated with the minimum sum as the optimization goal.
  • the data output by the fusion module in the initial prediction model is obtained as the processing target feature vector.
  • the parameters of the initial prediction model are updated with the minimum loss as the optimization goal, so that the feature vector extracted for classifying the risk level when there is data missing and the feature vector extracted for classifying the risk level when there is no data missing can be as close as possible, so that in the case of missing certain data in complex engineering construction scenarios, a certain accuracy of prediction can still be achieved, thereby ensuring robustness and practicality.
  • this embodiment provides a real-time safety monitoring method for construction workers based on multimodal data integration.
  • the multimodal data is input into a neural network model to predict the safety risk level, thereby avoiding inaccurate human behavior recognition caused by complex facilities and a large number of workers in the images of the construction site.
  • the present invention can improve the accuracy of safety risk identification at construction sites.
  • steps in the flowchart may include multiple sub-steps or multiple stages, and these sub-steps or stages are not necessarily executed at the same time, but can be executed at different times, and the execution order of these sub-steps or stages is not necessarily to be carried out in sequence, but can be executed in turn or alternately with other steps or at least a part of the sub-steps or stages of other steps.
  • Non-volatile memory can include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM) or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous link (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM).
  • the present invention also provides a real-time safety monitoring device for construction workers based on multimodal data integration.
  • the real-time safety monitoring device for construction workers based on multimodal data integration includes:
  • a first data acquisition module used to acquire physiological index data, voice signal data, and geographic location data of each worker, as specifically described in the first embodiment
  • a second data acquisition module is used to acquire a target image, wherein the target image includes a plurality of workers, as specifically described in the first embodiment;
  • the prediction module is used to input the physiological indicator data, the voice signal data, the geographic location data, and the target image into a trained prediction model to obtain the safety risk level output by the prediction model, as specifically described in Example 1.
  • the present invention also provides a terminal, as shown in FIG3 , which includes a processor 10 and a memory 20.
  • FIG3 shows only some components of the terminal, but it should be understood that it is not required to implement all the components shown, and more or fewer components may be implemented instead.
  • the memory 20 may be an internal storage unit of the terminal, such as a hard disk or memory of the terminal. In other embodiments, the memory 20 may also be an external storage device of the terminal, such as a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, a flash card (Flash Card), etc. equipped on the terminal. Further, the memory 20 may also include both an internal storage unit of the terminal and an external storage device. The memory 20 is used to store application software and various types of data installed on the terminal. The memory 20 may also be used to temporarily store data that has been output or is to be output.
  • a plug-in hard disk such as a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, a flash card (Flash Card), etc. equipped on the terminal.
  • the memory 20 may also include both an internal storage unit of the terminal and an external storage device.
  • the memory 20 is used to store
  • a real-time safety monitoring program 30 for construction workers based on multimodal data integration is stored on the memory 20, and the real-time safety monitoring program 30 for construction workers based on multimodal data integration can be executed by the processor 10, thereby realizing the real-time safety monitoring method for construction workers based on multimodal data integration in the present application.
  • the processor 10 may be a central processing unit (CPU), a microprocessor or other chip, which is used to run the program code or process data stored in the memory 20, such as executing the real-time safety monitoring method for construction workers based on multimodal data integration.
  • CPU central processing unit
  • microprocessor or other chip, which is used to run the program code or process data stored in the memory 20, such as executing the real-time safety monitoring method for construction workers based on multimodal data integration.
  • the processor 10 executes the real-time safety monitoring program 30 for construction workers based on multimodal data integration in the memory 20, the following steps are implemented:
  • the physiological indicator data, the voice signal data, the geographic location data, and the target image are input into a trained prediction model to obtain the safety risk level output by the prediction model.
  • the present invention also provides a computer-readable storage medium, which stores one or more programs, and the one or more programs can be executed by one or more processors to implement the steps of the real-time safety monitoring method for construction workers based on multimodal data integration as described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

一种基于多模态数据集成的建筑工人实时安全监控方法，方法包括: 获取各个工人的生理指标数据、语音信号数据、以及地理位置数据（S100）；获取目标图像，所述目标图像中包括多个工人（S200）；将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级（S300）。

Description

一种基于多模态数据集成的建筑工人实时安全监控方法 技术领域
本发明涉及建筑工地安全监控技术领域，特别涉及一种基于多模态数据集成的建筑工人实时安全监控方法。
 背景技术
建筑工地存在环境复杂、工人多、工种多的特点，只靠人工观察监控摄像拍设的图像来判断是否存在安全事故或隐患，往往不够及时，在现有技术中，有通过对监控摄像头拍摄的图像，基于智能识别图片中的人体行为的方式来进行安全监控的方式，但是由于建筑工地内的工人多，建筑材料多变的特性，图像中往往有很多遮挡，仅对监控图像进行识别安全风险的方式准确性不够。
因此，现有技术还有待改进和提高。
 技术问题
针对现有技术的上述缺陷，本发明提供一种基于多模态数据集成的建筑工人实时安全监控方法，旨在解决现有技术中建筑工地安全风险识别准确性不够的问题。
 技术解决方案
为了解决上述技术问题，本发明所采用的技术方案如下：
本发明的第一方面，提供一种基于多模态数据集成的建筑工人实时安全监控方法，所述方法包括：
获取各个工人的生理指标数据、语音信号数据、以及地理位置数据；
获取目标图像，所述目标图像中包括多个工人；
将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及所述目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级。
所述的基于多模态数据集成的建筑工人实时安全监控方法，其中，所述获取各个工人的地理位置数据，包括：
获取各个工人对应的穿戴设备反馈的第一位置数据；
获取各个工人对应的移动设备反馈的第二位置数据；
根据各个工人分别对应的所述第一位置数据和所述第二位置数据获取各个工人的地理位置数据。
所述的基于多模态数据集成的建筑工人实时安全监控方法，其中，所述根据各个工人分别对应的所述第一位置数据和所述第二位置数据获取各个工人的地理位置数据，包括：
当工人对应的所述第一位置数据和所述第二位置数据之间的差值在预设范围内时，取所述第一位置数据和所述第二位置数据的平均值作为该工人的地理位置数据；
当工人对应的所述第一位置数据和所述第二位置数据之间的差值超出所述预设范围时，丢弃当前该工人对应的所述第一位置数据和所述第二位置数据，重新获取该工人对应的所述第一位置数据和所述第二位置数据。
所述的基于多模态数据集成的建筑工人实时安全监控方法，其中，所述预测模型包括第一编码模块、第二编码模块、第三编码模块、融合模块以及预测模块，所述获取所述预测模型输出的安全风险等级，包括：
将所述生理指标数据和所述地理位置数据输入至所述第一编码模块，通过所述第一编码模块提取所述生理指标数据和所述地理位置数据的特征并转换为特征图像；
将所述特征图像和所述目标图像输入至所述第二编码模块，获取所述第二编码模块输出的第一特征向量；
将所述语音信号数据输入至所述第三编码模块，获取所述第三编码模块输出的第二特征向量；
将所述第一特征向量和所述第二特征向量输入至所述融合模块进行融合，得到目标特征向量；
将所述目标特征向量输入至所述预测模块，获取所述预测模块输出的安全风险等级。
所述的基于多模态数据集成的建筑工人实时安全监控方法，其中，所述将所述特征图像和所述目标图像输入至第二编码模块，获取所述第二编码模块输出的第一特征向量，包括：
对于输入至所述第二编码模块的待处理图像，执行如下操作：
将所述待处理图像划分为多个图像块，对每个图像块提取初始特征，对于每个图像块，将对应的所述初始特征和图像块在所述待处理图像中的位置信息融合，得到每个图像块分别对应的块特征；
对每个图像块分别对应的块特征执行注意力机制，根据注意力机制结果得到所述第一特征向量。
所述的基于多模态数据集成的建筑工人实时安全监控方法，其中，所述预测模型的训练过程为：
构建初始预测模型，根据多组标注数据训练所述初始预测模型，得到所述预测模型；
其中，每组标注数据包括样本生理指标数据、样本语音信号数据、样本地理位置数据、样本目标图像以及安全风险等级标注结果。
所述的基于多模态数据集成的建筑工人实时安全监控方法，其中，所述根据多组标注数据训练所述初始预测模型，得到所述预测模型，包括：
选择目标标注数据；
将所述目标标注数据中的样本生理指标数据、样本语音信号数据、样本地理位置数据、以及样本目标图像输入至所述初始预测模型，获取所述初始预测模型输出的安全风险等级预测结果；
根据所述安全风险等级预测结果和所述目标标注数据中的安全风险等级标注结果获取第一损失；
将获取所述安全风险等级预测结果过程中得到的样本第一特征向量和样本第二特征向量输入至重构模块，获取所述重构模块输出的重构数据；
基于所述样本生理指标数据、所述样本语音信号数据、所述样本地理位置数据、以及所述样本目标图像与所述重构数据之间的差异获取第二损失；
根据所述第一损失和所述第二损失获取所述目标标注数据对应的训练损失，根据所述目标标注数据对应的训练损失更新所述初始预测模型的参数；
重新执行所述选择目标标注数据的步骤，直至所述初始预测模型的参数收敛，将参数收敛后的模型作为所述预测模型。
本发明的第二方面，提供一种基于多模态数据集成的建筑工人实时安全监控装置，包括：
第一数据获取模块，用于获取各个工人的生理指标数据、语音信号数据、以及地理位置数据；
第二数据获取模块，用于获取目标图像，所述目标图像中包括多个工人；
预测模块，用于将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及所述目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级。
本发明的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的基于多模态数据集成的建筑工人实时安全监控方法的步骤。
本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的基于多模态数据集成的建筑工人实时安全监控方法的步骤。
 有益效果
与现有技术相比，本发明提供了一种基于多模态数据集成的建筑工人实时安全监控方法，通过采集工人的生理指标数据、语音信号数据、地理位置数据以及包括多个工人的图像，将多模态的数据输入至神经网络模型中进行安全风险等级的预测，避免了建筑工地的图像中设施复杂、工人众多导致的人体行为识别不准确，本发明可以提升建筑工地安全风险识别准确性。
 附图说明
图1为本发明提供的基于多模态数据集成的建筑工人实时安全监控方法的实施例的流程图；
图2为本发明提供的基于多模态数据集成的建筑工人实时安全监控装置的实施例的结构原理图；
图3为本发明提供的终端的实施例的原理示意图。
 本发明的实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的基于多模态数据集成的建筑工人实时安全监控方法，可以应用于具有计算能力的终端中，终端可以执行本发明提供的基于多模态数据集成的建筑工人实时安全监控方法进行电网调峰调度，终端可以但不限于是各种计算机、移动终端、智能家电、可穿戴式设备等。
实施例一
如图1所示，所述基于多模态数据集成的建筑工人实时安全监控方法的一个实施例中，包括步骤：
S100、获取各个工人的生理指标数据、语音信号数据、以及地理位置数据；
S200、获取目标图像，所述目标图像中包括多个工人。
在本实施例中，为了防止建筑工地中工人众多、建筑材料复杂导致仅采用建筑工地的监控图像进行人体行为识别进而判断安全风险的准确性降低，采集多模态数据用于识别安全风险。具体地，工人的生理指标数据可以包括工人的心率、血压、体温、血氧饱和度等，可以通过可穿戴式设备例如智能手环、智能手表实现对所述生理指标数据的采集，所述语音信号数据可以通过可穿戴式设备或者移动设备例如手持式通话机、手机等采集。所述地理位置数据可以通过可穿戴式设备或者移动设备采集，所述目标图像通过设置在建筑工地的摄像头拍摄获取。
所述生理指标数据、所述语音信号数据以及所述地理位置数据可以是当前时刻前预设时长内采集的数据，所述目标图像可以是当前时刻前所述预设时长内拍摄的多张图像。
在一种可能的实现方式中，为了解决复杂工程现场定位精度不足的问题，采用两个及两个以上的设备获取各个工人的地理位置数据，包括：
获取各个工人对应的穿戴设备反馈的第一位置数据；
获取各个工人对应的移动设备反馈的第二位置数据；
根据各个工人分别对应的所述第一位置数据和所述第二位置数据获取各个工人的地理位置数据。
进一步地，所述根据各个工人分别对应的所述第一位置数据和所述第二位置数据获取各个工人的地理位置数据，包括：
当工人对应的所述第一位置数据和所述第二位置数据之间的差值在预设范围内时，取所述第一位置数据和所述第二位置数据的平均值作为该工人的地理位置数据；
当工人对应的所述第一位置数据和所述第二位置数据之间的差值超出所述预设范围时，丢弃当前该工人对应的所述第一位置数据和所述第二位置数据，重新获取该工人对应的所述第一位置数据和所述第二位置数据。
以穿戴设备为智能手环，移动设备为手持终端为例，将二者采集的位置信号交叉对比，如果两者差异超出所述预设范围，则重新采集位置信号，如果两者差异在所述预设范围内，则取二者的均值用于后续处理。
请再次参阅图1，本实施例提供的方法，还包括步骤：
S300、将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及所述目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级。
具体地，所述预测模型包括第一编码模块、第二编码模块、第三编码模块、融合模块以及预测模块。所述获取所述预测模型输出的安全风险等级，包括：
S310、将所述生理指标数据和所述地理位置数据输入至所述第一编码模块，通过所述第一编码模块提取所述生理指标数据和所述地理位置数据的特征并转换为特征图像；
S320、将所述特征图像和所述目标图像输入至所述第二编码模块，获取所述第二编码模块输出的第一特征向量；
S330、将所述语音信号数据输入至所述第三编码模块，获取所述第三编码模块输出的第二特征向量；
S340、将所述第一特征向量和所述第二特征向量输入至所述融合模块进行融合，得到目标特征向量；
S350、将所述目标特征向量输入至所述预测模块，获取所述预测模块输出的安全风险等级。
所述第一编码模块用于提取非图像非声音数据的特征，并将其转换为2d的特征图像，所述第一编码模块中可以包括一个滤波单元和一个卷积单元，通过该滤波单元对输入的数据进行卡尔曼滤波后，再通过卷积单元提取特征并转换为2d图像，得到所述特征图像，例如，所述卷积单元提取特征矩阵，将矩阵中的每个值作为图像中的一个像素值，得到所述特征图像。所述第二编码模块用于图像处理，具体地，所述将所述特征图像和所述目标图像输入至第二编码模块，获取所述第二编码模块输出的第一特征向量，包括：
对于输入至所述第二编码模块的待处理图像，执行如下操作：
将所述待处理图像划分为多个图像块，对每个图像块提取初始特征，对于每个图像块，将对应的所述初始特征和图像块在所述待处理图像中的位置信息融合，得到每个图像块分别对应的块特征；
对每个图像块分别对应的块特征执行注意力机制，根据注意力机制结果得到所述第一特征向量。
具体地，所述第一特征向量包括第一图像特征向量和第二图像特征，所述第二编码模块包括两个处理模块：第一处理模块和第二处理模块，所述第一处理模块用于处理对数据进行特征提取后转换得到的特征图像得到所述第一图像特征向量，所述第二处理模块用于处理摄像装置拍摄的图像得到所述第二图像特征向量。两个处理模型的结构相同，即对输入的图像的处理方式相同。下面以所述目标图像为例，介绍所述第二编码模块对其进行处理的过程：
将所述目标图像输入至所述第二编码模块中的第二处理模块，首先将所述目标图像划分为多个图像块，对每个图像块，先提取初始特征，可以通过一个卷积层实现，之后，对于每个图像块，将该图像块对应的所述初始特征和该图像块在所述目标图像中的位置信息融合，得到该图像块对应的块特征。之后，对于每个图像块对应的块特征，执行注意力机制，值得说明的是，注意力机制可以执行多次，每次执行注意力机制后，每个图像块对应的块特征会被更新，将最后一次注意力机制计算后的每个图像块对应的块特征融合（例如直接相接）得到所述第二图像特征向量。
得到所述第一图像特征向量的过程与得到所述第一图像特征向量的过程一致，只是将所述特征图像输入至所述第二编码模块中的第一处理模块。
下面对所述预测模型的训练过程进行说明，所述预测模型的训练过程为：
构建初始预测模型，根据多组标注数据训练所述初始预测模型，得到所述预测模型；
其中，每组标注数据包括样本生理指标数据、样本语音信号数据、样本地理位置数据、样本目标图像以及安全风险等级标注结果。
进一步地，为了降低数据标注的工作量，在本实施例中，先利用开源数据训练所述预测模型中的模块，之后再使用建筑工地场景下的标注数据进行微调训练，可以显著减少建筑工地场景标注数据量需求。
所述构建初始预测模型，包括：
采用开源数据训练所述第二编码模块、所述第三编码模块和所述预测模块；
基于采用开源数据训练后的所述第二编码模块、所述第三编码模块和所述预测模块构建所述初始预测模型。
可以采用带标签的开源数据预先训练所述第二编码模块和所述第三编码模块，具体地，用于预先训练所述第二编码模块和所述第三编码模块的开源数据为有分类标签的数据，在训练过程中，所述第二编码模块中的第一处理模块和所述第二处理模块只训练一个，训练完成后共用训练后的参数，以训练所述第二编码模块中的第一处理模块为例，在训练过程中，将样本数据输入至所述第一处理模块，基于所述第一处理模块输出的特征向量进行分类，根据分类结果与样本数据对应的分类标签之间的差异更新所述第一处理模块的参数，以使得所述第一处理模块具有初步的提取分类特征的功能，后续再根据相应的建筑工地场景标注数据进行微调训练。
所述根据多组标注数据训练所述初始预测模型，得到所述预测模型，包括：
选择目标标注数据；
将所述目标标注数据中的样本生理指标数据、样本语音信号数据、样本地理位置数据、以及样本目标图像输入至所述初始预测模型，获取所述初始预测模型输出的安全风险等级预测结果；
根据所述安全风险等级预测结果和所述目标标注数据中的安全风险等级标注结果获取第一损失；
将获取所述安全风险等级预测结果过程中得到的样本第一特征向量和样本第二特征向量输入至重构模块，获取所述重构模块输出的重构数据；
基于所述样本生理指标数据、所述样本语音信号数据、所述样本地理位置数据、以及所述样本目标图像与所述重构数据之间的差异获取第二损失；
根据所述第一损失和所述第二损失获取所述目标标注数据对应的训练损失，根据所述目标标注数据对应的训练损失更新所述初始预测模型的参数；
重新执行所述选择目标标注数据的步骤，直至所述初始预测模型的参数收敛，将参数收敛后的模型作为所述预测模型。
在所述多组标注数据中选择目标标注数据后，将所述目标标注数据中的样本生理指标数据、样本语音信号数据、样本地理位置数据以及样本目标图像输入至所述初始预测模型中，按照前文中步骤S310到S350的方式进行处理，即，将所述样本生理指标数据和所述样本地理位置数据输入至所述初始预测模型中的所述第一编码模块，通过所述第一编码模块提取所述生理指标数据和所述地理位置数据的特征并转换为样本特征图像，将所述样本特征图像和所述样本目标图像输入至所述第二编码模块，获取所述第二编码模块输出的样本第一特征向量，将所述样本语音信号数据输入至所述第三编码模块，获取所述第三编码模块输出的样本第二特征向量，将所述样本第一特征向量和所述样本第二特征向量输入至所述融合模块进行融合，得到样本目标特征向量，将所述样本目标特征向量输入至所述预测模块，获取所述预测模块输出的安全风险等级预测结果。
在一般的模型训练中，只根据模型的输出和标注结果的差异来获取损失以更新模型参数，在本实施例中，为了提升模型训练效率，设置重构模块与所述初始预测模型一同训练，具体地，除了根据所述安全风险等级预测结果和所述目标标注数据中的安全风险等级标注结果获取第一损失之外，还将所述样本第一特征向量和所述样本第二特征向量输入至所述重构模块。
所述样本第一特征向量中包括样本第一图像特征向量和样本第二图像特征，将所述样本第一图像特征向量输入至所述重构模块，所述重构模块输出重构第一图像，将所述样本第二图像特征输入至所述重构模块，所述重构模块输出重构第二图像，将所述样本第二特征向量输入至所述重构模块，所述重构模块输出重构语音信号，具体地，所述重构模块中可以分别设置不同的处理单元来处理不同模态数据的特征。根据所述重构第一图像和所述样本特征图像之间的差异获取第一分损失，根据所述重构第二图像和所述样本目标图像之间的差异获取第二分损失，根据所述重构语音信号和所述样本语音信号数据之间的差异获取第三分损失，对所述第一分损失、所述第二分损失和所述第三分损失进行求和，得到所述第二损失。
对所述第一损失和所述第二损失进行求和（可以为带权重的求和），得到所述目标标注数据对应的训练损失，基于所述目标标注数据对应的训练损失更新所述初始预测模型的参数。
进一步地，为了应对建筑工地复杂场景，在本实施例中，随机将所述样本标注数据中除样本目标图像之外的一种数据置0处理，即，将所述目标标注数据中的所述样本生理指标数据、所述样本语音信号数据或所述样本地理位置数据置0处理。具体地，所述根据所述目标标注数据对应的训练损失更新所述初始预测模型的参数，包括：
当所述目标标注数据为选中数据时，将所述目标标注数据中的所述样本生理指标数据、所述样本语音信号数据或所述样本地理位置数据进行置0处理，得到处理标注数据；
获取所述处理标注数据对应的处理目标特征向量，基于所述处理目标特征向量和所述目标标注数据对应的样本目标特征向量之间的差异确定第三损失；
根据所述目标标注数据对应的训练损失以及所述第三损失更新所述初始预测模型的参数。
其中，所述选中数据为在所述多组标注数据中随机选择的数据。
根据所述目标标注数据对应的训练损失以及所述第三损失更新所述初始预测模型的参数，是对所述目标标注数据对应的训练损失、以及所述第三损失进行求和，以求和结果最小为优化目标更新所述初始预测模型的参数。
将所述处理标注数据输入至所述初始预测模型之后，获取所述初始预测模型中的所述融合模块输出的数据作为所述处理目标特征向量。以损失最小为优化目标更新所述初始预测模型的参数，可以使得当存在数据缺失时提取出的用于分类风险等级的特征向量和不存在数据缺失时提取出的用于分类风险等级的特征向量尽可能接近，使得在复杂的工程建筑场景下数缺失某种数据的情况下，仍然可以实现一定准确率的预测，从而保证鲁棒性和实用性。
综上所述，本实施例提供一种基于多模态数据集成的建筑工人实时安全监控方法，通过采集工人的生理指标数据、语音信号数据、地理位置数据以及包括多个工人的图像，将多模态的数据输入至神经网络模型中进行安全风险等级的预测，避免了建筑工地的图像中设施复杂、工人众多导致的人体行为识别不准确，本发明可以提升建筑工地安全风险识别准确性。
应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
实施例二
基于上述实施例，本发明还相应提供了一种基于多模态数据集成的建筑工人实时安全监控装置，如图2所示，所述基于多模态数据集成的建筑工人实时安全监控装置包括：
第一数据获取模块，用于获取各个工人的生理指标数据、语音信号数据、以及地理位置数据，具体如实施例一中所述；
第二数据获取模块，用于获取目标图像，所述目标图像中包括多个工人，具体如实施例一中所述；
预测模块，用于将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级，具体如实施例一中所述。
实施例三
基于上述实施例，本发明还相应提供了一种终端，如图3所示，所述终端包括处理器10以及存储器20。图3仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于多模态数据集成的建筑工人实时安全监控程序30，该基于多模态数据集成的建筑工人实时安全监控程序30可被处理器10所执行，从而实现本申请中基于多模态数据集成的建筑工人实时安全监控方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit, CPU），微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于多模态数据集成的建筑工人实时安全监控方法等。
在一实施例中，当处理器10执行所述存储器20中基于多模态数据集成的建筑工人实时安全监控程序30时实现以下步骤：
获取各个工人的生理指标数据、语音信号数据、以及地理位置数据；
获取目标图像，所述目标图像中包括多个工人；
将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级。
实施例四
本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于多模态数据集成的建筑工人实时安全监控方法的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

  1. 一种基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述方法包括：
    获取各个工人的生理指标数据、语音信号数据、以及地理位置数据；
    获取目标图像，所述目标图像中包括多个工人；
    将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及所述目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级。
  2. 根据权利要求1所述的基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述获取各个工人的地理位置数据，包括：
    获取各个工人对应的穿戴设备反馈的第一位置数据；
    获取各个工人对应的移动设备反馈的第二位置数据；
    根据各个工人分别对应的所述第一位置数据和所述第二位置数据获取各个工人的地理位置数据。
  3. 根据权利要求2所述的基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述根据各个工人分别对应的所述第一位置数据和所述第二位置数据获取各个工人的地理位置数据，包括：
    当工人对应的所述第一位置数据和所述第二位置数据之间的差值在预设范围内时，取所述第一位置数据和所述第二位置数据的平均值作为该工人的地理位置数据；
    当工人对应的所述第一位置数据和所述第二位置数据之间的差值超出所述预设范围时，丢弃当前该工人对应的所述第一位置数据和所述第二位置数据，重新获取该工人对应的所述第一位置数据和所述第二位置数据。
  4. 根据权利要求1所述的基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述预测模型包括第一编码模块、第二编码模块、第三编码模块、融合模块以及预测模块，所述获取所述预测模型输出的安全风险等级，包括：
    将所述生理指标数据和所述地理位置数据输入至所述第一编码模块，通过所述第一编码模块提取所述生理指标数据和所述地理位置数据的特征并转换为特征图像；
    将所述特征图像和所述目标图像输入至所述第二编码模块，获取所述第二编码模块输出的第一特征向量；
    将所述语音信号数据输入至所述第三编码模块，获取所述第三编码模块输出的第二特征向量；
    将所述第一特征向量和所述第二特征向量输入至所述融合模块进行融合，得到目标特征向量；
    将所述目标特征向量输入至所述预测模块，获取所述预测模块输出的安全风险等级。
  5. 根据权利要求4所述的基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述将所述特征图像和所述目标图像输入至第二编码模块，获取所述第二编码模块输出的第一特征向量，包括：
    对于输入至所述第二编码模块的待处理图像，执行如下操作：
    将所述待处理图像划分为多个图像块，对每个图像块提取初始特征，对于每个图像块，将对应的所述初始特征和图像块在所述待处理图像中的位置信息融合，得到每个图像块分别对应的块特征；
    对每个图像块分别对应的块特征执行注意力机制，根据注意力机制结果得到所述第一特征向量。
  6. 根据权利要求4所述的基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述预测模型的训练过程为：
    构建初始预测模型，根据多组标注数据训练所述初始预测模型，得到所述预测模型；
    其中，每组标注数据包括样本生理指标数据、样本语音信号数据、样本地理位置数据、样本目标图像以及安全风险等级标注结果。
  7. 根据权利要求6所述的基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述根据多组标注数据训练所述初始预测模型，得到所述预测模型，包括：
    选择目标标注数据；
    将所述目标标注数据中的样本生理指标数据、样本语音信号数据、样本地理位置数据、以及样本目标图像输入至所述初始预测模型，获取所述初始预测模型输出的安全风险等级预测结果；
    根据所述安全风险等级预测结果和所述目标标注数据中的安全风险等级标注结果获取第一损失；
    将获取所述安全风险等级预测结果过程中得到的样本第一特征向量和样本第二特征向量输入至重构模块，获取所述重构模块输出的重构数据；
    基于所述样本生理指标数据、所述样本语音信号数据、所述样本地理位置数据、以及所述样本目标图像与所述重构数据之间的差异获取第二损失；
    根据所述第一损失和所述第二损失获取所述目标标注数据对应的训练损失，根据所述目标标注数据对应的训练损失更新所述初始预测模型的参数；
    重新执行所述选择目标标注数据的步骤，直至所述初始预测模型的参数收敛，将参数收敛后的模型作为所述预测模型。
  8. 一种基于多模态数据集成的建筑工人实时安全监控装置，其特征在于，包括：
    第一数据获取模块，用于获取各个工人的生理指标数据、语音信号数据、以及地理位置数据；
    第二数据获取模块，用于获取目标图像，所述目标图像中包括多个工人；
    预测模块，用于将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级。
  9. 一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述权利要求1-7任一项所述的基于多模态数据集成的建筑工人实时安全监控方法的步骤。
  10. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任一项所述的基于多模态数据集成的建筑工人实时安全监控方法的步骤。
PCT/CN2022/137034 2022-09-27 2022-12-06 一种基于多模态数据集成的建筑工人实时安全监控方法 Ceased WO2024066038A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211182762.9A CN115661737B (zh) 2022-09-27 2022-09-27 一种基于多模态数据集成的建筑工人实时安全监控方法
CN202211182762.9 2022-09-27

Publications (1)

Publication Number Publication Date
WO2024066038A1 true WO2024066038A1 (zh) 2024-04-04

Family

ID=84985103

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/137034 Ceased WO2024066038A1 (zh) 2022-09-27 2022-12-06 一种基于多模态数据集成的建筑工人实时安全监控方法

Country Status (2)

Country Link
CN (1) CN115661737B (zh)
WO (1) WO2024066038A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118609808A (zh) * 2024-05-27 2024-09-06 中国人民解放军空军军医大学 一种多模态附件区包块恶性风险评估方法及装置
CN119087888A (zh) * 2024-09-29 2024-12-06 江西亚卡科技有限公司 一种生产漆车间的安全监控方法及系统
CN119226715A (zh) * 2024-12-04 2024-12-31 杭州瑞盛电气有限公司 一种配电箱安全隐患检测方法及系统
CN119399702A (zh) * 2024-12-30 2025-02-07 捷通智慧科技股份有限公司 一种融合多模态大模型的智慧工地安全监测方法及其系统
CN120279239A (zh) * 2025-03-29 2025-07-08 内蒙古伊东集团东屹化工有限责任公司 一种基于三维建模的智慧工厂人员定位与调度系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108684007A (zh) * 2018-04-28 2018-10-19 廖强 一种隧道施工人员的施工监控方法
CN112699907A (zh) * 2019-10-22 2021-04-23 华为技术有限公司 数据融合的方法、装置和设备
US20210192225A1 (en) * 2019-12-24 2021-06-24 Uif (University Industry Foundation), Yonsei University Apparatus for real-time monitoring for construction object and monitoring method and computer program for the same
CN115018513A (zh) * 2022-05-27 2022-09-06 平安银行股份有限公司 数据巡检方法、装置、设备及存储介质
CN115045702A (zh) * 2022-06-09 2022-09-13 北京天玛智控科技股份有限公司 基于多模态数据的智能放煤控制方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101985161B1 (ko) * 2019-02-15 2019-05-31 화창건축사사무소 주식회사 공사 현장 피해 저감을 위한 지능형 안전 관리 시스템
CN111291755B (zh) * 2020-02-13 2022-11-15 腾讯科技（深圳）有限公司 对象检测模型训练及对象检测方法、装置、计算机设备和存储介质
CN111414874B (zh) * 2020-03-26 2020-10-30 中国平安财产保险股份有限公司 基于人脸的驾驶风险预测方法、装置、设备和存储介质
CN115049975A (zh) * 2022-05-19 2022-09-13 中国建筑第八工程局有限公司 一种动态展示施工场地安全活动要素的方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108684007A (zh) * 2018-04-28 2018-10-19 廖强 一种隧道施工人员的施工监控方法
CN112699907A (zh) * 2019-10-22 2021-04-23 华为技术有限公司 数据融合的方法、装置和设备
US20210192225A1 (en) * 2019-12-24 2021-06-24 Uif (University Industry Foundation), Yonsei University Apparatus for real-time monitoring for construction object and monitoring method and computer program for the same
CN115018513A (zh) * 2022-05-27 2022-09-06 平安银行股份有限公司 数据巡检方法、装置、设备及存储介质
CN115045702A (zh) * 2022-06-09 2022-09-13 北京天玛智控科技股份有限公司 基于多模态数据的智能放煤控制方法和系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118609808A (zh) * 2024-05-27 2024-09-06 中国人民解放军空军军医大学 一种多模态附件区包块恶性风险评估方法及装置
CN119087888A (zh) * 2024-09-29 2024-12-06 江西亚卡科技有限公司 一种生产漆车间的安全监控方法及系统
CN119226715A (zh) * 2024-12-04 2024-12-31 杭州瑞盛电气有限公司 一种配电箱安全隐患检测方法及系统
CN119399702A (zh) * 2024-12-30 2025-02-07 捷通智慧科技股份有限公司 一种融合多模态大模型的智慧工地安全监测方法及其系统
CN120279239A (zh) * 2025-03-29 2025-07-08 内蒙古伊东集团东屹化工有限责任公司 一种基于三维建模的智慧工厂人员定位与调度系统

Also Published As

Publication number Publication date
CN115661737A (zh) 2023-01-31
CN115661737B (zh) 2025-07-15

Similar Documents

Publication Publication Date Title
CN115661737A (zh) 一种基于多模态数据集成的建筑工人实时安全监控方法
CN113688766B (zh) 一种改进的行人属性监控识别方法
CN114676776A (zh) 一种基于Transformer的细粒度图像分类方法
CN111160162B (zh) 一种级联的驾驶员人体姿态估计方法
CN110442846A (zh) 一种新型多尺度注意力机制的序列数据预测系统
CN112001322B (zh) 一种用于确定标签人员聚集的方法、装置及存储介质
CN116386099A (zh) 人脸多属性识别方法及其模型获取方法、装置
CN114821752A (zh) 一种基于混合特征的年龄估算方法、电子设备及存储介质
CN116797904B (zh) 一种图像识别不确定性知识蒸馏方法与系统
CN116259311B (zh) 一种语音处理方法及其相关设备
CN110909706A (zh) 一种昼伏夜出人员判定方法、装置、电子设备及存储介质
CN118398155B (zh) 医学报告的生成方法、模型训练方法、系统、设备及介质
CN118918329A (zh) 基于Prompt的边缘增强医学图像分割方法及系统
CN116777869A (zh) 基于人工智能的图像检测方法、装置、设备及存储介质
CN115861727A (zh) 一种回归预测模型训练方法、装置和计算机设备
CN119229307B (zh) 一种基于深度学习的多任务建筑物提取及变化检测方法
CN116993593B (zh) 图像处理方法、装置、电子设备及存储介质
CN113160131A (zh) 一种农业保险理赔方法、装置及存储介质
Zeng et al. An improved convolution neural network-based fast estimation method for construction project cost
CN117746463B (zh) 体征信息识别方法、系统和电子设备
CN119763006B (zh) 针对视频的异常行为检测方法、装置和电子设备
CN117726746B (zh) 三维人体重建方法、装置、设备、存储介质及程序产品
CN119181135A (zh) 行为类别识别方法、装置、计算机设备和可读存储介质
CN120823442A (zh) 一种电子证照检测方法、设备、介质及产品
CN116012948A (zh) 基于Alphapose与LightGBM的安全行为识别方法、装置及相关介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22960633

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22960633

Country of ref document: EP

Kind code of ref document: A1