WO2023087525A1 - 多模态深度学习的发电设备异常一体化识别方法及设备 - Google Patents

多模态深度学习的发电设备异常一体化识别方法及设备 Download PDF

Info

Publication number
WO2023087525A1
WO2023087525A1 PCT/CN2022/071290 CN2022071290W WO2023087525A1 WO 2023087525 A1 WO2023087525 A1 WO 2023087525A1 CN 2022071290 W CN2022071290 W CN 2022071290W WO 2023087525 A1 WO2023087525 A1 WO 2023087525A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
power generation
modal
module
generation equipment
Prior art date
Application number
PCT/CN2022/071290
Other languages
English (en)
French (fr)
Inventor
曾谁飞
傅望安
王振荣
黄思皖
张燧
王青天
刘旭亮
李小翔
冯帆
邸智
韦玮
杜静宇
赵鹏程
武青
祝金涛
朱俊杰
吴昊
吕亮
童彤
任鑫
郑建飞
薛文超
周军军
Original Assignee
中国华能集团清洁能源技术研究院有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国华能集团清洁能源技术研究院有限公司 filed Critical 中国华能集团清洁能源技术研究院有限公司
Publication of WO2023087525A1 publication Critical patent/WO2023087525A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • This application relates to the technical fields of deep learning, artificial intelligence, neural network, natural language understanding and new energy, and in particular to a method, device, computer equipment and storage medium for the integrated recognition of abnormalities in power generation equipment with multi-modal deep learning.
  • new energy fields such as wind turbines and photovoltaic scenarios only use single-modal data and multi-modal data to obtain effective feature representations, such as redundant feature representation information, inaccurate feature representation, and insufficient feature representation accuracy.
  • Anomaly detection and fault diagnosis, system defect early warning, system operation and maintenance and other functions cannot meet the needs or needs of various businesses, especially when a certain equipment fails, it is easy to make mistakes based on the results obtained by building a model with single modal data.
  • This application provides a method, device, computer equipment, and storage medium for multi-modal deep learning integrated abnormality identification of power generation equipment, aiming at avoiding false positives and false positives in the process of abnormal detection of power generation equipment, and improving the prediction of power generation equipment Anomaly detection accuracy.
  • the first purpose of this application is to propose a multi-modal deep learning method for integrated abnormal identification of power generation equipment, including:
  • the power generation equipment anomaly detection network model includes a sequentially connected feature extraction module, spatial mapping module, feature fusion module and result prediction module;
  • the real-time multi-modal data is preprocessed and input into the trained power generation equipment anomaly detection network model, and the output result is used as the detection result of whether the power generation equipment is abnormal.
  • the steps of obtaining multimodal historical data and performing data preprocessing include steps:
  • Multi-modal historical data collection collect automatically uploaded multi-modal historical data obtained from high-definition cameras, pickups, and sensors installed around power generation equipment, and manually upload multi-modal historical data obtained by taking pictures with mobile phones;
  • Data cleaning perform data cleaning on the collected multi-modal historical data; among them, the cleaning methods include at least: data elimination and data completion;
  • Data separation For the bimodal or multimodal mixed data in the collected multimodal historical data, data separation is performed. After data separation, the multimodal historical data is divided into voice data, text data, image data and video data , and mark the detection result.
  • the abnormal detection network model of power generation equipment includes a feature extraction module, a spatial mapping module, a feature fusion module and a result prediction module; among them,
  • the feature extraction module is a feature extraction neural network, which is used for single-modal feature extraction of speech data, text data, image data and video data obtained after data separation;
  • the space mapping module is used to map the features of a single modality to the same semantic space, and obtain the semantic structure information inside the single modality data features;
  • the feature fusion module is used to perform feature fusion and splicing of multi-modal historical data on single-modal features to obtain multi-modal feature fusion information;
  • the result prediction module is used to calculate the prediction result according to the multimodal feature fusion information, and complete the abnormal detection of the power generation equipment.
  • the feature extraction neural network is BiLSTM network, convolutional neural network or deep neural network; among them, the application of BiLSTM network, while extracting features, obtains the context information of single-modal data, that is, the relationship between adjacent single-modal data semantic information.
  • the feature fusion module includes a two-way attention mechanism unit, a self-attention mechanism unit, and a first fully connected layer unit; the voice data, text data, image data, and video data processed by the spatial mapping module are sequentially input into two-way attention
  • the force mechanism unit, the self-attention mechanism unit and the first fully connected layer unit transmit the output data to the fusion module for fusion.
  • the steps of training the constructed power generation equipment anomaly detection network model through the training set include:
  • semantic space mapping is performed on the single-modal features of the speech data, text data, image data and video data;
  • the multi-modal feature fusion mechanism includes the first-fourth feature fusion modules and the first fusion module and the second fusion module; respectively input the single modality features of the voice data, text data, image data and video data output after the semantic space mapping into the first-fourth feature fusion module, the first and the first
  • the output results of the two feature fusion modules are input into the first fusion module, and the output results of the first fusion module, the third feature fusion module and the fourth feature fusion module are input into the second fusion module;
  • the output result of the second fusion module is output to the result prediction module, and the Softmax function is used to calculate the prediction result, which is compared with the detection result of the mark, and the network training is completed by continuously adjusting the network function and parameters until the prediction result is consistent with the detection result of the mark .
  • the display methods include at least: text display, voice broadcast, outbound terminal, email, SMS reminder, and smart speaker.
  • the second purpose of this application is to propose a multi-modal deep learning abnormal integrated identification device for power generation equipment, including:
  • the data acquisition module is used to obtain multimodal historical data and perform data preprocessing, and use the preprocessed multimodal historical data as a training set;
  • the network construction module is used to construct an anomaly detection network model of power generation equipment, and train the abnormal detection network model of power generation equipment through the training set; wherein, the anomaly detection network model of power generation equipment includes a feature extraction module and a spatial mapping module connected in sequence , feature fusion module and result prediction module;
  • the anomaly detection module is used to preprocess the real-time multimodal data and input it into the trained anomaly detection network model of power generation equipment, and output the result as the detection result of whether the power generation equipment is abnormal.
  • the third purpose of the present application is to propose a computer device, including a memory, a processor, and a computer program stored in the memory and operable on the processor.
  • the processor executes the computer program, the method of the aforementioned technical solution is realized.
  • the fourth object of the present application is to propose a non-transitory computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the method of the aforementioned technical solution is realized.
  • the fifth object of the present application is to provide a computer program product, the computer program product includes computer program code, and when the computer program code is run on a computer, it can execute the method of the aforementioned technical solution.
  • the sixth object of the present application is to provide a computer program, the computer program includes computer program code, when the computer program code is run on a computer, the computer is made to execute the method of the aforementioned technical solution.
  • the multi-modal deep learning integrated recognition method for power generation equipment abnormality constructs a neural network for abnormal detection of power generation equipment, performs feature extraction on single-mode data through a feature extraction network, and maps the extracted features to In the same semantic space, the multi-modal fusion strategy is used to fuse the semantic features of single-modal data to generate multi-modal fusion features, and the abnormality of power generation equipment is predicted according to the generated multi-modal fusion features.
  • the present application it is possible to avoid false positives, false positives, and misreporting phenomena in the abnormality detection process of power generation equipment, and improve the accuracy rate of abnormality detection of predicted power generation equipment.
  • Fig. 1 is a schematic flowchart of a multi-modal deep learning-based method for integrated identification of abnormalities in power generation equipment provided by the present application.
  • Fig. 2 is a schematic structural diagram of a power generation equipment abnormality detection network model of a multi-modal deep learning integrated abnormality recognition method for power generation equipment provided by the present application.
  • Fig. 3 is a schematic structural diagram of a multi-modal deep learning integrated abnormality identification device for power generation equipment provided by the present application.
  • Fig. 4 is a schematic structural diagram of a non-transitory computer-readable storage medium provided by the present application.
  • Fig. 1 is a schematic flow chart of a multi-modal deep learning integrated abnormality identification method for power generation equipment provided by an embodiment of the present application. The method includes the following steps:
  • Step 101 acquire multimodal historical data and perform data preprocessing, and use the preprocessed multimodal historical data as a training set.
  • the multi-modal data mentioned in this application mainly refers to the four modes of text, image, voice and video.
  • the data generated by them often still pass manual inspection to determine whether there is a fault.
  • a large amount of data may be deleted directly after generation, and manual inspection, While causing misjudgment, the monitoring equipment cannot effectively complete the monitoring task, which is likely to cause data redundancy or data waste.
  • This application collects massive multi-modal historical data to train the constructed detection network to improve detection accuracy. Data utilization is also possible.
  • the power generation equipment involved in this application includes but not limited to thermal power, hydropower, clean energy power generation equipment or generator sets, wherein clean energy power generation equipment or generator sets include but not limited to photovoltaic, offshore wind power, nuclear power generation equipment or generator sets.
  • Abnormal integration of power generation equipment includes but is not limited to abnormal detection, fault diagnosis and fault warning of power generation equipment.
  • obtaining multimodal historical data is to obtain all kinds of monitoring equipment installed for monitoring the corresponding power generation equipment from the management unit to which the power generation equipment belongs, such as high-definition cameras, pickups and sensors;
  • the monitoring data is automatically uploaded to the monitoring center, which is called automatic uploading of multi-modal historical data in this application; in addition, there are images, videos or voice data manually uploaded through mobile phones, which is called manual uploading of multi-modal historical data in this application.
  • Static historical data The collection of multi-modal historical data is to obtain a large amount of automatically uploaded multi-modal historical data and manually uploaded multi-modal historical data.
  • data cleaning is first performed to eliminate data irrelevant to abnormal detection of power generation equipment; then the data quality of multi-modal historical data is judged, and corresponding to low-quality data, data cleaning is performed with the help of scripts or tools, such as manual noise addition , or perform sentence completion.
  • the data belonging to two or more modalities is screened from the multimodal data to separate the data. If there is dual-modal data that belongs to both voice and video, separate it with the help of tools to obtain single-modal data. As shown by 101 in FIG. 2 .
  • Step 102 Construct a power generation equipment anomaly detection network model, and train the constructed power generation equipment anomaly detection network model through the training set.
  • the network structure of the abnormal detection network model of power generation equipment constructed in this application is shown in Figure 2, including a feature extraction module 102, a spatial mapping module 103, a feature fusion module 104 and a result prediction module 105;
  • the feature extraction module 102 is a feature extraction neural network, which is used to perform single-mode feature extraction on speech data, text data, image data and video data obtained after data separation.
  • the feature extraction neural network is a BiLSTM network, a convolutional neural network or a deep neural network; among them, the BiLSTM network is applied to obtain the context information of single-modal data while extracting features, that is, the semantic information between adjacent single-modal data .
  • the space mapping module 103 is used to map the features of a single modality to the same semantic space, so as to obtain the semantic structure information inside the data features of a single modality. Through spatial mapping, it is possible to effectively characterize the internal correlation of single-modal data features and determine the internal semantic structure information.
  • the feature fusion module 104 is used to perform feature fusion and splicing of multi-modal historical data on single-modal features to obtain multi-modal feature fusion information.
  • the feature fusion module 104 includes a two-way attention mechanism unit 10401, a self-attention mechanism unit 10402 and a first fully connected layer unit 10403; the speech data, text data, image data and video data processed by the spatial mapping module are input in sequence
  • the two-way attention mechanism unit, the self-attention mechanism unit and the first fully connected layer unit transmit the output data to the fusion module for fusion.
  • the result prediction module 105 is used to calculate the prediction result according to the multimodal feature fusion information, and complete the abnormal detection of the power generation equipment.
  • the result prediction module 105 includes a second fully connected unit 1051 and a classifier unit 1052. As shown in FIG. 2, the classifier unit 1052 adopts a Softmax classifier.
  • the spatial mapping features of text and speech are first fused with time-series features, and then merge the features of different scales with images and videos to get the final fusion features.
  • Two attention mechanisms are used in the feature fusion module 104: one is the two-way attention method to explore the dependence of the interaction features between the two modalities; the other is the self-attention method to explore the correlation between the prediction result and the single modality itself .
  • the steps of training the constructed power generation equipment anomaly detection network model through the training set include:
  • the preprocessed training set data is input into the feature extraction neural network of the feature extraction module 102, and a single mode feature extraction is performed on the voice data, text data, image data and video data in the training set data through a BiLSTM network respectively.
  • semantic space mapping is performed on the single-modal features of the speech data, text data, image data and video data.
  • the multi-modal feature fusion mechanism includes the first-fourth feature fusion modules 1041-1044, and the first fusion module 1045 and the second fusion module 1046; respectively input the single modality features of the voice data, text data, image data and video data output after the semantic space mapping into the first-fourth feature fusion module
  • the output results of the first feature fusion module 1041 and the second feature fusion module 1042 are input into the first fusion module 1045, and at the same time, the output results of the first fusion module 1045, the third feature fusion module 1043 and the fourth feature fusion module 1044
  • the output result is input into the second fusion module 1046 .
  • the output result of the second fusion module 1046 is output to the result prediction module 105, and the softmax function is used to calculate the prediction result, which is compared with the detection result of the mark, and the network function and parameters are continuously adjusted until the prediction result is consistent with the detection result of the mark. network training.
  • S103 Input the preprocessed real-time multimodal data into the trained power generation equipment abnormality detection network model, and output the result as the detection result of whether the power generation equipment is abnormal.
  • the abnormal detection result of the power generation equipment If the abnormal detection result of the power generation equipment is obtained, the abnormal detection result will be displayed; the display methods include at least: text display, voice broadcast, outbound terminal, email, SMS reminder, and smart speaker. As shown by 107 in FIG. 2 .
  • the present application also proposes a multi-modal deep learning abnormality integrated recognition device for power generation equipment, as shown in FIG. 3 , including:
  • a data acquisition module 310 configured to acquire multimodal historical data and perform data preprocessing, using the preprocessed multimodal historical data as a training set;
  • the network construction module 320 is used to construct an abnormal detection network model of power generation equipment, and train the abnormal detection network model of power generation equipment through the training set; wherein, the abnormal detection network model of power generation equipment includes a feature extraction module connected in sequence, a spatial mapping module, feature fusion module and result prediction module;
  • the anomaly detection module 330 is configured to input the preprocessed real-time multi-modal data into the trained power generation equipment anomaly detection network model, and output the result as the detection result of whether the power generation equipment is abnormal.
  • the present application also proposes another computer device, including: a memory, a processor, and a computer program stored on the memory and operable on the processor. Anomaly detection of power generation equipment for example.
  • the non-transitory computer-readable storage medium includes a memory 810 of instructions and an interface 830 , and the above-mentioned instructions can be executed by the processor 820 of the apparatus for estimating the walking speed of coal mining equipment to complete the above-mentioned method.
  • the storage medium may be a non-transitory computer-readable storage medium, for example, the non-transitory computer-readable storage medium may be ROM, random access memory (RAM), CD-ROM, magnetic tape, floppy disk, and optical data storage equipment etc.
  • the present application also proposes a non-transitory computer-readable storage medium on which a computer program is stored.
  • the computer program is executed by a processor, the abnormality detection of the power generation equipment according to the embodiment of the present application is realized.
  • the present application also proposes a computer program product, the computer program product includes computer program code, and when the computer program code is run on a computer, the method according to the embodiment of the present application is executed.
  • the present application also proposes a computer program, the computer program including computer program code, when the computer program code is run on the computer, so that the computer executes the method as the embodiment of the present application.
  • first and second are used for descriptive purposes only, and cannot be interpreted as indicating or implying relative importance or implicitly specifying the quantity of indicated technical features.
  • the features defined as “first” and “second” may explicitly or implicitly include at least one of these features.
  • “plurality” means at least two, such as two, three, etc., unless otherwise specifically defined.
  • a "computer-readable medium” may be any device that can contain, store, communicate, propagate or transmit a program for use in or in conjunction with an instruction execution system, device or device.
  • computer-readable media include the following: electrical connection with one or more wires (electronic device), portable computer disk case (magnetic device), random access memory (RAM), Read Only Memory (ROM), Erasable and Editable Read Only Memory (EPROM or Flash Memory), Fiber Optic Devices, and Portable Compact Disc Read Only Memory (CDROM).
  • the computer-readable medium may even be paper or other suitable medium on which the program can be printed, as it may be possible, for example, by optically scanning the paper or other medium, followed by editing, interpreting, or other suitable processing if necessary.
  • the program is processed electronically and stored in computer memory.
  • each part of the present application may be realized by hardware, software, firmware or a combination thereof.
  • various steps or methods may be implemented by software or firmware stored in memory and executed by a suitable instruction execution system.
  • a suitable instruction execution system For example, if implemented in hardware as in another embodiment, it can be implemented by any one or a combination of the following techniques known in the art: a discrete Logic circuits, ASICs with suitable combinational logic gates, Programmable Gate Arrays (PGA), Field Programmable Gate Arrays (FPGA), etc.
  • each functional unit in each embodiment of the present application may be integrated into one processing module, each unit may exist separately physically, or two or more units may be integrated into one module.
  • the above-mentioned integrated modules can be implemented in the form of hardware or in the form of software function modules. If the integrated modules are implemented in the form of software function modules and sold or used as independent products, they can also be stored in a computer-readable storage medium.
  • the storage medium mentioned above may be a read-only memory, a magnetic disk or an optical disk, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

一种多模态深度学习的发电设备异常一体化识别方法及设备，该方法通过构建发电设备异常检测神经网络，通过特征提取网络对单模态数据进行特征提取，将提取的特征映射到同一语义空间，采用多模态融合策略对单模态数据的语义特征进行特征融合生成多模态融合特征，根据生成的多模态融合特征进行发电设备异常进行预测。

Description

多模态深度学习的发电设备异常一体化识别方法及设备
相关申请的交叉引用
本申请基于申请号为No.202111400102.9、申请日为2021年11月19日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本申请涉及深度学习、人工智能、神经网络、自然语言理解和新能源领域技术领域，尤其涉及一种多模态深度学习的发电设备异常一体化识别方法、装置、计算机设备及存储介质。
背景技术
伴随碳达峰和碳中和目标提升为国家战略层地位，故对新能源如清洁能源与人工智能及大数据等核心技术相结合已成为一体化关键技术，因此在光伏场景、风机、海上发电等应用场景所收集及人工采集到语音、图像、视频、文本等多模态数据越来越多。针对这些海量数据，如何发挥最大或最优价值化，如何提取有效特征信息，如何对应用场景的各业务系统运用丰富的组合特征表征，如何优化组合特征表征能力，已成为产业界、学术界和工业界挑战及棘手的问题。并且目前相关技术不涉及多模态数据与模型融合等多模态深度学习方面。
目前，一方面新能源领域如风机、光伏场景仅利用单一模态数据、多模态数据获得有效特征表征不足比如特征表征信息冗余、特征表征不准确、特征表征精度不足等缺陷，再进行设备异常检测和故障诊断、系统缺陷预警告警、系统运维等功能无法满足各项业务的需要或需求，特别是某一设备出现故障时依据单一模态数据构建模型得出的结果进行判断容易导致错报、漏报、晚报等现象，这样给新能源领域使用方带来不可估量的损失，包括重大事故如人员伤亡、个别设备运行状况监控、设备健康检查等；另一方面，过去传统机器学习方法如GMM、SVM、贝叶斯，或者传统机器学习方法联合学习等方法无法满足单一模态数据、多模态数据构建传统机器学习模型的可靠性与鲁棒性要求，伴随人工智能特别深度学习快速发展，充分利用新能源领域光伏、风机和海上发电设备所获得多模态数据与模型融合方法成为各项应用场景及功能要求的大趋势，特别是深度学习具有强大的特征提取及表征能力，为新能源领域降本增效、提质增效等各项益处，如降低人工巡检作业危险、系统的智能健康与监控及智能分析各项运行指标、运营分析等节省人力与时间、减少 投入成本，等等。因此需要一种新的技术解决方案以方便计算机、GPU、数据等使用。
发明内容
本申请提供一种多模态深度学习的发电设备异常一体化识别方法、装置、计算机设备及存储介质，旨在规避发电设备异常检测过程中的漏报误报、错报现象，提升预测发电设备异常检测准确率。
本申请的第一个目的在于提出一种多模态深度学习的发电设备异常一体化识别方法，包括：
获取多模态历史数据并进行数据预处理，将预处理后的多模态历史数据作为训练集；
构建发电设备异常检测网络模型，并通过训练集对构建的发电设备异常检测网络模型进行训练；其中，发电设备异常检测网络模型包括依序连接的特征提取模块、空间映射模块、特征融合模块和结果预测模块；
将实时的多模态数据预处理后输入训练完成的发电设备异常检测网络模型中，输出结果作为对发电设备是否异常的检测结果。
其中，获取多模态历史数据并进行数据预处理的步骤中，包括步骤：
多模态历史数据采集：采集发电设备周围安装的高清摄像头、拾音器、传感器得到的自动上传多模态历史数据，以及通过手机拍照得到的人工上传多模态历史数据；
数据清洗：对采集的多模态历史数据进行数据清洗；其中，清洗方式至少包括：数据剔除和数据补全；
数据分离：针对采集的多模态历史数据中的双模态或多模态混合数据，进行数据分离，数据分离后，将多模态历史数据划分为语音数据、文本数据、图像数据和视频数据，并标记检测结果。
其中，发电设备异常检测网络模型包括特征提取模块、空间映射模块、特征融合模块和结果预测模块；其中，
特征提取模块为特征提取神经网络，用于对数据分离后得到的语音数据、文本数据、图像数据和视频数据进行单一模态的特征提取；
空间映射模块用于将单一模态的特征映射到同一语义空间，得到单一模态数据特征内部的语义结构信息；
特征融合模块用于对单一模态的特征进行多模态历史数据的特征融合拼接，得到多模态特征融合信息；
结果预测模块，用于根据多模态特征融合信息计算预测结果，完成对发电设备的异常检测。
其中，特征提取神经网络为BiLSTM网络、卷积神经网络或深度神经网络；其中，应用BiLSTM网络，在提取特征的同时，获得单一模态数据的上下文信息，即相邻单模态数据之间的语义信息。
其中，特征融合模块包括双向注意力机制单元、自注意力机制单元和第一全连接层单元；经空间映射模块映射处理后的语音数据、文本数据、图像数据和视频数据，依序输入双向注意力机制单元、自注意力机制单元和第一全连接层单元，输出的数据传输至融合模块进行融合。
其中，通过训练集对构建的发电设备异常检测网络模型进行训练的步骤包括：
将预处理后的训练集数据输入特征提取模块的特征提取神经网络，分别通过一BiLSTM网络对训练集数据中的语音数据、文本数据、图像数据和视频数据进行单一模态的特征提取；
对训练集数据中的语音数据、文本数据、图像数据和视频数据进行单一模态特征提取后，对语音数据、文本数据、图像数据和视频数据的单一模态特征进行语义空间映射；
将语义空间映射后输出的语音数据、文本数据、图像数据和视频数据的单一模态特征分别输入设置的多模态特征融合机构中；多模态特征融合机构包括第一-第四特征融合模块及第一融合模块和第二融合模块；分别将语义空间映射后输出的语音数据、文本数据、图像数据和视频数据的单一模态特征输入第一-第四特征融合模块中，第一、第二特征融合模块的输出结果输入第一融合模块，同时将第一融合模块、第三特征融合模块和第四特征融合模块的输出结果输入第二融合模块；
第二融合模块的输出结果输出至结果预测模块，利用Softmax函数计算预测结果，与标记的检测结果进行对比，通过不断调整网络函数和参数，直至预测结果与标记的检测结果一致时，完成网络训练。
其中，若得到发电设备异常检测结果，则将异常检测结果进行展示；展示方式至少包括：文本显示、语音播报、外呼终端、邮件、短信提醒、智能音箱。
本申请的第二个目的在于提出一种多模态深度学习的发电设备异常一体化识别装置，包括：
数据获取模块，用于获取多模态历史数据并进行数据预处理，将预处理后的多模态历史数据作为训练集；
网络构建模块，用于构建发电设备异常检测网络模型，并通过训练集对构建的发电设备异常检测网络模型进行训练；其中，发电设备异常检测网络模型包括依序连接的特征提取模块、空间映射模块、特征融合模块和结果预测模块；
异常检测模块，用于将实时的多模态数据预处理后输入训练完成的发电设备异常检测 网络模型中，输出结果作为对发电设备是否异常的检测结果。
本申请的第三个目的在于提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述技术方案的方法。
本申请的第四个目的在于提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述技术方案的方法。
本申请的第五个目的在于提出一种计算机程序产品，所述计算机程序产品中包括计算机程序代码，当所述计算机程序代码在计算机上运行时，以执行如前述技术方案的方法。
本申请的第六个目的在于提出一种计算机程序，所述计算机程序包括计算机程序代码，当所述计算机程序代码在计算机上运行时，以使得计算机执行如前述技术方案的方法。
区别于相关技术，本申请提供的多模态深度学习的发电设备异常一体化识别方法，构建发电设备异常检测神经网络，通过特征提取网络对单模态数据进行特征提取，将提取的特征映射到同一语义空间，采用多模态融合策略对单模态数据的语义特征进行特征融合生成多模态融合特征，根据生成的多模态融合特征进行发电设备异常进行预测。通过本申请，能够规避发电设备异常检测过程中的漏报误报、错报现象，提升预测发电设备异常检测准确率。
附图说明
图1是本申请提供的一种多模态深度学习的发电设备异常一体化识别方法的流程示意图。
图2是本申请提供的一种多模态深度学习的发电设备异常一体化识别方法的发电设备异常检测网络模型的结构示意图。
图3是本申请提供的一种多模态深度学习的发电设备异常一体化识别装置的结构示意图。
图4是本申请提供的一种非临时性计算机可读存储介质的结构示意图。
具体实施方式
下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
图1为本申请实施例所提供的一种多模态深度学习的发电设备异常一体化识别方法的流程示意图。该方法包括以下步骤：
步骤101，获取多模态历史数据并进行数据预处理，将预处理后的多模态历史数据作 为训练集。
本申请所提及的多模态数据，主要指文本、图像、语音及视频四种模态。现阶段，因为摄像头、传感器及拾音器等设备大量安装于发电设备周围进行监测，但其产生的数据往往还是通过人工检验，判断是否故障，大量的数据在产生后可能直接被删除，且人工检验，在造成误判的同时，监测设备无法有效完成监测任务，容易造成数据冗余或数据浪费，本申请则通过收集海量多模态历史数据对构建的检测网络进行训练，提高检测准确性的同时，还可进行数据有效利用。本申请涉及的发电设备包括但不限定于火电、水电、清洁能源发电设备或发电机组，其中清洁能源发电设备或发电机组包括但不限定于光伏、海上风电、核电发电设备或发电机组。发电设备异常一体化包括但不限定于发电设备的异常检测、故障诊断及故障预警。
在一些实施例中，获取多模态历史数据，是从发电设备所属的管理单位获取用于监控对应发电设备而安装的各类监控设备，如高清摄像头、拾音器及传感器；上述设备将对发电设备的监控数据自动上传至监控中心，在本申请中称之为自动上传多模态历史数据；此外还有通过手机人工上传的图像、视频或语音数据，在本申请中称之为人工上传多模态历史数据。多模态历史数据的采集就是获取大量的自动上传多模态历史数据和人工上传多模态历史数据。
获取数据后，需要对采集的多模态历史数据进行数据清洗。数据清洗过程中，首先进行数据筛选，剔除与发电设备异常检测无关的数据；然后判断多模态历史数据的数据质量，对应低质量的数据，借助脚本或工具进行数据清洗，如进行人工加噪音，或者进行句子补全。
清洗完成后，从多模态数据中筛选同属于两个以上模态的数据，进行数据分离。如存在同属于语音、视频的双模态数据，则借助工具进行分离，得到单模态的数据。如图2中101所示。
数据预处理完成后进入步骤102。
步骤102：构建发电设备异常检测网络模型，并通过训练集对构建的发电设备异常检测网络模型进行训练。
本申请构建的发电设备异常检测网络模型的网络结构如图2所示，包括特征提取模块102、空间映射模块103、特征融合模块104和结果预测模块105；其中，
特征提取模块102为特征提取神经网络，用于对数据分离后得到的语音数据、文本数据、图像数据和视频数据进行单一模态的特征提取。
特征提取神经网络为BiLSTM网络、卷积神经网络或深度神经网络；其中，应用BiLSTM网络，在提取特征的同时，获得单一模态数据的上下文信息，即相邻单模态数据之间的语 义信息。
空间映射模块103用于将单一模态的特征映射到同一语义空间，得到单一模态数据特征内部的语义结构信息。通过空间映射，能够有效表征单一模态数据特征内部的相关性，确定内部语义结构信息。
特征融合模块104用于对单一模态的特征进行多模态历史数据的特征融合拼接，得到多模态特征融合信息。
特征融合模块104包括双向注意力机制单元10401、自注意力机制单元10402和第一全连接层单元10403；经空间映射模块映射处理后的语音数据、文本数据、图像数据和视频数据，依序输入双向注意力机制单元、自注意力机制单元和第一全连接层单元，输出的数据传输至融合模块进行融合。
结果预测模块105，用于根据多模态特征融合信息计算预测结果，完成对发电设备的异常检测。结果预测模块105中包括第二全连接单元1051和分类器单元1052，如图2中所示，分类器单元1052采用Softmax分类器。
如图2中，针对四种不同模态的数据，本申请的网络中分别设置了四个依序连接的特征提取模块102和空间映射模块103，将预处理后得到的四种单模态数据分别输入特征提取BiLSTM网络，输出四种单模态数据的特征；然后分别将四种单模态数据的特征输入一空间映射模块103，进行空间映射；输出四种单模态数据的空间映射特征后，将四种特征同时输入四个特征融合模块104中，即每一特征融合模块104中均同时输入了四种单模态数据的空间映射特征。由于所采集多模态数据对预测发电设备异常检测的贡献度不一样的，因此为了增强某一模态数据在预测结果的权重，先将文本和语音的空间映射特征进行时序的特征融合，然后再进行与图像、视频进行不同尺度特征的合并操作得到最后的融合特征。特征融合模块104中采用了两种注意力机制：其一是双向注意力方法发掘两种模态间交互特征的依赖性；其二是自注意力方法发掘预测结果与单一模态本身的相关性。
通过训练集对构建的发电设备异常检测网络模型进行训练的步骤包括：
将预处理后的训练集数据输入特征提取模块102的特征提取神经网络，分别通过一BiLSTM网络对训练集数据中的语音数据、文本数据、图像数据和视频数据进行单一模态的特征提取。
对训练集数据中的语音数据、文本数据、图像数据和视频数据进行单一模态特征提取后，对语音数据、文本数据、图像数据和视频数据的单一模态特征进行语义空间映射。
将语义空间映射后输出的语音数据、文本数据、图像数据和视频数据的单一模态特征分别输入设置的多模态特征融合机构中；多模态特征融合机构包括第一-第四特征融合模块1041-1044，及第一融合模块1045和第二融合模块1046；分别将语义空间映射后输出的语 音数据、文本数据、图像数据和视频数据的单一模态特征输入第一-第四特征融合模块1041-1044中，第一特征融合模块1041、第二特征融合模块1042的输出结果输入第一融合模块1045，同时将第一融合模块1045、第三特征融合模块1043和第四特征融合模块1044的输出结果输入第二融合模块1046。
第二融合模块1046的输出结果输出至结果预测模块105，利用Softmax函数计算预测结果，与标记的检测结果进行对比，通过不断调整网络函数和参数，直至预测结果与标记的检测结果一致时，完成网络训练。
S103：将实时的多模态数据预处理后输入训练完成的发电设备异常检测网络模型中，输出结果作为对发电设备是否异常的检测结果。
若得到发电设备异常检测结果，则将异常检测结果进行展示；展示方式至少包括：文本显示、语音播报、外呼终端、邮件、短信提醒、智能音箱。如图2中107所示。
为了实现上述实施例，本申请还提出一种多模态深度学习的发电设备异常一体化识别装置，如图3所示，包括：
数据获取模块310，用于获取多模态历史数据并进行数据预处理，将预处理后的多模态历史数据作为训练集；
网络构建模块320，用于构建发电设备异常检测网络模型，并通过训练集对构建的发电设备异常检测网络模型进行训练；其中，发电设备异常检测网络模型包括依序连接的特征提取模块、空间映射模块、特征融合模块和结果预测模块；
异常检测模块330，用于将实时的多模态数据预处理后输入训练完成的发电设备异常检测网络模型中，输出结果作为对发电设备是否异常的检测结果。
为了实现上述实施例，本申请还提出另一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如本申请实施例的发电设备异常检测。
如图4所示，非临时性计算机可读存储介质包括指令的存储器810，接口830，上述指令可由煤矿采掘设备行走速度估算装置的处理器820执行以完成上述方法。在一些实施例中，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本申请实施例的发电设备异常检测。
本申请还提出一种计算机程序产品，所述计算机程序产品中包括计算机程序代码，当所述计算机程序代码在计算机上运行时，以执行如本申请实施例的方法。
本申请还提出一种计算机程序，所述计算机程序包括计算机程序代码，当所述计算机 程序代码在计算机上运行时，以使得计算机执行如本申请实施例的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或 固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制。

Claims (12)

  1. 一种多模态深度学习的发电设备异常一体化识别方法，其特征在于，包括：
    获取多模态历史数据并进行数据预处理，将预处理后的多模态历史数据作为训练集；
    构建发电设备异常检测网络模型，并通过所述训练集对构建的所述发电设备异常检测网络模型进行训练；其中，所述发电设备异常检测网络模型包括依序连接的特征提取模块、空间映射模块、特征融合模块和结果预测模块；
    将实时的多模态数据预处理后输入训练完成的所述发电设备异常检测网络模型中，输出结果作为对发电设备是否异常的检测结果。
  2. 根据权利要求1所述的多模态深度学习的发电设备异常一体化识别方法，其特征在于，获取多模态历史数据并进行数据预处理的步骤中，包括步骤：
    多模态历史数据采集：采集发电设备周围安装的高清摄像头、拾音器、传感器得到的自动上传多模态历史数据，以及通过手机拍照得到的人工上传多模态历史数据；
    数据清洗：对采集的多模态历史数据进行数据清洗；其中，清洗方式至少包括：数据剔除和数据补全；
    数据分离：针对采集的多模态历史数据中的双模态或多模态混合数据，进行数据分离，数据分离后，将多模态历史数据划分为语音数据、文本数据、图像数据和视频数据，并标记检测结果。
  3. 根据权利要求1或2所述的多模态深度学习的发电设备异常一体化识别方法，其特征在于，所述发电设备异常检测网络模型包括特征提取模块、空间映射模块、特征融合模块和结果预测模块；其中，
    所述特征提取模块为特征提取神经网络，用于对数据分离后得到的语音数据、文本数据、图像数据和视频数据进行单一模态的特征提取；
    所述空间映射模块用于将单一模态的特征映射到同一语义空间，得到单一模态数据特征内部的语义结构信息；
    所述特征融合模块用于对单一模态的特征进行多模态历史数据的特征融合拼接，得到多模态特征融合信息；
    所述结果预测模块，用于根据所述多模态特征融合信息计算预测结果，完成对发电设备的异常检测。
  4. 根据权利要求3所述的多模态深度学习的发电设备异常一体化识别方法，其特征在于，所述特征提取神经网络为BiLSTM网络、卷积神经网络或深度神经网络；其中，应用BiLSTM网络，在提取特征的同时，获得单一模态数据的上下文信息，即相邻单模态数据 之间的语义信息。
  5. 根据权利要求3所述的多模态深度学习的发电设备异常一体化识别方法，其特征在于，所述特征融合模块包括双向注意力机制单元、自注意力机制单元和第一全连接层单元；经所述空间映射模块映射处理后的语音数据、文本数据、图像数据和视频数据，依序输入所述双向注意力机制单元、自注意力机制单元和第一全连接层单元，输出的数据传输至融合模块进行融合。
  6. 根据权利要求1至5中任一项所述的多模态深度学习的发电设备异常一体化识别方法，其特征在于，通过所述训练集对构建的所述发电设备异常检测网络模型进行训练的步骤包括：
    将预处理后的训练集数据输入特征提取模块的特征提取神经网络，分别通过一BiLSTM网络对训练集数据中的语音数据、文本数据、图像数据和视频数据进行单一模态的特征提取；
    对训练集数据中的语音数据、文本数据、图像数据和视频数据进行单一模态特征提取后，对语音数据、文本数据、图像数据和视频数据的单一模态特征进行语义空间映射；
    将语义空间映射后输出的语音数据、文本数据、图像数据和视频数据的单一模态特征分别输入设置的多模态特征融合机构中；所述多模态特征融合机构包括第一-第四特征融合模块及第一融合模块和第二融合模块；分别将语义空间映射后输出的语音数据、文本数据、图像数据和视频数据的单一模态特征输入第一-第四特征融合模块中，第一、第二特征融合模块的输出结果输入所述第一融合模块，同时将第一融合模块、第三特征融合模块和第四特征融合模块的输出结果输入第二融合模块；
    第二融合模块的输出结果输出至结果预测模块，利用Softmax函数计算预测结果，与标记的检测结果进行对比，通过不断调整网络函数和参数，直至预测结果与标记的检测结果一致时，完成网络训练。
  7. 根据权利要求1至6中任一项所述的多模态深度学习的发电设备异常一体化识别方法，其特征在于，若得到发电设备异常检测结果，则将异常检测结果进行展示；展示方式至少包括：文本显示、语音播报、外呼终端、邮件、短信提醒、智能音箱。
  8. 一种多模态深度学习的发电设备异常一体化识别装置，其特征在于，包括：
    数据获取模块，用于获取多模态历史数据并进行数据预处理，将预处理后的多模态历史数据作为训练集；
    网络构建模块，用于构建发电设备异常检测网络模型，并通过所述训练集对构建的所述发电设备异常检测网络模型进行训练；其中，所述发电设备异常检测网络模型包括依序连接的特征提取模块、空间映射模块、特征融合模块和结果预测模块；
    异常检测模块，用于将实时的多模态数据预处理后输入训练完成的所述发电设备异常检测网络模型中，输出结果作为对发电设备是否异常的检测结果。
  9. 一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一所述的方法。
  10. 一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。
  11. 一种计算机程序产品，其特征在于，所述计算机程序产品中包括计算机程序代码，当所述计算机程序代码在计算机上运行时，以执行如权利要求1-7中任一项所述的方法。
  12. 一种计算机程序，其特征在于，所述计算机程序包括计算机程序代码，当所述计算机程序代码在计算机上运行时，以使得计算机执行如权利要求1-7中任一项所述的方法。
PCT/CN2022/071290 2021-11-19 2022-01-11 多模态深度学习的发电设备异常一体化识别方法及设备 WO2023087525A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111400102.9A CN114463594A (zh) 2021-11-19 2021-11-19 多模态深度学习的发电设备异常一体化识别方法及设备
CN202111400102.9 2021-11-19

Publications (1)

Publication Number Publication Date
WO2023087525A1 true WO2023087525A1 (zh) 2023-05-25

Family

ID=81405213

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/071290 WO2023087525A1 (zh) 2021-11-19 2022-01-11 多模态深度学习的发电设备异常一体化识别方法及设备

Country Status (2)

Country Link
CN (1) CN114463594A (zh)
WO (1) WO2023087525A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342894A (zh) * 2023-05-29 2023-06-27 南昌工程学院 基于改进YOLOv5的GIS红外特征识别系统及方法
CN116500335A (zh) * 2023-06-30 2023-07-28 国网山东省电力公司邹城市供电公司 基于一维特征和二维特征的智能电网窃电检测方法及系统
CN116668192A (zh) * 2023-07-26 2023-08-29 国网山东省电力公司信息通信公司 一种网络用户行为异常检测方法及系统
CN116958767A (zh) * 2023-07-14 2023-10-27 江苏大学 基于多模态技术的智能合约安全分析方法及系统
CN116978011A (zh) * 2023-08-23 2023-10-31 广州新华学院 一种用于智能目标识别的图像语义通信方法及系统
CN117152156A (zh) * 2023-10-31 2023-12-01 通号通信信息集团有限公司 一种基于多模态数据融合的铁路异常检测方法及系统
CN117312828A (zh) * 2023-09-28 2023-12-29 光谷技术有限公司 公共设施监控方法和系统
CN117475593A (zh) * 2023-12-26 2024-01-30 江苏濠汉信息技术有限公司 用电终端负载异常的超前智能预警方法及装置
CN117579393A (zh) * 2024-01-16 2024-02-20 国网浙江省电力有限公司 一种信息终端威胁监测方法、装置、设备及存储介质
CN117572295A (zh) * 2024-01-12 2024-02-20 山东和兑智能科技有限公司 一种高压套管多模态在线监测及预警方法
CN117577270A (zh) * 2024-01-15 2024-02-20 吉林大学 患者的智能化营养管理方法及系统
CN117748500A (zh) * 2024-02-19 2024-03-22 北京智芯微电子科技有限公司 光伏功率预测方法、装置、设备及介质
CN117744012A (zh) * 2024-02-19 2024-03-22 北京智芯微电子科技有限公司 基于融合终端的防止异常用电的方法、装置及电子设备
CN118035943A (zh) * 2024-04-12 2024-05-14 国网山东省电力公司淄博供电公司 一种变压器状态监测方法、系统、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631829B (zh) * 2022-09-30 2023-05-30 广东亿佛手健康科技有限公司 一种基于穴位按摩设备的网络连接多模态检测方法及系统
CN115688047A (zh) * 2022-10-20 2023-02-03 国网江苏省电力有限公司南京供电分公司 基于深度学习的城市能源多源数据融合方法及存储介质
CN116416247A (zh) * 2023-06-08 2023-07-11 常州微亿智造科技有限公司 基于预训练的缺陷检测方法及装置
CN116881850B (zh) * 2023-09-04 2023-12-08 山东航天九通车联网有限公司 基于多模态数据融合的安全预警系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200089755A1 (en) * 2017-05-19 2020-03-19 Google Llc Multi-task multi-modal machine learning system
CN113057633A (zh) * 2021-03-26 2021-07-02 华南理工大学 多模态情绪压力识别方法、装置、计算机设备及存储介质
CN113255733A (zh) * 2021-04-29 2021-08-13 西安交通大学 多模态数据缺失下的无监督异常检测方法
CN113255777A (zh) * 2021-05-28 2021-08-13 郑州轻工业大学 基于多模态敏感特征选取融合的设备故障预警方法及系统
CN113590396A (zh) * 2021-07-23 2021-11-02 南方电网深圳数字电网研究院有限公司 一次设备的缺陷诊断方法、系统、电子设备及存储介质
CN113591902A (zh) * 2021-06-11 2021-11-02 中国科学院自动化研究所 基于多模态预训练模型的跨模态理解与生成方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200089755A1 (en) * 2017-05-19 2020-03-19 Google Llc Multi-task multi-modal machine learning system
CN113057633A (zh) * 2021-03-26 2021-07-02 华南理工大学 多模态情绪压力识别方法、装置、计算机设备及存储介质
CN113255733A (zh) * 2021-04-29 2021-08-13 西安交通大学 多模态数据缺失下的无监督异常检测方法
CN113255777A (zh) * 2021-05-28 2021-08-13 郑州轻工业大学 基于多模态敏感特征选取融合的设备故障预警方法及系统
CN113591902A (zh) * 2021-06-11 2021-11-02 中国科学院自动化研究所 基于多模态预训练模型的跨模态理解与生成方法和装置
CN113590396A (zh) * 2021-07-23 2021-11-02 南方电网深圳数字电网研究院有限公司 一次设备的缺陷诊断方法、系统、电子设备及存储介质

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342894B (zh) * 2023-05-29 2023-08-08 南昌工程学院 基于改进YOLOv5的GIS红外特征识别系统及方法
CN116342894A (zh) * 2023-05-29 2023-06-27 南昌工程学院 基于改进YOLOv5的GIS红外特征识别系统及方法
CN116500335B (zh) * 2023-06-30 2023-10-13 国网山东省电力公司邹城市供电公司 基于一维特征和二维特征的智能电网窃电检测方法及系统
CN116500335A (zh) * 2023-06-30 2023-07-28 国网山东省电力公司邹城市供电公司 基于一维特征和二维特征的智能电网窃电检测方法及系统
CN116958767B (zh) * 2023-07-14 2024-04-30 江苏大学 基于多模态技术的智能合约安全分析方法及系统
CN116958767A (zh) * 2023-07-14 2023-10-27 江苏大学 基于多模态技术的智能合约安全分析方法及系统
CN116668192A (zh) * 2023-07-26 2023-08-29 国网山东省电力公司信息通信公司 一种网络用户行为异常检测方法及系统
CN116668192B (zh) * 2023-07-26 2023-11-10 国网山东省电力公司信息通信公司 一种网络用户行为异常检测方法及系统
CN116978011B (zh) * 2023-08-23 2024-03-15 广州新华学院 一种用于智能目标识别的图像语义通信方法及系统
CN116978011A (zh) * 2023-08-23 2023-10-31 广州新华学院 一种用于智能目标识别的图像语义通信方法及系统
CN117312828A (zh) * 2023-09-28 2023-12-29 光谷技术有限公司 公共设施监控方法和系统
CN117152156B (zh) * 2023-10-31 2024-02-13 通号通信信息集团有限公司 一种基于多模态数据融合的铁路异常检测方法及系统
CN117152156A (zh) * 2023-10-31 2023-12-01 通号通信信息集团有限公司 一种基于多模态数据融合的铁路异常检测方法及系统
CN117475593A (zh) * 2023-12-26 2024-01-30 江苏濠汉信息技术有限公司 用电终端负载异常的超前智能预警方法及装置
CN117475593B (zh) * 2023-12-26 2024-04-12 江苏濠汉信息技术有限公司 用电终端负载异常的超前智能预警方法及装置
CN117572295A (zh) * 2024-01-12 2024-02-20 山东和兑智能科技有限公司 一种高压套管多模态在线监测及预警方法
CN117572295B (zh) * 2024-01-12 2024-04-12 山东和兑智能科技有限公司 一种高压套管多模态在线监测及预警方法
CN117577270A (zh) * 2024-01-15 2024-02-20 吉林大学 患者的智能化营养管理方法及系统
CN117577270B (zh) * 2024-01-15 2024-04-26 吉林大学 患者的智能化营养管理方法及系统
CN117579393A (zh) * 2024-01-16 2024-02-20 国网浙江省电力有限公司 一种信息终端威胁监测方法、装置、设备及存储介质
CN117579393B (zh) * 2024-01-16 2024-03-22 国网浙江省电力有限公司 一种信息终端威胁监测方法、装置、设备及存储介质
CN117744012A (zh) * 2024-02-19 2024-03-22 北京智芯微电子科技有限公司 基于融合终端的防止异常用电的方法、装置及电子设备
CN117748500A (zh) * 2024-02-19 2024-03-22 北京智芯微电子科技有限公司 光伏功率预测方法、装置、设备及介质
CN117748500B (zh) * 2024-02-19 2024-04-30 北京智芯微电子科技有限公司 光伏功率预测方法、装置、设备及介质
CN117744012B (zh) * 2024-02-19 2024-05-17 北京智芯微电子科技有限公司 基于融合终端的防止异常用电的方法、装置及电子设备
CN118035943A (zh) * 2024-04-12 2024-05-14 国网山东省电力公司淄博供电公司 一种变压器状态监测方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN114463594A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
WO2023087525A1 (zh) 多模态深度学习的发电设备异常一体化识别方法及设备
WO2023093010A1 (zh) 基于深度学习融合模型的风电功率预测方法及设备
WO2023093774A1 (zh) 基于深度学习的风电集群功率预测方法
US10685434B2 (en) Method for assessing aesthetic quality of natural image based on multi-task deep learning
CN113158875B (zh) 基于多模态交互融合网络的图文情感分析方法及系统
CN110264440B (zh) 基于深度学习的大规模列车移位故障检测方法及系统
CN111861978A (zh) 基于Faster R-CNN的桥梁裂缝实例分割方法
CN103886189A (zh) 用于无人机巡检的巡检结果数据处理系统及方法
US20230107092A1 (en) System and method for monitoring wind turbine rotor blades using infrared imaging and machine learning
CN107273295B (zh) 一种基于文本混乱度的软件问题报告分类方法
CN111510688A (zh) 一种带无人巡检功能的变电站智能辅控方法
CN113205039B (zh) 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法
CN112579789A (zh) 一种设备故障诊断的方法和装置及设备
CN114419556A (zh) 一种城市排水管网排口异常排水图像识别方法及系统
CN116910633A (zh) 一种基于多模态知识混合推理的电网故障预测方法
CN114358371A (zh) 一种基于深度学习的光伏短期功率预测方法及设备
CN117576632B (zh) 基于多模态ai大模型的电网监控火灾预警系统及方法
CN107807844A (zh) 交通测试场景的生成方法、装置及计算机可读存储介质
CN109598712A (zh) 塑料泡沫餐盒的质量检测方法、装置、服务器及存储介质
CN116633639B (zh) 基于无监督与有监督融合强化学习的网络入侵检测方法
CN112906593A (zh) 一种基于Faster RCNN的水闸图像识别方法
CN113139452A (zh) 基于目标检测的使用手机行为的检测方法
CN117236676A (zh) 一种基于多模态事件抽取的rpa流程挖掘方法和装置
CN113420646B (zh) 一种基于深度学习的锁站连接锁检测系统及方法
CN111832651B (zh) 视频多模态情感推理方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22894074

Country of ref document: EP

Kind code of ref document: A1