WO2025200749A1 - 一种面向离散制造的多模态工业数据融合方法及系统 - Google Patents

一种面向离散制造的多模态工业数据融合方法及系统

Info

Publication number
WO2025200749A1
WO2025200749A1 PCT/CN2025/073810 CN2025073810W WO2025200749A1 WO 2025200749 A1 WO2025200749 A1 WO 2025200749A1 CN 2025073810 W CN2025073810 W CN 2025073810W WO 2025200749 A1 WO2025200749 A1 WO 2025200749A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
data fusion
agent
memory system
discrete manufacturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2025/073810
Other languages
English (en)
French (fr)
Inventor
杨海根
杨状
戴尔晗
葛艳
刘佶鑫
曾凡玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Publication of WO2025200749A1 publication Critical patent/WO2025200749A1/zh
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a data fusion method and system, in particular to a multi-modal industrial data fusion method and system for discrete manufacturing.
  • the feature data is input into a differentiable computer network to obtain a data fusion result, and the differentiable computer is further used to complete a prediction target based on the data fusion result;
  • the discrete manufacturing industry data includes video, text, image and sound data
  • the differentiable computer network includes a data fusion module and a memory system.
  • the data fusion module fuses feature data in the intelligent body, and the memory system is used to store and read and write the fused data of the intelligent body; the data in the memory system is input into the evaluation system to calculate the reward value, and the data fusion of the intelligent body is guided and the memory system is updated according to the reward value.
  • the real-time collection of discrete manufacturing industrial data and feature extraction to obtain feature data includes: extracting semantic features of text data, extracting image features of image data, extracting frame features of video data, and extracting spectral features of sound data.
  • the semantic features of the text data are extracted, the text is converted into a set of words, a weight is assigned to each word, and the weight is set according to the frequency of the word in the text and the distribution in the corpus; the words are mapped to a high-dimensional space to obtain the semantic features of the text data;
  • Extract image features from image data use the Canny algorithm to extract image edges, and use convolutional neural networks to extract image features;
  • Extract frame features of video data extract key frames from the video, and use convolutional neural networks to extract frame features;
  • Extract the spectral features of sound data extract the spectrum of sound data, and use convolutional neural network to extract spectral features.
  • the data fusion module fuses the feature data in the agent including:
  • the controller receives the feature data input vector x t and obtains R read vectors in the memory matrix M t-1 of the memory system. After being processed by the agent network, the output vector y t is obtained;
  • the agent passes information back by creating a loop in the calculation, thereby obtaining vt and ⁇ t ; the output vector of the agent is: w t is the read weight.
  • a feature extraction unit is used to collect discrete manufacturing industry data in real time and perform feature extraction to obtain feature data;
  • the discrete manufacturing industry data includes video, text, image and sound data;
  • the evaluation unit is used to calculate the reward value based on the data in the memory system, guide the data fusion of the intelligent agent and update the memory system according to the reward value.
  • the electronic device described in the present invention includes a memory, a processor, and a computer program stored in the memory and capable of running on the processor. It is characterized in that when the computer program is loaded into the processor, it implements the multimodal industrial data fusion method for discrete manufacturing.
  • the computer-readable storage medium of the present invention stores a computer program, and is characterized in that when the computer program is executed by a processor, it implements the multimodal industrial data fusion method for discrete manufacturing.
  • the advantages of the present invention are: the present invention fuses complex multimodal data collected in real time, and the memory-enhanced neural network of the present invention separates the grid training parameters from the memory system capacity, thereby increasing the capacity of the memory system without causing an increase in the training parameters, reducing a large amount of training time, and saving more time for decision-making in the discrete manufacturing industry.
  • FIG1 is a flow chart of the method of the present invention.
  • FIG2 is a structural diagram of a DNC model of the present invention.
  • FIG3 is a schematic diagram of the intelligent agent calculation process of the present invention.
  • FIG4 is a flow chart of the read and write operations of the present invention.
  • Common memory systems include long short-term memory (LSTM) networks and gated recurrent units (GRU).
  • LSTM long short-term memory
  • GRU gated recurrent units
  • This invention separates the memory system from the parameter training process and proposes the use of a memory-enhanced neural network for multimodal data fusion.
  • the agent reads or writes the required information from the memory system to execute decisions.
  • the multimodal data fusion system provides feedback in the form of rewards for the agent's actions. This process is repeated repeatedly to ultimately maximize the reward.
  • a differentiable computer is a neural network architecture with external memory that combines the learning capabilities of neural networks with the storage capacity of external memory.
  • Data fusion using DNC can be performed through the following steps: Collect the remaining featurized datasets from the multimodal data module to be fused, ensuring that the features of the dataset are available and clean. Data preprocessing is a key step in ensuring data quality.
  • determine the input and output of the model The input will be the data to be fused, and the output will be the result of the data integration.
  • the DNC model is trained using the prepared dataset. During training, the model learns how to effectively fuse data from different sources. Evaluate the model's performance using a validation dataset. This helps verify that the model can correctly fuse the data and has good generalization capabilities. Debug and improve the model based on the validation results.
  • the multimodal industrial data fusion method for discrete manufacturing specifically includes the following steps.
  • S1 transmits the discrete manufacturing industrial data collected in real time from discrete manufacturing workshops such as machining workshops to the multimodal data module for characterization.
  • the DNC includes a discrete manufacturing industry data fusion module and a memory system, which respectively perform discrete manufacturing industry data fusion and memory reading and writing, and output the data fusion results.
  • S2-1 input the data of the memory system into the evaluation system, evaluate it according to traditional evaluation indicators, and feed the data of the memory system back to the multimodal data module;
  • the industrial data fusion module of the discrete machinery manufacturing industrial workshop is fed back to guide the data fusion, so as to continuously update the memory system.
  • step S1 various types of industrial data collected in real time from discrete manufacturing machinery workshops (including, for example, text data recorded in real-time workshops, video data under monitoring, audio data recording machine status, and image data generated during workshop production) are characterized.
  • the characterization steps are as follows:
  • step S2 while traditional artificial neural networks (ANNs) integrate computation and storage when processing data, the DNC can be viewed as a combination of the ANN and an external memory matrix, consisting of a controller and a memory system.
  • the DNC can selectively read and write to the memory and iteratively modify stored data.
  • the DNC can acquire reasoning information and store important data during the reasoning process, thereby improving reasoning efficiency by simulating the human brain's reasoning process.
  • the DNC of the present invention includes a data fusion module and a memory system.
  • the data fusion module obtains the fusion result by continuously updating the intelligent agent.
  • the controller receives the input vector x t and obtains R read vectors in the storage matrix M t-1 of the memory system.
  • the output vector y t is obtained.
  • Figure 3 shows a schematic diagram of the agent's calculation process.
  • the present invention uses LSTM network as the controller network.
  • the output value of the agent layer 1 is
  • the agent network calculates a network output vector ⁇ t and an interaction vector ⁇ t , where the interaction vector is used to parameterize the interaction between the agent and the memory system at moment t, and w y and w ⁇ are tap coefficients:
  • the agent passes information back by creating a loop in the computational graph, and then obtains v t , etc.; finally, the output vector of the agent is w t is the read weight.
  • This designed agent regulates its output decisions by strengthening its reliance on the memory system's storage matrix.
  • write weight Combined with the erase vector et and write vector vt the memory system storage matrix is modified:
  • ° represents the Hadamard product, which is the product of corresponding elements of two matrices of the same order; E is an N ⁇ M matrix of all ones.
  • the addressing mechanism of DNC is a combination of multiple methods: when writing data in the memory system, content-based addressing and dynamic addressing are used; when reading data in the memory system, content-based addressing and temporal memory links are used to obtain the location.
  • a prediction target must first be determined. This can be part of the task the model is trying to learn. This target is often related to the primary objective of the task but may be more easily derived from the data.
  • the DNC model is trained using existing data to predict the target as accurately as possible. This can be accomplished through supervised learning, where labels from existing data or other available information are used to guide the model's learning.
  • ⁇ m is the linear combination coefficient
  • ⁇ m >0.
  • the first-order derivative condition of the above formula is:
  • the final game combination weighting is a method for combining multiple evaluation criteria or factors in decision analysis. It is used in multi-criteria decision-making problems, especially when there are conflicting objectives or criteria. This method draws on the ideas of game theory to find the best compromise by assigning weights to different criteria or factors.
  • the game combination weighting is as follows:
  • the weighted total scores of each solution are compared, and the one with the highest score is selected as the optimal choice.
  • the required evaluation feedback is then fed into the fusion module, which extracts key features from the data collected by the evaluation system. These features should represent the core indicators of the evaluation system.
  • the extracted features are then integrated with existing manufacturing data. Through continuous evaluation, data collection, analysis, and feedback, a closed-loop optimization system is formed to continuously improve the manufacturing process.
  • the production process on the production line is monitored by surveillance cameras, sensors, and sound collection equipment.
  • the data generated by these devices includes different types of data such as images, videos, sounds, and text.
  • Surveillance cameras Real-time recording of the parts assembly process on the production line.
  • Sensors Record physical parameters such as temperature, humidity, pressure, vibration, etc. on the production line.
  • Sound collection equipment records abnormal sounds during the production process, machine operation sounds, etc.
  • Feature extraction is performed on the integrated data to extract features related to production efficiency, product quality, and safety.
  • image and video data computer vision technology can be used to extract information such as objects in the image and the status of the production line.
  • sound data information such as sound spectrum characteristics and frequency distribution can be extracted.
  • natural language processing can be performed to extract keywords, sentiment analysis, and other information.
  • DNC is a neural network architecture with external memory that combines the learning ability of neural networks with the storage capacity of external memory.
  • Data fusion using DNC can be performed through the following steps:
  • Data preprocessing is a key step in ensuring data quality.
  • the model can predict abnormal conditions on the production line, optimize production plans, or perform real-time monitoring and early warning based on the status of the production line.
  • Model evaluation and optimization Use historical data to evaluate and tune the established model to ensure that the model has good generalization capabilities. Techniques such as cross-validation can be used to evaluate the performance of the model and adjust and optimize it as needed.
  • Real-time monitoring and feedback Based on the monitoring results, timely adjustments are made to production plans or equipment parameters to optimize and control the production process.
  • the established model is deployed in a real-time production environment, and a real-time monitoring system is established to monitor the status of the production line.
  • the multimodal industrial data fusion system for discrete manufacturing comprises:
  • a feature extraction unit is used to collect discrete manufacturing industry data in real time and perform feature extraction to obtain feature data;
  • the discrete manufacturing industry data includes video, text, image and sound data;
  • the evaluation unit is used to calculate the reward value based on the data in the memory system, guide the data fusion of the intelligent agent and update the memory system according to the reward value.
  • the electronic device described in the present invention includes a memory, a processor, and a computer program stored in the memory and capable of running on the processor. It is characterized in that when the computer program is loaded into the processor, it implements the multimodal industrial data fusion method for discrete manufacturing.
  • the computer-readable storage medium of the present invention stores a computer program, and is characterized in that when the computer program is executed by a processor, it implements the multimodal industrial data fusion method for discrete manufacturing.
  • the computer-readable storage media may include RAM, ROM, EEPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage devices, flash memory, or any other medium that can be used to store desired program code in the form of instructions or data structures and that can be accessed by a computer.
  • the processor is configured to execute the computer program stored in the memory to implement the various steps in the method involved in the above embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向离散制造的多模态工业数据融合方法及系统，该方法实时采集离散制造工业多模态数据并进行特征提取得到特征数据，将特征数据输入可微分计算机网络，得到数据融合结果，可微分计算机还用于根据数据融合结果完成预测目标；可微分计算机网络包括数据融合模块和记忆系统，数据融合模块将特征数据在智能体中融合，记忆系统用于存储并读写智能体重融合后的数据；将记忆系统中的数据输入到评价系统中计算奖励值，根据奖励值指导智能体的数据融合并更新记忆系统。本发明在增加记忆系统容量的同时不会导致训练参数增加，将复杂的多模态的工业数据进行融合，便于离散制造工业进行决策。

Description

一种面向离散制造的多模态工业数据融合方法及系统 技术领域
本发明涉及一种数据融合方法及系统，尤其是面向离散制造的多模态工业数据融合方法及系统。
背景技术
离散制造业中广泛使用的传感器技术已经产生了大量数据。这些数据源涵盖了生产环境中的各个方面，包括设备运行状态、温度、压力、湿度等信息。这种数据多样性和大规模性为数据融合提供了丰富的信息来源。随着物联网技术的快速发展，设备和系统之间的关联性大幅提升。这意味着来自各个设备和系统的数据可以更轻松地收集、传输和整合。这种关联性改善了生产过程的监控、优化和控制，从而提高了生产效率和质量水平。
工厂数字化转型正在成为离散制造业的主要趋势。这意味着生产环境中涉及的数据量不断增加，从传感器获取的数据到生产流程的实时监控数据，以及与供应链相关的信息，数据无处不在，数据融合成为将这些多来源数据整合、分析和应用的关键方式。
多模态数据融合技术这种技术涉及将来自不同传感器或数据源的多模态数据整合在一起。这些数据可能包括图像、视频、声音、文本等不同类型的数据，通过融合这些数据源来提供更全面的信息。由于各个数据源可能存在质量差异，包括数据不一致、缺失值、错误或噪音等，数据融合技术可能受到这些数据质量问题的影响，导致融合结果不准确或不可靠。同时，现有的数据融合技术无法满足实时处理和决策的需求。特别是在需要快速响应的工业应用中，处理和融合大量数据可能导致延迟，影响实时决策的有效性。此外，传统的数据融合技术无法自适应不断变化的工业环境，对于数据变化频繁、复杂性高的情况显得不够灵活。
发明内容
发明目的：本发明的目的是提供一种面向离散制造的多模态工业数据融合方法及系统，通过对环境和大量数据的交互学习，动态地处理复杂环境问题，通过带有记忆自适应离散制造环境的奖励形式，最大限度优化数据结构与维度，获得数据融合结果，进而指导离散制造决策者。
技术方案：本发明所述的面向离散制造的多模态工业数据融合方法，包括如下步骤：
实时采集离散制造工业数据并进行特征提取得到特征数据，将所述特征数据输入可微分计算机网络，得到数据融合结果，所述可微分计算机还用于根据数据融合结果完成预测目标；
所述离散制造工业数据包括视频、文本、图像和声音数据；
所述可微分计算机网络包括数据融合模块和记忆系统，所述数据融合模块将特征数据在智能体中融合，记忆系统用于存储并读写智能体重融合后的数据；将所述记忆系统中的数据输入到评价系统中计算奖励值，根据所述奖励值指导智能体的数据融合并更新记忆系统。
进一步地，所述实时采集离散制造工业数据并进行特征提取得到特征数据包括：提取文本数据的语义特征、提取图像数据的图像特征、提取视频数据的帧特征以及提取声音数据的频谱特征。
进一步地，提取文本数据的语义特征，将文本转换为单词的集合，为每个单词赋予权重，所述权重根据该单词在文本中的频率以及在语料库中的分布设置；将所述单词映射到高维空间得到文本数据的语义特征；
提取图像数据的图像特征，利用Canny算法提取图像边缘，使用卷积神经网络提取图像特征；
提取视频数据的帧特征，从视频中提取关键帧，使用卷积神经网络提取帧特征；
提取声音数据的频谱特征，提取声音数据的频谱，使用卷积神经网络提取频谱特征。
进一步地，所述数据融合模块将特征数据在智能体中融合包括：
在t时刻，控制器接收特征数据输入向量xt，在记忆系统的存储矩阵Mt-1中获取R个读向量经过智能体网络处理，得到输出向量yt；
在每一时刻，智能体网络都计算得到一个网络输出向量νt和一个交互向量ξt，其中交互向量用于参数化t时刻智能体和记忆系统的交互， 为t时刻智能体第L层的输出，wy和wξ为抽头系数；
智能体通过在计算中创建循环将信息传递回来，进而得到vt和ξt；智能体的输出向量为：wt为读取权重。
进一步地，所述控制器为长短时记忆网络。
进一步地，在评价系统中，计算模型对预测目标的预测与实际目标之间的误差，将预测误差作为奖励值指导可微分计算机网络的训练。
进一步地，在评价系统中，计算所述奖励值的博弈组合权重，根据所述博弈组合权重进行加权求和，得到加权奖励值，根据所述加权奖励值调整可微分计算机网络的参数。
本发明所述的面向离散制造的多模态工业数据融合系统，包括：
特征提取单元，用于实时采集离散制造工业数据并进行特征提取得到特征数据；所述离散制造工业数据包括视频、文本、图像和声音数据；
数据融合单元，用于将所述特征数据输入可微分计算机网络，得到数据融合结果，所述可微分计算机还用于根据数据融合结果完成预测目标；所述可微分计算机网络包括数据融合模块和记忆系统，所述数据融合模块将特征数据在智能体中融合，记忆系统用于存储并读写智能体重融合后的数据；
评价单元，用于根据记忆系统中的数据计算奖励值，根据所述奖励值指导智能体的数据融合并更新记忆系统。
本发明所述的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现所述的面向离散制造的多模态工业数据融合方法。
本发明所述的计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的面向离散制造的多模态工业数据融合方法。
有益效果：与现有技术相比，本发明的优点在于：本发明将实时采集的复杂多模态数据进行融合，本发明的记忆增强型神经网络将网格训练参数与记忆系统容量相分离，因此增大记忆系统的容量，不会导致训练参数的增加，减少了大量的训练时间，方便离散制造工业节省更多的时间来决策。
附图说明
图1为本发明的方法流程图。
图2为本发明的DNC模型结构图。
图3为本发明的智能体计算流程示意图。
图4为本发明的读写操作流程示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
常见地记忆系统有长短时记忆网络(LSTM)、门控循环单元(GRU)等，为了增强智能体应对复杂环境的能力，现有技术往往通过增加LSTM、GRU的数量来提高记忆的容量。然而，网络的训练参数量会随着记忆系统容量的增大而急剧上升，使得训练变得困难。
本发明的将记忆系统与参数训练过程相分离，提出了使用记忆增强型神经网络进行多模态数据融合，智能体从记忆系统中读取或写入有需要的信息，执行决策。同时，多模态数据融合系统以奖励的形式对智能体所执行的动作进行回馈，如此多次执行这一过程，最终达到奖励最大化。
可微分计算机(DNC)是一种具有外部内存的神经网络架构，它结合了神经网络的学习能力和外部内存的存储能力。使用DNC进行数据融合可以通过以下步骤进行：收集需要融合的在多模态数据模块残剩的特征化后的数据集，确保数据集的特征是可用的并且是清洁的，数据预处理是确保数据质量的关键步骤；使用DNC实现，确定模型的输入和输出。输入将是要融合的数据，输出是对数据进行整合后的结果。使用准备好的数据集对DNC模型进行训练。在训练期间，模型将学习如何有效地融合不同来源的数据。使用验证数据集评估模型的性能。这有助于检查模型是否可以正确地融合数据，并且是否具有良好的泛化能力。根据验证结果对模型进行调试和改进。
如图1所示，本发明所述面向离散制造的多模态工业数据融合方法，具体包括以下步骤。
S1，将实时采集离散制造车间如机械加工车间的离散制造工业数据传输至多模态数据模块进行特征化。
S2，将多模态数据模块中的特征化后的数据传输至DNC中，DNC包括离散制造工业数据融合模块和记忆系统，分别进行离散制造工业数据融合及记忆的读写，输出数据融合结果。
S2-1，将记忆系统的数据输入到评价系统中，依照传统的评价指标进行评估，同时将记忆系统的数据反馈到多模态数据模块；
S2-2，根据评价反馈的奖励反馈到离散机械制造工业车间的工业数据融合模块来指导数据融合，以此来不断更新记忆系统。
步骤S1中，实时采集的离散制造机械车间的离散制造业各类型的工业数据(包括诸如机械加工车间：实时车间记录的文本数据，监控下的视频数据，记录机器状态的音频数据，车间生产时产生的图片数据)，将这些类型的数据进行特征化，特征化的步骤如下：
①将文本转换为单词的集合，而不考虑单词的顺序，给每个单词一个权重，该权重考虑了单词在文档中的频率以及在语料库中的分布。将单词映射到高维空间中的向量，保留单词的语义和上下文信息。
②描述图像中颜色的分布，使用Canny算法提取图像边缘，使用卷积神经网络(CNN)自动提取图像特征。
③从视频中提取关键帧，描述不同帧之间像素的运动。结合时间和空间信息，使用CNN深度学习模型提取特征。
④描述音频信号的频谱特征，广泛用于语音识别。使用CNN提取音频特征。
步骤S2中，由于传统的人工神经网络(ANN)处理数据时，计算和存储是一体的，而DNC可以视为ANN与外部存储矩阵的结合，由控制器与记忆系统组成，并且DNC可以有选择地对存储进读写，并迭代地修改存储数据。利用记忆系统的存储矩阵，DNC可以获取推理信息，存储推理过程中地重要数据，通过模拟人脑的推理过程，提高推理效率。
DNC的核心是控制器，负责处理任务相关的计算，再经过记忆读取，控制器网络从外部内存中读取信息。DNC的外部内存是可读写的，类似于计算机内存。这一步骤使DNC能够访问先前存储的信息，从而融合历史信息。然后神经网络生成一个输出，包括对任务的预测或决策。这一输出会受到来自控制器网络的指导，以便充分利用记忆中的信息。接着根据任务的输出，控制器网络可能会将一些信息写入外部内存。这个过程允许DNC将任务的关键信息存储下来，以便在将来的任务中使用。最后通过DNC的输出和实际结果，执行反向传播以调整神经网络的参数。这确保了DNC学到如何更有效地利用外部内存中的信息。通过这个循环，DNC可以不断地从输入数据中提取关键信息，将其整合到记忆系统中，然后根据任务要求进行输出。这种结合记忆和神经网络的方法使得DNC在处理具有长期依赖关系的任务时表现得比传统的神经网络更好。
本发明的DNC包括数据融合模块与记忆系统，如图2所示，数据融合模块通过不断更新智能体得到融合结果，在t时刻，控制器接收输入向量xt，在记忆系统的存储矩阵Mt-1中获取R个读向量经过智能体网络处理，得到输出向量yt。如图3所示为智能体的计算过程示意图。
本发明将LSTM网络作为控制器网络。在t时刻，智能体l层输出值为
在每一时刻，智能体网络都计算得到一个网络输出向量νt和一个交互向量ξt，其中交互向量用来参数化t时刻智能体和记忆系统的交互，wy和wξ为抽头系数：
智能体通过在计算图中创建循环将信息传递回来，进而得到vt等；最后，智能体的输出向量为wt为读取权重。
这种设计智能体通过加强对记忆系统存储矩阵的依赖调节其输出决策。
智能体通过读写头对记忆系统中数据进行操作，如图4所示为读写头操作示意图；读取与写入的位置由相应的权重决定，N个位置上允许权重的集合RN中标准单纯形的非负象限：
在读操作中，多个读取权重，被用于计算内容的加权平均，因此定义读向量为：
在写操作中，写入权重结合擦除向量et和写入向量vt，对记忆系统存储矩阵进行修改：
其中：°表示Hadamard乘积，是指两个相同阶数的矩阵对应元素的乘积；E为N×M的全1矩阵。
DNC的寻址机制是多种结合的：在记忆系统中写入数据时，使用了基于内容的寻址和动态寻址；在记忆系统中读取数据时，使用了基于内容的寻址和时序记忆链接来获取位置。
步骤S2-1和S2-2中，首先需要确定一个预测目标，这可以是模型需要学习的任务的一部分。这个目标通常与任务的主要目标相关，但是可能更容易从数据中获得。使用已有的数据来训练DNC模型，以尽可能准确地预测预测目标。这可以通过监督学习的方式来完成，其中使用已有数据的标签或者其他可用信息来指导模型的学习。
在训练过程中，计算模型对预测目标的预测与实际目标之间的误差。这可以通过各种损失函数来实现，如wm离差极小化。将预测误差作为奖励值来指导模型的训练。通常，较低的预测误差被视为较高的奖励，而较高的误差则被视为较低的奖励或惩罚。这个奖励值可以通过一些变换或者归一化来映射到特定的奖励范围内，以确保奖励值的稳定性和可控性。使用获得的奖励值来优化模型参数，以最小化预测误差并提高对预测目标的准确性这通常涉及使用梯度下降或其他优化算法来更新模型参数，并根据奖励值的方向来调整参数。
为了消除因量纲的不同导致最终评价结果的差异影响，在进行数据评价时应先对正负奖励值分别处理：
权重向量的任意线性组合为：
其中，βm为线性组合系数且βm>0。
对线性组合系数进行优化，即使w与各个wm离差极小化，即：
根据矩阵微分的性质，得到上式的一阶导数条件为：
其线性方程组为：
对βm值进行归一化处理：
最终的博弈组合权重是一种在决策分析中结合多个评估标准或因素的方法，它用于多标准决策问题，特别是在存在相互冲突的目标或标准时。这种方法借鉴了博弈论的思想，通过为不同的标准或因素分配权重来找到最佳的折中方案。博弈组合权重如下：
比较各方案的加权总分，选择得分最高的方案作为最佳选择。最终得到需要的评价反馈至融合模块，从评价系统收集到的数据中提取关键特征，这些特征应该能够代表评价系统的核心指标，将提取的特征与现有的制造数据融合，通过不断的评价、数据收集、分析和反馈，形成一个闭环优化系统，持续改进制造过程。
以汽车零部件制造车间为例，通过监控摄像头、传感器和声音采集设备来监控生产线上的生产过程。这些设备产生的数据包括图像、视频、声音和文本等不同类型的数据。
监控摄像头：实时拍摄生产线上的零部件组装过程。
传感器：记录生产线上的温度、湿度、压力、振动等物理参数。
声音采集设备：记录生产过程中的异常声音、机器运转声音等。
文本数据：例如工人的日志记录、设备维护报告等。
该车间的数据融合方法包括以下步骤。
(1)数据整合：将来自不同设备的数据整合到一个统一的数据平台中，确保数据格式统一，并处理缺失值和异常值。
(2)特征提取：对整合后的数据进行特征提取，提取与生产效率、产品质量和安全性相关的特征。对于图像和视频数据，可以使用计算机视觉技术提取图像中的物体、生产线上的状态等信息。对于声音数据，可以提取声音频谱特征、频率分布等信息。对于文本数据，可以进行自然语言处理，提取关键词、情感分析等信息。
(3)建立模型：建立DNC模型，DNC是一种具有外部内存的神经网络架构，它结合了神经网络的学习能力和外部内存的存储能力。使用DNC进行数据融合可以通过以下步骤进行：数据准备：收集需要融合的数据集。这些数据可以来自不同的来源，具有不同的特征或格式。确保数据集的特征是可用的并且是清洁的。数据预处理是确保数据质量的关键步骤。模型可以预测生产线上的异常情况，优化生产计划，或者是根据生产线上的状态进行实时监控和预警。
(4)模型评估与优化：使用历史数据对建立的模型进行评估和调优，确保模型具有良好的泛化能力。可以使用交叉验证等技术来评估模型的性能，并根据需要进行调整和优化。
(5)实时监控和反馈：根据监控结果，及时调整生产计划或设备参数，以实现生产过程的优化和控制。将建立的模型部署到实时生产环境中，并建立实时监控系统来监测生产线上的状态。通过这样的数据融合方案，汽车零部件制造车间可以更好地利用多源数据来优化生产流程，提高产品质量和安全性，从而降低生产成本并提升竞争力。
本发明所述的面向离散制造的多模态工业数据融合系统，包括：
特征提取单元，用于实时采集离散制造工业数据并进行特征提取得到特征数据；所述离散制造工业数据包括视频、文本、图像和声音数据；
数据融合单元，用于将所述特征数据输入可微分计算机网络，得到数据融合结果，所述可微分计算机还用于根据数据融合结果完成预测目标；所述可微分计算机网络包括数据融合模块和记忆系统，所述数据融合模块将特征数据在智能体中融合，记忆系统用于存储并读写智能体重融合后的数据；
评价单元，用于根据记忆系统中的数据计算奖励值，根据所述奖励值指导智能体的数据融合并更新记忆系统。
本发明所述的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现所述的面向离散制造的多模态工业数据融合方法。
本发明所述的计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的面向离散制造的多模态工业数据融合方法。
所述计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。
处理器用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。

Claims (9)

  1. 一种面向离散制造的多模态工业数据融合方法，其特征在于，包括如下步骤：
    实时采集离散制造工业数据并进行特征提取得到特征数据，将所述特征数据输入可微分计算机网络，得到数据融合结果，所述可微分计算机还用于根据数据融合结果完成预测目标；
    所述离散制造工业数据包括视频、文本、图像和声音数据；
    所述可微分计算机网络包括数据融合模块和记忆系统，所述数据融合模块将特征数据在智能体中融合，记忆系统用于存储并读写智能体重融合后的数据；将所述记忆系统中的数据输入到评价系统中计算奖励值，根据所述奖励值指导智能体的数据融合并更新记忆系统；
    所述数据融合模块将特征数据在智能体中融合包括：
    在t时刻，控制器接收特征数据输入向量xt，在记忆系统的存储矩阵Mt-1中获取R个读向量经过智能体网络处理，得到输出向量yt；
    在每一时刻，智能体网络都计算得到一个网络输出向量νt和一个交互向量ξt，其中交互向量用于参数化t时刻智能体和记忆系统的交互， 为t时刻智能体第L层的输出，wy和wξ为抽头系数；
    智能体通过在计算中创建循环将信息传递回来，进而得到vt和ξt；智能体的输出向量为：wt为读取权重。
  2. 根据权利要求1所述的面向离散制造的多模态工业数据融合方法，其特征在于，所述实时采集离散制造工业数据并进行特征提取得到特征数据包括：提取文本数据的语义特征、提取图像数据的图像特征、提取视频数据的帧特征以及提取声音数据的频谱特征。
  3. 根据权利要求2所述的面向离散制造的多模态工业数据融合方法，其特征在于，提取文本数据的语义特征，将文本转换为单词的集合，为每个单词赋予权重，所述权重根据该单词在文本中的频率以及在语料库中的分布设置；将所述单词映射到高维空间得到文本数据的语义特征；
    提取图像数据的图像特征，利用Canny算法提取图像边缘，使用卷积神经网络提取图像特征；
    提取视频数据的帧特征，从视频中提取关键帧，使用卷积神经网络提取帧特征；
    提取声音数据的频谱特征，提取声音数据的频谱，使用卷积神经网络提取频谱特征。
  4. 根据权利要求1所述的面向离散制造的多模态工业数据融合方法，其特征在于，所述控制器为长短时记忆网络。
  5. 根据权利要求1所述的面向离散制造的多模态工业数据融合方法，其特征在于，在评价系统中，计算模型对预测目标的预测与实际目标之间的误差，将预测误差作为奖励值指导可微分计算机网络的训练。
  6. 根据权利要求1所述的面向离散制造的多模态工业数据融合方法，其特征在于，在评价系统中，计算所述奖励值的博弈组合权重，根据所述博弈组合权重进行加权求和，得到加权奖励值，根据所述加权奖励值调整可微分计算机网络的参数。
  7. 一种面向离散制造的多模态工业数据融合系统，其特征在于，包括：
    特征提取单元，用于实时采集离散制造工业数据并进行特征提取得到特征数据；所述离散制造工业数据包括视频、文本、图像和声音数据；
    数据融合单元，用于将所述特征数据输入可微分计算机网络，得到数据融合结果，所述可微分计算机还用于根据数据融合结果完成预测目标；所述可微分计算机网络包括数据融合模块和记忆系统，所述数据融合模块将特征数据在智能体中融合，记忆系统用于存储并读写智能体重融合后的数据；
    评价单元，用于根据记忆系统中的数据计算奖励值，根据所述奖励值指导智能体的数据融合并更新记忆系统；
    数据融合单元中，所述数据融合模块将特征数据在智能体中融合包括：
    在t时刻，控制器接收特征数据输入向量xt，在记忆系统的存储矩阵Mt-1中获取R个读向量经过智能体网络处理，得到输出向量yt；
    在每一时刻，智能体网络都计算得到一个网络输出向量νt和一个交互向量ξt，其中交互向量用于参数化t时刻智能体和记忆系统的交互， 为t时刻智能体第L层的输出，wy和wξ为抽头系数；
    智能体通过在计算中创建循环将信息传递回来，进而得到vt和ξt；智能体的输出向量为：wt为读取权重。
  8. 一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-6任一项所述的面向离散制造的多模态工业数据融合方法。
  9. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-6任一项所述的面向离散制造的多模态工业数据融合方法。
PCT/CN2025/073810 2024-10-15 2025-01-22 一种面向离散制造的多模态工业数据融合方法及系统 Pending WO2025200749A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202411435718.3A CN118940220B (zh) 2024-10-15 2024-10-15 一种面向离散制造的多模态工业数据融合方法及系统
CN202411435718.3 2024-10-15

Publications (1)

Publication Number Publication Date
WO2025200749A1 true WO2025200749A1 (zh) 2025-10-02

Family

ID=93358998

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2025/073810 Pending WO2025200749A1 (zh) 2024-10-15 2025-01-22 一种面向离散制造的多模态工业数据融合方法及系统

Country Status (2)

Country Link
CN (1) CN118940220B (zh)
WO (1) WO2025200749A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120910313A (zh) * 2025-10-10 2025-11-07 北京时代凌宇科技股份有限公司 一种层次化城市运行智能体记忆管理方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118940220B (zh) * 2024-10-15 2025-02-07 南京邮电大学 一种面向离散制造的多模态工业数据融合方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220019867A1 (en) * 2020-07-14 2022-01-20 International Business Machines Corporation Weighted deep fusion architecture
CN117391181A (zh) * 2023-10-18 2024-01-12 清华大学 智能体的控制方法、装置、计算机设备和存储介质
CN118133930A (zh) * 2023-10-20 2024-06-04 山东大学 基于多模态自适应融合的机器人技能连续学习方法及系统
CN118503832A (zh) * 2024-07-16 2024-08-16 杭州祐全科技发展有限公司 一种基于多模态大模型的工业智能检测方法及系统
CN118940220A (zh) * 2024-10-15 2024-11-12 南京邮电大学 一种面向离散制造的多模态工业数据融合方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803249B2 (en) * 2017-02-12 2020-10-13 Seyed Ali Loghmani Convolutional state modeling for planning natural language conversations
US20200119556A1 (en) * 2018-10-11 2020-04-16 Di Shi Autonomous Voltage Control for Power System Using Deep Reinforcement Learning Considering N-1 Contingency
US11584525B2 (en) * 2020-11-30 2023-02-21 Saudi Arabian Oil Company Deep learning-based localization of UAVs with respect to nearby pipes
CN114866494B (zh) * 2022-07-05 2022-09-20 之江实验室 强化学习智能体训练方法、模态带宽资源调度方法及装置
CN116414093B (zh) * 2023-04-13 2024-01-16 暨南大学 基于物联网系统和强化学习的车间生产方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220019867A1 (en) * 2020-07-14 2022-01-20 International Business Machines Corporation Weighted deep fusion architecture
CN117391181A (zh) * 2023-10-18 2024-01-12 清华大学 智能体的控制方法、装置、计算机设备和存储介质
CN118133930A (zh) * 2023-10-20 2024-06-04 山东大学 基于多模态自适应融合的机器人技能连续学习方法及系统
CN118503832A (zh) * 2024-07-16 2024-08-16 杭州祐全科技发展有限公司 一种基于多模态大模型的工业智能检测方法及系统
CN118940220A (zh) * 2024-10-15 2024-11-12 南京邮电大学 一种面向离散制造的多模态工业数据融合方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120910313A (zh) * 2025-10-10 2025-11-07 北京时代凌宇科技股份有限公司 一种层次化城市运行智能体记忆管理方法及系统

Also Published As

Publication number Publication date
CN118940220A (zh) 2024-11-12
CN118940220B (zh) 2025-02-07

Similar Documents

Publication Publication Date Title
CN118940220B (zh) 一种面向离散制造的多模态工业数据融合方法及系统
CN119004367A (zh) 一种基于大模型的目标体系数据智能监测方法及系统
CN120804844B (zh) 基于边缘-中心混合优化多智能体强化学习故障诊断方法
CN119474322A (zh) 自适应性图数据库多模态电力知识问答方法及系统
CN119577415A (zh) 一种电能计量器具检定系统参量感知与故障处理方法
CN120067986A (zh) 一种基于云计算的多源异构数据智能融合与分析系统
CN120257113A (zh) 一种基于多源数据采集的智能数据管理系统及方法
CN118097790A (zh) 一种用于机器人ai训练人工操作的方法
CN116929456A (zh) 机房环境监控方法、装置、设备及存储介质
CN120725709A (zh) 一种基于多模态数据融合的市场趋势分析系统
CN120952169A (zh) 基于环境语义图谱的决策方法、装置、设备及介质
CN114048741A (zh) 一种基于触发词注意力的关系抽取方法
Xiao et al. Deep learning-based digital twin for intelligent predictive maintenance of rapier loom
Xiangdong Image recognition algorithm based on hybrid deep learning
CN119203026A (zh) 一种电子元件交互控制方法、装置、电子设备及存储介质
CN114372181B (zh) 一种基于多模态数据的设备生产智能规划方法
KR20240044216A (ko) 인공지능 기반 가구 제품 제조 설계 자동화 플랫폼 시스템
CN120821240B (zh) 一种精密镗铣床夹紧系统的多参数协同控制方法和装置
CN120540074B (zh) 一种基于深度学习的智慧建筑自适应综合管控方法及系统
KR102956018B1 (ko) 음성 인터페이스 기반의 ai 마케팅 자동화 방법 및 시스템
US20260030996A1 (en) Expert-based guidance through virtual avatars in augmented reality and virtual reality environments
CN121706571A (zh) 一种多模态特征融合的工业仿真优化方法
Han et al. Dual-Channel 3DCNN-LSTM Fault Detection for Industrial Processes
CN121580750A (zh) 一种基于CNN-LSTM-Attention的数控机床实时有限元仿真计算方法
CN121434888A (zh) 基于多模态数据动态融合的智能不一致性检测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25776314

Country of ref document: EP

Kind code of ref document: A1