WO2023236221A1 - 煤岩界面识别模型训练方法、采煤机截割控制方法和装置 - Google Patents

煤岩界面识别模型训练方法、采煤机截割控制方法和装置 Download PDF

Info

Publication number
WO2023236221A1
WO2023236221A1 PCT/CN2022/098271 CN2022098271W WO2023236221A1 WO 2023236221 A1 WO2023236221 A1 WO 2023236221A1 CN 2022098271 W CN2022098271 W CN 2022098271W WO 2023236221 A1 WO2023236221 A1 WO 2023236221A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample
cutting
coal
data
rock
Prior art date
Application number
PCT/CN2022/098271
Other languages
English (en)
French (fr)
Inventor
崔耀
李森
李首滨
秦泽宇
叶壮
夏杰
Original Assignee
北京天玛智控科技股份有限公司
北京煤科天玛自动化科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京天玛智控科技股份有限公司, 北京煤科天玛自动化科技有限公司 filed Critical 北京天玛智控科技股份有限公司
Publication of WO2023236221A1 publication Critical patent/WO2023236221A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21C—MINING OR QUARRYING
    • E21C35/00—Details of, or accessories for, machines for slitting or completely freeing the mineral from the seam, not provided for in groups E21C25/00 - E21C33/00, E21C37/00 or E21C39/00
    • E21C35/24—Remote control specially adapted for machines for slitting or completely freeing the mineral
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Definitions

  • the present disclosure relates to the technical field of intelligent control of coal mine production, and in particular to a coal-rock interface recognition model training method, a shearer cutting control method and a device.
  • the present disclosure aims to solve one of the technical problems in the related art, at least to a certain extent.
  • the sample lifting cylinder pressure data is used to obtain the sample drum cutting load characteristics; the coal-rock interface identification model is called, and based on the sample load state characteristics, the sample cutting coal-rock interface characteristics and the sample drum cutting load characteristics, Decision-level fusion, generate samples to predict coal and rock distribution; predict coal and rock distribution based on the sample and the sample coal and rock distribution, perform model training and update on the coal and rock interface recognition model to obtain a trained coal and rock interface recognition model .
  • a fourth aspect of the present disclosure proposes a shearer cutting control device, including: a first model receiving unit configured to receive a trained coal-rock interface recognition model sent by a cloud server; wherein the trained coal The rock interface recognition model is trained using the methods described in some of the above embodiments; the data acquisition unit is configured to acquire cutting motor current data, lifting cylinder pressure data, cutting rocker arm vibration data, and cutting coal and rock noise data. And the drum cutting video data; the first feature acquisition unit is configured to acquire the load state characteristics according to the cutting rocker vibration data and the cutting coal and rock noise data; the second feature acquisition unit is configured to acquire the load state characteristics according to the cutting rocker vibration data and the cutting coal and rock noise data.
  • the sample coal and rock distribution and sample multi-modal data sent by the edge processor are received; wherein the sample multi-modal data includes: sample cutting motor current data, sample lifting cylinder pressure data, sample cutting rocker Arm vibration data, sample cutting coal and rock noise data, and sample drum cutting video data; according to the sample cutting rocker arm vibration data and sample cutting coal and rock noise data, the sample load state characteristics are obtained; according to the sample drum cutting video data, Obtain the characteristics of the sample cutting coal-rock interface; obtain the sample drum cutting load characteristics based on the sample cutting motor current data and the sample lifting cylinder pressure data; call the coal-rock interface identification model, and based on the sample load state characteristics and the sample cutting coal-rock interface Characteristics and sample drum cutting load characteristics are fused at the decision level to generate samples to predict coal and rock distribution; based on the sample predicted coal and rock distribution and sample coal and rock distribution, the coal-rock interface identification model is model trained and updated to obtain the trained coal Rock interface identification model.
  • the coal-rock interface recognition model can
  • Figure 4 is a structural diagram of a coal shearer intelligent control system provided by an embodiment of the present disclosure
  • Figure 6 is a flow chart of S3 in the coal-rock interface recognition model training method provided by the embodiment of the present disclosure
  • Figure 8 is a flow chart of a coal shearer cutting control method provided by an embodiment of the present disclosure.
  • Figure 11 is a structural diagram of a coal-rock interface recognition model training device provided by an embodiment of the present disclosure.
  • Figure 12 is a structural diagram of the first processing unit in the coal-rock interface recognition model training device provided by an embodiment of the present disclosure
  • Figure 13 is a structural diagram of the second processing unit in the coal-rock interface recognition model training device provided by an embodiment of the present disclosure
  • Figure 15 is a structural diagram of a shearer cutting control device provided by an embodiment of the present disclosure.
  • Figure 16 is a structural diagram of the data acquisition unit in the shearer cutting control device provided by the embodiment of the present disclosure.
  • FIG 17 is a structural diagram of another coal shearer cutting control device provided by an embodiment of the present disclosure.
  • Figure 18 is a structural diagram of a sample data acquisition unit in the shearer cutting control device provided by an embodiment of the present disclosure.
  • coal-rock interface recognition model training method and the shearer cutting control method provided by the embodiments of the present disclosure are applicable.
  • the coal shearer intelligent control system is explained.
  • Figure 1 is a structural diagram of a coal shearer intelligent control system provided by an embodiment of the present disclosure.
  • the shearer intelligent control system includes: a shearer 1, a shearer controller 2, an edge processor 3, a 5G network layer 4, a cloud server 5, and a Hall sensor.
  • Current sensor 6 pressure sensor 7, vibration sensor 8, sound sensor 9, camera 10, tilt sensor 11, position encoder 12.
  • the shearer controller 2, camera 10, and sound sensor 9 are installed in the middle of the shearer.
  • the shearer controller 2 is responsible for controlling the traction motor and height-adjusting hydraulic cylinder, thereby controlling the traction speed of the shearer during cutting. and drum height.
  • the camera 10 captures the image of the coal and rock during cutting, and the sound sensor 9 collects the sound during cutting of the coal wall.
  • the Hall large current sensor 6 is installed on the cutting motor to collect cutting current signals
  • the pressure sensor 7 is installed in the lifting cylinder of the cutting arm to collect the cylinder pressure signal
  • the vibration sensor 8 is installed on the cutting arm to collect vibrations when cutting coal and rock. Signal.
  • the inclination sensor 11 is installed inside the wiring cavity of the cutting motor to detect the angle of the cutting arm and thereby obtain the height of the drum.
  • the position encoder 12 is installed at the axial position of the high and low speed shafts of the machine traction box and is used to measure the position and traction speed of the shearer on the working surface.
  • the edge processor 3 includes servers and switches.
  • the server and switch are installed inside the shearer.
  • the switch is connected to the server and the CPE equipment of 5G network layer 4.
  • the switch is also connected to the sensors (the aforementioned devices for measuring data, including: camera 10, sound sensor 9, Hall sensor).
  • the current sensor 6, the pressure sensor 7, the inclination sensor 11, the position encoder 12) are connected, and the switch realizes the access, aggregation and transmission of sensor data and model parameters.
  • the server implements functions such as data preprocessing, status push, status identification, task distribution, and collaborative operations.
  • 5G network layer 4 includes switches, base station controllers, 5G base stations, and CPE (Customer Premise Equipment) equipment.
  • the switch may be a 980C switch, and the 980C switch may be installed in a ground equipment room.
  • the base station controller can include the first base station controller BBU (Baseband Unit, baseband unit) and the second controller RHUB (remote radio unit hub, radio frequency remote CPRI data aggregation unit).
  • BBU Baseband Unit
  • RHUB remote radio unit hub, radio frequency remote CPRI data aggregation unit
  • a mining isolation unit is installed on a machine head underground. Explosive and intrinsically safe base station controller (BBU).
  • a mining explosion-proof and intrinsically safe base station controller (RHUB) is installed on the electrical equipment pallet next to the console.
  • a 5G base station is installed on the emulsification pump return filter truck; a 5G base station is installed on the eighth pipeline truck near Ma'er; a 5G base station is installed on the 18th working surface; a 5G base station is installed on the 60th working surface; A 5G base station is installed on surface 103; a CPE equipment, including a transmitting antenna, is installed on the coal shearer body.
  • the 980C switch can realize large-capacity 5G network access, aggregation and transmission.
  • the first base station controller BBU can also be called a baseband processing unit, which centrally controls and manages the entire base station system.
  • the first base station controller BBU is mainly responsible for baseband signal processing, including FFT/IFFT, modulation/demodulation and channel encoding/decoding.
  • the first base station controller BBU supports plug-in modular structure. Users can configure different numbers of baseband processing boards according to different network capacity requirements, and support baseband resource sharing.
  • the second base station controller RHUB is a radio frequency remote CPRI data aggregation unit, which realizes the access bridge between the first base station controller BBU and the 5G base station pRRU (pico Remote Radio Unit, remote aggregation unit). It has the ability to cascade with BBU25GE and has 8-way pRRU access capability.
  • the 5G base station can be the KT618 (5G)-F mining explosion-proof and intrinsically safe base station pRRU, also known as the radio frequency remote processing unit, which mainly includes: a high-speed interface module, a signal processing unit, a power amplifier unit, Duplexer unit, expansion interface and power module.
  • the device receives downlink baseband data sent by the second base station controller RHUB, and sends uplink baseband data to the second base station controller RHUB to implement communication with the first base station controller BBU.
  • the process of sending a signal modulating the baseband signal to the transmitting frequency band, filtering and amplifying it, and then transmitting it through the antenna; the process of receiving the signal: receiving the radio frequency signal from the antenna, down-converting the received signal to an intermediate frequency signal, and performing amplification processing and analog-to-digital conversion ( A/D conversion) and then sent to the first base station controller BBU for processing.
  • CPE equipment is responsible for converting high-speed 5G signals into WiFi signals to communicate with 5G base stations.
  • the cloud server 5 includes a database, an algorithm server, and a client that are interconnected with each other.
  • the database, algorithm server and client are all installed on the ground, and the database is responsible for data management, statistical analysis and other functions.
  • the algorithm server is responsible for state identification, model training, and task creation.
  • the client implements the status monitoring function.
  • Embodiments of the present disclosure based on the above-mentioned shearer intelligent control system, provide a coal-rock interface recognition model training method and a shearer cutting control method.
  • Figure 2 is a flow chart of a coal-rock interface recognition model training method provided by an embodiment of the present disclosure.
  • the coal-rock interface recognition model training method provided by the embodiment of the present disclosure is executed by the cloud server, including but not limited to the following steps:
  • sample multi-modal data includes: sample cutting motor current data, sample lifting cylinder pressure data, sample cutting rocker arm vibration data, sample Cutting coal and rock noise data and sample drum cutting video data.
  • multi-modal data and coal and rock distribution can be obtained in real time through measurement devices such as Hall high current sensors, pressure sensors, vibration sensors, sound sensors, cameras, tilt sensors, and position encoders.
  • the cutting motor current data is obtained through the Hall high current sensor
  • the lifting cylinder pressure data is obtained through the pressure sensor
  • the cutting rocker vibration data is obtained through the vibration sensor
  • the coal and rock cutting noise data is obtained through the sound sensor
  • the cutting coal and rock noise data is obtained through the camera.
  • the drum cuts the video data, obtains the height of the drum through the inclination sensor, and obtains the position and traction speed of the shearer on the working surface through the position encoder.
  • the coal and rock distribution may be the height of the drum, the position of the shearer on the working surface, and the traction speed, or the coal and rock distribution position determined based on the height of the drum, the position of the shearer on the working surface, and the traction speed. and proportion.
  • the rocks when the shearer cuts the coal seam on the working surface, the rocks may be mixed and distributed in the coal seam in blocks ((a) in Figure 3).
  • Coal and rock distribution can be the location distribution and proportion of coal seams and rocks; or coal seams and rocks are distributed in layers without mixing.
  • the drum height and traction speed of the shearer when cutting can be adjusted based on manual intervention.
  • Control for example, through manual remote control to adjust the electro-hydraulic control and frequency converter to adjust the drum height and traction speed.
  • the edge processor determines the sample multimodal data and the sample coal and rock distribution based on the multimodal data and coal and rock distribution obtained in real time.
  • the multimodal data and coal and rock distribution obtained in real time can be directly determined as Sample multi-modal data and sample coal and rock distribution, or you can also preprocess the multi-modal data and coal and rock distribution obtained in real time to obtain sample multi-modal data and sample coal and rock distribution.
  • the sample multi-modal data may also include other data besides the above examples, for example, it may also include: cutting status information and early warning information related to the shearer: scraper conveyor power, discharge The inclined length of the top coal working face, the average thickness of the initial coal seam, the inclination angle of the initial coal seam, the average gangue inclusion rate of the initial coal seam, the recoverability index of the initial coal seam and the gas concentration, etc.
  • the edge processor sends sample coal and rock distribution and sample multi-modal data to the cloud server, where the edge processor can send sample coal and rock distribution and sample multi-modal data to the cloud server through the 5G network layer.
  • the 5G network has the characteristics of low latency, large bandwidth and flexible slicing.
  • the sample drum cutting video data can be used to obtain the sample cutting coal and rock interface characteristics.
  • the pre-trained deep adversarial network (Adversarial Learnin) algorithm model is called to obtain the sample cutting coal-rock interface characteristics based on the sample drum cutting video data.
  • the pre-trained load characteristic model based on the Bayesian network model is called, and the relationship between the current change and the cutting of coal and rock is judged based on the sample cutting motor current data.
  • the pre-trained cylinder pressure model based on the equivalent average load principle is called, and the height position of the rock layer relative to the drum is determined based on the sample lifting cylinder pressure data.
  • S5 Call the coal-rock interface identification model, perform decision-level fusion based on the sample load state characteristics, sample cutting coal-rock interface characteristics and sample drum cutting load characteristics, and generate samples to predict coal-rock distribution.
  • a collaborative representation method is used, based on the similarity model, to map each mode in the multi-modal to its respective representation space, and obtain the sample load state characteristics, sample cut coal-rock interface characteristics and sample
  • the coal-rock interface identification model based on the generative adversarial network model is called, and the sample load state characteristics, the sample cutting coal-rock interface characteristics and the sample drum cutting load characteristics are combined to perform decision-level fusion, perform target prediction, and generate Sample prediction of coal and rock distribution.
  • the relative position of the rock formation is predicted by detecting the two-cavity pressure of the roller height-adjusting hydraulic cylinder, and the pressure model of the oil cylinder is used, and the vibration and noise under cutting conditions of different coal and rock are monitored. and video differences, perform decision-level fusion, and generate samples to predict coal and rock distribution.
  • the coal rock distribution and the sample coal rock distribution are predicted based on the sample, and the coal rock interface identification model is model trained and updated.
  • the coal rock distribution and sample coal rock distribution can be predicted based on the sample, the loss is calculated, and the coal rock interface identification model is further evaluated based on the loss.
  • the model parameters are updated, and when the calculation loss is less than a certain level, it means that the coal-rock interface recognition model has higher accuracy and stability at this time, and thus a well-trained coal-rock interface recognition model can be obtained.
  • the embodiment of the present disclosure provides an exemplary embodiment.
  • the edge processor obtains real-time multi-modal data sent by the multi-modal sensor device, for example: obtaining the cutting motor current data through the Hall high current sensor, obtaining the lifting cylinder pressure data through the pressure sensor, and obtaining the lifting cylinder pressure data through the vibration sensor.
  • Obtain the cutting rocker vibration data obtain the cutting coal and rock noise data through the sound sensor, obtain the drum cutting video data through the camera, obtain the drum height through the inclination sensor, and obtain the position of the shearer on the working surface through the position encoder and towing speed.
  • the edge processor can preprocess the multimodal data acquired in real time.
  • the preprocessing can combine manual intervention with memory cutting templates and memory cutting parameters to obtain sample multimodal data and sample coal and rock distribution, and then perform Data is uploaded and sent to the cloud server through the 5G network layer.
  • the cloud server receives the sample coal and rock distribution and sample multi-modal data sent by the edge processor; among them, the sample multi-modal data includes: sample cutting motor current data, sample lifting cylinder pressure data, sample cutting rocker arm vibration data, sample Cutting coal and rock noise data and sample drum cutting video data.
  • the cloud server can deploy the model, send the trained coal-rock interface recognition model to the edge processor, and send it to the edge processor through the 5G network layer.
  • the edge processor can use the trained coal-rock interface recognition model to predict the coal-rock distribution based on the multi-modal data acquired in real time. Further, it can calibrate the memory cutting template and memory cutting parameters to obtain the results of the shearer. Drum height and traction speed when cutting coal seam. Further, the edge processor can send the drum height and traction speed to the shearer controller to control the shearer to cut the coal seam according to the drum height and traction speed. Therefore, applications based on 5G industrial Internet and cloud-edge integration can greatly improve the training efficiency and accuracy of the coal-rock interface recognition model, and can improve the stability of intelligent cutting control.
  • the sample coal and rock distribution and sample multi-modal data sent by the edge processor are received; wherein the sample multi-modal data includes: sample cutting motor current data, sample lifting cylinder pressure data, sample cutting rocker Arm vibration data, sample cutting coal and rock noise data, and sample drum cutting video data; according to the sample cutting rocker arm vibration data and sample cutting coal and rock noise data, the sample load state characteristics are obtained; according to the sample drum cutting video data, Obtain the characteristics of the sample cutting coal-rock interface; obtain the sample drum cutting load characteristics based on the sample cutting motor current data and the sample lifting cylinder pressure data; call the coal-rock interface identification model, and based on the sample load state characteristics and the sample cutting coal-rock interface Characteristics and sample drum cutting load characteristics are fused at the decision level to generate samples to predict coal and rock distribution; based on the sample predicted coal and rock distribution and sample coal and rock distribution, the coal-rock interface identification model is model trained and updated to obtain the trained coal Rock interface identification model.
  • the coal-rock interface recognition model can
  • S2 Obtain the sample load state characteristics based on the sample cutting rocker vibration data and the sample cutting coal and rock noise data, including:
  • the trained vibration spectrum model can be a GSV model that is a combination of the trained GMM-UBM improved Gaussian mixture model and the SVM model;
  • the trained sound recognition model can be a trained neural network model.
  • the vibration data and the vibration characteristics corresponding to the vibration data can be obtained in advance, the vibration data can be input into the vibration spectrum model, and the predicted vibration characteristics can be obtained. According to the vibration characteristics and the predicted vibration characteristics, the vibration spectrum model can be performed Parameters updated. Among them, the vibration characteristics and vibration loss of the vibration characteristics can be calculated, the parameters of the vibration spectrum model can be updated, and when the vibration loss meets the vibration optimization conditions, the trained vibration spectrum model can be determined. Based on this, obtain the trained vibration spectrum model.
  • the method of obtaining the trained vibration spectrum model can also refer to methods in related technologies, and is not limited to the methods provided in the embodiments of the present disclosure, and the embodiments of the present disclosure do not impose specific limitations on this.
  • the audio data and the audio features corresponding to the audio data can be obtained in advance, the audio data can be input into the sound recognition model, and the predicted audio features can be obtained.
  • the sound recognition model can be performed Parameters updated.
  • the audio features and the audio loss of the predicted audio features can be calculated, the parameters of the sound recognition model can be updated, and when the audio loss meets the audio optimization conditions, the trained sound recognition model can be determined. Based on this, obtain the trained voice recognition model.
  • the trained vibration spectrum model is further called, and the rocker arm vibration data is cut according to the sample to obtain the sample vibration characteristics.
  • the trained sound recognition model intercept the coal and rock noise data based on the sample, and obtain the sample sound characteristics.
  • the method of obtaining the trained deep adversarial network model can also refer to methods in related technologies. It is not limited to the methods provided by the embodiments of the present disclosure, and the embodiments of the present disclosure do not impose specific limitations on this.
  • the trained deep adversarial network model when the trained deep adversarial network model is obtained, the trained deep adversarial network model is further called, and the sample cut coal-rock interface characteristics are obtained based on the sample drum cut video data.
  • S4 Obtain the sample drum cutting load characteristics based on the sample cutting motor current data and the sample lifting cylinder pressure data, including:
  • the method of obtaining the trained load characteristic model can also refer to methods in related technologies, and is not limited to the methods provided in the embodiments of the present disclosure, and the embodiments of the present disclosure do not impose specific limitations on this.
  • S42 Call the trained load characteristic model, and obtain the sample drum cutting load characteristics based on the sample cutting motor current data and the sample lifting cylinder pressure data.
  • the trained load characteristic model when the trained load characteristic model is obtained, the trained load characteristic model is further called, and the sample drum cutting load characteristics are obtained according to the sample cutting motor current data and the sample lifting cylinder pressure data. .
  • Figure 8 is a flow chart of a coal shearer cutting control method provided by an embodiment of the present disclosure.
  • the shearer cutting control method provided by the embodiment of the present disclosure is executed by the edge processor, including but not limited to the following steps:
  • S10 Receive the trained coal-rock interface recognition model sent by the cloud server; wherein the trained coal-rock interface recognition model is trained using the method in the above embodiment.
  • the trained coal-rock interface recognition model is trained using the method in the above embodiment.
  • the method in the above embodiment please refer to the relevant description of the above embodiment and will not be described again here.
  • S20 Obtain cutting motor current data, lifting cylinder pressure data, cutting rocker arm vibration data, coal and rock cutting noise data, and drum cutting video data.
  • cutting motor current data, lifting cylinder pressure data, cutting rocker arm vibration data, coal and rock cutting noise data, and drum cutting video data can be obtained in real time.
  • S20 Obtain cutting motor current data, lifting cylinder pressure data, cutting rocker vibration data, coal and rock cutting noise data, and drum cutting video data, including:
  • S204 Collect the sound signal of cutting coal wall through the sound sensor installed at the bottom of the rocker arm, and obtain the noise data of cutting coal and rock.
  • the cutting motor current data can be obtained through a current sensor provided on the cutting motor.
  • the current sensor can be a Hall large current sensor.
  • the pressure data of the lifting cylinder can be obtained through the pressure sensor installed in the lifting cylinder of the cutting arm.
  • the vibration data of the cutting rocker arm can be obtained through the vibration sensor installed on the cutting arm.
  • the sound signal of cutting coal wall can be collected through the sound sensor installed at the bottom of the rocker arm, and the noise data of cutting coal and rock can be obtained.
  • the cut coal and rock images can be collected through the video acquisition device installed at the bottom of the rocker arm, and the drum cutting video data can be obtained.
  • the multi-modal data obtained through the above-mentioned multimedia sensor device can be obtained in real time, so that real-time working conditions can be obtained, so that when subsequent predictions are made, the obtained prediction results are more satisfactory for the actual work. situation needs, which can improve the accuracy of forecasts.
  • the shearer cutting control method provided by the embodiment of the present disclosure also includes: receiving a trained vibration spectrum model, a trained sound recognition model, a trained deep adversarial network model sent by the cloud server, and The trained load characteristic model.
  • the edge processor receives the trained vibration spectrum model, the trained sound recognition model, the trained deep adversarial network model and the trained load feature model sent by the cloud server.
  • the edge processor can pass the 5G network
  • the layer receives the trained vibration spectrum model, trained sound recognition model, trained deep adversarial network model and trained load feature model sent by the cloud server.
  • the 5G network has the characteristics of low latency, large bandwidth and flexible slicing.
  • the trained vibration spectrum model, trained sound recognition model, trained deep adversarial network model and trained load feature model sent by the cloud server are received, and the model deployment can be completed quickly for subsequent procurement. Coal machine cutting prediction, control the shearer to cut the coal seam.
  • the cloud server sends the trained vibration spectrum model, the trained sound recognition model, the trained deep adversarial network model and the trained load feature model to the edge processor.
  • the vibration spectrum model, sound recognition model, The deep adversarial network model and load feature model can complete the training process in the cloud server.
  • a trained vibration spectrum model is called, vibration features are generated based on the cut rocker vibration data, a trained sound recognition model is called, audio features are generated based on cut coal and rock noise data, and then the vibration is Characteristics and sound features are fused at the feature level to obtain load state characteristics.
  • the trained deep adversarial network model is called to obtain the characteristics of the coal-rock interface according to the drum cutting video data.
  • the trained load characteristic model is called, and the drum cutting load characteristics are obtained based on the cutting motor current data and the lifting cylinder pressure data.
  • S60 Call the trained coal-rock interface recognition model to generate predicted coal-rock distribution based on load state characteristics, coal-rock cutting interface characteristics and drum cutting load characteristics.
  • the trained coal-rock interface recognition model is called, and based on the load state characteristics, cutting coal-rock interface characteristics and The drum cuts load characteristics and generates predicted coal and rock distribution.
  • the target drum height and target traction speed are determined based on the predicted coal and rock distribution. It can be understood that under different predictions of coal and rock distribution, the corresponding drum height and traction speed are different. According to the depth deterministic strategy gradient algorithm DDPG and adaptive cutting control strategy, the target drum height and target traction speed are determined.
  • the deep deterministic policy gradient algorithm DDPG and the adaptive clipping control strategy can be preset and set as needed, and can be pre-trained or formulated.
  • the embodiments of the present disclosure do not impose specific restrictions on this.
  • the edge processor can also determine the target roof and floor cutting curves based on the predicted coal and rock distribution.
  • the target drum height and target traction speed are further sent to the shearer controller to control the shearer to cut the coal seam.
  • the coal and rock distribution of the shearer can be predicted, and the shearer can be intelligently controlled according to the prediction results, which is consistent with real-time working conditions and has high accuracy.
  • sample coal and rock distribution and sample multi-modal data are obtained, including:
  • the memory top and bottom plate cutting curves, the memory drum height and the memory traction speed can be stored in the edge processor, wherein the memory top and bottom plate cutting curves, memory drum height and memory traction speed can be used in the related art. method to obtain it and store it in the edge processor in advance.
  • the drum height and traction speed of the shearer when cutting can be adjusted based on manual intervention.
  • Control for example, through manual remote control of electro-hydraulic controls and frequency converters to adjust the drum height and traction speed.
  • S300 Determine the sample coal and rock distribution based on the real-time roof and bottom plate cutting curve, real-time drum height and real-time traction speed.
  • the sample coal and rock distribution is determined based on the real-time roof and bottom plate cutting curve, real-time drum height and real-time traction speed.
  • the edge processor determines the sample multi-modal data and the sample coal and rock distribution based on the multi-modal data and coal and rock distribution obtained in real time.
  • the multi-modal data and coal and rock distribution obtained in real time can be directly used.
  • determined as sample multi-modal data and sample coal and rock distribution, or the multi-modal data and sample coal and rock distribution obtained in real time can also be preprocessed to obtain sample multi-modal data and sample coal and rock distribution.
  • the edge processor sends the sample multi-modal data and sample coal and rock distribution to the cloud server.
  • the coal-rock interface recognition model is trained based on the sample multi-modal data and sample coal and rock distribution.
  • the accuracy of the training sample data is When it is higher, a coal-rock interface identification model that is more in line with the working conditions can be obtained, so that when the coal-rock interface identification model is used for subsequent predictions, more accurate prediction results can be obtained.
  • Figure 11 is a structural diagram of a coal-rock interface recognition model training device provided by an embodiment of the present disclosure.
  • the coal-rock interface recognition model training device 100 includes: a data receiving unit 101, a first processing unit 102, a second processing unit 103, a third processing unit 104, a fourth processing unit 105 and a training update unit. 106.
  • the data receiving unit 101 is configured to receive sample coal and rock distribution and sample multi-modal data sent by the edge processor; wherein the sample multi-modal data includes: sample cutting motor current data, sample lifting cylinder pressure data, sample cutting Rocker vibration data, sample cutting coal and rock noise data, and sample drum cutting video data.
  • the first processing unit 102 is configured to obtain the sample load state characteristics based on the sample cutting rocker vibration data and the sample cutting coal and rock noise data.
  • the third processing unit 104 is configured to obtain sample drum cutting load characteristics based on sample cutting motor current data and sample lifting cylinder pressure data.
  • the first model acquisition module 1021 is configured to acquire a trained vibration spectrum model and a trained sound recognition model.
  • the sample sound feature acquisition module 1023 is configured to call the trained sound recognition model, intercept the coal and rock noise data according to the sample, and obtain the sample sound features.
  • the load feature fusion module 1024 is configured to perform feature-level fusion of sample vibration features and sample sound features to obtain sample load state features.
  • the third model acquisition module 1041 is configured to acquire the trained load feature model.
  • the shearer cutting control device 1000 includes: a first model receiving unit 1001, a data acquisition unit 1002, a first feature acquisition unit 1003, a second feature acquisition unit 1004, and a third feature acquisition unit 1005. , prediction unit 1006, data determination unit 1007 and data sending unit 1008.
  • the first feature acquisition unit 1003 is configured to acquire load state characteristics based on cutting rocker arm vibration data and cutting coal and rock noise data.
  • the second feature acquisition unit 1004 is configured to acquire the features of the coal-rock interface according to the drum cutting video data.
  • the third feature acquisition unit 1005 is configured to acquire the drum cutting load characteristics based on the cutting motor current data and the lifting cylinder pressure data.
  • the pressure acquisition module 10022 is configured to acquire the lifting cylinder pressure data through the pressure sensor provided in the cutting arm lifting cylinder.
  • the vibration acquisition module 10023 is configured to acquire vibration data of the cutting rocker arm through a vibration sensor provided on the cutting arm.
  • the noise acquisition module 10024 is configured to collect the sound signal of cutting the coal wall through the sound sensor provided at the bottom of the rocker arm, and obtain the noise data of cutting coal and rock.
  • the shearer cutting control device 1000 also includes: a second model receiving unit 1009.
  • the real-time data acquisition module 10102 is configured to obtain real-time cutting motor current data, real-time lifting cylinder pressure data, real-time cutting rocker vibration data, and real-time cutting coal and rock noise when the shearer cuts the coal seam under preset conditions.
  • the coal and rock distribution determination module 10103 is configured to determine the sample coal and rock distribution based on the real-time roof and floor cutting curve, real-time drum height and real-time traction speed.
  • the sample data determination module 10104 is configured to determine the real-time cutting motor current data as the sample cutting motor current data, the real-time lifting cylinder pressure data as the sample lifting cylinder pressure data, and the real-time cutting rocker arm vibration data as the sample cutting rocker arm vibration.
  • Data, the real-time cutting coal and rock noise data is the sample cutting coal and rock noise data
  • the real-time drum cutting video data is the sample drum cutting video data.
  • beneficial effects that can be achieved by the shearer cutting control device in the embodiments of the present disclosure are the same as the beneficial effects that can be achieved by the coal shearer cutting control method in the above example, and will not be described again here.
  • references to the terms “one embodiment,” “some embodiments,” “examples,” “exemplary embodiments,” etc. means that specific features, structures, materials are described in connection with the embodiment or example. Or features are included in at least one embodiment or example of the disclosure.
  • the schematic expressions of the above terms are not necessarily directed to the same embodiment or example.
  • the specific features, structures, materials or characteristics described may be combined in any suitable manner in any one or more embodiments or examples.
  • those skilled in the art may combine and combine different embodiments or examples and features of different embodiments or examples described in this specification unless they are inconsistent with each other.
  • first and second are used for descriptive purposes only and cannot be understood as indicating or implying relative importance or implicitly indicating the quantity of indicated technical features. Therefore, features defined as “first” and “second” may explicitly or implicitly include at least one of these features.
  • “plurality” means at least two, such as two, three, etc., unless otherwise expressly and specifically limited.
  • a "computer-readable medium” may be any device that can contain, store, communicate, propagate, or transport a program for use by or in connection with an instruction execution system, apparatus, or device.
  • Non-exhaustive list of computer readable media include the following: electrical connections with one or more wires (electronic device), portable computer disk cartridges (magnetic device), random access memory (RAM), Read-only memory (ROM), erasable and programmable read-only memory (EPROM or flash memory), fiber optic devices, and portable compact disc read-only memory (CDROM).
  • the computer-readable medium may even be paper or other suitable medium on which the program may be printed, as the paper or other medium may be optically scanned, for example, and subsequently edited, interpreted, or otherwise suitable as necessary. process to obtain the program electronically and then store it in computer memory.
  • various parts of the present disclosure may be implemented in hardware, software, firmware, or combinations thereof.
  • various steps or methods may be implemented in software or firmware stored in a memory and executed by a suitable instruction execution system.
  • a suitable instruction execution system For example, if it is implemented in hardware, as in another embodiment, it can be implemented by any one of the following technologies known in the art or their combination: discrete logic gate circuits with logic functions for implementing data signals; Logic circuits, application specific integrated circuits with suitable combinational logic gates, programmable gate arrays (PGA), field programmable gate arrays (FPGA), etc.
  • the program can be stored in a computer-readable storage medium.
  • the program can be stored in a computer-readable storage medium.
  • each functional unit in various embodiments of the present disclosure may be integrated into a processing module, or each unit may exist physically alone, or two or more units may be integrated into one module.
  • the above integrated modules can be implemented in the form of hardware or software function modules. If the integrated module is implemented in the form of a software function module and sold or used as an independent product, it can also be stored in a computer-readable storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mining & Mineral Resources (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geochemistry & Mineralogy (AREA)
  • Geology (AREA)
  • Investigating Strength Of Materials By Application Of Mechanical Stress (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提出一种煤岩界面识别模型训练方法、采煤机截割控制方法和装置，该煤岩界面识别模型训练方法，包括：接收边缘处理器发送的样本煤岩分布和样本多模态数据；根据样本截割摇臂振动数据和样本截割煤岩噪声数据，获取样本载荷状态特征；根据样本滚筒截割视频数据，获取样本截割煤岩界面特征；根据样本截割电机电流数据和样本升降油缸压力数据，获取样本滚筒截割载荷特征；调用煤岩界面识别模型，进行决策级融合，生成样本预测煤岩分布；根据样本预测煤岩分布和样本煤岩分布，对煤岩界面识别模型进行模型训练更新。由此，能够结合实时工况，根据多模态数据，实时在线训练煤岩界面识别模型，能够提高煤岩界面识别模型的训练效率和准确度。

Description

煤岩界面识别模型训练方法、采煤机截割控制方法和装置
相关申请的交叉引用
本公开基于申请号为202210635956.3、申请日为2022年06月07日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本公开作为参考。
技术领域
本公开涉及煤矿生产智能化控制技术领域，尤其涉及一种煤岩界面识别模型训练方法、采煤机截割控制方法和装置。
背景技术
相关技术中，通过图像采集传感器获取采煤工作面的图像，利用预先训练好的图像识别模型，对图像进行识别，根据图像识别结果控制采煤机的高度，进行自动化截割煤层。
但是，单一图像模态的识别准确度不高，导致自动化截割煤层的效果不佳。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本公开提出一种煤岩界面识别模型训练方法、采煤机截割控制方法和装置，能够结合实时工况，根据多模态数据，实时在线训练煤岩界面识别模型，能够提高煤岩界面识别模型的训练效率和准确度。
第一方面，提出一种煤岩界面识别模型训练方法，所述方法由云端服务器执行，所述方法，包括：接收边缘处理器发送的样本煤岩分布和样本多模态数据；其中，所述样本多模态数据包括：样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截割视频数据；根据所述样本截割摇臂振动数据和所述样本截割煤岩噪声数据，获取样本载荷状态特征；根据所述样本滚筒截割视频数据，获取样本截割煤岩界面特征；根据所述样本截割电机电流数据和所述样本升降油缸压力数据，获取样本滚筒截割载荷特征；调用煤岩界面识别模型，根据所述样本载荷状态特征、所述样本截割煤岩界面特征和所述样本滚筒截割载荷特征，进行决策级融合，生成样本预测煤岩分布；根据所述样本预测煤岩分布和所述样本煤岩分布，对所述煤岩界面识别模型进行模型训练更新，以得到训练好的煤岩界面识别模型。
本公开第二方面，提出一种采煤机截割控制方法，所述方法由边缘处理器执行，所述方法，包括：接收云端服务器发送的训练好的煤岩界面识别模型；其中，所述训练好的煤岩界面识别模型为采用上述实施例中所述的方法训练得到的；获取截割电机电流数据、升降油缸压力数据、截割摇臂振动数据、截割煤岩噪声数据以及滚筒截割视频数据；根据所述截割摇臂振动数据和所述截割煤岩噪声数据，获取载荷状态特征；根据所述滚筒截割视频数据，获取截割煤岩界面特征；根据所述截割电机电流数据和所述升降油缸压力数据，获取滚筒截割载荷特征；调用所述训练好的煤岩界面识别模型，根据所述载荷状态特征、所述截割煤岩界面特征和所述滚筒截割载荷特征，生成预测煤岩分布；根据所述预测煤岩分布，确定目标滚筒高度和目标牵引速度；将所述目标滚筒高度和所述目标牵引速度发送 至采煤机控制器，以控制采煤机进行煤层截割。
本公开第三方面，提出一种煤岩界面识别模型训练装置，包括：数据接收单元，被配置为接收边缘处理器发送的样本煤岩分布和样本多模态数据；其中，所述样本多模态数据包括：样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截割视频数据；第一处理单元，被配置为根据所述样本截割摇臂振动数据和所述样本截割煤岩噪声数据，获取样本载荷状态特征；第二处理单元，被配置为根据所述样本滚筒截割视频数据，获取样本截割煤岩界面特征；第三处理单元，被配置为根据所述样本截割电机电流数据和所述样本升降油缸压力数据，获取样本滚筒截割载荷特征；第四处理单元，被配置为调用煤岩界面识别模型，根据所述样本载荷状态特征、所述样本截割煤岩界面特征和所述样本滚筒截割载荷特征，进行决策级融合，生成样本预测煤岩分布；训练更新单元，被配置为根据所述样本预测煤岩分布和所述样本煤岩分布，对所述煤岩界面识别模型进行模型训练更新，以得到训练好的煤岩界面识别模型。
本公开第四方面，提出一种采煤机截割控制装置，包括：第一模型接收单元，被配置为接收云端服务器发送的训练好的煤岩界面识别模型；其中，所述训练好的煤岩界面识别模型为采用上面一些实施例所述的方法训练得到的；数据获取单元，被配置为获取截割电机电流数据、升降油缸压力数据、截割摇臂振动数据、截割煤岩噪声数据以及滚筒截割视频数据；第一特征获取单元，被配置为根据所述截割摇臂振动数据和所述截割煤岩噪声数据，获取载荷状态特征；第二特征获取单元，被配置为根据所述滚筒截割视频数据，获取截割煤岩界面特征；第三特征获取单元，被配置为根据所述截割电机电流数据和所述升降油缸压力数据，获取滚筒截割载荷特征；预测单元，被配置为调用所述训练好的煤岩界面识别模型，根据所述载荷状态特征、所述截割煤岩界面特征和所述滚筒截割载荷特征，生成预测煤岩分布；数据确定单元，被配置为根据所述预测煤岩分布，确定目标滚筒高度和目标牵引速度；数据发送单元，被配置为将所述目标滚筒高度和所述目标牵引速度发送至采煤机控制器，以控制采煤机进行煤层截割。
本公开实施例提供的技术方案，可以包含如下的有益效果：
通过实施本公开实施例，接收边缘处理器发送的样本煤岩分布和样本多模态数据；其中，样本多模态数据包括：样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截割视频数据；根据样本截割摇臂振动数据和样本截割煤岩噪声数据，获取样本载荷状态特征；根据样本滚筒截割视频数据，获取样本截割煤岩界面特征；根据样本截割电机电流数据和样本升降油缸压力数据，获取样本滚筒截割载荷特征；调用煤岩界面识别模型，根据样本载荷状态特征、样本截割煤岩界面特征和样本滚筒截割载荷特征，进行决策级融合，生成样本预测煤岩分布；根据样本预测煤岩分布和样本煤岩分布，对煤岩界面识别模型进行模型训练更新，以得到训练好的煤岩界面识别模型。由此，能够结合实时工况，根据多模态数据，实时在线训练煤岩界面识别模型，能够提高煤岩界面识别模型的训练效率和准确度。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或 背景技术中所需要使用的附图进行说明。
图1为本公开实施例提供的一种采煤机智能控制系统的结构图；
图2为本公开实施例提供的一种煤岩界面识别模型训练方法的流程图；
图3为本公开实施例提供的一种煤岩分布的示意图；
图4为本公开实施例提供的一种采煤机智能控制系统的结构图；
图5为本公开实施例提供的煤岩界面识别模型训练方法中S2的流程图；
图6为本公开实施例提供的煤岩界面识别模型训练方法中S3的流程图；
图7为本公开实施例提供的煤岩界面识别模型训练方法中S4的流程图；
图8为本公开实施例提供的一种采煤机截割控制方法的流程图；
图9为本公开实施例提供的采煤机截割控制方法中S20的流程图；
图10为本公开实施例提供的另一种采煤机截割控制方法的流程图；
图11为本公开实施例提供的一种煤岩界面识别模型训练装置的结构图；
图12为本公开实施例提供的煤岩界面识别模型训练装置中第一处理单元的结构图；
图13为本公开实施例提供的煤岩界面识别模型训练装置中第二处理单元的结构图；
图14为本公开实施例提供的煤岩界面识别模型训练装置中第三处理单元的结构图；
图15为本公开实施例提供的一种采煤机截割控制装置的结构图；
图16为本公开实施例提供的采煤机截割控制装置中数据获取单元的结构图；
图17为本公开实施例提供的另一种采煤机截割控制装置的结构图；
图18为本公开实施例提供的采煤机截割控制装置中样本数据获取单元的结构图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的煤岩界面识别模型训练方法、采煤机截割控制方法和装置。
在对本公开实施例提供的煤岩界面识别模型训练方法和采煤机截割控制方法进行说明之前，首先对本公开实施例提供的煤岩界面识别模型训练方法和采煤机截割控制方法所适用的采煤机智能控制系统进行说明。
图1为本公开实施例提供的一种采煤机智能控制系统的结构图。
如图1所示，本公开实施例提供的采煤机智能控制系统，包括：采煤机1，采煤机控制器2，边缘处理器3，5G网络层4，云端服务器5，霍尔大电流传感器6，压力传感器7，振动传感器8，声音传感器9，摄像仪10，倾角传感器11，位置编码器12。
其中，采煤机控制器2、摄像仪10、声音传感器9安装在采煤机中部，采煤机控制器2负责控制牵引电机和调高液压缸，进而控制采煤机截割时的牵引速度和滚筒高度。摄像仪10拍摄截割时的煤岩图像，声音传感器9采集截割煤壁时的声音。
霍尔大电流传感器6安装在截割电机上采集截割电流信号，压力传感器7安装在截割臂升降油缸内收集油缸压力信号，振动传感器8安装在截割臂上采集截割煤岩时振动信号。 倾角传感器11安装于截割电机接线腔内部用来检测截割臂角度进而得到滚筒高度。位置编码器12安装在机牵引箱高、低速轴轴向位置，用于采煤机在工作面上的位置和牵引速度的测量。
其中，边缘处理器3包括服务器和交换机。服务器和交换机安装在采煤机内部，交换机与服务器、5G网络层4的CPE设备联通，交换机也与传感器(前述的用于测量数据的装置，包括：摄像仪10、声音传感器9，霍尔大电流传感器6，压力传感器7，倾角传感器11，位置编码器12)联通，交换机实现传感器数据、模型参数的接入、汇聚和传输。服务器实现数据预处理、状态推送、状态辨识、任务下发、协同作业等功能。
其中，5G网络层4包括交换机、基站控制器、5G基站、CPE(Customer Premise Equipment，客户前置设备)设备。
本公开实施例中，交换机可以为980C交换机，980C交换机可以安装在地面机房。基站控制器可以包括第一基站控制器BBU(Baseband Unit，基带单元)和第二控制器RHUB(remote radio unit hub，射频远端CPRI数据汇聚单元)，井下一部机头安装一台矿用隔爆兼本安型基站控制器(BBU)。控制台旁边设电器备板车上安装矿用隔爆兼本安型基站控制器(RHUB)一台。乳化泵回液过滤器车安装一台5G基站；马蹄尔附近前第八台管线车上安装一台5G基站；工作面18架安装一台5G基站；工作面60架安装一台5G基站；工作面103架安装一台5G基站；采煤机机身安装一台CPE设备，包括发射天线。
本公开实施例中，980C交换机能够实现大容量5G网络接入、汇聚和传输。
第一基站控制器BBU又可以称为基带处理单元，集中控制管理整个基站系统。第一基站控制器BBU主要负责基带信号的处理，包括FFT/IFFT、调制/解调和信道编/解码等。第一基站控制器BBU支持插板式模块化结构。用户可以根据不同网络容量需求配置不同数目的基带处理单板，并能支持基带资源共享。
第二基站控制器RHUB是射频远端CPRI数据汇聚单元，实现第一基站控制器BBU与5G基站pRRU(pico Remote Radio Unit，远端汇聚单元)之间的接入桥接。具备与BBU25GE级联能力，具备8路pRRU接入能力。
本公开实施例中，5G基站可以为KT618(5G)-F矿用隔爆兼本安型基站pRRU，又称为射频远端处理单元，主要包括：高速接口模块、信号处理单元、功放单元、双工器单元、扩展接口和电源模块。该设备接收第二基站控制器RHUB发送的下行基带数据，并向第二基站控制器RHUB发送上行基带数据，实现与第一基站控制器BBU的通信。发送信号过程：将基带信号调制到发射频段，经滤波放大后，通过天线发射；接收信号过程：从天线接收射频信号，经将接收信号下变频至中频信号，并进行放大处理、模数转换(A/D转换)后发送给第一基站控制器BBU进行处理。支持外置天线。支持多频多模灵活配置。CPE设备负责将高速5G信号转换成WiFi信号与5G基站通讯。
交换机与基站控制器和中心云节点5的算法服务器联通，基站控制器与5G基站联通，5G基站与CPE设备联通，利用5G网络的低时延大带宽特点和灵活切片技术，实现边缘处理器3和云端服务器5的数据实时交互，完成边缘处理器3的数据上传和云端服务器5的算法下发。
云端服务器5包括彼此互相联通的数据库、算法服务器、客户端。数据库、算法服务 器和客户端均安装在地面，数据库负责数据管理、统计分析等功能。算法服务器负责状态识别、模型训练、任务创建。客户端实现状态监测的功能。
需要说明的是，上述采煤机智能控制系统所列举的设备，均可以设置一个或多个，设置位置可以根据需要进行调整，本公开实施例对此不作具体限制。
还需要说明的是，上述采煤机智能控制系统所列举的设备，仅作为示意，不作为对本公开实施例的具体限制，其中任一设备可以随着各设备的更新升级进行替换，在其功能相同的情况下，均属于本方案的保护范围。
本公开实施例，基于上述采煤机智能控制系统，提供一种煤岩界面识别模型训练方法和采煤机截割控制方法。
图2为本公开实施例提供的一种煤岩界面识别模型训练方法的流程图。
如图2所示，本公开实施例提供的煤岩界面识别模型训练方法，该方法由云端服务器执行，包括但不限于如下步骤：
S1：接收边缘处理器发送的样本煤岩分布和样本多模态数据；其中，样本多模态数据包括：样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截割视频数据。
本公开实施例中，可以通过霍尔大电流传感器，压力传感器，振动传感器，声音传感器，摄像仪，倾角传感器和位置编码器等测量装置，实时获取多模态数据和煤岩分布。
其中，通过霍尔大电流传感器获取截割电机电流数据，通过压力传感器获取升降油缸压力数据，通过振动传感器获取截割摇臂振动数据，通过声音传感器获取截割煤岩噪声数据，通过摄像仪获取滚筒截割视频数据，通过倾角传感器获取滚筒高度，通过位置编码器获取采煤机在工作面上的位置和牵引速度。
本公开实施例中，煤岩分布可以为滚筒高度、采煤机在工作面上的位置和牵引速度，或者根据滚筒高度、采煤机在工作面上的位置和牵引速度确定的煤岩分布位置和比例。
示例性实施例中，如图3所示，采煤机在工作面上进行煤层截割时，岩石可能成块状混杂分布在煤层中(如图3中(a))，在此情况下，煤岩分布可以为煤层和岩石位置分布以及比例；或者煤层与岩石成层状分布，不存在混杂，在此情况下，煤岩分布可以为全煤(如图3中(b))、全岩(如图3中(c))、顶板规则岩层(如图3中(d))、顶板不规则岩层(如图3中(e))、底板规则岩层(如图3中(f))、底板不规则岩层(如图3中(g))、上层夹矸(如图3中(h))、下层夹矸(如图3中(i))等。
需要说明的是，本公开实施例中，边缘处理器需要根据实时获取的多模态数据和煤岩分布确定样本多模态数据和样本煤岩分布，以发送至云端服务器，在云端服务器中根据样本多模态数据和样本煤岩分布对煤岩界面识别模型进行训练，以得到训练好的煤岩界面识别模型。
基于此，本公开实施例中，边缘处理器获取霍尔大电流传感器，压力传感器，振动传感器，声音传感器，摄像仪，倾角传感器和位置编码器等测量装置，实时采集的多模态数据和煤岩分布，可以对多模态数据进行预处理，例如：对摄像仪的视频采用Retinex图像增强算法对滚筒截割视频数据中的图像进行增强去噪。
示例性实施例中，边缘处理器中预先存储有记忆截割参数和记忆截割模板，记忆截割 参数为采煤机处于工作面不同位置进行截割时的滚筒高度和牵引速度，记忆截割模板为工作面顶底板曲线。
其中，采煤机可以根据记忆截割功能设置的记忆截割参数和记忆截割模板自主进行煤层截割。此时，霍尔大电流传感器，压力传感器，振动传感器，声音传感器，摄像仪，倾角传感器和位置编码器等测量装置，可以实时获取多模态数据和煤岩分布。
其中，在采煤机根据记忆截割功能设置的记忆截割参数和记忆截割模板自主进行煤层截割的过程中，可以基于人工干预，对采煤机进行截割时的滚筒高度和牵引速度进行控制，例如：通过人工遥控调节电液控和变频器，进而调节滚筒高度和牵引速度。
可以理解的是，在采煤机根据记忆截割功能设置的记忆截割参数和记忆截割模板自主进行煤层截割的过程中，若根据记忆截割参数和记忆截割模板自主进行煤层截割时，截割的为煤层，且采煤机牵引速度正常，此时人工可以判断工况正常，无需进行人工干预。而当采煤机根据记忆截割参数和记忆截割模板自主进行煤层截割的过程中，发现采煤机截割到顶板或底板，或采煤机牵引速度异常，此时可以进行人工干预，调节电液控和变频器，调节滚筒高度和牵引速度，以使采煤机正常进行煤层截割。
基于此，在记忆截割参数和记忆截割模板的基础上，结合人工干预，获取实时测量的多模态数据和煤岩分布，能够保证所获取的多模态数据和煤岩分布为正常工况下的数据。
进一步的，边缘处理器根据实时获取的多模态数据和煤岩分布，确定样本多模态数据和样本煤岩分布，其中，可以直接将实时获取的多模态数据和煤岩分布，确定为样本多模态数据和样本煤岩分布，或者，还可以对实时获取的多模态数据和煤岩分布进行预处理后，得到样本多模态数据和样本煤岩分布。
从而，边缘处理器将样本多模态数据和样本煤岩分布，发送至云端服务器，在云端服务中根据样本多模态数据和样本煤岩分布对煤岩界面识别模型进行训练，在训练样本数据准确度较高的情况下，能够获得更加符合工况的煤岩界面识别模型，以在后续使用煤岩界面识别模型进行预测时，能够得到更加准确的预测结果。
需要说明的是，本公开实施例中，样本多模态数据，还可以包括上述示例外的其他数据，例如，还包括：采煤机相关截割状态信息及预警信息：刮板运输机功率、放顶煤工作面倾向长度、初始煤层平均厚度、初始煤层倾角、初始煤层平均夹矸率、初始煤层可采指数和瓦斯浓度等。
其中，可以通过采用数字孪生的方法进行三维仿真建模，用来获取采煤机相关截割状态信息及预警信息。
本公开实施例中，边缘处理器发送样本煤岩分布和样本多模态数据至云端服务器，其中，边缘处理器可以通过5G网络层发送样本煤岩分布和样本多模态数据至云端服务器。5G网络具有低时延、大带宽和灵活切片的特点，通过5G网络层发送样本煤岩分布和样本多模态数据至云端服务器，能够实现边缘处理器和云端服务器数据交互，完成边缘处理器的数据上传和云端服务器的算法下发，且时延较小。
其中，5G网络层的设置，可以参见上述示例中的相关描述，此处不再赘述。
需要说明的是，本公开实施例中，边缘处理器可以实时获取样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截 割视频数据，实时发送至云端服务器。
S2：根据样本截割摇臂振动数据和样本截割煤岩噪声数据，获取样本载荷状态特征。
本公开实施例中，云端服务器接收到边缘处理器发送的样本样本截割摇臂振动数据和样本截割煤岩噪声数据之后，可以根据样本截割摇臂振动数据和样本截割煤岩噪声数据，获取样本载荷状态特征。
其中，调用预训练的GMM-UBM改进的高斯混合模型与SVM模型所组合GSV模型，根据样本截割煤岩噪声数据，获取声音特征，调用预训练的神经网络模型，根据样本截割摇臂振动数据，获取振动特征，将声音特征和振动特征进行特征融合，生成样本载荷状态特征。由此可以根据样本截割摇臂振动数据和样本截割煤岩噪声数据，获取样本载荷状态特征。
S3：根据样本滚筒截割视频数据，获取样本截割煤岩界面特征。
本公开实施例中，云端服务器接收到边缘处理器发送的样本滚筒截割视频数据之后，可以根据样本滚筒截割视频数据，获取样本截割煤岩界面特征。
其中，调用预训练的深度对抗网络(Adversarial Learnin)算法模型，根据样本滚筒截割视频数据，获取样本截割煤岩界面特征。
S4：根据样本截割电机电流数据和样本升降油缸压力数据，获取样本滚筒截割载荷特征。
本公开实施例中，云端服务器接收到边缘处理器发送的样本截割电机电流数据和样本升降油缸压力数据之后，可以根据样本截割电机电流数据和样本升降油缸压力数据，获取样本滚筒截割载荷特征。
其中，调用预训练的基于贝叶斯网络模型的负载特征模型，根据样本截割电机电流数据，判断电流变化与截割煤岩的关系。调用预训练的基于等效平均载荷原理的油缸压力模型，根据样本升降油缸压力数据，判断岩层相对滚筒的高度位置。
S5：调用煤岩界面识别模型，根据样本载荷状态特征、样本截割煤岩界面特征和样本滚筒截割载荷特征，进行决策级融合，生成样本预测煤岩分布。
本公开实施例中，采用协同表示的方法，基于相似性模型，将多模态中的每个模态分别映射到各自的表示空间，获取样本载荷状态特征、样本截割煤岩界面特征和样本滚筒截割载荷特征，调用基于生成对抗网络模型的煤岩界面识别模型，联合样本载荷状态特征、样本截割煤岩界面特征和样本滚筒截割载荷特征，进行决策级融合，进行目标预测，生成样本预测煤岩分布。
其中，根据截割电机电流负载特征模型，预测是否截割岩层，通过检测滚筒调高液压缸两腔压力油缸压力模型预测岩层的相对位置，并监测截割不同煤岩赋存条件下振动、噪声和视频的差异，进行决策级融合，生成样本预测煤岩分布。
S6：根据样本预测煤岩分布和样本煤岩分布，对煤岩界面识别模型进行模型训练更新，以得到训练好的煤岩界面识别模型。
本公开实施例中，云端服务器根据样本预测煤岩分布和样本煤岩分布，对煤岩界面识别模型进行模型训练更新，其中，样本预测煤岩分布为根据样本多模态数据预测得到的。
其中，根据样本预测煤岩分布和样本煤岩分布，对煤岩界面识别模型进行模型训练更 新，可以根据样本预测煤岩分布和样本煤岩分布，计算损失，进一步根据损失对煤岩界面识别模型进行模型参数更新，在计算损失小于一定时，说明此时煤岩界面识别模型识别的精度较高且稳定，从而得到训练好的煤岩界面识别模型。
为方便理解，本公开实施例提供一示例性实施例。
如图4所示，边缘处理器获取多模态传感器设备发送的实时多模态数据，例如：通过霍尔大电流传感器获取截割电机电流数据，通过压力传感器获取升降油缸压力数据，通过振动传感器获取截割摇臂振动数据，通过声音传感器获取截割煤岩噪声数据，通过摄像仪获取滚筒截割视频数据，通过倾角传感器获取滚筒高度，通过位置编码器获取采煤机在工作面上的位置和牵引速度。
边缘处理器可以对实时获取的多模态数据进行预处理，其中，预处理可以为结合人工干预与记忆截割模板、记忆截割参数，得到样本多模态数据和样本煤岩分布，之后进行数据上传，通过5G网络层发送至云端服务器。
云端服务器接收边缘处理器发送的样本煤岩分布和样本多模态数据；其中，样本多模态数据包括：样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截割视频数据。
之后，根据样本截割摇臂振动数据和样本截割煤岩噪声数据，获取样本载荷状态特征；根据样本滚筒截割视频数据，获取样本截割煤岩界面特征；根据样本截割电机电流数据和样本升降油缸压力数据，获取样本滚筒截割载荷特征；调用煤岩界面识别模型，根据样本载荷状态特征、样本截割煤岩界面特征和样本滚筒截割载荷特征，进行决策级融合，生成样本预测煤岩分布；根据样本预测煤岩分布和样本煤岩分布，对煤岩界面识别模型进行模型训练更新，以得到训练好的煤岩界面识别模型。
云端服务器在获取训练好的煤岩界面识别模型的情况下，可以进行模型部署，将训练好的煤岩界面识别模型发送至边缘处理器，通过5G网络层发送至边缘处理器。
边缘处理器可以使用训练好的煤岩界面识别模型，根据实时获取的多模态数据，进行预测煤岩分布，进一步的，对记忆截割模板和记忆截割参数进行校准，得到采煤机进行煤层截割时的滚筒高度和牵引速度。进一步的，边缘处理器可以将滚筒高度和牵引速度发送至采煤机控制器，控制采煤机按照滚筒高度和牵引速度进行煤层截割。由此，基于5G工业互联网和云边融合的应用可以大幅提高煤岩界面识别模型的训练效率和准确性，能够提高智能截割控制的稳定性。
本公开实施例中，对煤岩界面识别模型的训练，采用闭环迭代、循环收敛的方式进行训练，结合人工干预控制参数，基于云边协同的技术，实现高效的模型训练、部署和控制，并且自适应截割状态提取最优控制参数，对记忆截割参数和记忆截割模板进行修正。
通过实施本公开实施例，接收边缘处理器发送的样本煤岩分布和样本多模态数据；其中，样本多模态数据包括：样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截割视频数据；根据样本截割摇臂振动数据和样本截割煤岩噪声数据，获取样本载荷状态特征；根据样本滚筒截割视频数据，获取样本截割煤岩界面特征；根据样本截割电机电流数据和样本升降油缸压力数据，获取样本滚筒截割载荷特征；调用煤岩界面识别模型，根据样本载荷状态特征、样本截割煤岩界 面特征和样本滚筒截割载荷特征，进行决策级融合，生成样本预测煤岩分布；根据样本预测煤岩分布和样本煤岩分布，对煤岩界面识别模型进行模型训练更新，以得到训练好的煤岩界面识别模型。由此，能够结合实时工况，根据多模态数据，实时在线训练煤岩界面识别模型，能够提高煤岩界面识别模型的训练效率和准确度。
如图5所示，在一些实施例中，S2：根据样本截割摇臂振动数据和样本截割煤岩噪声数据，获取样本载荷状态特征，包括：
S21：获取训练好的振动频谱模型和训练好的声音识别模型。
本公开实施例中，训练好的振动频谱模型，可以为训练好的GMM-UBM改进的高斯混合模型与SVM模型所组合GSV模型；训练好的声音识别模型，可以为训练好的神经网络模型。
其中，获取训练好的振动频谱模型，可以预先获取振动数据和振动数据对应的振动特征，将振动数据输入至振动频谱模型，得到预测振动特征，根据振动特征和预测振动特征，对振动频谱模型进行参数更新。其中，可以计算振动特征和预测振动特征的振动损失，对振动频谱模型进行参数更新，在振动损失满足振动优化条件的情况下，确定得到训练好的振动频谱模型。基于此，获取训练好的振动频谱模型。
本公开实施例中，获取训练好的振动频谱模型的方法，还可以参见相关技术中的方法，不限于本公开实施例提供的方法，本公开实施例对此不作具体限制。
其中，获取训练好的声音识别模型，可以预先获取音频数据和音频数据对应的音频特征，将音频数据输入至声音识别模型，得到预测音频特征，根据音频特征和预测音频特征，对声音识别模型进行参数更新。其中，可以计算音频特征和预测音频特征的音频损失，对声音识别模型进行参数更新，在音频损失满足音频优化条件的情况下，确定得到训练好的声音识别模型。基于此，获取训练好的声音识别模型。
本公开实施例中，获取训练好的声音识别模型的方法，还可以参见相关技术中的方法，不限于本公开实施例提供的方法，本公开实施例对此不作具体限制。
S22：调用训练好的振动频谱模型，根据样本截割摇臂振动数据，获取样本振动特征。
S23：调用训练好的声音识别模型，根据样本截割煤岩噪声数据，获取样本声音特征。
本公开实施例中，在获取训练好的振动频谱模型和训练好的声音识别模型的情况下，进一步的，调用训练好的振动频谱模型，根据样本截割摇臂振动数据，获取样本振动特征。调用训练好的声音识别模型，根据样本截割煤岩噪声数据，获取样本声音特征。
S24：将样本振动特征和样本声音特征进行特征级融合，获取样本载荷状态特征。
本公开实施例中，在获取样本振动特征和样本声音特征的情况下，将样本振动特征和样本声音特征进行特征级融合，获取样本载荷状态特征。由此，可以根据样本截割摇臂振动数据和样本截割煤岩噪声数据，获取样本载荷状态特征。
如图6所示，在一些实施例中，S3：根据样本滚筒截割视频数据，获取样本截割煤岩界面特征，包括：
S31：获取训练好的深度对抗网络模型。
其中，获取训练好的深度对抗网络模型，可以预先获取视频数据和视频数据对应的截割煤岩界面特征，将视频数据输入至深度对抗网络模型，得到预测截割煤岩界面特征，根 据截割煤岩界面特征和预测截割煤岩界面特征，对深度对抗网络模型进行参数更新。其中，可以计算截割煤岩界面特征和预测截割煤岩界面特征的视频损失，对深度对抗网络模型进行参数更新，在视频损失满足视频优化条件的情况下，确定得到训练好的深度对抗网络模型。基于此，获取训练好的深度对抗网络模型。
本公开实施例中，获取训练好的深度对抗网络模型的方法，还可以参见相关技术中的方法，不限于本公开实施例提供的方法，本公开实施例对此不作具体限制。
S32：调用训练好的深度对抗网络模型，根据样本滚筒截割视频数据，获取样本截割煤岩界面特征。
本公开实施例中，在获取训练好的深度对抗网络模型的情况下，进一步的，调用训练好的深度对抗网络模型，根据样本滚筒截割视频数据，获取样本截割煤岩界面特征。
如图7所示，在一些实施例中，S4：根据样本截割电机电流数据和样本升降油缸压力数据，获取样本滚筒截割载荷特征，包括：
S41：获取训练好的载荷特征模型。
本公开实施例中，训练好的载荷特征模型，可以为训练好的贝叶斯网络模型。
其中，获取训练好的载荷特征模型，可以预先获取截割电机电流数据和升降油缸压力数据，以及截割电机电流数据和升降油缸压力数据对应的滚筒截割载荷特征，将截割电机电流数据和升降油缸压力数据输入至载荷特征模型，得到预测滚筒截割载荷特征，根据滚筒截割载荷特征和预测滚筒截割载荷特征，对载荷特征模型进行参数更新。其中，可以计算滚筒截割载荷特征和预测滚筒截割载荷特征的载荷损失，对载荷特征模型进行参数更新，在载荷损失满足振动优化条件的情况下，确定得到训练好的载荷特征模型。基于此，获取训练好的载荷特征模型。
本公开实施例中，获取训练好的载荷特征模型的方法，还可以参见相关技术中的方法，不限于本公开实施例提供的方法，本公开实施例对此不作具体限制。
S42：调用训练好的载荷特征模型，根据样本截割电机电流数据和样本升降油缸压力数据，获取样本滚筒截割载荷特征。
本公开实施例中，在获取训练好的载荷特征模型的情况下，进一步的，调用训练好的载荷特征模型，根据样本截割电机电流数据和样本升降油缸压力数据，获取样本滚筒截割载荷特征。
图8为本公开实施例提供的一种采煤机截割控制方法的流程图。
如图8所示，本公开实施例提供的采煤机截割控制方法，该方法由边缘处理器执行，包括但不限于如下步骤：
S10：接收云端服务器发送的训练好的煤岩界面识别模型；其中，训练好的煤岩界面识别模型为采用上述实施例中的方法训练得到的。
本公开实施例中，边缘处理器接收云端服务器发送的训练好的煤岩界面识别模型，边缘处理器可以通过5G网络层接收云端服务器发送的训练好的煤岩界面识别模型，5G网络具有低时延、大带宽和灵活切片的特点，通过5G网络层接收云端服务器发送的训练好的煤岩界面识别模型，可以快速完成模型部署，以用于后续的采煤机截割预测，控制采煤机进行煤层截割。
其中，训练好的煤岩界面识别模型为采用上述实施例中的方法训练得到的，上述实施例中的方法可以参见上述实施例的相关描述，此处不再赘述。
S20：获取截割电机电流数据、升降油缸压力数据、截割摇臂振动数据、截割煤岩噪声数据以及滚筒截割视频数据。
本公开实施例中，可以实时获取截割电机电流数据、升降油缸压力数据、截割摇臂振动数据、截割煤岩噪声数据以及滚筒截割视频数据。
如图9所示，在一些实施例中，S20：获取截割电机电流数据、升降油缸压力数据、截割摇臂振动数据、截割煤岩噪声数据以及滚筒截割视频数据，包括：
S201：通过设置在截割电机上的电流传感器，获取截割电机电流数据。
S202：通过设置在截割臂升降油缸内的压力传感器，获取升降油缸压力数据。
S203：通过设置在截割臂上的振动传感器，获取截割摇臂振动数据。
S204：通过设置在摇臂底部的声音传感器采集截割煤壁的声音信号，获取截割煤岩噪声数据。
S205：通过设置在摇臂底部的视频采集装置采集截割的煤岩图像，获取滚筒截割视频数据。
本公开实施例中，可以通过设置在截割电机上的电流传感器，获取截割电机电流数据。其中，电流传感器可以为霍尔大电流传感器。可以通过设置在截割臂升降油缸内的压力传感器，获取升降油缸压力数据。可以通过设置在截割臂上的振动传感器，获取截割摇臂振动数据。可以通过设置在摇臂底部的声音传感器采集截割煤壁的声音信号，获取截割煤岩噪声数据。可以通过设置在摇臂底部的视频采集装置采集截割的煤岩图像，获取滚筒截割视频数据。
可以理解的是，本公开实施例中，通过上述多媒体传感器装置获取多模态数据，可以实时获取，从而，能够获取实时的工况，使得后续进行预测时，所得到的预测结果更加满足实际工况的需求，能够提高预测的准确性。
在一些实施例中，本公开实施例提供的采煤机截割控制方法，还包括：接收云端服务器发送的训练好的振动频谱模型、训练好的声音识别模型、训练好的深度对抗网络模型和训练好的载荷特征模型。
本公开实施例中，边缘处理器接收云端服务器发送的训练好的振动频谱模型、训练好的声音识别模型、训练好的深度对抗网络模型和训练好的载荷特征模型，边缘处理器可以通过5G网络层接收云端服务器发送的训练好的振动频谱模型、训练好的声音识别模型、训练好的深度对抗网络模型和训练好的载荷特征模型，5G网络具有低时延、大带宽和灵活切片的特点，通过5G网络层接收云端服务器发送的训练好的振动频谱模型、训练好的声音识别模型、训练好的深度对抗网络模型和训练好的载荷特征模型，可以快速完成模型部署，以用于后续的采煤机截割预测，控制采煤机进行煤层截割。
可以理解的是，云端服务器将训练好的振动频谱模型、训练好的声音识别模型、训练好的深度对抗网络模型和训练好的载荷特征模型发送给边缘处理器，振动频谱模型、声音识别模型、深度对抗网络模型和载荷特征模型可以在云端服务器中完成训练过程。
S30：根据截割摇臂振动数据和截割煤岩噪声数据，获取载荷状态特征。
本公开实施例中，调用训练好的振动频谱模型，根据截割摇臂振动数据，生成振动特征，调用训练好的声音识别模型，根据截割煤岩噪声数据，生成音频特征，之后，将振动特征和声音特征进行特征级融合，获取载荷状态特征。
S40：根据滚筒截割视频数据，获取截割煤岩界面特征。
本公开实施例中，调用训练好的深度对抗网络模型，根据滚筒截割视频数据，获取截割煤岩界面特征。
S50：根据截割电机电流数据和升降油缸压力数据，获取滚筒截割载荷特征。
本公开实施例中，调用训练好的载荷特征模型，根据截割电机电流数据和升降油缸压力数据，获取滚筒截割载荷特征。
S60：调用训练好的煤岩界面识别模型，根据载荷状态特征、截割煤岩界面特征和滚筒截割载荷特征，生成预测煤岩分布。
本公开实施例中，在获取载荷状态特征、截割煤岩界面特征和滚筒截割载荷特征的情况下，调用训练好的煤岩界面识别模型，根据载荷状态特征、截割煤岩界面特征和滚筒截割载荷特征，生成预测煤岩分布。
S70：根据预测煤岩分布，确定目标滚筒高度和目标牵引速度。
本公开实施例中，根据预测煤岩分布，确定目标滚筒高度和目标牵引速度。可以理解的是，不同预测煤岩分布的情况下，对应的滚筒高度和牵引速度不同，根据基于深度确定性策略梯度算法DDPG和自适应截割控制策略，确定目标滚筒高度和目标牵引速度。
其中，深度确定性策略梯度算法DDPG和自适应截割控制策略可以预设根据需要进行设置，可以预先训练或者制定，本公开实施例对此不作具体限制。
本公开实施例中，边缘处理器还可以根据预测煤岩分布，确定目标顶底板截割曲线。
S80：将目标滚筒高度和目标牵引速度发送至采煤机控制器，以控制采煤机进行煤层截割。
本公开实施例中，在获得目标滚筒高度和目标牵引速度的情况下，进一步的将目标滚筒高度和目标牵引速度发送至采煤机控制器，以控制采煤机进行煤层截割。由此，能够实现对采煤机的煤岩分布进行预测，并且根据预测结果对采煤机进行智能截割控制，符合实时工况，准确度较高。
在一些实施例中，本公开实施例提供的采煤机截割控制方法，还包括：获取样本煤岩分布和样本多模态数据，以发送至云端服务器获取训练好的煤岩界面识别模型；其中，样本多模态数据包括：样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截割视频数据。
本公开实施例中，边缘处理器还获取样本煤岩分布和样本多模态数据，发送至云端服务器，以在云端服务器进行模型训练，获取训练好的煤岩界面识别模型。
本公开实施例中，煤岩分布可以为滚筒高度、采煤机在工作面上的位置和牵引速度，或者根据滚筒高度、采煤机在工作面上的位置和牵引速度确定的煤岩分布位置和比例。
其中，获取样本煤岩分布，可以通过倾角传感器获取滚筒高度，通过位置编码器获取采煤机在工作面上的位置和牵引速度，进一步确定样本煤岩分布。
其中，样本多模态数据的获取方法，可以参见上述实施例中的相关描述，此处不再赘 述。
如图10所示，在一些实施例中，获取样本煤岩分布和样本多模态数据，包括：
S100：确定记忆顶底板截割曲线、记忆滚筒高度和记忆牵引速度。
本公开实施例中，可以在边缘处理器中存储记忆顶底板截割曲线、记忆滚筒高度和记忆牵引速度，其中，记忆顶底板截割曲线、记忆滚筒高度和记忆牵引速度可以采用相关技术中的方法进行获取，预先存储在边缘处理器中。
S200：获取预设条件下，采煤机进行煤层截割的实时截割电机电流数据、实时升降油缸压力数据、实时截割摇臂振动数据、实时截割煤岩噪声数据、实时滚筒截割视频数据、实时顶底板截割曲线、实时滚筒高度和实时牵引速度；其中，预设条件为基于人工干预的记忆顶底板截割曲线、记忆滚筒高度和记忆牵引速度。
本公开实施例中，采煤机可以根据记忆截割功能设置的记忆顶底板截割曲线、记忆滚筒高度和记忆牵引速度自主进行煤层截割。此时，霍尔大电流传感器，压力传感器，振动传感器，声音传感器，摄像仪，倾角传感器和位置编码器等测量装置，可以实时获取多模态数据和煤岩分布。
其中，在采煤机根据记忆截割功能设置的记忆截割参数和记忆截割模板自主进行煤层截割的过程中，可以基于人工干预，对采煤机进行截割时的滚筒高度和牵引速度进行控制，例如：通过人工遥控电液控和变频器，进而调节滚筒高度和牵引速度。
可以理解的是，在采煤机根据记忆截割功能设置的记忆截割参数和记忆截割模板自主进行煤层截割的过程中，若根据记忆截割参数和记忆截割模板自主进行煤层截割时，截割的为煤层，且采煤机牵引速度正常，此时人工可以判断工况正常，无需进行人工干预。而当采煤机根据记忆截割参数和记忆截割模板自主进行煤层截割的过程中，发现采煤机截割到顶板或底板，或采煤机牵引速度异常，此时可以进行人工干预，调节电液控和变频器，调节滚筒高度和牵引速度，以使采煤机正常进行煤层截割。
基于此，在记忆截割参数和记忆截割模板的基础上，结合人工干预，获取实时测量的多模态数据和煤岩分布，能够保证所获取的多模态数据和煤岩分布为正常工况下的数据。
S300：根据实时顶底板截割曲线、实时滚筒高度和实时牵引速度，确定样本煤岩分布。
本公开实施例中，根据实时顶底板截割曲线、实时滚筒高度和实时牵引速度，确定样本煤岩分布。
可以理解的是，不同预测煤岩分布的情况下，对应的滚筒高度和牵引速度不同，根据实时顶底板截割曲线、实时滚筒高度和实时牵引速度，可以确定样本煤岩分布。
S400：确定实时截割电机电流数据为样本截割电机电流数据，实时升降油缸压力数据为样本升降油缸压力数据，实时截割摇臂振动数据为样本截割摇臂振动数据，实时截割煤岩噪声数据为样本截割煤岩噪声数据，实时滚筒截割视频数据为样本滚筒截割视频数据。
本公开实施例中，边缘处理器根据实时获取的多模态数据和煤岩分布，确定样本多模态数据和样本煤岩分布，其中，可以直接将实时获取的多模态数据和煤岩分布，确定为样本多模态数据和样本煤岩分布，或者，还可以对实时获取的多模态数据和煤岩分布进行预处理后，得到样本多模态数据和样本煤岩分布。
边缘处理器将样本多模态数据和样本煤岩分布，发送至云端服务器，在云端服务器中 根据样本多模态数据和样本煤岩分布对煤岩界面识别模型进行训练，在训练样本数据准确度较高的情况下，能够获得更加符合工况的煤岩界面识别模型，以在后续使用煤岩界面识别模型进行预测时，能够得到更加准确的预测结果。
图11为本公开实施例提供的一种煤岩界面识别模型训练装置的结构图。
如图11所示，该煤岩界面识别模型训练装置100，包括：数据接收单元101、第一处理单元102、第二处理单元103、第三处理单元104、第四处理单元105和训练更新单元106。
数据接收单元101，被配置为接收边缘处理器发送的样本煤岩分布和样本多模态数据；其中，样本多模态数据包括：样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截割视频数据。
第一处理单元102，被配置为根据样本截割摇臂振动数据和样本截割煤岩噪声数据，获取样本载荷状态特征。
第二处理单元103，被配置为根据样本滚筒截割视频数据，获取样本截割煤岩界面特征。
第三处理单元104，被配置为根据样本截割电机电流数据和样本升降油缸压力数据，获取样本滚筒截割载荷特征。
第四处理单元105，被配置为调用煤岩界面识别模型，根据样本载荷状态特征、样本截割煤岩界面特征和样本滚筒截割载荷特征，进行决策级融合，生成样本预测煤岩分布。
训练更新单元106，被配置为根据样本预测煤岩分布和样本煤岩分布，对煤岩界面识别模型进行模型训练更新，以得到训练好的煤岩界面识别模型。
如图12所示，在一些实施例中，第一处理单元102，包括：第一模型获取模块1021、样本振动特征获取模块1022、样本声音特征获取模块1023和载荷特征融合模块1024。
第一模型获取模块1021，被配置为获取训练好的振动频谱模型和训练好的声音识别模型。
样本振动特征获取模块1022，被配置为调用训练好的振动频谱模型，根据样本截割摇臂振动数据，获取样本振动特征。
样本声音特征获取模块1023，被配置为调用训练好的声音识别模型，根据样本截割煤岩噪声数据，获取样本声音特征。
载荷特征融合模块1024，被配置为将样本振动特征和样本声音特征进行特征级融合，获取样本载荷状态特征。
如图13所示，在一些实施例中，第二处理单元103，包括：第二模型获取模块1031和界面特征融合模块1032。
第二模型获取模块1031，被配置为获取训练好的深度对抗网络模型。
界面特征融合模块1032，被配置为调用训练好的深度对抗网络模型，根据样本滚筒截割视频数据，获取样本截割煤岩界面特征。
如图14所示，在一些实施例中，第三处理单元104，包括：第三模型获取模块1041和截割特征融合模块1042。
第三模型获取模块1041，被配置为获取训练好的载荷特征模型。
截割特征融合模块1042，被配置为调用训练好的载荷特征模型，根据样本截割电机电流数据和样本升降油缸压力数据，获取样本滚筒截割载荷特征。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例中煤岩界面识别模型训练装置所能取得的有益效果与上述示例煤岩界面识别模型训练方法所能取得的有益效果相同，此处不再赘述。
图15为本公开实施例提供的一种采煤机截割控制装置的结构图。
如图15所示，该采煤机截割控制装置1000，包括：第一模型接收单元1001、数据获取单元1002、第一特征获取单元1003、第二特征获取单元1004、第三特征获取单元1005、预测单元1006、数据确定单元1007和数据发送单元1008。
第一模型接收单元1001，被配置为接收云端服务器发送的训练好的煤岩界面识别模型；其中，训练好的煤岩界面识别模型为采用如权利要求1至4中任一项的方法训练得到的。
数据获取单元1002，被配置为获取截割电机电流数据、升降油缸压力数据、截割摇臂振动数据、截割煤岩噪声数据以及滚筒截割视频数据。
第一特征获取单元1003，被配置为根据截割摇臂振动数据和截割煤岩噪声数据，获取载荷状态特征。
第二特征获取单元1004，被配置为根据滚筒截割视频数据，获取截割煤岩界面特征。
第三特征获取单元1005，被配置为根据截割电机电流数据和升降油缸压力数据，获取滚筒截割载荷特征。
预测单元1006，被配置为调用训练好的煤岩界面识别模型，根据载荷状态特征、截割煤岩界面特征和滚筒截割载荷特征，生成预测煤岩分布。
数据确定单元1007，被配置为根据预测煤岩分布，确定目标滚筒高度和目标牵引速度。
数据发送单元1008，被配置为将目标滚筒高度和目标牵引速度发送至采煤机控制器，以控制采煤机进行煤层截割。
如图16所示，在一些实施例中，数据获取单元1002，包括：电流获取模块10021、压力获取模块10022、振动获取模块10023、噪声获取模块10024和图像获取模块10025。
电流获取模块10021，被配置为通过设置在截割电机上的电流传感器，获取截割电机电流数据。
压力获取模块10022，被配置为通过设置在截割臂升降油缸内的压力传感器，获取升降油缸压力数据。
振动获取模块10023，被配置为通过设置在截割臂上的振动传感器，获取截割摇臂振动数据。
噪声获取模块10024，被配置为通过设置在摇臂底部的声音传感器采集截割煤壁的声音信号，获取截割煤岩噪声数据。
图像获取模块10025，被配置为通过设置在摇臂底部的视频采集装置采集截割的煤岩图像，获取滚筒截割视频数据。
如图17所示，在一些实施例中，该采煤机截割控制装置1000，还包括：第二模型接收单元1009。
第二模型接收单元1009，被配置为接收云端服务器发送的训练好的振动频谱模型、训练好的声音识别模型、训练好的深度对抗网络模型和训练好的载荷特征模型。
请继续参见图17，在一些实施例中，该采煤机截割控制装置1000，还包括：样本数据获取单元1010。
样本数据获取单元1010，被配置为获取样本煤岩分布和样本多模态数据，以发送至云端服务器获取训练好的煤岩界面识别模型；其中，样本多模态数据包括：样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截割视频数据。
如图18所示，在一些实施例中，样本数据获取单元1010，包括：记忆数据确定模块10101、实时数据获取模块10102、煤岩分布确定模块10103和样本数据确定模块10104。
记忆数据确定模块10101，被配置为确定记忆顶底板截割曲线、记忆滚筒高度和记忆牵引速度。
实时数据获取模块10102，被配置为获取预设条件下，采煤机进行煤层截割的实时截割电机电流数据、实时升降油缸压力数据、实时截割摇臂振动数据、实时截割煤岩噪声数据、实时滚筒截割视频数据、实时顶底板截割曲线、实时滚筒高度和实时牵引速度；其中，预设条件为基于人工干预的记忆顶底板截割曲线、记忆滚筒高度和记忆牵引速度。
煤岩分布确定模块10103，被配置为根据实时顶底板截割曲线、实时滚筒高度和实时牵引速度，确定样本煤岩分布。
样本数据确定模块10104，被配置为确定实时截割电机电流数据为样本截割电机电流数据，实时升降油缸压力数据为样本升降油缸压力数据，实时截割摇臂振动数据为样本截割摇臂振动数据，实时截割煤岩噪声数据为样本截割煤岩噪声数据，实时滚筒截割视频数据为样本滚筒截割视频数据。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例中采煤机截割控制装置所能取得的有益效果与上述示例采煤机截割控制方法所能取得的有益效果相同，此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“示 例性实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各 个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

  1. 一种煤岩界面识别模型训练方法，其特征在于，所述方法由云端服务器执行，包括：
    接收边缘处理器发送的样本煤岩分布和样本多模态数据；其中，所述样本多模态数据包括：样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截割视频数据；
    根据所述样本截割摇臂振动数据和所述样本截割煤岩噪声数据，获取样本载荷状态特征；
    根据所述样本滚筒截割视频数据，获取样本截割煤岩界面特征；
    根据所述样本截割电机电流数据和所述样本升降油缸压力数据，获取样本滚筒截割载荷特征；
    调用煤岩界面识别模型，根据所述样本载荷状态特征、所述样本截割煤岩界面特征和所述样本滚筒截割载荷特征，进行决策级融合，生成样本预测煤岩分布；
    根据所述样本预测煤岩分布和所述样本煤岩分布，对所述煤岩界面识别模型进行模型训练更新，以得到训练好的煤岩界面识别模型。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述样本截割摇臂振动数据和所述样本截割煤岩噪声数据，获取样本载荷状态特征，包括：
    获取训练好的振动频谱模型和训练好的声音识别模型；
    调用所述训练好的振动频谱模型，根据所述样本截割摇臂振动数据，获取样本振动特征；
    调用所述训练好的声音识别模型，根据所述样本截割煤岩噪声数据，获取样本声音特征；
    将所述样本振动特征和所述样本声音特征进行特征级融合，获取所述样本载荷状态特征。
  3. 根据权利要求1所述的方法，其特征在于，所述根据所述样本滚筒截割视频数据，获取样本截割煤岩界面特征，包括：
    获取训练好的深度对抗网络模型；
    调用所述训练好的深度对抗网络模型，根据所述样本滚筒截割视频数据，获取所述样本截割煤岩界面特征。
  4. 根据权利要求1所述的方法，其特征在于，所述根据所述样本截割电机电流数据和所述样本升降油缸压力数据，获取样本滚筒截割载荷特征，包括：
    获取训练好的载荷特征模型；
    调用所述训练好的载荷特征模型，根据所述样本截割电机电流数据和所述样本升降油缸压力数据，获取所述样本滚筒截割载荷特征。
  5. 一种采煤机截割控制方法，其特征在于，所述方法由边缘处理器执行，包括：
    接收云端服务器发送的训练好的煤岩界面识别模型；其中，所述训练好的煤岩界面识别模型为采用如权利要求1至4中任一项所述的方法训练得到的；
    获取截割电机电流数据、升降油缸压力数据、截割摇臂振动数据、截割煤岩噪声数据 以及滚筒截割视频数据；
    根据所述截割摇臂振动数据和所述截割煤岩噪声数据，获取载荷状态特征；
    根据所述滚筒截割视频数据，获取截割煤岩界面特征；
    根据所述截割电机电流数据和所述升降油缸压力数据，获取滚筒截割载荷特征；
    调用所述训练好的煤岩界面识别模型，根据所述载荷状态特征、所述截割煤岩界面特征和所述滚筒截割载荷特征，生成预测煤岩分布；
    根据所述预测煤岩分布，确定目标滚筒高度和目标牵引速度；
    将所述目标滚筒高度和所述目标牵引速度发送至采煤机控制器，以控制采煤机进行煤层截割。
  6. 根据权利要求5所述的方法，其特征在于，所述获取截割电机电流数据、升降油缸压力数据、截割摇臂振动数据、截割煤岩噪声数据以及滚筒截割视频数据，包括：
    通过设置在截割电机上的电流传感器，获取所述截割电机电流数据；
    通过设置在截割臂升降油缸内的压力传感器，获取所述升降油缸压力数据；
    通过设置在截割臂上的振动传感器，获取所述截割摇臂振动数据；
    通过设置在摇臂底部的声音传感器采集截割煤壁的声音信号，获取所述截割煤岩噪声数据；
    通过设置在摇臂底部的视频采集装置采集截割的煤岩图像，获取所述滚筒截割视频数据。
  7. 根据权利要求5所述的方法，其特征在于，所述方法，还包括：
    接收所述云端服务器发送的训练好的振动频谱模型、训练好的声音识别模型、训练好的深度对抗网络模型和训练好的载荷特征模型。
  8. 根据权利要求5所述的方法，其特征在于，所述方法，还包括：
    获取样本煤岩分布和样本多模态数据，以发送至所述云端服务器获取所述训练好的煤岩界面识别模型；其中，所述样本多模态数据包括：样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截割视频数据。
  9. 根据权利要求8所述的方法，其特征在于，所述获取样本煤岩分布和样本多模态数据，包括：
    确定记忆顶底板截割曲线、记忆滚筒高度和记忆牵引速度；
    获取预设条件下，所述采煤机进行煤层截割的实时截割电机电流数据、实时升降油缸压力数据、实时截割摇臂振动数据、实时截割煤岩噪声数据、实时滚筒截割视频数据、实时顶底板截割曲线、实时滚筒高度和实时牵引速度；其中，所述预设条件为基于人工干预的所述记忆顶底板截割曲线、所述记忆滚筒高度和所述记忆牵引速度；
    根据所述实时顶底板截割曲线、所述实时滚筒高度和所述实时牵引速度，确定所述样本煤岩分布；
    确定所述实时截割电机电流数据为所述样本截割电机电流数据，所述实时升降油缸压力数据为所述样本升降油缸压力数据，所述实时截割摇臂振动数据为所述样本截割摇臂振动数据，所述实时截割煤岩噪声数据为所述样本截割煤岩噪声数据，所述实时滚筒截割视频数据为所述样本滚筒截割视频数据。
  10. 一种煤岩界面识别模型训练装置，其特征在于，包括：
    数据接收单元，被配置为接收边缘处理器发送的样本煤岩分布和样本多模态数据；其中，所述样本多模态数据包括：样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截割视频数据；
    第一处理单元，被配置为根据所述样本截割摇臂振动数据和所述样本截割煤岩噪声数据，获取样本载荷状态特征；
    第二处理单元，被配置为根据所述样本滚筒截割视频数据，获取样本截割煤岩界面特征；
    第三处理单元，被配置为根据所述样本截割电机电流数据和所述样本升降油缸压力数据，获取样本滚筒截割载荷特征；
    第四处理单元，被配置为调用煤岩界面识别模型，根据所述样本载荷状态特征、所述样本截割煤岩界面特征和所述样本滚筒截割载荷特征，进行决策级融合，生成样本预测煤岩分布；
    训练更新单元，被配置为根据所述样本预测煤岩分布和所述样本煤岩分布，对所述煤岩界面识别模型进行模型训练更新，以得到训练好的煤岩界面识别模型。
  11. 根据权利要求10所述的装置，其特征在于，所述第一处理单元，包括：
    第一模型获取模块，被配置为获取训练好的振动频谱模型和训练好的声音识别模型；
    样本振动特征获取模块，被配置为调用所述训练好的振动频谱模型，根据所述样本截割摇臂振动数据，获取样本振动特征；
    样本声音特征获取模块，被配置为调用所述训练好的声音识别模型，根据所述样本截割煤岩噪声数据，获取样本声音特征；
    载荷特征融合模块，被配置为将所述样本振动特征和所述样本声音特征进行特征级融合，获取所述样本载荷状态特征。
  12. 根据权利要求10所述的装置，其特征在于，所述第二处理单元，包括：
    第二模型获取模块，被配置为获取训练好的深度对抗网络模型；
    界面特征融合模块，被配置为调用所述训练好的深度对抗网络模型，根据所述样本滚筒截割视频数据，获取所述样本截割煤岩界面特征。
  13. 根据权利要求10所述的装置，其特征在于，所述第三处理单元，包括：
    第三模型获取模块，被配置为获取训练好的载荷特征模型；
    截割特征融合模块，被配置为调用所述训练好的载荷特征模型，根据所述样本截割电机电流数据和所述样本升降油缸压力数据，获取所述样本滚筒截割载荷特征。
  14. 一种采煤机截割控制装置，其特征在于，包括：
    第一模型接收单元，被配置为接收云端服务器发送的训练好的煤岩界面识别模型；其中，所述训练好的煤岩界面识别模型为采用如权利要求1至4中任一项所述的方法训练得到的；
    数据获取单元，被配置为获取截割电机电流数据、升降油缸压力数据、截割摇臂振动数据、截割煤岩噪声数据以及滚筒截割视频数据；
    第一特征获取单元，被配置为根据所述截割摇臂振动数据和所述截割煤岩噪声数据， 获取载荷状态特征；
    第二特征获取单元，被配置为根据所述滚筒截割视频数据，获取截割煤岩界面特征；
    第三特征获取单元，被配置为根据所述截割电机电流数据和所述升降油缸压力数据，获取滚筒截割载荷特征；
    预测单元，被配置为调用所述训练好的煤岩界面识别模型，根据所述载荷状态特征、所述截割煤岩界面特征和所述滚筒截割载荷特征，生成预测煤岩分布；
    数据确定单元，被配置为根据所述预测煤岩分布，确定目标滚筒高度和目标牵引速度；
    数据发送单元，被配置为将所述目标滚筒高度和所述目标牵引速度发送至采煤机控制器，以控制采煤机进行煤层截割。
  15. 根据权利要求14所述的装置，其特征在于，所述数据获取单元，包括：
    电流获取模块，被配置为通过设置在截割电机上的电流传感器，获取所述截割电机电流数据；
    压力获取模块，被配置为通过设置在截割臂升降油缸内的压力传感器，获取所述升降油缸压力数据；
    振动获取模块，被配置为通过设置在截割臂上的振动传感器，获取所述截割摇臂振动数据；
    噪声获取模块，被配置为通过设置在摇臂底部的声音传感器采集截割煤壁的声音信号，获取所述截割煤岩噪声数据；
    图像获取模块，被配置为通过设置在摇臂底部的视频采集装置采集截割的煤岩图像，获取所述滚筒截割视频数据。
  16. 根据权利要求14所述的装置，其特征在于，所述装置，还包括：
    第二模型接收单元，被配置为接收所述云端服务器发送的训练好的振动频谱模型、训练好的声音识别模型、训练好的深度对抗网络模型和训练好的载荷特征模型。
  17. 根据权利要求16所述的装置，其特征在于，所述装置，还包括：
    样本数据获取单元，被配置为获取样本煤岩分布和样本多模态数据，以发送至所述云端服务器获取所述训练好的煤岩界面识别模型；其中，所述样本多模态数据包括：样本截割电机电流数据、样本升降油缸压力数据、样本截割摇臂振动数据、样本截割煤岩噪声数据以及样本滚筒截割视频数据。
  18. 根据权利要求17所述的装置，其特征在于，所述样本数据获取单元，包括：
    记忆数据确定模块，被配置为确定记忆顶底板截割曲线、记忆滚筒高度和记忆牵引速度；
    实时数据获取模块，被配置为获取预设条件下，所述采煤机进行煤层截割的实时截割电机电流数据、实时升降油缸压力数据、实时截割摇臂振动数据、实时截割煤岩噪声数据、实时滚筒截割视频数据、实时顶底板截割曲线、实时滚筒高度和实时牵引速度；其中，所述预设条件为基于人工干预的所述记忆顶底板截割曲线、所述记忆滚筒高度和所述记忆牵引速度；
    煤岩分布确定模块，被配置为根据所述实时顶底板截割曲线、所述实时滚筒高度和所述实时牵引速度，确定所述样本煤岩分布；
    样本数据确定模块，被配置为确定所述实时截割电机电流数据为所述样本截割电机电流数据，所述实时升降油缸压力数据为所述样本升降油缸压力数据，所述实时截割摇臂振动数据为所述样本截割摇臂振动数据，所述实时截割煤岩噪声数据为所述样本截割煤岩噪声数据，所述实时滚筒截割视频数据为所述样本滚筒截割视频数据。
PCT/CN2022/098271 2022-06-07 2022-06-10 煤岩界面识别模型训练方法、采煤机截割控制方法和装置 WO2023236221A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210635956.3A CN114998798A (zh) 2022-06-07 2022-06-07 煤岩界面识别模型训练方法、采煤机截割控制方法和装置
CN202210635956.3 2022-06-07

Publications (1)

Publication Number Publication Date
WO2023236221A1 true WO2023236221A1 (zh) 2023-12-14

Family

ID=83033075

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/098271 WO2023236221A1 (zh) 2022-06-07 2022-06-10 煤岩界面识别模型训练方法、采煤机截割控制方法和装置

Country Status (2)

Country Link
CN (1) CN114998798A (zh)
WO (1) WO2023236221A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117807782A (zh) * 2023-12-29 2024-04-02 南京仁高隆软件科技有限公司 一种实现三维仿真模型的方法
CN117807782B (zh) * 2023-12-29 2024-06-07 南京仁高隆软件科技有限公司 一种实现三维仿真模型的方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310843B (zh) * 2023-05-16 2023-07-21 三一重型装备有限公司 煤岩识别方法、装置、可读存储介质和掘进机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496004A (zh) * 2011-11-24 2012-06-13 中国矿业大学(北京) 一种基于图像的煤岩界面识别方法与系统
CN102720496A (zh) * 2012-06-27 2012-10-10 江苏师范大学 采煤机煤岩界面自动识别、滚筒自动调高方法和系统
CN104329090A (zh) * 2014-10-21 2015-02-04 中国矿业大学(北京) 一种基于采煤机截割电机温度的煤岩性状识别方法
US20210254461A1 (en) * 2020-02-19 2021-08-19 Joy Global Underground Mining Llc Impact sensor and control system for a longwall shearer
CN114119481A (zh) * 2021-10-25 2022-03-01 桂林电子科技大学 多参数普适性煤岩界面感知识别及采煤机轨迹规划方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496004A (zh) * 2011-11-24 2012-06-13 中国矿业大学(北京) 一种基于图像的煤岩界面识别方法与系统
CN102720496A (zh) * 2012-06-27 2012-10-10 江苏师范大学 采煤机煤岩界面自动识别、滚筒自动调高方法和系统
CN104329090A (zh) * 2014-10-21 2015-02-04 中国矿业大学(北京) 一种基于采煤机截割电机温度的煤岩性状识别方法
US20210254461A1 (en) * 2020-02-19 2021-08-19 Joy Global Underground Mining Llc Impact sensor and control system for a longwall shearer
CN114119481A (zh) * 2021-10-25 2022-03-01 桂林电子科技大学 多参数普适性煤岩界面感知识别及采煤机轨迹规划方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIU, JUNLI: "Research on Multi-Information Fusion Coal Rock Identification Method Based on ANFIS", CHINA COAL, vol. 40, no. 12, 22 December 2014 (2014-12-22), pages 57 - 59, XP009551211, ISSN: 1006-530X, DOI: 10.19880/j.cnki.ccm.2014.12.014 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117807782A (zh) * 2023-12-29 2024-04-02 南京仁高隆软件科技有限公司 一种实现三维仿真模型的方法
CN117807782B (zh) * 2023-12-29 2024-06-07 南京仁高隆软件科技有限公司 一种实现三维仿真模型的方法

Also Published As

Publication number Publication date
CN114998798A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
KR102292990B1 (ko) 상태 관련 정보 공유 방법 및 장치
CN110035410B (zh) 一种软件定义车载边缘网络中联合资源分配和计算卸载的方法
US9913102B2 (en) Operating unmanned aerial vehicles to maintain or create wireless networks
CN109495907B (zh) 一种意图驱动的无线接入组网方法和系统
US11388610B2 (en) Detecting radio coverage problems
WO2023236221A1 (zh) 煤岩界面识别模型训练方法、采煤机截割控制方法和装置
WO2005085968A1 (en) Method and apparatus of managing wireless communication in a worksite
CN113825152A (zh) 容量控制方法、网管设备、管理编排设备、系统及介质
JP6973645B2 (ja) 制御対象装置、制御方法、制御プログラム、及び、遠隔制御システム
JP2012054736A (ja) 移動体通信システムおよび移動体通信システムにおける負荷分散方法
CN102735332A (zh) 一种移动传感器网络机场噪声监测覆盖优化方法及装置
CN113377125B (zh) 用于空气污染检测的无人机系统
WO2019109250A1 (zh) 控制方法、任务机、控制端、中继机和可读存储介质
Lee et al. Design of handover self-optimization using big data analytics
JP7171512B2 (ja) 無線通信システム、プログラム、システム及び通信方法
SE542531C2 (en) Controlling communication of a mining and / or construction machine
CN116723470B (zh) 空中基站的移动轨迹预测模型的确定方法、装置和设备
KR102127142B1 (ko) 감시정찰기의 적응형 전력 제어를 위한 공용 데이터 링크 시스템의 적응형 전력 제어 방법
CN102238571A (zh) 物联网m2m业务处理的装置、系统以及方法
CN111749723A (zh) 放顶煤控制方法及系统
CN107872809B (zh) 一种基于移动节点辅助的软件定义传感网络拓扑控制方法
Barbosa et al. The challenge of wireless connectivity to support intelligent mines
KR102425847B1 (ko) 강화학습 기반 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치 및 방법
EP4356660A1 (en) Adaptive power control for intercell interference management
KR101888584B1 (ko) 감시정찰기의 적응형 전력 제어를 위한 공용 데이터 링크 시스템 및 그의 적응형 전력 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22945362

Country of ref document: EP

Kind code of ref document: A1