WO2024141086A1 - 物联网中的视频系统和方法 - Google Patents

物联网中的视频系统和方法 Download PDF

Info

Publication number
WO2024141086A1
WO2024141086A1 PCT/CN2023/143602 CN2023143602W WO2024141086A1 WO 2024141086 A1 WO2024141086 A1 WO 2024141086A1 CN 2023143602 W CN2023143602 W CN 2023143602W WO 2024141086 A1 WO2024141086 A1 WO 2024141086A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
fire
monitoring
target
monitoring device
Prior art date
Application number
PCT/CN2023/143602
Other languages
English (en)
French (fr)
Inventor
王铁军
杨成双
王安妮
Original Assignee
汉熵通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 汉熵通信有限公司 filed Critical 汉熵通信有限公司
Priority to CN202380015610.6A priority Critical patent/CN118575208A/zh
Publication of WO2024141086A1 publication Critical patent/WO2024141086A1/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/065—Encryption by serially and continuously modifying data stream elements, e.g. stream cipher systems, RC4, SEAL or A5/3
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition

Definitions

  • the alarm module is used to execute an alarm operation when there is a fire on the target surface.
  • the present invention provides a surface fire monitoring method, device, system and non-volatile computer-readable storage medium, wherein the method includes: sampling the signal of the surface fire on the target surface; based on the signal sampling result, identifying whether there is a fire on the target surface; when there is a fire on the target surface, performing an alarm operation.
  • the method of the present invention can solve the problem that the monitoring method for surface fires in forests, grasslands, etc. in the prior art is still relatively backward, has high power consumption, and cannot be deployed at multiple points at low cost, resulting in the inability to issue an alarm in time when a surface fire occurs on the target surface, causing the fire to spread and delaying the time for disaster relief.
  • FIG6 is a flowchart of a surface fire monitoring system provided by an embodiment of the present invention.
  • FIG. 7 is a flowchart of infrared spectrum inspection of a surface fire monitoring system provided by an embodiment of the present invention.
  • FIG8 is a system framework diagram of fusion monitoring.
  • FIG9 is a flow chart of a fusion monitoring method provided by an embodiment of the present invention.
  • Figure 10 is a flowchart of equipment status monitoring based on deep learning.
  • Figure 11 is a flow chart of the image and fusion perception algorithm based on deep learning.
  • FIG. 12 is a schematic diagram of the functional modules of the fusion monitoring device provided in an embodiment of the present invention.
  • FIG. 14 is a schematic diagram of a surface fire detection system with fusion monitoring according to an embodiment of the present invention.
  • the terms “include”, “including”, “have”, “contain”, etc. are all open terms, which mean including but not limited to.
  • the descriptions with reference to the terms “one embodiment”, “a specific embodiment”, “some embodiments”, “for example”, etc. mean that the specific features, structures or characteristics described in conjunction with the embodiment or example are included in at least one embodiment or example of the present application.
  • the schematic representations of the above terms do not necessarily refer to the same embodiment or example.
  • the specific features, structures or characteristics described may be combined in a suitable manner in any one or more embodiments or examples.
  • the order of steps involved in each embodiment is used to schematically illustrate the implementation of the present application, and the order of steps therein is not limited and can be appropriately adjusted as needed.
  • an embodiment of the present invention provides a surface fire monitoring method, wherein the method comprises the steps of:
  • the surface fire monitoring method wherein, before the step S100, sampling the surface fire signal of the target surface, comprises:
  • the signal sampling of the surface fire on the target surface includes:
  • the timer When the timer reaches the set timing time, the signal sampling of the surface fire is performed on the target surface.
  • the timing function of the timer is first turned on, and when the timer reaches the set timing time, the signal sampling of the surface fire is performed on the target surface.
  • the detection sensor includes an infrared sensor, an ultraviolet sensor, a thermal imaging sensor, and a visible light sensor;
  • the surface fire monitoring method includes: starting the timing function of the timer, and when the timer reaches the set timing time, sampling the surface fire signal on the target surface; based on the signal sampling results of the infrared sensor and the ultraviolet sensor, identifying whether there is a flame on the target surface, based on the signal sampling results of the thermal imaging sensor, identifying whether there is smoldering on the target surface, and based on the signal sampling results of the visible light sensor, identifying whether there is fireworks on the target surface; when one or more of flames, smoldering and fireworks are identified on the target surface, an alarm message is sent to the server, and at the same time, a fire image of the target surface is captured by a visible light camera, and the fire image is sent to the server, and the server further performs algorithm recognition on the fire image or performs manual confirmation to determine whether there is a fire, so as to reduce false alarms.
  • the alarm module 13 is used to perform an alarm operation when there is a fire on the target surface.
  • the memory 120 and one or more processors 110 are described in detail in FIG. 4 by taking one processor 110 as an example.
  • the processor 110 and the memory 120 may be connected via a communication bus or other methods.
  • FIG. 4 takes connection via a communication bus as an example.
  • the processor 110 is used to complete various control logics of the surface fire monitoring system 10, and can be a general-purpose processor, a digital signal processor (DSP), an application-specific integrated circuit (ASIC), a field programmable gate array (FPGA), a single-chip microcomputer, an ARM (Acorn RISC Machine) or other programmable logic device, a discrete gate or transistor logic, a discrete hardware component, or any combination of these components.
  • the processor 110 can also be any conventional processor, microprocessor or state machine.
  • the processor 110 can also be implemented as a combination of computing devices, for example, a combination of a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors combined with a DSP core, or any other such configuration.
  • the sensor can be a single sensor or a combination of multiple sensors. When using multiple sensors, after a fire is initially confirmed by one sensor, another sensor can be used to sample and confirm the fire to reduce false alarms.
  • the communication with the server may use one or more communication methods. When using multiple communication methods, different data are transmitted using different communication methods to achieve a reasonable balance between power consumption and delay.
  • the communication data may be encrypted and transmitted through a security/encryption chip and an encryption algorithm.
  • the system samples the waveform data of the infrared main wave sensor and the infrared reference band sensor at the same time.
  • the infrared main wave sensor can receive the characteristic spectrum signal generated by the flame combustion process, while the infrared reference band sensor is used to collect the environmental background signal;
  • the threshold value is dynamically updated according to the spectrum of the main wave and the reference wave.
  • the dynamic update of the threshold value can effectively reduce false alarms caused by changes in the surrounding environment
  • a first aspect of the present invention provides a fusion monitoring method, comprising:
  • the method further comprises:
  • the sensing data and control status data are received via a plurality of local sensor interfaces.
  • a third aspect of the present invention provides a fusion monitoring system, the system comprising at least one processor;
  • a fourth aspect of the present invention provides a non-volatile computer-readable storage medium, which stores computer-executable instructions.
  • the computer-executable instructions are executed by one or more processors, the one or more processors can execute the above-mentioned fusion monitoring method.
  • S105 Perform edge computing and local decision-making on the real-time prediction results and perception data, and drive the corresponding local execution device and/or target monitoring device to perform specified actions according to the results of the decision.
  • the target monitoring equipment specifically refers to various monitoring equipment with cameras in scenarios that require video monitoring, such as water accumulation monitoring equipment in smart city applications, flame monitoring equipment in forest fire prevention applications, license plate recognition equipment in smart parks, etc.
  • the types of sensors can include but are not limited to temperature sensors, humidity sensors, gas sensors, pressure sensors, vibration sensors, distance sensors, infrared sensors, optical sensors and displacement sensors. There is no limitation here. As long as the measured information can be sensed and the sensed information can be converted into electrical signals or other required forms of information output according to certain rules, it can meet the requirements of the sensor terminal device for information transmission, processing, storage, display, recording and control.
  • the trained deep learning model can be run to perform real-time prediction of the integrated working status data, video stream, perception data and control status data.
  • the deep learning model not only uses the video stream data collected by the camera, but also integrates the perception data and control status data of the external perception device and the working status data of the target monitoring device itself, so that the model's prediction is combined with local perception and control, making the prediction results closer to reality and more superior in performance.
  • the deep learning algorithm can predict that the internal temperature of the device is around 35 degrees, and the inclination angle of the device varies between 20 and 70 degrees. If the actual monitored physical state exceeds this range, it means that the device is abnormal, such as the casing is blocked, the device is unstable, the device is faulty, etc., then the corresponding early warning processing actions are executed in time, such as issuing sound and light prompts, cutting off the power supply of the device, etc., to ensure the reliability of the device's own operating status.
  • the prediction results of the deep learning model can be used as data support for edge computing and edge decision-making.
  • the fusion monitoring method provided by the embodiment of the present invention runs multiple edge AI models.
  • the model not only conventional image data but also external perception data and real-time external control status data are used, so that the prediction of the model is combined with local perception and control, making the prediction results of fusion monitoring more accurate.
  • the perception data such as the ambient light intensity and rainfall data collected by the sensor, the control status data of the fill light device, etc. are also used as input parameters for the deep learning model to perform recognition and prediction. If the current external perception environment has a low recognition rate, the fill light intensity of the fill light device is controlled to achieve the optimal recognition rate.
  • edge AI external perception data
  • cloud strategies and controls are combined to generate local edge decisions, actions and warnings in real time. It can also directly drive external execution devices and/or target devices to perform corresponding actions. It responds quickly and can still work when the network is disconnected. It can also control video and image transmission based on algorithm results to reduce server burden. For example, in smart city application scenarios, through camera edge The Yuan AI algorithm identifies the depth of water on the road. When there is no water or little water, it only sends the identification result to the server.
  • edge computing and local decision-making and cloud strategies are controllable.
  • they can be switched to local decisions and cloud strategies at will, and cloud strategies can also be preferred, so that the latest deployed strategies can be obtained from the cloud server to control the local execution devices and target monitoring devices;
  • cloud strategies and controls are obtained from the cloud server and stored locally as local decisions, so that when the network is not good or the network is disconnected, on-site decisions and action outputs can be directly realized through local decisions, directly driving the corresponding local execution devices and/or target monitoring devices to perform specified actions, making the monitoring response faster, and still working when the network is disconnected, thereby improving the reliability of the monitoring system.
  • the target monitoring device establishes a secure connection channel with the server to safely transmit all communication data.
  • the method further comprises:
  • the normal power consumption range and change trend of the device can also be predicted according to the current working status data of the device (such as the running protocol, video bit rate, focusing action, cruising action, etc.), and then the real-time power supply current and voltage are detected, and the real-time power is calculated.
  • the actual power consumption change trend is obtained by counting the actual power over a period of time. If the actual power is not within the predicted normal power consumption range or the actual power consumption change trend does not match the predicted change trend, it is determined to be power consumption abnormality.
  • the power supply of the device is controlled according to the preset power supply strategy to avoid the device being in an abnormal power consumption state for a long time, thereby ensuring the power supply safety of the device.
  • the power supply of the target monitoring device is controlled according to a preset power supply strategy, specifically referring to:
  • the method further comprises:
  • the legitimate new port that needs to be enabled on the target monitoring device is identified, and the port is included in a temporary whitelist. Further protocol analysis and tracking is performed, and when the port is no longer in use, it is removed from the temporary whitelist.
  • port 1935 For example, if port 1935 is opened to transmit video streams via RTMP protocol, all data on this port should comply with RTMP protocol, and its data content should be video compression data, such as I frame, P frame and B frame data. Furthermore, by obtaining the configuration of the target device through API, the resolution, compression format, compression rate and other information of the video can be known, and the data flow of this port should be consistent with the flow of the video configuration. By opening the port whitelist, the port connection not in the whitelist will be intercepted. Some functions of the target device will generate new ports and connections during operation. For example, the call function implemented by SIP protocol has only one port connection in standby mode. When a new answering or dialing action is started, the server will allocate a new (dynamic, non-fixed) port.
  • the target device sends and receives voice data with the server through this port. At this time, it is necessary to parse the SIP protocol, store the dynamically allocated port in the temporary whitelist, and continuously monitor whether the data of this port is voice data. When this port is not in use, it is removed from the temporary whitelist to achieve dynamic port connection monitoring, ensuring the security of the device without affecting its normal data transmission function.
  • step S101 and step S102 can be executed in parallel, that is, the working status data, video stream, perception data and control status data can be obtained at the same time, or step S101 can be executed first and then step S102, or step S102 can be executed first and then step S101, and this embodiment does not limit this.
  • Tilt sensor used to monitor the tilt state of the trunk and branches
  • tree circumference sensor used to monitor the diameter of the tree and obtain the growth status of the tree
  • soil nutrient sensor monitor the growth environment of the tree
  • pyroelectric infrared, induction radar used to detect whether someone is approaching
  • microphone used to monitor illegal felling of trees, identify the sound of sawing and the sound of trees falling
  • horizontal camera used to identify human activities and capture the behavior of destroying trees
  • sky camera identify the development of tree branches and leaves.
  • edge AI models runs multiple edge AI models, and not only uses conventional image data when training the model, but also uses external perception data and real-time external control status data, so that the model's prediction is combined with local perception and control, making the prediction results of fusion monitoring more accurate.
  • the prediction results are handed over to edge computing and local decision-making programs for further processing, and the results of edge AI, external perception data, cloud strategies and controls are combined to generate local edge decisions, actions and early warnings in real time, thereby directly Directly drive external execution devices and/or target devices to perform corresponding actions to improve the response speed of monitoring decisions.
  • the method of using the weak blocking water curtain type road gate system is as follows: the water depth sensor and camera detect the road water accumulation in real time. When the water accumulation depth is shallow and safe, the LED display screen and the broadcast speaker display the current water accumulation depth and prompt to pass slowly; when the water accumulation is deep and there is danger in passing, the LED display screen and the broadcast speaker prompt the water depth danger, please do not pass and other information; start the submersible pump to form a water curtain on the road surface to prevent vehicles and pedestrians from passing, the water curtain projector can project warning icons or words such as no passage on the water curtain to increase the warning effect, the smart terminal sends on-site data and images to the service, and receives the control command issued by the service; the on-site camera continuously monitors the actual road conditions, integrates the perception data and uses the AI algorithm to identify the vehicle traffic conditions and whether there are vehicles and pedestrians trapped.
  • a high-priority alarm message is pushed to the server, and the road water accumulation depth, water flow direction, etc. can also be monitored through the AI algorithm integration; because the water curtain does not have a strong blocking characteristic, it will not cause damage to the vehicle when the vehicle does not have time to stop, and special vehicles such as emergency rescue can directly pass through the water curtain when they need to pass.
  • the water pump When the water depth drops to a safe level, the water pump will be stopped and the LED screen and other warning contents will be changed.
  • the weak-blocking water curtain type road gate system can use a deep learning model to perform real-time prediction of the integrated working status data, collected video streams, perception data of various sensors and control status data.
  • the real-time prediction results combined with the working status data can realize the device abnormality identification of the device itself, and perform corresponding early warning processing actions when the device abnormality exists; in addition, the weak-blocking water curtain type road gate system itself has edge computing capabilities, which can realize local decision-making and better support the operation of multi-mode heterogeneous Internet of Things.
  • the warning sign on the roadside is turned on and it will display "The road is flooded, please pass with caution” to warn passers-by and drivers to pass with caution.
  • the warning sign will display "Dangerous water depth, no passage allowed”, and the roadblocks in the direction of oncoming vehicles will be automatically opened and the water pump will be started to drain water, so as to achieve rapid decision-making response based on accurate identification of the monitoring screen.
  • the integrated monitoring method provided by the embodiment of the present invention can also be applied to scenarios that require video surveillance, such as smart cities, forest fire prevention, and smart parks, and can also be used to monitor other networked devices, such as IP broadcasting, outdoor LED screens, IP intercoms, and other equipment.
  • video surveillance such as smart cities, forest fire prevention, and smart parks
  • networked devices such as IP broadcasting, outdoor LED screens, IP intercoms, and other equipment.
  • the device 1 includes:
  • a receiving module 12 used to receive the sensing data and control status data collected by the local sensing device
  • a fusion prediction module 13 is used to perform real-time prediction of the working status data, video stream, perception data and control status data through a trained deep learning model;
  • the fusion decision module 15 is used to perform edge computing and local decision-making on the real-time prediction results and perception data, and make decisions based on the decision
  • the result drives the corresponding local execution device and/or target monitoring device to perform the specified action.
  • the module referred to in the present invention refers to a series of computer program instruction segments that can perform specific functions, which are more suitable for describing the fusion monitoring execution process than programs.
  • specific implementation methods of each module please refer to the corresponding method embodiments above, which will not be repeated here.
  • the apparatus 1 further comprises:
  • the secure connection module is used to establish a secure connection channel between the target monitoring device and the server to securely transmit all communication data.
  • the apparatus 1 further comprises:
  • the power supply control module is used to control the power supply of the target monitoring device according to a preset power supply strategy when the actual power is not within the normal power consumption range or the actual power consumption change trend is inconsistent with the predicted change trend.
  • controlling the power supply of the target monitoring device according to a preset power supply strategy specifically refers to:
  • the apparatus 1 further comprises:
  • the interception module is used to enable a port whitelist to monitor the port connection of the target monitoring device and intercept the port connection that is not in the port whitelist.
  • the multi-mode heterogeneous network is closely integrated with the industry, and the communication parameters are dynamically adjusted according to the industry requirements and/or physical location. For example, communication parameters such as source coding, channel coding, signal time slot, transmission power, carrier frequency, carrier bandwidth, modulation mode, transmission power, and receiving sensitivity can be adjusted.
  • Different communication requirements use different communication strategies. For example, high-bandwidth communication requirements can adopt data transmission point splitting, multi-path concurrency during transmission, and receiving point aggregation, and can be combined with high service quality deployment strategies.
  • data with high reliability communication requirements can adopt multi-channel redundant transmission methods, which ensures reliable delivery and reduces the delay caused by sequential switching of multiple communication methods.
  • IT resource services provide services for the support layer, AI business platform layer, and comprehensive IOC layer for urban operations;
  • non-volatile storage media can include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) as external cache memory.
  • RAM can be obtained in many forms such as synchronous RAM (SRAM), dynamic RAM, (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDR SDRAM), enhanced SDRAM (ESDRAM), Synch link DRAM (SLDRAM), and direct Rambus RAM (DRRAM).
  • SRAM synchronous RAM
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDR SDRAM double data rate SDRAM
  • ESDRAM enhanced SDRAM
  • SLDRAM Synch link DRAM
  • DRRAM direct Rambus RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Emergency Management (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)

Abstract

物联网中的视频监控方法，包括对目标实行信号采样；基于信号采样结果报警和/或开启视频监控；通过视频融合监控为所有数据传输提供安全通道；以及通过区块链安全管理平台提供安全服务，其中安全服务包括安全证书发放和/或密钥管理。

Description

物联网中的视频系统和方法
相关申请的交叉引用
本申请要求于2022年12月30日提交的申请号为US 63/436111，2023年03月06日提交的申请号为US 63/450100，2023年10月30日提交的申请号为US 63/546495的美国专利申请的优先权；同时本申请要求于2022年09月03日提交的PCT申请PCT/CN2022/116928；以及2023年6月26日提交的PCT申请PCT/CN2023/102266的优先权，以上均通过引用方式全部并入本文。
技术领域
本发明涉及物联网中的视频融合监控技术，包括为所有数据传输提供了安全通道，安全证书发放、密钥管理等。
背景技术
目前物联网技术尚未做到万物互联，数据之间没有有效融合，相关技术中的物联网系统还存在高延迟、高功耗、网络覆盖不全、数据承载低、数据不安全等问题，没有在应用终端有效地调配通信资源等。
例如，森林草原火灾，是指失去人为控制，在森林内和草原上自由蔓延和扩展，对森林草原、生态系统和人类带来一定危害和损失的林草火燃烧现象。森林草原火灾是一种突发性强、破坏性大、处置救助较为困难的自然灾害。大面积森林火灾被联合国列为世界八大主要自然灾害之一，也是公共突发事件之一。
但是目前，现有技术中，对于森林、草原等地表火的监测方式还较落后，导致当目标地表发生地表火火情时，无法及时的进行告警，造成火势蔓延，耽误救灾时机。
现有技术中，地表火检测设备功耗高，需要市电、大容量电池或者大尺寸太阳能板供电，重量大，无法做到多点低成本部署。
因此，现有技术还有待改进和提高。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种地表火监测方法、装置、系统以及非易失性计算机可读存储介质，旨在解决现有技术中，对于森林、草原等地表火的监测方式还较落后，功耗高，无法低成本多点部署，导致当目标地表发生地表火火情时，无法及时的进行告警，造成火势蔓延，耽误救灾时机的问题。
为了达到上述目的，本发明采取了以下技术方案：
一种地表火监测方法，其中，包括：
对目标地表实行地表火的信号采样；
基于信号采样结果，以识别所述目标地表是否存在火情；
当所述目标地表存在火情时，则执行告警操作。
在进一步的技术方案中，所述的地表火监测方法，其中，所述对目标地表实行地表火的信号采样之前，包括：
使用低功耗传感器定时开启信号采样，采样后传感器进入休眠以节省功耗；如果初步判定有火情，开启连续多次采样确认是否有火情以去除误报；
使用低功耗传感器做初步火情检测判断，再使用另一种或者多种传感器做进一步判断确认火情；
在进一步的技术方案中，所述的地表火监测方法，其中，所述对目标地表实行地表火的信号采样，包括：
通过检测传感器对目标地表实行地表火的信号采样；
其中，所述检测传感器包括红外传感器、紫外传感器、热成像传感器、以及可见光传感器；
所述地表火包括火焰、阴燃、以及烟火。
在进一步的技术方案中，所述的地表火监测方法，其中，所述基于信号采样结果，以识别所述目标地表是否存在火情，包括：
基于所述红外传感器与所述紫外传感器的信号采样结果，以识别所述目标地表是否存在火焰；
基于所述热成像传感器的信号采样结果，以识别所述目标地表是否存在阴燃；
基于所述可见光传感器的信号采样结果，以识别所述目标地表是否存在烟火。
在进一步的技术方案中，所述的地表火监测方法，其中，所述当所述目标地表存在火情时，则执行告警操作，包括：
当识别到所述目标地表存在火焰、阴燃及烟火中的一种或者多种时，则发送报警信息给服务器。
在进一步的技术方案中，所述的地表火监测方法，其中，所述当识别到所述目标地表存在火焰、阴燃及烟火中的一种或者多种时，则发送报警信息给服务器之后，还包括：
通过可见光摄像头拍摄所述目标地表的火情图像，并将所述火情图像发送给所述服务器。
在进一步的技术方案中，所述的地表火监测方法，其中，所述通过可见光摄像头拍摄所述目标地表的火情图像，并将所述火情图像发送给所述服务器之后，还包括：
服务器对火情图像进行进一步算法识别或者进行人工确认以确定是否有火情，以减少误报。
接收所述服务器返回的处理指令，根据所述处理指令执行相应的火情处理措施。
一种地表火监测装置，其中，包括：
采样模块，用于对目标地表实行地表火的信号采样；
识别模块，用于基于信号采样结果，以识别所述目标地表是否存在火情；
告警模块，用于当所述目标地表存在火情时，则执行告警操作。
一种地表火监测系统，其中，所述地表火监测系统包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器上存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行时，可实现如上述任一项所述的地表火监测方法。
一种非易失性计算机可读存储介质，其中，所述非易失性计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时，可实现如上述任一项所述的地表火监测方法。
相较于现有技术，本发明提供了一种地表火监测方法、装置、系统以及非易失性计算机可读存储介质，其中，所述方法包括：对目标地表实行地表火的信号采样；基于信号采样结果，以识别所述目标地表是否存在火情；当所述目标地表存在火情时，则执行告警操作。这样，通过本发明的方法可解决现有技术中，对于森林、草原等地表火的监测方式还较落后，功耗高，无法低成本多点部署，导致当目标地表发生地表火火情时，无法及时的进行告警，造成火势蔓延，耽误救灾时机的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种地表火监测方法的流程示意图。
图2为图1中所述步骤S300的流程示意图。
图3为本发明实施例提供的一种地表火监测装置的功能模块示意图。
图4为本发明实施例提供的一种地表火监测系统的硬件结构示意图。
图5为本发明实施例提供的一种地表火监测系统的构成示意图。
图6为本发明实施例提供的一种地表火监测系统的工作流程图。
图7为本发明实施例提供的一种地表火监测系统的红外光谱检查流程图。
图8为融合监控的系统框架图。
图9为本发明实施例提供的融合监控方法的一个流程图。
图10为基于深度学习的设备状态监控流程图。
图11为基于深度学习的图像和融合感知算法流程图。
图12为本发明实施例提供的融合监控装置的功能模块示意图。
图13为本发明实施例提供的融合监控系统的硬件结构示意图。
图14为本发明实施例带有融合监控的地表火检测系统示意图。
图15为下一代物联网架构图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
下面结合附图，详细说明本发明的各种非限制性实施方式。
森林草原火灾，是指失去人为控制，在森林内和草原上自由蔓延和扩展，对森林草原、生态系统和人类带来一定危害和损失的林草火燃烧现象。森林草原火灾是一种突发性强、破坏性大、处置救助较为困难的自然灾害。大面积森林火灾被联合国列为世界八大主要自然灾害之一，也是公共突发事件之一。
但是目前，现有技术中，对于森林、草原等地表火的监测方式还较落后，导致当目标地表发生地表火火情时，无法及时的进行告警，造成火势蔓延，耽误救灾时机。
因此，为了解决上述问题，请参阅图1，本发明实施例提供了一种地表火监测方法，其中，所述方法包括步骤：
S100、对目标地表实行地表火的信号采样；
S200、基于信号采样结果，以识别所述目标地表是否存在火情；
S300、当所述目标地表存在火情时，则执行告警操作。
进一步地，所述的地表火监测方法，其中，所述步骤S100、对目标地表实行地表火的信号采样之前，包括：
开启定时器的定时功能；
则所述对目标地表实行地表火的信号采样，包括：
当所述定时器达到设定的定时时间时，对目标地表实行地表火的信号采样。
具体实施时，本实施例中，先开启定时器的定时功能，当所述定时器达到设定的定时时间时，对目标地表实行地表火的信号采样。
进一步地，所述的地表火监测方法，其中，所述步骤S100、对目标地表实行地表火的信号采样，包括：
通过检测传感器对目标地表实行地表火的信号采样；
其中，所述检测传感器包括红外传感器、紫外传感器、热成像传感器、以及可见光传感器；
所述地表火包括火焰、阴燃、以及烟火。
进一步地，所述的地表火监测方法，其中，所述步骤S200、基于信号采样结果，以识别所述目标地表是否存在火情，包括：
基于所述红外传感器与所述紫外传感器的信号采样结果，以识别所述目标地表是否存在火焰；
基于所述热成像传感器的信号采样结果，以识别所述目标地表是否存在阴燃；
基于所述可见光传感器的信号采样结果，以识别所述目标地表是否存在烟火。
具体实施时，本实施例中，在通过各个检测传感器对所述目标地表实行地表火的信号采样之后，然后，再
基于所述红外传感器与所述紫外传感器的信号采样结果，以识别所述目标地表是否存在火焰；同时，
基于所述热成像传感器的信号采样结果，以识别所述目标地表是否存在阴燃；同时，
基于所述可见光传感器的信号采样结果，以识别所述目标地表是否存在烟火。
进一步地，请参阅图2，所述的地表火监测方法，其中，所述步骤S300、当所述目标地表存在火情时，则执行告警操作，包括步骤：
S301、当识别到所述目标地表存在火焰、阴燃及烟火中的一种或者多种时，则发送报警信息给服务器；
S302、通过可见光摄像头拍摄所述目标地表的火情图像，并将所述火情图像发送给所述服务器；
S303、接收所述服务器返回的处理指令，根据所述处理指令执行相应的火情处理措施。
具体实施时，本实施例中，当识别到所述目标地表存在火焰、阴燃及烟火中的一种或者多种时，则通过开启的窄带通信发送报警信息给服务器；同时，通过可见光摄像头(其内设有可见光传感器)拍摄所述目标地表的火情图像，并将所述火情图像通过开启的宽带通信发送给所述服务器，以进一步确认火情情况；然后，再接收所述服务器返回的处理指令，并根据所述处理指令执行相应的火情处理措施，如播放声光报警、以提醒附近人员做相应处理或者按指令撤离。
由以上方法实施例可知，本发明提供的地表火监测方法，包括：开启定时器的定时功能，当定时器达到设定的定时时间时，对目标地表实行地表火的信号采样；基于红外传感器与紫外传感器的信号采样结果，以识别目标地表是否存在火焰，基于热成像传感器的信号采样结果，以识别目标地表是否存在阴燃，基于可见光传感器的信号采样结果，以识别目标地表是否存在烟火；当识别到目标地表存在火焰、阴燃及烟火中的一种或者多种时，则发送报警信息给服务器，同时，通过可见光摄像头拍摄目标地表的火情图像，并将火情图像发送给服务器，服务器对火情图像进行进一步算法识别或者进行人工确认以确定是否有火情，以减少误报。最后，接收服务器返回的处理指令，根据处理指令执行相应的火情处理措施。这样，通过本发明的方法可解决现有技术中，对于森林、草原等地表火的监测方式还较落后，导致当目标地表发生地表火火情时，无法及时的进行告警，造成火势蔓延，耽误救灾时机的问题，本发明的方法可实现对于火焰、阴燃及烟火的全面监测。
应该理解的是，虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤，这些操作步骤并不是必然按照实施例或流程图的顺序依次执行。实施例或流程图中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。而且，实施例或流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流、交替或者同步地执行。
基于上述实施例，请参阅图3，本发明另一实施例还提供了一种地表火监测装置，其中，所述装置包括：
采样模块11，用于对目标地表实行地表火的信号采样；
识别模块12，用于基于信号采样结果，以识别所述目标地表是否存在火情；
告警模块13，用于当所述目标地表存在火情时，则执行告警操作。
具体实施方式见上述方法实施例，此处不再赘述。
基于上述实施例，请参阅图4，本发明另一实施例还提供了一种地表火监测系统，其中，所述地表火监测系统10包括：
存储器120以及一个或多个处理器110，图4中以一个处理器110为例进行介绍，处理器110和存储器120可以通过通信总线或者其他方式连接，图4中以通过通信总线连接为例。
处理器110用于完成地表火监测系统10的各种控制逻辑，其可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(Acorn RISC Machine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或任何其它这种配置。
存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的地表火监测方法对应的计算机程序。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行地表火监测系统10的各种功能应用以及数据处理，即实现上述方法实施例中的地表火监测方法。
存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储根据地表火监测系统10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至地表火监测系统10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，可实现如上述任一项方法实施例中的地表火监测方法，例如，可实现以上描述的图1中的方法步骤S100至步骤S300。
本领域技术人员可以理解，图4中示出的硬件结构示意图，仅仅是与本发明方案相关的部分结构的示意图，并不构成对本发明方案所应用于其上的地表火监测系统的限定，具体的地表火监测系统可以包括比图中所示更多的部件，或者组合某些部件，或者具有不同的部件布置。
基于上述系统实施例，为使得本领域技术人员更充分的了解与理解本发明所述的地表火监测系统，现再以系统的具体实施过程来阐述本发明的所述地表火监测系统，具体如图5(其为本发明实施例提供的一种地表火监测系统的构成示意图)、及图6(其为本发明实施例提供的一种地表火监测系统的工作流程图)所示；其中，
图5提供的系统构成示意图中：
1、系统使用红外传感器、紫外传感器、热成像传感器及可见光传感器检测地表火；其中，可见光传感器既可本地运行烟火识别算法，也可以仅采集图像发送给服务器做进一步火情确认；实际系统可使用不同传感器的任意组合；
2、系统支持使用热成像传感器检测阴燃，支持使用红外传感器、紫外传感器检测火焰，支持使用可见光传感器检测烟火；
3、所有传感器支持快速启动，快速采样和休眠，传感器定期唤醒，检测完成后立即进入休眠模式以减少功耗；
4、在多传感器组合中，使用功耗更低的传感器做初步判断，再使用另一高功耗传感器进行复判；典型的使用低功耗红外传感器和算法检测有无明火，如果初步判断有明火，则再开启可见光摄像头做再次判断，也可将拍摄的图像传送到服务器侧做进一步判断；
5、系统支持多种通信方式，其中窄带低功耗通信用于有火情时发送报警信息、接收实时唤醒和定期发送状态信息，宽带通信则用于有火情时发送图像信息、接收远程升级信息和下载新的语音信息等需要大量数据传输的场景。
图6提供的系统工作流程图中：
1、系统通信初始化后全部电路部分进入休眠模式以减少功耗，开启定时器；对于一些供电宽裕的场景，可只开启红外信号的持续检测，其他电路休眠；
2、定时时间达到，开启传感器信号采样，通过火焰特征识别算法初步识别目标地表是否有火情，如果无火情则系统重新进入休眠，如果可能有火情则开启多次采样；多次采样后无火情则进入休眠，仍有火情则开启窄带通信发送报警信息给服务器；
3、传感器可使用单一传感器或者多种传感器组合；使用多种传感器时，通过一种传感器初步确认有火情后，可使用另一传感器采样确认火情，以减少误报；
4、有火情后同时还立即开启宽带通信和可见光摄像头，拍摄现场火情图像通过宽带通信发 送到服务器，以在服务器侧进一步确认火情情况，并制定相应处理流程；
5、接收服务器返回的指令，根据指令开启声光报警和语音报警，提醒附近人员做相应处理、或者按指令撤离；
6、当不再有火情时，则关闭可见光摄像头和宽带通信，系统进入休眠；
7、所述与服务器通信可使用一种或者多种通信方式，使用多种通信方式时，不同数据使用不同通信方式传输以在功耗、延迟之间达到合理平衡。所述通信数据可通过安全/加密芯片、加密算法那进行加密传输。
进一步地，请参阅图7，其为本发明实施例提供的所述地表火监测系统的红外光谱检查流程图，图中：
1、系统同时采样红外主波传感器和红外参考波段传感器的波形数据，其中，红外主波传感器可接收火焰燃烧过程产生的特征光谱信号，而红外参考波段传感器用于采集环境背景信号；
2、对主波和参考波信号进行小波变换，提取特征频段的频谱数据，对比主波和参考波的频谱，如果主波比参考波频谱幅度大于门限阀值，则认定可能有火焰，否则判定为无火；
3、当判定为无火情时，则根据主波和参考波的频谱动态更新门限阀值，动态更新阀值可有效减少周边环境变化引起的误报；
4、根据控制成本等实际需要，也可只使用一个主波段红外传感器进行特征识别，而不使用参考波段传感器，这种情况，主波段传感器的幅度值只与自己的阀值/门限值做比较，这个阀值也可通过动态调节改变以适应环境变化；
5、当判定为可能有火时，则开启多组数据采样和计算，连续检测到可能有火的次数超过连续阀值，则认定确定有火情，之后做火情后的相关处理；也可基于各种传感器数值的变化值/变化率等作出相应决定。
另一方面，本发明的目的还在于提供一种融合监控方法、装置、系统及介质，旨在实现对设备自身状态的可靠监控以及本地多感知数据的融合监控，提高决策响应速度，相关技术发明包括但不限于如下。
本发明第一方面提供一种融合监控方法，包括：
获取目标监控设备的工作状态数据与采集的视频流；
接收本地感知设备采集的感知数据和控制状态数据；
通过训练好的深度学习模型对所述工作状态数据、视频流、感知数据和控制状态数据进行融合的实时预测；
根据实时预测结果与工作状态数据进行设备异常识别，并在存在设备异常时执行相应的预警处理动作；
对实时预测结果与感知数据进行边缘计算与本地决策，并根据所述决策的结果驱动相应的本地执行设备和/或目标监控设备执行指定动作。
在一个实施例中，所述方法还包括：
所述目标监控设备与服务器建立安全连接通道，以安全传输所有的通信数据。
在一个实施例中，所述方法还包括：
根据所述工作状态数据预测所述目标监控设备的正常功耗范围区间和变化趋势；
统计预设时间段内所述目标监控设备的实际功率，得到实际功耗变化趋势；
当所述实际功率不在所述正常功耗范围区间，或者所述实际功耗变化趋势与预测的变化趋势不符时，按预设的供电策略对所述目标监控设备进行供电控制。
在一个实施例中，所述按预设的供电策略对所述目标监控设备进行供电控制，具体指：
功耗异常时切断所述目标监控设备的供电，并保持预设断电时间后重新供电；
继续观测所述目标监控设备是否存在功耗异常，若存在，则再次切断所述目标监控设备的供电，并按预设步长增加所述预设断电时间后重新供电，依此类推，直到所述预设断电时间达到最大断电时间。
在一个实施例中，所述方法还包括：
开启端口白名单对所述目标监控设备的端口连接进行监控，拦截不在所述端口白名单内的端口连接；
通过对目标监控设备通信协议的解析跟踪，识别目标监控设备需要启用的合法的新端口，并将所述端口列入临时白名单，进一步进行协议解析跟踪，当所述端口不再使用时，将其从临时白名单中移除。
在一个实施例中，通过多个本地的传感器接口接收所述感知数据和控制状态数据。
在一个实施例中，通过多个本地的执行接口输出驱动指令，以驱动相应的本地执行设备执行指定动作。
本发明第二方面提供一种融合监控装置，包括：
获取模块，用于获取目标监控设备的工作状态数据与采集的视频流；
接收模块，用于接收本地感知设备采集的感知数据和控制状态数据；
融合预测模块，用于通过训练好的深度学习模型对所述工作状态数据、视频流、感知数据和控制状态数据进行实时预测；
异常识别模块，用于根据实时预测结果与工作状态数据进行设备异常识别，并在存在设备异常时执行相应的预警处理动作；
融合决策模块，用于对实时预测结果与感知数据进行边缘计算与本地决策，并根据所述决策的结果驱动相应的本地执行设备和/或目标监控设备执行指定动作。
本发明第三方面提供一种融合监控系统，所述系统包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述融合监控方法。
本发明第四方面提供一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的融合监控方法。
本发明公开了一种融合监控方法、装置、系统及介质，相比于现有技术，本发明实施例通过采集的视频流融合感知数据以及设备工作状态等信息进行深度学习预测，不仅可实现准确的设备自身异常监控，还为边缘计算和本地决策提供可靠的数据，以直接驱动本地执行设备，有效提高决策响应速度。
监控设备是安全防范技术体系中的一个重要组成部分，其应用领域非常广泛，不仅用于金融、文博、军事、珠宝商场等行业的安全保卫，也用于公安、交通、医疗、机场车站、港口、工厂等行业的安全生产及现场管理。监控设备主要通过摄像头以及辅助设备对被监控场景进行实时视频采集，实时地记录场景情况的变化以便执行相应的决策。
摄像头作为监控设备中的核心，其对监控设备的功能性与安全性至关重要，目前监控设备中摄像头功能单一且安全性欠佳，例如：现有摄像头传输可控制不加密，容易遭受安全攻击；摄像头接口少，不易融合其他感知数据实现边缘智能，通过额外的感知设备往往需要服务器参与，响应慢且断网不能正常工作；摄像头通常仅采集场景的视频数据发送给服务器做决策，无法对自身的物理状态进行监控，如机身倾斜检测、朝向检测、机壳内温湿度检测等；常规的对设备工作状态的检测因设备的不同工作状态无法正常检测、容易误报和漏报，比如摄像头在调焦时电流会变大，摄像头在旋转时会产生倾斜，摄像头在接受两路同时拉流时流量会变大，在使用一些视频压缩格式时视频内容变化小时码率会变小等；具备边缘AI功能的设备或者设备组合，一般只对视频内容进行计算，不会融合多种传感器数据，且计算结果需发送给服务器做决策，响应不及时，网络不通则无法做决策。
针对以上监控设备中摄像头存在的问题，本发明提出一种融合监控方法，该融合监控方法可以应用于图8所示的系统框架中，该系统框架通过处理器、网口、电源管理、安全芯片、WiFi模块、备用通信模块、广播输出模块、输入/输出接口等实现本发明实施例提供的融合监控方法，使得在目标监控设备采集的视频流基础上，融合设备工作状态以及外部感知设备采集的感知数据等信息进行深度学习预测，不仅可实现准确的设备自身异常监控，还为边缘计算和本地决策提供可靠的数据，以直接驱动本地执行设备执行相应的动作，有效提高决策质量和响应速度。
如图9所示为本发明实施例提供的融合监控方法的流程图，该方法具体包括如下步骤：
S101、获取目标监控设备的工作状态数据与采集的视频流；
S102、接收本地感知设备采集的感知数据和控制状态数据；
S103、通过训练好的深度学习模型对所述工作状态数据、视频流、感知数据和控制状态数据进行融合的实时预测；
S104、根据实时预测结果与工作状态数据进行设备异常识别，并在存在设备异常时执行相应的预警处理动作；
S105、对实时预测结果与感知数据进行边缘计算与本地决策，并根据所述决策的结果驱动相应的本地执行设备和/或目标监控设备执行指定动作。
本实施例中，目标监控设备具体指各类需要视频监控场景下具有摄像头的监控设备，例如智慧城市应用中的积水监控设备、森林防火应用中的火焰监控设备、智慧园区的车牌识别设备等等。
目标监控设备启动后则获取其采集到的视频流，以及设备的工作状态数据，工作状态数据包括但不限于网络IP和端口使用、协议数据、数据流量、视频流、设备的配置数据、设备实时运动信息、电源功耗、设备物理状态等等，其中物理状态监控进一步包括倾斜检测、朝向检测、机壳内温湿度检测等，并且可通过使用罗盘、陀螺仪和位置传感器检测摄像头巡航变焦状态。此外还接收本地感知设备采集到的感知数据和控制状态数据，本地感知设备具体指多种类型传感器，传感器的类型可以包括但不限于温度传感器、湿度传感器、气体传感器、压力传感器、振动传感器、距离传感器、红外传感器、光学传感器和位移传感器，在此不作限定，只要能感受到被测量的信息，并能将感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足传感器终端设备对信息的传输、处理、存储、显示、记录和控制等要求即可。
通过目标监控设备内置的NPU处理和AI算法，可运行训练好的深度学习模型对所述工作状态数据、视频流、感知数据和控制状态数据进行融合的实时预测。深度学习模型在训练与上线预测时，不仅使用了摄像头采集到的视频流数据，还融合了外部感知设备的感知数据与控制状态数据以及目标监控设备自身的工作状态数据，使得模型的预测和本地的感知和控制相结合，令预测结果更贴近实际，性能更优越。
基于模型的预测结果，一方面可以结合网络IP和端口使用、协议数据、数据流量、视频流、设备的配置、设备实时运动信息、电源功耗、设备物理状态等工作状态数据来进行设备异常识别，确认设备的工作状态是否有异常，可预测包括设备异常功耗、设备异常流量、网络安全威胁、非正常的物理状态等，使得在存在设备异常时执行相应的预警处理动作。如图10所示，在训练阶段时，持续收集目标监控设备的工作状态相关数据，通过数据清洗后保存为历史数据集，通过历史数据集训练设备工作状态的深度学习模型，通过学习工作状态数据并在本地验证模型并使其优化，使得训练好的深度学习模型可以基于输入的工作状态数据产生相应的预测结果，结合实时预测结果与实际的工作状态数据进行设备异常识别，并在设备非正常的状态会产生预警，预警数据可以交给边缘决策程序并产生相应的预警处理动作。例如目标设备当前以1080p的分辨率、H.265的压缩算法向服务器推送视频流，并以每3分钟一轮的速度巡航20个点，巡航过程需要控制水平旋转和垂直调节，外部环境温度26度，风速3米每秒，在此条件下通过深度学习算法可预测出设备的内部温度在35度左右，设备的倾角变化范围在20～70度之间，如果实际监测到的物理状态超过这个范围则表示设备有异常，如机壳被遮挡、设备固定不稳、设备故障等，则及时执行相应的预警处理动作，例如发出声光提示、切断设备供电等等，确保设备自身运行状态的可靠性。
另一方面，深度学习模型的预测结果可作为边缘计算和边缘决策的数据支撑，如图11所示，相比于常规的边缘AI只对视频单一数据进行算法预测，本发明实施例提供的融合监控方法中通过运行多个边缘AI模型，训练模型时不但使用常规的图像数据，也使用了外部感知数据和实时外部控制状态数据，使得模型的预测和本地的感知和控制相结合，令融合监控的预测结果更加准确。例如在车牌识别应用中，在摄像头采集的视频数据基础上，还将传感器采集的环境光强度和雨量数据等感知数据、补光设备的控制状态数据等作为入参给深度学习模型进行识别预测，如当前外部感知环境存在识别率低的问题，则控制补光设备的补光强度以达到最优识别率。
通过深度学习模型进行实时预测后，预测结果则交给边缘计算和本地决策程序进一步处理，结合边缘AI的结果、外部感知数据、云端策略和控制实时生成本地的边缘决策、动作和预警等，并可直接驱动外部执行设备和/或目标设备执行相应动作，响应快速、断网仍可工作，且可以依据算法结果控制视频和图像传输，减少服务器负担。例如在智慧城市应用场景，通过摄像头边 缘AI算法识别道路积水深度，没有积水或者积水较少时仅将识别结果发送服务器；当积水达到深度1时，开启路边的警示牌并显示“道路积水，小心通过”以警示路人和司机小心通过；当积水达到深度2时，警示牌显示“水深危险，禁止通行”，并自动开启来车方向的路障、启动抽水泵排水，在准确识别监控画面的基础上实现快速的决策响应。
其中，边缘计算和本地决策与云端策略可控制，例如在网络良好时可任意切换为本地决策与云端策略，也可优选为云端策略，使得可以从云服务器中获取最新部署的策略对本地执行设备以及目标监控设备进行控制；同时在网络良好时从云服务器中获取云端策略和控制并存储在本地，作为本地决策，使得在网络不好或者断网时可直接通过本地决策下实现现场决策和动作输出，直接驱动相应的本地执行设备和/或目标监控设备执行指定动作，令监控响应更加快速，断网仍可工作，提高监控系统的可靠性。
在一个实施例中，通过多个本地的传感器接口接收所述感知数据和控制状态数据。
由于传统的摄像头接口少、不易融合其他感知数据实现边缘智能，通过额外的感知设备往往需要服务器参与，使得响应慢且断网不能正常工作。而本实施例中在本地支持多个传感器接口，直接接收多个传感器通过接口传输的外部感知数据，以实现融合了外部感知数据的边缘计算和边缘决策功能。
在一个实施例中，通过多个本地的执行接口输出驱动指令，以驱动相应的本地执行设备执行指定动作。
由于现有摄像头通常仅专注视频内容采集与处理，其他本地设备则往往需要通过服务器进行决策与控制，响应不及时且网络不好时无法及时动作。本实施例在本地支持多个执行接口，通过执行接口向相应的本地执行设备输出驱动指令，以驱动本地执行设备执行指定动作，直接控制本地执行设备执行动作实现本地联动响应，提高响应速度。
在一个实施例中，方法还包括：
所述目标监控设备与服务器建立安全连接通道，以安全传输所有的通信数据。
本实施例中，传统的摄像头通信不加密，或者仅对视频流加密，其他数据不加密，使得监控设备的安全性下降，容易遭受安全攻击，本实施例为提高传输安全性，设备中具备安全芯片，可以加强密钥和证书的存储和使用安全，在目标监控设备开启后则首先与服务器建立安全连接通道，目标监控设备的所有通信数据都通过此安全连接通道进行加密安全传输，保证了通信数据安全性，具体的加密算法可以采用如数据加密标准(Data Encryption Standard，简称为DES)、高级加密标准(Advanced Encryption Standard，简称为AES)、ECC、微型加密算法(Tiny Encryption Algorithm，简称为TEA)及SM4(国密的一种算法)等来实现加密和解密，本实施例对此不作限定。
在一个实施例中，方法还包括：
根据所述工作状态数据预测所述目标监控设备的正常功耗范围区间和变化趋势；
统计预设时间段内所述目标监控设备的实际功率，得到实际功耗变化趋势；
当所述实际功率不在所述正常功耗范围区间，或者所述实际功耗变化趋势与预测的变化趋势不符时，按预设的供电策略对所述目标监控设备进行供电控制。
本实施例中，基于深度学习模型，还可根据设备当前的工作状态数据(如运行的协议、视频码率、调焦动作、巡航动作等)等预测设备的正常功耗范围区间和变化趋势，之后检测实时的供电电流和电压，并计算出实时功率，通过统计一段时间内的实际功率得到实际功耗变化趋势，如果实际功率不在预测的正常功耗范围区间内或者实际功耗变化趋势与预测的变化趋势不符合，则判定为功耗异常，功耗异常时则按预设的供电策略对设备进行供电控制，以避免设备长时间处于功耗异常的状态，确保设备供电安全。
进一步的，按预设的供电策略对所述目标监控设备进行供电控制，具体指：
功耗异常时切断所述目标监控设备的供电，并保持预设断电时间后重新供电；
继续观测所述目标监控设备是否存在功耗异常，若存在，则再次切断所述目标监控设备的供电，并按预设步长增加所述预设断电时间后重新供电，依此类推，直到所述预设断电时间达到最大断电时间。
本实施例中，功耗异常时可临时切断供电实现目标设备的复位，并在一定的预设断电时间后(如10秒)尝试重新供电，之后再次通过上述过程观测功耗情况，若依然存在异常则再做相 同的断电处理，且预设步长增加预设断电时间后重新供电，以此类推，对设备进行若干次断电复位，且每次逐步增加断电时间直到最大断电时间，如第一次断电10秒、第二次断电20秒、第三次断电30秒、第四次断电60秒、第五次断电180秒，后续均采用180秒的断电复位时间，实现高效且合理的供电控制。
在一个实施例中，方法还包括：
开启端口白名单对所述目标监控设备的端口连接进行监控，拦截不在所述端口白名单内的端口连接；
通过对目标监控设备通信协议的解析跟踪，识别目标监控设备需要启用的合法的新端口，并将所述端口列入临时白名单，进一步进行协议解析跟踪，当所述端口不再使用时，将其从临时白名单中移除。
本实施例中，通过开启端口白名单对目标监控设备的端口连接进行监控，以过滤非授权连接和协议，实现防火墙功能，即检测目标监控设备的授权端口的数据内容、流量等信息，异常内容和异常流量可产生警报，进一步的可执行临时屏蔽网络、重启目标设备等动作。具体来说，白名单中授权的端口传输预定的通信协议和数据，通过分析传输数据可判断其是否符合预定的通信协议和数据、以及可预知的流量。比如开放端口1935给RTMP协议传输视频流，则这个端口上的所有数据都应符合RTMP协议，且其数据内容应该为视频压缩数据，如包含I帧、P帧和B帧数据；进一步，通过API获取目标设备的配置，可知视频的分辨率、压缩格式、压缩率等信息，则该端口的数据流量应和视频配置应有的流量吻合；通过开启端口白名单，不在白名单内的端口连接会被拦截，目标设备有些功能会在运行过程中产生新的端口及连接，比如使用SIP协议实现的通话功能，平时待机时只有一个端口连接，开启新的接听或者拨打动作时，服务器会分配一个新的(动态的，非固定)端口，目标设备通过此端口与服务器之间收发语音数据，这时需要通过解析SIP协议，将动态分配的端口存在临时白名单中，并持续监控此端口的数据是否为语音数据，当此端口不在使用时从临时白名单中移除，实现动态的端口连接监控，确保设备安全性的同时不影响其正常的数据传输功能。
需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。例如步骤S101和步骤S102可以并行执行，即同时获取工作状态数据、视频流、感知数据和控制状态数据，亦可先执行步骤S101再执行步骤S102，亦可先执行步骤S102再执行步骤S101，本实施例对此不作限定。
示例性的，本发明实施例提供的融合监控方法的一种应用场景为树木多维监护场景，一种树木多维监护终端，包括：倾斜传感器、树围传感器、土壤营养传感器、热释红外、感应雷达、麦克风、应用了融合监控方法的水平摄像头与天空摄像头。倾斜传感器：用于监测主干和支干的倾斜状态；树围传感器：用于监测树木的直径，得到树木的生长情况；土壤营养传感器：监测树木的生长环境；热释红外、感应雷达：用于检测是否有人靠近；麦克风：用于监控树木盗伐，识别锯木声音、树木倒地声音；水平摄像头：用于识别人类活动，抓拍破坏树木行为；天空摄像头：识别树木枝叶发育情况。
该树木多维监护终端的使用方法包括：热释红外和/或感应雷达监测到有人靠近，唤醒水平摄像头监控人类活动；同时麦克风监测是否有锯木声音或者倾斜传感器检测树木倾斜，向系统发出报警；周期采集树围传感器数据、土壤营养传感器数据、天空摄像头数据，分析树木的生长情况；将传感器数据输入深度学习引擎，经过大量数据训练后，得到环境质量提升值、NOVI数据、林木价值数据、碳汇数据等。
该树木多维监护终端可以通过深度学习模型对工作状态数据、采集到的视频流、各类传感器的感知数据和控制状态数据进行融合的实时预测，通过实时预测结果结合工作状态数据可实现对树木多维监护终端进行设备异常识别，并在存在设备异常时执行相应的预警处理动作；此外树木多维监护终端本身具有边缘计算能力，可以实现本地决策，可以更好地支持多模异构物联网的运行，具体是通过运行多个边缘AI模型，训练模型时不但使用常规的图像数据，也使用了外部感知数据和实时外部控制状态数据，使得模型的预测和本地的感知和控制相结合，令融合监控的预测结果更加准确；将预测结果交给边缘计算和本地决策程序进一步处理，结合边缘AI的结果、外部感知数据、云端策略和控制实时生成本地的边缘决策、动作和预警等，从而直 接驱动外部执行设备和/或目标设备执行相应动作，提高监控决策响应速度。例如通过热释红外和/或和感应雷达监测到是否有人靠近，通过水平摄像头抓拍树木破坏行为，如乱砍伐，通过麦克风监控树木盗伐，如识别锯木声音，树木倒地声音等等，通过对传感器数据、树木种类数据、林木网格数据、图像信息等做AI分析，基于AI分析结果与外部感知数据迅速推演出是否存在盗砍盗伐情况，控制报警器发出报警声以进行快速响应预警。
示例性的，本发明实施例提供的融合监控方法的一种应用场景为积水用弱阻塞型路闸场景，一种弱阻塞水幕式路闸系统，包括：潜水泵、水过滤装置、染色剂添加装置、水幕投影机、喷管、喷嘴、显示屏、广播喇叭、积水传感器、应用了融合监控方法的智能摄像头。潜水泵将路面的积水泵到喷灌，积水进入水泵前经过水过滤装置以清除大的杂质，在此过程中染色剂添加装置会自动添加染色剂。喷灌将水输送到各个喷头，不同位置的喷头具备不用的内经和角度以最终形成完整水幕。水幕投影机用于向水幕投射警示标志和文字，为降低成本，优选使用固定内容，通过闪烁增加警示作用。显示屏和广播喇叭用于提供发出警示。积水传感器可检测当前路面的积水深度，智能摄像头用于采集现场图像，融合现场图像、工作状态数据、传感器的感知数据以及控制状态数据等进行融合监控。
该弱阻塞水幕式路闸系统的使用方法：水深传感器和摄像头实时检测道路积水情况，当积水深度较浅且安全时，LED显示屏和广播音箱显示当前积水深度并提示缓慢经过；当积水较深且通行存在危险时，LED显示屏和广播音箱提示水深危险，请勿通过等信息；启动潜水泵在路面形成水幕，阻止车辆和行人通过，水幕投影机可以向水幕投射警示图标或者禁止通行等文字增加警示效果，智能终端向服务发送现场数据和图像，并接收服务下发的控制命令；现场的摄像头持续监控道路实况，融合感知数据通过AI算法识别车辆通行状况、是否有车辆和行人被困，一旦出现危机情况，向服务器推送高优先级报警信息，也可通过AI算法融合监测道路积水深度、水流方向等；由于水幕不具备强阻塞特性，车辆来不及停车时也不会对车辆产生破坏作用，紧急救援等特种车辆需要通过时可直接穿过水幕。积水深度降到安全水平时，停止水泵，改变LED屏等警示内容。
该弱阻塞水幕式路闸系统可以通过深度学习模型对工作状态数据、采集到的视频流、各类传感器的感知数据和控制状态数据进行融合的实时预测，通过实时预测结果结合工作状态数据可实现对设备自身进行设备异常识别，并在存在设备异常时执行相应的预警处理动作；此外弱阻塞水幕式路闸系统本身具有边缘计算能力，可以实现本地决策，可以更好地支持多模异构物联网的运行，具体是通过运行多个边缘AI模型，训练模型时不但使用常规的图像数据，也使用了外部感知数据和实时外部控制状态数据，使得模型的预测和本地的感知和控制相结合，令融合监控的预测结果更加准确；将预测结果交给边缘计算和本地决策程序进一步处理，结合边缘AI的结果、外部感知数据、云端策略和控制实时生成本地的边缘决策、动作和预警等，从而直接驱动外部执行设备和/或目标设备执行相应动作，提高监控决策响应速度。例如通过水深传感器的感知数据和摄像头的现场图像识别道路积水深度，没有积水或者积水较少时仅将识别结果发送服务器，减轻服务器的负担；当积水达到深度1时，开启路边的警示牌并显示“道路积水，小心通过”以警示路人和司机小心通过；当积水达到深度2时，警示牌显示“水深危险，禁止通行”，并自动开启来车方向的路障、启动抽水泵排水，在准确识别监控画面的基础上实现快速的决策响应。
可以理解的是，本发明实施例提供的融合监控方法还可应用于智慧城市、森林防火、智慧园区等需要视频监控的场景，也可用于监控其他联网设备，如IP广播、户外LED屏、IP对讲等设备。
本发明另一实施例提供一种融合监控装置，如图12所示，装置1包括：
获取模块11，用于获取目标监控设备的工作状态数据与采集的视频流；
接收模块12，用于接收本地感知设备采集的感知数据和控制状态数据；
融合预测模块13，用于通过训练好的深度学习模型对所述工作状态数据、视频流、感知数据和控制状态数据进行实时预测；
异常识别模块14，用于根据实时预测结果与工作状态数据进行设备异常识别，并在存在设备异常时执行相应的预警处理动作；
融合决策模块15，用于对实时预测结果与感知数据进行边缘计算与本地决策，并根据决策 结果驱动相应的本地执行设备和/或目标监控设备执行指定动作。
本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述融合监控执行过程，各模块的具体实施方式请参考上述对应的方法实施例，此处不再赘述。
在一个实施例中，装置1还包括：
安全连接模块，用于令所述目标监控设备与服务器建立安全连接通道，以安全传输所有的通信数据。
在一个实施例中，装置1还包括：
功耗预测模块，用于根据所述工作状态数据预测所述目标监控设备的正常功耗范围区间和变化趋势；
功耗统计模块，用于统计预设时间段内所述目标监控设备的实际功率，得到实际功耗变化趋势；
供电控制模块，用于当所述实际功率不在所述正常功耗范围区间，或者所述实际功耗变化趋势与预测的变化趋势不符时，按预设的供电策略对所述目标监控设备进行供电控制。
在一个实施例中，所述按预设的供电策略对所述目标监控设备进行供电控制，具体指：
功耗异常时切断所述目标监控设备的供电，并保持预设断电时间后重新供电；
继续观测所述目标监控设备是否存在功耗异常，若存在，则再次切断所述目标监控设备的供电，并按预设步长增加所述预设断电时间后重新供电，依此类推，直到所述预设断电时间达到最大断电时间。
在一个实施例中，装置1还包括：
拦截模块，用于开启端口白名单对所述目标监控设备的端口连接进行监控，拦截不在所述端口白名单内的端口连接。
在一个实施例中，通过多个本地的传感器接口接收所述感知数据和控制状态数据。
在一个实施例中，通过多个本地的执行接口输出驱动指令，以驱动相应的本地执行设备执行指定动作。
本发明另一实施例提供一种融合监控系统，如图13所示，系统10包括：
一个或多个处理器110以及存储器120，图13中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图13中以通过总线连接为例。
处理器110用于完成系统10的各种控制逻辑，其可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(Acorn RISC Machine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的融合监控方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行系统10的各种功能应用以及数据处理，即实现上述方法实施例中的融合监控方法。
存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据系统10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至系统10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，实现以下步骤：
获取目标监控设备的工作状态数据与采集的视频流；
接收本地感知设备采集的感知数据和控制状态数据；
通过训练好的深度学习模型对所述工作状态数据、视频流、感知数据和控制状态数据进行融合的实时预测；
根据实时预测结果与工作状态数据进行设备异常识别，并在存在设备异常时执行相应的预警处理动作；
对实时预测结果与感知数据进行边缘计算与本地决策，并根据决策结果驱动相应的本地执行设备和/或目标监控设备执行指定动作。
在一个实施例中，所述方法还包括：
所述目标监控设备与服务器建立安全连接通道，以安全传输所有的通信数据。
在一个实施例中，所述方法还包括：
根据所述工作状态数据预测所述目标监控设备的正常功耗范围区间和变化趋势；
统计预设时间段内所述目标监控设备的实际功率，得到实际功耗变化趋势；
当所述实际功率不在所述正常功耗范围区间，或者所述实际功耗变化趋势与预测的变化趋势不符时，按预设的供电策略对所述目标监控设备进行供电控制。
在一个实施例中，所述按预设的供电策略对所述目标监控设备进行供电控制，具体指：
功耗异常时切断所述目标监控设备的供电，并保持预设断电时间后重新供电；
继续观测所述目标监控设备是否存在功耗异常，若存在，则再次切断所述目标监控设备的供电，并按预设步长增加所述预设断电时间后重新供电，依此类推，直到所述预设断电时间达到最大断电时间。
在一个实施例中，所述方法还包括：
开启端口白名单对所述目标监控设备的端口连接进行监控，拦截不在所述端口白名单内的端口连接。
在一个实施例中，通过多个本地的传感器接口接收所述感知数据和控制状态数据。
在一个实施例中，通过多个本地的执行接口输出驱动指令，以驱动相应的本地执行设备执行指定动作。
本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，实现以下步骤：
获取目标监控设备的工作状态数据与采集的视频流；
接收本地感知设备采集的感知数据和控制状态数据；
通过训练好的深度学习模型对所述工作状态数据、视频流、感知数据和控制状态数据进行融合的实时预测；
根据实时预测结果与工作状态数据进行设备异常识别，并在存在设备异常时执行相应的预警处理动作；
对实时预测结果与感知数据进行边缘计算与本地决策，并根据决策结果驱动相应的本地执行设备和/或目标监控设备执行指定动作。
在一个实施例中，所述方法还包括：
所述目标监控设备与服务器建立安全连接通道，以安全传输所有的通信数据。
在一个实施例中，所述方法还包括：
根据所述工作状态数据预测所述目标监控设备的正常功耗范围区间和变化趋势；
统计预设时间段内所述目标监控设备的实际功率，得到实际功耗变化趋势；
当所述实际功率不在所述正常功耗范围区间，或者所述实际功耗变化趋势与预测的变化趋势不符时，按预设的供电策略对所述目标监控设备进行供电控制。
在一个实施例中，所述按预设的供电策略对所述目标监控设备进行供电控制，具体指：
功耗异常时切断所述目标监控设备的供电，并保持预设断电时间后重新供电；
继续观测所述目标监控设备是否存在功耗异常，若存在，则再次切断所述目标监控设备的供电，并按预设步长增加所述预设断电时间后重新供电，依此类推，直到所述预设断电时间达到最大断电时间。
在一个实施例中，所述方法还包括：
开启端口白名单对所述目标监控设备的端口连接进行监控，拦截不在所述端口白名单内的端口连接。
在一个实施例中，通过多个本地的传感器接口接收所述感知数据和控制状态数据。
在一个实施例中，通过多个本地的执行接口输出驱动指令，以驱动相应的本地执行设备执 行指定动作。
作为示例，非易失性存储介质能够包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦ROM(EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(RAM)。通过说明而非限制，RAM可以以诸如同步RAM(SRAM)、动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、Sync link DRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
综上，本发明公开的一种融合监控方法、装置、系统及介质中，方法通过获取目标监控设备的工作状态数据与采集的视频流；接收本地感知设备采集的感知数据和控制状态数据；通过训练好的深度学习模型对工作状态数据、视频流、感知数据和控制状态数据进行融合的实时预测；根据实时预测结果与工作状态数据进行设备异常识别；对实时预测结果与感知数据进行边缘计算与本地决策，并根据决策结果驱动相应的本地执行设备和/或目标监控设备执行指定动作。通过采集的视频流融合感知数据以及设备工作状态等信息进行深度学习预测，不仅可实现准确的设备自身异常监控，还为边缘计算和本地决策提供可靠的数据，以直接驱动本地执行设备，有效提高决策响应速度。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的计算机程序可存储于一非易失性计算机可读取的存储介质中，该计算机程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、软盘、闪存、光存储器等。
本案的另一实施例，见图14，带有融合监控的地表火检测系统，图中：
1)地表火监测设备使用不同传感器组合监控是否有火情，融合监测设备负责监控地表火监测设备的通信、供电和物理状态等工况；
2)融合监测设备提供地表火监测设备对外的通信通道，所有地表火监测设备的通信数据都会在融合监测设备处做加密处理以保证通信安全；
3)当地表火监测设备处于低功耗工作模式时，融合监测设备也进入低功耗模式，融合监测设备仅定期监测地表火检测设备的耗电情况。如果发现地表火监测设备耗电过大或异常拨动，可向服务器发送异常报警并通过控制地表火监测设备电源以使其重新启动；
4)融合监测设备监控地表火监测设备的物理工作状态，如机壳内温度、湿度、设备的倾角等，发现异常则向服务器发送报警信息；
5)融合监测设备监控维持一个端口白名单，地表火监测设备与外部交互的数据使用的端口必须在端口白名单中，否则相应数据将被拦截，被允许通过的数据会被进一步进行解析以防止病毒和攻击数据通过；
6)当检测到有火情时，地表火监测设备发送报警数据给服务器，启动本地广播播放警示语音，之后启动可见光摄像头或者热成像摄像头监测，产生的视频流推通过融合监测设备推给服务器；
7)融合监测设备对传输的视频流交给本地的烟火识别算法，通过深度学习算法推断当前火情、火势蔓延情况等，并将结果发送给服务器。融合监测设备通过外接的气象传感器以及当前火势蔓延情况做出本地决策，当气象条件较好(如风速小、空气湿润、有雨雾)且火势较小，通过播放广播要求附近人员实施灭火以防止火势蔓延，当气象条件不好(如风速大、空气干燥)且火势较大，通过广播播放要求附近人员特别是没有灭火工具的人员迅速撤离现场，以减少人员伤亡；
8)根据需要，服务器可下发指令控制地表火监测设备的摄像头水平巡航、垂直巡航和焦距以监控现场不同区域，也可改变摄像头的码率；
9)融合监测设备抓取地表火监测设备的配置和协议数据、通过深度学习模型预测当前的流量大小、端口使用情况、设备朝向、俯仰角、角速度、功耗及变化趋势等数据，通过预测数据和实际数据的比较可推断出设备异常，进而发送报警给服务器并进一步采取限制异常通信、重启设备等措施；
10)融合通信设备具备人体检测传感器，当识别到有人经过时，并将有人经过的信息发送 给地表火检测终端，由于人体的散发的红外波会影响红外波段的背景噪声，地表火检测终端可临时放宽门限阀值以避免不必要的误报；
11)地表火检测终端在有人经过时，可播放宣传语音，提醒经过人员注意防火安全，同时通过可见光摄像头拍摄广角照片拍摄经过人员，在发生意外事故时可作为留底证据用。
图1-图14等实施例可应用于如图15所示的下一代物联网，与图15系统中的技术互相支持和融合，有效解决物联网应用中的很多瓶颈问题，例如高延迟、高功耗、网络覆盖不全、数据承载低、通信协议不同、数据不安全、应用终端调配通信资源等。本发明大大提高物联网在多种不同环境中的应用价值和用户体验，提高应用效率，真正实现“万物互联”有效应用，实现包括但不限于如下：
下一代物联网的特征在于弱化了传统物联网的感(感知)、传(通信)、算(计算)、控(控制)和用(应用)的边界，提升了各分层之间的互操作性，以动态、按需、合理调配资源为导向使分层间相互促进，使系统达到整体的优化；
而这其中通信环节显得尤为关键，基于多模异构网络专为各行业的智慧孪生/智慧赋能打造的，多模异构网络是现有无线通信和网络的有效改进和提升，通过通信参数、多种组网方式和网络资源的动态协调分配，实现了泛在、动态、实时的有效通信，提高了频谱利用率、网络资源的利用率，并增加了网络的覆盖能力和覆盖性能；
多模异构网络具备多态性，可根据物理位置动态调整通信参数以建立网络，除了主流通信模式外也包含Mesh、中继、SDN等先进组网方式。支持弹性调度、灵活扩展的无线链路接入与管理技术，支持链路自愈，提供高利用、强稳定、易恢复的专业无线网络承载服务；
多模异构网络与行业紧密结合，根据行业要求或/和物理位置动态调整通信参数，例如可调整信源编码、信道编码、信号时隙、发射功率、载波频点、载波带宽、调制方式、发射功率、接收灵敏度等通信参数；不同的通信要求使用不同的通信策略，如高带宽通信要求可采用数据发送点拆分、传输时多径并发和接收点汇聚，并可结合高服务质量调配等策略，又如高可靠通信要求的数据可采用多路冗余传输方式，及保证了可靠送达，又减少了多种通信方式顺序切换带来的延迟；
多模异构网络与感控终端深度融合，感知根据自身条件如电量、感知数据数值、感知数据变化率、预设门限、网络状况等动态改变采样间隔、采样精度等，进一步的调整发送频次、发射功率和调制方式等参数，因此可同时兼顾响应时间、整机功耗、网络带宽占用。感知设备结合边缘计算实现边缘纠偏和自校正，也可同时生成边缘决策，直接驱动控制终端；
多模异构网络具备自治能力，所述基站/网关可以自带分布式边缘核心网(或通信服务器)，与服务器侧核心网连接中断时可自动切换到边缘核心网；断网情况下，基站/网关之间可通过无线或者有线方式组网，其中一个基站/网关作为核心网。边缘核心网提供了断网弱网情况下的分层和区域通信，为分域边缘计算提供了数据交换必要支撑；
多模异构网络与人工智能加持，核心网和基站可收集基站、路由节点、终端的链路信息包括：通信制式、通信路径、信噪比、丢包率、延迟、信道占用率等信息，通过深度学习做链路预测进而推演出更优联网和通信方案，按需(数据传输速率、响应时间、可靠性、连接距离等)自适应调整设备的连接方式(直连基站，网状网，点到点)、传输路径(单路径，多路径)、射频参数(调制方式、速率、频谱占用，接收带宽)；
多模异构网络可增强云边协算能力，人工智能行业算法中台对算力及服务资源支持统一管理与运维，可根据行业应用、算力、网络及通信状况来实现对雾计算、边缘计算及人工智能行业算法中台自身的算力和算法任务的动态分配，根据实际配置场景实现自动扩缩容，提升计算资源利用率；
所述下一代人工智能物联网系统涵盖多个层级：下到上依次为终端层、传输层、支撑层、人工智能业务平台层和城市运营综合IOC层。
所述下一代人工智能物联网系统还包括：安全管理平台、统一运维管理平台和IT资源服务；其中，安全管理平台、统一运维管理平台纵向贯穿全部层级，提供全链条、端到端服务；
IT资源服务为支撑层、人工智能业务平台层和城市运营综合IOC层提供服务；
地表火监控终端的数据通过多模异构网络回传，在发生火情时，地表火终端传送现场的实 时视频流，因森林所在区域网络覆盖不好传输视频难度很大，多模异构网络可通过调配通信资源保证发现火情的的终端能顺利传输视频；视频融合监控设备为所有数据传输提供了安全通道，区块链安全管理平台则提供了同一的安全服务，包括安全证书发放、密钥管理等；
基于上述实施例，本发明还提供了一种非易失性计算机可读存储介质，其中，所述非易失性计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时，可实现如上述任一项方法实施例中的地表火监测方法，例如，可实现以上描述的图1中的方法步骤S100至步骤S300。
作为示例，非易失性存储介质能够包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦ROM(EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(RAM)。通过说明并非限制，RAM可以以诸如同步RAM(SRAM)、动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synch link DRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
本发明的另一种实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被处理器执行时，可实现如上述任一项方法实施例中的地表火监测方法，例如，可实现以上描述的图1中的方法步骤S100至步骤S300。
以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存在于计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分的方法。
除了其他之外，诸如“能够”、“能”、“可能”或“可以”之类的条件语言除非另外具体地陈述或者在如所使用的上下文内以其他方式理解，否则一般地旨在传达特定实施方式能包括(然而其他实施方式不包括)特定特征、元件和/或操作。因此，这样的条件语言一般地还旨在暗示特征、元件和/或操作对于一个或多个实施方式无论如何都是需要的或者一个或多个实施方式必须包括用于在有或没有输入或提示的情况下判定这些特征、元件和/或操作是否被包括或者将在任何特定实施方式中被执行的逻辑。
已经在本文中、在本说明书和附图中描述的内容包括能够提供一种地表火监测方法、装置、系统以及非易失性计算机可读存储介质的示例。当然，不能够出于描述本公开的各种特征的目的来描述元件和/或方法的每个可以想象的组合，但是可以认识到，所公开的特征的许多另外的组合和置换是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况下能够对本公开做出各种修改，但是，所有这些各种修改都应属于本发明所附权利要求的保护范围。此外，或在替代方案中，本公开的其他实施例从对本说明书和附图的考虑以及如本文中所呈现的本公开的实践中可能是显而易见的。意图是，本说明书和附图中所提出的示例在所有方面被认为是说明性的而非限制性的。尽管在本文中采用了特定术语，但是它们在通用和描述性意义上被使用并且不用于限制的目的。

Claims (1)

  1. 一种用于视频监控方法，包括：
    对目标实行信号采样；
    基于信号采样结果报警和/或开启视频监控；
    通过视频融合监控为所有数据传输提供安全通道；以及
    通过区块链安全管理平台提供安全服务，其中所述安全服务包括安全证书发放和/或密钥管理。
PCT/CN2023/143602 2022-12-30 2023-12-29 物联网中的视频系统和方法 WO2024141086A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202380015610.6A CN118575208A (zh) 2022-12-30 2023-12-29 物联网中的视频系统和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263436111P 2022-12-30 2022-12-30
US63/436111 2022-12-30

Publications (1)

Publication Number Publication Date
WO2024141086A1 true WO2024141086A1 (zh) 2024-07-04

Family

ID=90858988

Family Applications (8)

Application Number Title Priority Date Filing Date
PCT/CN2023/102266 WO2024139095A1 (zh) 2022-12-30 2023-06-26 基于对称密钥的数据加密方法、数据解密方法、装置和存储介质和电子设备
PCT/CN2023/137963 WO2024140148A1 (zh) 2022-12-30 2023-12-11 一种身份认证和密钥交换方法、装置、系统及介质
PCT/CN2023/137966 WO2024140149A1 (zh) 2022-12-30 2023-12-11 一种智能切换安全体系运行的方法、装置、系统及介质
PCT/CN2023/143680 WO2024141094A1 (zh) 2022-12-30 2023-12-29 一种分布式加解密方法、装置、系统及介质
PCT/CN2023/143644 WO2024141089A1 (zh) 2022-12-30 2023-12-29 一种生成式人工智能(aigc)
PCT/CN2023/143534 WO2024141075A1 (zh) 2022-12-30 2023-12-29 视频流码率自适应方法、装置、计算机设备及存储介质
PCT/CN2023/143602 WO2024141086A1 (zh) 2022-12-30 2023-12-29 物联网中的视频系统和方法
PCT/CN2023/143685 WO2024141096A1 (zh) 2022-12-30 2023-12-30 一种物联网数据的安全传输方法、装置、系统及介质

Family Applications Before (6)

Application Number Title Priority Date Filing Date
PCT/CN2023/102266 WO2024139095A1 (zh) 2022-12-30 2023-06-26 基于对称密钥的数据加密方法、数据解密方法、装置和存储介质和电子设备
PCT/CN2023/137963 WO2024140148A1 (zh) 2022-12-30 2023-12-11 一种身份认证和密钥交换方法、装置、系统及介质
PCT/CN2023/137966 WO2024140149A1 (zh) 2022-12-30 2023-12-11 一种智能切换安全体系运行的方法、装置、系统及介质
PCT/CN2023/143680 WO2024141094A1 (zh) 2022-12-30 2023-12-29 一种分布式加解密方法、装置、系统及介质
PCT/CN2023/143644 WO2024141089A1 (zh) 2022-12-30 2023-12-29 一种生成式人工智能(aigc)
PCT/CN2023/143534 WO2024141075A1 (zh) 2022-12-30 2023-12-29 视频流码率自适应方法、装置、计算机设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/143685 WO2024141096A1 (zh) 2022-12-30 2023-12-30 一种物联网数据的安全传输方法、装置、系统及介质

Country Status (2)

Country Link
CN (12) CN118575443A (zh)
WO (8) WO2024139095A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990007522A (ko) * 1998-09-12 1999-01-25 김배훈 무인 산불 감시장치 및 그 방법
CN202472841U (zh) * 2011-12-19 2012-10-03 南京农业大学 基于物联网的森林火灾监测预警系统
CN105389936A (zh) * 2015-11-18 2016-03-09 西安天璇智能系统科技有限公司 森林灾害智能防护系统
CN205080699U (zh) * 2015-11-07 2016-03-09 贾如春 基于物联网的森林烟火智能预警系统
CN106056834A (zh) * 2016-07-22 2016-10-26 湖北誉恒科技有限公司 森林防火防盗视频监控系统
CN210466637U (zh) * 2019-08-21 2020-05-05 湖北泰龙互联通信股份有限公司 一种森林防火监控系统
CN111225375A (zh) * 2019-12-31 2020-06-02 汉熵通信有限公司 下一代物联网体系架构设计方法与应用系统
CN116368355A (zh) * 2021-09-05 2023-06-30 汉熵通信有限公司 物联网系统

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8819765B2 (en) * 2008-01-22 2014-08-26 Telefonaktiebolaget L M Ericsson (Publ) Security policy distribution to communication terminals
CA2804741A1 (en) * 2013-01-21 2014-07-21 Disternet Technology, Inc. Media server
KR101486155B1 (ko) * 2013-08-01 2015-01-26 덕성여자대학교 산학협력단 사물간 통신 네트워크에서 해쉬 기반 기기 인증 및 세션키 생성 방법
CN105721153B (zh) * 2014-09-05 2020-03-27 三星Sds株式会社 基于认证信息的密钥交换系统及方法
CN105119900B (zh) * 2015-07-17 2019-02-26 北京奇虎科技有限公司 信息安全传输方法、联网接入方法及相应的终端
CN106022652A (zh) * 2016-06-12 2016-10-12 刘兆刚 一种森林碳汇经营方案的处理方法和装置
US20190268145A1 (en) * 2016-06-28 2019-08-29 Verimatrix Gmbh Systems and Methods for Authenticating Communications Using a Single Message Exchange and Symmetric Key
CN106657143A (zh) * 2017-01-20 2017-05-10 中兴通讯股份有限公司 一种流媒体传输方法、装置、服务器及终端
CN107105060B (zh) * 2017-05-27 2020-12-08 天津恒天新能源汽车研究院有限公司 一种实现电动汽车信息安全的方法
CN107332631A (zh) * 2017-07-31 2017-11-07 南昌航空大学 一种采用多属性群决策理论评价链路质量评估模型的方法
US10819794B2 (en) * 2017-09-26 2020-10-27 Verizon Patent And Licensing Inc. Distribution hub for internet-of-things data
CN109146112B (zh) * 2018-02-06 2021-06-08 中国科学院沈阳应用生态研究所 面向森林多目标优化决策的经营系统
CN110719248B (zh) * 2018-07-12 2021-08-17 中移（杭州）信息技术有限公司 用户数据报协议报文的转发方法及装置
US10531318B1 (en) * 2018-11-28 2020-01-07 International Business Machines Corporation Mobile data scheduling based on signal strength and user availability
CN111479164A (zh) * 2019-01-23 2020-07-31 上海哔哩哔哩科技有限公司 硬件解码动态分辨率无缝切换方法、装置及存储介质
US11349817B2 (en) * 2019-12-23 2022-05-31 Intel Corporation Session management framework for secure communications between host devices and trusted devices
CN111245597B (zh) * 2020-01-17 2023-09-15 众安信息技术服务有限公司 密钥管理方法、系统及设备
CN111901642B (zh) * 2020-07-31 2022-09-30 成都云格致力科技有限公司 基于强化学习的实时视频码率自适应调控方法与系统
CN112165636B (zh) * 2020-09-10 2021-12-14 东北大学 D2d网络多媒体流码率调节方法及多媒体流实时传输系统
CN114389793B (zh) * 2020-10-16 2024-03-08 中移动信息技术有限公司 会话密钥验证的方法、装置、设备及计算机存储介质
CN112543189B (zh) * 2020-11-27 2023-05-09 北京中电飞华通信有限公司 数据安全传输方法和系统
CN112822521B (zh) * 2020-12-30 2023-04-25 百果园技术(新加坡)有限公司 音视频传输的码率控制方法、装置、设备及存储介质
US20220255759A1 (en) * 2021-02-08 2022-08-11 Twilio Inc. Verification push notifications through web-browser
CN113705015A (zh) * 2021-09-03 2021-11-26 知晓（北京）通信科技有限公司 一种林地多数据融合的林业碳汇算法
CN114003970B (zh) * 2021-10-26 2022-12-09 中国电子科技集团公司第五十四研究所 一种基于哈希链的低开销消息完整性保护方法
CN114338091B (zh) * 2021-12-08 2024-05-07 杭州逗酷软件科技有限公司 数据传输方法、装置、电子设备及存储介质
CN114611903A (zh) * 2021-12-15 2022-06-10 国家电网有限公司大数据中心 一种基于信息熵赋权的数据传输动态配置方法和系统
CN114154135B (zh) * 2022-02-07 2022-05-24 南京理工大学 基于国密算法的车联网通信安全认证方法、系统及设备
CN114881805B (zh) * 2022-04-21 2023-04-07 山东高速云南发展有限公司 一种基于碳汇密度的林业碳汇规划方法
CN114710289B (zh) * 2022-06-02 2022-09-02 确信信息股份有限公司 物联网终端安全注册和接入方法及系统
CN115174212A (zh) * 2022-07-05 2022-10-11 北京威努特技术有限公司 一种利用熵技术甄别网络数据传输是否加密的方法
CN115484301A (zh) * 2022-08-04 2022-12-16 支付宝(杭州)信息技术有限公司 一种数据传输方法、装置、存储介质及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990007522A (ko) * 1998-09-12 1999-01-25 김배훈 무인 산불 감시장치 및 그 방법
CN202472841U (zh) * 2011-12-19 2012-10-03 南京农业大学 基于物联网的森林火灾监测预警系统
CN205080699U (zh) * 2015-11-07 2016-03-09 贾如春 基于物联网的森林烟火智能预警系统
CN105389936A (zh) * 2015-11-18 2016-03-09 西安天璇智能系统科技有限公司 森林灾害智能防护系统
CN106056834A (zh) * 2016-07-22 2016-10-26 湖北誉恒科技有限公司 森林防火防盗视频监控系统
CN210466637U (zh) * 2019-08-21 2020-05-05 湖北泰龙互联通信股份有限公司 一种森林防火监控系统
CN111225375A (zh) * 2019-12-31 2020-06-02 汉熵通信有限公司 下一代物联网体系架构设计方法与应用系统
CN116368355A (zh) * 2021-09-05 2023-06-30 汉熵通信有限公司 物联网系统

Also Published As

Publication number Publication date
CN117972599A (zh) 2024-05-03
CN117997527A (zh) 2024-05-07
WO2024140149A1 (zh) 2024-07-04
WO2024141089A1 (zh) 2024-07-04
CN118633291A (zh) 2024-09-10
CN118575188A (zh) 2024-08-30
CN118575449A (zh) 2024-08-30
WO2024141096A1 (zh) 2024-07-04
CN118614037A (zh) 2024-09-06
CN118089623A (zh) 2024-05-28
WO2024140148A1 (zh) 2024-07-04
WO2024141094A1 (zh) 2024-07-04
WO2024141075A1 (zh) 2024-07-04
CN118575208A (zh) 2024-08-30
CN117974305A (zh) 2024-05-03
WO2024139095A1 (zh) 2024-07-04
CN118575443A (zh) 2024-08-30
CN118614106A (zh) 2024-09-06
CN118575450A (zh) 2024-08-30

Similar Documents

Publication Publication Date Title
WO2021253961A1 (zh) 一种智能视觉感知系统
CN111629427B (zh) 多媒体数据处理方法、装置、电子设备及存储介质
US20190362126A1 (en) Smoke detection system and method
KR102188850B1 (ko) 무선통신을 이용한 블랙아이스 분석시스템
CN110379141B (zh) 一种采用网关进行传感器联动的方法及网关系统
CN103945179A (zh) 一种基于分布式无线传感器网络的智能视频监控系统
CN104580227B (zh) 基于家庭网络探测手机mac地址的自动布撤防方法
CN104092993A (zh) 一种基于视频分析的路灯控制与治安监控装置、系统及其方法
CN105472353B (zh) 一种电缆终端塔场报警联动视频监控系统及方法
CN104113731A (zh) 基于物联网云服务的远程无线视频监控系统
CN104202568A (zh) 车载监控系统以及监控方法
CN202600885U (zh) 一种智能视频周界围栏系统
US20240080363A1 (en) IOT System
CN110290347A (zh) 一种智能安防网络视频联动监控系统及方法
WO2018233046A1 (zh) 一种基于数据类型的通信控制方法及系统
WO2018233048A1 (zh) 一种控制物联网终端设备通信的方法及系统
CN101789953A (zh) 一种移动通信系统中远程监控节点及管理系统
WO2018233045A1 (zh) 一种物联网通信模式的切换控制方法及系统
CN115695720A (zh) 一种智慧城市道路智能监控方法、装置及电子设备
CN102917202A (zh) 基于无线网络的水闸安全监控系统
WO2024141086A1 (zh) 物联网中的视频系统和方法
CN105427513A (zh) 一种针对大区域遥感森林防火视频红外监控系统
CN207895630U (zh) 带环境感知及应急疏散指挥功能的监控系统
CN113835378A (zh) 一种基于物联网的智慧园区信息安全传输系统
CN104980709A (zh) 一种智能动态高清视频人脸比对系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23910999

Country of ref document: EP

Kind code of ref document: A1