WO2020207371A1 - 数据处理系统和方法、装置以及电子设备 - Google Patents

数据处理系统和方法、装置以及电子设备 Download PDF

Info

Publication number
WO2020207371A1
WO2020207371A1 PCT/CN2020/083478 CN2020083478W WO2020207371A1 WO 2020207371 A1 WO2020207371 A1 WO 2020207371A1 CN 2020083478 W CN2020083478 W CN 2020083478W WO 2020207371 A1 WO2020207371 A1 WO 2020207371A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
processing
edge cloud
control device
cloud node
Prior art date
Application number
PCT/CN2020/083478
Other languages
English (en)
French (fr)
Inventor
谢鹏
Original Assignee
阿里巴巴集团控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 阿里巴巴集团控股有限公司 filed Critical 阿里巴巴集团控股有限公司
Publication of WO2020207371A1 publication Critical patent/WO2020207371A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Definitions

  • the present invention relates to the technical field of cloud computing, in particular to a data processing system, method, device and electronic equipment.
  • edge nodes are closer to users or data sources, they can provide nearest-end services nearby. This can generate faster network service response and meet the edge-side needs of users in real-time business and security and privacy protection.
  • edge nodes based on the near-user side have also appeared.
  • Using the network to turn the edge nodes near the user into an edge node that the user can also use, a cloud network-like edge node network has emerged. It can make better use of the high response speed of user-side near-user computing, and can meet the elastic changes of user needs.
  • an edge cloud composed of multiple edge nodes near the user side is compared with a traditional centralized data center.
  • the two computing resources of the cloud can only be processed according to their own advantages when providing services for the computing needs of users, and they cannot meet the needs of users in response speed and computing storage capacity at the same time.
  • the embodiments of the present invention provide a data processing system and method, device, and electronic equipment to solve the defect that the edge cloud or the central cloud in the prior art cannot meet the user's needs for response speed and computing storage capacity at the same time when providing services. .
  • an embodiment of the present invention provides a data processing system, including: an edge cloud node and a central management and control device connected to the edge cloud node through a network channel,
  • the edge cloud node is configured to obtain first data and perform first processing, generate second data, and send the second data to the central control device through the network channel;
  • the central management and control device is configured to perform second processing on the received second data to generate third data, and the third data is target processing result data of the first data.
  • the embodiment of the present invention also provides a data processing method, which is applied to a network including an edge cloud node and a central management and control device connected to the edge cloud node through a network channel, and the method includes:
  • the sixth data is sent to the edge cloud node through the network channel for the edge cloud node to perform the sixth processing to generate the target processing result data of the sixth data
  • the sixth data is the fifth data obtained by the central management and control device Generated by the fifth process
  • the embodiment of the present invention also provides a data processing method, which is applied to a network including an edge cloud node and a central management and control device connected to the edge cloud node through a network channel, and the method includes:
  • the second data is sent to the central management and control device through a network channel, so that the central management and control device performs second processing on the second data and generates target data according to the target processing information of the second data.
  • the embodiment of the present invention also provides a data processing device, which is applied to a network including an edge cloud node and a central management and control device connected to the edge cloud node through a network channel, and the device includes:
  • a data sending module configured to send sixth data to an edge cloud node through a network channel for the edge cloud node to perform sixth processing to generate target processing result data of the sixth data, and the sixth data is the central management control Generated by the device by performing fifth processing on the acquired fifth data;
  • the data receiving module is used to receive the third data sent by the edge cloud node through the network channel;
  • the second processing module is configured to perform third processing on the third data to generate target processing result data of the second data.
  • the embodiment of the present invention also provides a data processing device, which is applied to a network including an edge cloud node and a central management and control device connected to the edge cloud node through a network channel, and the device includes:
  • the first processing module is configured to perform first processing on first data and generate second data
  • the data reporting module is configured to send the second data to the central management and control device through a network channel, so that the central management and control device performs second processing on the second data according to the target processing information of the second data And generate target data.
  • the embodiment of the present invention also provides a data processing system, which is applied to a network including an edge cloud node and a central management and control device connected to the edge cloud node through a network channel, the edge cloud node includes an edge cloud management and control device, and The edge cloud management and control device executes the foregoing method.
  • the embodiment of the present invention also provides a data processing system, including: an edge cloud node and a central management and control device connected to the edge cloud node through a network channel,
  • the edge cloud node is used to obtain and process data, and send the processed data to the central control device through the network channel;
  • the central management and control device is used to obtain and process data from the edge cloud node, and generate and store final data.
  • the embodiment of the present invention also provides an electronic device, including:
  • Memory used to store programs
  • the processor is configured to run the program stored in the memory, so that the electronic device:
  • Control the central management and control device to perform second processing on the second data to generate third data, where the third data is target processing result data of the first data.
  • the edge cloud node for the data of the edge cloud node, two levels of processing are performed in the edge cloud node and the central management and control device, that is, on the one hand, the edge cloud node performs the first Processing to meet the user's demand for response speed, on the other hand, the second processing is performed on the central control device to meet the user's demand for data computing and storage capabilities, thereby improving user experience.
  • Fig. 1a is a schematic structural diagram of a network system provided by an exemplary embodiment of this application.
  • FIG. 1b is a schematic structural diagram of another network system provided by an exemplary embodiment of this application.
  • Figure 2 is a system block diagram of an embodiment of a data processing system provided by the present invention.
  • FIG. 3 is a flowchart of an embodiment of the data processing method provided by the present invention.
  • FIG. 6 is a flowchart of another embodiment of the data processing method provided by the present invention.
  • FIG. 7 is a schematic structural diagram of an embodiment of an electronic device provided by the present invention.
  • the edge cloud refers to the cloud computing platform relatively close to the terminal, in other words, different from the central cloud or traditional cloud computing platform, the central cloud or traditional cloud computing platform can include resources Large-scale and centralized data centers, and edge cloud nodes cover a wider network range, and therefore have the characteristics of being closer to the terminal.
  • the resource scale of a single edge cloud node is small, but the number of edge cloud nodes is large.
  • Edge cloud nodes constitute an integral part of the edge cloud.
  • the edge cloud network is a network based on the infrastructure between the central cloud or the traditional cloud computing system and the terminal.
  • the edge cloud network can be combined with the central cloud or traditional cloud computing platforms and other central networks and terminals to form a "cloud edge-end three-body synergy" network architecture.
  • the network can be forwarded, stored, calculated, and intelligently Data analysis and other tasks are processed in each edge cloud node. Because each edge cloud node is closer to the terminal, it can reduce response delay, reduce the pressure on the central cloud or traditional cloud computing platform, and reduce bandwidth costs.
  • Fig. 1a is a schematic structural diagram of a network system provided by an exemplary embodiment of this application.
  • Fig. 1b is a schematic structural diagram of another network system provided by an exemplary embodiment of this application.
  • the data processing system provided by this embodiment includes: at least one edge cloud node 102 and a central management and control device 101. At least one edge cloud node 102 is respectively connected to the central management and control device 101 through a network channel.
  • the data processing system of this embodiment is a cloud computing platform built on edge infrastructure based on cloud computing technology and edge computing capabilities, and is a cloud platform with computing, network, storage, and security capabilities at the edge.
  • Edge cloud is a relative concept.
  • Edge cloud refers to a cloud computing platform that is relatively close to the terminal. In other words, it is different from the central cloud or traditional cloud computing platform.
  • the central cloud or traditional cloud computing platform can include large-scale resources and centralized locations. Data centers, and edge cloud nodes cover a wider network range, and therefore have the characteristics of being closer to the terminal.
  • the resource scale of a single edge cloud node is small, but the number of edge cloud nodes is large, and multiple edge cloud nodes constitute the original Part of the edge cloud in the embodiment.
  • the terminal in this embodiment refers to the demand side of cloud computing services, for example, it may be a terminal or a user side in the Internet, or a terminal or a user side in the Internet of Things.
  • the edge cloud network is a network based on the infrastructure between the central cloud or the traditional cloud computing system and the terminal.
  • the data processing system includes at least one edge cloud node 102, and each edge cloud node 102 includes a series of edge infrastructures.
  • edge infrastructures include, but are not limited to: distributed data centers (DC), wireless computer rooms or clusters, operations Communication networks, core network equipment, base stations, edge gateways, home gateways, computing equipment, storage equipment and other edge equipment and corresponding network environments. It is explained here that the locations, capabilities, and included infrastructure of different edge cloud nodes 102 may be the same or different.
  • the data processing system of this embodiment is combined with central networks and terminals such as central clouds or traditional cloud computing platforms to form a "cloud-side-end three-body coordination" network architecture.
  • the network can be forwarded and stored.
  • Computing, intelligent data analysis and other tasks are processed in each edge cloud node 102 in the data processing system. Since each edge cloud node 102 is closer to the terminal, the response delay can be reduced and the central cloud or traditional cloud computing platform can be reduced. Pressure to reduce bandwidth costs.
  • a central management and control device 101 is deployed.
  • the central management and control device 101 uses the edge cloud node 102 as the management and control object for resource scheduling, image management, instance management and control, operation and maintenance, network, security, etc.
  • At least one edge cloud node 102 in the data processing system is uniformly managed and controlled, so that cloud computing services are placed in each edge cloud node 102 for processing.
  • the central management and control device 101 can be deployed in one or more cloud computing data centers, or it can be deployed in one or more traditional data centers, and the central management and control device 101 can also be connected to at least one edge cloud managed by it.
  • the nodes jointly constitute an edge cloud network, which is not limited in this embodiment.
  • the edge cloud node 102 For an edge cloud node 102, various resources may be provided externally, such as computing resources such as CPU and GPU, storage resources such as memory and hard disk, and network resources such as bandwidth.
  • the edge cloud node 102 can also create a corresponding instance based on the image, and provide various cloud computing services externally through the instance.
  • the image is the basic file needed to create an instance in the edge cloud node.
  • it can be an image file such as an operating system, application, or operation configuration required to provide users with cloud computing services, and it can be in line with edge cloud node computing deployment Requirements, according to a specific series of documents in a certain format made into documents.
  • VM virtual machine
  • Docker container
  • application packaging files various types of application packaging files, etc.
  • the image form can be compatible with the virtualization technology required by cloud computing services. Regarding, this embodiment does not limit this.
  • the implementation form of the instance can be a virtual machine, container, or application.
  • the central management and control device 101 can directly control and schedule at least one edge cloud node 102, but it is not limited to this.
  • one or more edge cloud management and control devices may be additionally provided in one or more edge cloud nodes 102.
  • the edge cloud management and control device 103 may be deployed on one device in a centralized manner, or distributed on multiple devices.
  • the central management and control device 101 may be deployed in one or more cloud computing data centers or traditional data centers, and may also be deployed in an edge cloud network together with at least one edge cloud node.
  • the edge cloud management and control device 103 can assist and cooperate with the central management and control device 101 to manage and control at least one edge cloud node 102. With the assistance of the edge cloud management and control device 103, the central management and control device 101 can manage and schedule at least one edge cloud node 102 more conveniently and efficiently, thereby achieving the purpose of making full use of edge resources.
  • the edge cloud node 102 is an edge node in the edge cloud near the user side, and is used to perform first processing on the first data obtained by it, such as performing processing operations such as data deduplication and error debugging. To generate second data that can be fed back to the user, so as to meet the user's demand for response speed. Then, the edge cloud node 102 sends the second data to the central cloud management and control device 101 through the network channel for further processing, so as to meet the user's demand for data computing capabilities.
  • the central cloud management and control device 101 may be a traditional cloud service platform formed by a centralized data center that provides cloud computing services for users.
  • the central cloud management and control device 101 After receiving the second data uploaded by the edge cloud node 102, the central cloud management and control device 101 performs second processing on the second data, for example, performs in-depth calculation processing and other operations to generate target processing result data of the first data.
  • the edge cloud node 102 obtains the first data
  • the ultimate purpose of processing it is to obtain the target processing result data of the first data.
  • the first data The processing is divided into two parts, namely, the first processing performed by the edge cloud node 102 itself and the second processing performed by the central cloud management and control device 101. After these two levels of processing, it can satisfy the user's response speed and computing power at the same time. Demand.
  • edge cloud data processing system for the data of the edge cloud node, two-level processing is performed in the edge cloud node and the central management and control device, that is, on the one hand, the first processing is performed on the edge cloud node to satisfy The user's demand for response speed, on the other hand, performs second processing in the central control device to meet the user's demand for data computing and storage capabilities, thereby improving user experience.
  • Fig. 2 is a system block diagram of an embodiment of a data processing system provided by the present invention. As shown in FIG. 2, this embodiment provides an edge cloud data processing system.
  • the system may include multiple edge cloud nodes. In FIG. 2, only one edge cloud node is shown as an example.
  • the edge cloud node 102 may include: a data collection module 11, a first processing module 12, and a data reporting module 13.
  • the data collection module 11 obtains various data, that is, first data.
  • the first data may include, but is not limited to: physical machine data, virtual machine data, business module data, and instance data. Bandwidth traffic, instance current running status, instance IO load, physical machine bandwidth traffic, physical machine current running status, physical machine IO load, edge control module running status, virtualization component running status, etc.
  • the first processing module 12 performs a first processing on the first data to generate second data.
  • the first processing may include but is not limited to: deduplication processing on the first data, Debug processing, archive processing, merge processing, etc.
  • the data reporting module 13 sends the second data generated by the first processing module 12 to the central management and control device 101 through a high-security and high-availability network channel for subsequent processing.
  • the edge cloud node 102 may further include: a data caching module 14.
  • the data reporting module 13 may send the second data generated by the first processing module 12 to the data caching module 14 for caching processing
  • the type of cache can include, but is not limited to: disk cache, memory cache, database cache, etc.; when the network channel returns to normal, the data reporting module 13 then resends the second data cached by the data cache module 14 to the central control through the network channel Equipment 101.
  • the edge cloud node 102 may further include an edge cloud management and control device, for example, the edge cloud management and control device 103 shown in FIG. 1, correspondingly, it can perform operations on each module of the edge cloud node 102. Control, and is responsible for data interaction with the central control equipment 101.
  • the edge cloud management and control device may instruct the data reporting module 13 to report the second data to the central management and control device 101 according to the processing result of the first processing module 12 on the first data, or when the edge cloud management and control device monitors the edge cloud node 102 and the center
  • the data caching module 14 can be instructed to cache the second data generated by the first processing module 12, and when the network channel is monitored to return to normal, then Instruct the data reporting module 13 to resend the second data to the central management and control device 101.
  • the central management and control device 101 may include: a data receiving module 26 for receiving data sent by edge cloud nodes through a network channel.
  • the central management and control device 101 may include: a second processing module 21.
  • the second processing module 21 in the central management and control device 101 performs second processing on the second data. For example, operations such as in-depth calculation processing are performed, or operations such as deduplication processing, error debugging processing, archiving processing, and merging processing can also be performed to generate target processing result data of the first data.
  • the central management and control device 101 may also include a data sending module 25, configured to send sixth data to the edge cloud node through a network channel for the edge cloud node to perform the sixth processing to generate target processing result data of the sixth data.
  • the sixth data is generated by the central management and control device 101 by performing fifth processing on the acquired fifth data.
  • the data sending module 25 of the central management and control device 101 can also send the sixth data to the edge cloud management and control device of the edge cloud node, so that when the edge cloud management and control device receives the data, it instructs the first
  • the processing module processes the data, and according to the processing result of the first processing module, instructs the data reporting module to send the processing result, that is, the target processing result data of the sixth data to the central management and control device 101.
  • the central management and control device 101 may further include: a data storage module 22. After the second processing module 21 generates the third data, the third data may be stored in the data storage module 22 for centralized storage, so as to achieve persistent storage of data.
  • the central management and control device 101 may also store the third data in other data storage devices after the second processing module 21 generates the third data, for example, a traditional cloud storage device or a dedicated data storage device , In order to achieve data persistent storage.
  • the edge cloud node can collect various device information for the first processing, and after receiving the device information collected by the edge cloud node, the central control device searches for the corresponding user according to the device information Information to perform the second processing to generate target data.
  • the edge node when the edge cloud node processes IO data, the edge node can collect the IO data used by the generated device, but because the user information associated with the IO data is not stored on the edge cloud node, the edge cloud The node needs to send the IO data together with the identification information of the device (for example, device ID, etc.) to the central management and control device, so that the central management and control device can use the device information to find user information corresponding to the IO data, based on the IO The data and user information found according to the device information are used to generate the final IO indicator data and send it to the user.
  • the central management and control device can also check the user's IO indicator data, and notify the edge cloud node to perform corresponding operations based on the IO indicator data.
  • the edge cloud node is a node close to the user side, it can collect various information of the device actually used, for example, traffic information, device identification, etc. Since the central control equipment is set on a large centralized server, it can store more other information, such as user identification.
  • the central management and control device 101 may also include: a data inspection module 23.
  • the data inspection module 23 can obtain the target processing information of the second data, and the target processing information is used to describe the target processing operation task for the second data. That is, by obtaining the target processing information of the second data, the target processing information can be analyzed. What types of data will be processed, and what types of data will ultimately be obtained.
  • the target processing information may be obtained from the edge cloud node 102, or it may be found in the central management and control device 101 according to one or some attributes of the second data. Then, the data inspection module 23 determines whether the target processing information matches the target processing result data. If they match, it indicates that the acquired second data is accurate, and the second processing operation performed on the second data is also accurate.
  • the generated target processing result data is also accurate; if it does not match, the second data needs to be retrieved from the edge cloud node 102 through the network channel, that is, the latest data is actively synchronized to the edge cloud node 102 again to correct the data content .
  • the second data or its target processing information may further include identification information for identifying the correspondence between the second data and its target processing information. Therefore, the data inspection module 23 can first determine whether the target processing information belongs to the second data used to generate the target processing result data before determining whether the target processing information matches the target processing result data, that is, check whether the target processing information matches the target processing result data. Correspondence of the second data. According to the embodiment of the present application, the data inspection module 23 may also obtain the identification information contained in the second data before obtaining the target processing information, and further obtain the target processing information of the second data according to the identification information.
  • the central management and control device 101 may also include a data interface module 24.
  • the data interface module 24 can de-duplicate, merge, add, query, modify or delete the third data stored in the data storage module 22 according to the received operation instructions. And so on.
  • edge cloud data processing system for the data of the edge cloud node, two-level processing is performed in the edge cloud node and the central management and control device, that is, on the one hand, the first processing is performed on the edge cloud node to satisfy The user’s demand for response speed, on the other hand, performs secondary processing in the central control equipment to meet the user’s demand for data computing and storage capabilities, thereby improving user experience;
  • the edge cloud node Cache the data that has undergone the first processing. After the normal transmission is restored, the cached data can be sent to the central control device for further processing; the central control device checks the stored data to find the problematic data and re- Obtain relevant data and perform relevant operations, thereby improving user experience.
  • FIG. 3 is a flow chart of an embodiment of the data processing method provided by the present invention.
  • the execution body of the method can be the central control device in the above data processing system, various servers with data processing capabilities, or integration The device or chip on these devices.
  • the data processing method provided in this embodiment includes the following steps:
  • S301 Receive the third data sent by the edge cloud node through the network channel.
  • the edge cloud node is an edge node in the edge cloud near the user side
  • the central management and control device may receive the third data generated by performing the first processing on the first data from the edge cloud node, so as to facilitate It undergoes further processing.
  • S302 Perform third processing on the third data to generate second data.
  • the third data may be target processing result data of the first data obtained by the edge cloud node. That is to say, after the edge cloud node collects certain first data, the ultimate purpose of processing it is to obtain the second data (that is, the target processing result data of the first data).
  • the processing of the first data is divided into two parts, namely, the first processing performed by the edge cloud node itself and the second processing performed by the central control device. After these two levels of processing, the user’s response speed can be satisfied at the same time. And the need for computing power.
  • the edge cloud node includes an edge cloud management and control device
  • the interactive operations performed by the edge cloud node and the central management and control device described in the embodiments of this application can also be managed and executed by the edge cloud management and control device .
  • the data processing method provided by the embodiment of the present invention for the data of the edge cloud node, the data that has been initially processed through the edge cloud node can be further processed in the central management and control device, or the central management and control device can also perform the preliminary processing and The processing result is sent to the edge cloud node for further processing to obtain the target processing result data, which achieves a high response speed on the user side.
  • it also meets the user's demand for data computing and storage capabilities, thereby improving the user experience.
  • the data interaction between the central management and control device and the edge cloud node is not limited to only obtaining data from the edge cloud node.
  • the central management and control device may also send data to the edge cloud node through a network channel.
  • the central management and control device can also process the data obtained from the edge cloud node based on the data it owns or the data further obtained from the outside to generate the target processing Result data.
  • the edge cloud node includes an edge cloud management and control device
  • the interactive operations performed by the edge cloud node and the central management and control device described in the embodiments of this application can also be managed and executed by the edge cloud management and control device .
  • the sixth data is target processing result data for the edge cloud node to perform the sixth processing to generate the sixth data
  • the sixth data is the central management and control device by performing the first processing on the acquired fifth data.
  • the central management and control device can perform preliminary processing and send the processing result to the edge cloud node for further processing to obtain the target processing result data of the sixth data, and it can also perform preliminary processing on the data processed by the edge cloud node.
  • import data from external data sources to achieve better data processing results. Therefore, it not only achieves a high response speed on the user side, but also meets the user's demand for data computing and storage capabilities, thereby improving user experience.
  • Fig. 4 is a flowchart of another embodiment of a data processing method provided by the present invention.
  • the execution subject of this method may be the edge cloud node in the aforementioned data processing system, may also be various servers with data processing capabilities, or may be devices or chips integrated on these devices.
  • the data processing method provided in this embodiment includes the following steps:
  • S401 Perform first processing on the first data, and generate second data.
  • the edge cloud node can obtain various data as the first data, for example, physical machine data, virtual machine data, business module data, instance bandwidth traffic, instance current running status, instance IO load, physical machine bandwidth traffic , The current running status of the physical machine, the IO load of the physical machine, the running status of the edge management and control module, the running status of the virtualization component, etc.
  • the edge cloud node After the edge cloud node obtains the first data, it can perform first processing on the first data to generate second data.
  • the first processing may include but is not limited to: deduplication processing, debugging processing, and archiving processing on the first data , Merger processing, etc.
  • S402 Send the second data to the central control device through the network channel.
  • the generated second data can be sent to the central control device through, for example, a high-security and high-availability network channel for subsequent processing, so that it can pass through the center.
  • the third data is generated after processing by the control device.
  • the edge cloud node collects certain first data
  • the ultimate purpose of processing it is to obtain the second data (that is, the target processing result data of the first data).
  • the processing of the first data is divided into two parts, namely, the first processing performed by the edge cloud node itself and the second processing performed by the central control device. After these two levels of processing, it can satisfy the user's response speed and The need for computing power.
  • edge cloud node includes an edge cloud management and control device
  • the interactive operations performed by the edge cloud node and the central management and control device described in the embodiments of this application can also be managed and executed by the edge cloud management and control device .
  • the edge cloud node may first obtain the first data and perform preliminary processing, so as to finally complete further processing at the central control device. Therefore, through two-level processing in the edge cloud node and the central control device, that is, on the one hand, basic processing is performed at the edge cloud node to meet the user's response speed requirements, and on the other hand, further processing is performed in the central control device. To meet the user's demand for data computing and storage capabilities, thereby improving user experience.
  • Fig. 5 is a flowchart of another embodiment of the data processing method provided by the present invention. As shown in FIG. 5, on the basis of the embodiment shown in FIG. 4, the data processing method provided in this embodiment may further include the following steps:
  • S501 Perform first processing on the first data to generate second data.
  • step S501 is the same as step S401 in the above-mentioned embodiment shown in FIG. 4.
  • step S501 is the same as step S401 in the above-mentioned embodiment shown in FIG. 4.
  • the second data generated in step S501 may be cached, and the type of cache may include but is not limited to : Disk cache, memory cache, database cache, etc.; when the network channel returns to normal, the cached second data is re-sent to the central control device through the network channel.
  • S504 Send the second data to the central control device through the network channel.
  • step S504 is the same as step S402 in the above-mentioned embodiment shown in FIG. 4. For details, see the specific description of the embodiment shown in FIG. 4, which is not repeated here.
  • edge cloud node includes an edge cloud management and control device
  • the interactive operations performed by the edge cloud node and the central management and control device described in the embodiments of this application can also be managed and executed by the edge cloud management and control device .
  • the data that has undergone basic processing is cached at the edge cloud node, and the cached data can be sent to the central control device for further processing after normal transmission is restored , Thereby avoiding problems such as data loss due to network failures.
  • Fig. 6 is a flowchart of still another embodiment of the data processing method provided by the present invention. As shown in FIG. 6, on the basis of the embodiment shown in FIG. 3, the data processing method provided in this embodiment may further include the following steps:
  • S601 Receive second data from an edge cloud node through a network channel.
  • the edge cloud node is an edge node in the edge cloud near the user side
  • the central management and control device may receive the second data generated by performing the first processing on the first data from the edge cloud node, so as to facilitate It undergoes further processing.
  • S602 Perform second processing on the second data to generate third data.
  • steps S601 to S602 are the same as steps S401 and S402 in the above-mentioned embodiment shown in FIG. 3. For details, see the specific description of the embodiment shown in FIG. 3, which will not be repeated here.
  • S603 Acquire target processing information of the second data.
  • S604 Determine whether the target processing information matches the third data, and if it does not match, reacquire the second data from the edge cloud node through the network channel to perform the second processing.
  • the target processing information is used to describe the target processing operation task for the second data.
  • the target processing information can be obtained from the edge cloud node, or can be found in the central control device according to one or some attributes of the second data. Then, it is judged whether the target processing information matches the third data.
  • the second data needs to be obtained from the edge cloud node again through the network channel, that is, the latest data is actively synchronized with the edge cloud node again to correct the data content.
  • the second data or its target processing information may further include identification information for identifying the corresponding relationship between the second data and its target processing information.
  • identification information for identifying the corresponding relationship between the second data and its target processing information.
  • it may further include:
  • S6031 Determine whether the target processing information belongs to the second data.
  • the target processing information of the second data may also be obtained according to the identification information.
  • the third data may be stored in a centralized manner to realize data persistent storage.
  • S606 After receiving the operation instruction, perform deduplication, merging, adding, querying, modifying, or deleting operations on the stored third data according to the operation instruction.
  • the central management and control device when receiving operation instructions for data from various business systems, can de-duplicate, merge, add, query, modify, or modify the stored third data according to the received operation instructions. Delete and other operations.
  • the central management and control device can discover the problematic data by patrolling the stored data, so as to reacquire relevant data and perform relevant operations, and can also perform related operations based on identification information. To further check the correspondence between the second data and the target processing information, thereby improving the user experience.
  • edge cloud nodes can contain various roles such as edge management and control devices, computing devices, storage devices, and network devices, and all related to logical interaction and management control can be performed by edge cloud management and control devices, such as data interaction, Resource scheduling, monitoring operation and maintenance, etc., and other types of devices mainly perform services related to their roles.
  • edge cloud management and control devices such as data interaction, Resource scheduling, monitoring operation and maintenance, etc.
  • storage devices are responsible for the creation, release, and execution of storage resources. Therefore, in the case that the edge cloud node includes an edge management and control device, the interactive operations performed by the edge cloud node and the central management and control device described in the above embodiments of the present application can be managed and executed by the edge management and control device.
  • FIG. 7 is a schematic structural diagram of an embodiment of an electronic device provided by the present invention. As shown in FIG. 7, the electronic device includes a memory 51 and a processor 52.
  • the memory 51 is used to store programs. In addition to the above-mentioned programs, the memory 51 may also be configured to store other various data to support operations on the electronic device. Examples of these data include instructions for any application or method operating on the electronic device, contact data, phone book data, messages, pictures, videos, etc.
  • the memory 51 can be implemented by any type of volatile or nonvolatile storage device or a combination thereof, such as static random access memory (SRAM), electrically erasable programmable read-only memory (EEPROM), erasable and Programmable Read Only Memory (EPROM), Programmable Read Only Memory (PROM), Read Only Memory (ROM), Magnetic Memory, Flash Memory, Magnetic Disk or Optical Disk.
  • SRAM static random access memory
  • EEPROM electrically erasable programmable read-only memory
  • EPROM erasable and Programmable Read Only Memory
  • PROM Programmable Read Only Memory
  • ROM Read Only Memory
  • Magnetic Memory Flash Memory
  • Magnetic Disk Magnetic Disk or Optical Disk.
  • the processor 52 is coupled with the memory 51 and executes the program stored in the memory 51 to perform the following operations:
  • the control center control equipment performs second processing on the second data to generate third data, and the third data is target processing result data of the first data.
  • the processor 52 may include various modules arranged on the edge cloud node, for example, the data collection module 11, the first processing module 12, and the data reporting module 13 as shown in FIG. 2 to facilitate control
  • the edge cloud node performs various operations.
  • the processor 52 may also include various modules set on the central control equipment, for example, the second processing module 21, the data storage module 22, and the data inspection module 23 as shown in FIG. 2 to facilitate the control center management and control The device performs various operations.
  • the electronic device may further include: a communication component 53, a power supply component 54, an audio component 55, a display 56 and other components. Only some components are schematically shown in FIG. 7, which does not mean that the electronic device only includes the components shown in FIG. 7.
  • the communication component 53 is configured to facilitate wired or wireless communication between the electronic device and other devices.
  • Electronic devices can access wireless networks based on communication standards, such as WiFi, 2G or 3G, or a combination of them.
  • the communication component 53 receives a broadcast signal or broadcast related information from an external broadcast management system via a broadcast channel.
  • the communication component 53 further includes a near field communication (NFC) module to facilitate short-range communication.
  • NFC near field communication
  • the NFC module can be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • the power supply component 54 provides power for various components of the electronic device.
  • the power supply component 54 may include a power management system, one or more power supplies, and other components associated with the generation, management, and distribution of power for electronic devices.
  • the audio component 55 is configured to output and/or input audio signals.
  • the audio component 55 includes a microphone (MIC), and when the electronic device is in an operation mode, such as a call mode, a recording mode, and a voice recognition mode, the microphone is configured to receive external audio signals.
  • the received audio signal may be further stored in the memory 51 or transmitted via the communication component 53.
  • the audio component 55 further includes a speaker for outputting audio signals.
  • the display 56 includes a screen, and the screen may include a liquid crystal display (LCD) and a touch panel (TP). If the screen includes a touch panel, the screen may be implemented as a touch screen to receive input signals from the user.
  • the touch panel includes one or more touch sensors to sense touch, sliding, and gestures on the touch panel. The touch sensor may not only sense the boundary of a touch or slide action, but also detect the duration and pressure related to the touch or slide operation.
  • a person of ordinary skill in the art can understand that all or part of the steps in the foregoing method embodiments can be implemented by a program instructing relevant hardware.
  • the aforementioned program can be stored in a computer readable storage medium.
  • the steps including the foregoing method embodiments are executed; and the foregoing storage medium includes: ROM, RAM, magnetic disk, or optical disk and other media that can store program codes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据处理系统和方法、装置以及电子设备。该系统包括：边缘云节点和通过网络通道与所述边缘云节点连接的中心管控设备，所述边缘云节点，用于获取第一数据并进行第一处理，生成第二数据，并将所述第二数据通过所述网络通道发送至所述中心管控设备；所述中心管控设备，用于对接收到的所述第二数据进行第二处理，生成第三数据，所述第三数据为所述第一数据的目标处理结果数据。本发明实施例针对边缘云节点的数据，通过在边缘云节点和中心管控设备中进行两级处理，即，一方面在边缘云节点进行基础处理，以满足用户对响应速度的需求，另一方面在中心管控设备进行进一步处理，以满足用户对数据的计算存储能力的需求，从而提高了用户体验。

Description

数据处理系统和方法、装置以及电子设备
本申请要求2019年04月08日递交的申请号为201910277959.2、发明名称为“数据处理系统和方法、装置以及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及云计算技术领域，尤其涉及一种数据处理系统和方法、装置以及电子设备。
背景技术
边缘节点由于更加靠近用户或数据源，能够就近提供最近端服务。从而能够产生更快的网络服务响应，以及满足用户在实时业务以及安全与隐私保护等方面的边缘侧需求。
近年来，由于网络的发展也出现了基于近用户侧的边缘节点，利用网络将用户附近的边缘节点变为该用户也可用的边缘节点，从而出现了类似云网络的边缘节点网络。能够更好地发挥用户侧的近用户计算的高响应速度，又能够满足用户需求的弹性变化。
发明人在实现本发明的过程中，发现现有技术至少存在如下问题：在现有技术中，由近用户侧的多个边缘节点构成的边缘云与传统的由集中式的数据中心构成的中心云这两种计算资源，在针对用户的计算需求提供服务时，只能根据各自的优势针对性地进行处理，无法同时满足用户在响应速度和在计算存储能力上的需求。
发明内容
本发明实施例提供一种数据处理系统和方法、装置以及电子设备，以解决现有技术中边缘云或中心云在提供服务时无法同时满足用户在响应速度和在计算存储能力上的需求的缺陷。
为达到上述目的，本发明实施例提供了一种数据处理系统，包括：边缘云节点和通过网络通道与所述边缘云节点连接的中心管控设备，
所述边缘云节点，用于获取第一数据并进行第一处理，生成第二数据，并将所述第二数据通过所述网络通道发送至所述中心管控设备；
所述中心管控设备，用于对接收到的所述第二数据进行第二处理，生成第三数据，所述第三数据为所述第一数据的目标处理结果数据。
本发明实施例还提供了一种数据处理方法，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述方法包括：
通过网络通道向边缘云节点发送第六数据以供所述边缘云节点进行第六处理生成所述第六数据的目标处理结果数据，所述第六数据是中心管控设备通过对获取的第五数据进行第五处理而生成的；或，
通过网络通道接收边缘云节点发送的第三数据，对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据。
本发明实施例还提供了一种数据处理方法，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述方法包括：
对第一数据进行第一处理并生成第二数据；
将所述第二数据通过网络通道发送给所述中心管控设备，以供所述中心管控设备根据所述第二数据的目标处理信息对所述第二数据进行第二处理并生成目标数据。
本发明实施例还提供了一种数据处理装置，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述装置包括：
数据发送模块，用于通过网络通道向边缘云节点发送第六数据以供所述边缘云节点进行第六处理生成所述第六数据的目标处理结果数据，所述第六数据是所述中心管控设备通过对获取的第五数据进行第五处理而生成的；以及
数据接收模块，用于通过网络通道接收边缘云节点发送的第三数据；
第二处理模块，用于对所述第三数据进行第三处理，生成所述第二数据的目标处理结果数据。
本发明实施例还提供了一种数据处理装置，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述装置包括：
第一处理模块，用于对第一数据进行第一处理并生成第二数据；
数据上报模块，用于将所述第二数据通过网络通道发送给所述中心管控设备，以供所述中心管控设备根据所述第二数据的目标处理信息对所述第二数据进行第二处理并生成目标数据。
本发明实施例还提供了一种数据处理系统，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述边缘云节点包括边缘云管控设备，所述边缘云管控设备执行前述方法。
本发明实施例还提供一种数据处理系统，包括：边缘云节点和通过网络通道与所述 边缘云节点连接的中心管控设备，
所述边缘云节点，用于获取数据并处理，将所述处理的数据通过所述网络通道发送至所述中心管控设备；
所述中心管控设备，用于获取并处理来自所述边缘云节点的数据，生成并存储最终数据。
本发明实施例还提供了一种电子设备，包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，使得所述电子设备：
控制边缘云节点获取第一数据并进行第一处理，生成第二数据；
控制所述边缘云节点将所述第二数据通过网络通道发送至中心管控设备；
控制所述中心管控设备对所述第二数据进行第二处理，生成第三数据，所述第三数据为所述第一数据的目标处理结果数据。
本发明实施例提供的数据处理系统和方法、装置以及电子设备，针对边缘云节点的数据，通过在边缘云节点和中心管控设备中进行两级处理，即，一方面在边缘云节点进行第一处理，以满足用户对响应速度的需求，另一方面在中心管控设备进行第二处理，以满足用户对数据的计算存储能力的需求，从而提高了用户体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1a为本申请示例性实施例提供的一种网络系统的结构示意图；
图1b为本申请示例性实施例提供的另一种网络系统的结构示意图；
图2为本发明提供的数据处理系统实施例的系统框图；
图3为本发明提供的数据处理方法一个实施例的流程图；
图4为本发明提供的数据处理方法另一个实施例的流程图；
图5为本发明提供的数据处理方法又一个实施例的流程图；
图6为本发明提供的数据处理方法再一个实施例的流程图；
图7为本发明提供的电子设备实施例的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
与中心云或者传统的云计算平台相对应，边缘云是指相对靠近终端的云计算平台，或者说，与中心云或者传统的云计算平台相区别，中心云或者传统的云计算平台可以包括资源规模化且位置集中的数据中心，而边缘云节点覆盖的网络范围更广泛，也因此具备距离终端更近的特性，单个边缘云节点的资源规模较小，但是边缘云节点的数量多，多个边缘云节点构成了边缘云的组成部分。边缘云网络是基于中心云或者传统的云计算系统与终端之间的基础设施构建的网络。特别是边缘云网络能够与中心云或传统的云计算平台等中心网络、终端结合形成“云边端三体协同”的网络架构，在该网络架构中，可以将网络转发、存储、计算、智能化数据分析等任务放在各边缘云节点中处理，由于各边缘云节点更靠近终端，因此可以降低响应时延，减轻中心云或传统的云计算平台的压力，降低带宽成本。
上述实施例是对本发明实施例的技术原理的说明，下面通过多个实施例来进一步对本发明实施例具体技术方案进行详细描述。
实施例一
图1a为本申请示例性实施例提供的一种网络系统的结构示意图。图1b为本申请示例性实施例提供的另一种网络系统的结构示意图。如图1a和图1b所示，本实施例提供的数据处理系统包括：至少一个边缘云节点102和中心管控设备101。至少一个边缘云节点102分别与中心管控设备101通过网络通道连接。
本实施例的数据处理系统是基于云计算技术和边缘计算的能力，构筑在边缘基础设施之上的云计算平台，是一种边缘位置的具备计算、网络、存储、安全等能力的云平台。
与中心云或者传统的云计算平台相对应，本实施例的数据处理系统可以视为一种混合的边缘云网络系统。边缘云是个相对概念，边缘云是指相对靠近终端的云计算平台， 或者说，与中心云或者传统的云计算平台相区别，中心云或者传统的云计算平台可以包括资源规模化且位置集中的数据中心，而边缘云节点覆盖的网络范围更广泛，也因此具备距离终端更近的特性，单个边缘云节点的资源规模较小，但是边缘云节点的数量多，多个边缘云节点构成了本实施例中边缘云的组成部分。本实施例的终端是指云计算服务的需求端，例如可以是互联网中的终端或者用户端，或者物联网中的终端或用户端。边缘云网络是基于中心云或者传统的云计算系统与终端之间的基础设施构建的网络。其中，数据处理系统包括至少一个边缘云节点102，每个边缘云节点102包括一系列的边缘基础设施，这些边缘基础设施包括但不限于：分布式数据中心(DC)、无线机房或集群，运营商的通信网络、核心网设备、基站、边缘网关、家庭网关、计算设备、存储设备等边缘设备及对应的网络环境等等。在此说明，不同边缘云节点102的位置、能力以及包含的基础设施可以相同，也可以不相同。
其中，本实施例的数据处理系统与中心云或传统的云计算平台等中心网络、终端结合可形成“云边端三体协同”的网络架构，在该网络架构中，可以将网络转发、存储、计算、智能化数据分析等任务放在数据处理系统中的各边缘云节点102中处理，由于各边缘云节点102更靠近终端，因此可以降低响应时延，减轻中心云或传统的云计算平台的压力，降低带宽成本。
如何合理地调度多个边缘云节点资源，以及如何管控好多个边缘云节点以正确和稳定的逻辑进行云计算服务，是一个重要的挑战。在本实施例的网络系统100中，部署有中心管控设备101，中心管控设备101以边缘云节点102为管控对象，在资源调度，镜像管理，实例管控，运维，网络，安全等各方面对数据处理系统中的至少一个边缘云节点102进行统一管控，从而将云计算服务放到各边缘云节点102中处理。在部署实施上，中心管控设备101可以部署在一个或多个云计算数据中心中，或者，可以部署在一个或多个传统数据中心中，中心管控设备101也可以和其管控的至少一个边缘云节点共同构成边缘云网络，本实施例对此不做限定。
对一个边缘云节点102来说，可以对外提供各种资源，例如CPU、GPU等计算资源，内存、硬盘等存储资源，带宽等网络资源等。另外，边缘云节点102还可以根据镜像创建相应实例，通过实例对外提供各种云计算服务。其中，镜像是在边缘云节点中创建实例所需的基础文件，例如可以是为用户提供云计算服务所需的操作系统、应用、或操作配置等镜像文件，其可以是符合边缘云节点计算部署要求，根据特定的一系列文件按照一定的格式制作成的文件。另外，镜像的形态是多样的，可以是虚拟机(Virtual Machine， VM)镜像文件、容器(Docker)镜像文件、各类型的应用打包文件等，镜像形态可以与云计算服务需要使用的虚拟化技术有关，本实施例对此不做限定。与镜像对应，实例的实现形态可以是虚拟机、容器或应用程序等。
值得说明的是，在数据处理系统中，中心管控设备101可以直接对至少一个边缘云节点102进行管控和调度，但并不限于此。例如，可以在一个或多个边缘云节点102中额外地设置一个或多个边缘云管控设备。例如图1b中所示的边缘云管控设备103。可选地，边缘云管控设备103可集中部署在一台设备上，也可以分散部署在多台设备上。中心管控设备101可以部署在一个或多个云计算数据中心或传统数据中心中，也可以和至少一个边缘云节点一起部署在边缘云网络中。边缘云管控设备103可辅助、配合中心管控设备101对至少一个边缘云节点102进行管控和调度。在边缘云管控设备103的协助下，中心管控设备101可以更加方便、高效地对至少一个边缘云节点102进行管控和调度，进而达到充分利用边缘资源的目的。
在本发明实施例中，边缘云节点102为近用户侧的边缘云中的边缘节点，用于对其获取到的第一数据进行第一处理，例如进行数据去重、除错等处理操作，以生成可以向用户反馈的第二数据，从而满足用户对响应速度的需求。然后，边缘云节点102将该第二数据通过网络通道发送至中心云管控设备101进行进一步处理，以满足用户对数据就计算能力的需求。中心云管控设备101可以为传统的由集中式数据中心构成的为用户提供云计算服务的云服务平台。中心云管控设备101在接收到边缘云节点102上传的第二数据后，对该第二数据进行第二处理，例如进行深入的计算处理等操作，以生成第一数据的目标处理结果数据。也就是说，在边缘云节点102获取了第一数据后，对其进行处理的最终目的是为了获取第一数据的目标处理结果数据，在本发明实施例的方案中，将对第一数据的处理分为两部分，即，由边缘云节点102本身执行的第一处理以及由中心云管控设备101执行的第二处理，经过这两级处理后，可同时满足用户对响应速度和对计算能力的需求。
本发明实施例提供的边缘云的数据处理系统，针对边缘云节点的数据，通过在边缘云节点和中心管控设备中进行两级处理，即，一方面在边缘云节点进行第一处理，以满足用户对响应速度的需求，另一方面在中心管控设备进行第二处理，以满足用户对数据的计算存储能力的需求，从而提高了用户体验。
实施例二
图2为本发明提供的数据处理系统实施例的系统框图。如图2所示，本实施例提供了一种边缘云的数据处理系统，该系统可以包括多个边缘云节点，图2中仅示出一个边缘云节点作为示例。在该系统中，边缘云节点102可以包括：数据采集模块11、第一处理模块12和数据上报模块13。
在本发明实施例的边缘云节点102中，数据采集模块11获取各种数据，即，第一数据，该第一数据可以包括但不限于：物理机数据、虚拟机数据、业务模块数据、实例带宽流量、实例当前运行情况、实例IO负载、物理机带宽流量、物理机当前运行情况、物理机IO负载、边缘管控模块运行情况、虚拟化组件运行情况等。在数据采集模块11获取了第一数据后，第一处理模块12对该第一数据进行第一处理生成第二数据，该第一处理可以包括但不限于：对第一数据的去重处理、除错处理、归档处理、合并处理等。然后，由数据上报模块13将第一处理模块12生成的第二数据通过高安全性、高可用性的网络通道发送至中心管控设备101进行后续的处理。
进一步地，边缘云节点102还可以包括：数据缓存模块14。当边缘云节点102与中心管控设备101之间的网络通道发生异常而无法正常传输数据时，数据上报模块13可以将第一处理模块12生成的第二数据发送至数据缓存模块14进行缓存处理，缓存的类型可以包括但不限于：磁盘缓存、内存缓存、数据库缓存等；在网络通道恢复正常时，数据上报模块13则再将数据缓存模块14缓存的第二数据通过网络通道重新发送至中心管控设备101。
此外，根据本申请实施例，边缘云节点102可以进一步包括边缘云管控设备，例如，如图1中所示的边缘云管控设备103，对应的，其可以对上述边缘云节点102的各模块进行管控，并负责与中心管控设备101进行数据交互。例如，边缘云管控设备可以根据第一处理模块12对第一数据的处理结果指示数据上报模块13将第二数据上报给中心管控设备101，或者当边缘云管控设备监控到边缘云节点102与中心管控设备101之间的网络通道发生异常而无法正常传输数据的情况时，可以指示数据缓存模块14对第一处理模块12生成的第二数据进行缓存，并且在监控到网络通道恢复正常时，再指示数据上报模块13将第二数据重新发送至中心管控设备101。
此外，中心管控设备101可以包括：数据接收模块26，用于通过网络通道接收边缘云节点发送的数据。
另外，中心管控设备101可以包括：第二处理模块21。当边缘云节点1中的数据上报模块13将第二数据发送至中心管控设备101的数据接收模块26时，中心管控设备101 中的第二处理模块21则对该第二数据进行第二处理，例如进行深入的计算处理等操作，或者，也可以进行去重处理、除错处理、归档处理、合并处理等操作，以生成第一数据的目标处理结果数据。
进一步地，中心管控设备101还可以包括数据发送模块25，用于通过网络通道向边缘云节点发送第六数据以供所述边缘云节点进行第六处理生成第六数据的目标处理结果数据，第六数据是中心管控设备101通过对获取的第五数据进行第五处理而生成的。
在该情况下，如上所述，中心管控设备101的数据发送模块25也可以将第六数据发送给边缘云节点的边缘云管控设备，从而边缘云管控设备在接收到该数据时，指示第一处理模块对该数据进行处理，并且根据第一处理模块的处理结果，指示数据上报模块将处理结果，即，第六数据的目标处理结果数据发送给中心管控设备101。
进一步地，中心管控设备101还可以包括：数据存储模块22。在第二处理模块21生成第三数据后，可以将第三数据存储到数据存储模块22进行集中式存储，以实现数据持久化存储。
根据本申请的实施例，中心管控设备101也可以在第二处理模块21生成第三数据后，将第三数据存储到其他数据存储设备，例如，传统的云存储设备或者专用的数据存储设备中，以实现数据持久化存储。
此外，根据本申请实施例，边缘云节点可以采集各种设备信息，以进行第一处理，并且中心管控设备在接收到由边缘云节点采集到的设备信息之后，根据该设备信息查找对应的用户信息，以进行第二处理，从而生成目标数据。
例如，在边缘云节点处理IO数据的情况下，边缘节点可以采集产生的设备所使用的IO数据，但是由于与该IO数据关联的用户信息并未存储在该边缘云节点上，因此，边缘云节点需要将该IO数据与该设备的标识信息(例如，设备ID等)一起发送给中心管控设备，从而中心管控设备可以利用设备信息来查找与该IO数据相对应的用户信息，从而基于该IO数据与根据设备信息查找到的用户信息来生成最终的IO指标数据并发送给用户。另外，中心管控设备也可以检查用户的IO指标数据，并且根据IO指标数据来通知边缘云节点进行相应的操作。
另外，要说明的是，边缘云节点因为是靠近用户侧的节点，因此可以采集实际使用的设备的各种信息，例如，流量信息、设备标识等。而中心管控设备由于设置在大型集中服务器上，因此能够存储有更多的其他信息，例如，用户标识等。
更进一步地，中心管控设备101还可以包括：数据巡检模块23。该数据巡检模块23 可以获取第二数据的目标处理信息，该目标处理信息用于描述针对第二数据的目标处理操作任务，即，通过获取第二数据的目标处理信息，可以分析出针对该数据将要进行哪些类型的处理，最终将得到哪些类型的数据。该目标处理信息可以从边缘云节点102获取得到，或者也可以根据第二数据的某个或某些属性而在中心管控设备101中查找得到。然后，数据巡检模块23判断该目标处理信息与目标处理结果数据是否匹配，若匹配，则表明获取到的第二数据是准确的，对该第二数据执行的第二处理操作也是准确的，从而生成的目标处理结果数据也是准确的；若不匹配，则需要通过网络通道重新从边缘云节点102获取第二数据，即，重新主动向该边缘云节点102同步最新的数据，以纠正数据内容。
此外，根据本申请实施例，在第二数据或其目标处理信息中可以进一步包含有标识信息，用于标识该第二数据与其目标处理信息的对应关系。从而数据巡检模块23可以在判断目标处理信息与目标处理结果数据是否匹配之前，先判断该目标处理信息是否属于用于生成该目标处理结果数据所基于的第二数据，即检查目标处理信息与该第二数据的对应关系。根据本申请的实施例，数据巡检模块23也可以在获取目标处理信息之前，先获取第二数据中包含的标识信息，并根据该标识信息来进一步获取该第二数据的目标处理信息。
再进一步地，中心管控设备101还可以包括数据接口模块24。当接收到各种业务系统对数据的操作指令时，数据接口模块24可以根据接收到的操作指令，对存储于数据存储模块22的第三数据进行去重、合并、增加、查询、修改或删除等操作。本发明实施例提供的边缘云的数据处理系统，针对边缘云节点的数据，通过在边缘云节点和中心管控设备中进行两级处理，即，一方面在边缘云节点进行第一处理，以满足用户对响应速度的需求，另一方面在中心管控设备进行第二处理，以满足用户对数据的计算存储能力的需求，从而提高了用户体验；当网络通道无法正常传输数据时，在边缘云节点缓存已进行第一处理的数据，在恢复正常传输后能够将缓存的数据发往中心管控设备以进行进一步处理；中心管控设备通过对已存储的数据进行检查，来发现存在问题的数据，以重新获取相关数据并进行相关操作，从而提高了用户体验。
实施例三
图3为本发明提供的数据处理方法一个实施例的流程图，该方法的执行主体可以为上述数据处理系统中的中心管控设备，也可以为具有数据处理能力的各种服务器，也可 以为集成在这些设备上的装置或芯片。如图3所示，本实施例提供的数据处理方法包括以下步骤：
S301，通过网络通道接收边缘云节点发送的第三数据。
在本发明实施例中，边缘云节点为近用户侧的边缘云中的边缘节点，中心管控设备可以从边缘云节点接收其对第一数据进行第一处理而生成的第三数据，以便于对其进行进一步的处理。
S302，对第三数据进行第三处理，生成第二数据。
在本申请实施例中，第三数据可以为边缘云节点所获取的第一数据的目标处理结果数据。也就是说，在边缘云节点采集到某第一数据后，对其进行处理的最终目的是为了获取第二数据(即，第一数据的目标处理结果数据)，在本发明实施例的方案中，将对第一数据的处理分为两部分，即，由边缘云节点本身执行的第一处理以及由中心管控设备执行的第二处理，经过这两级处理后，可同时满足用户对响应速度和对计算能力的需求。
要说明的是，在边缘云节点包括边缘云管控设备的情况下，本申请的实施例中描述的由边缘云节点执行的与中心管控设备的交互操作，也可以由边缘云管控设备来管理执行。本发明实施例提供的数据处理方法，针对边缘云节点的数据，通过在中心管控设备中对经由边缘云节点进行了初步处理的数据进行进一步的处理或者也可以由中心管控设备先进行初步处理并将处理结果发送给边缘云节点来进行进一步处理来获得目标处理结果数据，实现了用户侧的高响应速度，另一方面也满足用户对数据的计算存储能力的需求，从而提高了用户体验。
实施例四
与图3的实施例相对的，中心管控设备与边缘云节点的数据交互不限于仅从边缘云节点获取数据，例如，中心管控设备也可以通过网络通道向边缘云节点发送六数据。
此外，中心管控设备在获取到边缘云节点进行了初步处理的数据之后，也可以基于自身所拥有的数据或者从外部进一步获得的数据来对从边缘云节点获取的数据进行处理，从而生成目标处理结果数据。
要说明的是，在边缘云节点包括边缘云管控设备的情况下，本申请的实施例中描述的由边缘云节点执行的与中心管控设备的交互操作，也可以由边缘云管控设备来管理执行。在本申请实施例中，该第六数据是供边缘云节点进行第六处理生成所述第六数据的 目标处理结果数据，并且该第六数据是中心管控设备通过对获取的第五数据进行第六处理而生成的。因此，可以由中心管控设备先进行初步处理并将处理结果发送给边缘云节点来进行进一步处理来获得该第六数据的目标处理结果数据，并且也可以通过在对边缘云节点初步处理的数据进行进一步处理时，引入外部数据源的数据来实现更好的数据处理结果。因此不仅实现了用户侧的高响应速度，另一方面也满足用户对数据的计算存储能力的需求，从而提高了用户体验。
实施例五
图4为本发明提供的数据处理方法另一个实施例的流程图。该方法的执行主体可以为上述数据处理系统中的边缘云节点，也可以为具有数据处理能力的各种服务器，也可以为集成在这些设备上的装置或芯片。如图4所示，本实施例提供的数据处理方法包括以下步骤：
S401，对第一数据进行第一处理，并生成第二数据。
根据本申请实施例，边缘云节点可以获取各种数据作为第一数据，例如，物理机数据、虚拟机数据、业务模块数据、实例带宽流量、实例当前运行情况、实例IO负载、物理机带宽流量、物理机当前运行情况、物理机IO负载、边缘管控模块运行情况、虚拟化组件运行情况等。
边缘云节点获取了第一数据后，可以对该第一数据进行第一处理生成第二数据，该第一处理可以包括但不限于：对第一数据的去重处理、除错处理、归档处理、合并处理等。
S402，将第二数据通过网络通道发送给中心管控设备。
根据本申请实施例，边缘云节点在生成了第二数据之后，可以将生成的第二数据通过例如高安全性、高可用性的网络通道发送至中心管控设备以进行后续的处理，从而能够经过中心管控设备的处理后生成第三数据。
因此，在边缘云节点采集到某第一数据后，对其进行处理的最终目的是为了获取第二数据(即，第一数据的目标处理结果数据)，在本发明实施例的方案中，将对第一数据的处理分为两部分，即，由边缘云节点本身执行的第一处理以及由中心管控设备执行的第二处理，经过这两级处理后，可同时满足用户对响应速度和对计算能力的需求。
要说明的是，在边缘云节点包括边缘云管控设备的情况下，本申请的实施例中描述的由边缘云节点执行的与中心管控设备的交互操作，也可以由边缘云管控设备来管理执 行。
本发明实施例提供的数据处理方法，边缘云节点可以先获取第一数据并进行初步的处理，以最终在中心管控设备处完成进一步的处理。因此，通过在边缘云节点和中心管控设备中进行两级处理，即，一方面在边缘云节点进行基础处理，以满足用户对响应速度的需求，另一方面在中心管控设备中进行进一步处理，以满足用户对数据的计算存储能力的需求，从而提高了用户体验。
实施例六
图5为本发明提供的数据处理方法又一个实施例的流程图。如图5所示，在上述图4所示实施例的基础上，本实施例提供的数据处理方法还可以包括以下步骤：
S501，对第一数据进行第一处理，生成第二数据。
在本发明实施例中，步骤S501与上述图4所示实施例中的步骤S401相同，详见图4所示实施例的具体描述，在此不再赘述。
S502，当网络通道异常时，对第二数据进行缓存处理。
S503，在网络通道恢复正常时，将缓存的第二数据通过网络通道重新发送至中心管控设备。
在本发明实施例中，当边缘云节点与中心管控设备之间的网络通道发生异常而无法正常传输数据时，可以将步骤S501生成的第二数据进行缓存处理，缓存的类型可以包括但不限于：磁盘缓存、内存缓存、数据库缓存等；在网络通道恢复正常时，则再将缓存的第二数据通过网络通道重新发送至中心管控设备。
S504，将第二数据通过网络通道发送至中心管控设备。
在本发明实施例中，步骤S504与上述图4所示实施例中的步骤S402相同，详见图4所示实施例的具体描述，在此不再赘述。
要说明的是，在边缘云节点包括边缘云管控设备的情况下，本申请的实施例中描述的由边缘云节点执行的与中心管控设备的交互操作，也可以由边缘云管控设备来管理执行。
本发明实施例提供的数据处理方法，当网络通道无法正常传输数据时，在边缘云节点缓存已进行基础处理的数据，在恢复正常传输后能够将缓存的数据发往中心管控设备以进行进一步处理，从而避免了由于网络故障导致的数据丢失等问题。
实施例七
图6为本发明提供的数据处理方法再一个实施例的流程图。如图6所示，在上述图3所示实施例的基础上，本实施例提供的数据处理方法还可以包括以下步骤：
S601，通过网络通道从边缘云节点接收第二数据。
在本发明实施例中，边缘云节点为近用户侧的边缘云中的边缘节点，中心管控设备可以从边缘云节点接收其对第一数据进行第一处理而生成的第二数据，以便于对其进行进一步的处理。
S602，对第二数据进行第二处理，生成第三数据。
在本发明实施例中，步骤S601至S602与上述图3所示实施例中的步骤S401和S402相同，详见图3所示实施例的具体描述，在此不再赘述。
S603，获取第二数据的目标处理信息。
S604，判断目标处理信息与第三数据是否匹配，若不匹配，则通过网络通道重新从边缘云节点获取第二数据，以进行第二处理。
在本发明实施例中，目标处理信息用于描述针对第二数据的目标处理操作任务。通过获取第二数据的目标处理信息，可以分析出针对该数据将要进行哪些类型的处理，最终将得到哪些类型的数据。该目标处理信息可以从边缘云节点获取得到，也可以根据第二数据的某个或某些属性而在中心管控设备中查找得到。然后，判断该目标处理信息与第三数据是否匹配，若匹配，则表明获取到的第二数据是准确的，对该第二数据执行的第二处理操作也是准确的，从而生成的第三数据也是准确的；若不匹配，则需要通过网络通道重新从边缘云节点获取第二数据，即，重新主动向该边缘云节点同步最新的数据，以纠正数据内容。
根据本申请实施例，在第二数据或其目标处理信息中可以进一步包含有标识信息，用于标识该第二数据与其目标处理信息的对应关系。例如，在步骤S603之后可以进一步包括：
S6031，判断目标处理信息是否属于第二数据。
通过检查目标处理信息与该第二数据的对应关系，可以在判断目标处理信息是否与第三数据匹配时确保使用的是正确的目标处理信息。
此外，根据本申请的实施例，如果S601步骤中获取的第二数据中已包含有标识信息，则也可以根据该标识信息来获取该第二数据的目标处理信息。
S605，存储第三数据。
在本发明实施例中，在生成第三数据后，可以对第三数据进行集中式存储，以实现数据持久化存储。
S606，在接收到的操作指令后，根据操作指令，对存储的第三数据进行去重、合并、增加、查询、修改或删除操作。
在本发明实施例中，当接收到各种业务系统对数据的操作指令时，中心管控设备可以根据接收到的操作指令，对存储的第三数据进行去重、合并、增加、查询、修改或删除等操作。
本发明实施例提供的边缘云的数据处理方法，中心管控设备可通过对已存储的数据进行巡检，来发现存在问题的数据，以重新获取相关数据并进行相关操作，并且还可以根据标识信息来进一步检查第二数据与目标处理信息的对应性，从而提高了用户体验。
如前所述，边缘云节点中可以包含边缘管控设备、计算设备、存储设备、网络设备等各种角色，而所有涉及到逻辑交互和管理控制的可以由边缘云管控设备执行，比如数据交互、资源调度、监控运维等，其他几种设备主要是执行自己角色相关的服务，比如存储设备负责存储资源的创建、释放、服务等动作的执行。因此，在边缘云节点包括边缘管控设备的情况下，本申请的上述实施例中描述的由边缘云节点执行的与中心管控设备的交互操作，都可以由边缘管控设备来管理执行。
实施例八
以上描述了边缘云的数据处理系统的内部功能和结构，该系统可实现为一种电子设备。图7为本发明提供的电子设备实施例的结构示意图。如图7所示，该电子设备包括存储器51和处理器52。
存储器51，用于存储程序。除上述程序之外，存储器51还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器51可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器52，与存储器51耦合，执行存储器51所存储的程序，以执行下述操作：
控制边缘云节点对第一数据进行第一处理，生成第二数据；
控制边缘云节点将第二数据通过网络通道发送至中心管控设备；
控制中心管控设备对第二数据进行第二处理，生成第三数据，该第三数据为第一数据的目标处理结果数据。
根据本申请实施例，处理器52可以包括设置在边缘云节点上的各种模块，例如，如图2中所示的数据采集模块11、第一处理模块12和数据上报模块13，以便于控制边缘云节点执行各种操作。此外，处理器52还可以包括设置在中心管控设备上的各种模块，例如，如图2中所示的第二处理模块21、数据存储模块22和数据巡检模块23，以便于控制中心管控设备执行各种操作。
进一步，如图7所示，电子设备还可以包括：通信组件53、电源组件54、音频组件55、显示器56等其它组件。图7中仅示意性给出部分组件，并不意味着电子设备只包括图7所示组件。
通信组件53被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件53经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件53还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
电源组件54，为电子设备的各种组件提供电力。电源组件54可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件55被配置为输出和/或输入音频信号。例如，音频组件55包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器51或经由通信组件53发送。在一些实施例中，音频组件55还包括一个扬声器，用于输出音频信号。
显示器56包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过 程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (38)

  1. 一种数据处理系统，其特征在于，包括：边缘云节点和通过网络通道与所述边缘云节点连接的中心管控设备，
    所述边缘云节点，用于获取第一数据并进行第一处理，生成第二数据，并将所述第二数据通过所述网络通道发送至所述中心管控设备；
    所述中心管控设备，用于对接收到的所述第二数据进行第二处理，生成第三数据，所述第三数据为所述第一数据的目标处理结果数据。
  2. 根据权利要求1所述的数据处理系统，其特征在于，
    所述中心管控设备还用于，获取所述第二数据的目标处理信息，并判断所述目标处理信息与所述第三数据是否匹配，若不匹配，则通过所述网络通道重新从所述边缘云节点获取所述第二数据，其中所述目标处理信息用于描述针对所述第二数据的目标处理操作任务。
  3. 根据权利要求2所述的数据处理系统，其特征在于，所述第二数据或所述第二数据的所述目标处理信息中包含有标识信息，用于标识所述第二数据与该第二数据的所述目标处理信息的对应关系。
  4. 根据权利要求1所述的数据处理系统，其特征在于，所述中心管控设备还用于，根据接收到的操作指令，对存储的所述第三数据进行去重、合并、增加、查询、修改或删除操作。
  5. 根据权利要求1所述的数据处理系统，其特征在于，所述边缘云节点对所述第一数据进行的第一处理包括：清洗、去重、合并。
  6. 根据权利要求1至3中任一权利要求所述的数据处理系统，其特征在于，所述边缘云节点还用于，当所述网络通道异常时，对所述第二数据进行缓存处理；在所述网络通道恢复正常时，将缓存的所述第二数据通过所述网络通道重新发送至所述中心管控设备。
  7. 根据权利要求6所述的数据处理系统，其特征在于，所述中心管控设备用于，当所述网络通道恢复正常时，通过所述网络通道向边缘云节点同步数据。
  8. 根据权利要求1至5中任一权利要求所述的数据处理系统，其特征在于，所述边缘云节点还用于，采集所管控的边缘云节点中各资源设备的数据，所述数据包括物理机数据，虚拟机数据，业务模块数据，实例带宽流量、实例当前运行情况、实例IO负载、物理机带宽流量、物理机当前运行情况、物理机IO负载、边缘管控模块运行情况、虚 拟化组件运行情况。
  9. 一种数据处理方法，其特征在于，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述方法包括：
    通过网络通道向边缘云节点发送第六数据以供所述边缘云节点进行第六处理生成所述第六数据的目标处理结果数据，所述第六数据是中心管控设备通过对获取的第五数据进行第五处理而生成的；或，
    通过网络通道接收边缘云节点发送的第三数据，对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据。
  10. 根据权利要求9所述的数据处理方法，其特征在于，在所述对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据之后，还包括：
    获取所述第三数据的目标处理信息，所述目标处理信息用于描述针对所述第三数据的目标处理操作任务；
    判断所述目标处理信息与所述第三数据的目标处理结果数据是否匹配，若不匹配，则通过所述网络通道重新从所述边缘云节点获取所述第三数据。
  11. 根据权利要求9所述的数据处理方法，其特征在于，所述通过网络通道接收边缘云节点发送的第三数据，还包括：
    获取所述第三数据的目标处理信息，所述目标处理信息用于描述针对所述第三数据的目标处理操作任务，并且
    在所述对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据之后，所述数据处理方法还包括：
    判断所述目标处理信息与所述第三数据是否匹配，若不匹配，则通过所述网络通道重新从所述边缘云节点获取所述第三数据。
  12. 根据权利要求10或11所述的数据处理方法，其特征在于，所述第三数据或所述第三数据的所述目标处理信息中包含有标识信息，用于标识所述第三数据与该第三数据的所述目标处理信息的对应关系。
  13. 根据权利要求9所述的数据处理方法，其特征在于，在所述对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据之后，还包括：
    在接收到操作指令后，根据所述操作指令，对存储的所述第三数据进行去重、合并、增加、查询、修改或删除操作。
  14. 根据权利要求9所述的数据处理方法，其特征在于，所述第三处理包括根据第 三数据，获取与第三数据相关联的第四数据，并对所述第三数据和所述第四数据进行处理。
  15. 根据权利要求9至11中任一权利要求所述的数据处理方法，其特征在于，所述通过网络通道接收边缘云节点发送的第三数据进一步包括：
    在所述网络通道在发生异常之后恢复正常时，通过所述网络通道从所述边缘云节点重新获取由所述边缘云节点缓存的所述第三数据。
  16. 根据权利要求9至11中任一权利要求所述的数据处理方法，其特征在于，进一步包括：
    当所述网络通道恢复正常时，通过所述网络通道向边缘云节点同步数据。
  17. 一种数据处理方法，其特征在于，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述方法包括：
    对第一数据进行第一处理并生成第二数据；
    将所述第二数据通过网络通道发送给所述中心管控设备，以供所述中心管控设备根据所述第二数据的目标处理信息对所述第二数据进行第二处理并生成目标数据。
  18. 根据权利要求17所述的数据处理方法，其特征在于，进一步包括，根据所述中心管控设备的第一指令，向所述中心管控设备发送所述第二数据的目标处理信息；
    根据所述中心管控设备的第二指令，向所述中心管控设备重新发送所述第二数据。
  19. 根据权利要求18所述的数据处理方法，其特征在于，所述第二数据或所述第二数据的所述目标处理信息中包含有标识信息，用于标识所述第二数据与该第二数据的所述目标处理信息的对应关系。
  20. 根据权利要求17所述的数据处理方法，其特征在于，所述边缘云节点对所述第一数据进行的第一处理包括：去重、合并。
  21. 根据权利要求17至20中任一权利要求所述的数据处理方法，所述将所述第二数据通过网络通道发送给中心管控设备进一步包括：
    当所述网络通道异常时，对所述第二数据进行缓存处理；
    在所述网络通道恢复正常时，将缓存的所述第二数据通过所述网络通道重新发送至所述中心管控设备。
  22. 一种数据处理装置，其特征在于，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述装置包括：
    数据发送模块，用于通过网络通道向边缘云节点发送第六数据以供所述边缘云节点 进行第六处理生成所述第六数据的目标处理结果数据，所述第六数据是所述中心管控设备通过对获取的第五数据进行第五处理而生成的；以及
    数据接收模块，用于通过网络通道接收边缘云节点发送的第三数据；
    第二处理模块，用于对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据。
  23. 根据权利要求22所述的数据处理装置，其特征在于，进一步包括信息获取模块，用于在所述第二处理模块对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据之后，获取所述第三数据的目标处理信息，其中所述目标处理信息用于描述针对所述第三数据的目标处理操作任务；以及
    数据巡检模块，用于判断所述目标处理信息与所述第三数据的目标处理结果数据是否匹配，
    其中，如果所述数据巡检模块判断所述目标处理信息与所述第三数据的目标处理结果数据不匹配，则所述数据接收模块进一步用于通过所述网络通道重新从所述边缘云节点获取所述第三数据。
  24. 根据权利要求22所述的数据处理装置，其特征在于，所述数据接收模块进一步用于：
    获取所述第三数据的目标处理信息，所述目标处理信息用于描述针对所述第三数据的目标处理操作任务，并且
    所述数据处理装置进一步包括数据巡检模块，用于判断所述目标处理信息与所述第三数据的目标处理结果数据是否匹配，
    其中，如果所述判断模块判断所述目标处理信息与所述第三数据的目标处理结果数据不匹配，则所述数据接收模块进一步用于通过所述网络通道重新从所述边缘云节点获取所述第三数据。
  25. 根据权利要求23或24所述的数据处理装置，其特征在于，所述第三数据或所述第三数据的所述目标处理信息中包含有标识信息，用于标识所述第三数据与该第三数据的所述目标处理信息的对应关系。
  26. 根据权利要求22所述的数据处理装置，其特征在于，所述数据处理模块进一步用于：
    在接收到操作指令后，根据所述操作指令，对存储的所述第三数据进行去重、合并、增加、查询、修改或删除操作。
  27. 根据权利要求22所述的数据处理装置，其特征在于，所述数据接收模块进一步用于根据第三数据，获取与第三数据相关联的第四数据，并且，所述数据处理模块进一步用于对所述第三数据和所述第四数据进行处理。
  28. 根据权利要求22至24中任一权利要求所述的数据处理装置，其特征在于，所述数据接收模块进一步用于：
    在所述网络通道在发生异常之后恢复正常时，通过所述网络通道从所述边缘云节点重新获取由所述边缘云节点缓存的所述第三数据。
  29. 根据权利要求22至24中任一权利要求所述的数据处理装置，其特征在于，所述数据发送模块进一步用于：
    当所述网络通道恢复正常时，通过所述网络通道向边缘云节点同步数据。
  30. 一种数据处理装置，其特征在于，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述装置包括：
    第一处理模块，用于对第一数据进行第一处理并生成第二数据；
    数据上报模块，用于将所述第二数据通过网络通道发送给所述中心管控设备，以供所述中心管控设备根据所述第二数据的目标处理信息对所述第二数据进行第二处理并生成目标数据。
  31. 根据权利要求30所述的数据处理装置，其特征在于，所述数据上报模块进一步用于，根据所述中心管控设备的第一指令，向所述中心管控设备发送所述第二数据的目标处理信息；
    根据所述中心管控设备的第二指令，向所述中心管控设备重新发送所述第二数据。
  32. 根据权利要求31所述的数据处理装置，其特征在于，所述第二数据或所述第二数据的所述目标处理信息中包含有标识信息，用于标识所述第二数据与该第二数据的所述目标处理信息的对应关系。
  33. 根据权利要求30所述的数据处理装置，其特征在于，所述边缘云节点对所述第一数据进行的第一处理包括：去重、合并。
  34. 根据权利要求30至33中任一权利要求所述的数据处理装置，进一步包括：
    数据缓存模块，用于当所述网络通道异常时，对所述第二数据进行缓存处理，并且所述数据上报模块进一步用于：
    在所述网络通道恢复正常时，将缓存的所述第二数据通过所述网络通道重新发送至所述中心管控设备。
  35. 一种数据处理系统，其特征在于，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，
    所述边缘云节点包括边缘云管控设备，所述边缘云管控设备执行如权利要求17-21中任一权利要求所述的方法。
  36. 一种数据处理系统，其特征在于，包括：边缘云节点和通过网络通道与所述边缘云节点连接的中心管控设备，
    所述边缘云节点，用于获取数据并处理，将所述处理的数据通过所述网络通道发送至所述中心管控设备；
    所述中心管控设备，用于获取并处理来自所述边缘云节点的数据，生成并存储最终数据。
  37. 根据权利要求36所述的数据处理系统，其特征在于，进一步包括：
    所述边缘云节点，用于采集设备信息并进行第一处理；
    所述中心管控设备，用于接收所述设备信息，根据设备信息查找对应的用户信息，进行第二处理并生成目标数据。
  38. 一种电子设备，其特征在于，包括：
    存储器，用于存储程序；
    处理器，用于运行所述存储器中存储的所述程序，使得所述电子设备：
    控制边缘云节点获取第一数据并进行第一处理，生成第二数据；
    控制所述边缘云节点将所述第二数据通过网络通道发送至中心管控设备；
    控制所述中心管控设备对所述第二数据进行第二处理，生成第三数据，所述第三数据为所述第一数据的目标处理结果数据。
PCT/CN2020/083478 2019-04-08 2020-04-07 数据处理系统和方法、装置以及电子设备 WO2020207371A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910277959.2 2019-04-08
CN201910277959.2A CN111800443B (zh) 2019-04-08 2019-04-08 数据处理系统和方法、装置以及电子设备

Publications (1)

Publication Number Publication Date
WO2020207371A1 true WO2020207371A1 (zh) 2020-10-15

Family

ID=72751908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/083478 WO2020207371A1 (zh) 2019-04-08 2020-04-07 数据处理系统和方法、装置以及电子设备

Country Status (2)

Country Link
CN (1) CN111800443B (zh)
WO (1) WO2020207371A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358914A (zh) * 2022-10-20 2022-11-18 深圳市壹倍科技有限公司 用于视觉检测的数据处理方法、装置、计算机设备及介质
CN116132488A (zh) * 2022-12-08 2023-05-16 南方电网数字平台科技(广东)有限公司 基于边缘技术的物理终端管控方法及系统
CN116389584A (zh) * 2023-05-17 2023-07-04 南方电网调峰调频发电有限公司储能科研院 电化学储能站云边数据传输方法
CN116743791A (zh) * 2022-09-30 2023-09-12 腾讯云计算（北京）有限责任公司 一种地铁云平台云边同步方法、装置、设备及存储介质
CN116976858A (zh) * 2023-08-09 2023-10-31 武汉西高电器有限公司 一种电器柜智能化运维管理方法、系统及电子设备
CN117009960A (zh) * 2023-08-30 2023-11-07 广东轻工职业技术学院 基于人工智能的数据安全清洗方法
WO2023236952A1 (zh) * 2022-06-07 2023-12-14 华为云计算技术有限公司 一种云数据处理系统、方法及相关设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112769891B (zh) 2020-12-11 2023-07-14 国汽(北京)智能网联汽车研究院有限公司 一种边缘云系统、服务器及云控平台
CN113487033B (zh) * 2021-07-30 2023-05-23 上海壁仞智能科技有限公司 以图形处理器为执行核心的推理方法和装置
CN115361388B (zh) * 2022-10-20 2023-04-11 阿里巴巴（中国）有限公司 一种边缘云计算系统中的资源调度方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101977242A (zh) * 2010-11-16 2011-02-16 西安电子科技大学 一种分层分布式云计算体系结构及服务提供方法
KR20180118393A (ko) * 2017-04-21 2018-10-31 에스케이텔레콤 주식회사 분산형 클라우드 컴퓨팅 시스템, 이에 적용되는 장치 및 장치의 동작 방법
CN108833166A (zh) * 2018-06-19 2018-11-16 中国联合网络通信集团有限公司 边缘云报文转发方法及系统、网络报文转发方法及系统
CN109408234A (zh) * 2018-10-19 2019-03-01 国云科技股份有限公司 一种基于边缘计算的增强现实技术数据优化系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9791485B2 (en) * 2014-03-10 2017-10-17 Silver Spring Networks, Inc. Determining electric grid topology via a zero crossing technique
CN105610944B (zh) * 2015-12-29 2019-03-05 北京物联远信息技术有限公司 一种面向物联网的雾计算架构
CN107306279B (zh) * 2016-04-18 2020-08-04 阿里巴巴集团控股有限公司 数据处理方法、内容分发网络节点和常驻网关
CN108427992B (zh) * 2018-03-16 2020-09-01 济南飞象信息科技有限公司 一种基于边缘云计算的机器学习训练系统及方法
CN109002357B (zh) * 2018-06-07 2021-11-23 创新先进技术有限公司 资源分配方法、装置及物联网系统
CN109379420B (zh) * 2018-10-10 2021-03-26 上海方融科技有限责任公司 一种基于分布式架构的综合能源服务平台系统
CN109151072A (zh) * 2018-10-26 2019-01-04 上海方融科技有限责任公司 一种基于雾节点的边缘计算系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101977242A (zh) * 2010-11-16 2011-02-16 西安电子科技大学 一种分层分布式云计算体系结构及服务提供方法
KR20180118393A (ko) * 2017-04-21 2018-10-31 에스케이텔레콤 주식회사 분산형 클라우드 컴퓨팅 시스템, 이에 적용되는 장치 및 장치의 동작 방법
CN108833166A (zh) * 2018-06-19 2018-11-16 中国联合网络通信集团有限公司 边缘云报文转发方法及系统、网络报文转发方法及系统
CN109408234A (zh) * 2018-10-19 2019-03-01 国云科技股份有限公司 一种基于边缘计算的增强现实技术数据优化系统及方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023236952A1 (zh) * 2022-06-07 2023-12-14 华为云计算技术有限公司 一种云数据处理系统、方法及相关设备
CN116743791A (zh) * 2022-09-30 2023-09-12 腾讯云计算（北京）有限责任公司 一种地铁云平台云边同步方法、装置、设备及存储介质
CN115358914A (zh) * 2022-10-20 2022-11-18 深圳市壹倍科技有限公司 用于视觉检测的数据处理方法、装置、计算机设备及介质
CN115358914B (zh) * 2022-10-20 2023-01-20 深圳市壹倍科技有限公司 用于视觉检测的数据处理方法、装置、计算机设备及介质
CN116132488A (zh) * 2022-12-08 2023-05-16 南方电网数字平台科技(广东)有限公司 基于边缘技术的物理终端管控方法及系统
CN116389584A (zh) * 2023-05-17 2023-07-04 南方电网调峰调频发电有限公司储能科研院 电化学储能站云边数据传输方法
CN116389584B (zh) * 2023-05-17 2023-08-15 南方电网调峰调频发电有限公司储能科研院 电化学储能站云边数据传输方法
CN116976858A (zh) * 2023-08-09 2023-10-31 武汉西高电器有限公司 一种电器柜智能化运维管理方法、系统及电子设备
CN116976858B (zh) * 2023-08-09 2024-05-28 武汉西高电器有限公司 一种电器柜智能化运维管理方法、系统及电子设备
CN117009960A (zh) * 2023-08-30 2023-11-07 广东轻工职业技术学院 基于人工智能的数据安全清洗方法
CN117009960B (zh) * 2023-08-30 2024-02-02 广东轻工职业技术学院 基于人工智能的数据安全清洗方法

Also Published As

Publication number Publication date
CN111800443A (zh) 2020-10-20
CN111800443B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
WO2020207371A1 (zh) 数据处理系统和方法、装置以及电子设备
George et al. Mez: An adaptive messaging system for latency-sensitive multi-camera machine vision at the iot edge
US20230281037A1 (en) Cross-device task relay method, cloud platform, and non-transitory storage medium
EP2954403B1 (en) Cloud-based streaming data receiver and persister
US9973582B2 (en) Method and apparatus for bi-directional communication and data replication between multiple locations during intermittent connectivity
US8671155B2 (en) System and method of employing a client side device to access local and remote data during communication distruptions
CN107391276B (zh) 分布式监听方法、监听控制装置及系统
CN111459749B (zh) 基于Prometheus的私有云监控方法、装置、计算机设备及存储介质
CN111352806B (zh) 日志数据监控方法及装置
US10516856B2 (en) Network video recorder cluster and method of operation
JP2016521099A (ja) 無線ネットワークを管理するためのシステムおよび方法
US20220330303A1 (en) Network monitoring in service enabler architecture layer (seal)
US11422830B1 (en) Decentralized mobile device control
CN108337127B (zh) 应用性能监控方法、系统、终端及计算机可读存储介质
CN102752294B (zh) 基于设备能力的多终端数据同步方法和系统
US20180343217A1 (en) Providing video to subscribers of a messaging system
CN112671897B (zh) 分布式系统的访问方法、装置、存储介质、设备和产品
CN114490053A (zh) 基于边缘计算和监督学习方法的情景感知策略推荐系统
EP3416354A1 (en) Method and apparatus for bi-directional communication and data replication between multiple locations during intermittent connectivity
CN113157475A (zh) 日志处理方法、装置、存储介质及电子设备
CN115242787B (zh) 消息处理系统及方法
CN112685486B (zh) 数据库集群的数据管理方法、装置、电子设备及存储介质
US10795864B1 (en) Method and apparatus for bi-directional communication and data replication between local and remote databases during intermittent connectivity
CN111858260A (zh) 信息显示方法、装置、设备及介质
WO2016033986A1 (zh) 深度包检测的实现方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20788652

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20788652

Country of ref document: EP

Kind code of ref document: A1