WO2017173978A1 - 一种大数据交换方法及装置、系统 - Google Patents

一种大数据交换方法及装置、系统 Download PDF

Info

Publication number
WO2017173978A1
WO2017173978A1 PCT/CN2017/079451 CN2017079451W WO2017173978A1 WO 2017173978 A1 WO2017173978 A1 WO 2017173978A1 CN 2017079451 W CN2017079451 W CN 2017079451W WO 2017173978 A1 WO2017173978 A1 WO 2017173978A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
big data
processing
provider module
metadata
Prior art date
Application number
PCT/CN2017/079451
Other languages
English (en)
French (fr)
Inventor
王东
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2017173978A1 publication Critical patent/WO2017173978A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Definitions

  • the present application relates to, but is not limited to, the field of communication technologies, and in particular, to a big data exchange method, apparatus, and system.
  • big data has become a hotspot of technology in the industry. Especially with the deployment of cloud computing services, big data is its most important business application, and its development prospects are expected.
  • the main features of big data are Volume, Variety, Velocity, and Value, along with multi-source, heterogeneous, and massive data characteristics.
  • the types of data involved in big data include Structured, Semi-Structured, and Un-Structured, which require large data exchange systems to differentiate and process these different data types.
  • exception data cleansing, and ETL data extraction, data conversion, and data loading
  • incremental real-time acquisition, parsing, annotation, and anomaly data for semi-structured and unstructured data. Cleanup, data segmentation, feature extraction, storage or caching, and batch non-real-time processing.
  • the data objects involved in big data include text, voice, video, image, web page, sensor data, etc., which requires the big data exchange system to differentiate and process the data bearing format corresponding to different data objects, such as: Different formats such as text files, audio files, adaptation files, image files, web files, sensor data files, and corresponding real-time/quasi-live streaming media data.
  • the application provides a big data exchange method, device and system, which can effectively solve the problems of open sharing and interconnection of big data.
  • the application provides a method for large data exchange, including at least one of the following:
  • the big data source unit and the big data target unit exchange initial data and initial metadata through the collection interface;
  • the big data source unit and the big data target unit exchange processing data and processing metadata through an interconnection interface
  • the big data source unit and the big data target unit exchange processing data and processing metadata through a consumption interface
  • the big data source unit includes at least one of the following: a data provider module, a first big data service provider module, and the big data target unit includes at least one of the following: a second big data service provider module, Data service consumer module;
  • the data provider module is configured to provide the initial data and initial metadata; the first big data service provider module and the second big data service provider module are configured to perform big data processing to obtain the processed data And processing metadata; the big data service consumer module is configured to use the processing data and processing metadata.
  • the exchange initial data and initial metadata including:
  • the big data source unit provides initial data generated by the data provider module and initial metadata to a second big data service provider module in the big data target unit; the second big data service provider module of the big data target unit receives And storing or buffering the initial data and the initial metadata and performing big data processing on the initial data.
  • the macro data source unit and the big data target unit exchange initial data and initial metadata through the collection interface, including: the data provider module receiving a collection request from the second big data service provider module; The data provider module retrieves local data according to the collection request information carried by the collection request; if the local data matching the collection request information is retrieved, the data provider module sends a collection response message to the second big data service a provider module, where the collection response message carries the searched initial data and initial metadata; if the local data matching the collection request information is not retrieved, the data provider module sends a collection response message to the first
  • the two data service provider modules the collection response message carries information that the data request fails; the data provider module receives the collection confirmation message returned by the second big data service provider module.
  • the big data source unit and the big data target unit exchange initial data and initial metadata through the collection interface, including:
  • the second big data service provider module sends a collection request to the data provider module
  • the second big data service provider module receives and stores or caches the initial data and initial metadata provided by the data provider module, and performs big data processing on the initial data and initial metadata to obtain processed data and Processing metadata; or the second big data service provider module receives collection request failure information from the data provider module;
  • the second big data service provider module After receiving the collection request failure information or after processing the initial data, the second big data service provider module returns a collection confirmation message to the data provider module.
  • the big data source unit and the big data target unit exchange processing data and processing metadata through an interconnection interface, including:
  • the big data source unit provides the processing data and the processing metadata obtained by processing the initial data by the first big data service provider module to the second big data service provider module of the big data target unit; the big data target unit
  • the second largest data service provider module receives and stores or caches the processing data and processing metadata, and performs further big data processing on the processed data to obtain updated processing data and updated processing metadata.
  • the big data source unit and the big data target unit exchange processing data and processing metadata through an interconnection interface, including:
  • the first big data service provider module receives an interconnection request from the second big data service provider module, and retrieves local processing data according to the interconnection request information carried by the interconnection request;
  • the first big data service provider module sends an interconnection response message to the second big data service provider module, the interconnection
  • the processing message carries processing data and processing metadata that match the interconnection request information
  • the first big data service provider module sends an interconnection response message to the second big data service provider module, where the interconnection response message carries each other Request failure information;
  • the big data source unit and the big data target unit exchange processing data and processing metadata through an interconnection interface, including:
  • the second big data service provider module sends an interconnection request to the first big data service provider module
  • the second big data service provider module receives and stores or caches the processing data and processing metadata provided by the first big data service provider module, and performs big data processing on the processing data and processing metadata. Obtaining updated processing data and updated processing metadata; or the second big data service provider module receives interconnection request failure information from the first big data service provider module;
  • the second big data service provider module After receiving the interconnection request failure information or after processing the processing data, the second big data service provider module returns the interconnection confirmation message to the first big data service provider module.
  • the big data source unit and the big data target unit exchange processing data and processing metadata through a consumption interface, including:
  • the big data source unit provides the processing data obtained by processing the initial data through the first big data service provider module to the big data service consumer module of the big data target unit.
  • the big data source unit and the big data target unit exchange processing data and processing metadata through a consumption interface, including:
  • the first big data service provider module receives a service request from the big data service consumer module, and retrieves local processing data according to the service request information carried by the service request;
  • the first big data service provider module sends a service response message to the big data service consumer module, where the service response message carries Processing data and processing metadata matched by the service request information;
  • the first big data service provider module sends a service response message to the big data service consumer module, where the service response message carries service request failure information;
  • the big data source unit and the big data target unit exchange processing data and processing metadata through a consumption interface, including:
  • the big data service consumer module sends a service request to the first big data service provider module
  • the big data service consumer module receives and stores or caches the processing data and processing metadata provided by the first big data service provider module, and uses the processing data and processing metadata; or the large The data service consumer module receives service request failure information from the first big data service provider module;
  • the big data service consumer module After receiving the service request failure information or after receiving the processing data and processing metadata, the big data service consumer module returns the service confirmation message to the first big data service provider module.
  • the big data processing includes at least one of data collection, data preparation, data analysis, and data visualization.
  • the application also provides a big data exchange method, including:
  • the big data source unit receives the data exchange request sent by the big data target unit;
  • the big data source unit retrieves the local data according to the data exchange request
  • the big data source unit When the matched data is retrieved, the big data source unit sends a response message to the big data target unit, the response message carries data that matches the data exchange request; if the matched data is not retrieved The big data source unit sends a response message to the big data target unit, where the response message carries information that the exchange request fails;
  • the big data source unit receives the confirmation message returned by the big data target unit.
  • the data exchange request is a collection request carrying the collection request information;
  • the matched data is initial data and initial metadata that match the collection request information;
  • the response message is a collection response message,
  • the collecting response message carries the initial data and the initial metadata or carries the collection request failure information;
  • the confirmation message is a collection confirmation message;
  • the data exchange request is an interconnection request carrying interconnection request information
  • the matched data is processing data and processing metadata matching the interconnection request information
  • the response message is mutual And in response to the message, the interconnection response message carries the processing data and processing metadata or carries interconnection request failure information
  • the confirmation message is an interconnection confirmation message
  • the data exchange request is a service request carrying service request information; the matched data is processing data and processing metadata matching the service request information; the response message is a service response message, and the service response is The message carries the processing data and processing metadata or carries service request failure information; the confirmation message is a service confirmation message.
  • the application also provides a big data exchange method, including:
  • the big data target unit sends a data exchange request to the big data source unit
  • the big data target unit receives a response message returned by the big data source unit
  • the big data source unit returns a confirmation message
  • the confirmation message is directly returned to the big data source unit.
  • the data exchange request is a collection request carrying the collection request information; the matched data is initial data and initial metadata that match the collection request information; the response message is a collection response message, The collecting response message carries the initial data and the initial metadata or carries the collection request failure information; the confirmation message is a collection confirmation message; or the data exchange request is an interconnection request carrying the interconnection request information; the matching The data is processing data and processing metadata that match the interconnection request information; the response message is an interconnection response message, the interconnection response message carrying the processing data and processing metadata or carrying an interconnection request Failure information; the confirmation message is an interconnection confirmation message; or the data exchange request is a service request carrying service request information; the matched data is processing data and processing element matching the service request information Data; the response message is a service response message, and the service response message carries the processing data and Metadata carried in the service request or the failure information; the confirmation message is an acknowledgment message service.
  • the application also provides a big data exchange device, comprising: a big data source unit;
  • the big data source unit includes at least one of the following: a data provider module, and a first big data a service provider module; the data provider module configured to provide initial data and initial metadata; the first big data service provider module configured to perform big data processing on the initial data and initial metadata to obtain processed data and Processing metadata.
  • the data provider module is further configured to:
  • the collection response message is sent to the second big data service provider module, where the collection response message carries the searched initial data and initial metadata;
  • the first big data service provider module is further configured to:
  • the first big data service provider module is further configured to:
  • the application also provides a big data exchange device, comprising: a big data target unit;
  • the big data target unit includes at least one of: a second big data service provider module and a big data service consumer module; the second big data service provider module is configured to perform big data processing to obtain processing data and processing Metadata or updated processing data and processing metadata; the big data business consumer module is configured to use the processing data and processing metadata.
  • the second big data service provider module is further configured to:
  • the second big data service provider module is further configured to:
  • the big data service consumer module is further configured to:
  • the application further provides a big data exchange system, comprising: a big data source unit and a big data target unit; wherein the big data source unit and the big data target unit meet at least one of the following:
  • the big data source unit and the big data target unit communicate through a collection interface, and the collection interface is configured to exchange initial data and initial metadata;
  • the big data source unit and the big data target unit communicate through an interconnection interface for exchanging processing data and processing metadata;
  • the big data source unit communicates with the big data target unit through a consumption interface for exchanging processing data and processing metadata.
  • the big data source unit is the big data source unit described above.
  • the big data target unit is the above-mentioned big data target unit.
  • the embodiment of the present application further provides a computer readable storage medium storing computer executable instructions, which when executed by a processor, implement the big data exchange method described in any of the above aspects.
  • a big data direct exchange device and an implementation method thereof are implemented by the main roles of the big data ecosystem (including a data provider module, a big data service provider module, and a big data service consumer module). It can effectively solve the problems of open sharing and interconnection of big data.
  • FIG. 1 is a schematic flowchart of a big data exchange method according to Embodiment 2 of the present invention.
  • FIG. 2 is a schematic flowchart of a big data exchange method according to Embodiment 3 of the present invention.
  • FIG. 3 is a schematic structural diagram of a structure of a big data exchange system according to Embodiment 6 of the present invention.
  • FIG. 4 is a schematic flowchart of a big data exchange method according to Embodiment 6 of the present invention.
  • This embodiment provides a big data exchange method, and the method may include at least one of the following:
  • the Big Data Source and the Big Data Target exchange initial data (Original Data) and initial metadata (Original Metadata) through a collection interface;
  • the big data source unit and the big data target unit exchange processed data (Processed Data) and processed metadata (Processed Metadata) through an interchange interface;
  • the large data source unit and the big data target unit exchange processing data and processing metadata through a consumption interface.
  • the big data source unit includes at least one of the following: a data provider module (Data Supplier) and a first big data service provider module (Big Data Service Provider);
  • the big data target unit includes at least one of the following: a second largest data service provider module, a Big Data Service Customer; the data provider module configured to provide the initial data and initial metadata; the first big data service provider module And the second big data service provider module is configured to perform big data processing to obtain the processing data and processing metadata
  • the big data service consumer module is configured to use the processing data and processing metadata.
  • the big data exchange in this embodiment may include at least one of the following processes:
  • the big data source unit provides the initial data generated by the data provider module and the initial metadata (through the collection interface) to the second largest data service provider module in the big data target unit; the second largest data of the big data target unit
  • the service provider module receives and stores or caches the initial data and the initial metadata, and performs big data processing on the initial data;
  • the big data source unit supplies the processing data obtained by processing the initial data through the first big data service provider module and the processing metadata (through the interconnection interface) to the second largest data service provider of the big data target unit.
  • the big data source unit is provided to the big data service consumer module of the big data target unit through the processing data obtained by the first big data service provider module for the initial data processing (through the consumption interface).
  • the large data source unit and the big data target unit exchange initial data and initial metadata through the collection interface, and may include: the data provider module receiving the second big data service provider module
  • the data provider module retrieves local data according to the collection request information carried by the collection request; if the local data matching the collection request information is retrieved, the data provider module sends a collection response message to the a second largest data service provider module, wherein the collection response message carries the searched initial data and initial metadata; if the local data matching the collection request information is not retrieved, the data provider module sends the collection The response message is sent to the second big data service provider module, where the collection response message carries information that the data request fails; the data provider module receives the collection confirmation message returned by the second big data service provider module.
  • the large data source unit and the big data target unit exchange initial data and initial metadata through the collection interface, and may include: the data provider module receiving the second big data service provider module The data provider module retrieves local data according to the collection request information carried by the collection request; if the local data matching the collection request information is retrieved, the data provider module sends a collection response message to the The second largest data a service provider module, where the collection response message carries the searched initial data and initial metadata; if the local data matching the collection request information is not retrieved, the data provider module sends a collection response message to the The second largest data service provider module, where the collection response message carries information that the data request fails; the data provider module receives the collection confirmation message returned by the second big data service provider module.
  • the large data source unit and the big data target unit exchange processing data and processing metadata through an interconnection interface, and may include: the first big data service provider module receives from the first An interconnection request of the two data service provider modules, the local processing data is retrieved according to the interconnection request information carried by the interconnection request; if the processing data and the processing metadata matching the interconnection request information are retrieved, The first big data service provider module sends an interconnection response message to the second big data service provider module, where the interconnection response message carries processing data and processing metadata that match the interconnection request information; Data matching the interconnection request information is not retrieved, and the first big data service provider module sends an interconnection response message to the second big data service provider module, the interconnection response message carrying an interconnection Requesting failure information; the first big data service provider module receiving an interconnection confirmation message returned by the second big data service provider module
  • the large data source unit and the big data target unit exchange processing data and processing metadata through an interconnection interface, and may include: the second big data service provider module to the first The big data service provider module sends an interconnection request; the second big data service provider module receives and stores or caches the processing data and processing metadata provided by the first big data service provider module, and Processing data and processing metadata for big data processing to obtain updated processing data and updated processing metadata; or the second large data service provider module receiving an interconnection from the first big data service provider module Requesting failure information; after receiving the interconnection request failure information or after processing the processing data, the second big data service provider module returns the interconnection confirmation message to the first big data service Module.
  • the large data source unit and the big data target unit exchange processing data and processing metadata through a consumption interface, and may include: the first big data service provider module receives the big data from the big data
  • the service request of the service consumer module retrieves local processing data according to the service request information carried by the service request; if the search matches the service request information Processing data and processing metadata, the first big data service provider module sends a service response message to the big data service consumer module, where the service response message carries processing data matching the service request information and Processing the metadata; if the data matching the service request information is not retrieved, the first big data service provider module sends a service response message to the big data service consumer module, where the service response message carries a service request Failure information; the first big data service provider module receives a service confirmation message returned by the big data service consumer module.
  • the big data source unit and the big data target unit exchange processing data and processing metadata through a consumption interface, and may include: the big data service consumer module to the first big data service The provider module sends a service request; the big data service consumer module receives and stores or caches the processing data and processing metadata provided by the first big data service provider module, and uses the processing data and processing elements Data; or the big data service consumer module receives service request failure information from the first big data service provider module; after receiving the service request failure information or receiving the processing data and processing metadata Thereafter, the big data service consumer module returns the service confirmation message to the first big data service provider module.
  • this embodiment provides a method for large data exchange, including:
  • Step 101 The big data source unit receives a data exchange request sent by the big data target unit.
  • Step 102 The big data source unit retrieves local data according to the data exchange request.
  • Step 103 When retrieving the matched data, the big data source unit sends a response message to the big data target unit, where the response message carries data that matches the data exchange request; When the data is matched, the big data source unit sends a response message to the big data target unit, where the response message carries information that the exchange request fails;
  • Step 104 The big data source unit receives the confirmation message returned by the big data target unit.
  • the data exchange request is a collection request carrying the collection request information; the matched data is initial data and initial metadata that match the collection request information; and the response message is collected.
  • a response message the collection response message carrying the initial data and initial metadata or carrying a collection request failure information;
  • the confirmation message is a collection confirmation message; or
  • the data exchange request is an interconnection request carrying interconnection request information;
  • the matched data is processing data and processing metadata matching the interconnection request information;
  • the response message is an interconnection response message,
  • the interconnection response message carries the processing data and processing metadata or carries interconnection request failure information;
  • the confirmation message is an interconnection confirmation message; or the data exchange request is a service request carrying service request information;
  • the matched data is processing data and processing metadata matching the service request information;
  • the response message is a service response message, and the service response message carries the processing data and processing metadata or fails to carry a service request Information;
  • the confirmation message is a service confirmation message.
  • this embodiment provides a method for large data exchange, including:
  • Step 201 The big data target unit sends a data exchange request to the big data source unit.
  • Step 202 The big data target unit receives a response message returned by the big data source unit.
  • Step 203 The big data target unit receives the response message sent by the big data source unit. If the response message includes data that matches the data exchange request, the data is stored or cached, and the data is large. Data processing or using the data, after processing or using the data, proceeds to step 204; if the response message carries information that the exchange request fails, then proceeds directly to step 204;
  • Step 204 The big data target unit returns an acknowledgement message to the big data source unit.
  • the data exchange request is a collection request carrying the collection request information; the matched data is initial data and initial metadata that match the collection request information; and the response message is collected.
  • the collection response message carries the initial data and initial metadata or carries the collection request failure information;
  • the confirmation message is a collection confirmation message; or the data exchange request is an interconnection request carrying the interconnection request information.
  • the matched data is processing data and processing metadata matching the interconnection request information;
  • the response message is an interconnection response message, the interconnection response message carrying the processing data and processing metadata Or carrying the interconnection request failure information;
  • the confirmation message is an interconnection confirmation message; or the data exchange request is a service request carrying service request information;
  • the matched data is matched with the service request information.
  • the response message is a service response message, and the service response message carries Processing data and processing the service request carries metadata or failure information; said acknowledgment message
  • the information is a business confirmation message.
  • the embodiment provides a big data exchange device, including: a big data source unit;
  • the big data source unit includes at least one of: a data provider module, a first big data service provider module; the data provider module configured to provide initial data and initial metadata; the first big data service The provider module is configured to perform large data processing on the initial data and the initial metadata to obtain processing data and processing metadata.
  • the data provider module is further configured to: receive a collection request of a second big data service provider module from the big data target unit; retrieve the local data according to the collection request information carried by the collection request And if the local data matching the collection request information is retrieved, sending a collection response message to the second big data service provider module, where the collection response message carries the searched initial data and initial metadata; Retrieving the local data that matches the collection request information, and sending a collection response message to the second big data service provider module, where the collection response message carries information that the data request fails; and receives the second big data service.
  • the collection confirmation message returned by the provider module.
  • the first big data service provider module is further configured to: receive an interconnection request from a second big data service provider module of the big data target unit, carried according to the interconnection request
  • the interconnection request information retrieves local processing data; if the processing data and the processing metadata matching the interconnection request information are retrieved, an interconnection response message is sent to the second big data service provider module, the interconnection response Transmitting, in the message, processing data and processing metadata that match the interconnection request information; if the data matching the interconnection request information is not retrieved, sending an interconnection response message to the second big data service provider module
  • the interconnection response message carries interconnection request failure information; and receives an interconnection confirmation message returned by the second big data service provider module.
  • the first big data service provider module is further configured to: receive a service request from a big data service consumer module of the big data target unit, and retrieve the service request information according to the service request. Local processing data; if the processing data and the processing metadata matching the service request information are retrieved, the service response message is sent to the big data service consumer module, and the service response message carries the information matching the service request information Processing data and processing metadata; if the data matching the service request information is not retrieved, the service response is sent And the service response message carries the service request failure information; and receives the service confirmation message returned by the big data service consumer module.
  • the embodiment provides a big data exchange device, including: a big data target unit;
  • the big data target unit includes at least one of: a second big data service provider module and a big data service consumer module; the second big data service provider module is configured to perform big data processing to obtain processing data and processing Metadata or updated processing data and processing metadata; the big data business consumer module is configured to use the processing data and processing metadata.
  • the second big data service provider module is further configured to: send a collection request to a data provider module of the big data source unit; receive and store or cache the provided by the data provider module Determining initial data and initial metadata, and performing big data processing on the initial data and initial metadata to obtain processing data and processing metadata; or receiving collection request failure information from the data provider module; After collecting the request failure information or after processing the initial data, returning a collection confirmation message to the data provider module.
  • the second big data service provider module is further configured to: send an interconnection request to a first big data service provider module of the big data source unit; receive and store or cache the first The processing data and processing metadata provided by the big data service provider module, and the big data processing of the processing data and the processing metadata to obtain updated processing data and updated processing metadata; or, receiving from the first An interconnection request failure information of a large data service provider module; after receiving the interconnection request failure information or after processing the processing data, returning the interconnection confirmation message to the first big data service Module.
  • the big data service consumer module is further configured to: send a service request to a first big data service provider module of the big data source unit; receive and store or cache the first big data service The processing data and processing metadata provided by the provider module, and using the processing data and processing metadata; or receiving service request failure information from the first big data service provider module; upon receiving the After the service request failure information or after receiving the processing data and processing metadata, the service confirmation message is returned to the first big data service provider module.
  • this embodiment provides a big data exchange system including a big data source unit and a big data target unit.
  • the big data source unit and the big data target unit satisfy at least one of the following: the big data source unit and the big data target unit communicate through a collection interface, the collection interface is configured to exchange initial data and initial metadata;
  • the data source unit communicates with the big data target unit through an interconnection interface for exchanging processing data and processing metadata; the big data source unit and the big data target unit are communicated through a consumption interface,
  • the consumer interface is used to exchange processing data and processing metadata.
  • the big data source unit as a data source for big data exchange, includes at least one of the following: a data provider module and a first big data service provider module; the big data source unit is mainly configured to be a data provider.
  • the initial data provided by the module and the processing data provided by the first big data service provider module are exported to the big data target unit.
  • the data provider module is configured to: generate initial data and provide at least one of the initial data to the first big data service provider module and the second big data service provider module of the big data target unit, based on the The initial data creates metadata of the initial data (ie, initial metadata) and is accessible to at least one of the first big data service provider module and the second big data service provider module of the big data target unit;
  • the first big data service provider module is configured to: receive and store initial data and initial metadata from the data provider module, perform macro data processing on the initial data to obtain processing data, and according to the Processing data updates the initial metadata to obtain processing metadata, and derives the processing data and processing metadata to a big data target unit for use by a big data service consumer module of a big data target unit, or for a big data target unit
  • the two major data service provider modules are further processed.
  • the big data target unit as a data target of big data exchange, includes at least one of the following: a second largest data service provider module, a big data service consumer module; and a big data target unit is mainly configured as: (1) The data provider module of the big data source unit imports the initial data and the initial metadata, and delivers to the second largest data service provider module inside the big data target unit for big data processing to obtain processing data and processing metadata; (2) Importing processing data and processing metadata from the first big data service provider module of the big data source unit, and handing it over to the second largest data service provider module inside the big data target unit to continue the big data processing to obtain the updated processing data. And updated Processing metadata.
  • the second big data service provider module is configured to: (1) request initial data and initial metadata from a data provider module of the big data source unit, receive and store or cache from the big data source. Initial data and initial metadata of the data provider module of the unit, and performing macro data processing on the initial data to obtain processing data, and updating the initial metadata according to the processing data to obtain processing metadata; or, (2) Requesting, to the first big data service provider module of the big data source unit, processing data and processing metadata, receiving and storing or buffering processing data of the first big data service provider module from the big data source unit and Processing metadata, further processing the processing data and processing metadata to obtain updated processing data and updated processing metadata; or, (3) deriving the processing data and processing metadata, or updating Processing data and updated processing metadata for use by the big data service consumer module;
  • the big data service consumer module is configured to: (1) request processing data and processing metadata from a first big data service provider module of the big data source unit, receive and store or cache from the big data source Processing data and processing metadata of the first big data service provider module of the unit; or (2) requesting processing data and processing metadata, or updated processing from the second big data service provider module of the big data target unit Data and updated processing metadata, receiving and storing or buffering the processing data and processing metadata of the second largest data service provider module, or the updated processing data and updated processing metadata, and using the processing data And processing metadata, or the updated processing data and processing metadata.
  • the initial data also called unprocessed data (Raw Data) is set as unprocessed data from the data provider module;
  • the processing data is set to be processed by the first big data service provider module for data collection, data preparation (ie, data preprocessing), data analysis, and data visualization of the initial data.
  • data preparation ie, data preprocessing
  • processing data is the main result provided by big data business.
  • the processing data may include collected data, prepared data, analyzed data, and visualized data.
  • the data export from the big data source unit to the big data target unit may be: transmitting the initial data, the initial metadata, the processing data, and the processing metadata to the big data target unit; correspondingly, the data import of the big data target unit may include : Receive, store, or cache from big data source sheets Meta-initial data, initial metadata, processing data, and processing metadata.
  • the big data processing may include data collection, data preparation (ie, data preprocessing), data analysis, and data visualization.
  • data collection is set to extract data from the imported data and perform preliminary processing (such as initial integration of data sets of the same structure, etc.); the data preparation (ie, data preprocessing) is set to the collected data.
  • the data in the data preparation phase is based on big data science, using a specified algorithm for analysis and processing, and extracting knowledge from it, and providing the results of corresponding analysis processing; the data is visualized and set to visualize the analyzed data (eg, optimally Formats and data presentations are used to convey knowledge and explanatory meanings) and provide visual processing results (such as statistical patterns, charts, reports, etc.).
  • FIG. 3 is a schematic structural diagram of a big data exchange system according to an embodiment of the present invention.
  • the structure of the big data exchange system includes from left to right: a big data source unit 101 and a big data target unit 102.
  • the big data source unit 101 includes at least one of the following: a data provider module 103, a big data service provider module_A 105;
  • the big data target unit 102 includes at least one of the following: a big data service provider module_B 104, Big Data Service Consumer Module 106.
  • the big data source unit 101 and the big data target unit 102 exchange data through three main interfaces: (1) Collecting interface for exchanging initial data and initial metadata; and (2) Interworking interface for using For the exchange of processing data and processing metadata; (3) Consuming interface for the exchange of processing data and processing of metadata.
  • FIG. 4 is a flowchart of implementing a big data exchange method according to an embodiment of the present invention. As shown in FIG. 4, the big data exchange method may mainly include the following steps:
  • the process of exchanging initial data and initial metadata between the big data target unit 102 and the big data source unit 101 through the collection interface may include the following steps:
  • Step 401 The big data service provider module_B 104 of the big data target unit 102 sends a collection request (Req) message to the data provider module 103 of the big data source unit 101 so as to be able to obtain the initial from the data provider module 103.
  • Req collection request
  • Step 402 The data provider module 103 receives the Big Data Service Provider Module_B 104 a collection request, and retrieving local data according to the collection request information carried by the collection request;
  • the data provider module 103 transmits the matched data (including the initial data and the initial metadata) to the big data service provider module_B 104 through a collection response (Resp) message;
  • the data provider module 103 sends the data request failure information to the big data service provider module _B 104 through the collection response (Resp) message;
  • Step 403 The big data service provider module_B 104 receives and stores or caches the initial data and initial metadata from the data provider module 103, and processes the initial data to obtain processing data and processing metadata. After receiving and processing the initial data, the big data service provider module_B 104 sends a collection acknowledgement (Ack) message to the data provider module 103 to end the current secondary data exchange.
  • Ack collection acknowledgement
  • the big data service provider module_B 104 receives the message that the collection request failed from the data provider module 103, and sends a collection confirmation (Ack) message to the data provider module 103 to end the current secondary data exchange.
  • Ack collection confirmation
  • the process of exchanging processing data and processing metadata between the big data target unit 102 and the big data source unit 101 through the interconnection interface may include the following steps:
  • Step 501 The big data service provider module_B 104 in the big data target unit 102 sends an interconnection request (Req) message to the big data service provider module_A 105 of the big data source unit 101 to provide from the big data service.
  • the processing data processed by the big data service provider module_A105 is obtained at the module_A 105, so that the big data service provider module_B 104 can be interconnected with the big data service provider module_A 105 to perform joint data analysis. jobs;
  • Step 502 The big data service provider module_A 105 receives an interconnection request from the big data service provider module_B 104, and retrieves local processing data according to the interconnection request information carried by the interconnection request;
  • Big Data Service Provider Module_A if data matching the interconnection request information is retrieved 105 transmits the matched data (including processing data and processing metadata) to the big data service provider module_B 104 through an interconnection response (Resp) message; if the matching data is not retrieved, the big data service provider module_A 105 transmitting the interconnection request failure information to the big data service provider module _B 104 through an interconnection response (Resp) message;
  • Step 503 The big data service provider module_B 104 receives and stores or caches the processing data and processing metadata from the big data service provider module_A 105, and further processes the processed data to obtain updated processing data. And updated processing metadata; the big data service provider module_B 104, after receiving and processing the processing data, sends an interconnection confirmation (Ack) message to the big data service provider module_A 105, ending the interconnection exchange .
  • the big data service provider module_B 104 sends an interconnection confirmation (Ack) message to the big data service provider module_ A 105, the interconnection exchange is ended.
  • the process of exchanging processing data and processing metadata between the big data target unit 102 and the big data source unit 101 through the consumption interface may include the following steps:
  • Step 601 The big data service consumer module 106 in the big data target unit 102 sends a service request (Req) message to the big data service provider module_A 105 of the big data source unit 101 to receive from the big data service provider module _ Processing data processed by the big data service provider module_A105 is obtained at A 105 so that the big data service consumer module 106 can use the data analysis result provided by the big data service provider module_A 105;
  • Req service request
  • Step 602 The big data service provider module_A 105 receives the service request from the big data service consumer module 106, and retrieves the local processing data according to the service request information carried by the service request;
  • the big data service provider module_A105 sends the matched data (including the processing data and the processing metadata) to the big data service consumer module 106 through a service response (Resp) message;
  • the big data service provider module_A 105 sends a message that the service request fails to the big data service consumer module 106 through the service response (Resp) message;
  • Step 603 The big data service consumer module 106 receives and stores or caches the processing data and processing metadata from the big data service provider module_A 105 and uses the data (eg, for business analysis, business decision, etc.); big data After receiving and processing the processing data and processing the metadata, the service consumer module 106 sends a service acknowledgement (Ack) message to the big data service provider module_A 105 to end the service exchange;
  • Ack service acknowledgement
  • the big data service consumer module 106 sends a service acknowledgement (Ack) message to the big data service provider module_A 105, ending the Secondary service exchange.
  • Ack service acknowledgement
  • the device and method for directly exchanging big data effectively solve the problem of islanding and sealing of big data, and effectively improve the feasibility of open sharing and interconnection of big data.
  • the embodiment of the present application further provides a computer readable storage medium storing computer executable instructions, which when executed by a processor, implement the big data exchange method described in any of the above aspects.
  • computer storage medium includes volatile and nonvolatile, implemented in any method or technology for storing information, such as computer readable instructions, data structures, program modules or other data. Sex, removable and non-removable media.
  • Computer storage media includes, but is not limited to, RAM, ROM, EEPROM, flash memory or Other memory technologies, CD-ROMs, digital versatile disc (DVD) or other optical disc storage, magnetic boxes, magnetic tape, magnetic disk storage or other magnetic storage devices, or any other that can be used to store desired information and can be accessed by a computer medium.
  • communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal, such as a carrier wave or other transport mechanism, and can include any information delivery media. .
  • the embodiment of the present application provides a big data exchange method, device, and system, which effectively solves the problem of islanding and blocking of big data, and effectively improves the feasibility of open sharing and interconnection of big data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本文公开了一种大数据交换方法，包括以下至少之一：大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据；所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据；所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据；大数据源单元包括以下至少之一：数据提供者模块、第一大数据业务提供者模块；大数据目标单元包括以下至少之一：第二大数据业务提供者模块、大数据业务消费者模块。相应地，本文还公开一种大数据交换装置及系统，能够有效解决大数据的开放共享和互联互通等问题。

Description

一种大数据交换方法及装置、系统 技术领域
本申请涉及但不限于通信技术领域，尤指一种大数据交换方法及装置、系统。
背景技术
目前大数据成为当前业界的技术热点，特别是随着云计算业务的部署，大数据作为其最重要的业务应用，其发展前景被寄予厚望。
大数据的主要特点是体量大(Volume)、种类多(Variety)、速度快(Velocity)以及价值高(Value)等，并同时伴随着多源、异构以及海量的数据特征。
大数据所涉及的数据类型包括结构化(Structured)、半结构化(Semi-Structured)以及非结构化(Un-Structured)等类型，这要求大数据交换系统可以针对这些不同数据类型进行区分和处理，比如对于结构化的数据库数据的采集、异常数据清理以及ETL(数据提取、数据转换以及数据加载)等，对于半结构化数据以及非结构化数据的增量实时采集、解析、注释、异常数据清理、数据分割、特征提取、存储或缓存以及批量非实时处理等。
大数据所涉及的数据对象包括文字、语音、视频、图像、网页、传感器数据等，这也就要求大数据交换系统可以有针对性地区分和处理不同数据对象所对应的数据承载格式，比如：文本文件、音频文件、适配文件、图像文件、网页文件、传感器数据文件以及相应的实时/准实时流媒体数据等不同格式。
尽管目前大数据正在逐步应用于各个行业，但是随着数据体量的逐步增加，所涉及数据种类的日益繁杂，所生成速度的迅速提升以及对于其潜在价值利用的需求增强，当前大数据正遭遇一些新的困境以及面临新的挑战，特别是：
1)大数据的孤岛性导致大数据无法开放、共享以及互联，从而降低了大 数据用户共享不同产业甚至相同产业不同部门数据的可能性；
2)对于具有巨大潜在价值的大体量的大数据缺乏价值衡量手段和货币化手段，从而削弱了数据拥有者开放数据的积极性；
3)已有公共数据的开放不足阻碍了公共社会资源对于可能的社会生活以及经济活动的贡献性；
4)缺乏有效的商业模式，特别是高效的数据交换机制，阻止了数据拥有者和数据用户之间安全有效地进行数据交换；
5)互连互通标准的缺乏也无法保障大数据提供商和大数据业务提供商之间进行互连。
为从大体量的、种类繁多的、高速变化的大数据中充分挖掘出大数据巨大的潜在价值，以上所遭遇的各种问题以及相关挑战，均需要通过有效的方法以及相应的系统架构来有针对性地给予解决。
在国际上，早前国际电信联盟(ITU)以及国际标准化组织(ISO|IEC)都已经或者即将发布大数据需求和框架标准，但在这些标准中均尚未涉及如何解决因大数据的孤岛性而导致大数据无法开放共享和互联互通的问题。相应地，目前国际电信联盟(ITU)正在开展的大数据交换需求和框架标准(ITU-T Y.BigDataEX-reqts)旨在解决该问题。因此，需要一种大数据直接交换模型及其实现方法，以至少解决大数据应用中的开放共享和互联互通的问题，以加速该方面的课题研究及其国际标准化进程，从而实现大数据的开放性、互联性以及共享性，并充分调动孤立且不活跃的大数据参与到大数据交易活动中，为生产和生活所用以及创造大数据所应有的价值。
发明概述
以下是对本文详细描述的主题的概述，本概述并非是为了限制权利要求的保护范围。
本申请提供了一种大数据交换方法及装置、系统，能够有效地解决大数据的开放共享和互联互通等问题。
本申请提供了一种大数据交换方法，包括以下至少之一：
大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据；
所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据；
所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据；
其中，所述大数据源单元包括以下至少之一：数据提供者模块、第一大数据业务提供者模块；所述大数据目标单元包括以下至少之一：第二大数据业务提供者模块、大数据业务消费者模块；
所述数据提供者模块配置为提供所述初始数据和初始元数据；所述第一大数据业务提供者模块和所述第二大数据业务提供者模块配置为进行大数据处理得到所述加工数据和加工元数据；所述大数据业务消费者模块配置为使用所述加工数据和加工元数据。
其中，所述交换初始数据和初始元数据，包括：
所述大数据源单元将数据提供者模块产生的初始数据以及初始元数据提供给大数据目标单元中的第二大数据业务提供者模块；大数据目标单元的第二大数据业务提供者模块接收并存储或缓存所述初始数据以及初始元数据并对所述初始数据进行大数据处理。
其中，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：所述数据提供者模块接收来自所述第二大数据业务提供者模块的搜集请求；所述数据提供者模块根据所述搜集请求携带的搜集请求信息检索本地数据；如果检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；如果未检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；所述数据提供者模块接收所述第二大数据业务提供者模块返回的搜集确认消息。
其中，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：
所述第二大数据业务提供者模块向所述数据提供者模块发送搜集请求；
所述第二大数据业务提供者模块接收并存储或缓存所述数据提供者模块提供的所述初始数据和初始元数据，并对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据；或者，所述第二大数据业务提供者模块接收来自所述数据提供者模块的搜集请求失败信息；
在接收到所述搜集请求失败信息之后或处理完所述初始数据之后，所述第二大数据业务提供者模块返回搜集确认消息给所述数据提供者模块。
其中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：
所述大数据源单元将经过第一大数据业务提供者模块处理所述初始数据后得到的加工数据以及加工元数据提供给大数据目标单元的第二大数据业务提供者模块；大数据目标单元中的第二大数据业务提供者模块接收并存储或缓存所述加工数据以及加工元数据，并对所述加工数据进行进一步地大数据处理以得到更新的加工数据和更新的加工元数据。
其中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：
所述第一大数据业务提供者模块接收来自所述第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；
如果检索到与所述互连请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；
如果未检索到与所述互连请求信息匹配的数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息携带互连请求失败信息；
所述第一大数据业务提供者模块接收所述第二大数据业务提供者模块返 回的互连确认消息。
其中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：
所述第二大数据业务提供者模块向所述第一大数据业务提供者模块发送互连请求；
所述第二大数据业务提供者模块接收并存储或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并对所述加工数据和加工元数据进行大数据处理得到更新的加工数据和更新的加工元数据；或者，所述第二大数据业务提供者模块接收来自所述第一大数据业务提供者模块的互连请求失败信息；
在接收到所述互连请求失败信息之后或处理完所述加工数据之后，所述第二大数据业务提供者模块返回所述互连确认消息给所述第一大数据业务提供者模块。
其中，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：
所述大数据源单元将经过其第一大数据业务提供者模块对初始数据处理后得到的加工数据提供给所述大数据目标单元的大数据业务消费者模块使用。
其中，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：
所述第一大数据业务提供者模块接收来自所述大数据业务消费者模块的业务请求，根据所述业务请求携带的业务请求信息检索本地加工数据；
如果检索到与所述业务请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息中携带与所述业务请求信息匹配的加工数据和加工元数据；
如果未检索到与所述业务请求信息匹配的数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息携带业务请求失败信息；
所述第一大数据业务提供者模块接收所述大数据业务消费者模块返回的 业务确认消息。
其中，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：
所述大数据业务消费者模块向所述第一大数据业务提供者模块发送业务请求；
所述大数据业务消费者模块接收并存储或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并使用所述加工数据和加工元数据；或者，所述大数据业务消费者模块接收来自所述第一大数据业务提供者模块的业务请求失败信息；
在接收到所述业务请求失败信息之后或接收所述加工数据和加工元数据之后，所述大数据业务消费者模块返回所述业务确认消息给所述第一大数据业务提供者模块。
其中，所述大数据处理包括：数据搜集、数据准备、数据分析和数据可视化中至少一项。
本申请还提供了一种大数据交换方法，包括：
大数据源单元接收大数据目标单元发送的数据交换请求；
大数据源单元根据所述数据交换请求检索本地数据；
在检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带与所述数据交换请求相匹配的数据；在未检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带交换请求失败的信息；
大数据源单元接收所述大数据目标单元返回的确认消息。
其中，所述数据交换请求为携带搜集请求信息的搜集请求；所述相匹配的数据为与所述搜集请求信息相匹配的初始数据和初始元数据；所述响应消息为搜集响应消息，所述搜集响应消息携带所述初始数据和初始元数据或者携带搜集请求失败信息；所述确认消息为搜集确认消息；或，
所述数据交换请求为携带互连请求信息的互连请求；所述相匹配的数据为与所述互连请求信息相匹配的加工数据和加工元数据；所述响应消息为互 连响应消息，所述互连响应消息携带所述加工数据和加工元数据或者携带互连请求失败信息；所述确认消息为互连确认消息；或，
所述数据交换请求为携带业务请求信息的业务请求；所述相匹配的数据为与所述业务请求信息相匹配的加工数据和加工元数据；所述响应消息为业务响应消息，所述业务响应消息携带所述加工数据和加工元数据或者携带业务请求失败信息；所述确认消息为业务确认消息。
本申请还提供了一种大数据交换方法，包括：
大数据目标单元发送数据交换请求给所述大数据源单元；
所述大数据目标单元接收所述大数据源单元返回的响应消息；
如果所述响应消息包含与所述数据交换请求匹配的数据，则存储或缓存所述数据，并对所述数据进行大数据处理或使用所述数据，在处理或使用所述数据之后，向所述大数据源单元返回确认消息；
如果所述响应消息携带交换请求失败的信息，则直接返回确认消息给所述大数据源单元。
其中，所述数据交换请求为携带搜集请求信息的搜集请求；所述相匹配的数据为与所述搜集请求信息相匹配的初始数据和初始元数据；所述响应消息为搜集响应消息，所述搜集响应消息携带所述初始数据和初始元数据或者携带搜集请求失败信息；所述确认消息为搜集确认消息；或，所述数据交换请求为携带互连请求信息的互连请求；所述相匹配的数据为与所述互连请求信息相匹配的加工数据和加工元数据；所述响应消息为互连响应消息，所述互连响应消息携带所述加工数据和加工元数据或者携带互连请求失败信息；所述确认消息为互连确认消息；或，所述数据交换请求为携带业务请求信息的业务请求；所述相匹配的数据为与所述业务请求信息相匹配的加工数据和加工元数据；所述响应消息为业务响应消息，所述业务响应消息携带所述加工数据和加工元数据或者携带业务请求失败信息；所述确认消息为业务确认消息。
本申请还提供了一种大数据交换装置，包括：大数据源单元；
所述大数据源单元，包括以下至少之一：数据提供者模块、第一大数据 业务提供者模块；所述数据提供者模块配置为提供初始数据和初始元数据；所述第一大数据业务提供者模块配置为对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据。
其中，所述数据提供者模块，还配置为：
接收来自大数据目标单元的第二大数据业务提供者模块的搜集请求；
根据所述搜集请求携带的搜集请求信息检索本地数据；
如果检索到与所述搜集请求信息匹配的本地数据，发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；
如果未检索到与所述搜集请求信息匹配的本地数据，发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；
接收所述第二大数据业务提供者模块返回的搜集确认消息。
其中，所述第一大数据业务提供者模块，还配置为：
接收来自大数据目标单元的第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；
如果检索到与所述互连请求信息匹配的加工数据和加工元数据，发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；
如果未检索到与所述互连请求信息匹配的数据，发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息携带互连请求失败信息；
接收所述第二大数据业务提供者模块返回的互连确认消息。
其中，所述第一大数据业务提供者模块，还配置为：
接收来自大数据目标单元的大数据业务消费者模块的业务请求，根据所述业务请求携带的业务请求信息检索本地加工数据；
如果检索到与所述业务请求信息匹配的加工数据和加工元数据，发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息中携带与所述 业务请求信息匹配的加工数据和加工元数据；
如果未检索到与所述业务请求信息匹配的数据，发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息携带业务请求失败信息；
接收所述大数据业务消费者模块返回的业务确认消息。
本申请还提供了一种大数据交换装置，包括：大数据目标单元；
所述大数据目标单元，包括以下至少之一：第二大数据业务提供者模块、大数据业务消费者模块；所述第二大数据业务提供者模块配置为进行大数据处理得到加工数据和加工元数据或得到更新的加工数据和加工元数据；所述大数据业务消费者模块配置为使用所述加工数据和加工元数据。
其中，所述第二大数据业务提供者模块，还配置为：
向大数据源单元的数据提供者模块发送搜集请求；
接收并存储或缓存所述数据提供者模块提供的所述初始数据和初始元数据，并对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据；或者，接收来自所述数据提供者模块的搜集请求失败信息；
在接收到所述搜集请求失败信息之后或处理完所述初始数据之后，返回搜集确认消息给所述数据提供者模块。
其中，所述第二大数据业务提供者模块，还配置为：
向大数据源单元的第一大数据业务提供者模块发送互连请求；
接收并存储或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并对所述加工数据和加工元数据进行大数据处理得到更新的加工数据和更新的加工元数据；或者，接收来自所述第一大数据业务提供者模块的互连请求失败信息；
在接收到所述互连请求失败信息之后或处理完所述加工数据之后，返回所述互连确认消息给所述第一大数据业务提供者模块。
其中，所述大数据业务消费者模块，还配置为：
向大数据源单元的第一大数据业务提供者模块发送业务请求；
接收并存储或缓存所述第一大数据业务提供者模块提供的所述加工数据 和加工元数据，并使用所述加工数据和加工元数据；或者，接收来自所述第一大数据业务提供者模块的业务请求失败信息；
在接收到所述业务请求失败信息之后或接收所述加工数据和加工元数据之后，返回所述业务确认消息给所述第一大数据业务提供者模块。
本申请还提供了一种大数据交换系统，包括：大数据源单元和大数据目标单元；其中，所述大数据源单元和大数据目标单元之间满足以下至少一项：
所述大数据源单元与大数据目标单元通过搜集接口通信，所述搜集接口用于交换初始数据和初始元数据；
所述大数据源单元与所述大数据目标单元通过互连接口通信，所述互连接口用于交换加工数据和加工元数据；
所述大数据源单元与所述大数据目标单元通过消费接口通信，所述消费接口用于交换加工数据和加工元数据。
其中，所述大数据源单元为上述的大数据源单元。
其中，所述大数据目标单元上述的大数据目标单元。
本申请实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述任一方面所述的大数据交换方法。
本发明实施例由大数据生态系统各主要角色(包括数据提供者模块、大数据业务提供者模块以及大数据业务消费者模块)共同协作来实现的一种大数据直接交换装置及其实现方法，能够有效地解决大数据的开放共享和互联互通等问题。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图概述
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请 技术方案的限制。
图1为本发明实施例二的大数据交换方法的流程示意图；
图2为本发明实施例三的大数据交换方法的流程示意图；
图3为本发明实施例六的大数据交换系统的组成结构示意图；
图4为本发明实施例六的大数据交换方法的具体流程示意图。
详述
下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
本实施例提供一种大数据交换方法，该方法可以包括以下至少之一：
大数据源单元(Big Data Source)与大数据目标单元(Big Data Target)之间通过搜集接口交换初始数据(Original Data)和初始元数据(Original Metadata)；
所述大数据源单元与所述大数据目标单元之间通过互换接口交换加工数据(Processed Data)和加工元数据(Processed Metadata)；
所述大数据源单元与所述大数据目标单元之间通过消费接口交换加工数据和加工元数据。
其中，所述大数据源单元包括以下至少之一：数据提供者模块(Data Supplier)、第一大数据业务提供者模块(Big Data Service Provider)；所述大数据目标单元包括以下至少之一：第二大数据业务提供者模块、大数据业务消费者模块(Big Data Service Customer)；所述数据提供者模块配置为提供所述初始数据和初始元数据；所述第一大数据业务提供者模块和所述第二大数据业务提供者模块配置为进行大数据处理得到所述加工数据和加工元数 据；所述大数据业务消费者模块配置为使用所述加工数据和加工元数据。
实际应用中，本实施例的大数据交换可以包括如下至少之一流程：
1)大数据源单元将数据提供者模块产生的初始数据以及初始元数据(通过搜集接口)提供给大数据目标单元中的第二大数据业务提供者模块；大数据目标单元的第二大数据业务提供者模块(通过搜集接口)接收并存储或缓存所述初始数据以及初始元数据，并对所述初始数据进行大数据处理；
2)大数据源单元将经过第一大数据业务提供者模块处理所述初始数据后得到的加工数据以及加工元数据(通过互连接口)提供给大数据目标单元的第二大数据业务提供者模块；大数据目标单元中的第二大数据业务提供者模块(通过互连接口)接收并存储或缓存所述加工数据以及加工元数据，并对所述加工数据进行进一步地处理以得到更新的加工数据和更新的加工元数据；
3)大数据源单元将经过其第一大数据业务提供者模块对初始数据处理后得到的加工数据(通过消费接口)提供给大数据目标单元的大数据业务消费者模块使用。
在示例性实施方式中，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，可以包括：所述数据提供者模块接收来自所述第二大数据业务提供者模块的搜集请求；所述数据提供者模块根据所述搜集请求携带的搜集请求信息检索本地数据；如果检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；如果未检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；所述数据提供者模块接收所述第二大数据业务提供者模块返回的搜集确认消息。
在示例性实施方式中，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，可以包括：所述数据提供者模块接收来自所述第二大数据业务提供者模块的搜集请求；所述数据提供者模块根据所述搜集请求携带的搜集请求信息检索本地数据；如果检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据 业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；如果未检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；所述数据提供者模块接收所述第二大数据业务提供者模块返回的搜集确认消息。
在示例性实施方式中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，可以包括：所述第一大数据业务提供者模块接收来自所述第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；如果检索到与所述互连请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；如果未检索到与所述互连请求信息匹配的数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息携带互连请求失败信息；所述第一大数据业务提供者模块接收所述第二大数据业务提供者模块返回的互连确认消息。
在示例性实施方式中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，可以包括：所述第二大数据业务提供者模块向所述第一大数据业务提供者模块发送互连请求；所述第二大数据业务提供者模块接收并存储或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并对所述加工数据和加工元数据进行大数据处理得到更新的加工数据和更新的加工元数据；或者，所述第二大数据业务提供者模块接收来自所述第一大数据业务提供者模块的互连请求失败信息；在接收到所述互连请求失败信息之后或处理完所述加工数据之后，所述第二大数据业务提供者模块返回所述互连确认消息给所述第一大数据业务提供者模块。
在示例性实施方式中，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，可以包括：所述第一大数据业务提供者模块接收来自所述大数据业务消费者模块的业务请求，根据所述业务请求携带的业务请求信息检索本地加工数据；如果检索到与所述业务请求信息匹配 的加工数据和加工元数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息中携带与所述业务请求信息匹配的加工数据和加工元数据；如果未检索到与所述业务请求信息匹配的数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息携带业务请求失败信息；所述第一大数据业务提供者模块接收所述大数据业务消费者模块返回的业务确认消息。
在示例性实施方式中，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，可以包括：所述大数据业务消费者模块向所述第一大数据业务提供者模块发送业务请求；所述大数据业务消费者模块接收并存储或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并使用所述加工数据和加工元数据；或者，所述大数据业务消费者模块接收来自所述第一大数据业务提供者模块的业务请求失败信息；在接收到所述业务请求失败信息之后或接收所述加工数据和加工元数据之后，所述大数据业务消费者模块返回所述业务确认消息给所述第一大数据业务提供者模块。
实施例二
如图1所示，本实施例提供一种大数据交换方法，包括：
步骤101：大数据源单元接收大数据目标单元发送的数据交换请求；
步骤102：大数据源单元根据所述数据交换请求检索本地数据；
步骤103：在检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带与所述数据交换请求相匹配的数据；在未检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带交换请求失败的信息；
步骤104：大数据源单元接收所述大数据目标单元返回的确认消息。
在示例性实施方式中，所述数据交换请求为携带搜集请求信息的搜集请求；所述相匹配的数据为与所述搜集请求信息相匹配的初始数据和初始元数据；所述响应消息为搜集响应消息，所述搜集响应消息携带所述初始数据和初始元数据或者携带搜集请求失败信息；所述确认消息为搜集确认消息；或， 所述数据交换请求为携带互连请求信息的互连请求；所述相匹配的数据为与所述互连请求信息相匹配的加工数据和加工元数据；所述响应消息为互连响应消息，所述互连响应消息携带所述加工数据和加工元数据或者携带互连请求失败信息；所述确认消息为互连确认消息；或，所述数据交换请求为携带业务请求信息的业务请求；所述相匹配的数据为与所述业务请求信息相匹配的加工数据和加工元数据；所述响应消息为业务响应消息，所述业务响应消息携带所述加工数据和加工元数据或者携带业务请求失败信息；所述确认消息为业务确认消息。
实施例三
如图2所示，本实施例提供一种大数据交换方法，包括：
步骤201：大数据目标单元发送数据交换请求给所述大数据源单元；
步骤202：所述大数据目标单元接收所述大数据源单元返回的响应消息；
步骤203：大数据目标单元接收所述大数据源单元发送的响应消息；如果所述响应消息包含与所述数据交换请求匹配的数据，则存储或缓存所述数据，并对所述数据进行大数据处理或使用所述数据，在处理或使用所述数据之后进入步骤204；如果所述响应消息携带交换请求失败的信息，则直接进入步骤204；
步骤204：大数据目标单元返回确认消息给所述大数据源单元。
在示例性实施方式中，所述数据交换请求为携带搜集请求信息的搜集请求；所述相匹配的数据为与所述搜集请求信息相匹配的初始数据和初始元数据；所述响应消息为搜集响应消息，所述搜集响应消息携带所述初始数据和初始元数据或者携带搜集请求失败信息；所述确认消息为搜集确认消息；或，所述数据交换请求为携带互连请求信息的互连请求；所述相匹配的数据为与所述互连请求信息相匹配的加工数据和加工元数据；所述响应消息为互连响应消息，所述互连响应消息携带所述加工数据和加工元数据或者携带互连请求失败信息；所述确认消息为互连确认消息；或，所述数据交换请求为携带业务请求信息的业务请求；所述相匹配的数据为与所述业务请求信息相匹配的加工数据和加工元数据；所述响应消息为业务响应消息，所述业务响应消息携带所述加工数据和加工元数据或者携带业务请求失败信息；所述确认消 息为业务确认消息。
实施例四
本实施例提供一种大数据交换装置，包括：大数据源单元；
所述大数据源单元，包括以下至少之一：数据提供者模块、第一大数据业务提供者模块；所述数据提供者模块配置为提供初始数据和初始元数据；所述第一大数据业务提供者模块配置为对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据。
在示例性实施方式中，所述数据提供者模块，还配置为：接收来自大数据目标单元的第二大数据业务提供者模块的搜集请求；根据所述搜集请求携带的搜集请求信息检索本地数据；如果检索到与所述搜集请求信息匹配的本地数据，发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；如果未检索到与所述搜集请求信息匹配的本地数据，发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；接收所述第二大数据业务提供者模块返回的搜集确认消息。
在示例性实施方式中，所述第一大数据业务提供者模块，还配置为：接收来自大数据目标单元的第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；如果检索到与所述互连请求信息匹配的加工数据和加工元数据，发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；如果未检索到与所述互连请求信息匹配的数据，发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息携带互连请求失败信息；接收所述第二大数据业务提供者模块返回的互连确认消息。
在示例性实施方式中，所述第一大数据业务提供者模块，还配置为：接收来自大数据目标单元的大数据业务消费者模块的业务请求，根据所述业务请求携带的业务请求信息检索本地加工数据；如果检索到与所述业务请求信息匹配的加工数据和加工元数据，发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息中携带与所述业务请求信息匹配的加工数据和加工元数据；如果未检索到与所述业务请求信息匹配的数据，发送业务响应消 息给所述大数据业务消费者模块，所述业务响应消息携带业务请求失败信息；接收所述大数据业务消费者模块返回的业务确认消息。
实施例五
本实施例提供一种大数据交换装置，包括：大数据目标单元；
所述大数据目标单元，包括以下至少之一：第二大数据业务提供者模块、大数据业务消费者模块；所述第二大数据业务提供者模块配置为进行大数据处理得到加工数据和加工元数据或得到更新的加工数据和加工元数据；所述大数据业务消费者模块配置为使用所述加工数据和加工元数据。
在示例性实施方式中，所述第二大数据业务提供者模块，还配置为：向大数据源单元的数据提供者模块发送搜集请求；接收并存储或缓存所述数据提供者模块提供的所述初始数据和初始元数据，并对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据；或者，接收来自所述数据提供者模块的搜集请求失败信息；在接收到所述搜集请求失败信息之后或处理完所述初始数据之后，返回搜集确认消息给所述数据提供者模块。
在示例性实施方式中，所述第二大数据业务提供者模块，还配置为：向大数据源单元的第一大数据业务提供者模块发送互连请求；接收并存储或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并对所述加工数据和加工元数据进行大数据处理得到更新的加工数据和更新的加工元数据；或者，接收来自所述第一大数据业务提供者模块的互连请求失败信息；在接收到所述互连请求失败信息之后或处理完所述加工数据之后，返回所述互连确认消息给所述第一大数据业务提供者模块。
在示例性实施方式中，所述大数据业务消费者模块，还配置为：向大数据源单元的第一大数据业务提供者模块发送业务请求；接收并存储或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并使用所述加工数据和加工元数据；或者，接收来自所述第一大数据业务提供者模块的业务请求失败信息；在接收到所述业务请求失败信息之后或接收所述加工数据和加工元数据之后，返回所述业务确认消息给所述第一大数据业务提供者模块。
实施例六
如图3所示，本实施例提供一种大数据交换系统，该系统包括大数据源单元和大数据目标单元。其中，大数据源单元和大数据目标单元满足以下至少一项：所述大数据源单元与大数据目标单元通过搜集接口通信，所述搜集接口用于交换初始数据和初始元数据；所述大数据源单元与所述大数据目标单元通过互连接口通信，所述互连接口用于交换加工数据和加工元数据；所述大数据源单元与所述大数据目标单元通过消费接口通信，所述消费接口用于交换加工数据和加工元数据。
如图3所示，大数据源单元，作为大数据交换的数据源，包括以下至少之一：数据提供者模块、第一大数据业务提供者模块；大数据源单元主要配置为将数据提供者模块所提供的初始数据以及第一大数据业务提供者模块提供的加工数据导出给大数据目标单元。
其中，所述数据提供者模块，设置为：产生初始数据并提供该初始数据给第一大数据业务提供者模块和大数据目标单元的第二大数据业务提供者模块中的至少一个，基于该初始数据创建所述初始数据的元数据(即初始元数据)，并可供第一大数据业务提供者模块和大数据目标单元的第二大数据业务提供者模块中的至少一个访问；
所述第一大数据业务提供者模块，设置为：接收并存储或缓存来自数据提供者模块的初始数据和初始元数据，对所述初始数据进行大数据处理得到加工数据，同时，根据所述加工数据更新所述初始元数据得到加工元数据，导出所述加工数据和加工元数据给大数据目标单元，供大数据目标单元的大数据业务消费者模块使用，或者供大数据目标单元的第二大数据业务提供者模块做进一步处理。
其中，大数据目标单元，作为大数据交换的数据目标，包括以下至少之一：第二大数据业务提供者模块、大数据业务消费者模块；大数据目标单元主要配置为：(1)从所述大数据源单元的数据提供者模块导入初始数据和初始元数据，交给大数据目标单元内部的第二大数据业务提供者模块进行大数据处理，得到加工数据和加工元数据；(2)从大数据源单元的第一大数据业务提供者模块导入加工数据和加工元数据，并交给大数据目标单元内部的第二大数据业务提供者模块继续进行大数据处理，得到更新的加工数据和更新 的加工元数据。
其中，所述第二大数据业务提供者模块，设置为：(1)向所述大数据源单元的数据提供者模块请求初始数据和初始元数据，接收并存储或缓存来自所述大数据源单元的数据提供者模块的初始数据和初始元数据，并对所述初始数据进行大数据处理得到加工数据，同时，根据所述加工数据更新所述初始元数据得到加工元数据；或者，(2)向所述大数据源单元的第一大数据业务提供者模块请求加工数据和加工元数据，接收并存储或缓存来自所述大数据源单元的第一大数据业务提供者模块的加工数据和加工元数据，并对所述加工数据和加工元数据进一步进行大数据处理，得到更新的加工数据和更新的加工元数据；或者，(3)导出所述加工数据和加工元数据、或者更新的加工数据和更新的加工元数据给所述大数据业务消费者模块使用；
所述大数据业务消费者模块，设置为：(1)向所述大数据源单元的第一大数据业务提供者模块请求加工数据和加工元数据，接收并存储或缓存来自所述大数据源单元第一大数据业务提供者模块的加工数据和加工元数据；或者，(2)向所述大数据目标单元的第二大数据业务提供者模块请求加工数据和加工元数据、或更新的加工数据和更新的加工元数据，接收并存储或缓存第二大数据业务提供者模块所述加工数据和加工元数据、或所述更新的加工数据和更新的加工元数据，并使用所述加工数据和加工元数据、或所述更新的加工数据和加工元数据。
其中，所述初始数据，也叫未加工数据(Unprocessed Data或者Raw Data)，设置为来自于数据提供者模块的未被处理的数据；
其中，所述加工数据，设置为由第一大数据业务提供者模块对所述初始数据进行数据搜集、数据准备(即数据预处理)、数据分析和数据可视化等一系列大数据处理，得到的相应的处理结果数据，加工数据即为大数据业务所提供的主要成果。根据大数据处理的类别不同，所述加工数据可以包括收集的数据、准备的数据、分析的数据以及可视化后的数据等。
其中，大数据源单元到大数据目标单元的数据导出，可以为：传送初始数据、初始元数据、加工数据和加工元数据等到大数据目标单元；相应的，大数据目标单元的数据导入可以包括：接收、存储或缓存来自于大数据源单 元的初始数据、初始元数据、加工数据以及加工元数据。
其中，所述大数据处理可以包括数据收集、数据准备(即数据预处理)、数据分析以及数据可视化等。其中，所述数据收集设置为从所导入的数据中提取数据并进行初步处理(如初始相同结构的数据集的合并等)；所述数据准备(即数据预处理)设置为对所收集的数据进行数据清洗、数据转换、数据分解、数据验证、数据融合、数据聚合、数据聚类、数据排序、数据摘要、数据分类、数据加密以及数据集成等数据预处理；所述数据分析设置为对经过数据准备阶段的数据依据大数据科学、使用指定算法进行分析处理并从中提取知识，并提供相应的分析处理的结果；所述数据可视化，设置为对经过分析的数据进行可视化处理(如以最佳格式和数据展示形式来传递知识和说明含义)并提供相应的可视化处理结果(如统计图型、图表、报告等)。
图3为本发明实施例的大数据交换系统的组成结构示意图。如图3所示，大数据交换系统的结构从左到右包括：大数据源单元101和大数据目标单元102。其中，大数据源单元101包括以下至少之一：数据提供者模块103、大数据业务提供者模块_A 105；大数据目标单元102包括以下至少之一：大数据业务提供者模块_B 104、大数据业务消费者模块106。大数据源单元101和大数据目标单元102通过三个主要接口进行数据交换：(1)搜集接口(Collecting)，用于交换初始数据和初始元数据；(2)互连(Interworking)接口，用于交换加工数据以及加工元数据；(3)消费(Consuming)接口，用于交换加工数据以及加工元数据。
图4为本发明实施例的大数据交换方法的实现流程图。如图4所示，大数据交换方法主要可以包括如下步骤：
(1)数据搜集
如图4所示，大数据目标单元102与大数据源单元101之间通过搜集接口交换初始数据和初始元数据的流程，可以包括如下步骤：
步骤401：大数据目标单元102的大数据业务提供者模块_B 104发送搜集请求(Req)消息给大数据源单元101的数据提供者模块103，以便能够从数据提供者模块103处获取到初始数据；
步骤402：数据提供者模块103接收来自大数据业务提供者模块_B 104 的搜集请求，并根据所述搜集请求携带的搜集请求信息检索本地数据；
如果检索到与搜集请求信息匹配的数据，则数据提供者模块103通过搜集响应(Resp)消息将所匹配数据(包括初始数据和初始元数据)发送给大数据业务提供者模块_B 104；
如果未检索到匹配数据，则数据提供者模块103通过搜集响应(Resp)消息将数据请求失败的信息发送给大数据业务提供者模块_B 104；
步骤403：大数据业务提供者模块_B 104接收并存储或缓存来自数据提供者模块103的所述初始数据和初始元数据，并对所述初始数据进行处理并得到加工数据和加工元数据；大数据业务提供者模块_B 104在接收并处理完所述初始数据后，发送搜集确认(Ack)消息给数据提供者模块103，以结束当前次数据交换。
或者，大数据业务提供者模块_B 104接收来自数据提供者模块103的搜集请求失败的消息，发送搜集确认(Ack)消息给数据提供者模块103，以结束当前次数据交换。
需要说明的是，如图4所示的(1')所示，在大数据源单元101内部也通过上述的数据流程进行数据搜索，不再赘述。
(2)数据互连
如图4所示，大数据目标单元102与大数据源单元101之间通过互连接口交换加工数据和加工元数据的流程，可以包括如下步骤：
步骤501：大数据目标单元102中的大数据业务提供者模块_B 104发送互连请求(Req)消息给大数据源单元101的大数据业务提供者模块_A 105，以从大数据业务提供者模块_A 105处获取已经过大数据业务提供者模块_A105处理的加工数据，从而大数据业务提供者模块_B 104能够和大数据业务提供者模块_A 105互连从而开展联合数据分析工作；
步骤502：大数据业务提供者模块_A 105接收来自大数据业务提供者模块_B 104的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；
如果检索到与互连请求信息匹配的数据，则大数据业务提供者模块_A 105通过互连响应(Resp)消息将所匹配数据(包括加工数据和加工元数据)发送给大数据业务提供者模块_B 104；如果未检索到匹配数据，则大数据业务提供者模块_A 105通过互连响应(Resp)消息将互连请求失败信息发送给大数据业务提供者模块_B 104；
步骤503：大数据业务提供者模块_B 104接收并存储或缓存来自于大数据业务提供者模块_A 105的加工数据以及加工元数据，并对所述加工数据进一步处理以得到更新的加工数据和更新的加工元数据；大数据业务提供者模块_B 104在接收并处理完加工数据后，发送互连确认(Ack)消息给大数据业务提供者模块_A 105，结束该次互连交换。或者，大数据业务提供者模块_B 104接收来自大数据业务提供者模块_A 105的包含互连请求失败消息的Resp消息后，发送互连确认(Ack)消息给大数据业务提供者模块_A 105，结束该次互连交换。
(3)业务
如图4所示，大数据目标单元102与大数据源单元101之间通过消费接口交换加工数据和加工元数据的流程，可以包括如下步骤：
步骤601：大数据目标单元102中的大数据业务消费者模块106发送业务请求(Req)消息给大数据源单元101的大数据业务提供者模块_A 105，以从大数据业务提供者模块_A 105处获取经过大数据业务提供者模块_A105处理的加工数据，以便大数据业务消费者模块106能够使用大数据业务提供者模块_A 105所提供的数据分析结果；
步骤602：大数据业务提供者模块_A 105接收来自大数据业务消费者模块106的业务请求，并根据所述业务请求携带的业务请求信息检索本地加工数据；
如果检索到与业务请求信息匹配的数据，则大数据业务提供者模块_A105通过业务响应(Resp)消息将所匹配数据(包括加工数据和加工元数据)发送给大数据业务消费者模块106；
如果未检索到匹配数据，则大数据业务提供者模块_A 105通过业务响应(Resp)消息将业务请求失败的消息发送给大数据业务消费者模块106；
步骤603：大数据业务消费者模块106接收并存储或缓存来自大数据业务提供者模块_A 105的加工数据以及加工元数据并使用这些数据(如用于商业分析、业务决策等)；大数据业务消费者模块106在接收并处理完所述加工数据以及加工元数据后，发送业务确认(Ack)消息给大数据业务提供者模块_A 105，结束该次业务交换；
或者，大数据业务消费者模块106在接收到来自大数据业务提供者模块_A 105的业务请求失败的消息后，发送业务确认(Ack)消息给大数据业务提供者模块_A 105，结束该次业务交换。
需要说明的是，如图4所示的(3')所示，在大数据目标单元102内部也进行上述数据消费流程的处理，实现过程与上述流程基本相同，唯一的不同是执行的主体是大数据目标单元102中的模块，不再赘述。
本发明实施例通过大数据直接交换的装置及方法，有效地解决了大数据的孤岛问题、封闭问题，有力地提升了大数据的开放共享和互联互通的可行性。
本申请实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述任一方面所述的大数据交换方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或 其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
虽然本申请所揭露的实施方式如上，但所述的内容仅为便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
工业实用性
本申请实施例提供一种大数据交换方法及装置、系统，有效地解决了大数据的孤岛问题、封闭问题，有力地提升了大数据的开放共享和互联互通的可行性。

Claims (26)

  1. 一种大数据交换方法，包括以下至少之一：
    大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据；
    所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据；
    所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据；
    其中，所述大数据源单元包括以下至少之一：数据提供者模块、第一大数据业务提供者模块；所述大数据目标单元包括以下至少之一：第二大数据业务提供者模块、大数据业务消费者模块；
    所述数据提供者模块配置为提供所述初始数据和初始元数据；所述第一大数据业务提供者模块和所述第二大数据业务提供者模块配置为进行大数据处理得到所述加工数据和加工元数据；所述大数据业务消费者模块配置为使用所述加工数据和加工元数据。
  2. 根据权利要求1所述的方法，其中，所述交换初始数据和初始元数据，包括：所述大数据源单元将数据提供者模块产生的初始数据以及初始元数据提供给大数据目标单元中的第二大数据业务提供者模块；大数据目标单元的第二大数据业务提供者模块接收并存储或缓存所述初始数据以及初始元数据，并对所述初始数据进行大数据处理。
  3. 根据权利要求1所述的方法，其中，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：
    所述数据提供者模块接收来自所述第二大数据业务提供者模块的搜集请求；所述数据提供者模块根据所述搜集请求携带的搜集请求信息检索本地数据；如果检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；如果未检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业 务提供者模块，所述搜集响应消息中携带数据请求失败的信息；所述数据提供者模块接收所述第二大数据业务提供者模块返回的搜集确认消息。
  4. 根据权利要求1所述的方法，其中，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：
    所述第二大数据业务提供者模块向所述数据提供者模块发送搜集请求；
    所述第二大数据业务提供者模块接收并存储或缓存所述数据提供者模块提供的所述初始数据和初始元数据，并对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据；或者，所述第二大数据业务提供者模块接收来自所述数据提供者模块的搜集请求失败信息；
    在接收到所述搜集请求失败信息之后或处理完所述初始数据之后，所述第二大数据业务提供者模块返回搜集确认消息给所述数据提供者模块。
  5. 根据权利要求1所述的方法，其中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：
    所述大数据源单元将经过第一大数据业务提供者模块处理所述初始数据后得到的加工数据以及加工元数据提供给大数据目标单元的第二大数据业务提供者模块；大数据目标单元中的第二大数据业务提供者模块接收并存储或缓存所述加工数据以及加工元数据，并对所述加工数据进行进一步地大数据处理以得到更新的加工数据和更新的加工元数据。
  6. 根据权利要求1所述的方法，其中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：
    所述第一大数据业务提供者模块接收来自所述第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；
    如果检索到与所述互连请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；
    如果未检索到与所述互连请求信息匹配的数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响 应消息携带互连请求失败信息；
    所述第一大数据业务提供者模块接收所述第二大数据业务提供者模块返回的互连确认消息。
  7. 根据权利要求1所述的方法，其中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：
    所述第二大数据业务提供者模块向所述第一大数据业务提供者模块发送互连请求；
    所述第二大数据业务提供者模块接收并存储或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并对所述加工数据和加工元数据进行大数据处理得到更新的加工数据和更新的加工元数据；或者，所述第二大数据业务提供者模块接收来自所述第一大数据业务提供者模块的互连请求失败信息；
    在接收到所述互连请求失败信息之后或处理完所述加工数据之后，所述第二大数据业务提供者模块返回所述互连确认消息给所述第一大数据业务提供者模块。
  8. 根据权利要求1所述的方法，其中，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：
    所述大数据源单元将经过其第一大数据业务提供者模块对初始数据处理后得到的加工数据提供给所述大数据目标单元的大数据业务消费者模块使用。
  9. 根据权利要求1所述的方法，其中，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：
    所述第一大数据业务提供者模块接收来自所述大数据业务消费者模块的业务请求，根据所述业务请求携带的业务请求信息检索本地加工数据；
    如果检索到与所述业务请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息中携带与所述业务请求信息匹配的加工数据和加工元数据；
    如果未检索到与所述业务请求信息匹配的数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述业务响应消 息携带业务请求失败信息；
    所述第一大数据业务提供者模块接收所述大数据业务消费者模块返回的业务确认消息。
  10. 根据权利要求1所述的方法，其中，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：
    所述大数据业务消费者模块向所述第一大数据业务提供者模块发送业务请求；
    所述大数据业务消费者模块接收并存储或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并使用所述加工数据和加工元数据；或者，所述大数据业务消费者模块接收来自所述第一大数据业务提供者模块的业务请求失败信息；
    在接收到所述业务请求失败信息之后或接收所述加工数据和加工元数据之后，所述大数据业务消费者模块返回所述业务确认消息给所述第一大数据业务提供者模块。
  11. 根据权利要求1至10任一项所述的方法，其中，所述大数据处理包括：数据搜集、数据准备、数据分析和数据可视化中至少一项。
  12. 一种大数据交换方法，包括：
    大数据源单元接收大数据目标单元发送的数据交换请求；
    所述大数据源单元根据所述数据交换请求检索本地数据；
    在检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带与所述数据交换请求相匹配的数据；在未检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带交换请求失败的信息；
    所述大数据源单元接收所述大数据目标单元返回的确认消息。
  13. 根据权利要求12所述的方法，其中，
    所述数据交换请求为携带搜集请求信息的搜集请求；所述相匹配的数据为与所述搜集请求信息相匹配的初始数据和初始元数据；所述响应消息为搜 集响应消息，所述搜集响应消息携带所述初始数据和初始元数据或者携带搜集请求失败信息；所述确认消息为搜集确认消息；或，
    所述数据交换请求为携带互连请求信息的互连请求；所述相匹配的数据为与所述互连请求信息相匹配的加工数据和加工元数据；所述响应消息为互连响应消息，所述互连响应消息携带所述加工数据和加工元数据或者携带互连请求失败信息；所述确认消息为互连确认消息；或，
    所述数据交换请求为携带业务请求信息的业务请求；所述相匹配的数据为与所述业务请求信息相匹配的加工数据和加工元数据；所述响应消息为业务响应消息，所述业务响应消息携带所述加工数据和加工元数据或者携带业务请求失败信息；所述确认消息为业务确认消息。
  14. 一种大数据交换方法，包括：
    大数据目标单元发送数据交换请求给所述大数据源单元；
    所述大数据目标单元接收所述大数据源单元返回的响应消息；
    如果所述响应消息包含与所述数据交换请求匹配的数据，则存储或缓存所述数据，并对所述数据进行大数据处理或使用所述数据，在处理或使用所述数据之后，向所述大数据源单元返回确认消息；
    如果所述响应消息携带交换请求失败的信息，则直接返回确认消息给所述大数据源单元。
  15. 根据权利要求14所述的方法，其中，
    所述数据交换请求为携带搜集请求信息的搜集请求；所述相匹配的数据为与所述搜集请求信息相匹配的初始数据和初始元数据；所述响应消息为搜集响应消息，所述搜集响应消息携带所述初始数据和初始元数据或者携带搜集请求失败信息；所述确认消息为搜集确认消息；或，
    所述数据交换请求为携带互连请求信息的互连请求；所述相匹配的数据为与所述互连请求信息相匹配的加工数据和加工元数据；所述响应消息为互连响应消息，所述互连响应消息携带所述加工数据和加工元数据或者携带互连请求失败信息；所述确认消息为互连确认消息；或，
    所述数据交换请求为携带业务请求信息的业务请求；所述相匹配的数据 为与所述业务请求信息相匹配的加工数据和加工元数据；所述响应消息为业务响应消息，所述业务响应消息携带所述加工数据和加工元数据或者携带业务请求失败信息；所述确认消息为业务确认消息。
  16. 一种大数据交换装置，包括：大数据源单元；
    所述大数据源单元，包括以下至少之一：数据提供者模块、第一大数据业务提供者模块；所述数据提供者模块配置为提供初始数据和初始元数据；所述第一大数据业务提供者模块配置为对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据。
  17. 根据权利要求16所述的装置，其中，所述数据提供者模块，还配置为：
    接收来自大数据目标单元的第二大数据业务提供者模块的搜集请求；
    根据所述搜集请求携带的搜集请求信息检索本地数据；
    如果检索到与所述搜集请求信息匹配的本地数据，发送搜集响应消息给所述第二大数据业务提供者模块，其中，所述搜集响应消息中携带搜索到的初始数据和初始元数据；
    如果未检索到与所述搜集请求信息匹配的本地数据，发送搜集响应消息给所述第二大数据业务提供者模块，其中，所述搜集响应消息中携带数据请求失败的信息；
    接收所述第二大数据业务提供者模块返回的搜集确认消息。
  18. 根据权利要求16所述的装置，其中，所述第一大数据业务提供者模块，还配置为：
    接收来自大数据目标单元的第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；
    如果检索到与所述互连请求信息匹配的加工数据和加工元数据，发送互连响应消息给所述第二大数据业务提供者模块，其中，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；
    如果未检索到与所述互连请求信息匹配的数据，发送互连响应消息给所述第二大数据业务提供者模块，其中，所述互连响应消息携带互连请求失败 信息；
    接收所述第二大数据业务提供者模块返回的互连确认消息。
  19. 根据权利要求16或17所述的装置，其中，所述第一大数据业务提供者模块，还配置为：
    接收来自大数据目标单元的大数据业务消费者模块的业务请求，根据所述业务请求携带的业务请求信息检索本地加工数据；
    如果检索到与所述业务请求信息匹配的加工数据和加工元数据，发送业务响应消息给所述大数据业务消费者模块，其中，所述业务响应消息中携带与所述业务请求信息匹配的加工数据和加工元数据；
    如果未检索到与所述业务请求信息匹配的数据，发送业务响应消息给所述大数据业务消费者模块，其中，所述业务响应消息携带业务请求失败信息；
    接收所述大数据业务消费者模块返回的业务确认消息。
  20. 一种大数据交换装置，包括：大数据目标单元；
    所述大数据目标单元，包括以下至少之一：第二大数据业务提供者模块、大数据业务消费者模块；所述第二大数据业务提供者模块配置为进行大数据处理得到加工数据和加工元数据或得到更新的加工数据和加工元数据；所述大数据业务消费者模块配置为使用所述加工数据和加工元数据。
  21. 根据权利要求20所述的装置，其中，所述第二大数据业务提供者模块，还配置为：
    向大数据源单元的数据提供者模块发送搜集请求；
    接收并存储或缓存所述数据提供者模块提供的所述初始数据和初始元数据，并对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据；或者，接收来自所述数据提供者模块的搜集请求失败信息；
    在接收到所述搜集请求失败信息之后或处理完所述初始数据之后，返回搜集确认消息给所述数据提供者模块。
  22. 根据权利要求20或21所述的装置，其中，所述第二大数据业务提供者模块，还配置为：
    向大数据源单元的第一大数据业务提供者模块发送互连请求；
    接收并存储或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并对所述加工数据和加工元数据进行大数据处理得到更新的加工数据和更新的加工元数据；或者，接收来自所述第一大数据业务提供者模块的互连请求失败信息；
    在接收到所述互连请求失败信息之后或处理完所述加工数据之后，返回所述互连确认消息给所述第一大数据业务提供者模块。
  23. 根据权利要求20所述的装置，其中，所述大数据业务消费者模块，还配置为：
    向大数据源单元的第一大数据业务提供者模块发送业务请求；
    接收并存储或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并使用所述加工数据和加工元数据；或者，接收来自所述第一大数据业务提供者模块的业务请求失败信息；
    在接收到所述业务请求失败信息之后或接收所述加工数据和加工元数据之后，返回所述业务确认消息给所述第一大数据业务提供者模块。
  24. 一种大数据交换系统，包括：大数据源单元和大数据目标单元；其中，所述大数据源单元和大数据目标单元之间满足以下至少一项：
    所述大数据源单元与大数据目标单元通过搜集接口通信，所述搜集接口用于交换初始数据和初始元数据；
    所述大数据源单元与所述大数据目标单元通过互连接口通信，所述互连接口用于交换加工数据和加工元数据；
    所述大数据源单元与所述大数据目标单元通过消费接口通信，所述消费接口用于交换加工数据和加工元数据。
  25. 根据权利要求24所述的系统，其中，所述大数据源单元为权利要求16至19任一项所述的大数据源单元。
  26. 根据权利要求24所述的系统，其中，所述大数据目标单元为权利要求20至23任一项所述的大数据目标单元。
PCT/CN2017/079451 2016-04-05 2017-04-05 一种大数据交换方法及装置、系统 WO2017173978A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610207569.4 2016-04-05
CN201610207569.4A CN107291764A (zh) 2016-04-05 2016-04-05 一种大数据交换方法及装置、系统

Publications (1)

Publication Number Publication Date
WO2017173978A1 true WO2017173978A1 (zh) 2017-10-12

Family

ID=60000863

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/079451 WO2017173978A1 (zh) 2016-04-05 2017-04-05 一种大数据交换方法及装置、系统

Country Status (2)

Country Link
CN (1) CN107291764A (zh)
WO (1) WO2017173978A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143332A (zh) * 2019-12-31 2020-05-12 中电科华云信息技术有限公司 一种数据交换系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726580B (zh) * 2017-10-31 2020-04-14 阿里巴巴集团控股有限公司 一种数据统计方法和装置
CN109726363B (zh) * 2017-10-31 2020-05-29 阿里巴巴集团控股有限公司 一种数据统计方法和装置
CN110519185A (zh) * 2019-08-28 2019-11-29 福建威盾科技集团有限公司 一种新型跨网络数据交换的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102594889A (zh) * 2012-02-17 2012-07-18 广东电网公司电力科学研究院 一种基于数据召测的数据同步与分析系统
CN102629276A (zh) * 2012-03-21 2012-08-08 上海市电力公司 一种项目费用数据的标准化信息处理方法
CN103150362A (zh) * 2013-02-28 2013-06-12 北京奇虎科技有限公司 一种视频搜索方法及系统
CN105023086A (zh) * 2015-01-07 2015-11-04 泰华智慧产业集团股份有限公司 一种基于云计算的数字城市管理数据共享系统
US20160070795A1 (en) * 2014-05-21 2016-03-10 Knowlege Synthesis Systems and method for searching and analyzing big data
CN105430055A (zh) * 2015-11-02 2016-03-23 武大吉奥信息技术有限公司 基于分布式及多层次汇交的大数据交换系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1921857A1 (fr) * 2006-11-09 2008-05-14 SmarDTV S.A. Module de contrôle d'accès et de décryption pour unité hôte
CN101835215B (zh) * 2009-03-12 2014-03-05 中兴通讯股份有限公司 一种实时业务域内切换方法、系统及装置
CN104468564B (zh) * 2014-12-03 2018-01-02 广东中安合创人防科技有限公司 一种人防信息交换平台及其交换方法
CN104836756A (zh) * 2015-04-09 2015-08-12 成都卡莱博尔信息技术有限公司 一种被动式主数据交换方法
CN105279280A (zh) * 2015-11-16 2016-01-27 天津南大通用数据技术股份有限公司 快速迁移Oracle数据到MPP数据库的方法及工具

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102594889A (zh) * 2012-02-17 2012-07-18 广东电网公司电力科学研究院 一种基于数据召测的数据同步与分析系统
CN102629276A (zh) * 2012-03-21 2012-08-08 上海市电力公司 一种项目费用数据的标准化信息处理方法
CN103150362A (zh) * 2013-02-28 2013-06-12 北京奇虎科技有限公司 一种视频搜索方法及系统
US20160070795A1 (en) * 2014-05-21 2016-03-10 Knowlege Synthesis Systems and method for searching and analyzing big data
CN105023086A (zh) * 2015-01-07 2015-11-04 泰华智慧产业集团股份有限公司 一种基于云计算的数字城市管理数据共享系统
CN105430055A (zh) * 2015-11-02 2016-03-23 武大吉奥信息技术有限公司 基于分布式及多层次汇交的大数据交换系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143332A (zh) * 2019-12-31 2020-05-12 中电科华云信息技术有限公司 一种数据交换系统
CN111143332B (zh) * 2019-12-31 2024-02-23 中电科华云信息技术有限公司 一种数据交换系统

Also Published As

Publication number Publication date
CN107291764A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
US10706062B2 (en) Method and system for exchanging data from a big data source to a big data target corresponding to components of the big data source
WO2017173978A1 (zh) 一种大数据交换方法及装置、系统
US9471436B2 (en) Use of incremental checkpoints to restore user data stream processes
US9928251B2 (en) System and method for distributed categorization
CN113254466B (zh) 一种数据处理方法、装置、电子设备和存储介质
US10043220B2 (en) Method, device and storage medium for data processing
US20140280070A1 (en) System and method for providing technology assisted data review with optimizing features
CN106649676B (zh) 一种基于hdfs存储文件的去重方法及装置
BR112021014089A2 (pt) Detecção de evento em tempo real em transmissões de dados sociais
CN110753127A (zh) 基于Kong的API网关实现请求参数转换的方法
CN106850258A (zh) 一种日志管理系统、方法及装置
CN106250444A (zh) 一种异构数据源的实时入库系统及方法
CN111309550A (zh) 应用程序的数据采集方法、系统、设备和存储介质
CN113127307A (zh) 溯源请求的处理方法、相关装置、系统及存储介质
CN110851473A (zh) 一种数据处理方法、装置和系统
CN113505265A (zh) 数据的查询方法、装置及电子设备、存储介质、程序产品
CN104765951A (zh) 多媒体医学记录组件及其数据访问方法
WO2022121851A1 (zh) 区块链数据请求处理方法、装置、服务器及存储介质
CN109710223B (zh) 基于分布式kv存储系统的api网关热插拔系统
CN109471957B (zh) 一种基于统一标签的元数据转换方法及装置
WO2021114634A1 (zh) 文本标注方法、设备及存储介质
US11308133B2 (en) Entity matching using visual information
WO2021097713A1 (zh) 分布式安全检测系统、方法、设备及存储介质
US20230237822A1 (en) System and method for generating best potential rectified data based on past recordings of data
Ma et al. DTL reconciliation repair

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17778642

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17778642

Country of ref document: EP

Kind code of ref document: A1