WO2019061346A1 - 资源整合处理方法、装置和存储介质 - Google Patents

资源整合处理方法、装置和存储介质 Download PDF

Info

Publication number
WO2019061346A1
WO2019061346A1 PCT/CN2017/104567 CN2017104567W WO2019061346A1 WO 2019061346 A1 WO2019061346 A1 WO 2019061346A1 CN 2017104567 W CN2017104567 W CN 2017104567W WO 2019061346 A1 WO2019061346 A1 WO 2019061346A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
module
user
network communication
channel
Prior art date
Application number
PCT/CN2017/104567
Other languages
English (en)
French (fr)
Inventor
于禾
袁勇
王琪
张明
Original Assignee
西门子公司
于禾
袁勇
王琪
张明
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 西门子公司, 于禾, 袁勇, 王琪, 张明 filed Critical 西门子公司
Priority to PCT/CN2017/104567 priority Critical patent/WO2019061346A1/zh
Publication of WO2019061346A1 publication Critical patent/WO2019061346A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications

Abstract

一种资源整合处理方法、装置及存储介质。其中，方法包括：对访问不同数据源数据的网络通信通道中所涉及的各个通信节点进行模块化处理，得到复数个具有输入输出端口以及参数配置接口的网络通信模块（101a）；将所述复数个网络通信模块呈现给用户（102a）；接收所述用户根据自身所要访问的至少一个目标数据源对所需网络通信模块进行选择、拼接和参数配置的第一操作（103a）；根据所述第一操作对所述用户选择的网络通信模块的输入输出端口进行适配连接，生成用于访问所述至少一个目标数据源的目标网络通信通道（104a）。该方法能够提高不同云平台的数据整合处理效率，从而提高企业的数据管理效率。

Description

资源整合处理方法、装置和存储介质 技术领域
本发明涉及通信技术领域，特别是一种资源整合处理方法、装置和存储介质。
背景技术
目前，随着虚拟技术和云平台的发展，越来越多的企业需要不断地查看云端数据以及在云平台或虚拟网盘上进行数据存储。此外，终端用户也越来越趋向于在云上进行大量的便捷应用，这就使得企业要改变传统的本地服务的模式。于是出现了各式各样的云服务来满足不同的商业需求，如私有云、公共云和混合云等的商业需求。
例如，以一个大型零售企业为例，其生产制造基地可能比较关注设备综合效率(OEE，Overall Equipment Effectiveness)，因此会产生较多的OEE数据，且产品出厂前还会有系统记录实际的出货量，这些数据需要存储在第一系统上；其各个网络销售平台则会产生很多订单，并需要上传这些订单给服务器备货，即订单存储在第二系统上；而服务器处理完订单之后，可能会把订单信息保存在一云平台上，即第三系统上。上述各个系统看似都在有条不紊的运行。但有时例如月末或年底可能会需要对不同系统中的数据进行汇总梳理。由于目前几乎每个云平台通常只关注自身的垂直业务处理，而不同云平台之间的水平连接还是个瓶颈，因此很难将三个系统中的数据库进行横向串联或联合处理，此时的数据导出和重新汇总将产生较大工作量。
发明内容
有鉴于此，本发明实施例中一方面提出了一种资源整合处理方法，另一方面提出了一种资源整合处理装置及计算机可读存储介质，用以提高不同云平台的数据整合处理效率，从而提高企业的数据管理效率。
本发明实施例中提供的资源整合处理方法，包括：
对访问不同数据源数据的网络通信通道中所涉及的各个通信节点进行模块化处理，得到复数个具有输入输出端口以及参数配置接口的网络通信模块；
将所述复数个网络通信模块呈现给用户；
接收所述用户根据自身所要访问的至少一个目标数据源对所需网络通信模块进行选 择、拼接和参数配置的第一操作；
根据所述第一操作对所述用户选择的网络通信模块的输入输出端口进行适配连接，生成用于访问所述至少一个目标数据源的目标网络通信通道。
在一个实施方式中，所述网络通信模块包括下列中的任一种或任意组合：网关、用于连接虚拟空间的模块、用于连接服务器的模块及用于连接数据库的模块。
在一个实施方式中，该方法进一步包括：对数据传输所涉及的传输方式进行模块化处理，得到复数个包括参数配置接口的数据传输模块；
将所述复数个数据传输模块呈现给所述用户；
接收所述用户对所需类型的数据传输模块进行选择和参数配置的第二操作，根据所述第二操作配置数据传输通道，通过所述数据传输通道获取所述至少一个目标数据源的数据。
在一个实施方式中，所述数据传输模块包括下列中的任一种或任意组合：文件传输通信模块、消息通信模块、组传输模块和块传输模块。
在一个实施方式中，所述数据传输模块进一步包括：信息过滤模块；
该方法进一步包括：接收所述用户对所述信息过滤模块配置的过滤参数；
所述通过数据传输通道获取所述至少一个目标数据源的数据为：通过所述数据传输通道获取所述至少一个目标数据源中满足所述过滤参数对应的过滤条件的数据。
在一个实施方式中，该方法进一步包括：对数据存储所涉及的存储模式、数据库连接引擎进行模块化处理，得到复数个包括参数配置接口的数据存储配置模块；
将所述复数个数据存储配置模块呈现给所述用户；
接收所述用户对所需数据存储配置模块进行选择和参数配置的第三操作，根据所述第三操作配置数据存储通道，将通过所述数据传输通道获取的所述至少一个目标数据源的数据按照所述数据存储通道进行存储。
在一个实施方式中，所述将通过所述数据传输通道获取的所述至少一个目标数据源的数据按照所述数据存储通道进行存储包括：
根据所述数据存储通道计算出一缓存空间，将通过所述数据传输通道获取的所述至少一个目标数据源的数据按照对应的存储模式缓存在所述缓存空间中，并将缓存的数据呈现给所述用户；
接收所述用户对需要正式存储的数据进行选择的第四操作，根据所述第四操作，将 所述用户选择的数据存储到所述数据存储通道对应的存储空间中。
在一个实施方式中，所述数据存储配置模块包括下列中的任一种或任意组合：关系型存储配置模块、关键字-值存储配置模块、表存储配置模块、标准库存储配置模块和数据库引擎连接模块。
本发明实施例中提供的资源整合处理装置，包括：
模块池，其包括对访问不同数据源数据的网络通信通道中所涉及的各个通信节点进行模块化处理后得到的复数个具有输入输出端口以及参数配置接口的网络通信模块；
人机交互模块，能够将所述模块池中的网络通信模块呈现给用户，并接收所述用户根据自身所要访问的至少一个目标数据源对所需网络通信模块进行选择、拼接和参数配置的第一操作；和
模型构建模块，能够根据所述第一操作对所述用户选择的网络通信模块的输入输出端口进行适配连接，生成用于访问所述至少一个目标数据源的目标网络通信通道。
在一个实施方式中，所述模块池进一步包括：对数据传输所涉及的传输方式进行模块化处理后得到的复数个包括参数配置接口的数据传输模块；
所述人机交互模块进一步将所述模块池中的所述复数个数据传输模块呈现给所述用户；接收所述用户对所需类型的数据传输模块进行选择和参数配置的第二操作；
所述模型构建模块进一步根据所述第二操作配置数据传输通道；
所述装置进一步包括：执行模块，用于通过所述数据传输通道获取所述至少一个目标数据源的数据。
在一个实施方式中，所述模块池一步包括对数据存储所涉及的存储模式、数据库连接引擎进行模块化处理后得到的复数个包括参数配置接口的数据存储配置模块；
所述人机交互模块进一步将所述模块池中的所述复数个数据存储配置模块呈现给所述用户；接收所述用户对所需数据存储配置模块进行选择和参数配置的第三操作；
所述模型构建模块进一步根据所述第三操作配置数据存储通道；
所述执行模块进一步将通过所述数据传输通道获取的所述至少一个目标数据源的数据按照所述数据存储通道进行存储。
在一个实施方式中，所述执行模块根据所述数据存储通道计算出一缓存空间，将通过所述数据传输通道获取的所述至少一个目标数据源的数据按照对应的存储模式缓存在所述缓存空间中，并将缓存的数据呈现给所述用户；接收所述用户对需要正式存储的数 据进行选择的第四操作，根据所述第四操作，将所述用户选择的数据存储到所述数据存储通道对应的存储空间中。
本发明实施例中提供的资源整合处理装置，包括：至少一个存储器、至少一个处理器和至少一个端口，其中：
所述至少一个存储器用于存储计算机程序；
所述至少一个端口用于发送和接收数据；
所述至少一个处理器用于调用所述至少一个存储器中存储的计算机程序，以基于所述至少一个端口发送和接收数据的功能执行上述的资源整合处理方法。
本发明实施例中提供的一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序能够被一处理器执行并实现上述的资源整合处理方法。
从上述方案中可以看出，由于本发明实施例中基于代理的概念，对访问不同类型不同系统不同位置的数据源的网络通信通道中所涉及的各个通信节点进行模块化处理，得到多个具有输入输出端口以及参数配置接口的网络通信模块，使得用户可以根据自身要访问的至少一个数据源对所需的网络通信模块进行简单地选择、连接及参数配置，之后由系统根据用户的操作对用户选择的网络通信模块的输入输出端口进行适配连接，自动生成用于访问所述至少一个目标数据源的目标网络通信通道。该过程不需要用户掌握较多的软件及网络知识，便可帮助用户方便地建立到各数据源的网络通信通道，提高了不同云平台的数据整合处理效率，进而提高了企业的数据管理效率。
进一步地，本发明实施例中还对数据传输所涉及的传输方式进行模块化处理，得到多个包括参数配置接口的数据传输模块，使得用户可以根据目标数据源对应的数据传输需求进行选择及参数配置，之后由系统根据用户的操作对数据传输通道进行配置，进而可通过该数据传输通道获取用户所要整合的至少一个目标数据源的数据。该过程同样不需要用户掌握较多的软件及网络知识，便可帮助用户方便地实现数据的传输，进一步提高了不同云平台的数据整合处理效率，进而提高了企业的数据管理效率。
此外，该数据传输还可以预先提供用户对过滤条件的配置，从而可仅获取目标数据源中满足过滤条件的数据，方便了用户对数据的管理。
进一步地，本发明实施例中还对数据存储所涉及的存储模式及数据库连接引擎进行模块化处理，得到复数个包括参数配置接口的数据存储配置模块，使得用户可以根据存储需求进行简单的选择及参数配置，便可帮助用户实现数据存储通道的配置。该过程同样不需要用户掌握较多的软件及网络知识，便可帮助用户方便地实现数据的存储，进一 步提高了不同云平台的数据整合处理效率，进而提高了企业的数据管理效率。
此外，本发明实施例中还通过设置缓存和预览的功能，帮助用户预先查看及挑选所要整合的数据，从而提高了数据存储的有效性。
附图说明
下面将通过参照附图详细描述本发明的优选实施例，使本领域的普通技术人员更清楚本发明的上述及其它特征和优点，附图中：
图1A至图1C为本发明实施例中一种资源整合处理方法的示例性流程图。其中，图1A为其中的网络通信通道的建立流程图；图1B为其中的数据传输通道的建立流程图；图1C为其中的数据存储的流程示意图。
图2A至图2C为本发明一个例子中的一种数据整合方法的一个界面图。
图3为本发明所述例子中的连接器模型的结构示意图。
图4为本发明实施例中的一种资源整合处理装置的示例性结构图。
图5为本发明实施例中又一种资源整合处理装置的示例性结构图。
其中，附图标记如下：
Figure PCTCN2017104567-appb-000001
Figure PCTCN2017104567-appb-000002
具体实施方式
本发明实施例中，为了对用户想要收集的分散的数据源，如现场数据以及云平台数据或虚拟网盘上存储的数据等虚拟空间资源数据等进行整合处理，减少用户的工作量和操作复杂度，考虑提供一种代理方法，首先是提供网络通信通道的建立代理，即帮助用户建立连接到数据源的网络通信通道。进一步地，还可提供数据传输通道的建立代理，即在建立所述网络通信通道之后，进一步帮助用户建立数据传输的通道。最后，还可进一步提供数据存储的代理，即帮助用户建立数据存储通道，从而提供一种方便用户实现存储的简单有效的方案。
为使本发明的目的、技术方案和优点更加清楚，以下举实施例对本发明进一步详细说明。
图1A至图1C为本发明实施例中一种资源整合处理方法的示例性流程图。其中，图1A为其中的网络通信通道的建立流程图；图1B为其中的数据传输通道的建立流程图；图1C为其中的数据存储的流程示意图。
如图1A所示，本发明实施例中的资源整合处理方法中的网络通信通道建立方法可包括如下步骤：
步骤101a，对访问不同数据源的网络通信通道中所涉及的各个通信节点进行模块化处理，得到复数个具有输入/输出端口以及参数配置接口的网络通信模块。
本步骤中，不同数据源可以为不同类型或不同系统或不同位置中的数据源，例如可以包括现场数据，存储在云平台上的数据，以及存储在服务器的虚拟网盘上的数据等。其中，存储在虚拟云平台或虚拟网盘上的数据也可以称为虚拟空间资源数据。又如其类型可以是数据库数据，也可以是消息队列等。
其中，现场数据可以为真实场景中的数据，如现场的制造数据、产品数据、测试数据以及采集数据等。虚拟空间资源数据可以为非实物的资产数据、虚拟网关数据、云平台上的虚拟空间数据(包括业务数据、应用等)、服务器及数据库的数据、以及各种网络平台数据等。
网络传输通道中所涉及的各个通信节点可包括各种网关例如网关设备或虚拟网关、 云平台虚拟空间、服务器、数据库等。相应地，得到的网络通信模块可包括：网关、用于连接虚拟空间的模块、用于连接服务器的模块及用于连接数据库的模块等的任意组合或任一种。
每个网络通信模块可具有一个或多个输入/输出端口，以实现相互之间的连接。此外，每个网络通信模块还可具有相应的参数配置接口，供用户输入对应的参数配置。例如，对于物联网中常用的网关，其参数配置可包括：IP地址、服务器名称等。又如，对于某个数据库，其参数配置可包括：数据库名称、用户名和密码等。
步骤102a，将所述复数个网络通信模块呈现给用户。
本步骤中，可按照各网络通信模块对应的通信节点类型分类呈现。
步骤103a，接收所述用户根据自身所要访问的至少一个目标数据源对所需网络通信模块进行选择、拼接和参数配置的第一操作。
本步骤中，目标数据源可以是用户期望整合并上传至指定位置的数据源，用户通过进行第一操作便实现了目标数据源的设置。此外，用户对所需网络通信模块的选择和拼接操作，可具体有多种实现形式，例如可以是通过简单的拖拽生成图形连接图，或者也可以是通过点选之后加入到连接队列中。参数配置操作则可以是在用户选择对应的网络通信模块后弹出一供用户输入相应参数的对话框。
步骤104a，根据所述第一操作对所述用户选择的网络通信模块的输入输出端口进行适配连接，生成用于访问所述至少一个目标数据源的目标网络通信通道。
本步骤中，可根据用户选择的网络通信模块的类型、相互之间的连接关系、以及相应的参数配置，对各网络通信模块的输入输出端口进行适配连接，包括协议适配、接口函数适配等。例如，若用户选择了对应网关的网络通信模块，则本步骤中可根据用户输入的IP地址和服务器名称等信息，提供超文本传输协议(HyperText Transfer Protocol，HTTP)和TCP/IP网络的应用程序编程接口(Application Programming Interface，API)Socket去适配该网关的连接。又如，若用户选择了用于连接数据库的网络通信模块，则本步骤中可根据用户输入的数据库名称、用户名和密码，调用接口函数，如Java数据库连接(Java DataBase Connectivity，JDBC)或者开放数据库连接(Open DataBase Connectivity，ODBC)去适配该数据库的连接。
这样连接所述用户要访问的至少一个目标数据源，如现场数据和/或虚拟空间资源数据的目标网络通信通道便可以建立成功。
通过执行上述流程便可方便地实现一条本地通往一数据源的网络通信通道的建立， 并且该过程中用户无需具备网络通信通道中的过多软件知识，而只需要简单配置一些名称、地址之类的参数即可。
上述流程中，步骤101a可仅执行一次，在之后的使用过程中，直接执行步骤102a～步骤104a即可。
本发明实施例中除了可提供上述网络通信通道的代理建立之外，还可进一步提供数据传输通道的代理建立。如图1B所示，本发明实施例中的资源整合处理方法中的数据传输通道建立方法可包括如下步骤：
步骤101b，对数据传输所涉及的传输方式进行模块化处理，得到复数个包括参数配置接口的数据传输模块。
本实施例中的数据传输方式可包括文件传输方式、消息传输方式、组传输方式和块传输方式等。相应地，数据传输模块可包括文件传输通信模块、消息通信模块、组传输模块和块传输模块等的任意组合或任一种。消息传输方式的参数例如可以为简单的IP地址，端口等信息。
进一步地，为了提供对所传输数据的过滤和选择，本步骤中还可以进一步包括一信息过滤模块，其可配置参数可包括关键词、数据变量名称、数据语义标签等。
步骤102b，将所述复数个数据传输模块呈现给所述用户。
本步骤中，可按照各数据传输模块对应的传输方式分类呈现。
步骤103b，接收所述用户对所需类型的数据传输模块进行选择和参数配置的第二操作。
本步骤中，用户对所需数据传输模块的选择操作，可具体有多种实现形式，例如可以是通过简单的拖拽生成图形图，或者也可以是通过点选之后加入到设定队列中。参数配置操作则可以是在用户选择对应的数据传输模块后弹出一供用户输入相应参数的对话框。例如，
进一步地，若步骤101b中包括所述信息过滤模块，则本步骤中可进一步接收所述用户对所述信息过滤模块配置的过滤参数。
步骤104b，根据所述第二操作配置数据传输通道，通过所述数据传输通道获取所述至少一个目标数据源的数据。
本步骤中，可根据用户选择的数据传输模块的类型、以及相应的参数配置，对数据传输通道进行配置。例如，若用户选择了对应文件传输方式的数据传输模块，则本步骤 中可启用文件传输通信通道，采用调用FileStream类的方式接收用户指定的文件属性信息，实现文件传输。又如，若用户选择了对应消息传输方式的数据传输模块，则本步骤中可利用封装好的消息队列遥测传输(Message Queuing Telemetry Transport，MQTT)通信协议，采用Redis接口去完成消息队列通信。再如，若用户选择了对应组传输或块传输的数据传输模块，则本步骤中可根据网络带宽的需求，规划传输机制。
在数据传输通道配置好后，便可通过所述数据传输通道获取所述至少一个目标数据源的数据，如现场数据和/或虚拟空间资源数据。若用户通过信息过滤模块配置了过滤参数，则本步骤中，通过数据传输通道获取所述至少一个目标数据源中满足所述过滤参数对应的过滤条件的数据。
通过执行上述流程便可方便地实现数据传输通道的建立，并且该过程中用户无需具备网络通信通道中的过多软件知识，而只需要简单配置一些名称、过滤条件之类的参数即可。
上述流程中，步骤101b可仅执行一次，在之后的使用过程中，直接执行步骤102b～步骤104b即可。
本发明实施例中除了可提供上述网络通信通道和数据传输通道的代理建立之外，还可进一步提供数据存储的代理实现。如图1C所示，本发明实施例中的资源整合处理方法中的数据存储方法可包括如下步骤：
步骤101c，对数据存储所涉及的存储模式和数据库连接引擎进行模块化处理，得到复数个数据存储配置模块。
本实施例中的数据存储模式可包括关系型存储模式、关键字-值(key-value)存储模式、表存储模式、标准库存储模式等。相应地，数据存储配置模块可包括关系型存储配置模块、关键字-值存储配置模块、表存储配置模块、标准库存储配置模块和数据库连接引擎配置模块等的任意组合或任一种。
步骤102c，将所述复数个数据存储配置模块呈现给所述用户。
本步骤中，可按照各数据存储配置模块对应的存储模式或类型呈现。
步骤103c，接收所述用户对所需数据存储配置模块进行选择和参数配置的第三操作。
本步骤中，用户对所需数据存储配置模块的选择操作，可具体有多种实现形式，例如可以是通过简单的拖拽生成图形图，或者也可以是通过点选之后加入到设定队列中。
其中，对于数据库连接引擎配置模块的参数配置可包括：目标存储空间例如目标数 据库的名称、类型、用户名及密码等。对于对应不同存储模式的数据存储配置模块其参数配置则可包括：目标数据库名称、端口、用户名、密码等。
步骤104c，根据所述第三操作配置数据存储通道，将通过所述数据传输通道获取的所述至少一个目标数据源的数据按照所述数据存储通道进行存储。
本步骤中，数据存储通道用于实现所获取的数据与用户通过第三操作指定的目标存储空间的连接。进行存储时，可根据用户选择的存储模式，将通过所述数据传输通道获取的所述至少一个目标数据源的现场数据和/或虚拟空间资源数据直接存储到用户通过第三操作指定的存储空间，如数据库中。或者，本发明实施例中也可利用缓存技术存取部分数据，帮助用户预先查看数据的存储。之后，再帮助用户选择那些数据是有意义的，需要存储的，然后再将用户筛在真实的存储空间进行不同数据格式的存储。相应地，数据存储通道中还包括缓存操作的配置，则本步骤中可首先根据所述数据存储通道计算出一缓存空间，将通过所述数据传输通道获取的所述至少一个目标数据源的数据缓存在所述缓存空间中，并将缓存的数据呈现给所述用户；之后，接收所述用户对需要正式存储的数据进行选择的第四操作，根据所述第四操作，将所述用户选择的数据存储到所述数据存储通道对应的也即用户通过第三操作指定的存储空间中。例如，若用户选择关系型存储或者key-value的存储池，则本步骤中会调用SQL语句将经过选择的数据以对应的存储模式写入到通过DB connector连接的数据库。
上述流程中，步骤101c可仅执行一次，在之后的使用过程中，直接执行步骤102c～步骤104c即可。
本发明实施例中，若需同时执行图1A至图1C中的方法，则步骤101a、步骤101b和步骤101c可合并为一个步骤，步骤102a、步骤102b和步骤102c可合并为一个步骤，步骤103a、步骤103b和步骤103c可合并为一个步骤，步骤104a、步骤104b和步骤104c可合并为一个步骤。上述步骤中建立的网络通信通道、数据传输通道以及存储过程等共同构成一个连接器(Connector)，在执行上述图1A至图1C中的方法之初，可首先对该连接器进行初始化，例如初始化可包括对该连接器进行命名，选择预连接的数据源的类型是现场数据还是虚拟空间资源数据，选择是否使用安全代理，是否授权给相关用户，是否在出现连接器建立错误时向用户报告，录入该连接器的描述信息等。
下面通过一个例子对采用本发明实施例中的技术方案的一个应用进行举例说明。图2A至图2C为本发明一个例子中的数据整合方法的一个界面图。如图2A至图2C所示，该数据整合方法包括：初始化(Initiate)界面21、连接(Connection)界面22、数据中 心(DataCenter)界面23和监控(Monitor)界面24四个界面选项，图2A示出了初始化界面21选项被选中时的界面，图2B示出了连接建立界面22被选中时的界面，图2C示出了数据中心界面23被选中时的界面。
结合本发明实施例中的图1A至图1C中的数据整合方法，在提供如图2A至图2C所示的界面图之前，首先执行步骤101a、步骤101b和步骤101c。
如图2A所示，在该初始化界21的左侧包括：新连接器(New Connector)210的提示，下面的初始化设置包括：连接器名称(Connector Name)211、连接器类型(ConnectorType)212选择、安全代理的类型(Proxy Type)213选择、授权(Authentication)214选择、是否记录检测日志215(Audit Logs)、描述信息(Description)216。此外，在该初始化界面的右侧还可显示对左侧信息的解释。如界面中示出了对连接器名称211的解释，即：连接器名称将作为连接器监控的唯一标识218。
如图2B所示，在该连接界面22的左侧包括：连接器模型(Connector Model)220的提示，下面的列表中包括对各种通信节点、传输方式、存储模式等模块化处理后的各种模块。例如，左侧的列表中由上至下分别为：网络通信模块211提示及其所包括的虚拟网关(Visual Gateway)2111、软件类数据中心(Software DBCenter)2112、虚拟云(Virtual Cloud)2113、虚拟站点(Virtual Station)2114等网络通信模块；数据传输模块212提示及其所包括的文件流(File Stream)2121、MQ队列(MQ Queue)2122、组传输(Group Channel)2123、块传输(Chuck Channel)2124和信息过滤(Node Filter)2125等数据传输模块；数据存储(Store)213提示及其所包括的数据库连接引擎(DB Connector)2131、标准库存储模块存储池(Pool)2132和MTU2133、表存储模块(Table)2134、关键字-值存储模块矩阵(Metrics)2135。
结合本发明实施例中的图1A至图1C中的数据整合方法，在执行步骤102a、步骤102b和步骤102c之后，便可提供如图2A所示的初始化界面和图2B左侧的各个模块。
基于该连接界面22左侧的各种模块，用户可采用拖拽的方式进行操作，如该连接界面22中间的图形化模型即为用户拖拽完成的一个连接器的组成及连接关系图。用户分别选择了虚拟云2213、虚拟网关2211、信息过滤2225、数据库连接引擎2231和云端接口(Cloud Port)224(其对应左侧的网络通信模块虚拟云2213)。此外，该图形化模块的右下方还有一个参数输入界面，即对应数据库连接引擎2231的参数输入界面，参数包括：ODBC选择22311、名称(Name)22312、密码(Password)22313和端口(Port)22314。该参数输入界面上还有一个设置键(Set)22315。
结合本发明实施例中的图1A至图1C中的数据整合方法，用户在图2A和图2B中执行拖拽操作及参数输入操作时，执行步骤103a、步骤103b和步骤103c。
在执行步骤103a、步骤103b和步骤103c之后，后台开始执行步骤104a、步骤104b和步骤104c，首先基于用户在图2B中间通过拖拽操作完成的图形化模型，本发明实施例中可构建类似如图3所示的一个连接器模型。
如图3所示，上面两排的节点分别对应用户在图2A中所输入的初始化操作，第一排：第一个圈311表示当前建立的是一个连接器(Connector)，横向第二个圈312表示通过本申请实施例中的代理模式(Agent)建立，横向第三个圈313表示选择的安全级别(Security)。第二排：第一个圈314表示该连接器的名称(Name)，横向第二个圈315表示该连接器的数据源类型(Type)。
第三排：第一个圈316表示数据源类型为现场数据(OnPremise)，横向第二个圈317表示数据源类型为虚拟空间资源数据(Visual Tunnel)。
第四排：第一个圈318表示现场数据所用的安全代理(Proxy)，横向第二个圈319表示该现场数据采用以太网(HTTP/HTTPS)传输，横向第三个圈320表示对所获取数据(Data)的配置。横向第四个圈321表示虚拟空间资源数据采用文件流(FileStream)的传输方式，横向第五个圈322表示虚拟空间资源数据采用消息队列(MsgQueue)的传输方式，横向第六个圈323表示虚拟空间资源数据采用矩阵(Metric)的传输方式，横向第七个圈324表示虚拟空间资源数据采用组传输(Group Channel)的传输方式，横向第八个圈325表示虚拟空间资源数据采用块传输(Chuck Channel)的传输方式。也就是说第四排横向第四个圈321至第八个圈325表示对虚拟空间资源数据可配置的传输方式。
第五排：横向第一个圈326表示对所获取数据的过滤(Filter)配置，横向第二个圈327表示对所获取数据进行过滤后的存储(Store)配置。
第六排：横向第一个圈328表示过滤配置所涉及的索引词、关键字等参数(Parameter)，横向第二个圈329表示过滤配置所涉及的计算库(Library)，横向第三个圈330表示过滤配置所涉及的数据变量名称(Name)或称数据语义标签，横向第四个圈331表示过滤配置所涉及的缓存(Cache)，即如启用的计算库的计算模块需要一小段数据做识别判断，则需要一段缓存积攒时序数据，利用功能库做计算待达到阈值后再传输。横向第五个圈332表示存储模式，也称存储类型(Type)，横向第六个圈333表示存储所使用的数据库连接引擎(DBConnector)，横向第七个圈334表示缓存所使用的存储容量(Capacity)。
第七排：横向第一个圈335表示数据库连接引擎需要连接的数据库(Library)，横向第二个圈336表示数据库连接引擎需要连接的数据库或数据池的用户名(Name)，横向第三个圈337表示数据库连接引擎需要连接的数据库或数据池的用户密码(Password)，横向第四个圈338表示数据库连接引擎需要连接的数据池(Pool)。
连接器模型建立完成后，基于用户选择的数据源，该连接界面22的右侧呈现出了一个包括该数据源的提示信息225以及该数据源的一些数据信息的数据表。该数据表包括名称(Name)2251、协议(Protocol)2252和地址(Address)2253三列，数据表中的具体信息图中予以省略表示。此外下方还有一个存储组(Save Group)的按键2254。
如图2C所示，该数据中心界面23上显示了连接器数据的提示信息230，以及连接器的名称(Connector Name)211例如MDSP连接器(MDSP_Connetor)，连接器的类型212(Connetor Type)例如虚拟空间资源(Vitual Asset)，MTU(GB)231容量例如100GB，连接器的连接状态(Status)232例如已连接好(Good Connection)。此外页面下方显示了两个数据源(Aspect1，Aspect2)233、234的数据表。每个数据源的数据表包括名称(Name)2251、协议(Protocol)2252和地址(Address)2253三列。数据表中的具体信息图中予以省略表示。
以上对本发明实施例中的资源整合处理方法进行了详细描述，下面再对本发明实施例中的资源整合处理装置进行详细描述，其能够实施本发明实施例中的资源整合处理方法，对于本发明装置实施例中未披露的细节可参见上述方法实施例中的对应描述。
图4为本发明实施例中的一种资源整合处理装置的示例性结构图。如图4所示，该装置可包括：模块池410、人机交互模块420和模型构建模块430。
其中，模块池410包括：对访问不同数据源数据的网络通信通道中所涉及的各个通信节点进行模块化处理后得到的复数个具有输入输出端口以及参数配置接口的网络通信模块。其中，网络通信模块包括下列中的任一种或任意组合：网关、用于连接虚拟空间如云平台或网盘等的模块、用于连接服务器的模块及用于连接数据库的模块。
人机交互模块420用于将所述模块池410中的网络通信模块呈现给用户，并接收所述用户根据自身所要访问的至少一个目标数据源对所需网络通信模块进行选择、拼接和参数配置的第一操作。
模型构建模块430用于根据所述第一操作对所述用户选择的网络通信模块的输入输出端口进行适配连接，生成用于访问所述至少一个目标数据源的目标网络通信通道。
在一个实施方式中，模块池410进一步包括：对数据传输所涉及的传输方式进行模 块化处理后得到的复数个包括参数配置接口的数据传输模块。所述数据传输模块包括下列中的任一种或任意组合：文件传输通信模块、消息通信模块、组传输模块和块传输模块。
人机交互模块420进一步用于将模块池410中的所述复数个数据传输模块呈现给所述用户；接收所述用户对所需类型的数据传输模块进行选择和参数配置的第二操作。
模型构建模块430进一步用于根据所述第二操作配置数据传输通道。
相应地，该系统可进一步包括：执行模块440，用于通过所述网络通信通道和所述数据传输通道获取所述至少一个目标数据源的数据。
在一个实施方式中，所述数据传输模块进一步包括信息过滤模块。相应地，人机交互模块420进一步用于接收所述用户对所述信息过滤模块配置的过滤参数，则执行模块440通过数据传输通道获取所述至少一个目标数据源中满足所述过滤参数对应的过滤条件的数据。
在一个实施方式中，模块池410可进一步包括对数据存储所涉及的存储模式、数据库连接引擎进行模块化处理后得到的复数个包括参数配置接口的数据存储配置模块。所述数据存储配置模块包括下列中的任一种或任意组合：关系型存储配置模块、关键字-值存储配置模块、表存储配置模块、标准库存储配置模块和数据库引擎连接模块。
人机交互模块420进一步用于将模块池410中的所述复数个数据存储配置模块呈现给所述用户；接收所述用户对所需数据存储配置模块进行选择和参数配置的第三操作。
模型构建模块430进一步用于根据所述第三操作配置数据存储通道。
执行模块440进一步用于将通过所述数据传输通道获取的所述至少一个目标数据源的数据按照所述数据存储通道进行存储。
在一个实施方式中，执行模块440可根据所述数据存储通道计算出一缓存空间，将通过所述数据传输通道获取的所述至少一个目标数据源的数据按照对应的存储模式缓存在所述缓存空间中，并将缓存的数据呈现给所述用户；接收所述用户对需要正式存储的数据进行选择的第四操作，根据所述第四操作，将所述用户选择的数据存储到所述数据存储通道对应的存储空间中。
图5为本发明实施例中又一种资源整合处理装置的示例性结构图。如图5所示，该装置可包括：至少一个存储器501、至少一个处理器502和至少一个端口503。这些组件可通过总线504进行通信。
其中：至少一个存储器501用于存储计算机程序。此外，还可存储操作系统等。操作系统806包括但不限于：Android操作系统、Symbian操作系统、Windows操作系统、Linux操作系统等等。
至少一个端口503用于发送和接收数据。
至少一个处理器502用于调用至少一个存储器501中存储的计算机程序，以基于至少一个端口503发送和接收数据的功能执行本发明实施例中所述的资源整合处理方法。处理器502可以为CPU，处理单元/模块，ASIC，逻辑模块或可编程门阵列等。
此外，本发明实施例中还提供一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序能够被一处理器执行并实现本发明实施例中所述的资源整合处理方法。
从上述方案中可以看出，由于本发明实施例中基于代理的概念，对访问不同类型不同系统不同位置的数据源的网络通信通道中所涉及的各个通信节点进行模块化处理，得到多个具有输入输出端口以及参数配置接口的网络通信模块，使得用户可以根据自身要访问的至少一个数据源对所需的网络通信模块进行简单地选择、连接及参数配置，之后由系统根据用户的操作对用户选择的网络通信模块的输入输出端口进行适配连接，自动生成用于访问所述至少一个目标数据源的目标网络通信通道。该过程不需要用户掌握较多的软件及网络知识，便可帮忙用户方便地建立到各数据源的网络通信通道。
进一步地，本发明实施例中还对数据传输所涉及的传输方式进行模块化处理，得到多个包括参数配置接口的数据传输模块，使得用户可以根据目标数据源对应的数据传输需求进行选择及参数配置，之后由系统根据用户的操作对数据传输通道进行配置，进而可通过该数据传输通道获取用户所要整合的至少一个目标数据源的数据。该过程同样不需要用户掌握较多的软件及网络知识，便可帮助用户方便地实现数据的传输。
此外，该数据传输还可以预先提供用户对过滤条件的配置，从而可仅获取目标数据源中满足过滤条件的数据，方便了用户对数据的管理。
进一步地，本发明实施例中还对数据存储所涉及的存储模式及数据库连接引擎进行模块化处理，得到复数个包括参数配置接口的数据存储配置模块，使得用户可以根据存储需求进行简单的选择及参数配置，便可帮助用户实现数据存储通道的配置。该过程同样不需要用户掌握较多的软件及网络知识，便可帮助用户方便地实现数据的存储。
此外，本发明实施例中还通过设置缓存和预览的功能，帮助用户预先查看及挑选所要整合的数据，从而提高了数据存储的有效性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神 和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

  1. 资源整合处理方法，其特征在于，该方法包括：
    对访问不同数据源的网络通信通道中所涉及的各个通信节点进行模块化处理，得到复数个具有输入输出端口以及参数配置接口的网络通信模块；
    将所述复数个网络通信模块呈现给用户；
    接收所述用户根据自身所要访问的至少一个目标数据源对所需网络通信模块进行选择、拼接和参数配置的第一操作；
    根据所述第一操作对所述用户选择的网络通信模块的输入输出端口进行适配连接，生成用于访问所述至少一个目标数据源的目标网络通信通道。
  2. 根据权利要求1所述的方法，其特征在于，所述网络通信模块包括下列中的任一种或任意组合：网关、用于连接虚拟空间的模块、用于连接服务器的模块及用于连接数据库的模块。
  3. 根据权利要求1或2所述的方法，其特征在于，该方法进一步包括：对数据传输所涉及的传输方式进行模块化处理，得到复数个包括参数配置接口的数据传输模块；
    将所述复数个数据传输模块呈现给所述用户；
    接收所述用户对所需类型的数据传输模块进行选择和参数配置的第二操作，根据所述第二操作配置数据传输通道，通过所述数据传输通道获取所述至少一个目标数据源的数据。
  4. 根据权利要求3所述的方法，其特征在于，所述数据传输模块包括下列中的任一种或任意组合：文件传输通信模块、消息通信模块、组传输模块和块传输模块。
  5. 根据权利要求3或4所述的方法，其特征在于，所述数据传输模块进一步包括：信息过滤模块；
    该方法进一步包括：接收所述用户对所述信息过滤模块配置的过滤参数；
    所述通过数据传输通道获取所述至少一个目标数据源的数据为：通过所述数据传输通道获取所述至少一个目标数据源中满足所述过滤参数对应的过滤条件的数据。
  6. 根据权利要求3～5任一项所述的方法，其特征在于，该方法进一步包括：对数据存储所涉及的存储模式、数据库连接引擎进行模块化处理，得到复数个包括参数配置接口的数据存储配置模块；
    将所述复数个数据存储配置模块呈现给所述用户；
    接收所述用户对所需数据存储配置模块进行选择和参数配置的第三操作，根据所述 第三操作配置数据存储通道，将通过所述数据传输通道获取的所述至少一个目标数据源的数据按照所述数据存储通道进行存储。
  7. 根据权利要求6所述的方法，其特征在于，所述将通过所述数据传输通道获取的所述至少一个目标数据源的数据按照所述数据存储通道进行存储包括：
    根据所述数据存储通道计算出一缓存空间，将通过所述数据传输通道获取的所述至少一个目标数据源的数据按照对应的存储模式缓存在所述缓存空间中，并将缓存的数据呈现给所述用户；
    接收所述用户对需要正式存储的数据进行选择的第四操作，根据所述第四操作，将所述用户选择的数据存储到所述数据存储通道对应的存储空间中。
  8. 根据权利要求6或7所述的方法，其特征在于，所述数据存储配置模块包括下列中的任一种或任意组合：关系型存储配置模块、关键字-值存储配置模块、表存储配置模块、标准库存储配置模块和数据库引擎连接模块。
  9. 资源整合处理装置，其特征在于，包括：
    模块池(410)，其包括对访问不同数据源数据的网络通信通道中所涉及的各个通信节点进行模块化处理后得到的复数个具有输入输出端口以及参数配置接口的网络通信模块；
    人机交互模块(420)，能够将所述模块池(410)中的网络通信模块呈现给用户，并接收所述用户根据自身所要访问的至少一个目标数据源对所需网络通信模块进行选择、拼接和参数配置的第一操作；和
    模型构建模块(430)，能够根据所述第一操作对所述用户选择的网络通信模块的输入输出端口进行适配连接，生成用于访问所述至少一个目标数据源的目标网络通信通道。
  10. 根据权利要求9所述的装置，其特征在于，
    所述模块池(410)进一步包括：对数据传输所涉及的传输方式进行模块化处理后得到的复数个包括参数配置接口的数据传输模块；
    所述人机交互模块(420)进一步将所述模块池(410)中的所述复数个数据传输模块呈现给所述用户；接收所述用户对所需类型的数据传输模块进行选择和参数配置的第二操作；
    所述模型构建模块(430)进一步根据所述第二操作配置数据传输通道；
    所述装置进一步包括：
    执行模块(440)，用于通过所述数据传输通道获取所述至少一个目标数据源的数据。
  11. 根据权利要求10所述的装置，其特征在于，
    所述模块池(410)进一步包括对数据存储所涉及的存储模式、数据库连接引擎进行模块化处理后得到的复数个包括参数配置接口的数据存储配置模块；
    所述人机交互模块(420)进一步将所述模块池(410)中的所述复数个数据存储配置模块呈现给所述用户；接收所述用户对所需数据存储配置模块进行选择和参数配置的第三操作；
    所述模型构建模块(430)进一步根据所述第三操作配置数据存储通道；
    所述执行模块(440)进一步将通过所述数据传输通道获取的所述至少一个目标数据源的数据按照所述数据存储通道进行存储。
  12. 根据权利要求11所述的装置，其特征在于，所述执行模块(440)根据所述数据存储通道计算出一缓存空间，将通过所述数据传输通道获取的所述至少一个目标数据源的数据按照对应的存储模式缓存在所述缓存空间中，并将缓存的数据呈现给所述用户；接收所述用户对需要正式存储的数据进行选择的第四操作，根据所述第四操作，将所述用户选择的数据存储到所述数据存储通道对应的存储空间中。
  13. 资源整合处理装置，其特征在于，包括：至少一个存储器(501)、至少一个处理器(502)和至少一个端口(503)，其中：
    所述至少一个存储器(501)用于存储计算机程序；
    所述至少一个端口(503)用于发送和接收数据；
    所述至少一个处理器(502)用于调用所述至少一个存储器(501)中存储的计算机程序，以基于所述至少一个端口(503)发送和接收数据的功能执行如权利要求1至8中任一项所述的资源整合处理方法。
  14. 一种计算机可读存储介质，其上存储有计算机程序；其特征在于，所述计算机程序能够被一处理器执行并实现如权利要求1至8中任一项所述的资源整合处理方法。
PCT/CN2017/104567 2017-09-29 2017-09-29 资源整合处理方法、装置和存储介质 WO2019061346A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/104567 WO2019061346A1 (zh) 2017-09-29 2017-09-29 资源整合处理方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/104567 WO2019061346A1 (zh) 2017-09-29 2017-09-29 资源整合处理方法、装置和存储介质

Publications (1)

Publication Number Publication Date
WO2019061346A1 true WO2019061346A1 (zh) 2019-04-04

Family

ID=65900220

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/104567 WO2019061346A1 (zh) 2017-09-29 2017-09-29 资源整合处理方法、装置和存储介质

Country Status (1)

Country Link
WO (1) WO2019061346A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115277844A (zh) * 2022-06-13 2022-11-01 杭州猎火传媒科技有限公司 一种大数据后台数据处理方法及系统
CN116016553A (zh) * 2023-03-27 2023-04-25 天津联想协同科技有限公司 一种基于网盘的文件分享方法、装置、网盘及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030204740A1 (en) * 2002-04-25 2003-10-30 Ari Shapiro Resource adapter with modular system management interface
TW201223212A (en) * 2010-11-24 2012-06-01 Inst Information Industry Network classification connection system, method, and computer recording medium
CN103945012A (zh) * 2014-05-16 2014-07-23 范伟飞 一种模块化的智能终端实现方法
CN104104718A (zh) * 2014-07-02 2014-10-15 北京邮电大学 一种基于软件定义网络的用户自主路由定制系统和方法
CN106027609A (zh) * 2016-05-05 2016-10-12 深圳前海大数点科技有限公司 一种物联网服务系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030204740A1 (en) * 2002-04-25 2003-10-30 Ari Shapiro Resource adapter with modular system management interface
TW201223212A (en) * 2010-11-24 2012-06-01 Inst Information Industry Network classification connection system, method, and computer recording medium
CN103945012A (zh) * 2014-05-16 2014-07-23 范伟飞 一种模块化的智能终端实现方法
CN104104718A (zh) * 2014-07-02 2014-10-15 北京邮电大学 一种基于软件定义网络的用户自主路由定制系统和方法
CN106027609A (zh) * 2016-05-05 2016-10-12 深圳前海大数点科技有限公司 一种物联网服务系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115277844A (zh) * 2022-06-13 2022-11-01 杭州猎火传媒科技有限公司 一种大数据后台数据处理方法及系统
CN115277844B (zh) * 2022-06-13 2024-03-26 杭州猎火传媒科技有限公司 一种大数据后台数据处理方法及系统
CN116016553A (zh) * 2023-03-27 2023-04-25 天津联想协同科技有限公司 一种基于网盘的文件分享方法、装置、网盘及存储介质
CN116016553B (zh) * 2023-03-27 2023-08-11 天津联想协同科技有限公司 一种基于网盘的文件分享方法、装置、网盘及存储介质

Similar Documents

Publication Publication Date Title
US11909604B2 (en) Automatic provisioning of monitoring for containerized microservices
US11936745B2 (en) Automated platform provisioning system
US8805716B2 (en) Dashboard system and method for identifying and monitoring process errors and throughput of integration software
JP5964027B2 (ja) ビジネスネットワーク管理発見およびビジネスネットワーク管理集約のためのシステムおよび方法
US10169434B1 (en) Tokenized HTTP event collector
EP3032442B1 (en) Modeling and simulation of infrastructure architecture for big data
US11829381B2 (en) Data source metric visualizations
US20080177564A1 (en) Method and apparatus of supporting business performance management with active shared data spaces
TWI714856B (zh) 基於物聯網的資料獲取系統、方法及可讀存儲介質
CN106027593B (zh) 用于动态地维护数据结构的方法和系统
JP2007531939A (ja) 企業情報の提供
US20150363340A1 (en) Providing multiple synchronous serial console sessions using data buffering
US20150222694A1 (en) Cloud implementation orchestration
US20190108078A1 (en) Data statement monitoring and control
US11663172B2 (en) Cascading payload replication
US9330140B1 (en) Transient virtual single tenant queries in a multi-tenant shared database system
CN107577820A (zh) 数据处理的方法、设备及系统
US9565079B1 (en) Holographic statistics reporting
US20190140894A1 (en) System and method for enabling hybrid integration platform through runtime auto-scalable deployment model for varying integration
WO2019061346A1 (zh) 资源整合处理方法、装置和存储介质
US10826965B2 (en) Network monitoring to identify network issues
US20180189054A1 (en) Automated platform re-creation system
CN107222575A (zh) 实现工控设备间opc通信的方法
WO2022164576A1 (en) Enterprise process graphs for representing rpa data
US9542171B2 (en) Managing an application modification process

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17927818

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17927818

Country of ref document: EP

Kind code of ref document: A1