WO2017206960A1 - 数据传输方法、数据传送客户端及数据传送执行器 - Google Patents

数据传输方法、数据传送客户端及数据传送执行器 Download PDF

Info

Publication number
WO2017206960A1
WO2017206960A1 PCT/CN2017/087106 CN2017087106W WO2017206960A1 WO 2017206960 A1 WO2017206960 A1 WO 2017206960A1 CN 2017087106 W CN2017087106 W CN 2017087106W WO 2017206960 A1 WO2017206960 A1 WO 2017206960A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
data transfer
server
client
connection
Prior art date
Application number
PCT/CN2017/087106
Other languages
English (en)
French (fr)
Inventor
刘亚森
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2017206960A1 publication Critical patent/WO2017206960A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services

Abstract

一种数据传输方法和数据传输客户端，所述数据传输方法可以包括：在侦测到数据传输指令时，数据传送客户端发送数据传输请求至数据传送执行器；在接收到所述数据传送执行器返回的连接信息以及令牌信息时，所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接；所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输。

Description

数据传输方法、数据传送客户端及数据传送执行器 技术领域
本公开涉及大数据技术领域，例如涉及一种数据传输方法、数据传送客户端及数据传送执行器。
背景技术
Hadoop是一个能够对大量数据进行分布式处理的开源软件框架。业界一般通过Loader传输工具，直接上传或下载文件至大数据集群的分布式文件系统(Hadoop Distributed File System，HDFS)或分布式数据库HBASE中。然而，这种直接上传或下载文件的方式缺乏对文件数据的权限管理，使得Hadoop储存数据的安全性较低。
发明内容
本公开提供了一种数据传输方法、数据传送客户端及数据传送执行器，可以提高Hadoop储存数据的安全性。
本实施例提供了一种数据传输方法，可以应用于开放式数据处理平台ODPP中间件系统，包括：在侦测到数据传输指令时，数据传送客户端发送数据传输请求至数据传送执行器，以供所述数据传送执行器基于接收的数据传输请求为所述数据传送客户端分配加载服务器，将接收的数据传输请求所携带的识别信息发送至认证服务器进行鉴权，以及将所述认证服务器完成鉴权后返回的令牌信息以及数据传送执行器分配的加载服务器的连接信息返回至所述数据传送客户端；在接收到所述数据传送执行器返回的连接信息以及令牌信息时，所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接，其中，所述加载服务器仅在验证所述令牌信息成功时与所述数据传送客户端建立数据传输连接；以及所述数据传送客户端基于所述数据传输连接 与所述加载服务器进行待传输数据的传输。
可选地，所述待传输数据包括待上传数据；所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输的步骤包括：所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器，以供所述加载服务器将接收的所述待上传数据上传到分布式文件系统HDFS集群。
可选地，在所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器之后，还包括：所述数据传送客户端接收所述加载服务器上传所述待上传数据至HDFS集群所返回的任务号；在侦测到所述待上传数据的状态查询指令时，所述数据传送客户端发送携带所述任务号的任务执行状态请求至所述加载服务器，以供所述加载服务器基于所述任务执行状态请求携带的所述任务号，返回所述待上传数据至HDFS集群的第一任务执行状态信息；以及所述数据传送客户端接收并展示所述加载服务器返回的所述第一任务执行状态信息。
可选地，在执行所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器的同时，还包括：所述数据传送客户端实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息。
可选地，在所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器的步骤之后，还包括：所述数据传送客户端在侦测到上传所述待上传数据至所述加载服务器中断时，基于记录的所述第二任务执行状态信息将所述待上传数据中未上传的部分数据上传至所述加载服务器。
可选地，所述待传输数据包括待下载数据；所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接之前，还包括：在接收到所述数据传送执行器返回的连接信息以及令牌信息时，所述数据传送 客户端侦测所述加载服务器是否从HDFS集群下载到所述数据传输指令对应的待下载数据；在侦测到所述加载服务器下载到所述待下载数据时，基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接。
可选地，所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输的步骤包括：所述数据传送客户端基于所述数据传输连接从所述加载服务器下载所述待下载数据。
本实施例还提供了一种数据传输方法，可应用于开放式数据处理平台ODPP中间件系统，包括：在接收到数据传送客户端发送的数据传输请求时，数据传送执行器将所述数据传输请求携带的识别信息发送至认证服务器进行鉴权；在接收到所述认证服务器完成鉴权后返回的令牌信息时，所述数据传送执行器为所述数据传送客户端分配加载服务器；以及所述数据传送执行器将所述令牌信息以及分配的加载服务器的连接信息发送至所述数据传送客户端，以供所述数据传送客户端基于所述令牌信息以及所述连接信息与所述加载服务器建立数据传输连接，进行待传输数据的传输。
本实施例还提供了一种数据传送客户端，可应用于ODPP中间件系统，包括：请求模块、连接模块以及传输模块，
请求模块可以设置为在侦测到数据传输指令时，发送数据传输请求至数据传送执行器，以供所述数据传送执行器基于接收的数据传输请求为所述数据传送客户端分配加载服务器，将接收的数据传输请求所携带的识别信息发送至认证服务器进行鉴权，以及将所述认证服务器完成鉴权后返回的令牌信息以及数据传送执行器分配的加载服务器的连接信息返回至所述连接模块。
连接模块可以设置为在接收到所述数据传送执行器返回的连接信息以及令牌信息时，基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接，其中，所述加载服务器仅在验证所述令牌信息成功时与所述连接模块建立数据传输连接。
传输模块可以设置为基于所述数据传输连接与所述加载服务器进行待传输 数据的传输。
可选地，所述待传输数据包括待上传数据；所述传输模块还设置为基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器，以供所述加载服务器将接收的所述待上传数据上传到HDFS集群；
可选地，所述数据传送客户端还包括：状态查询模块，设置为接收所述加载服务器上传所述待上传数据至HDFS集群所返回的任务号；在侦测到所述待上传数据的状态查询指令时，发送携带所述任务号的任务执行状态请求至所述加载服务器，以供所述加载服务器基于所述任务执行状态请求携带的所述任务号，返回其上传所述待上传数据至HDFS集群的第一任务执行状态信息；以及接收并展示所述加载服务器返回的所述第一任务执行状态信息。
可选地，所述传输模块还设置为，实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息；以及在侦测到上传所述待上传数据至所述加载服务器中断时，基于记录的所述第二任务执行状态信息将所述待上传数据中未上传的部分数据上传至所述加载服务器。
可选地，所述待传输数据包括待下载数据；所述连接模块还设置为在接收到所述数据传送执行器返回的连接信息以及令牌信息时，侦测所述加载服务器是否从HDFS集群下载到所述数据传输指令对应的待下载数据；以及在所述加载服务器下载到所述待下载数据时，基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接。
可选地，传输模块还可以设置为基于所述数据传输连接从所述加载服务器下载所述待下载数据。
本实施例还提供了一种数据传送执行器，应用于ODPP中间件系统，包括：鉴权模块、分配模块和授权模块。
鉴权模块可以设置为在接收到数据传送客户端发送的数据传输请求时，将所述数据传输请求携带的识别信息发送至认证服务器进行鉴权。
分配模块可以设置为在接收到所述认证服务器完成鉴权后返回的令牌信息 时，为所述数据传送客户端分配加载服务器。
授权模块可以设置为将所述令牌信息以及分配的加载服务器的连接信息发送至所述数据传送客户端，以供所述数据传送客户端基于所述令牌信息以及所述连接信息与所述加载服务器建立数据传输连接，进行待传输数据的传输。
本实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述方法。
本实施例还提供一种电子设备，该电子设备包括一个或多个处理器、存储器以及一个或多个程序，所述一个或多个程序存储在存储器中，当被一个或多个处理器执行时，执行上述方法。
本实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任意一种方法。
本公开提出的数据传输方法、数据传送客户端及数据传送执行器，应用于ODPP中间件系统，通过数据传送客户端发送携带识别信息的数据传输请求至数据传送执行器，由数据传送执行器将识别信息发送认证服务器进行鉴权，并将认证服务器鉴权通过后返回的令牌信息以及分配的加载服务器的连接信息返回至所述数据传送客户端；然后通过数据传送客户端使用接收的连接信息以及连接信息与分配的加载服务器建立数据传输连接，进行待传输数据的传输，进而实现数据传送客户端与HDFS集群之间的数据传输。能够在Hadoop大数据平台上更好的管理不同用户对数据传输的需求，从而达到提升Hadoop储存数据安全性的目的。
附图说明
图1为本实施例中数据传输方法第一实施例的流程示意图。
图2为本实施例中数据传输方法第一实施例中的开放式数据处理平台(Open Data Processing Platform，ODPP)的架构示例图。
图3为本实施例中数据传输方法第一实施例中数据传送执行器的部署方式 的示例图。
图4为本实施例中数据传输方法第二实施例的流程示意图。
图5为本实施例中数据传输方法第四实施例的流程示意图。
图6为本实施例中数据传输方法第五实施例的流程示意图。
图7为本实施例中数据传送客户端第一实施例的功能模块示意图。
图8为本实施例中数据传送执行器第一实施例的功能模块示意图。
图9为本实施例中数据传送客户端的通用硬件结构示意图。
图10为本实施例中数据传送执行器的通用硬件结构示意图。
具体实施方式
应当理解，此处所描述的实施例仅仅用以解释本公开的技术方案，并不用于限定本公开。在不冲突的情况下，以下实施例和实施例中的技术特征可以相互组合。
本实施例提供了一种数据传输方法，参照图1，在数据传输方法的第一实施例中，该数据传输方法可以包括以下步骤。
在S10中，在侦测到数据传输指令时，数据传送客户端发送数据传输请求至数据传送执行器。
数据传送客户端将数据传输请求发送至数据传送执行器。所述数据传送执行器基于接收的数据传输请求为所述数据传送客户端分配加载服务器，并将接收的数据传输请求所携带的识别信息发送至认证服务器进行鉴权。数据传输执行器将为分配的加载服务器的连接信息以及所述认证服务器完成鉴权后返回的令牌信息返回至所述数据传送客户端。
可选地，数据传输执行器获取分配的加载服务器连接信息，并将该连接信息发送至数据传送客户端。
需要说明的是，本实施例提出的数据传输方法可以是基于图2所示的Hadoop大数据系统的中间件开放式数据处理平台(Open Data Processing Platform ODPP)系统实现。以下对本实施例出现的术语进行说明。
ODPP系统管理员，可以是指维护管理ODPP系统的人员。
空间(Space)所有者，可以是拥有对Space的所有权限，用以创建Space，向Space内的用户授权，并引入Space外的用户。Space所有者可自行注册Space，ODPP系统管理员审批Space所有者自行注册的Space，并在审批通过后使得该自行注册的Space生效。可选地，Space所有者位于ODPP的业务处理层，space所有者创建的space也位于业务处理层。
空间(Space)是用于某个目标的相关数据、文件、任务、用户、权限的集合。Space所有者可以创建工作空间(Space)，以进行用户数据的存储、运算、查询、管理等，以及任务的运行。ODPP可支持多用户、多Space。
用户，可以是指Space的用户，用户归属于Space，可访问所归属的Space实体，也是计费的实体。话单原始记录中，可以包含用户名和使用对象(如文件，表，任务等)。
包(Package)，可以归属于Space，作为资源共享的基本单元。Package授权给归属之外的其他Space的对应的一个用户。通过线下方式得知归属之外的其它Space对应的用户名称。
资源，可以是指归属于Space的数据、文件等。
在整个ODPP系统内，Space名称和Space用户名的组合可唯一标识一个用户。每个用户同时拥有一个集群用户，同样在整系统内唯一。
为便于理解，以下对ODPP整体架构进行说明。
如图2所示，ODPP整体架构可以由三层构成，分别是客户(Client)访问层、业务处理层，以及分布存储和计算层。
其中，Client访问层可以是用户直接进行操作的部分，用户可以通过ODPP提供的命令行终端和数据传送工具来实现对ODPP的访问。其中，命令行终端是为用户提供一个使用ODPP的通用操作界面，用户可通过该命令行终端向ODPP输入命令，可实现实时对HBASE数据进行查询，对MR、Spark任务进行提交以及对结构化查询语言(Structured Query Language，SQL)进行执行等。 数据传送工具设置为实现本地数据和Space间的传送。如果用户希望通过系统和ODPP对接，以获取ODPP的服务，也可按ODPP的接口规范和ODPP的业务处理层对接，从而实现对ODPP服务的访问。
可选地，系统可以是指用户个人的业务处理系统，该业务处理系统安装在数据传送客户端中，用户将个人的业务处理系统与ODPP系统对接，将业务处理系统中存储的数据通过ODPP系统上传到数据平台。用户将个人的业务处理系统与ODPP系统对接可以是指用户按照ODPP的接口规则将数据传送客户端与ODPP对接。
可选地，数据传送工具可以实现数据在本地和space之间传送。数据传送工具可以位于数据传送客户端中，本地可以是指数据传送客户端中的一个存储位置，例如，用户个人的电脑存储盘中的一个目录。
命令行终端和ODPP之间的业务接口可以使用RESTful软件架构。
在ODPP管理方面，为Space所有者提供web方式的用户自管理功能。Space所有者可登录到ODPP上创建Space，修改个人信息，设置配置数据等。
系统维护管理规则可以是针对ODPP系统的管理维护人员而设置的管理服务功能。
业务处理层可以是ODPP分析请求、执行对应的业务逻辑处理的部分。此部分可以对请求进行接入，分析请求内容，根据请求内容选择相应的业务处理机制进行处理，然后将处理的结果返回给Client访问层。业务处理层是ODPP的主体部分，可以包含用户管理、权限管控、任务调度、业务处理及计费等多种功能。其中，分发部分可使用Nginx来实现对RESTful请求的分发。Space管理可以负责space权限的验证，以及数据的更改维护。用户管理可以负责系统用户数据的查询验证以及更改维护。ODPP业务数据库可以负责系统数据的存储。
分布存储和计算层是底层的执行平台，可以以Hadoop、Spark等为基础，可用于数据的存储和运算，同时提供数据的导入、导出等服务。
综上，ODPP运行于大数据平台之上，承担中间件层的一系列功能，如访问 接入、访问控制、资源隔离、资源共享、计费、作业运行、数据传送、大小数据量的统一访问以及平滑过渡等等。
需要说明的是，在本实施例中，数据传送客户端实现的数据传输功能基于运行的数据传送工具实现，以下以数据传送工具代替数据传送客户端为执行主体进行说明。
用户通过操作界面提交数据传输指令，表示用户需求在数据传送客户端和Hadoop系统之间进行数据传输操作。
数据传送工具侦测到数据传输指令时，产生数据传输请求并通过HTTP请求的形式提交到ODPP业务处理层的负载均衡进程Ngnix，由该负载均衡进程进行数据传输请求的分发。其中，数据传送工具指示负载均衡进程Ngnix将数据传输请求分发给数据传送执行器。
数据传送执行器在接收到数据传输请求时，对接收的数据传输请求进行解析，解析出数据传送工具对应的用户名(即数据传输请求中携带的识别信息)以及用户命令参数(包括上传和下载)，将解析出的用户名发送至认证服务器进行鉴权，由认证服务器对用户名进行认证和鉴权，如果认证、鉴权通过，则返回给予数据传送工具的令牌信息至数据传送执行器，由数据传送执行器将该令牌信息发送至数据传送工具。如果对用户名的认证和鉴权未通过，则数据传输请求执行失败，认证服务器将认证失败的信息反馈至数据传送执行端，有数据传送执行端将认证失败信息反馈至数据传送客户端。
数据传送执行器接受数据传送客户端发送的数据传输请求，根据数据传输请求为数据传送客户端分配加载服务器。可选地，数据传送执行器为数据传送客户端分配加载服务器可以是指在加载服务器集群中为数据传送客户端调度一个加载服务器。例如，数据传送执行器对数据传送工具发送的数据传输请求进行调度，例如，数据传送执行器可根据加载服务器集群的多个加载服务器的负荷情况进行调度，选取一台最佳(当前负荷最低的)的加载服务器，将被选取的最佳的加载服务器的网络互连协议(Internet Protocal，IP)地址(或者统一资 源定位符(Uniform Resource Locater，URL)、媒体访问控制(Media Access Control，MAC)地址等)以及接收的认证服务器返回的令牌信息返回给数据传送工具。
在S20中，在接收到所述数据传送执行器返回的连接信息以及令牌信息时，所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接，其中，所述加载服务器仅在验证所述令牌信息成功时与所述数据传送客户端建立数据传输连接。
在S30中，所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输。
数据传送工具(或数据传送客户端)在接收到数据传送执行器返回的令牌信息以及IP地址时，基于所述IP地址发送携带令牌信息的建链请求至被选取的最佳的加载服务器。该被选取的最佳的加载服务器基于建链请求携带的令牌信息以及用户名进行鉴权(发送至认证服务器进行鉴权，并接收认证服务器返回的鉴权结果)，若鉴权通过则与数据传送工具建立数据传输连接，若鉴权未通过则返回异常。其中，建立的数据传送连接的类型可按实际需要进行设置，本实施例不做具体限制，例如，本实施例数据传送工具和加载服务器建立文件传输协议(File Transfer Protocal，FTP)连接。
需要说明的是，加载服务器运行有Loader进程和FTP Server进程，其中，Loader的功能可以包括：任务调度、任务管理、任务监控、任务查询、文件管理(落地区管理)、HDFS上传与下载、HBASE导入、导出功能等。
在完成FTP连接的建立之后，数据传送工具通过FTP Client进程与FTP Server交互，实现待传输数据的传输，传输过程可以包括数据上传过程和数据下载过程。数据上传过程可以为将待传输数据上传至FTP Server，由FTP Server将接收的待传输数据上传至HDFS集群。数据下载过程可以为通过FTP Server将待传输数据从HDFS下载到数据传送客户端本地。
可选地，在本实施例中，为提升整个数据传送系统的可用性，参照图3，数据传送执行器(DTExecutor)以主备方式部署，其中，主数据传送执行器为工 作(Acitve)状态，备数据传送执行器为待机(Standby)状态，一旦出现主数据传送执行器宕机，备数据传送执行器马上接管主数据传送执行器的业务。
可选地，在本实施例中，认证服务器返回给数据传送客户端的令牌信息还设置有生存周期，所述加载服务器在且仅在所述令牌信息的生存周期内且验证所述令牌信息成功时建立与数据传送工具的数据传输连接。在建立数据传输连接之后，若加载服务器侦测到令牌信息超期，则指示数据传送客户端重新向认证服务器获取令牌信息，并将令牌信息保存到FTP Server。
本实施例提出的数据传输方法，数据传送客户端发送携带识别信息的数据传输请求至数据传送执行器，数据传送执行器将识别信息发送认证服务器进行鉴权，并将认证服务器鉴权通过后返回的令牌信息以及分配的加载服务器的连接信息返回至所述数据传送客户端。数据传送客户端使用接收的连接信息以及连接信息与分配的加载服务器建立数据传输连接，进行待传输数据的传输，进而实现数据传送客户端与HDFS集群之间的数据传输。本实施例的数据传输方法可以扩展对用户的鉴权功能，能够在Hadoop大数据平台上更好的管理不同用户对数据传输的需求，从而达到提升Hadoop储存数据安全性的目的。
在上述实施例的基础上，提供了一种数据传输方法的第二实施例，在本实施例中，所述待传输数据包括待上传数据，步骤30可以包括：所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器，以供所述加载服务器将接收的所述待上传数据上传到HDFS集群；
在S30之后，数据传输方法还可以包括：所述数据传送客户端接收所述加载服务器上传所述待上传数据至HDFS集群所返回的任务号；在侦测到所述待上传数据的状态查询指令时，所述数据传送客户端发送携带所述任务号的任务执行状态请求至所述加载服务器，以供所述加载服务器基于所述任务执行状态请求携带的所述任务号，返回其上传所述待上传数据至HDFS集群的第一任务执行状态信息；所述数据传送客户端接收并展示所述加载服务器返回的所述第一任务执行状态信息。
需要说明的是，本实施例对待传输数据为待上传数据进行说明，为便于用户实时了解上传数据的执行状态，本实施例增加了任务状态查询功能，以下仅针对该区别进行说明，其他可参照第一实施例，此处不再赘述。
结合参照图4，在本实施例中，当完成FTP连接的建立之后，数据传送工具通过FTP Client进程将侦测的数据传输指令所指向的待上传数据上传至FTP Server。
在接收到FTP Client上传的所述待上传数据之后，FTP Server向Loader进行RPC(Remote Procedure Call Protocol，远程过程调用协议)调用，提交文件扫描规则通知Loader进程开始上传数据到HDFS集群，例如，上传到用户的Space中。其中，FTP Server在接收FTP Client上传的待上传数据过程中，接收的文件数据可暂且写入临时目录，在待上传数据全部接收完成后，FTP Server将待上传数据从临时目录中移动至正式目录。
可选地，提交文件扫描规则可以存储在一个配置文件中，在loader将待上传的数据上传到HDFS过程中，通过该提交文件扫描规则判断哪些数据需要上传至HDFS，将需要上传的数据上传至HDFS，将不需要上传的数据过滤掉。
Loader根据提交文件扫描规则将所述待上传数据上传到用户的Space，其中，Loader在上传成功后删除正式目录中当次接收的数据文件，如果Loader对待上传数据的上传失败，也删除当次接收的数据文件。
在成功将所述待上传数据上传到用户的Space之后，加载服务器返回上传成功的提示信息至数据传送工具，由数据传送工具进行展示。
可选地，在本实施例中，Loader在上传待上传数据至HDFS集群时，根据FTP Server的RPC请求后向任务数据库创建任务并生成任务号(taskid)，将扫描规则加入到任务列表中，准备将待上传数据上传到HDFS集群。
Loader通过FTP Server将生成的任务号返回至数据传送工具。
可选地，HDFS是一个文件系统，可设置为存储数据。Space所有者在HDFS中创建space，设置为单独存储一个数据传送客户端的数据。因此，上文的描述 中关于loader将待上传数据上传至HDFS集群中，可以理解为将待上传数据上传至HDFS集群中与待上传数据对应的space中。
在上传过程中，Loader实时向任务数据库更新任务状态，其中，任务状态可以包括：已提交、正在运行和已结束。
需要说明的是，在本实施例中，数据传送客户端实现的任务状态查询功能基于运行的命令行终端实现，以下以命令行终端代替数据传送客户端为执行主体进行说明。
用户可以输入对应任务状态查询功能的命令行界面(Command Line Interface，CLI)语句，触发状态查询指令，此时命令行终端将产生携带前述任务号的任务执行状态请求至所述加载服务器，发送到任务数据库，由任务数据库根据任务执行状态请求携带的任务号获取Loader上传所述待上传数据而实时更新的任务状态(即第一任务执行状态信息)，将获取的第一任务执行状态信息返回至命令行终端进行展示。
命令行终端接收并展示加载服务器(任务数据库)返回的第一任务执行状态信息。
在上述实施例的基础上，提出了一种数据传输方法的第三实施例，在本实施例中，在执行S30的同时，还可以执行以下步骤。
所述数据传送客户端实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息；
在S30之后，数据传输方法还可以包括如下步骤。
所述数据传送客户端在侦测到上传所述待上传数据至所述加载服务器中断时，基于记录的所述第二任务执行状态信息将所述待上传数据中未上传的部分数据上传至所述加载服务器。
需要说明的是，为确保数据上传任务的成功执行，本实施例在上述第一和第二实施例的基础上，增加了断点续传的功能，以下仅针对该区别进行说明，其他可参照前述实施例，此处不再赘述。以下继续以数据传送工具代替数据传 送客户端为执行主体进行说明。
在本实施例中，数据传送工具(可以为FTP Client)在建立与加载服务器(具体为FTP Server)FTP连接，并开始上传待上传数据至加载服务器时，数据传送工具实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息。
当侦测到上传所述待上传数据至所述加载服务器中断时，数据传送工具基于记录的第二任务执行状态信息确定中断点的位置信息，并基于前述接收的IP地址重新提交上传所述待上传数据的任务，根据确定的中断点的位置信息将待上传数据中未上传的部分数据上传至所述加载服务器，完成整个待上传数据的上传。
在上述第一至第三实施例的基础上，提出了一种数据传输方法的第四实施例，在本实施例中，在S20之前，数据传输方法还可以包括：在接收到所述数据传送执行器返回的连接信息以及令牌信息时，所述数据传送客户端侦测所述加载服务器是否从HDFS集群下载到所述数据传输指令对应的待下载数据；在所述加载服务器下载到所述待下载数据时，执行第一实施例S20中的操作。
S30可以包括：所述数据传送客户端基于所述数据传输连接从所述加载服务器下载所述待下载数据。
需要说明的是，本实施例对待传输数据为待下载数据进行说明，其他可参照第一实施例，此处不再赘述。
在本实施例中，数据传送客户端实现的数据传输功能基于运行的数据传送工具实现，结合参照图5，以下以数据传送工具代替数据传送客户端为执行主体进行说明。
用户通过操作界面提交数据传输指令，数据传送工具识别到数据传送指令指向的待传输数据为待下载数据，产生数据传输请求并通过HTTP请求的形式提交到ODPP的负载均衡进程Ngnix，由该负载均衡进程进行数据传输请求的分发。其中，数据传送工具指示将数据传输请求分发给数据传送执行器。
数据传送执行器在接收到数据传输请求时，对接收的数据传输请求进行解析，解析出数据传送客户端对应的用户名(即数据传输请求中包括的识别信息)以及用户命令参数(可以包括上传和下载，此处的用户命令参数为下载)，将解析出的用户名发送至认证服务器进行鉴权，由认证服务器根据用户名对用户进行认证和鉴权，如果认证和鉴权通过，则认证服务器返回给予数据传送客户端的令牌信息，如果认证和鉴权未通过，则认证服务器返回命令执行失败的信息。
数据传送执行器对用户的数据传输请求进行调度，例如，根据加载服务器集群的多个加载服务器的负荷情况进行任务调度，获取一台最佳(当前负荷最低的)的加载服务器。
数据传送执行器向被选中的最佳的加载服务器的Loader进程发送RPC调用请求，提交客户端作业请求。
Loader接收到数据传送执行器的RPC请求后，判断本地是否能够接收该任务，如果可以，则向任务数据库插入一条记录，同时将下载任务加入到待处理任务列表中等待调度执行，并返回成功响应；如果不能完成该任务执行，则向数据传送执行器返回失败响应。
可选地，loader判断本地是否能够接受该任务可以是指，loader判断本地是否有足够的资源空间，以将接受的任务存储在本地。如果判定本地有足够的资源空间，则接受该任务；如果判定本地没有足够的资源空间，则不接受该任务。
如果数据传送执行器收到RPC成功响应，则将被选中的最佳的加载服务器的IP地址(或者URL、MAC地址等其他连接信息)接收的令牌信息返回给数据传送工具；如果数据传送执行器接收到RPC响应失败的信息，继续在多个加载服务器中选择一个加载服务器，直到尝试最大次数，若仍失败则向数据传送工具返回失败信息。
Loader调度新的下载任务，将数据下载指令指向的待下载数据从HDFS集群下载到本地硬盘(加载服务器本地硬盘)。
需要说明的是，加载服务器还运行有FTP Server进程，数据传送工具通过其FTPClient进程将数据传送执行器返回的所述IP地址，发送携带令牌信息的建链请求至选取的所述加载服务器的FTP Server进程，由FTP Server基于建链请求携带的令牌信息以及用户名进行鉴权(可以是发送至认证服务器进行鉴权，并接收认证服务器返回的鉴权结果)，若鉴权通过则FTP Server与FTP Client建立FTP连接(即数据传输连接)，如果鉴权未通过则返回异常。
在完成FTP连接的建立之后，FTP Client通过FTP Server将Loader从HDFS集群下载的待下载数据下载到本地硬盘，完成待下载数据的下载。
可选地，在本实施例中，Loader在返回RPC成功响应至数据传送执行器时，还可以同时返回下载任务的任务号至数据传送执行器，由数据传送执行器将接收的任务号与接收的认证服务器所返回的令牌信息以及加载服务器的IP地址一起返回给数据传送工具，供数据传输工具基于接收的任务号实时查询Loader是否完成待下载数据的下载。
在下载过程中，Loader实时向任务数据库更新任务状态，其中，任务状态可以包括：已提交、正在运行和已结束。
此外，在本实施例中，数据传送客户端还提供任务状态查询功能给用户。其中，数据传送客户端实现的任务状态查询功能基于运行的命令行终端实现，以下以命令行终端代替数据传送客户端为执行主体进行说明。
用户可以输入对应任务状态查询功能的CLI语句，触发状态查询指令，此时命令行终端将产生携带前述任务号的任务执行状态请求至所述加载服务器，具体发送到前述任务数据库，由任务数据库根据任务执行状态请求携带的任务号获取Loader下载所述待下载数据而实时更新的任务状态(即任务执行状态信息)，将获取的任务执行状态信息返回至命令行终端进行展示。
命令行终端接收并展示加载服务器(任务数据库)返回的任务执行状态信息。
在上述实施例的基础上，提供了一种数据传输方法的第五实施例，参照图6， 在本实施例中，该数据传输方法可以包括如下步骤。
在S110中，在接收到数据传送客户端发送的数据传输请求时，数据传送执行器将所述数据传输请求携带的识别信息发送至认证服务器进行鉴权。
在S120中，在接收到所述认证服务器完成鉴权后返回的令牌信息时，所述数据传送执行器为所述数据传送客户端分配加载服务器。
在S130中，所述数据传送执行器将所述令牌信息以及分配的加载服务器的连接信息发送至所述数据传送客户端，以供所述数据传送客户端基于所述令牌信息以及所述连接信息与所述加载服务器建立数据传输连接，进行待传输数据的传输。
需要说明的是，本实施例提出的数据传输方法可以是基于图2所示的Hadoop大数据系统的中间件ODPP系统实现，其中，有关ODPP的说明可参照前述数据传输方法第一实施例的相关描述，此处不再赘述。
在本实施例中，数据传送执行器配合数据传送客户端实现数据传送客户端和Hadoop系统之间数据传输，数据传送客户端实现的数据传输功能基于运行的数据传送工具实现，以下以数据传送工具代替数据传送客户端为执行主体进行说明。
用户操作提交数据传输指令，表示用户需求在数据传送客户端和Hadoop系统之间进行数据传输操作。
数据传送工具侦测到数据传输指令时，产生数据传输请求并通过Http请求的形式提交到ODPP的负载均衡进程Ngnix，由此进程进行数据传输请求的分发。其中，数据传送工具指示将数据传输请求分发给数据传送执行器。
数据传送执行器在接收到数据传输请求时，对接收的数据传输请求进行解析，解析出数据传送客户端对应的用户名(即数据传输请求中携带的识别信息)以及用户命令参数(包括上传和下载)，将解析出的用户名发送至认证服务器进行鉴权，由认证服务器根据用户名对用户进行认证、鉴权，如果认证、鉴权通过则返回给予数据传送客户端的令牌信息，如果认证和鉴权未通过，则返回 命令执行失败信息。
数据传送执行器对用户的数据传输请求进行调度，根据加载服务器集群的各加载服务器的负荷情况进行任务调度，选取一台最佳(当前负荷最低的)的加载服务器，将该被选取的最佳的加载服务器的IP地址(或者URL、MAC地址等)以及接收的令牌信息返回给数据传送工具。
数据传送工具在接收到数据传送执行器返回的令牌信息以及IP地址时，基于所述IP地址发送携带令牌信息的建链请求至被选取的最佳的加载服务器，由所述被选取的最佳的加载服务器基于建链请求携带的令牌信息以及用户名进行鉴权(发送至认证服务器进行鉴权，并接收认证服务器返回的鉴权结果)，若鉴权通过则与数据传送工具建立数据传输连接，若鉴权未通过则返回异常。其中，建立的数据传送连接的类型可按实际需要进行设置，本实施例不做具体限制，例如，本实施例数据传送工具和加载服务器建立FTP连接。
需要说明的是，加载服务器运行有Loader进程和FTP Server进程，其中，Loader的功能可以包括：任务调度、任务管理、任务监控、任务查询、文件管理(落地区管理)、HDFS上传与下载，HBASE导入及导出功能等。
在完成FTP连接的建立之后，数据传送工具通过FTP Client进程与FTP Server交互，实现待传输数据的传输，包括将待传输数据上传至FTP Server，进而由FTP Server将接收的待传输数据上传至HDFS集群；还包括通过FTP Server将待传输数据从HDFS下载到数据传送客户端本地。
可选地，在本实施例中，为提升整个数据传送系统的可用性，参照图3，数据传送执行器(DTExecutor)以主备方式部署，其中，主数据传送执行器为Acitve状态，备数据传送执行器为Standby状态，一旦出现主数据传送执行器宕机，备数据传送执行器马上接管业务。
可选地，在本实施例中，认证服务器返回给数据传送客户端的令牌信息还设置有生存周期，所述加载服务器在且仅在所述令牌信息的生存周期内且验证所述令牌信息成功时建立与数据传送工具的数据传输连接。在建立数据传输连 接之后，若侦测到令牌信息超期，则指示数据传送客户端重新向认证服务器获取令牌信息，并将令牌信息保存到FTP Server。
本实施例还提供一种执行上述数据传输方法的数据传送客户端，参照图7，对应于上述数据传输方法的第一实施例，在本数据传送客户端的实施例中，所述数据传送客户端可以包括请求模块10、连接模块20和传输模块30，其中，
所述请求模块10，设置为在侦测到数据传输指令时，发送数据传输请求至数据传送执行器，以供所述数据传送执行器基于接收的数据传输请求为所述数据传送客户端分配加载服务器，并将接收的数据传输请求所携带的识别信息发送至认证服务器进行鉴权，将所述认证服务器完成鉴权后返回的令牌信息以及分配的加载服务器的连接信息返回至所述连接模块20。
所述连接模块20，设置为在接收到所述数据传送执行器返回的连接信息以及令牌信息时，基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接，其中，所述加载服务器仅在验证所述令牌信息成功时与所述连接模块20建立数据传输连接。
所述传输模块30，设置为基于所述数据传输连接与所述加载服务器进行待传输数据的传输。
需要说明的是，本实施例提出的数据传送客户端用于在图2所示的Hadoop大数据系统的中间件ODPP系统实现数据传输功能。其中，ODPP的说明可参照前述数据传输方法第一实施例的相关描述，此处不再赘述。
在本实施例中，数据传送执行器配合数据传送客户端实现数据传送客户端和Hadoop系统之间数据传输，数据传送客户端实现的数据传输功能基于运行的数据传送工具实现，以下以数据传送工具代替数据传送客户端为执行主体进行说明。
用户通过操作界面提交数据传输指令，表示用户需求在数据传送客户端和Hadoop系统之间进行数据传输操作。
数据传送工具侦测到数据传输指令时，产生数据传输请求并通过HTTP请 求的形式提交到ODPP的负载均衡进程Ngnix，由该负载均衡进程进行数据传输请求的分发。其中，数据传送工具指示将数据传输请求分发给数据传送执行器。
数据传送执行器在接收到数据传输请求时，对接收的数据传输请求进行解析，解析出数据传送客户端对应的用户名(即数据传输请求中包括的识别信息)以及用户命令参数(包括上传和下载)，将解析出的用户名发送至认证服务器进行鉴权。认证服务器根据用户名对用户进行认证、鉴权，如果认证和鉴权通过，则返回给予数据传送客户端的令牌信息，如果认证和鉴权未通过，命令执行失败返回。
数据传送执行器对用户的数据传输请求进行调度，可根据加载服务器集群的多个加载服务器的负荷情况进行任务调度，选取一台最佳(当前负荷最低的)的加载服务器，将被选取的最佳的加载服务器的IP地址(或者URL、MAC地址等)以及接收的令牌信息返回给数据传送工具。
数据传送工具在接收到数据传送执行器返回的令牌信息以及IP地址时，基于所述IP地址发送携带令牌信息的建链请求至选取的所述加载服务器。加载服务器基于建链请求携带的令牌信息以及用户名进行鉴权(鉴权过程可以包括发送至认证服务器进行鉴权，并接收认证服务器返回的鉴权结果)，若鉴权通过则与数据传送工具建立数据传输连接，如果鉴权未通过返回异常。其中，建立的数据传送连接的类型可按实际需要进行设置，本实施例不做限制，例如，本实施例数据传送工具和加载服务器建立FTP连接。
需要说明的是，加载服务器运行有Loader进程和FTP Server进程，其中，Loader的功能可以包括：任务调度、任务管理、任务监控、任务查询、文件管理(落地区管理)、HDFS上传与下载，HBASE导入及导出功能等。
在完成FTP连接的建立之后，数据传送工具通过FTP Client进程与FTP Server交互，实现待传输数据的传输，包括将待传输数据上传至FTP Server，进而由FTP Server将接收的待传输数据上传至HDFS集群；还包括通过FTP Server将待传输数据从HDFS下载到数据传送客户端本地。
可选地，在本实施例中，为提升整个数据传送系统的高可用性，参照图3，数据传送执行器(DTExecutor)以主备方式部署，其中，主数据传送执行器为Acitve状态，备数据传送执行器为Standby状态，一旦出现主数据传送执行器宕机，备数据传送执行器马上接管业务。
可选地，在本实施例中，认证服务器返回给数据传送客户端的令牌信息还设置有生存周期，所述加载服务器在且仅在所述令牌信息的生存周期内且验证所述令牌信息成功时建立与数据传送工具的数据传输连接。在建立数据传输连接之后，若侦测到令牌信息超期，则指示数据传送客户端重新向认证服务器获取令牌信息，并将令牌信息保存到FTP Server。
本实施例提出的数据传送客户端，发送携带识别信息的数据传输请求至数据传送执行器，由数据传送执行器将识别信息发送认证服务器进行鉴权，并将认证服务器鉴权通过后返回的令牌信息以及分配的加载服务器的连接信息返回至所述数据传送客户端。通过数据传送客户端使用接收的连接信息以及连接信息与分配的加载服务器建立数据传输连接，进行待传输数据的传输，进而实现数据传送客户端与HDFS集群之间的数据传输。相较于现有技术，本发明扩展了对用户的鉴权功能，能够在Hadoop大数据平台上更好的管理不同用户对数据传输的需求，从而达到提升Hadoop储存数据安全性的目的。
可选地，基于第一实施例，提出了数据传送客户端的第二实施例，对应于前述数据传输方法的第二实施例，在本实施例中，所述待传输数据包括待上传数据，所述传输模块30还可以设置为基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器，以供所述加载服务器将接收的所述待上传数据上传到HDFS集群。
所述数据传送客户端还可以包括：状态查询模块，设置为接收所述加载服务器上传所述待上传数据至HDFS集群所返回的任务号；在侦测到所述待上传数据的状态查询指令时，发送携带所述任务号的任务执行状态请求至所述加载服务器，以供所述加载服务器基于所述任务执行状态请求携带的所述任务号， 返回其上传所述待上传数据至HDFS集群的第一任务执行状态信息；以及接收并展示所述加载服务器返回的所述第一任务执行状态信息。
需要说明的是，本实施例对待传输数据为待上传数据进行说明，同时，为便于用户实时了解上传数据的执行状态，本实施例增加了任务状态查询功能，以下仅针对该区别进行说明，其他可参照第一实施例，此处不再赘述。
结合参照图4，在本实施例中，当完成FTP连接的建立之后，数据传送工具通过其FTP Client进程将侦测的数据传输指令所指向的待上传数据上传至FTP Server。
在接收到FTP Client上传的所述待上传数据之后，FTP Server向Loader进行RPC(Remote Procedure Call Protocol，远程过程调用协议)调用，提交文件扫描规则通知Loader开始上传数据到HDFS集群，可为对应用户的Space。其中，FTP Server在接收FTP Client上传的待上传数据时，接收的文件数据可以暂且写入临时目录，全部接收完成后再移动至正式目录。
Loader根据文件扫描规则将所述待上传数据上传到用户的Space，其中，Loader在上传成功后删除正式目录中当次接收的数据文件，如果失败也删除当次接收的数据文件。
在成功将所述待上传数据上传到用户的Space之后，加载服务器返回上传成功的提示信息至数据传送工具，由数据传送工具进行展示。
可选地，在本实施例中，Loader在上传待上传数据至HDFS集群时，首先根据FTP Server的RPC请求后向任务数据库创建任务并生成任务号(taskid)，将扫描规则加入到任务列表中，准备将待上传数据上传到HDFS集群。
Loader通过Ftpserver将生成的任务号返回至数据传送工具。
在上传过程中，Loader实时向任务数据库更新任务状态，其中，任务状态包括：已提交、正在运行和已结束。
需要说明的是，在本实施例中，数据传送客户端实现的任务状态查询功能基于其运行的命令行终端实现，以下以命令行终端代替数据传送客户端为执行 主体进行说明。
在需要时，用户可以输入对应任务状态查询功能的CLI语句，触发状态查询指令，此时命令行终端将产生携带前述任务号的任务执行状态请求至所述加载服务器，发送到前述任务数据库，由任务数据库根据任务执行状态请求携带的任务号获取Loader上传所述待上传数据而实时更新的任务状态(即第一任务执行状态信息)，将获取的第一任务执行状态信息返回至命令行终端进行展示。
命令行终端接收并展示加载服务器(任务数据库)返回的第一任务执行状态信息。
可选地，基于第二实施例，提出了数据传送客户端的第三实施例，对应于前述数据传输方法的第三实施例，在本实施例中，所述传输模块30还可以设置为实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息；以及在侦测到上传所述待上传数据至所述加载服务器中断时，基于记录的所述第二任务执行状态信息将所述待上传数据中未上传的部分数据上传至所述加载服务器。
需要说明的是，为确保数据上传任务的成功执行，本实施例在第二实施例的基础上，增加了断点续传的功能，以下仅针对该区别进行说明，其他可参照前述实施例，此处不再赘述。以下继续以数据传送工具代替数据传送客户端为执行主体进行说明。
在本实施例中，数据传送工具(具体为FTP Client)在建立与加载服务器(具体为FTP Server)FTP连接，并开始上传待上传数据至加载服务器时，数据传送工具实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息。
当侦测到上传所述待上传数据至所述加载服务器中断时，数据传送工具基于记录的第二任务执行状态信息确定中断点的位置信息，并基于前述接收的IP地址重新提交上传所述待上传数据的任务，根据确定的中断点的位置信息将待上传数据中未上传的部分数据上传至所述加载服务器，完成整个待上传数据的 上传。
可选地，基于第一实施例，提出了数据传送客户端的第四实施例，对应于前述数据传输方法的第四实施例，在本实施例中，所述待传输数据包括待下载数据，所述连接模块20还可以设置为在接收到所述数据传送执行器返回的连接信息以及令牌信息时，侦测所述加载服务器是否从HDFS集群下载到所述数据传输指令对应的待下载数据；以及在所述加载服务器下载到所述待下载数据时，基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接。
所述传输模块30还可以设置为基于所述数据传输连接从所述加载服务器下载所述待下载数据。
需要说明的是，本实施例对待传输数据为待下载数据进行说明，其他可参照第一实施例，此处不再赘述。
在本实施例中，数据传送客户端实现的数据传输功能基于其运行的数据传送工具实现，结合参照图5，以下以数据传送工具代替数据传送客户端为执行主体进行说明。
用户操作提交数据传输指令，数据传送工具识别到数据传送指令指向的待传输数据为待下载数据，产生数据传输请求并通过HTTP请求的形式提交到ODPP的负载均衡进程Ngnix，由该负载均衡进程进行数据传输请求的分发。其中，数据传送工具指示将数据传输请求分发给数据传送执行器。
数据传送执行器在接收到数据传输请求时，对接收的数据传输请求进行解析，解析出数据传送客户端对应的用户名(即数据传输请求中包括的识别信息)以及用户命令参数(包括上传和下载，此处为下载)，将解析出的用户名发送至认证服务器进行鉴权，由认证服务器根据用户名对用户进行认证、鉴权，如果认证和鉴权通过，则返回给予数据传送客户端的令牌信息；如果认证和鉴权失败，命令执行失败返回。
数据传送执行器对用户的数据传输请求进行调度，根据加载服务器集群的多个加载服务器的负荷情况进行任务调度，获取一台最佳(当前负荷最低的) 的加载服务器。
数据传送执行器向被选中的最佳的加载服务器的Loader进程发送RPC调用请求，提交客户端作业请求。
Loader接收到数据传送执行器的RPC请求后，判断本地是否能够接收该任务，如果可以，则向任务数据库插入一条记录，同时将下载任务加入到待处理任务列表中等待调度执行，并返回成功响应；如果不能完成该任务执行，则向数据传送执行器返回失败响应。
如果数据传送执行器收到RPC成功响应，则将被选中的最佳的加载服务器的IP地址(或者URL、MAC地址等其他连接信息)接收的令牌信息返回给数据传送工具；如果数据传送执行器没有收到RPC成功响应，继续选中一个合适的加载服务器，直到尝试最大次数，若仍失败则向数据传送工具返回失败信息。
Loader调度新的下载任务，将数据下载指令指向的待下载数据从HDFS集群下载到本地硬盘(加载服务器本地硬盘)。
需要说明的是，加载服务器还运行有FTP Server进程，数据传送工具通过其FTP Client进程将数据传送执行器返回的所述IP地址，发送携带令牌信息的建链请求至被选取的最佳的所述加载服务器的FTP Server进程，由FTP Server基于建链请求携带的令牌信息以及用户名进行鉴权(发送至认证服务器进行鉴权，并接收认证服务器返回的鉴权结果)，若鉴权通过则FTP Server与FTP Client建立FTP连接(即前述数据传输连接)，如果鉴权未通过返回异常。
在完成FTP连接的建立之后，FTP Client通过FTP Server将Loader从HDFS集群下载的待下载数据下载到本地硬盘，完成待下载数据的下载。
可选地，在本实施例中，前述Loader在返回RPC成功响应至数据传送执行器时，还同时返回前述下载任务的任务号至数据传送执行器，由数据传送执行器将接收的任务号与接收的认证服务器所返回的令牌信息以及加载服务器的IP地址一起返回给数据传送工具，供数据传输工具基于接收的任务号实时查询Loader是否完成待下载数据的下载。
在下载过程中，Loader实时向任务数据库更新任务状态，其中，任务状态可以包括：已提交、正在运行和已结束。
此外，在本实施例中，数据传送客户端还提供任务状态查询功能给用户。其中，数据传送客户端实现的任务状态查询功能基于其运行的命令行终端实现，以下以命令行终端代替数据传送客户端为执行主体进行说明。
在需要时，用户可以输入对应任务状态查询功能的CLI语句，触发状态查询指令，此时命令行终端将产生携带前述任务号的任务执行状态请求至所述加载服务器，发送到前述任务数据库，由任务数据库根据任务执行状态请求携带的任务号获取Loader下载所述待下载数据而实时更新的任务状态(即任务执行状态信息)，将获取的任务执行状态信息返回至命令行终端进行展示。
命令行终端接收并展示加载服务器(任务数据库)返回的任务执行状态信息。
可选地，还提供一种执行前述数据传输方法的数据传送执行器，对应于前述数据传输方法的第五实施例，参照图8，在本实施例中，所述数据传送执行器可以包括：鉴权模块110、分配模块120和授权模块130。
鉴权模块110设置为在接收到数据传送客户端发送的数据传输请求时，将所述数据传输请求携带的识别信息发送至认证服务器进行鉴权。
分配模块120设置为在接收到所述认证服务器完成鉴权后返回的令牌信息时，为所述数据传送客户端分配加载服务器。
授权模块130设置为将所述令牌信息以及分配的加载服务器的连接信息发送至所述数据传送客户端，以供所述数据传送客户端基于所述令牌信息以及所述连接信息与所述加载服务器建立数据传输连接，进行待传输数据的传输。
需要说明的是，本实施例提出的数据传送执行器应用于图2所示的Hadoop大数据系统的中间件ODPP系统中，设置为配合数据传送客户端实现数据传送客户端和Hadoop系统之间数据传输。其中，有关ODPP的说明可参照前述数据传输方法第一实施例的相关描述，此处不再赘述。
在本实施例中，数据传送客户端实现的数据传输功能基于运行的数据传送工具实现，以下以数据传送工具代替数据传送客户端为执行主体进行说明。
用户通过操作界面提交数据传输指令，表示用户需求在数据传送客户端和Hadoop系统之间进行数据传输操作。
数据传送工具侦测到数据传输指令时，产生数据传输请求并通过HTTP请求的形式提交到ODPP的负载均衡进程Ngnix，由该负载均衡进程进行数据传输请求的分发。其中，数据传送工具指示将数据传输请求分发给数据传送执行器。
数据传送执行器在接收到数据传输请求时，鉴权模块110对接收的数据传输请求进行解析，解析出数据传送客户端对应的用户名(即数据传输请求中包括的识别信息)以及用户命令参数(包括上传和下载)，将解析出的用户名发送至认证服务器进行鉴权。认证服务器根据用户名对用户进行认证、鉴权，如果认证和鉴权通过，则返回给予数据传送客户端的令牌信息；如果认证和鉴权未通过，命令执行失败返回。
数据传送执行器对用户的数据传输请求进行调度。可以为分配模块120根据加载服务器集群的多个加载服务器的负荷情况进行任务调度，选取一台最佳(当前负荷最低的)的加载服务器。授权模块130将被选择的最佳的加载服务器的IP地址(或者URL、MAC地址等)以及接收的令牌信息返回给数据传送工具。
数据传送工具在接收到数据传送执行器返回的令牌信息以及IP地址时，基于所述IP地址发送携带令牌信息的建链请求至选取的所述加载服务器。加载服务器基于建链请求携带的令牌信息以及用户名进行鉴权(发送至认证服务器进行鉴权，并接收认证服务器返回的鉴权结果)，若鉴权通过则与数据传送工具建立数据传输连接，若鉴权为通过则返回异常。其中，建立的数据传送连接的类型可按实际需要进行设置，本实施例不做限制，例如，本实施例数据传送工具和加载服务器建立FTP连接。
需要说明的是，加载服务器运行有Loader进程和FTP Server进程，其中， Loader的可以功能包括：任务调度、任务管理、任务监控、任务查询、文件管理(落地区管理)、HDFS上传与下载，HBASE导入及导出功能等。
在完成FTP连接的建立之后，数据传送工具通过其FTP Client进程与FTP Server交互，实现待传输数据的传输，包括将待传输数据上传至FTP Server，进而由FTP Server将接收的待传输数据上传至HDFS集群；还包括通过FTP Server将待传输数据从HDFS下载到数据传送客户端本地。
可选地，在本实施例中，为提升整个数据传送系统的高可用性，参照图3，数据传送执行器(DTExecutor)以主备方式部署，其中，主数据传送执行器为Acitve状态，备数据传送执行器为Standby状态，一旦出现主数据传送执行器宕机，备数据传送执行器马上接管业务。
可选地，在本实施例中，认证服务器返回给数据传送客户端的令牌信息还设置有生存周期，所述加载服务器在且仅在所述令牌信息的生存周期内且验证所述令牌信息成功时建立与数据传送工具的数据传输连接。在建立数据传输连接之后，若侦测到令牌信息超期，则指示数据传送客户端重新向认证服务器获取令牌信息，并将令牌信息保存到FTP Server。
本实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述方法。
本实施例还提供的一种数据传送客户端的通用硬件结构示意图，如图9所示，该数据传送客户端可以包括：处理器(processor)210和存储器(memory)220；还可以包括通信接口(Communications Interface)230和总线240。
其中，处理器210、存储器220和通信接口230可以通过总线240完成相互间的通信。通信接口230可以用于信息传输。处理器210可以调用存储器220中的逻辑指令，以执行上述实施例的任意一种应用于数据传送客户端侧的方法。
存储器220可以包括存储程序区和存储数据区，存储程序区可以存储操作系统和至少一个功能所需的应用程序。存储数据区可以存储根据数据传送客户 端的使用所创建的数据等。此外，存储器可以包括，例如，随机存取存储器的易失性存储器，还可以包括非易失性存储器。例如至少一个磁盘存储器件、闪存器件或者其他非暂态固态存储器件。
此外，在上述存储器220中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，该逻辑指令可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案可以以计算机软件产品的形式体现出来，该计算机软件产品可以存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本实施例所述方法的全部或部分步骤。
存储介质可以是非暂态存储介质，也可以是暂态存储介质。非暂态存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质。
本领域普通技术人员可理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指示相关的硬件完成的，该程序可存储于一个非暂态计算机可读存储介质中，该程序被执行时，可包括如上述应用于数据传送客户端的方法实施例的流程。
本实施例还提供的一种数据传送执行器的通用硬件结构示意图，如图10所示，该数据传送客户端可以包括：处理器(processor)310和存储器(memory)320；还可以包括通信接口(Communications Interface)330和总线340。
其中，处理器310、存储器320和通信接口330可以通过总线340完成相互间的通信。通信接口330可以用于信息传输。处理器310可以调用存储器320中的逻辑指令，以执行上述实施例的任意一种应用于数据传送执行器侧的方法。
存储器320可以包括存储程序区和存储数据区，存储程序区可以存储操作系统和至少一个功能所需的应用程序。存储数据区可以存储根据数据传送客户 端的使用所创建的数据等。此外，存储器可以包括，例如，随机存取存储器的易失性存储器，还可以包括非易失性存储器。例如至少一个磁盘存储器件、闪存器件或者其他非暂态固态存储器件。
此外，在上述存储器320中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，该逻辑指令可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案可以以计算机软件产品的形式体现出来，该计算机软件产品可以存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本实施例所述方法的全部或部分步骤。
存储介质可以是非暂态存储介质，也可以是暂态存储介质。非暂态存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质。
本领域普通技术人员可理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指示相关的硬件完成的，该程序可存储于一个非暂态计算机可读存储介质中，该程序被执行时，可包括如上述应用于数据传送执行器侧的方法实施例的流程。
工业实用性
本公开提供了一种数据传输方法、数据传输客户端和数据传输服务器，能够提高Hadoop储存数据的安全性。

Claims (14)

  1. 一种数据传输方法，应用于开放式数据处理平台ODPP中间件系统，包括：
    在侦测到数据传输指令时，数据传送客户端发送数据传输请求至数据传送执行器，以供所述数据传送执行器基于接收的数据传输请求为所述数据传送客户端分配加载服务器，将接收的数据传输请求所携带的识别信息发送至认证服务器进行鉴权，以及将所述认证服务器完成鉴权后返回的令牌信息以及数据传送执行器分配的加载服务器的连接信息返回至所述数据传送客户端；
    在接收到所述数据传送执行器返回的连接信息以及令牌信息时，所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接，其中，所述加载服务器仅在验证所述令牌信息成功时与所述数据传送客户端建立数据传输连接；以及
    所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输。
  2. 根据权利要求1所述的方法，其中，所述待传输数据包括待上传数据；
    所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输的步骤包括：所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器，以供所述加载服务器将接收的所述待上传数据上传到分布式文件系统HDFS集群。
  3. 根据权利要求2所述的方法，在所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器之后，还包括：所述数据传送客户端接收所述加载服务器上传所述待上传数据至HDFS集群所返回的任务号；
    在侦测到所述待上传数据的状态查询指令时，所述数据传送客户端发送携带所述任务号的任务执行状态请求至所述加载服务器，以供所述加载服务器基于所述任务执行状态请求携带的所述任务号，返回所述待上传数据至HDFS集群的第一任务执行状态信息；以及
    所述数据传送客户端接收并展示所述加载服务器返回的所述第一任务执行 状态信息。
  4. 根据权利要求2或3所述的方法，其中，在执行所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器的同时，还包括：
    所述数据传送客户端实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息。
  5. 根据权利要求4所述的方法，在所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器的步骤之后，还包括：
    所述数据传送客户端在侦测到上传所述待上传数据至所述加载服务器中断时，基于记录的所述第二任务执行状态信息将所述待上传数据中未上传的部分数据上传至所述加载服务器。
  6. 根据权利要求1所述的方法，其中，所述待传输数据包括待下载数据；
    所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接之前，还包括：
    在接收到所述数据传送执行器返回的连接信息以及令牌信息时，所述数据传送客户端侦测所述加载服务器是否从HDFS集群下载到所述数据传输指令对应的待下载数据；在侦测到所述加载服务器下载到所述待下载数据时，基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接。
  7. 根据权利要求6所述的方法，其中，所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输的步骤包括：
    所述数据传送客户端基于所述数据传输连接从所述加载服务器下载所述待下载数据。
  8. 一种数据传输方法，应用于开放式数据处理平台ODPP中间件系统，包括：
    在接收到数据传送客户端发送的数据传输请求时，数据传送执行器将所述 数据传输请求携带的识别信息发送至认证服务器进行鉴权；
    在接收到所述认证服务器完成鉴权后返回的令牌信息时，所述数据传送执行器为所述数据传送客户端分配加载服务器；以及
    所述数据传送执行器将所述令牌信息以及分配的加载服务器的连接信息发送至所述数据传送客户端，以供所述数据传送客户端基于所述令牌信息以及所述连接信息与所述加载服务器建立数据传输连接，进行待传输数据的传输。
  9. 一种数据传送客户端，应用于ODPP中间件系统，包括：请求模块、连接模块以及传输模块，
    所述请求模块，设置为在侦测到数据传输指令时，发送数据传输请求至数据传送执行器，以供所述数据传送执行器基于接收的数据传输请求为所述数据传送客户端分配加载服务器，将接收的数据传输请求所携带的识别信息发送至认证服务器进行鉴权，以及将所述认证服务器完成鉴权后返回的令牌信息以及数据传送执行器分配的加载服务器的连接信息返回至所述连接模块；
    所述连接模块，设置为在接收到所述数据传送执行器返回的连接信息以及令牌信息时，基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接，其中，所述加载服务器仅在验证所述令牌信息成功时与所述连接模块建立数据传输连接；以及
    所述传输模块，设置为基于所述数据传输连接与所述加载服务器进行待传输数据的传输。
  10. 根据权利要求9所述的数据传送客户端，其中，所述待传输数据包括待上传数据；所述传输模块还设置为基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器，以供所述加载服务器将接收的所述待上传数据上传到HDFS集群；
    所述数据传送客户端还包括：
    状态查询模块，设置为接收所述加载服务器上传所述待上传数据至HDFS集群所返回的任务号；在侦测到所述待上传数据的状态查询指令时，发送携带 所述任务号的任务执行状态请求至所述加载服务器，以供所述加载服务器基于所述任务执行状态请求携带的所述任务号，返回其上传所述待上传数据至HDFS集群的第一任务执行状态信息；以及接收并展示所述加载服务器返回的所述第一任务执行状态信息。
  11. 根据权利要求10所述的数据传送客户端，其中，所述传输模块还设置为，实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息；以及在侦测到上传所述待上传数据至所述加载服务器中断时，基于记录的所述第二任务执行状态信息将所述待上传数据中未上传的部分数据上传至所述加载服务器。
  12. 根据权利要求9所述的数据传送客户端，其中，所述待传输数据包括待下载数据；所述连接模块还设置为在接收到所述数据传送执行器返回的连接信息以及令牌信息时，侦测所述加载服务器是否从HDFS集群下载到所述数据传输指令对应的待下载数据；以及在所述加载服务器下载到所述待下载数据时，基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接；
    所述传输模块还设置为基于所述数据传输连接从所述加载服务器下载所述待下载数据。
  13. 一种数据传送执行器，应用于ODPP中间件系统，包括：
    鉴权模块，设置为在接收到数据传送客户端发送的数据传输请求时，将所述数据传输请求携带的识别信息发送至认证服务器进行鉴权；
    分配模块，设置为在接收到所述认证服务器完成鉴权后返回的令牌信息时，为所述数据传送客户端分配加载服务器；以及
    授权模块，设置为将所述令牌信息以及分配的加载服务器的连接信息发送至所述数据传送客户端，以供所述数据传送客户端基于所述令牌信息以及所述连接信息与所述加载服务器建立数据传输连接，进行待传输数据的传输。
  14. 一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-7或8任一项所述的数据传输方法。
PCT/CN2017/087106 2016-06-03 2017-06-02 数据传输方法、数据传送客户端及数据传送执行器 WO2017206960A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610389651.3A CN107465644B (zh) 2016-06-03 2016-06-03 数据传输方法、数据传送客户端及数据传送执行器
CN201610389651.3 2016-06-03

Publications (1)

Publication Number Publication Date
WO2017206960A1 true WO2017206960A1 (zh) 2017-12-07

Family

ID=60478576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/087106 WO2017206960A1 (zh) 2016-06-03 2017-06-02 数据传输方法、数据传送客户端及数据传送执行器

Country Status (2)

Country Link
CN (1) CN107465644B (zh)
WO (1) WO2017206960A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115529308A (zh) * 2022-09-21 2022-12-27 上海浦东发展银行股份有限公司 文件交互方法、装置、计算机设备、存储介质
CN116743511A (zh) * 2023-08-15 2023-09-12 中移(苏州)软件技术有限公司 一种鉴权方法、装置、服务器及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647039A (zh) * 2018-04-10 2018-10-12 北京奇安信科技有限公司 一种数据升级的处理方法及装置
CN108880912A (zh) * 2018-07-18 2018-11-23 北京力尊信通科技股份有限公司 一种it运维控制系统及方法
CN112039941B (zh) * 2020-07-08 2023-02-28 广东易达电子科技有限公司 一种数据传输方法、设备及介质
CN115277834B (zh) * 2022-07-29 2024-03-29 苏州创意云网络科技有限公司 任务数据的处理方法、装置和服务器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457555A (zh) * 2010-10-28 2012-05-16 中兴通讯股份有限公司 一种分布式存储的安全系统及方法
US20130185337A1 (en) * 2012-01-18 2013-07-18 Cloudera, Inc. Memory allocation buffer for reduction of heap fragmentation
CN103324539A (zh) * 2013-06-24 2013-09-25 浪潮电子信息产业股份有限公司 一种作业调度管理系统及方法
US20140040575A1 (en) * 2012-08-01 2014-02-06 Netapp, Inc. Mobile hadoop clusters
CN104363095A (zh) * 2014-11-12 2015-02-18 浪潮(北京)电子信息产业有限公司 一种hadoop的身份认证机制构建方法
CN104506514A (zh) * 2014-12-18 2015-04-08 华东师范大学 一种基于hdfs的云存储访问控制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100417065C (zh) * 2004-06-23 2008-09-03 北京邮电大学 基于混合架构和多安全机制的网络考试系统及其实现方法
CN101414907B (zh) * 2008-11-27 2011-10-26 北京邮电大学 一种基于用户身份授权访问网络的方法和系统
US8635373B1 (en) * 2012-09-22 2014-01-21 Nest Labs, Inc. Subscription-Notification mechanisms for synchronization of distributed states
US8539567B1 (en) * 2012-09-22 2013-09-17 Nest Labs, Inc. Multi-tiered authentication methods for facilitating communications amongst smart home devices and cloud-based servers
US9118650B1 (en) * 2013-09-23 2015-08-25 Amazon Technologies, Inc. Persistent connections for email web applications
CN104754009A (zh) * 2013-12-31 2015-07-01 中国移动通信集团广东有限公司 一种服务获取调用方法、装置以及客户端和服务器
CN104410675A (zh) * 2014-11-12 2015-03-11 北京奇虎科技有限公司 数据传输方法、数据系统及相关装置
CN105007302B (zh) * 2015-06-04 2018-05-15 广东省国际工程咨询有限公司 一种移动终端数据存储方法
CN105391969A (zh) * 2015-12-14 2016-03-09 广东亿迅科技有限公司 一种分布式视频会议系统及终端入会的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457555A (zh) * 2010-10-28 2012-05-16 中兴通讯股份有限公司 一种分布式存储的安全系统及方法
US20130185337A1 (en) * 2012-01-18 2013-07-18 Cloudera, Inc. Memory allocation buffer for reduction of heap fragmentation
US20140040575A1 (en) * 2012-08-01 2014-02-06 Netapp, Inc. Mobile hadoop clusters
CN103324539A (zh) * 2013-06-24 2013-09-25 浪潮电子信息产业股份有限公司 一种作业调度管理系统及方法
CN104363095A (zh) * 2014-11-12 2015-02-18 浪潮(北京)电子信息产业有限公司 一种hadoop的身份认证机制构建方法
CN104506514A (zh) * 2014-12-18 2015-04-08 华东师范大学 一种基于hdfs的云存储访问控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115529308A (zh) * 2022-09-21 2022-12-27 上海浦东发展银行股份有限公司 文件交互方法、装置、计算机设备、存储介质
CN116743511A (zh) * 2023-08-15 2023-09-12 中移(苏州)软件技术有限公司 一种鉴权方法、装置、服务器及存储介质
CN116743511B (zh) * 2023-08-15 2023-11-03 中移(苏州)软件技术有限公司 一种鉴权方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN107465644B (zh) 2021-02-23
CN107465644A (zh) 2017-12-12

Similar Documents

Publication Publication Date Title
WO2017206960A1 (zh) 数据传输方法、数据传送客户端及数据传送执行器
EP2585988B1 (en) Provisioning multiple network resources
WO2020062131A1 (zh) 一种基于区块链技术的容器云管理系统
US7886341B2 (en) External authentication against a third-party directory
US10637676B2 (en) Method, apparatus, and system for managing follower accounts in groups
US20180167334A9 (en) Concurrent Web Based Multitasking Support For Computing System
US8590025B2 (en) Techniques for accessing a backup system
US9137172B2 (en) Managing multiple proxy servers in a multi-tenant application system environment
JP5296726B2 (ja) Ｗｅｂコンテンツ提供システム、Ｗｅｂサーバ、コンテンツ提供方法、及びこれらのプログラム
US20190320009A1 (en) End-to-end file transmission method and system thereof
JP2010267032A5 (zh)
WO2021068525A1 (zh) 远程控制服务器方法、装置、计算机设备及存储介质
CN108289074B (zh) 用户账号登录方法及装置
US8725887B2 (en) License management system and function providing device
EP2808820A1 (en) Method of changing password in an industrial automation and control system
JP2006244146A (ja) コンテンツ管理システム
CN108512761A (zh) 文件传输调度方法、管理平台、请求平台以及存储介质
JP4792936B2 (ja) 情報処理システムおよびライセンス管理方法
JP2006508415A (ja) データを配布する方法及びシステム
WO2022174786A1 (zh) 施工任务派单方法及系统
CN101478571A (zh) 网络视频监控系统及其系统用户认证方法
JP4554581B2 (ja) ジョブ管理装置、システムおよびプログラム
US20140280347A1 (en) Managing Digital Files with Shared Locks
JP6415155B2 (ja) サーバシステム、方法、およびそのプログラム
JP2015082183A (ja) 文書生成システム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17805905

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17805905

Country of ref document: EP

Kind code of ref document: A1