WO2017092414A1 - 一种数据云存储系统、客户终端、存储服务器及应用方法 - Google Patents

一种数据云存储系统、客户终端、存储服务器及应用方法 Download PDF

Info

Publication number
WO2017092414A1
WO2017092414A1 PCT/CN2016/096344 CN2016096344W WO2017092414A1 WO 2017092414 A1 WO2017092414 A1 WO 2017092414A1 CN 2016096344 W CN2016096344 W CN 2016096344W WO 2017092414 A1 WO2017092414 A1 WO 2017092414A1
Authority
WO
WIPO (PCT)
Prior art keywords
storage
target data
data
client terminal
service center
Prior art date
Application number
PCT/CN2016/096344
Other languages
English (en)
French (fr)
Inventor
金升鹏
林起芊
汪渭春
熊银梅
Original Assignee
杭州海康威视数字技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州海康威视数字技术股份有限公司 filed Critical 杭州海康威视数字技术股份有限公司
Priority to EP16869725.8A priority Critical patent/EP3386168B1/en
Priority to US15/781,312 priority patent/US10623516B2/en
Publication of WO2017092414A1 publication Critical patent/WO2017092414A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656Data buffering arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/40Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation

Abstract

一种数据云存储系统、客户终端、存储服务器及应用方法,该数据存储方法包括:向调度管理服务中心发送存储服务器查询请求;调度管理服务中心正常运行时,接收并缓存第一地址信息,异常运行时从缓存的第一地址信息中选择第一地址信息;向其对应的存储服务器发送资源请求;使得该存储服务器为目标数据分配存储单元,生成存储资源信息;继续向该存储服务器发送数据存储请求,使得存储服务器根据目标数据的属性信息,生成数据索引信息,将目标数据存储到为其分配的存储单元中。应用本申请实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、查询和下载,降低了数据云存储系统对调度管理服务中心故障的敏感程度。

Description

一种数据云存储系统、客户终端、存储服务器及应用方法
本申请要求于2015年12月03日提交中国专利局、申请号为201510883969.2发明名称为“一种数据云存储系统、客户终端、存储服务器及应用方法”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及互联网技术领域,特别是涉及一种数据云存储系统、客户终端、存储服务器及应用方法。
背景技术
随着互联网技术的不断进步,云存储技术在数据存储中显示出突出的优势,用户可以将数据存储于云存储系统中。例如,视频监控领域常将大量视频数据存储于通过云存储技术所实现的数据云存储系统中。目前,数据云存储系统多为主从架构的分布式系统,主节点(即调度管理服务中心)能够管理该系统中各个从节点(即存储服务器),当主节点出现故障时,整个数据云存储系统将无法正常运行,显然,该数据云存储系统对主节点的运行状态是非常敏感的。
为了解决主节点出现故障时所导致的整个数据云存储系统无法正常运行的问题,现有技术中提供了一种双机热备的方法:该系统中有两个主节点(主节点A和主节点A′)同时运行,如果当前正在运行的主节点A出现故障时,立即切换至备用的主节点A′,从而保障了整个数据云存储系统能够继续正常运行。
可见,上述方法能够在一定程度上保证数据云存储系统的正常运行,但该方法仅仅是由备用的主节点A′在当前正在运行的主节点A出现故障时替代其运行以保障该系统的正常运行的,假设,当主节点A还未恢复至正常运行状态而备用的主节点也出现故障的情况下,该数据云存储系统将同样无法正常运行,显然,该数据云存储系统对主节点或备用主节点的运行状态仍然非常敏感。
发明内容
本申请提供了一种数据云存储系统、客户终端、存储服务器及应用方法,以实现在数据云存储系统中的主节点出现故障的情况下保障该系统能够继续进行数据存储、数据查询和数据下载,降低该数据云存储系统对调度管理服务中心故障的敏感程度。
为达到上述目的,本申请实施例公开了一种数据存储方法,应用于数据云存储系统中的客户终端,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,该方法包括:
向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;
向第一地址信息对应的存储服务器发送资源请求;使得该存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息,并向客户终端反馈资源请求响应;
收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求,使得所述存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
可选的,若在向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求后,接收到调度管理服务中心发送的自身故障信息或检测到与调度管理服务中心之间的网络连接异常,则判定调度管理服务中心异常运行。
为达到上述目的,本申请实施例公开了一种数据访问方法,应用于数据云存储系统中的客户终端,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通 信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,该方法包括:
向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;
向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;使得所述存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;将所述第二地址信息返回给客户终端。
可选的,还包括:
向第一地址信息对应的存储服务器发送包含目标数据的标识和所述第二地址信息的数据下载请求;使得所述存储服务器根据所述目标数据的标识,查找到在存储该目标数据过程中生成的数据索引信息;
根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
为达到上述目的,本申请实施例公开了一种数据存储方法,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
接收客户终端发送的包含目标数据的标识的资源请求;
根据所述资源请求为该目标数据分配存储单元,生成所述目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
向客户终端反馈资源请求响应,以使得客户终端收到所述资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数 据存储请求;
根据目标数据的属性信息,生成所述目标数据的数据索引信息;
根据所述目标数据的存储资源信息,将目标数据存储到所述第二地址信息对应的存储单元中。
可选的,所述目标数据包括:视频流数据或视频文件数据。
可选的,当所述目标数据为监控系统的视频流数据时,所述目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所述生成的目标数据的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储所述视频流数据的存储单元的对应关系;
所述生成的目标数据的数据索引信息,至少包括视频编码器的唯一ID与视频流数据中关键视频帧的时间点的对应关系;
所述根据所述目标数据的存储资源信息,将目标数据存储到为其分配的存储单元中,包括:获取客户终端发送的资源请求中所包含的视频流数据对应的视频编码器的唯一ID;根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储所述视频流数据的存储单元;将所述目标数据存储至确定出的存储服务器的存储单元中。
可选的,包括:将存储资源信息发送给调度管理服务中心,使得调度管理服务中心根据每个存储服务器上报的硬件资源信息和存储资源信息,确定各个存储服务器的使用状态,并在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储所述目标数据的存储服务器,并存储所述目标数据的标识及其所在存储服务器的节点信息。
为达到上述目的,本申请实施例公开了一种数据访问方法,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
接收客户终端发送的包含目标数据的标识的数据查询请求;
根据所述目标数据的标识,查找到该目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
根据查找到的存储资源信息,确定存储该目标数据的存储单元;
将存储该目标数据的存储单元的第二地址信息返回给客户终端。
可选的,所述目标数据包括:视频流数据或视频文件数据。
可选的,当所述目标数据为监控系统的视频流数据时,所述目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID(Identifer,识别码);
所述查找到的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储所述视频流数据的存储单元的对应关系;
所述根据查找到的存储资源信息,确定存储该目标数据的存储单元,包括:获取客户终端发送的数据查找请求中所包含的视频流数据对应的视频编码器的唯一ID;根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储所述视频流数据的存储单元。
可选的,还包括:
接收客户终端发送的包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;
根据所述目标数据的标识,查找到该目标数据的数据索引信息;根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
可选的,当所述目标数据为监控系统的视频流数据时,所述目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所述查找到的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储所述视频流数据的存储单元的对应关系;
所述查找到的数据索引信息,至少包括视频编码器的唯一ID与视频流数据中关键视频帧的时间点的对应关系;
所述根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端,包括:获取客户终端发送的数据下载请求中所包含的视频流数据对应的视频编码器的唯一ID;根据视 频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储所述视频流数据的存储单元;根据视频编码器的唯一ID与视频数流数据中关键视频帧的时间点的对应关系,获得所述目标数据在所确定出的存储单元内的时间偏移量,根据该时间偏移量,获取待下载的目标数据,并将该目标数据返回给客户终端。
为达到上述目的,本申请实施例公开了一种客户终端,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
通信接口,用于与调度管理服务中心和各个存储服务器进行网络通信;
处理器,用于向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;向第一地址信息对应的存储服务器发送资源请求;使得该存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息,并向客户终端反馈资源请求响应;收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求,使得所述存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
为达到上述目的,本申请实施例公开了一种客户终端,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
通信接口,用于与调度管理服务中心和各个存储服务器进行网络通信;
处理器,用于向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;使得所述存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;将所述第二地址信息返回给客户终端。
可选的,所述的处理器,向第一地址信息对应的存储服务器发送包含目标数据的标识和所述第二地址信息的数据下载请求;使得所述存储服务器根据所述目标数据的标识,查找到在存储该目标数据过程中生成的数据索引信息;根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
为达到上述目的,本申请实施例公开了一种存储服务器,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
存储器,包含多个存储单元,用于存储数据;
通信接口,用于与各个客户终端进行网络通信;
处理器,用于接收客户终端发送的包含目标数据的标识的资源请求;
根据所述资源请求为该目标数据分配存储单元,生成所述目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;向客户终端反馈资源请求响应,以使得客户终端收到所述资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求;根据目标数据的属性信息,生成所述目标数据的数据索引信息;根据所述目标数据的存储资源信息,将目标数据存储到所述第二地址信息对应的存储单元中。
为达到上述目的,本申请实施例公开了一种存储服务器,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
存储器,包含多个存储单元,用于存储数据;
通信接口,用于与各个客户终端进行网络通信;
处理器,用于接收客户终端发送的包含目标数据的标识的数据查询请求;根据所述目标数据的标识,查找到该目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;根据查找到的存储资源信息,确定存储该目标数据的存储单元;将存储该目标数据的存储单元的第二地址信息返回给客户终端。
可选的,所述的通信接口与调度管理服务中心进行网络通信,将处理器生成的硬件资源信息和存储资源信息上报给调度管理服务中心。
可选的,所述的处理器,接收客户终端发送的包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;根据所述目标数据的标识,查找到该目标数据的数据索引信息;根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
为达到上述目的,本申请实施例公开了一种数据存储方法,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;并缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第 一地址信息;
客户终端向第一地址信息对应的存储服务器发送资源请求;
存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
存储服务器向客户终端反馈资源请求响应;
客户终端收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求;
存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
可选的,所述调度管理服务中心,根据每个存储服务器上报的硬件资源信息和存储资源信息,确定各个存储服务器的使用状态;在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储所述目标数据的存储服务器,并存储所述目标数据的标识及其所在存储服务器的节点信息。
为达到上述目的,本申请实施例公开了一种数据访问方法,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;并缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;
客户终端向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;
存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生 成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
存储服务器将所述第二地址信息返回给客户终端。
可选的,所述客户终端向所述存储服务器发送包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;
所述存储服务器根据所述目标数据的标识,查找到该目标数据的数据索引信息;并根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
为了实现上述目的,本申请实施例还提供了一种存储介质,所述存储介质用于存储可执行代码,所述可执行代码被运行以执行上述的一种数据存储方法,或一种数据访问方法。
为了实现上述目的,本申请实施例还提供了一种应用程序,其中,该应用程序用于在运行时执行本上述的一种数据存储方法,或一种数据访问方法。
由上述的技术方案可见,本申请实施例提供的一种数据云存储系统、客户终端、存储服务器及应用方法,可以由客户终端向调度管理服务中心发送存储服务器查询请求;在调度管理服务中心正常运行时,客户终端接收并缓存第一地址信息,在调度管理服务中心异常运行时,客户终端可以从缓存的第一地址信息中选择第一地址信息;并向该第一地址信息对应的存储服务器发送资源请求;该存储服务器为该目标数据分配存储单元,并由该存储服务器生成目标数据的存储资源信息;该客户终端可以继续向该存储服务器发送数据存储请求,存储服务器在接收到客户终端发送数据存储请求之后,根据目标数据的属性信息,生成数据索引信息,并将该目标数据存储到为其分配的存储单元中。应用本申请实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心的故障的敏感程度。
附图说明
为了更清楚地说明本申请实施例和现有技术的技术方案,下面对实施例和现有技术中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出 创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种应用于数据云存储系统中的客户终端的数据存储方法的流程示意图;
图2是本申请实施例提供的一种应用于数据云存储系统中的客户终端的数据访问方法的流程示意图;
图3是本申请实施例提供的另一种应用于数据云存储系统中的客户终端的数据访问方法的流程示意图;
图4是本申请实施例提供的一种应用于数据云存储系统中的存储服务器的数据存储方法的流程示意图;
图5是本申请实施例提供的一种应用于数据云存储系统中的存储服务器的数据访问方法的流程示意图;
图6是本申请实施例提供的另一种应用于数据云存储系统中的存储服务器的数据访问方法的流程示意图;
图7是本申请实施例提供的一种应用于数据云存储系统的客户终端的结构示意图;
图8是本申请实施例提供的另一种应用于数据云存储系统的客户终端的结构示意图;
图9是本申请实施例提供的一种应用于数据云存储系统中的存储服务器的存储服务器的结构示意图;
图10是本申请实施例提供的一种应用于数据云存储系统中的存储服务器的存储服务器的结构示意图;
图11是本申请实施例提供的一种应用于数据云存储系统的数据存储方法的流程示意图;
图12是本申请实施例提供的一种应用于数据云存储系统的数据访问方法的流程示意图;
图13是本申请实施例提供的另一种应用于数据云存储系统的数据访问方法的流程示意图。
具体实施方式
为使本申请的目的、技术方案、及优点更加清楚明白,以下参照附图并 举实施例,对本申请进一步详细说明。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的一种应用于数据云存储系统中的客户终端的数据存储方法的流程示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该客户终端与调度管理服务中心通信连接,该客户终端与多个存储服务器通信连接,该调度管理服务中心与多个存储服务器通信连接。
具体的,该数据存储方法可以包括以下步骤:
步骤S101:向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求。
这里提及的“调度管理服务中心”,可以是由一台调度管理服务器搭建构成的,也可以是由多台调度管理服务器构成的一个集群来实现的,等等。本申请不需要对调度管理服务中心的具体搭建形式进行限定,本领域内的技术人员需要根据具体情况进行合理的设置。
需要说明的是,客户终端发送的包含目标数据的标识的存储服务器查询请求,是为了获得针对该目标数据的存储、访问(查询或下载)而分配的存储服务器的第一地址信息,该第一地址信息可以是存储服务器的IP地址或域名信息,等等。当然,本申请实施例不需要对该第一地址信息的具体形式进行限定,任何可能的实现方式均可以应用于本申请,本领域内的技术人员需要根据实际应用情况进行设置。
在本申请的一种具体实现方式中,调度管理服务中心可以根据每个存储服务器上报的硬件资源信息(例如,存储服务器的CPU使用情况、内存大小,等等)和存储资源信息,确定各个存储服务器的使用状态。
具体的,调度管理服务器可以根据每个存储服务器上报的存储服务器的CUP使用情况和内存大小,确定该存储服务器的硬件是否能够支持存储更多的数据。然后再根据能够支持存储更多的数据的各个存储服务器的存储资源信息,确定各个存储服务器的使用状态。
在本申请的一种具体实施例中,在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储该目标数据的存储服务器,并存储该目标数据的标识及其所在存储服务器的节点信息。
步骤S102:在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储该目标数据的存储服务器的第一地址信息;缓存该目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,从缓存的第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息。
在本申请的一种具体实施例中,若在向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求后,接收到调度管理服务中心发送的自身故障信息或检测到与调度管理服务中心之间的网络连接异常,则判定调度管理服务中心异常运行。
需要说明的是,调度管理服务中心处于异常运行状态,可以包括以下两类情况:第一类,调度管理服务中心与客户终端之间的网络连接正常,但是,调度管理服务中心自身出现故障,确定该种情况下调度管理服务中心处于异常运行状态;第二类,调度管理服务中心与客户终端之间的网络连接异常,此时,不管调度管理服务中心自身是否出现故障,均确定该种情况下调度管理服务中心处于异常运行状态。本申请实施例不需要对调度管理服务中心异常运行的具体情况进行限定。
步骤S103:向第一地址信息对应的存储服务器发送资源请求;使得该存储服务器根据该资源请求,生成该目标数据的数据索引信息和存储资源信息,该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息,并向客户终端反馈资源请求响应。
这里提到的“存储资源信息”是指目标数据的标识与第一地址信息对应的存储服务器中用于存储该目标数据的存储单元的对应关系。在目标数据的查询与下载过程中,存储服务器可以根据该存储资源信息,确定出用于存储该目标数据的存储单元。
步骤S104:收到存储服务器反馈的资源请求响应后,向第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求,使得该存储服 务器根据该目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
由此可见,应用本申请实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图2为本申请实施例提供的一种应用于数据云存储系统中的客户终端的数据访问方法的流程示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该客户终端与调度管理服务中心通信连接,该客户终端与多个存储服务器通信连接,该调度管理服务中心与多个存储服务器通信连接。
具体的,该数据访问方法可以包括以下步骤:
步骤S201:向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求。
步骤S202:在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储该目标数据的存储服务器的第一地址信息;缓存该目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息。
步骤S203:向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;使得存储服务器根据该目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;将该第二地址信息返回给客户终端。
由此可见,应用本申请实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图3为本申请实施例提供的另一种应用于数据云存储系统中的客户终端的数据访问方法的流程示意图,在图2所示方法实施例基础之上,还可以包 括以下步骤:
步骤S204:向第一地址信息对应的存储服务器发送包含目标数据的标识和该第二地址信息的数据下载请求;使得该存储服务器根据该目标数据的标识,查找到在存储该目标数据过程中生成的数据索引信息。
步骤S205:根据查找到的数据索引信息和该第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
由此可见,应用本申请实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图4为本申请实施例提供的一种应用于数据云存储系统中的存储服务器的数据存储方法的流程示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该存储服务器与调度管理服务中心通信连接,该存储服务器与客户终端通信连接,该客户终端与调度管理服务中心通信连接。
具体的,该数据存储方法可以包括以下步骤:
步骤S301:接收客户终端发送的包含目标数据的标识的资源请求。
步骤S302:根据该资源请求为该目标数据分配存储单元,生成该目标数据的存储资源信息;该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息。
步骤S303:向客户终端反馈资源请求响应,以使得客户终端收到该资源请求响应后,向该第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求。
步骤S304:根据目标数据的属性信息,生成该目标数据的数据索引信息。
具体的,目标数据的属性信息可以是目标数据的时间戳,等等,本申请并不对目标数据的属性信息进行限定。
步骤S305:根据该目标数据的存储资源信息,将目标数据存储到该第二地址信息对应的存储单元中。
其中,所说的目标数据可以包括:视频流数据或视频文件数据。
在本申请的一种具体实现方式中,当该目标数据为监控系统的视频流数据时,所说的目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所说的生成的目标数据的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储该视频流数据的存储单元的对应关系;
所说的生成的目标数据的数据索引信息,至少包括视频编码器的唯一ID与视频流数据中关键视频帧的时间点的对应关系。
其中,关键视频帧的时间点可以包括以下两种情况:
(1)关键视频帧的编码时间戳。通常,视频流数据中的关键视频帧携带一个编码时间戳,因此,当存储服务器对该视频流数据进行视频解码时能够解码得到该编码时间戳的情况下,将该时间戳记录为关键视频帧的时间点。
(2)关键视频帧的存储时间点。当存储服务器对该视频流数据进行视频解码时无法提取到该编码时间戳的情况下,可以将存储该关键视频帧的时间点确定为关键视频帧的时间点。
需要说明的是,上述仅仅是对关键视频帧的时间点的具体情况的举例,本申请实施例不需要对如何确定该关键视频帧的时间点的具体方式进行限定,任何可能的实现方式均可以应用于本申请,本领域内的技术人员需要根据实际应用中的具体情况进行合理的设置。
具体的,根据该目标数据的存储资源信息,将目标数据存储到为其分配的存储单元中,可以包括以下步骤:
(1)获取客户终端发送的资源请求中所包含的视频流数据对应的视频编码器的唯一ID;
(2)根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储该视频流数据的存储单元;
(3)将该目标数据存储至确定出的存储服务器的存储单元中。
作为本申请的一种实施方式,图4所示的数据存储方法可以包括:将存储资源信息发送给调度管理服务中心,使得调度管理服务中心根据每个存储服务器上报的硬件资源信息和存储资源信息,确定各个存储服务器的使用状 态,并在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储该目标数据的存储服务器,并存储该目标数据的标识及其所在存储服务器的节点信息。
由此可见,应用本申请实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图5为本申请实施例提供的一种应用于数据云存储系统中的存储服务器的数据访问方法的流程示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该存储服务器与调度管理服务中心通信连接,该存储服务器与客户终端通信连接,该客户终端与调度管理服务中心通信连接。
具体的,该数据访问方法可以包括以下步骤:
步骤S401:接收客户终端发送的包含目标数据的标识的数据查询请求。
步骤S402:根据该目标数据的标识,查找到该目标数据的存储资源信息;该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息。
步骤S403:根据查找到的存储资源信息,确定存储该目标数据的存储单元。
步骤S404:将存储该目标数据的存储单元的第二地址信息返回给客户终端。
其中,所说的目标数据包括:视频流数据或视频文件数据。
在本申请的一种具体实现方式中,当该目标数据为监控系统的视频流数据时,该目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所说的查找到的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储该视频流数据的存储单元的对应关系;
具体的,根据查找到的存储资源信息,确定存储该目标数据的存储单元,可以包括:
(1)获取客户终端发送的数据查找请求中所包含的视频流数据对应的视 频编码器的唯一ID;
(2)根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储该视频流数据的存储单元。
由此可见,应用本申请实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图6为本申请实施例提供的另一种应用于数据云存储系统中的存储服务器的数据访问方法的流程示意图,在图5所示方法实施例基础之上,还可以包括以下步骤:
步骤S405:接收客户终端发送的包含目标数据的标识和经查询获得的第二地址信息的数据下载请求。
步骤S406:根据该目标数据的标识,查找到该目标数据的数据索引信息;根据查找到的数据索引信息和该第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
其中,所说的目标数据包括:视频流数据或视频文件数据。
在本申请的一种具体实现方式中,当该目标数据为监控系统的视频流数据时,该目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所说的查找到的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储该视频流数据的存储单元的对应关系;
所说的查找到的数据索引信息,至少包括视频编码器的唯一ID与视频流数据中关键视频帧的时间点的对应关系;
具体的,根据查找到的数据索引信息和该第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端,可以包括:
(1)获取客户终端发送的数据下载请求中所包含的视频流数据对应的视频编码器的唯一ID;
(2)根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储该视频流数据的存储单元;
(3)根据视频编码器的唯一ID与视频数流数据中关键视频帧的时间点 的对应关系,获得该目标数据在所确定出的存储单元内的时间偏移量,根据该时间偏移量,获取待下载的目标数据,并将该目标数据返回给客户终端。
由此可见,应用本申请实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图7为本申请实施例提供的一种应用于数据云存储系统的客户终端的结构示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该客户终端与调度管理服务中心通信连接,该客户终端与多个存储服务器通信连接,该调度管理服务中心与多个存储服务器通信连接。
具体的,该客户终端可以包括:通信接口501和处理器502。
其中,通信接口501,用于与调度管理服务中心和各个存储服务器进行网络通信;
处理器502,用于向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储该目标数据的存储服务器的第一地址信息;缓存该目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,从缓存的该第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;向第一地址信息对应的存储服务器发送资源请求;使得该存储服务器根据该资源请求,生成该目标数据的数据索引信息和存储资源信息,该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息,并向客户终端反馈资源请求响应;收到存储服务器反馈的资源请求响应后,向该第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求,使得该存储服务器根据该目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
图8为本申请实施例提供的另一种应用于数据云存储系统的客户终端的结构示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该客户终端与调度管理服务中心通信连接,该客户终端 与多个存储服务器通信连接,该调度管理服务中心与多个存储服务器通信连接。
具体的,该客户终端可以包括:通信接口601和处理器602。
其中,通信接口601,用于与调度管理服务中心和各个存储服务器进行网络通信;
处理器602,用于向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储该目标数据的存储服务器的第一地址信息;缓存该目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;使得该存储服务器根据该目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;将该第二地址信息返回给客户终端。
在本申请的一种具体实现方式中,处理器602向第一地址信息对应的存储服务器发送包含目标数据的标识和该第二地址信息的数据下载请求;使得该存储服务器根据该目标数据的标识,查找到在存储该目标数据过程中生成的数据索引信息;根据查找到的数据索引信息和该第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
图9为本申请实施例提供的一种应用于数据云存储系统中的存储服务器的存储服务器的结构示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该存储服务器与调度管理服务中心通信连接,该存储服务器与客户终端通信连接,该客户终端与调度管理服务中心通信连接。
具体的,该存储服务器可以包括:存储器701、通信接口702和处理器703。
存储器701,包含多个存储单元,用于存储数据;
通信接口702,用于与各个客户终端进行网络通信;
处理器703,用于接收客户终端发送的包含目标数据的标识的资源请求;
根据该资源请求为该目标数据分配存储单元,生成该目标数据的存储资源信息;该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;向客户终端反馈资源请求响应,以使得客户终端收到该资源请求响应后,向该第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求;根据目标数据的属性信息,生成该目标数据的数据索引信息;根据该目标数据的存储资源信息,将目标数据存储到该第二地址信息对应的存储单元中。
图10为本申请实施例提供的一种应用于数据云存储系统中的存储服务器的存储服务器的结构示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该存储服务器与调度管理服务中心通信连接,该存储服务器与客户终端通信连接,该客户终端与调度管理服务中心通信连接。
具体的,该存储服务器可以包括:存储器801、通信接口802和处理器803
存储器801,包含多个存储单元,用于存储数据;
通信接口802,用于与各个客户终端进行网络通信;
处理器803,用于接收客户终端发送的包含目标数据的标识的数据查询请求;根据该目标数据的标识,查找到该目标数据的存储资源信息;该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;根据查找到的存储资源信息,确定存储该目标数据的存储单元;将存储该目标数据的存储单元的第二地址信息返回给客户终端。
在本申请的一种具体实现方式中,该通信接口802与调度管理服务中心进行网络通信,将处理器803生成的硬件资源信息和存储资源信息上报给调度管理服务中心。
在本申请的一种具体实现方式中,该处理器803,接收客户终端发送的包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;根据该目标数据的标识,查找到该目标数据的数据索引信息;根据查找到的数据索引 信息和该第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
由此可见,应用本申请实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图11为本申请实施例提供的一种应用于数据云存储系统的数据存储方法的流程示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该客户终端与调度管理服务中心通信连接,该客户终端与多个存储服务器通信连接,该调度管理服务中心与多个存储服务器通信连接。
具体的,该数据存储方法可以包括以下步骤:
步骤S901:客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求。
步骤S902:在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送的用于存储该目标数据的存储服务器的第一地址信息;并缓存该目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端从缓存的该第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息。
步骤S903:客户终端向第一地址信息对应的存储服务器发送资源请求。
步骤S904:存储服务器根据该资源请求,生成该目标数据的数据索引信息和存储资源信息,该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息。
需要说明的是,这里提及的第二地址信息可以是存储单元在该存储服务器中的物理地址,客户终端可以根据接收到的第二地址信息生成针对目标数据的查询路径,客户终端可以将生成的该查询路径输出给用户,以供用户基于该查询路径来进行数据下载。
步骤S905:存储服务器向客户终端反馈资源请求响应。
步骤S906:客户终端收到存储服务器反馈的资源请求响应后,向该第一 地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求。
步骤S907:存储服务器根据该目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
在本申请的一种具体实现方式中,该调度管理服务中心,根据每个存储服务器上报的硬件资源信息和存储资源信息,确定各个存储服务器的使用状态;在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储该目标数据的存储服务器,并存储该目标数据的标识及其所在存储服务器的节点信息。
由此可见,应用本申请实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图12为本申请实施例提供的一种应用于数据云存储系统的数据访问方法的流程示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该客户终端与调度管理服务中心通信连接,该客户终端与多个存储服务器通信连接,该调度管理服务中心与多个存储服务器通信连接。
具体的,该数据访问方法可以包括以下步骤:
步骤S1101:客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求。
步骤S1102:在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送的用于存储该目标数据的存储服务器的第一地址信息;并缓存该目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息。
步骤S1103:客户终端向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求。
步骤S1104:存储服务器根据该目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,该存储资源信息包含目标数据的标识和用于存 储该目标数据的存储单元的第二地址信息。
步骤S1105:存储服务器将该第二地址信息返回给客户终端。
图13为本申请实施例提供的另一种应用于数据云存储系统的数据访问方法的流程示意图,在图12所示方法实施例基础之上,还可以包括以下步骤:
步骤S1106:该客户终端向该存储服务器发送包含目标数据的标识和经查询获得的第二地址信息的数据下载请求。
步骤S1107:该存储服务器根据该目标数据的标识,查找到该目标数据的数据索引信息;并根据查找到的数据索引信息和该第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
由此可见,应用本申请实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
下面结合具体实施例,对本申请实施例中的数据存储、查询和下载方法进行详细描述。
假设:视频监控系统中,针对视频采集摄像头,配置有5个视频编码器EC1、EC2、EC3、EC4和EC5,并且将视频编码器的唯一ID(即:ID1、ID2、ID3、ID4、ID5)分别作为各个视频编码器所处理的视频流数据的标识。
假设:数据云存储系统中,包括1个调度管理服务中心、3个存储管理服务器S1、S2、S3和1个客户终端,其中,每个存储服务器中均包含10个存储单元,且每个存储单元允许存储时长为10分钟的监控视频,分别标记为:U10至U19、U20至U29、U30至U39。
实施例一:数据存储过程
客户终端向调度管理服务中心发送一个包含视频流数据的标识ID3的存储服务器查询请求Q1;
调度管理服务中心接收到客户终端发送的存储服务器查询请求Q1,根据各个存储服务器上报的已存储数据的标识及所在存储服务器的节点信息,获得用于存储标识为ID3目标数据的存储服务器S1的第一地址信息Index1,将 Index1发送给客户终端;
客户终端接收到调度管理服务中心发送的第一地址信息Index1后,向第一地址信息对应的存储服务器发送包含目标数据的标识的资源请求Q2;
假设,待存储的目标视频为上午9:00至上午10:00的监控视频,存储服务器S1接收客户终端发送的资源请求Q2;根据该资源请求Q2为该目标数据分配存储单元,U11至U17,生成该目标数据的存储资源信息Index11至Index17;
存储服务器S1向客户终端反馈资源请求响应;
客户终端在收到存储服务器S1反馈的资源请求响应后,向该第一地址信息Index1对应的存储服务器S1发送数据存储请求;
存储服务器S1根据目标数据的属性信息,生成该目标数据的数据索引信息,且该数据索引信息中所记录的关键视频帧为每秒1帧,即1秒记录一个关键视频帧的时间戳;
存储服务器S1根据该目标数据的存储资源信息,将目标数据存储到为其分配的存储单元U11至U17中。
实施例二:数据访问过程
客户终端向调度管理服务中心发送包含视频流数据的标识ID3的存储服务器查询请求Q3;
在预定时间内500微秒内未接收到该调度管理服务中心返回的第一地址信息Index1,确定该调度管理服务中心为异常运行,从客户终端缓存的第一地址信息中,选择用于存储该视频流数据的存储服务器S1的第一地址信息Index1;
根据获得的该第一地址信息Index1,客户终端向第一地址信息对应的存储服务器S1发送包含目标数据的标识的数据查询请求Q4;
存储服务器S1根据该视频流数据的标识ID3,查找到该视频流数据的存储资源信息Index11至Index17,根据查找到的存储资源信息,确定存储该目标数据的存储单元为U11至U17;
存储服务器S1将存储该目标数据的存储单元的第二地址信息返回给客户终端;
具体的,客户终端接收到存储服务器S1发送数据下载请求Q5;假设该数据下载请求为:下载上午9:18分至上午9:20分拍摄的监控视频;
存储服务器S1根据该视频流数据的标识ID3,查找到该视频流数据的数据索引信息;根据第二地址信息,确定存储该目标数据的存储单元为U12,根据查找到的数据索引信息中记录的关键视频帧的时间戳,获得视频流数据的存储单元内的时间偏移量,在存储该目标数据的存储单元U12中,定位到该目标数据,从而获得存储单元U12所存储的该目标数据;
存储服务器将获取的目标数据返回给客户终端。
由此可见,应用本申请实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
本申请实施例还提供了一种存储介质,其中,该存储介质用于存储可执行代码,所述可执行代码被运行以执行本申请实施例所述的一种数据存储方法,或一种数据访问方法。
其中,本申请所述的一种数据存储方法,应用于数据云存储系统中的客户终端,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,该方法包括:
向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;
向第一地址信息对应的存储服务器发送资源请求;使得该存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息,并向客户终端反馈资源请求响应;
收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存 储服务器发送包含待存储的目标数据的数据存储请求,使得所述存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
其中,本申请所述的另一种数据存储方法,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
接收客户终端发送的包含目标数据的标识的资源请求;
根据所述资源请求为该目标数据分配存储单元,生成所述目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
向客户终端反馈资源请求响应,以使得客户终端收到所述资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求;
根据目标数据的属性信息,生成所述目标数据的数据索引信息;
根据所述目标数据的存储资源信息,将目标数据存储到所述第二地址信息对应的存储单元中。
其中,本申请所述的另一种数据存储方法,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;并缓存所述目标数 据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;
客户终端向第一地址信息对应的存储服务器发送资源请求;
存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
存储服务器向客户终端反馈资源请求响应;
客户终端收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求;
存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
其中,本申请所述的一种数据访问方法,应用于数据云存储系统中的客户终端,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,该方法包括:
向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;
向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;使得所述存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;将所述第二地址信息返回给客户终端。
其中,本申请所述的另一种数据访问方法,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
接收客户终端发送的包含目标数据的标识的数据查询请求;
根据所述目标数据的标识,查找到该目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
根据查找到的存储资源信息,确定存储该目标数据的存储单元;
将存储该目标数据的存储单元的第二地址信息返回给客户终端。
其中,本申请所述的另一种数据访问方法,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;并缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;
客户终端向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;
存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
存储服务器将所述第二地址信息返回给客户终端。
由以上可知,本申请实施例所提供的存储介质用于存储应用程序,通过 运行所存储的应用程序,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
本申请实施例还提供了一种应用程序,其中,该应用程序用于在运行时执行本申请实施例所述的一种数据存储方法,或一种数据访问方法。
需要说明的是,该应用程序用于执行的本申请实施例所述的一种数据存储方法,或一种数据访问方法请参见存储介质部分,此处不再赘述。
由以上可知,通过运行本申请实施例所提供的应用程序,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本申请的具体实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (26)

  1. 一种数据存储方法,其特征在于,应用于数据云存储系统中的客户终端,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,该方法包括:
    向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
    在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;
    向第一地址信息对应的存储服务器发送资源请求;使得该存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息,并向客户终端反馈资源请求响应;
    收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求,使得所述存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
  2. 根据权利要求1所述的数据存储方法,其特征在于:
    若在向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求后,接收到调度管理服务中心发送的自身故障信息或检测到与调度管理服务中心之间的网络连接异常,则判定调度管理服务中心异常运行。
  3. 一种数据访问方法,其特征在于,应用于数据云存储系统中的客户终端,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,该方法包括:
    向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
    在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;
    向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;使得所述存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;将所述第二地址信息返回给客户终端。
  4. 根据权利要求3所述的方法,其特征在于,还包括:
    向第一地址信息对应的存储服务器发送包含目标数据的标识和所述第二地址信息的数据下载请求;使得所述存储服务器根据所述目标数据的标识,查找到在存储该目标数据过程中生成的数据索引信息;
    根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
  5. 一种数据存储方法,其特征在于,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
    接收客户终端发送的包含目标数据的标识的资源请求;
    根据所述资源请求为该目标数据分配存储单元,生成所述目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
    向客户终端反馈资源请求响应,以使得客户终端收到所述资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求;
    根据目标数据的属性信息,生成所述目标数据的数据索引信息;
    根据所述目标数据的存储资源信息,将目标数据存储到所述第二地址信 息对应的存储单元中。
  6. 根据权利要求5所述的方法,其特征在于,所述目标数据包括:视频流数据或视频文件数据。
  7. 根据权利要求6所述的方法,其特征在于,当所述目标数据为监控系统的视频流数据时,所述目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID识别码;
    所述生成的目标数据的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储所述视频流数据的存储单元的对应关系;
    所述生成的目标数据的数据索引信息,至少包括视频编码器的唯一ID与视频流数据中关键视频帧的时间点的对应关系;
    所述根据所述目标数据的存储资源信息,将目标数据存储到为其分配的存储单元中,包括:获取客户终端发送的资源请求中所包含的视频流数据对应的视频编码器的唯一ID;根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储所述视频流数据的存储单元;将所述目标数据存储至确定出的存储服务器的存储单元中。
  8. 根据权利要求5所述的方法,其特征在于,包括:将存储资源信息发送给调度管理服务中心,使得调度管理服务中心根据每个存储服务器上报的硬件资源信息和存储资源信息,确定各个存储服务器的使用状态,并在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储所述目标数据的存储服务器,并存储所述目标数据的标识及其所在存储服务器的节点信息。
  9. 一种数据访问方法,其特征在于,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
    接收客户终端发送的包含目标数据的标识的数据查询请求;
    根据所述目标数据的标识,查找到该目标数据的存储资源信息;所述存 储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
    根据查找到的存储资源信息,确定存储该目标数据的存储单元;
    将存储该目标数据的存储单元的第二地址信息返回给客户终端。
  10. 根据权利要求9所述的方法,其特征在于,所述目标数据包括:视频流数据或视频文件数据。
  11. 根据权利要求10所述的方法,其特征在于,当所述目标数据为监控系统的视频流数据时,所述目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID识别码;
    所述查找到的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储所述视频流数据的存储单元的对应关系;
    所述根据查找到的存储资源信息,确定存储该目标数据的存储单元,包括:获取客户终端发送的数据查找请求中所包含的视频流数据对应的视频编码器的唯一ID;根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储所述视频流数据的存储单元。
  12. 根据权利要求9所述的方法,其特征在于,还包括:
    接收客户终端发送的包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;
    根据所述目标数据的标识,查找到该目标数据的数据索引信息;根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
  13. 根据权利要求12所述的方法,其特征在于,当所述目标数据为监控系统的视频流数据时,所述目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
    所述查找到的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储所述视频流数据的存储单元的对应关系;
    所述查找到的数据索引信息,至少包括视频编码器的唯一ID与视频流数据中关键视频帧的时间点的对应关系;
    所述根据查找到的数据索引信息和所述第二地址信息,在存储该目标数 据的存储单元中,获取目标数据返回给客户终端,包括:获取客户终端发送的数据下载请求中所包含的视频流数据对应的视频编码器的唯一ID;根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储所述视频流数据的存储单元;根据视频编码器的唯一ID与视频数流数据中关键视频帧的时间点的对应关系,获得所述目标数据在所确定出的存储单元内的时间偏移量,根据该时间偏移量,获取待下载的目标数据,并将该目标数据返回给客户终端。
  14. 一种客户终端,其特征在于,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
    通信接口,用于与调度管理服务中心和各个存储服务器进行网络通信;
    处理器,用于向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;向第一地址信息对应的存储服务器发送资源请求;使得该存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息,并向客户终端反馈资源请求响应;收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求,使得所述存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
  15. 一种客户终端,其特征在于,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接, 包括:
    通信接口,用于与调度管理服务中心和各个存储服务器进行网络通信;
    处理器,用于向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;使得所述存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;将所述第二地址信息返回给客户终端。
  16. 根据权利要求15所述的客户终端,其特征在于:
    所述的处理器,向第一地址信息对应的存储服务器发送包含目标数据的标识和所述第二地址信息的数据下载请求;使得所述存储服务器根据所述目标数据的标识,查找到在存储该目标数据过程中生成的数据索引信息;根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
  17. 一种存储服务器,其特征在于,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
    存储器,包含多个存储单元,用于存储数据;
    通信接口,用于与各个客户终端进行网络通信;
    处理器,用于接收客户终端发送的包含目标数据的标识的资源请求;
    根据所述资源请求为该目标数据分配存储单元,生成所述目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;向客户终端反馈资源请求响应,以使得客户终端收到所述资源请求响应后,向所述第一地址信息对应的存储服务器发送包 含待存储的目标数据的数据存储请求;根据目标数据的属性信息,生成所述目标数据的数据索引信息;根据所述目标数据的存储资源信息,将目标数据存储到所述第二地址信息对应的存储单元中。
  18. 一种存储服务器,其特征在于,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
    存储器,包含多个存储单元,用于存储数据;
    通信接口,用于与各个客户终端进行网络通信;
    处理器,用于接收客户终端发送的包含目标数据的标识的数据查询请求;根据所述目标数据的标识,查找到该目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;根据查找到的存储资源信息,确定存储该目标数据的存储单元;将存储该目标数据的存储单元的第二地址信息返回给客户终端。
  19. 根据权利要求17或18所述的存储服务器,其特征在于,所述的通信接口与调度管理服务中心进行网络通信,将处理器生成的硬件资源信息和存储资源信息上报给调度管理服务中心。
  20. 根据权利要求18所述的存储服务器,其特征在于:
    所述的处理器,接收客户终端发送的包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;根据所述目标数据的标识,查找到该目标数据的数据索引信息;根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
  21. 一种数据存储方法,其特征在于,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
    客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查 询请求;
    在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;并缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;
    客户终端向第一地址信息对应的存储服务器发送资源请求;
    存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
    存储服务器向客户终端反馈资源请求响应;
    客户终端收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求;
    存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
  22. 根据权利要求21所述的数据云存储系统,其特征在于,
    所述调度管理服务中心,根据每个存储服务器上报的硬件资源信息和存储资源信息,确定各个存储服务器的使用状态;在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储所述目标数据的存储服务器,并存储所述目标数据的标识及其所在存储服务器的节点信息。
  23. 一种数据访问方法,其特征在于,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
    客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
    在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送 的用于存储所述目标数据的存储服务器的第一地址信息;并缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;
    客户终端向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;
    存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
    存储服务器将所述第二地址信息返回给客户终端。
  24. 根据权利要求23所述的方法,其特征在于,
    所述客户终端向所述存储服务器发送包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;
    所述存储服务器根据所述目标数据的标识,查找到该目标数据的数据索引信息;并根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
  25. 一种存储介质,其特征在于,所述存储介质用于存储可执行代码,所述可执行代码被运行以执行:
    权利要求1、2、5-8、21、22中任一项所述的一种数据存储方法;或,
    权利要求3、4、9-13、23、24中任一项所述的一种数据访问方法。
  26. 一种应用程序,其特征在于,所述应用程序用于在运行时执行:
    权利要求1、2、5-8、21、22中任一项所述的一种数据存储方法;或,
    权利要求3、4、9-13、23、24中任一项所述的一种数据访问方法。
PCT/CN2016/096344 2015-12-03 2016-08-23 一种数据云存储系统、客户终端、存储服务器及应用方法 WO2017092414A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16869725.8A EP3386168B1 (en) 2015-12-03 2016-08-23 Data cloud storage methods, client terminal and data storage server
US15/781,312 US10623516B2 (en) 2015-12-03 2016-08-23 Data cloud storage system, client terminal, storage server and application method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510883969.2A CN106850710B (zh) 2015-12-03 2015-12-03 一种数据云存储系统、客户终端、存储服务器及应用方法
CN201510883969.2 2015-12-03

Publications (1)

Publication Number Publication Date
WO2017092414A1 true WO2017092414A1 (zh) 2017-06-08

Family

ID=58796099

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/096344 WO2017092414A1 (zh) 2015-12-03 2016-08-23 一种数据云存储系统、客户终端、存储服务器及应用方法

Country Status (4)

Country Link
US (1) US10623516B2 (zh)
EP (1) EP3386168B1 (zh)
CN (1) CN106850710B (zh)
WO (1) WO2017092414A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367905A (zh) * 2018-12-26 2020-07-03 杭州海康威视系统技术有限公司 对象数据存储、数据索引构建方法、装置及接入服务器
CN113923256A (zh) * 2020-06-22 2022-01-11 北京金山云网络技术有限公司 一种数据源管理方法、装置、服务器及系统
CN114765616A (zh) * 2021-01-14 2022-07-19 新智数字科技有限公司 基于云储存关联的联合学习框架

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107395732A (zh) * 2017-07-29 2017-11-24 安徽云帮邦网络技术有限公司 一种企业数据存储查询云平台
CN109391647B (zh) * 2017-08-04 2021-08-17 杭州海康威视系统技术有限公司 存储资源回收方法、装置及系统
CN109600410B (zh) * 2017-09-30 2021-11-09 杭州海康威视数字技术股份有限公司 数据存储系统以及方法
CN108156040A (zh) * 2018-01-30 2018-06-12 北京交通大学 一种分布式云存储系统中的中央控制节点
CN110417838A (zh) 2018-04-28 2019-11-05 华为技术有限公司 一种数据同步方法及同步服务设备
CN111221781B (zh) * 2018-11-27 2023-05-02 杭州海康威视系统技术有限公司 一种数据查找方法、装置、电子设备及系统
CN110290171A (zh) * 2019-05-15 2019-09-27 陈菡 一种数据管理方法及装置、电子设备
CN112114738B (zh) * 2019-06-20 2024-02-20 杭州海康威视数字技术股份有限公司 一种存储数据的方法及存储设备
CN110908809A (zh) * 2019-10-28 2020-03-24 苏宁云计算有限公司 一种查询服务的调用方法及装置
CN111741077B (zh) * 2020-05-29 2022-10-11 北京百度网讯科技有限公司 网络服务的调度方法、装置、电子设备以及存储介质
CN112492345B (zh) * 2020-11-25 2023-03-24 深圳创维数字技术有限公司 音视频存储方法、系统、终端和计算机可读存储介质
US11375286B1 (en) * 2020-12-30 2022-06-28 Western Digital Technologies, Inc. Pre-fetch of data using seek intervals
CN113259700A (zh) * 2021-05-17 2021-08-13 青岛海信移动通信技术股份有限公司 管理设备、服务器、视频存储方法及系统
CN113467891B (zh) * 2021-07-12 2022-03-15 腾讯科技(深圳)有限公司 服务处理方法、装置及存储介质
CN113742132B (zh) * 2021-07-28 2023-08-11 苏州浪潮智能科技有限公司 一种存储系统故障修复方法及装置
CN113660168B (zh) * 2021-10-19 2021-12-31 上海柯林布瑞信息技术有限公司 一种多中心研究数据的处理方法、装置和服务器
CN114827674B (zh) * 2022-03-30 2023-09-05 北京奇艺世纪科技有限公司 一种网络资源显示方法、装置及系统
CN115297140B (zh) * 2022-07-26 2024-04-12 广东海顿供热技术有限公司 一种溯源云端产品生产信息的系统、方法及智能设备
CN115086421B (zh) * 2022-08-22 2022-11-18 广东电网有限责任公司广州供电局 一种分布式优化的多智能代理协作方法及相关设备
CN116760850B (zh) * 2023-08-17 2024-01-12 浪潮电子信息产业股份有限公司 一种数据处理方法、装置、设备、介质及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130959A (zh) * 2011-03-22 2011-07-20 浪潮(北京)电子信息产业有限公司 一种实现云存储资源调度的系统及方法
CN102932266A (zh) * 2012-11-20 2013-02-13 无锡城市云计算中心有限公司 服务器流量分配的控制方法和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625604B2 (en) * 2001-03-09 2003-09-23 Hewlett-Packard Development Company, L.P. Namespace service in a distributed file system using a database management system
JP4241577B2 (ja) * 2004-11-05 2009-03-18 ブラザー工業株式会社 サービス登録システム、サーバ、端末装置および周辺装置
JP5328472B2 (ja) * 2009-05-13 2013-10-30 キヤノン株式会社 ネットワーク通信装置及び方法とプログラム
WO2011031903A2 (en) * 2009-09-09 2011-03-17 Fusion-Io, Inc. Apparatus, system, and method for allocating storage
US9729625B1 (en) * 2010-06-30 2017-08-08 Lenovoemc Limited Personal cloud network
JP6094487B2 (ja) * 2011-09-27 2017-03-15 日本電気株式会社 情報システム、管理装置、データ処理方法、データ構造、プログラム、および記録媒体
WO2013053019A1 (en) * 2011-10-14 2013-04-18 National Ict Australia Limited Disaster recovery failover in cloud computing
JP5845877B2 (ja) * 2011-12-20 2016-01-20 富士通株式会社 情報処理装置、データ制御方法およびデータ制御プログラム
CN102646072B (zh) * 2012-02-28 2014-10-29 信雅达系统工程股份有限公司 数据管理方法
CN102857546B (zh) * 2012-03-20 2016-09-28 深圳市朗科科技股份有限公司 云存储平台和云存储终端
CN103379362B (zh) 2012-04-24 2017-07-07 腾讯科技(深圳)有限公司 视频点播方法和系统
US20150106468A1 (en) * 2012-05-17 2015-04-16 Nec Corporation Storage system and data access method
CN103731507A (zh) * 2013-05-02 2014-04-16 乐视网信息技术(北京)股份有限公司 一种分布式数据存储设备处理数据的方法及装置
CN103678523B (zh) 2013-11-28 2018-03-09 华为技术有限公司 分布式高速缓存cache数据访问方法和装置
CN105898207B (zh) * 2015-01-26 2019-05-10 杭州海康威视数字技术股份有限公司 视频数据的智能处理方法及系统
CN104967691B (zh) 2015-07-08 2018-06-15 浪潮(北京)电子信息产业有限公司 一种分布式存储控制方法及系统
CN107104992B (zh) * 2016-02-19 2019-11-22 杭州海康威视数字技术股份有限公司 一种视频云存储的存储资源分配方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130959A (zh) * 2011-03-22 2011-07-20 浪潮(北京)电子信息产业有限公司 一种实现云存储资源调度的系统及方法
CN102932266A (zh) * 2012-11-20 2013-02-13 无锡城市云计算中心有限公司 服务器流量分配的控制方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367905A (zh) * 2018-12-26 2020-07-03 杭州海康威视系统技术有限公司 对象数据存储、数据索引构建方法、装置及接入服务器
CN111367905B (zh) * 2018-12-26 2023-10-10 杭州海康威视系统技术有限公司 对象数据存储、数据索引构建方法、装置及接入服务器
CN113923256A (zh) * 2020-06-22 2022-01-11 北京金山云网络技术有限公司 一种数据源管理方法、装置、服务器及系统
CN113923256B (zh) * 2020-06-22 2024-05-03 北京金山云网络技术有限公司 一种数据源管理方法、装置、服务器及系统
CN114765616A (zh) * 2021-01-14 2022-07-19 新智数字科技有限公司 基于云储存关联的联合学习框架
CN114765616B (zh) * 2021-01-14 2023-09-05 新奥新智科技有限公司 基于云储存关联的联合学习框架

Also Published As

Publication number Publication date
CN106850710A (zh) 2017-06-13
CN106850710B (zh) 2020-02-28
EP3386168A4 (en) 2019-11-27
EP3386168A1 (en) 2018-10-10
EP3386168B1 (en) 2021-03-03
US10623516B2 (en) 2020-04-14
US20180359331A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
WO2017092414A1 (zh) 一种数据云存储系统、客户终端、存储服务器及应用方法
EP2921955B1 (en) Capability monitoring in a service oriented architecture
EP3231135B1 (en) Alarm correlation in network function virtualization environment
CN108093094B (zh) 数据库实例访问方法、装置、系统、存储介质和设备
US9253091B2 (en) Method for processing a request in an information-centric communication network
CN106982236B (zh) 一种信息处理方法、装置和系统
US8069224B2 (en) Method, equipment and system for resource acquisition
CN108696581B (zh) 分布式信息的缓存方法、装置、计算机设备以及存储介质
US10846185B2 (en) Method for processing acquire lock request and server
US20190222656A1 (en) Communication Method and Apparatus
CN107656695B (zh) 一种数据存储、删除方法、装置及分布式存储系统
CN108093207B (zh) 一种数据存储、获取方法及装置
JP6388290B2 (ja) 分散システムにおけるロック・サーバの故障を処理するための方法およびシステム
CN110730250A (zh) 信息处理方法及装置、服务系统、存储介质
CN108509296B (zh) 一种处理设备故障的方法和系统
CN106571968A (zh) 一种业务切换方法和系统
CN113301173A (zh) 域名更新系统及方法、消息转发方法、服务器
CN111245974B (zh) 一种地址分配方法、装置、设备及存储介质
JP7064132B2 (ja) 障害監視システム及び障害監視方法
CN109344202B (zh) 一种数据同步方法及管理节点
CN105592173A (zh) 一种防止dns缓存被染的方法、系统及本地dns服务器
CN107491270B (zh) 一种多控存储系统的资源访问方法及装置
EP2856354B1 (en) Method and system for deleting obsolete files from a file system
CN111522649B (zh) 一种分布式任务分配方法、装置和系统
CN113238836A (zh) 一种分布式内容调度方法、调度系统及中心服务器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16869725

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016869725

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016869725

Country of ref document: EP

Effective date: 20180703