WO2023197674A1 - 一种下载控制方法、装置、设备及存储介质 - Google Patents
一种下载控制方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- WO2023197674A1 WO2023197674A1 PCT/CN2022/141661 CN2022141661W WO2023197674A1 WO 2023197674 A1 WO2023197674 A1 WO 2023197674A1 CN 2022141661 W CN2022141661 W CN 2022141661W WO 2023197674 A1 WO2023197674 A1 WO 2023197674A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- data set
- preset amount
- currently
- current data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Definitions
- This application relates to the field of data processing technology, and in particular to a download control method, device, equipment and non-volatile readable storage medium.
- Training tasks in AI (Artificial Intelligence, artificial intelligence) scenarios often use data sets, and the data sets used are massive small files. Downloading data sets with massive small files has become a bottleneck of the training platform. For ceph (distributed file system) storage data sets, when downloading files, it is usually to traverse all the files and folders in the data set and download the traversed files or folders, but this method is very time-consuming. , therefore how to provide a time-consuming file downloading solution is currently an issue that needs to be solved by those skilled in the art.
- the purpose of this application is to provide a download control method, device, equipment and non-volatile readable storage medium, which can greatly reduce the time consuming of file downloading and effectively improve the efficiency of file downloading.
- a download control method including:
- corresponding file downloads are implemented for each piece of traversed data, including:
- the file corresponding to the currently traversed data is directly downloaded. If the currently traversed data corresponds to a folder, it is determined that all the data in the folder corresponding to the currently traversed data is the current one in the distributed file system. For the data set that needs to be downloaded controlled, perform the step of determining that the data set that currently needs to be downloaded controlled in the distributed file system is the current data set.
- the method further includes:
- the method before obtaining a preset amount of unacquired data from the current data set, the method further includes:
- a plurality of batch acquisition flags are set in the current data set to respectively execute the step of obtaining a preset amount of unobtained data from the current data set based on each batch acquisition flag.
- corresponding file downloads are implemented for each piece of traversed data, including:
- before obtaining data from the current data set it also includes:
- servers connected to the distributed file system include:
- the server of the distributed file system Connect to the server of the distributed file system based on the key parameter and address; where the key parameter is the authentication information used when connecting to the server of the distributed file system, and the address is the address of the server of the distributed file system.
- a download control device including:
- the determination module is used to: determine that the data set that currently needs to be downloaded controlled in the distributed file system is the current data set, and obtain a preset amount of unobtained data from the current data set;
- the traversal module is used to: traverse the currently acquired preset amount of data, and implement the corresponding file download for each traversed piece of data; and, while traversing the currently acquired preset amount of data and implement the corresponding file download, continue Execute the steps of obtaining a preset amount of unobtained data from the current data set until all data in the current data set is obtained.
- a download control device including:
- Memory used to store computer programs
- the processor is used to implement the steps of any of the above download control methods when executing the computer program.
- a non-volatile readable storage medium A computer program is stored on the non-volatile readable storage medium. When the computer program is executed by a processor, the steps of any of the above download control methods are implemented.
- This application provides a download control method, device, equipment and non-volatile readable storage medium.
- the method includes: determining the data set that currently needs to be downloaded controlled in the distributed file system as the current data set, and starting from the current data Centrally obtain the preset amount of data that has not been obtained; traverse the currently obtained preset amount of data, and implement the corresponding file download for each traversed data; and, after traversing the currently obtained preset amount of data and implementation While the corresponding file is being downloaded, continue to perform the steps of obtaining a preset amount of unobtained data from the current data set until all data in the current data set is obtained.
- a preset amount of data is obtained from the data set, and then the obtained preset amount of data is traversed to realize the corresponding file download, and the obtained preset amount is traversed While downloading the corresponding file, it will also continue to obtain a preset amount of data from the data set, so that the steps of obtaining data from the data set and traversing the obtained data to download the corresponding file are implemented in parallel, greatly reducing The time-consuming file downloading can effectively improve the efficiency of file downloading.
- Figure 1 is a flow chart of a download control method provided by an embodiment of the present application.
- Figure 2 is a schematic structural diagram of a download control device provided by an embodiment of the present application.
- Figure 3 is a schematic structural diagram of a download control device provided by an embodiment of the present application.
- Figure 4 is a schematic structural diagram of a non-volatile readable storage medium provided by an embodiment of the present application.
- Figure 1 shows a flow chart of a download control method provided by an embodiment of the present application, which may specifically include:
- S11 Determine the data set that currently needs to be downloaded controlled in the distributed file system as the current data set, and obtain a preset amount of unobtained data from the current data set.
- download control scheme provided by the embodiments of this application can be implemented for the massive small files required for AI training scenarios, or can also be implemented for files required for use in other scenarios, which are all within the scope of protection of this application.
- the current data set can be regarded as a variable.
- the arbitrary data set can be assigned to the current data set, and then the current data set can be downloaded and controlled; specifically, when it is necessary to download the distribution
- each piece of data corresponds to a file or folder
- the data corresponding to the file or folder can be the information of the file or folder (such as name, number, etc.), and then the corresponding file or folder is realized based on the information of the file or folder.
- Operations such as positioning and subsequent downloading, and of course other settings can also be performed according to actual needs, are all within the scope of protection of this application.
- the preset amount can be set according to actual needs, such as 1,000; and every time the preset amount of data is obtained from the current data set, what is obtained is the current data set that has not been obtained during this implementation of download control. data to avoid repeated acquisition of the same data in this download control.
- S12 Traverse the currently acquired preset amount of data, and implement the corresponding file download for each piece of traversed data; and, while traversing the currently acquired preset amount of data and implementing the corresponding file download, continue to execute the download from the current data
- the steps of obtaining data from the current data set are performed continuously, that is, after obtaining a preset amount of data from the current data set, the next preset amount of data will continue to be obtained from the current data set until the acquisition of the current data set is completed.
- a preset amount of data is obtained from the data set, and then the obtained preset amount of data is traversed to implement the corresponding file download, and the obtained preset amount is traversed. While setting the amount of data to download the corresponding file, the preset amount of data will continue to be obtained from the data set, so that the steps of obtaining data from the data set and the steps of traversing the obtained data to download the corresponding file are implemented in parallel. It greatly reduces the time-consuming file downloading and can effectively improve the efficiency of file downloading.
- a download control method provided by embodiments of this application implements corresponding file download for each piece of traversed data, which may include:
- the file corresponding to the currently traversed data is directly downloaded. If the currently traversed data corresponds to a folder, it is determined that all the data in the folder corresponding to the currently traversed data is the current one in the distributed file system. For the data set that needs to be downloaded controlled, perform the step of determining that the data set that currently needs to be downloaded controlled in the distributed file system is the current data set.
- a data list containing the latest obtained preset amount of data can be obtained, and then the data list can be implemented by traversing the data in the data list. Traverse the latest acquired preset amount of data. Specifically, when the embodiment of the present application traverses the latest acquired preset amount of data and downloads the corresponding file, if the currently traversed data is file information, the corresponding file can be directly downloaded.
- all files and/or folder information contained in the corresponding folder i.e., data under the corresponding folder
- batch acquisition of pre-set data can be implemented for the current data set.
- a download control method provided by embodiments of the present application after determining that the data set that currently needs to be downloaded controlled in the distributed file system is the current data set, may also include:
- a duration threshold (such as 2 minutes) can be set in advance according to actual needs. Then for data acquisition in the current data set, first try to acquire all the data in the current data set. If the duration of data acquisition reaches the duration threshold, it will still be If all the data in the current data set has not been obtained, it means that the data in the current data set cannot be obtained in a short time.
- the data in the current data set can be obtained in batches and the corresponding files can be downloaded according to the above method. Otherwise, it means that the data in the current data set cannot be obtained in a short time.
- the data can be obtained in a short period of time, so all the data in the current data set can be directly obtained, and the obtained data can be traversed and the corresponding file download operations can be performed.
- a download control method provided by an embodiment of the present application, before acquiring a preset amount of unobtained data from the current data set, may also include:
- a plurality of batch acquisition flags are set in the current data set to respectively execute the step of obtaining a preset amount of unobtained data from the current data set based on each batch acquisition flag.
- corresponding batch acquisition markers can be set in the current data set; specifically, set according to actual needs.
- all the data in the current data set can be divided into multiple data subsets. The data positions in a single data subset are continuous, and the amount of data in the last data subset is not larger than the preset amount.
- each marker can be set to be executed in a separate thread.
- each marker can be set to be executed in a separate thread.
- a download control method provided by embodiments of this application implements corresponding file download for each piece of traversed data, which may include:
- multiple threads can be used to implement file downloading in parallel, thereby further improving file downloading efficiency.
- the download control method provided by the embodiment of the present application before obtaining data from the current data set, may also include: connecting to the server of the distributed file system to achieve access to the distributed file system; specifying the storage location of the current data set and Path to achieve data acquisition in the current data set based on the corresponding storage location and path;
- Servers connected to the distributed file system may include: servers connected to the distributed file system based on key parameters and addresses; where the key parameter is the authentication information used when connecting to the server of the distributed file system, and the address is the distributed file The address of the system's server.
- the embodiment of this application may also first connect to the server of the distributed file system and then find You need to download the location of the controlled data set (bucket), then specify the path of the data set (path), and finally obtain the data from the bucket data set according to the path.
- the corresponding location and path need to be re-formulated so that they correspond to the current data set.
- the embodiment of this application needs to be implemented based on two key parameters: secretkey (secret key) and accesskey (access key), so that After receiving the above key parameters, the server determines whether the key parameters are legal, and allows access when it is legal, and denies access when it is illegal; it also needs to realize the connection to the server based on the server's address (endPoint), that is, the connection is corresponding address of the server.
- secretkey secret key
- accesskey access key
- a download control method provided by embodiments of the present application may include the following steps:
- the endpoint takes the DNS (Domain Name System, domain name resolution system) domain name as an example.
- the port number defaults to 8009. If it is IP (Internet Protocol, the protocol for interconnection between networks), the DNS domain name needs to be replaced with IP.
- ClientConfiguration clientConfig new ClientConfiguration()
- AWSCredentials awsCredentials new BasicAWSCredentials(AccessKey,SecretKey);
- AmazonS3s3client newAmazonS3Client(awsCredentials,clientConfig);
- the implementation statement for specifying path through keypath can be as follows:
- traverse the obtained data determine whether it is a folder. If it is a folder, specify the path of the data set under the folder, return to (4), and continue execution. If it is a file, Execute download;
- This application can optimize the AI resource management platform, enhance system flexibility and availability, solve the bottleneck problem of downloading massive data sets in distributed file system storage, give full play to technical advantages, improve concurrency performance, and help improve service stability. performance, thereby ensuring the normal use of the business system.
- this application has the following characteristics: improve the performance of file download in distributed file system storage; improve the concurrent processing capability and throughput of the system; give full play to technical advantages, save file download time and increase flexibility; improve user experience, increase the selling point of the product; effectively ensure the normal operation and use of the service.
- the embodiment of the present application also provides a download control device, as shown in Figure 2, which may include:
- the determination module 11 is used to: determine that the data set that currently needs to be downloaded and controlled in the distributed file system is the current data set, and obtain a preset amount of unobtained data from the current data set;
- the traversal module 12 is used to: traverse the currently acquired preset amount of data, and implement the corresponding file download for each traversed piece of data; and, while traversing the currently acquired preset amount of data and implementing the corresponding file download, Continue to perform the steps of obtaining a preset amount of unobtained data from the current data set until all data in the current data set is obtained.
- the traversal module may include:
- Traversal unit used to: if the currently traversed data corresponds to a file, directly download the currently traversed data corresponding file, if the currently traversed data corresponds to a folder, then determine that all the data in the currently traversed data corresponding folder is As for the data set that currently needs to be downloaded controlled in the distributed file system, perform the step of determining that the data set that currently needs to be downloaded controlled in the distributed file system is the current data set.
- Determination module used to: after determining that the data set currently requiring download control in the distributed file system is the current data set, obtain various data in the current data set. If the duration of obtaining the data in the current data set reaches the duration threshold but is not obtained After completing all the data in the current data set, perform the steps of obtaining a preset amount of unobtained data from the current data set. Otherwise, traverse the obtained data in the current data set and target each piece of data traversed. Implement the corresponding file download.
- the setting module is used to: before obtaining a preset amount of unacquired data from the current data set, set multiple batch acquisition marks in the current data set to separately execute the acquisition of the preset data from the current data set based on each batch acquisition mark. Steps to set the amount of data that has not been acquired.
- the traversal module may include:
- the download unit is used to: use multiple preset threads to download corresponding files for each piece of traversed data in a one-to-one correspondence.
- the specified module may include:
- connection unit is used to: connect to the server of the distributed file system based on the key parameter and address; where the key parameter is the authentication information used when connecting to the server of the distributed file system, and the address is the address of the server of the distributed file system. .
- the embodiment of the present application also provides a download control device, as shown in Figure 3, which may include a processor 301, a communication interface 302, a memory 303, and a communication bus 304.
- the processor 301, the communication interface 302, and the memory 303 communicate through Bus 304 completes mutual communication:
- Memory 303 used to store computer programs
- the processor 301 is configured to implement the steps of any of the above download control methods when executing a computer program.
- the communication bus 304 may be a Peripheral Component Interconnect (PCI) bus or an Extended Industry Standard Architecture (EISA) bus, etc.
- PCI Peripheral Component Interconnect
- EISA Extended Industry Standard Architecture
- the communication bus 304 can be divided into an address bus, a data bus, a control bus, etc. For ease of presentation, only one thick line is used in the figure, but it does not mean that there is only one bus or one type of bus.
- the embodiment of the present application also provides a non-volatile readable storage medium.
- the non-volatile readable storage medium 40 stores a computer program 41.
- the computer program 41 When the computer program 41 is executed by the processor, it can be implemented follows the steps for downloading the control method as described above.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种下载控制方法、装置、设备及非易失性可读存储介质，该方法包括：确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集，并从当前数据集中获取预设量的未被获取过的数据；遍历当前获取的预设量的数据，针对遍历到的每条数据实现相应的文件下载；并且，在遍历当前获取的预设量的数据及实现相应文件下载的同时，继续执行从当前数据集中获取预设量的未被获取过的数据的步骤，直至获取完成当前数据集中的全部数据为止。本申请使得从数据集中获取数据的步骤及遍历获取到的数据以实现相应文件下载的步骤并行实现，大大减少文件下载的耗时，能够有效提高文件下载的效率。
Description
相关申请的交叉引用
本申请要求于2022年04月11日提交中国专利局、申请号202210371421.X、申请名称为“一种下载控制方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本申请涉及数据处理技术领域，特别涉及一种下载控制方法、装置、设备及非易失性可读存储介质。
AI(Artificial Intelligence，人工智能)场景的训练任务经常使用数据集，并且所使用的数据集为海量的小文件，而下载海量小文件的数据集成为训练平台的瓶颈。针对ceph(分布式文件系统)存储数据集来说，在实现文件下载时通常是遍历数据集所有的文件及文件夹，并对遍历到的文件或者文件夹进行下载，但是这种方式非常耗时，因此如何提供一种减少耗时的文件下载方案，则是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种下载控制方法、装置、设备及非易失性可读存储介质，大大减少文件下载的耗时，能够有效提高文件下载的效率。
为了实现上述目的，本申请提供如下技术方案：
一种下载控制方法，包括：
确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集，并从当前数据集中获取预设量的未被获取过的数据；
遍历当前获取的预设量的数据，针对遍历到的每条数据实现相应的文件下载；并且，在遍历当前获取的预设量的数据及实现相应文件下载的同时，继续执行从当前数据集中获取预设量的未被获取过的数据的步骤，直至获取完成当前数据集中的全部数据为止。
在一些实施例中，针对遍历到的每条数据实现相应的文件下载，包括：
如果当前遍历到的数据对应文件，则直接下载当前遍历到的数据对应文件，如果当前遍历到的数据对应文件夹，则确定当前遍历到的数据对应文件夹下全部数据为分布式文件系统中当前需要实现下载控制的数据集，执行确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集的步骤。
在一些实施例中，确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集之后，还包括：
获取当前数据集中的各项数据，如果获取当前数据集中数据的持续时长达到时长阈值但未获取完成当前数据集中的全部数据，则执行从当前数据集中获取预设量的未被获取过的数据的步骤，否则，遍历获取到的当前数据集中的各项数据，并针对遍历到的每条数据实现相应的文件下载。
在一些实施例中，从当前数据集中获取预设量的未被获取过的数据之前，还包括：
在当前数据集中设置多个分批获取标记，以基于各分批获取标记分别执行从当前数据集中获取预设量的未被获取过的数据的步骤。
在一些实施例中，针对遍历到的每条数据实现相应的文件下载，包括：
利用预设的多个线程，以一一对应的关系分别针对遍历到的每条数据实现相应的文件下载。
在一些实施例中，从当前数据集中获取数据之前，还包括：
连接分布式文件系统的服务器，以实现对分布式文件系统的访问；指定当前数据集的存储位置及路径，以基于相应存储位置及路径实现当前数据集中的数据获取。
在一些实施例中，连接分布式文件系统的服务器，包括：
基于密钥参数及地址连接分布式文件系统的服务器；其中，密钥参数为连接分布式文件系统的服务器时所用的身份验证信息，地址为分布式文件系统的服务器的地址。
一种下载控制装置，包括：
确定模块，用于：确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集，并从当前数据集中获取预设量的未被获取过的数据；
遍历模块，用于：遍历当前获取的预设量的数据，针对遍历到的每条数据实现相应的文件下载；并且，在遍历当前获取的预设量的数据及实现相应文件下载的同时，继续执行从当前数据集中获取预设量的未被获取过的数据的步骤，直至获取完成当前数据集中的全部数据为止。
一种下载控制设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上任一项下载控制方法的步骤。
一种非易失性可读存储介质，非易失性可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任一项下载控制方法的步骤。
本申请提供了一种下载控制方法、装置、设备及非易失性可读存储介质，该方法包括：确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集，并从当前数据集中获取预设量的未被获取过的数据；遍历当前获取的预设量的数据，针对遍历到的每条数据实现相应的文件下载；并且，在遍历当前获取的预设量的数据及实现相应文件下载的同时，继续执行从当前数据集中获取预设量的未被获取过的数据的步骤，直至获取完成当前数据集中的全部数据为止。本申请中对于需要实现下载控制的分布式文件系统中的数据集，从数据集中获取预设量的数据，然后遍历获取的预设量的数据以实现相应文件下载，并且遍历获取的预设量的数据以实现相应文件下载的同时，还会继续从数据集中获取预设量的数据，从而使得从数据集中获取数据的步骤及遍历获取到的数据以实现相应文件下载的步骤并行实现，大大减少文件下载的耗时，能够有效提高文件下载的效率。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种下载控制方法的流程图；
图2为本申请实施例提供的一种下载控制装置的结构示意图；
图3为本申请实施例提供的一种下载控制设备的结构示意图；
图4为本申请实施例提供的一种非易失性可读存储介质的结构示意图。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，其示出了本申请实施例提供的一种下载控制方法的流程图，具体可以包括：
S11：确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集，并从当前数据集中获取预设量的未被获取过的数据。
需要说明的是，本申请实施例提供的下载控制方案可以是针对AI训练场景所需使用的海量小文件实现，也可以针对其他场景下所需使用的文件实现，均在本申请的保护范围之内。
当前数据集可以看作是一个变量，在需要对任意数据集实现下载控制时则可以将该任意数据集赋值给当前数据集，进而对当前数据集进行下载控制；具体来说，在需要下载分布式文件系统中的文件时，可以先确定出需要下载的文件或者该文件所属文件夹对应的数据集合即为当前需要下载控制的数据集，进而将该数据集作为当前数据集实现后续的下载控制。
其中，每条数据对应一个文件或者文件夹，文件或者文件夹对应的数据可以为文件或者文件夹的信息(如名称、编号等)，进而基于文件或者文件夹的信息实现相应文件或者文件夹的定位及后续的下载等操作，当然也可以根据实际需要进行其他设定，均在本申请的保护范围之内。另外，预设量可以根据实际需要进行设定，如1000条；而在每次从当前数据集中获取预设量的数据时，获取的均为此次实现下载控制未被获取过的当前数据集中的数据，从而避免同一数据在此次下载控制中的重复获取。
S12：遍历当前获取的预设量的数据，针对遍历到的每条数据实现相应的文件下载；并且，在遍历当前获取的预设量的数据及实现相应文件下载的同时，继续执行从当前数据集中获取预设量的未被获取过的数据的步骤，直至获取完成当前数据集中的全部数据为止。
本申请实施例中在每次从当前数据集中获取到预设量的数据后，可以遍历当前次获取到的预设量的数据，进而针对遍历到的每条数据实现相应的文件下载操作。其中，从当前数据集中获取数据的步骤是连续进行的，也即从当前数据集中获取到预设量的数据后会继续从当前数据集中获取下一预设量的数据，直至获取完成当前数据集中的全部数据为止，从而实现当前数据集中数据的分批获取；并且每次从当前数据集中获取到预设量的数据后，均立即对最新获取到的预设量的数据进行遍历及相应文件下载；因此，在每次从当前数据集中获取到预设量的数据后，遍历最新获取到的预设量的数据并实现相应文件下载的同时，会继续从当前数据集获取下一预设量的数据，从而能够使得获取数据的步骤及遍历数据以实现相应文件下载的步骤一定程度上并行实现，大大提高文件下载效率。
本申请实施例中对于需要实现下载控制的分布式文件系统中的数据集，从数据集中获取预设量的数据，然后遍历获取的预设量的数据以实现相应文件下载，并且遍历获取的预设量 的数据以实现相应文件下载的同时，还会继续从数据集中获取预设量的数据，从而使得从数据集中获取数据的步骤及遍历获取到的数据以实现相应文件下载的步骤并行实现，大大减少文件下载的耗时，能够有效提高文件下载的效率。
本申请实施例提供的一种下载控制方法，针对遍历到的每条数据实现相应的文件下载，可以包括：
如果当前遍历到的数据对应文件，则直接下载当前遍历到的数据对应文件，如果当前遍历到的数据对应文件夹，则确定当前遍历到的数据对应文件夹下全部数据为分布式文件系统中当前需要实现下载控制的数据集，执行确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集的步骤。
需要说明的是，本申请实施例在每次从当前数据集中获取到预设量的数据后，可以得到包含有最新获取的预设量的数据的数据列表，进而通过遍历数据列表中的数据实现对最新获取的预设量的数据的遍历。具体来说，本申请实施例在遍历最新获取的预设量的数据并实现相应文件下载时，如果当前遍历到的数据为文件的信息，则可以直接对相应的文件进行下载，如果遍历到的数据为文件夹的信息，则可以将相应文件夹下包含的全部文件和/或文件夹的信息(即相应文件夹下的数据)集合作为当前数据集，进而针对当前数据集实现分批获取预设量的数据及遍历获取到的数据以进行相应文件下载等步骤。可见，本申请对于文件直接下载，对于文件夹则将其下的全部数据作为数据集按照本申请的下载控制方式实现数据获取及相应文件下载，从而能够进一步提高文件下载效率。
本申请实施例提供的一种下载控制方法，确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集之后，还可以包括：
获取当前数据集中的各项数据，如果获取当前数据集中数据的持续时长达到时长阈值但未获取完成当前数据集中的全部数据，则执行从当前数据集中获取预设量的未被获取过的数据的步骤，否则，遍历获取到的当前数据集中的各项数据，并针对遍历到的每条数据实现相应的文件下载。
需要说明的是，如果当前数据集中的数据可以在较短时间内获得，则可以直接获取当前数据集中的全部数据，否则需要按照本申请实施例提供的上述方式实现数据集中数据的分批获取，从而提高了方案实现的灵活性，在保证文件下载效率的同时提高场景适配性。具体来说，可以预先根据实际需要设定一时长阈值(如2分钟)，进而对于当前数据集中的数据获取来说，先尝试获取当前数据集中的全部数据，如果获取数据的时长达到时长阈值还没有获取完成当前数据集中的全部数据，则说明当前数据集中的数据无法在较短时间内获得，因此 按照上述方式实现当前数据集中数据的分批获取及相应文件下载，否则，说明当前数据集中的数据能够在较短时间内获得，因此可以直接获取到当前数据集中的全部数据，并针对获取到的数据进行遍历及相应的文件下载操作。
本申请实施例提供的一种下载控制方法，从当前数据集中获取预设量的未被获取过的数据之前，还可以包括：
在当前数据集中设置多个分批获取标记，以基于各分批获取标记分别执行从当前数据集中获取预设量的未被获取过的数据的步骤。
本申请实施例中在确定需要分批获取当前数据集中的数据时，为了实现数据的准确获取，可以在当前数据集中设置相应的分批获取标记(marker)；具体来说，在根据实际需要设定出预设量的值后，可以将当前数据集中的全部数据划分为多个数据子集，单个数据子集中的数据位置是连续的，并且位置位于最后的数据子集中的数据量不大于预设量，其他数据子集中的数据量等于预设量，然后在每个数据子集中的第一条数据处设置分批获取标记(这些分批获取标记可以形成相应的marker列表)，以在每次获取预设量的数据时，可以从分批获取标记对应数据开始至获取到所属的整个子集的数据；如预设量为1000条，则在当前数据集中第1条、第1001条、第2001条等多个位置处设置分批获取标记，然后分别获取第1条至第1000条数据、第1001条至第2000条数据等。另外，为了提高执行准确率，本申请实施例中可以设置每个marker单独一个线程执行，当然根据实际需要进行的其他设定也均在本申请的保护范围之内。
本申请实施例提供的一种下载控制方法，针对遍历到的每条数据实现相应的文件下载，可以包括：
利用预设的多个线程，以一一对应的关系分别针对遍历到的每条数据实现相应的文件下载。
本申请实施例中在遍历到最新获取的预设量的数据后，并确定需要实现这些数据对应的文件下载时，可以利用多个线程并行实现文件下载，从而进一步提高文件下载效率。
本申请实施例提供的一种下载控制方法，从当前数据集中获取数据之前，还可以包括：连接分布式文件系统的服务器，以实现对分布式文件系统的访问；指定当前数据集的存储位置及路径，以基于相应存储位置及路径实现当前数据集中的数据获取；
连接分布式文件系统的服务器，可以包括：基于密钥参数及地址连接分布式文件系统的服务器；其中，密钥参数为连接分布式文件系统的服务器时所用的身份验证信息，地址为分布式文件系统的服务器的地址。
需要说明的是，为了保证能够顺利实现分布式文件系统中数据集的数据获取，本申请实施例在从分布式文件系统中获取数据集之前，还可以先连接分布式文件系统的服务器，然后找到需要下载控制的数据集所在的位置(bucket)，再指定数据集的路径(path)，最后再按照path从bucket的数据集中获取数据。另外，在当前数据集发生变化时，需要重新制定相应的位置及路径，以使其与当前数据集相对应。
为了提高分布式文件系统的访问安全性，本申请实施例在连接分布式文件系统的服务器时，需要基于secretkey(秘密钥匙)、accesskey(访问密钥)这两项密钥参数来实现，以使得服务器在接收到上述密钥参数后，判断密钥参数是否合法，并在合法时允许访问，在不合法时拒绝访问；还需要基于服务器的地址(endPoint)来实现服务器的连接，也即连接相应地址的服务器。
在一些实施例中，本申请实施例提供的一种下载控制方法具体可以包括以下步骤：
(1)设置连接分布式文件系统服务器的请求参数，实现语句可以如下所示(其中的参数均是假设的，可以根据实际修改)：
//endpoint以DNS(Domain Name System，域名解析系统)域名为例，端口号默认8009，如果是IP(Internet Protocol，网络之间互连的协议)则需将DNS域名替换为IP。
String endPoint＝"inspur.objectstor:8009"；
//用户信息内的AccessKey和SecretKey。
String AccessKey＝"<yourAccessKey>"；
String SecretKey＝"<yourSecretKey>"；
ClientConfiguration clientConfig＝new ClientConfiguration()；
clientConfig.setSignerOverride("S3SignerType")；
clientConfig.setProtocol(Protocol.HTTP)；
AWSCredentials awsCredentials＝new BasicAWSCredentials(AccessKey,SecretKey)；
//创建S3Client实例
AmazonS3s3client＝newAmazonS3Client(awsCredentials,clientConfig)；
s3client.setEndpoint(endPoint)；
(2)指定bucket，用来获取当前bucket的数据集，实现语句可以如下所示(其中通过ListObjectsRequest设置bucket，方法为withBucketName，参数为假设的)：
ListObjectsRequest req＝new ListObjectsRequest().withBucketName("bucket")；
(3)设置path，因为分布式文件系统是key和value的形式，所以如果是文件可以用key指定path，如果是文件夹可以用withPrefix指定文件夹的前缀模糊匹配；通过withPrefix指定path的实现语句可以如下所示：
ListObjectsRequest req＝new ListObjectsRequest().withBucketName("bucket").withPrefix("/")；
通过keypath指定path的实现语句可以如下所示：
GetObjectRequest getObjectRequest＝new GetObjectRequest("<yourBucketName>","<yourKey>")；
(4)获取数据集中的数据，并判断是否超时；
(5)如果不超时，遍历获取的各项数据，遍历时，判断是否是文件夹，如果是文件夹，指定文件夹下的数据集path，返回到(4)，继续执行，如果是文件，执行下载；
(6)如果超时，则获取所有marker，遍历每个marker实现相应数据的获取，每个marker单独一个线程执行，返回到(4)去获取数据；
(7)结束。
本申请能够实现对AI资源管理平台的优化，增强系统灵活性和可用性，解决分布式文件系统存储的情况下载海量数据集的瓶颈问题，充分发挥技术优势，提高并发性能，有利于提高服务的稳定性，从而保证了业务系统的正常使用。具体来说，本申请具有以下特点：提高在分布式文件系统存储中的文件下载的性能；提高系统的并发处理能力和吞吐量；充分发挥技术优势，节省文件下载时间，增加灵活性；提高用户的体验，增加产品的卖点；有效保障服务的正常运行和使用。
本申请实施例还提供了一种下载控制装置，如图2所示，可以包括：
确定模块11，用于：确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集，并从当前数据集中获取预设量的未被获取过的数据；
遍历模块12，用于：遍历当前获取的预设量的数据，针对遍历到的每条数据实现相应的文件下载；并且，在遍历当前获取的预设量的数据及实现相应文件下载的同时，继续执行从当前数据集中获取预设量的未被获取过的数据的步骤，直至获取完成当前数据集中的全部数据为止。
本申请实施例提供的一种下载控制装置，遍历模块可以包括：
遍历单元，用于：如果当前遍历到的数据对应文件，则直接下载当前遍历到的数据对应文件，如果当前遍历到的数据对应文件夹，则确定当前遍历到的数据对应文件夹下全部数据 为分布式文件系统中当前需要实现下载控制的数据集，执行确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集的步骤。
本申请实施例提供的一种下载控制装置，还可以包括：
判定模块，用于：确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集之后，获取当前数据集中的各项数据，如果获取当前数据集中数据的持续时长达到时长阈值但未获取完成当前数据集中的全部数据，则执行从当前数据集中获取预设量的未被获取过的数据的步骤，否则，遍历获取到的当前数据集中的各项数据，并针对遍历到的每条数据实现相应的文件下载。
本申请实施例提供的一种下载控制装置，还可以包括：
设置模块，用于：从当前数据集中获取预设量的未被获取过的数据之前，在当前数据集中设置多个分批获取标记，以基于各分批获取标记分别执行从当前数据集中获取预设量的未被获取过的数据的步骤。
本申请实施例提供的一种下载控制装置，遍历模块可以包括：
下载单元，用于：利用预设的多个线程，以一一对应的关系分别针对遍历到的每条数据实现相应的文件下载。
本申请实施例提供的一种下载控制装置，还可以包括：
指定模块，用于：从当前数据集中获取数据之前，连接分布式文件系统的服务器，以实现对分布式文件系统的访问；指定当前数据集的存储位置及路径，以基于相应存储位置及路径实现当前数据集中的数据获取。
本申请实施例提供的一种下载控制装置，指定模块可以包括：
连接单元，用于：基于密钥参数及地址连接分布式文件系统的服务器；其中，密钥参数为连接分布式文件系统的服务器时所用的身份验证信息，地址为分布式文件系统的服务器的地址。
本申请实施例还提供了一种下载控制设备，如图3所示，可以包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信：
存储器303，用于存储计算机程序；
处理器301，用于执行计算机程序时实现如上任一项下载控制方法的步骤。
通信总线304可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA) 总线等。该通信总线304可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例还提供了一种非易失性可读存储介质，如图4所示，非易失性可读存储介质40上存储有计算机程序41，计算机程序41被处理器执行时可以实现如上任一项下载控制方法的步骤。
需要说明的是，本申请实施例提供的一种下载控制装置、设备及非易失性可读存储介质中相关部分的说明请参见本申请实施例提供的一种下载控制方法中对应部分的详细说明，在此不再赘述。另外本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (20)
- 一种下载控制方法，其特征在于，包括：确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集，并从所述当前数据集中获取预设量的未被获取过的数据；遍历当前获取的所述预设量的数据，针对遍历到的每条数据实现相应的文件下载；并且，在遍历当前获取的所述预设量的数据及实现相应文件下载的同时，继续执行所述从所述当前数据集中获取预设量的未被获取过的数据的步骤，直至获取完成所述当前数据集中的全部数据为止。
- 根据权利要求1所述的方法，其特征在于，所述针对遍历到的每条数据实现相应的文件下载，包括：如果当前遍历到的数据对应文件，则直接下载当前遍历到的数据对应文件，如果当前遍历到的数据对应文件夹，则确定当前遍历到的数据对应文件夹下全部数据为所述分布式文件系统中当前需要实现下载控制的数据集，执行所述确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集的步骤。
- 根据权利要求2所述的方法，其特征在于，所述确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集之后，还包括：获取所述当前数据集中的各项数据，如果获取所述当前数据集中数据的持续时长达到时长阈值但未获取完成所述当前数据集中的全部数据，则执行所述从所述当前数据集中获取预设量的未被获取过的数据的步骤，否则，遍历获取到的所述当前数据集中的各项数据，并针对遍历到的每条数据实现相应的文件下载。
- 根据权利要求3所述的方法，其特征在于，所述从所述当前数据集中获取预设量的未被获取过的数据之前，还包括：在所述当前数据集中设置多个分批获取标记，以基于各所述分批获取标记分别执行所述从所述当前数据集中获取预设量的未被获取过的数据的步骤。
- 根据权利要求4所述的方法，其特征在于，所述针对遍历到的每条数据实现相应的文件下载，包括：利用预设的多个线程，以一一对应的关系分别针对遍历到的每条数据实现相应的文件下载。
- 根据权利要求5所述的方法，其特征在于，所述从所述当前数据集中获取预设量的未被获取过的数据之前，还包括：连接所述分布式文件系统的服务器，以实现对所述分布式文件系统的访问；指定所 述当前数据集的存储位置及路径，以基于相应所述存储位置及所述路径实现所述当前数据集中的数据获取。
- 根据权利要求6所述的方法，其特征在于，所述连接所述分布式文件系统的服务器，包括：基于密钥参数及地址连接所述分布式文件系统的服务器；其中，所述密钥参数为连接所述分布式文件系统的服务器时所用的身份验证信息，所述地址为所述分布式文件系统的服务器的地址。
- 根据权利要求1所述的方法，其特征在于，所述确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集，包括：确定分布式文件系统中当前需要实现下载控制的数据集；将所述数据集赋值至当前数据集。
- 根据权利要求8所述的方法，其特征在于，所述数据集包括文件或者所述文件所属文件夹对应的数据集合。
- 根据权利要求1所述的方法，其特征在于，所述从所述当前数据集中获取预设量的未被获取过的数据，包括：从所述当前数据集中获取预设量的当次实现下载控制中未被获取过的数据。
- 根据权利要求1所述的方法，其特征在于，所述遍历当前获取的所述预设量的数据，包括：在每次从所述当前数据集中获取所述预设量的数据后，得到包含有最新获取的所述预设量的数据的数据列表；遍历所述数据列表中的数据。
- 根据权利要求2所述的方法，其特征在于，所述如果当前遍历到的数据对应文件，则直接下载当前遍历到的数据对应文件，包括：如果当前遍历到的数据为文件的信息，则直接下载所述文件的信息所对应的文件。
- 根据权利要求2所述的方法，其特征在于，所述如果当前遍历到的数据对应文件夹，则确定当前遍历到的数据对应文件夹下全部数据为所述分布式文件系统中当前需要实现下载控制的数据集，执行所述确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集的步骤，包括：如果当前遍历到的数据为文件夹的信息，则将所述文件夹的信息所对应的文件夹下包含的全部文件和/或数据集合，确定为所述分布式文件系统中当前需要实现下载控制的数据集，以执行所述确定分布式文件系统中当前需要实现下载控制的数据集为当前数据 集的步骤。
- 根据权利要求4所述的方法，其特征在于，所述在所述当前数据集中设置多个分批获取标记，包括：设定预设量的值；基于所述预设量的值，将所述当前数据集中的全部数据划分为多个数据子集；在每个所述数据子集中的第一条数据处设置分批获取标记。
- 根据权利要求14所述的方法，其特征在于，单个所述数据子集中的数据位置为连续的；位置位于最后的所述数据子集中的数据量不大于所述预设量，其他所述数据子集中的数据量等于所述预设量。
- 根据权利要求5所述的方法，其特征在于，每个所述分批获取标记由单独一个所述线程执行。
- 根据权利要求6所述的方法，其特征在于，还包括：在所述当前数据集发生变化后，重新指定所述当前数据集的存储位置及路径。
- 一种下载控制装置，其特征在于，包括：确定模块，用于：确定分布式文件系统中当前需要实现下载控制的数据集为当前数据集，并从所述当前数据集中获取预设量的未被获取过的数据；遍历模块，用于：遍历当前获取的所述预设量的数据，针对遍历到的每条数据实现相应的文件下载；并且，在遍历当前获取的所述预设量的数据及实现相应文件下载的同时，继续执行所述从所述当前数据集中获取预设量的未被获取过的数据的步骤，直至获取完成所述当前数据集中的全部数据为止。
- 一种下载控制设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至17任一项所述下载控制方法的步骤。
- 一种非易失性可读存储介质，其特征在于，所述非易失性可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述下载控制方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210371421.X | 2022-04-11 | ||
| CN202210371421.XA CN114443581B (zh) | 2022-04-11 | 2022-04-11 | 一种下载控制方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023197674A1 true WO2023197674A1 (zh) | 2023-10-19 |
Family
ID=81360498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/141661 WO2023197674A1 (zh) | 2022-04-11 | 2022-12-23 | 一种下载控制方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114443581B (zh) |
| WO (1) | WO2023197674A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114443581B (zh) * | 2022-04-11 | 2022-06-17 | 苏州浪潮智能科技有限公司 | 一种下载控制方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106020959A (zh) * | 2016-05-24 | 2016-10-12 | 郑州悉知信息科技股份有限公司 | 一种数据迁移方法和装置 |
| CN110247985A (zh) * | 2019-06-28 | 2019-09-17 | 北京奇艺世纪科技有限公司 | 一种资源下载方法、装置、电子设备及介质 |
| CN112199442A (zh) * | 2020-09-29 | 2021-01-08 | 中国平安人寿保险股份有限公司 | 分布式批量下载文件方法、装置、计算机设备及存储介质 |
| CN112671879A (zh) * | 2020-12-18 | 2021-04-16 | 北京浪潮数据技术有限公司 | 一种组件部署方法、系统及计算机可读存储介质 |
| CN114127702A (zh) * | 2019-07-15 | 2022-03-01 | 微软技术许可有限责任公司 | 在存储器受限设备上执行大型人工智能模型 |
| US11290520B1 (en) * | 2016-03-28 | 2022-03-29 | Amazon Technologies, Inc. | Video and audio demultiplexing from a file stored in a remote storage medium |
| CN114443581A (zh) * | 2022-04-11 | 2022-05-06 | 苏州浪潮智能科技有限公司 | 一种下载控制方法、装置、设备及存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104426946B (zh) * | 2013-08-27 | 2019-02-22 | 腾讯科技（深圳）有限公司 | 批量下载数据处理方法和装置 |
| CN104516920B (zh) * | 2013-10-08 | 2018-06-05 | 北大方正集团有限公司 | 数据查询方法和数据查询系统 |
| CN105022739B (zh) * | 2014-04-21 | 2019-05-21 | 腾讯科技（北京）有限公司 | 数据的存储方法及装置 |
| CN105491087B (zh) * | 2014-09-17 | 2019-07-26 | 联想(北京)有限公司 | 一种文件下载方法、装置和电子设备 |
| CN105120530B (zh) * | 2015-09-11 | 2019-02-12 | 北京金山安全软件有限公司 | 一种获取数据的方法、装置及数据获取系统 |
| CN110555012B (zh) * | 2018-05-14 | 2022-03-25 | 杭州海康威视数字技术股份有限公司 | 数据迁移方法及装置 |
| RU2767193C1 (ru) * | 2018-07-31 | 2022-03-16 | Бейдзин Сяоми Мобайл Софтвэр Ко., Лтд. | Способ и устройство для обработки блоков передачи, электронное устройство и машиночитаемый носитель данных |
| CN111770153A (zh) * | 2020-06-24 | 2020-10-13 | 苏州浪潮智能科技有限公司 | 一种对象下载方法、装置及电子设备和存储介质 |
| CN112929414A (zh) * | 2021-01-22 | 2021-06-08 | 北京北信源软件股份有限公司 | 升级包下载方法、装置、电子设备及存储介质 |
| CN113360462B (zh) * | 2021-08-10 | 2021-11-09 | 苏州浪潮智能科技有限公司 | 一种文件处理方法、装置、设备及可读存储介质 |
-
2022
- 2022-04-11 CN CN202210371421.XA patent/CN114443581B/zh active Active
- 2022-12-23 WO PCT/CN2022/141661 patent/WO2023197674A1/zh unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11290520B1 (en) * | 2016-03-28 | 2022-03-29 | Amazon Technologies, Inc. | Video and audio demultiplexing from a file stored in a remote storage medium |
| CN106020959A (zh) * | 2016-05-24 | 2016-10-12 | 郑州悉知信息科技股份有限公司 | 一种数据迁移方法和装置 |
| CN110247985A (zh) * | 2019-06-28 | 2019-09-17 | 北京奇艺世纪科技有限公司 | 一种资源下载方法、装置、电子设备及介质 |
| CN114127702A (zh) * | 2019-07-15 | 2022-03-01 | 微软技术许可有限责任公司 | 在存储器受限设备上执行大型人工智能模型 |
| CN112199442A (zh) * | 2020-09-29 | 2021-01-08 | 中国平安人寿保险股份有限公司 | 分布式批量下载文件方法、装置、计算机设备及存储介质 |
| CN112671879A (zh) * | 2020-12-18 | 2021-04-16 | 北京浪潮数据技术有限公司 | 一种组件部署方法、系统及计算机可读存储介质 |
| CN114443581A (zh) * | 2022-04-11 | 2022-05-06 | 苏州浪潮智能科技有限公司 | 一种下载控制方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114443581B (zh) | 2022-06-17 |
| CN114443581A (zh) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108549580B (zh) | 自动部署Kubernetes从节点的方法及终端设备 | |
| US10812566B2 (en) | Distributed steam processing | |
| US10706025B2 (en) | Database system providing single-tenant and multi-tenant environments | |
| CN104639650B (zh) | 一种细粒度分布式接口访问控制方法及装置 | |
| WO2023197674A1 (zh) | 一种下载控制方法、装置、设备及存储介质 | |
| US9973564B2 (en) | Determining variable chunk size for transfer of a file | |
| CN109471843B (zh) | 一种元数据缓存方法、系统及相关装置 | |
| CN110543324B (zh) | 一种应用程序的插件增量更新方法及装置 | |
| CN109040207B (zh) | 一种访问用户态网络文件系统的方法、装置及设备 | |
| JP2020510891A (ja) | 検出システム、方法および関連装置 | |
| US20240171454A1 (en) | Hierarchical cloud computing resource configuration techniques | |
| CN105792247B (zh) | 一种数据推送方法及装置 | |
| CN106878311B (zh) | Http报文的重写方法及装置 | |
| CN109714208B (zh) | 一种设备纳入网管的方法、存储介质及电子设备 | |
| CN110602232A (zh) | 基于对等网络思想的终端系统版本下载方法、装置及系统 | |
| CN111988262A (zh) | 认证方法、装置及服务器、存储介质 | |
| US11431795B2 (en) | Method, apparatus and storage medium for resource configuration | |
| CN109981725B (zh) | 一种跨安全域的通信方法、服务器和可读存储介质 | |
| CN107018140B (zh) | 一种权限控制方法和系统 | |
| US10594657B1 (en) | Methods for parameterized sub-policy evaluation for fine grain access control during a session and devices thereof | |
| US20200067913A1 (en) | Modifying an identity token based on a trusted service | |
| CN109101399B (zh) | 一种主机的监控方法及设备 | |
| DE102016013586A1 (de) | Robustes Rechenvorrichtungsidentifizierungssystem | |
| CN112181933A (zh) | 挂载方法及装置 | |
| CN106209973A (zh) | 业务请求处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22937301 Country of ref document: EP Kind code of ref document: A1 |