WO2019105189A1 - 模型训练系统、方法和存储介质 - Google Patents

模型训练系统、方法和存储介质 Download PDF

Info

Publication number
WO2019105189A1
WO2019105189A1 PCT/CN2018/114082 CN2018114082W WO2019105189A1 WO 2019105189 A1 WO2019105189 A1 WO 2019105189A1 CN 2018114082 W CN2018114082 W CN 2018114082W WO 2019105189 A1 WO2019105189 A1 WO 2019105189A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
training
platform
model
cloud
Prior art date
Application number
PCT/CN2018/114082
Other languages
English (en)
French (fr)
Inventor
陈普
廖乔勃
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to KR1020207018467A priority Critical patent/KR102514325B1/ko
Priority to CA3091405A priority patent/CA3091405A1/en
Priority to EP18883965.8A priority patent/EP3709226A4/en
Priority to AU2018374912A priority patent/AU2018374912B2/en
Priority to JP2020529143A priority patent/JP7144117B2/ja
Publication of WO2019105189A1 publication Critical patent/WO2019105189A1/zh
Priority to US16/883,026 priority patent/US20200285978A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9017—Indexing; Data structures therefor; Storage structures using directory or table look-up
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0807—Network architectures or network communication protocols for network security for authentication of entities using tickets, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0884—Network architectures or network communication protocols for network security for authentication of entities by delegation of authentication, e.g. a proxy authenticates an entity to be authenticated on behalf of this entity vis-à-vis an authentication entity

Definitions

  • the present invention relates to the field of machine learning, and in particular to a model training system, method and storage medium.
  • Deep learning is widely used in areas such as artificial intelligence and computer vision. Deep learning requires model training. In the model training process, the model developer needs to design a specific model and use the data set to perform multiple iteration training to obtain a deep learning model that meets the expected requirements. Among them, the data set is the key to determine whether the stability and accuracy of the trained model meet the expected requirements.
  • the data set can be provided by the data provider.
  • users can purchase download data permissions at the data provider. After the download data permission is passed, the user can download the data to save locally.
  • the data downloaded to the locally saved data is copied to the model training system to implement model training.
  • the risk of leaking data downloaded to the local store is high.
  • the present application provides a model training system, method and storage medium, which can reduce the risk of leakage of training data.
  • the present application provides a model training system, including a cloud data storage platform and a cloud model training platform; a cloud data storage platform is configured to store training data, and is configured to receive a training data call request, and invoke a request according to the training data, Exporting the training data corresponding to the data call instruction to the cloud model training platform; the cloud model training platform is configured to receive the model training creation instruction, obtain the model to be trained, and generate and send the training data call request to the cloud data storage platform, and It is used to train the model to be trained and obtain the training result model by using the training data derived from the cloud data storage platform.
  • the model training system further comprises a retrieval data platform and an authentication center;
  • the cloud data storage platform comprises a rights gateway; and the retrieval data platform is configured to provide training data according to the data provider Establishing a data index table, and receiving a retrieval instruction, performing data retrieval in the data index table according to the retrieval instruction, and generating a retrieval result, and receiving a data selection instruction for the user terminal for the retrieval result, and selecting the instruction according to the data selection instruction
  • the right center initiates an authentication permission request, and the authentication permission request includes a data identifier of the training data;
  • the authentication center is configured to receive the authentication permission request, create a data token of the data identifier according to the authentication permission request, and issue the data token
  • the cloud model training platform is further configured to send a training data call request to the privilege gateway, where the training data call request includes a data token sent by the authentication center to the user terminal;
  • the privilege gateway is used to establish the first correspondence relationship
  • the target data identifier is a data identifier corresponding to the data token in the training data call request
  • the training data corresponding to the target data identifier is exported to the cloud model training platform.
  • the model training system further includes a retrieval data platform and an authentication center;
  • the cloud data storage platform includes a rights gateway and at least one data storage server; and the retrieval data platform is configured to use the data
  • the training data provided by the provider, the data index table is established, and the retrieval instruction is received, the data retrieval is performed in the data index table according to the retrieval instruction, and the retrieval result is generated, and the data selection instruction for receiving the user terminal for the retrieval result is performed according to the data.
  • the selection instruction initiates an authentication permission request to the authentication center, where the authentication permission request includes a data identifier of the training data; the authentication center is configured to receive the authentication permission request, create a data token of the data identifier according to the authentication permission request, and The token is sent to the rights gateway and the user terminal; the cloud model training platform is further configured to send a training data call request to the rights gateway, where the training data call request includes a data token sent by the authentication center to the user terminal; the rights gateway is used to establish a second correspondence, the second correspondence is a data token and According to the correspondence relationship of the route, the data route includes a uniform resource locator path of the training data, and is used for receiving the training data call request, and calling the data token in the request according to the training data, and searching for the target data route in the second correspondence, the target The data is routed to a data route corresponding to the data token in the training data call request, and is used to access the target data storage server to export the training data of the target data routing indication in the target data storage server to the
  • the model training system further comprises an access router, and the rights gateway derives the target data route from the target data storage server by accessing a predetermined standard access interface in the router. Indicated training data.
  • the rights gateway is further configured to acquire an update determination parameter, determine whether the update determination parameter satisfies the update condition, and The update judgment parameter satisfies the update condition, sends an update request to the authentication center, and is used to update the data token in synchronization with the authentication center; the authentication center is further configured to receive the update request, and update the data token according to the update request.
  • the update determination parameter comprises a number of rejections of the authentication permission request
  • the rights gateway is further configured to monitor the processing of the authentication permission request by the authentication center The process, and if the number of rejections of the authentication permission request to the authentication center exceeds the rejection threshold update threshold in the update condition, the update request is sent to the authentication center.
  • the update determination parameter includes the number of calls of the training data; the rights gateway is further configured to acquire the number of times the training data is called for a period of time, and is used for If the number of calls of the same training data exceeds the number of calls update threshold in the update condition for a period of time, an update request is sent to the authentication center.
  • the cloud model training platform is further configured to: after training the training result model, destroy the training data and the model to be trained used by the training model in the cloud model training platform.
  • the model training system further includes a data auditing system; the data auditing system is configured to perform validity verification on the training data uploaded by the data provider, and reject the failure of the validity authentication.
  • Training data is stored in the cloud data storage platform.
  • the model training system further comprises a cloud model storage platform; the cloud model storage platform is configured to provide the model to be trained, and save the training result model.
  • the model training system further includes a mirroring platform and a model inference platform; the mirroring platform is configured to store a model inference running environment; and the model inference platform is configured to receive reasoning The request, the inference request includes the data to be processed, and the model inference running environment is loaded from the mirroring platform, and the training result model is invoked from the cloud model storage platform, and the data to be processed is imported into the training result model for model reasoning.
  • the present application provides a model training method, including: a cloud model training platform receives a model training creation instruction, and acquires a model to be trained; the cloud model training platform generates and sends a training data call request to the cloud data storage platform to invoke The training data stored in the cloud data storage platform; the cloud data storage platform receives the training data call request, and exports the training data corresponding to the training data call request to the cloud model training platform; the cloud model training platform utilizes the training derived from the cloud data storage platform Data, training models to be trained, and training outcome models.
  • the model training method further includes: the retrieval data platform establishes a data index table according to the training data provided by the data provider; and the retrieval data platform receives the retrieval instruction according to the retrieval instruction Performing data retrieval in the data index table, and generating a retrieval result; the retrieval data platform receives the data selection instruction of the user terminal, and initiates an authentication permission request to the authentication center according to the data selection instruction, where the authentication permission request includes the data identifier of the training data; The authentication center receives the authentication permission request, creates a data token of the data identifier according to the authentication permission request, and sends the data token to the authority gateway and the user terminal; the authority gateway establishes the first according to the data token sent Corresponding relationship, the first correspondence relationship is a one-to-one correspondence between the data identifier and the data token.
  • the cloud model training platform generates and sends a training data call request to the cloud data storage platform, including: the cloud model training platform generates and sends the message to the authority gateway.
  • the training data invoking request includes a data token sent by the authentication center to the user terminal; the cloud data storage platform receives the training data invoking request, and the training data corresponding to the training data invoking request is exported to the cloud model training platform,
  • the method includes: the permission gateway in the cloud data storage platform receives the training data call request, invokes the data token in the request according to the training data, searches for the target data identifier in the first correspondence, and exports the training data corresponding to the target data identifier to the cloud.
  • the model training platform, the target data identifier is a data identifier corresponding to the data token in the training data call request.
  • the model training method further includes: the retrieval data platform establishes a data index table according to the training data provided by the data provider; and the retrieval data platform receives the retrieval instruction according to the retrieval instruction Performing data retrieval in the data index table, and generating and transmitting the retrieval result; the retrieval data platform receives the data selection instruction of the user terminal for the retrieval result, and initiates an authentication permission request to the authentication center according to the data selection instruction, and the authentication permission request includes training The data identification of the data; the authentication center receives the authentication permission request, creates a data token of the data identifier according to the authentication permission request, and sends the data token to the authority gateway and the user terminal; the authority gateway obtains the data order according to the delivery The card establishes a second correspondence, and the second correspondence is a correspondence between the data token and the data route, and the data route includes a uniform resource locator path of the training data.
  • the cloud model training platform generates and sends a training data call request to the cloud data storage platform, including: the cloud model training platform generates and sends the message to the authority gateway.
  • the training data invoking request includes a data token sent by the authentication center to the user terminal; the cloud data storage platform receives the training data invoking request, and the training data corresponding to the training data invoking request is exported to the cloud model training platform,
  • the method includes: the permission gateway in the cloud data storage platform receives the training data call request, invokes the data token in the request according to the training data, searches for the target data route in the second correspondence, and the target data route is the data in the request with the training data call.
  • the foregoing model training method further includes: the rights gateway acquiring the update determination parameter, Determining whether the update judgment parameter satisfies the update condition; if it is determined that the update judgment parameter satisfies the update condition, the authority gateway sends an update request to the authentication center; the authentication center receives the update request, updates the data token according to the update request; and the authority gateway synchronizes with the authentication center Update the data token.
  • the update determination parameter includes a number of rejections of the authentication permission request; the authority gateway acquires an update determination parameter, and determines whether the update determination parameter satisfies an update condition,
  • the method includes: the authority gateway monitors the processing procedure of the authentication permission request by the authentication center, and obtains the number of rejections of the authentication permission request by the authentication center, and determines whether the number of rejections of the authentication permission request by the authentication center exceeds the update condition.
  • FIG. 3 is a schematic structural diagram of a model training system according to another embodiment of the present invention.
  • FIG. 4 is a schematic structural diagram of a model training system according to still another embodiment of the present invention.
  • the cloud model training platform 12 is configured to receive a model training creation instruction, acquire a model to be trained, and generate and send a training data call request to the cloud data storage platform 11, and use the training data derived from the cloud data storage platform 11, Train the model to be trained and get the training outcome model.
  • a user may utilize the user terminal 20 to connect to the back end of the cloud system via a hypertext transfer protocol to interact with the cloud model training platform 12.
  • the user can send a model training creation request to the cloud model training platform 12 through the user terminal 20 to trigger the cloud model training platform 12 to create a model training task.
  • the cloud model training platform 12 can perform model training using the model to be trained and the training data.
  • the model training may refer to the training data being introduced into the model to be trained for multiple iterations to obtain a trained model, that is, a training result model.
  • the user of the user terminal 20 may include a user, a data provider, or a model provider.
  • the cloud data storage platform 11 and the cloud model training platform 12 are independent of each other, and the storage data is separated from the model training.
  • the cloud data storage platform 11 and the cloud model training platform 12 are all implemented on the basis of the cloud system, and the model training process is performed in the cloud system.
  • the user who performs the model training cannot download the training data to the local, and the training data exists on the cloud data storage platform 11 And a cloud model training platform 12 that is undergoing model training. In other words, the training data will not be leaked from the local user side, thus reducing the risk of leakage of training data.
  • FIG. 3 is a schematic structural diagram of a model training system according to another embodiment of the present invention. 3 is different from FIG. 2 in that the cloud data storage platform 11 in FIG. 2 further includes the rights gateway 111 in FIG. 3; the model training system shown in FIG. 3 may further include a retrieval data platform 13 and an authentication center 14 The data auditing system 15, the cloud model storage platform 16, the mirroring platform 17, and the model inference platform 18.
  • the retrieval data platform 13 is configured to establish a data index table based on the training data provided by the data provider. The user can perform a search query on the training data stored in the cloud data storage platform 11 through the retrieval data platform 13.
  • the search data platform 13 may analyze and process the training data to obtain data basic information such as a data set size, a data set size, a data owner information, and a data upload date of the training data. It is convenient for users to understand the basic information of training data.
  • the cloud data storage platform 11 may also require the data provider to provide a tag of the training data when the training data is uploaded, and the tag of the training data may characterize the training data.
  • the tag of the training data may be a keyword of the content represented by the training data.
  • the tags labeled for the training data are “car license plate” and “small car”.
  • the retrieval data platform 13 may also add the label of the training data to the data retrieval table, so that the user can use the characteristics of the training data to perform retrieval when the training data is retrieved.
  • the retrieval data platform 13 is configured to receive a retrieval instruction, perform data retrieval in the data index table according to the retrieval instruction, and generate a retrieval result.
  • the search instruction may include one or more search keywords, and may be searched according to the search keyword in the tag of the training data in the data index table.
  • the retrieval result may include information of training data related to the retrieval keyword in the retrieval instruction, such as the name, number, keyword of the training data, and partial data examples in the training data.
  • the retrieval result may include information of the training data sequentially arranged in accordance with the degree of correlation with the retrieval keyword, so that the user can more intuitively obtain the training data most relevant to the retrieval keyword.
  • the information of the training data that randomly filters the fixed data in the information of the training data retrieved based on the retrieval keyword may be provided to the user.
  • the search result generated by each search includes information of ten pieces of training data.
  • the retrieval data platform 13 can transmit the retrieval result to the user terminal 20, and the user terminal 20 can display the retrieval result.
  • the user may also issue a data selection instruction for the search result through the user terminal 20.
  • the data retrieval platform receives the data selection instruction of the user terminal 20 for the retrieval result, and initiates an authentication permission request to the authentication center 14 according to the data selection instruction.
  • the data selection instruction may be used to indicate information of one or more training data in the retrieval result to determine the training data required for the model training.
  • an authentication permission request is initiated to the authentication center 14, and the authentication permission request may include the data identifier of the training data, and the authentication authority 14 is requested to invoke the training data.
  • the retrieval data platform 13 in the embodiment of the present invention can be regarded as at least a part of the deep learning database in FIG.
  • the authentication center 14 is configured to receive the authentication permission request, create a data token of the data identifier according to the authentication permission request, and deliver the data token to the rights gateway 111 and the user terminal 20.
  • the authentication permission request is used to request the call permission of the training data.
  • the authentication center 14 may decide whether to agree to retrieve the authentication permission request sent by the data platform 13.
  • the authentication permission request may include payment information for the training data, and if the payment information indicates that the user successfully paid for the training data, the authentication center 14 may agree to the authentication permission request and create a data token of the data identification.
  • the data authentication information may also be generated and saved, and the data authentication information may include a user identifier and a data identifier.
  • the data authentication information may have an effective duration, that is, within the effective duration, if the user requests the same training data again, the authentication permission request may be directly approved by the authentication center 14, and no audit is required.
  • the effective duration can be set according to the work scene and work requirements, and is not limited here. For example, the effective duration can be one year or permanent.
  • a data token (ie, a data token) identifies the training data in an operation and is used as a security credential for data invocation.
  • the data token identifies the training data in the data invocation operation in the subsequent process.
  • the data token can be implemented as a security plugin.
  • the authentication center 14 delivers the created data token to the user terminal 20, so that the user terminal 20 can use the data token to derive the training data corresponding to the data token from the cloud data storage platform 11 through the rights gateway 111. At the same time, the authentication center 14 also saves the created data token in the authentication center 14.
  • the cloud model training platform 12 is further configured to send a training data call request to the rights gateway 111.
  • the training data call request includes a data token sent by the authentication center 14 to the user terminal 20.
  • the data token can be added to the model training creation instruction, and the cloud model training platform 12 can parse the model training creation instruction to obtain the data token delivered to the user terminal 20, and The data token sent to the user terminal 20 is added to the training data call request.
  • the cloud model training platform 12 invokes the training data corresponding to the data token from the cloud data storage platform 11 by training the data token in the data invocation request.
  • the cloud data storage platform 11 can be implemented as a third-party public server.
  • the third-party public server does not belong to the data provider, model provider, and user, and is a public server for storing training data and capable of exporting training data. Calling the training data can make an authorization call by using the correspondence between the data token and the data identifier.
  • the rights gateway 111 is configured to establish a first correspondence, where the first correspondence is a correspondence between the data identifier and the data token.
  • the data identifier is in one-to-one correspondence with the data token, and the data token is also unique, that is, different data identifiers correspond to different data tokens.
  • the rights gateway 111 calls the data token in the request according to the training data, and searches for the target data identifier in the first correspondence relationship, where the target data identifier is corresponding to the data token in the training data call request.
  • the data is identified, and the training data corresponding to the target data identifier is exported to the cloud model training platform 12.
  • the rights gateway 111 compares whether the data token in the training data call request and the data token stored in the rights gateway 111; if the training data invokes the data token in the request Being able to match the data token stored in the rights gateway 111 allows the training data to be invoked and the training data corresponding to the data token in the training data call request to be derived.
  • the rights gateway 111 can be configured to obtain an update determination parameter and determine whether the update determination parameter satisfies the update condition. If it is determined that the update determination parameter satisfies the update condition, the rights gateway 111 sends an update request to the authentication center 14, and is used to update the data token in synchronization with the authentication center 14. The authentication center 14 receives the update request and updates the data token according to the update request.
  • the update determination parameter may include one or more of parameters such as the number of rejections of the authentication permission request, the number of calls to the training data, and the duration of the data token.
  • the update determination parameter includes the number of rejections of the authentication permission request.
  • the authority gateway 111 can monitor the processing procedure of the authentication permission request by the authentication center 14, thereby obtaining the number of rejections of the authentication permission request by the authentication center 14. If the rights gateway 111 detects that the number of rejections of the authentication permission request by the authentication center 14 exceeds the rejection number update threshold in the update condition, an update request is sent to the authentication center 14.
  • the threshold of the number of rejections can be set according to the work scenario and work requirements, and is not limited herein.
  • the authentication center 14 deletes the original data token and generates a new data token, and sends the new data token to the client terminal and the rights gateway 111, so that the rights gateway 111 can update the data order with the authentication center 14. brand.
  • the execution of the training data call request needs to be stopped.
  • the training data call request is executed.
  • the data token is updated, if the original data token contained in the training data call request is still invalid, and the original data token in the training data call request is invalid, the training data cannot be called.
  • the update determination parameter includes the number of times the training data is called.
  • the rights gateway 111 can acquire the number of times the training data is called for a period of time. If, within a certain period of time, the rights gateway 111 determines that the number of calls of the same training data exceeds the number of call times update threshold in the update condition, an update request is sent to the authentication center 14.
  • the duration of the statistical training data and the number of times of the update of the call can be set according to the work scenario and the work requirement, and are not limited herein.
  • the update determination parameter includes the duration of existence of the data token.
  • the rights gateway 111 can set the update period duration of the data token and record the duration of the data token. If the rights gateway 111 determines that the duration of the existence of the data token reaches the update period duration, an update request is sent to the authentication center 14.
  • the update period duration of the data token can be set according to the work scenario and work requirements, and is not limited herein.
  • the rights gateway 111 may also receive an update policy configuration instruction of the user, and set an update determination parameter and an update condition according to the update policy configuration instruction.
  • the cloud model storage platform 16 is used to provide a model to be trained and to save a training outcome model.
  • the model stored in the cloud model storage platform 16 may be a model uploaded by the model provider or a training result model trained by the cloud model training platform 12.
  • the cloud model training platform 12 may send the training result model to the cloud model storage platform 16 to save and destroy the training data used by the training model in the cloud model training platform 12. And the model to be trained, the training result model in the cloud model training platform 12 can also be destroyed to prevent the training data and the model to be trained and the training result model left in the cloud model training platform 12 from being leaked.
  • the manner of authenticating the training data uploaded by the data provider is not limited to the above manner.
  • the data auditing system 15 can ensure the true validity of the training data used in the model training system.
  • the model inference platform 18 can receive an inference request that includes pending data.
  • the inference request can be sent by the user terminal 20.
  • the user terminal 20 can send an inference request to the model inference platform 18 through an Application Programming Interface (API).
  • API Application Programming Interface
  • the model inference platform 18 loads the model inference running environment from the mirroring platform 17, and invokes the training result model from the cloud model storage platform 16, and introduces the to-be-processed data into the training result model for model reasoning.
  • the call training data can be authorized to be invoked by using the correspondence between the data token and the data route.
  • the data routing may include a Uniform Resource Locator (URL) path of the training data, and may also include a data access method and a standard for deriving training data from the cloud data storage platform 11.
  • the data provider can also upload the data corresponding to the training data to the retrieval data platform 13 while uploading the training data.
  • URL Uniform Resource Locator
  • the rights gateway 111 can establish a second correspondence, where the second correspondence is a correspondence between the data token and the data route.
  • the second correspondence may be implemented as a data routing table.
  • the training data has a corresponding data route, and the training data corresponds to the data token one by one, and the data token also has a one-to-one correspondence with the data route.
  • the data index table is created by the retrieval data platform 13, the corresponding data route can be saved in the rights gateway 111.
  • the model training system can also include an access router.
  • the rights gateway 111 derives the training data of the target data route indication from the target data storage server 112 by accessing a predetermined standard access interface in the router.
  • the standard access interface is a restful access interface, and the path of the restful access interface can be used as data routing.
  • FIG. 5 is a flowchart of a model training method according to an embodiment of the present invention.
  • the model training method can be applied to the model training system in the above embodiment.
  • the model training method may include step S201 and step S204.
  • step S202 the cloud model training platform generates and sends a training data call request to the cloud data storage platform to invoke the training data stored in the cloud data storage platform;
  • step S203 the cloud data storage platform receives the training data call request, and exports the training data corresponding to the training data call request to the cloud model training platform;
  • step S204 the cloud model training platform uses the training data derived from the cloud data storage platform to train the model to be trained to obtain a training result model.
  • the cloud data storage platform and the cloud model training platform are independent of each other, and the storage data is separated from the model training.
  • Both the cloud data storage platform and the cloud model training platform are implemented on the basis of the cloud system.
  • the model training process is performed in the cloud system.
  • the users who perform the model training cannot download the training data to the local, and the training data exists on the cloud data storage platform and is in progress.
  • Model training cloud model training platform In other words, the training data will not be leaked from the local user side, thus reducing the risk of leakage of training data.
  • FIG. 6 is a flowchart of a specific implementation manner of a model training method according to an embodiment of the present invention. As shown in FIG. 6, the model training method may include steps S301 to S315.
  • step 301 the data auditing system performs validity verification on the training data uploaded by the data provider.
  • step 302 the data auditing system refuses to store the training data for which the validity authentication failed in the cloud data storage platform.
  • step 303 the retrieval data platform creates a data index table based on the training data provided by the data provider.
  • the retrieval data platform receives the retrieval instruction, performs data retrieval in the data index table according to the retrieval instruction, and generates a retrieval result.
  • step 305 the retrieval data platform receives the data selection instruction of the user terminal, and initiates an authentication permission request to the authentication center according to the data selection instruction.
  • the authentication permission request includes a data identifier of the training data.
  • step 306 the authentication center receives the authentication permission request, creates a data token of the data identifier according to the authentication permission request, and delivers the data token to the rights gateway and the user terminal in the cloud data storage platform.
  • step 307 the rights gateway in the cloud data storage platform establishes a first correspondence according to the data tokens sent.
  • the first correspondence relationship is a correspondence between the data identifier and the data token.
  • step 308 the cloud model training platform receives the model training creation instruction and acquires the model to be trained.
  • step 309 the cloud model training platform generates and sends a training data call request to the rights gateway in the cloud data storage platform to invoke the training data stored in the cloud data storage platform.
  • the training data call request includes a data token that is sent by the authentication center to the user terminal.
  • the rights gateway in the cloud data storage platform receives the training data call request, invokes the data token in the request according to the training data, searches for the target data identifier in the first correspondence, and identifies the training data corresponding to the target data. Export to the cloud model training platform.
  • the target data identifier is a data identifier corresponding to the data token in the training data call request.
  • step 311 the cloud model training platform uses the training data derived from the cloud data storage platform to train the model to be trained to obtain a training result model.
  • step 312 the cloud model storage platform saves the training outcome model.
  • step 313 the cloud model training platform destroys the training data and the model to be trained utilized by the training training result model in the cloud model training platform.
  • step 314 the model inference platform receives an inference request that includes pending data.
  • the model inference platform loads the model inference running environment from the mirroring platform, and invokes the training result model from the cloud model storage platform, and introduces the to-be-processed data into the training result model for model reasoning.
  • FIG. 7 is a flowchart of another specific implementation manner of a model training method according to an embodiment of the present invention. 7 is different from FIG. 6 in that step S307 in FIG. 6 can be replaced with step S316 in FIG. 7; step S310 in FIG. 6 can be replaced with step S317 and step S318 in FIG.
  • step S316 the rights gateway in the cloud data storage platform establishes a second correspondence according to the data tokens sent.
  • the second correspondence relationship is a correspondence between the data token and the data route.
  • Data routing includes a uniform resource locator path for training data.
  • step S317 the rights gateway in the cloud data storage platform receives the training data call request, invokes the data token in the request according to the training data, and searches for the target data route in the second correspondence.
  • the target data route is a data route corresponding to the data token in the training data call request.
  • step S318 the rights gateway in the cloud data storage platform accesses the target data storage server to export the training data of the target data routing indication in the target data storage server to the cloud model training platform.
  • the target data storage server is a data storage server corresponding to the target data route.
  • the data token can also be updated according to a specific scenario to ensure the security of the training data.
  • the authority gateway obtains the update judgment parameter and determines whether the update judgment parameter satisfies the update condition. If it is determined that the update determination parameter satisfies the update condition, the rights gateway sends an update request to the authentication center.
  • the authentication center receives the update request and updates the data token according to the update request.
  • the rights gateway synchronizes the data token with the authentication center.
  • the update determination parameter includes the number of rejections of the authentication permission request.
  • the data token update process may be specifically: the rights gateway monitors the processing procedure of the authentication permission request by the authentication center, and obtains the number of rejections of the authentication permission request by the authentication center, and determines the rejection of the authentication permission request by the authentication center. Whether the number of times exceeds the rejection number update threshold in the update condition; if it is detected that the number of rejections of the authentication permission request by the authentication center exceeds the rejection number update threshold in the update condition, an update request is sent to the authentication center.
  • the update determination parameter includes the number of calls to the training data.
  • the data token update process may be specifically: the permission gateway acquires the number of times the training data is invoked for a period of time, and determines whether the number of calls of the same training data exceeds the update threshold of the number of calls in the update condition within a period of time; if within a period of time If the number of calls of the same training data exceeds the number of calls update threshold in the update condition, an update request is sent to the authentication center.
  • the embodiment of the present invention may further provide a storage medium, where the program is stored, and when the program is executed by the processor, the model training method in the foregoing embodiment is implemented.

Abstract

本发明提供了一种模型训练系统、方法和存储介质，涉及机器学习领域。该模型训练系统，包括云数据存储平台和云模型训练平台；云数据存储平台用于存储训练数据，以及用于接收训练数据调用请求，根据训练数据调用请求，将与数据调用指令对应的训练数据导出至云模型训练平台；云模型训练平台用于接收模型训练创建指令，获取待训练模型，以及用于生成并向云数据存储平台发送训练数据调用请求，以及用于利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型。利用本发明的技术方案能够降低训练数据发生泄露的风险。

Description

模型训练系统、方法和存储介质 技术领域
本发明涉及机器学习领域，尤其涉及一种模型训练系统、方法和存储介质。
背景技术
深度学习广泛应用于人工智能和计算机视觉等领域。深度学习需要进行模型训练，在模型训练过程中模型开发者需要设计好特定模型，利用数据集进行多次迭代训练，从而得到符合期望要求的深度学习模型。其中，数据集是决定训练出的模型的稳定性和精确度是否符合期望要求的关键。数据集可由数据提供者提供。
现阶段，用户可在数据提供商处购买下载数据权限。下载数据权限通过后，用户可将数据下载至本地保存。当需要进行模型训练时，将下载至本地保存的数据拷贝到模型训练系统中，实现模型训练。但是，下载至本地保存的数据发生泄漏的风险较大。
发明内容
本申请提供了一种模型训练系统、方法和存储介质，能够降低训练数据发生泄露的风险。
第一方面，本申请提供了一种模型训练系统，包括云数据存储平台和云模型训练平台；云数据存储平台用于存储训练数据，以及用于接收训练数据调用请求，根据训练数据调用请求，将与数据调用指令对应的训练数据导出至云模型训练平台；云模型训练平台用于接收模型训练创建指令，获取待训练模型，以及用于生成并向云数据存储平台发送训练数据调用请求，以及用于利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型。
根据第一方面，在第一方面的第一种可能中，模型训练系统还包括检索数据平台和鉴权中心；云数据存储平台包括权限网关；检索数据平台用于根据数据提供者提供的训练数据，建立数据索引表，以及用于接收检索指令，根据检索指令在数据索引表中进行数据检索，并生成检索结果，以及用于接收用户终端针对检索结果的数据选取指令，根据数据选取指令向鉴权中心发起鉴权许可请求，鉴权许可请求包括训练数据的数据标识；鉴权中心用于接收鉴权许可请求，根据鉴权许可请求创建数据标识的数据令牌，并将数据令牌下发给权限网关和用户终端；云模型训练平台还用于向权限网关发送训练数据调用请求，训练数据调用请求包括鉴权中心下发至用户终端的数据令牌；权限网关用于建立第一对应关系，第一对应关系为数据标识与数据令牌一一对应的关系，以及用于接收训练数据调用请求，根据训练数据调用请求中的数据令牌，在第一对应关系中查找目标数据标识，目标数据标识为与训练数据调用请求中的数据令牌对应的数据标识，以及用于将目标数据标识对应的训练数据导出至云模型训练平台。
根据第一方面，在第一方面的第二种可能中，模型训练系统还包括检索数据平台和鉴权中心；云数据存储平台包括权限网关和至少一个数据存储服务器；检索数据平台用于根据数据提供者提供的训练数据，建立数据索引表，以及接收检索指令，根据检索指令在数据索引表中进行数据检索，并生成检索结果，以及用于接收用户终端针对检索结果的数据选取指令，根据数据选取指令向鉴权中心发起鉴权许可请求，鉴权许可请求包括训练数据的数据标识；鉴权中心用于接收鉴权许可请求，根据鉴权许可请求创建数据标识的数据令牌，并将数据令牌下发给权限网关和用户终端；云模型训练平台还用于向权限网关发送训练数据调用请求，训练数据调用请求包括鉴权中心下发至用户终端的数据令牌；权限网关用于建立第二对应关系，第二对应关系为数据令牌与数据路由的对应关系，数据路由包括训练数据的统一资源定位符路径，以及用于接收训练数据调用请求，根据训练数据调用请求中的数据令牌，在第二对应关系中查找目标数据路由，目标数据路由为与训练数据调用请求中的数据令牌对应的数据路由，以及用于访问目标数据存储服务器，以将目标数据存储服务器中目标数据路由指示的训练数据导出至云模型训练平台，目标数据存储服务器为与目标数据路由对应的数据存储服务器。
根据第一方面的第二种可能，在第一方面的第三种可能中，模型训练系统还包括访问路由器，权限网关通过访问路由器中预定的标准访问接口从目标数据存储服务器中导出目标数据路由指示的训练数据。
根据第一方面的第一种可能或第二种可能，在第一方面的第四种可能中，权限网关还用于获取更新判断参数，判断更新判断参数是否满足更新条件，以及用于若判定更新判断参数满足更新条件，向鉴权中心发送更新请求，以及用于与鉴权中心同步更新数据令牌；鉴权中心还用于接收更新请求，根据更新请求更新数据令牌。
根据第一方面的第四种可能，在第一方面的第五种可能中，更新判断参数包括对鉴权许可请求的拒绝次数；权限网关还用于监测鉴权中心对鉴权许可请求的处理过程，以及用于若监测到鉴权中心对鉴权许可请求的拒绝次数超出更新条件中的拒绝次数更新阈值，则向鉴权中心发送更新请求。
根据第一方面的第五种可能，在第一方面的第六种可能中，更新判断参数包括训练数据的调用次数；权限网关还用于获取一段时长内的训练数据的调用次数，以及用于若在一段时长内，同一训练数据的调用次数超出更新条件中的调用次数更新阈值，则向鉴权中心发送更新请求。
根据第一方面，在第一方面的第七种可能中，云模型训练平台还用于训练得到训练成果模型后，销毁云模型训练平台内训练训练成果模型所利用的训练数据和待训练模型。
根据第一方面，在第一方面的第八种可能中，模型训练系统还包括数据稽查系统；数据稽查系统用于对数据提供者上传的训练数据进行有效性认证，拒绝将有效性认证失败的训练数据存入云数据存储平台。
根据第一方面，在第一方面的第九种可能中，模型训练系统还包括云模型存储平台；云模型存储平台用于提供待训练模型，以及保存训练成果模型。
根据第一方面的第九种可能，在第一方面的第十种可能中，模型训练系统还包括镜像平台和模型推理平台；镜像平台用于存储模型推理运行环境；模型推理平台用于接收推理请求，推理请求包括待处理数据，以及从镜像平台加载模型推理运行环境，以及从云模型 存储平台调用训练成果模型，将待处理数据导入训练成果模型进行模型推理。
第二方面，本申请提供了一种模型训练方法，包括：云模型训练平台接收模型训练创建指令，获取待训练模型；云模型训练平台生成并向云数据存储平台发出训练数据调用请求，以调用云数据存储平台中存储的训练数据；云数据存储平台接收训练数据调用请求，将与训练数据调用请求对应的训练数据导出至云模型训练平台；云模型训练平台利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型。
根据第二方面，在第二方面的第一种可能中，上述模型训练方法还包括：检索数据平台根据数据提供者提供的训练数据，建立数据索引表；检索数据平台接收检索指令，根据检索指令在数据索引表中进行数据检索，并生成检索结果；检索数据平台接收用户终端的数据选取指令，根据数据选取指令向鉴权中心发起鉴权许可请求，鉴权许可请求包括训练数据的数据标识；鉴权中心接收鉴权许可请求，根据鉴权许可请求创建数据标识的数据令牌，并将数据令牌下发给权限网关和用户终端；权限网关根据下发得到的数据令牌，建立第一对应关系，第一对应关系为数据标识与数据令牌一一对应的关系。
根据第二方面的第一种可能，在第二方面的第二种可能中，云模型训练平台生成并向云数据存储平台发送训练数据调用请求，包括：云模型训练平台生成并向权限网关发送训练数据调用请求，训练数据调用请求包括鉴权中心下发至用户终端的数据令牌；云数据存储平台接收训练数据调用请求，将与训练数据调用请求对应的训练数据导出至云模型训练平台，包括：云数据存储平台中的权限网关接收训练数据调用请求，根据训练数据调用请求中的数据令牌，在第一对应关系中查找目标数据标识，并将目标数据标识对应的训练数据导出至云模型训练平台，目标数据标识为与训练数据调用请求中的数据令牌对应的数据标识。
根据第二方面，在第二方面的第三种可能中，上述模型训练方法还包括：检索数据平台根据数据提供者提供的训练数据，建立数据索引表；检索数据平台接收检索指令，根据检索指令在数据索引表中进行数据检索，并生成并发送检索结果；检索数据平台接收用户终端针对检索结果的数据选取指令，根据数据选取指令向鉴权中心发起鉴权许可请求，鉴权许可请求包括训练数据的数据标识；鉴权中心接收鉴权许可请求，根据鉴权许可请求创建数据标识的数据令牌，并将数据令牌下发给权限网关和用户终端；权限网关根据下发得到的数据令牌，建立第二对应关系，第二对应关系为数据令牌与数据路由的对应关系，数据路由包括训练数据的统一资源定位符路径。
根据第二方面的第三种可能，在第二方面的第四种可能中，云模型训练平台生成并向云数据存储平台发送训练数据调用请求，包括：云模型训练平台生成并向权限网关发送训练数据调用请求，训练数据调用请求包括鉴权中心下发至用户终端的数据令牌；云数据存储平台接收训练数据调用请求，将与训练数据调用请求对应的训练数据导出至云模型训练平台，包括：云数据存储平台中的权限网关接收训练数据调用请求，根据训练数据调用请求中的数据令牌，在第二对应关系中查找目标数据路由，目标数据路由为与训练数据调用请求中的数据令牌对应的数据路由；权限网关访问目标数据存储服务器，以将目标数据存储服务器中目标数据路由指示的训练数据导出至云模型训练平台，目标数据存储服务器为与目标数据路由对应的数据存储服务器。
根据第二方面或第二方面的第一种可能至第四种可能中的任意一种可能，在第二方面的第五种可能中，上述模型训练方法还包括：权限网关获取更新判断参数，判断更新判断参数是否满足更新条件；若判定更新判断参数满足更新条件，权限网关向鉴权中心发送更新请求；鉴权中心接收更新请求，根据更新请求更新数据令牌；权限网关与鉴权中心同步更新数据令牌。
根据第二方面的第五种可能，在第二方面的第六种可能中，更新判断参数包括对鉴权许可请求的拒绝次数；权限网关获取更新判断参数，判断更新判断参数是否满足更新条件，包括：权限网关监测鉴权中心对鉴权许可请求的处理过程，并获取鉴权中心对鉴权许可请求的拒绝次数，并判断鉴权中心对鉴权许可请求的拒绝次数是否超出更新条件中的拒绝次数更新阈值；若判定更新判断参数满足更新条件，权限网关向鉴权中心发送更新请求，包括：若监测到鉴权中心对鉴权许可请求的拒绝次数超出更新条件中的拒绝次数更新阈值，则向鉴权中心发送更新请求。
根据第二方面的第五种可能，在第二方面的第七种可能中，更新判断参数包括训练数据的调用次数；权限网关获取更新判断参数，判断更新判断参数是否满足更新条件，包括：权限网关获取一段时长内的训练数据的调用次数，判断在一段时长内，同一训练数据的调用次数是否超出更新条件中的调用次数更新阈值；若判定更新判断参数满足更新条件，权限网关向鉴权中心发送更新请求，包括：若在一段时长内，同一训练数据的调用次数超出更新条件中的调用次数更新阈值，则向鉴权中心发送更新请求。
根据第二方面，在第二方面的第八种可能中，在云模型训练平台利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型之后，还包括：云模型训练平台销毁云模型训练平台内训练训练成果模型所利用的训练数据和待训练模型。
根据第二方面，在第二方面的第九种可能中，上述模型训练方法还包括：数据稽查系统对数据提供者上传的训练数据进行有效性认证；数据稽查系统拒绝将有效性认证失败的训练数据存入云数据存储平台。
根据第二方面，在第二方面的第十种可能中，在云模型训练平台利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型之后，还包括：云模型存储平台保存训练成果模型。
根据第二方面的第十种可能，在第二方面的第十一种可能中，上述模型训练方法还包括：模型推理平台接收推理请求，推理请求包括待处理数据；模型推理平台从镜像平台加载模型推理运行环境，并从云模型存储平台调用训练成果模型，将待处理数据导入训练成果模型进行模型推理。
第三方面，本申请提供了一种存储介质，存储介质上存储有程序，程序被处理器执行时实现上述技术方案中的模型训练方法。
本申请提供了一种模型训练系统、方法和存储介质，可应用于深度学习场景中。模型训练系统可包括云数据存储平台和云模型训练平台。云数据存储平台存储训练数据。云模型训练平台接收用户的模型训练创建指令，触发执行模型训练。云模型训练平台通过向云数据存储平台发送训练数据调用请求，调用云数据存储平台存储的训练数据。云模型训练平台利用获取的待训练模型和从云数据存储平台导出的训练数据进行模型训练。在本申请中，云数据存储平台和云模型训练平台相互独立，将训练数据的存储与模型训练两种功能 分离。云数据存储平台和云模型训练平台均以云系统为基础实现，模型训练过程在云系统中进行，进行模型训练的用户无法将训练数据下载至本地，训练数据存在于云数据存储平台和正在进行模型训练的云模型训练平台。也就是说，训练数据不会从本地的用户侧泄露，从而降低了训练数据发生泄露的风险。
附图说明
图1为本发明实施例的模型训练系统的应用场景示意图；
图2为本发明一实施例中一种模型训练系统的结构示意图；
图3为本发明另一实施例中一种模型训练系统的结构示意图；
图4为本发明又一实施例中一种模型训练系统的结构示意图；
图5为本发明一实施例中一种模型训练方法的流程图；
图6为本发明一实施例中一种模型训练方法的一种具体实现方式的流程图；
图7为本发明一实施例中一种模型训练方法的另一种具体实现方式的流程图。
具体实施方式
本发明实施例提供一种模型训练系统、方法和存储介质，可应用于深度学习(Deep Learning)的场景中，可实现对深度学习模型的训练，也可实现对深度学习模型的应用，比如，利用训练处的深度学习模型进行推理。本发明实施例的模型训练系统可在云端完成模型训练、模型推理等功能。图1为本发明实施例的模型训练系统的应用场景示意图。如图1所示，模型训练系统可在云服务系统上运行，云服务系统可由云系统以及向外提供访问接口的系统集群网关构成。用户可通过用户终端使用账号及密码通过网络连接到云系统。云系统包括多个内部网络互通的服务器。模型训练系统可通过数据模型仓库实现训练数据和训练模型的存储和提供。模型训练系统可通过深度学习数据库实现模型训练系统与用户的人机交互，可通过鉴权服务系统完成用户与模型训练系统的各项权利的鉴权，可通过训练推理系统完成模型的训练和推理。
图2为本发明一实施例中一种模型训练系统的结构示意图。如图2所示，模型训练系统包括云数据存储平台11和云模型训练平台12。
云数据存储平台11用于存储训练数据，以及用于接收训练数据调用请求，根据训练数据调用请求，将与数据调用指令对应的训练数据导出至云模型训练平台12。
训练数据为用于对训练模型所需的数据，云数据存储平台11可存储多个训练数据，训练数据可视为由多条数据形成的数据集。训练数据可包括图像、视频、音频等，在此并不限定。云数据存储平台11在存储训练数据时，可为训练数据分配数据标识，数据标识用于标识训练数据，可作为查找数据存储位置的标识符。在一个示例中，为了区分不同的训练数据，训练数据的数据标识具有唯一性，也就是说，不同的训练数据的数据标识不同。
云数据存储平台11可接收数据提供者上传的训练数据。示例性地，数据提供者可利用客户端通过超文本传输协议(Hyper Text Transfer Protocol，HTTP)连接到云系统的后端，从而与云数据存储平台11进行信息交互。在一个示例中，云数据存储平台11可向数据提供者提供上传训练数据的标准协议，标准协议中可包括数据格式、压缩格式以及数据类型等。云数据存储平台11可对数据提供者上传的训练数据进行检测，若确定数据提供者上 传的训练数据不符合标准协议，则云数据存储平台11可拒绝存储不符合标准协议的训练数据。
云数据存储平台11中可设置一备份区域，该备份区域可用于对训练数据进行备份，避免数据出现意外，如数据误操作等导致无法恢复的情况。
训练数据调用请求是云模型训练平台12生成并发送的，根据训练数据调用请求可得知云模型训练平台12请求调用的训练数据。在一个示例中，训练数据调用请求可包括数据标识。云数据存储平台11接收训练数据调用请求，可查找训练数据调用请求需要调用的训练数据，并将请求调用的训练数据导出至云模型训练平台12，以供云模型训练平台12利用导出的训练数据进行模型训练。
云模型训练平台12用于接收模型训练创建指令，获取待训练模型，以及用于生成并向云数据存储平台11发送训练数据调用请求，以及用于利用从云数据存储平台11导出的训练数据，训练待训练模型，得到训练成果模型。
其中，云模型训练平台12可获取用户或模型提供者上传的待训练模型，也可从云系统中的模型数据库中获取待训练模型。
在一个示例中，示例性地，用户可利用用户终端20通过超文本传输协议连接到云系统的后端，从而与云模型训练平台12进行信息交互。用户可通过用户终端20向云模型训练平台12发送模型训练创建请求，以触发云模型训练平台12创建模型训练任务。云模型训练平台12可利用待训练模型和训练数据进行模型训练。示例性的，模型训练可指将训练数据导入待训练模型进行多次迭代训练，从而得到经训练后的模型即训练成果模型。
需要说明的是用户终端20的使用者可包括用户、数据提供者或模型提供者。
本发明实施例中的云数据存储平台11可视为图1中数据模型仓库的一部分。本发明实施例中的云模型训练平台12可视为图1中训练推理系统的一部分。
在本发明实施例中，云数据存储平台11和云模型训练平台12相互独立，将训练数据的存储与模型训练两种功能分离。云数据存储平台11和云模型训练平台12均以云系统为基础实现，模型训练过程在云系统中进行，进行模型训练的用户无法将训练数据下载至本地，训练数据存在于云数据存储平台11和正在进行模型训练的云模型训练平台12。也就是说，训练数据不会从本地的用户侧泄露，从而降低了训练数据发生泄露的风险。
图3为本发明另一实施例中一种模型训练系统的结构示意图。图3与图2的不同之处在于，图2中的云数据存储平台11还包括图3中的权限网关111；图3所示的模型训练系统还可包括检索数据平台13、鉴权中心14、数据稽查系统15、云模型存储平台16、镜像平台17和模型推理平台18。
检索数据平台13用于根据数据提供者提供的训练数据，建立数据索引表。用户可通过检索数据平台13对云数据存储平台11中存储的训练数据进行搜索查询。
在一个示例中，在数据提供者上传训练数据后，检索数据平台13可对训练数据进行分析处理，得到训练数据的数据集大小、数据集规模、数据所有者信息、数据上传日期等数据基本信息，便于用户了解训练数据的基本信息。
在一个示例中，云数据存储平台11还可要求数据提供者在上传训练数据时，提供训练数据的标签，训练数据的标签可表征训练数据的特征。具体的，训练数据的标签可以为训练数据表征的内容的关键词。比如，数据提供者在上传训练数据时，为训练数据标记的 标签为“车牌”和“小型车”。检索数据平台13在建立数据索引表的过程中，也可将训练数据的标签添加入数据检索表，以便于用户在检索训练数据时，利用训练数据的特征进行检索。
检索数据平台13用于接收检索指令，根据检索指令在数据索引表中进行数据检索，并生成检索结果。具体的，检索指令中可包括一个或多个检索关键词，可根据检索关键词在数据索引表中的训练数据的标签中进行查找。检索结果可包括与检索指令中的检索关键词相关的训练数据的信息，比如训练数据的名称、编号、关键词以及训练数据中的部分数据示例等。在一个示例中，检索结果可包括按照与检索关键词的相关程度的大小依次排列的训练数据的信息，使用户能够更直观地得到与检索关键字最相关的训练数据。在另一个示例中，也可在根据检索关键词检索到的训练数据的信息中随机筛选固定数据的训练数据的信息提供给用户。比如，每次检索生成的检索结果包括十条训练数据的信息。检索数据平台13可将检索结果发送给用户终端20，用户终端20可显示检索结果。
用户接收到检索结果后，还可通过用户终端20针对检索结果发出数据选取指令。数据检索平台接收用户终端20针对检索结果的数据选取指令，根据数据选取指令向鉴权中心14发起鉴权许可请求。数据选取指令可用于指示选取检索结果中的一项或多项训练数据的信息，从而确定模型训练需要的训练数据。
确定模型训练需要的训练数据后，向鉴权中心14发起鉴权许可请求，鉴权许可请求可包括训练数据的数据标识，向鉴权中心14请求训练数据的调用权限。
本发明实施例中的检索数据平台13可视为图1中的深度学习数据库的至少一部分。
鉴权中心14用于接收鉴权许可请求，根据鉴权许可请求创建数据标识的数据令牌，并将数据令牌下发给权限网关111和用户终端20。
鉴权许可请求用于请求训练数据的调用权限。鉴权中心14可决定是否同意检索数据平台13发送来的鉴权许可请求。示例性的，鉴权许可请求可包括针对训练数据的付费信息，若付费信息表明用户对针对训练数据付费成功，鉴权中心14可同意鉴权许可请求，并创建数据标识的数据令牌。鉴权中心14同意鉴权许可请求后，还可生成并保存数据鉴权信息，数据鉴权信息可包括用户标识和数据标识。示例性的，数据鉴权信息可具有有效时长，即在有效时长内，若用户再次请求同样的训练数据时，鉴权许可请求可直接被鉴权中心14同意通过，不需要进行审核。有效时长可根据工作场景和工作需求设定，在此并不限定。比如，有效时长可为一年或永久。
数据令牌(即数据Token)可标识某个操作中的训练数据，作为数据调用的一种安全凭证使用。比如，数据令牌标识后续过程中数据调用操作中的训练数据。在一个示例中，数据令牌可实现为安全插件。鉴权中心14将创建的数据令牌下发给用户终端20，以使得用户终端20可利用数据令牌通过权限网关111从云数据存储平台11导出与数据令牌对应的训练数据。同时，鉴权中心14也将创建的数据令牌保存在鉴权中心14。
云模型训练平台12还用于向权限网关111发送训练数据调用请求，训练数据调用请求包括鉴权中心14下发至用户终端20的数据令牌。
比如，用户终端20在请求训练数据时，可将数据令牌添加入模型训练创建指令，云模型训练平台12可解析模型训练创建指令，得到下发至用户终端20的数据令牌，并将下发至用户终端20的数据令牌添加入训练数据调用请求中。云模型训练平台12通过训练数 据调用请求中的数据令牌从云数据存储平台11调用与数据令牌对应的训练数据。
在一种实现方式中，云数据存储平台11具体可实现为第三方公用服务器。第三方公用服务器不属于数据提供者、模型提供者和用户，是一个公用的用于存储训练数据且能够导出训练数据的服务器。调用训练数据可利用数据令牌与数据标识的对应关系进行授权调用。
权限网关111用于建立第一对应关系，第一对应关系为数据标识与数据令牌的对应关系。数据标识与数据令牌一一对应，数据令牌也具有唯一性，也就是说，不同的数据标识对应不同的数据令牌。权限网关111在接收到训练数据调用请求时，根据训练数据调用请求中的数据令牌，在第一对应关系中查找目标数据标识，目标数据标识为与训练数据调用请求中的数据令牌对应的数据标识，并将目标数据标识对应的训练数据导出至云模型训练平台12。
当云数据存储平台11接收到训练数据调用请求后，权限网关111会对比训练数据调用请求中的数据令牌是否与权限网关111中存储的数据令牌；若训练数据调用请求中的数据令牌能够与权限网关111中存储的数据令牌匹配，则允许调用训练数据，并将与训练数据调用请求中的数据令牌对应的训练数据导出。
为了保障模型训练过程中的数据安全，避免训练数据被越权使用，可根据实际情况对数据令牌进行更新。权限网关111可用于获取更新判断参数，判断更新判断参数是否满足更新条件。若判定更新判断参数满足更新条件，权限网关111向鉴权中心14发送更新请求，以及用于与鉴权中心14同步更新数据令牌。鉴权中心14接收更新请求，根据更新请求更新数据令牌。
更新判断参数可包括对鉴权许可请求的拒绝次数、训练数据的调用次数、数据令牌的存在时长等参数中的一项或多项。
比如，更新判断参数包括对鉴权许可请求的拒绝次数。权限网关111可监测鉴权中心14对鉴权许可请求的处理过程，从而得到鉴权中心14对鉴权许可请求的拒绝次数。若权限网关111监测到鉴权中心14对鉴权许可请求的拒绝次数超出更新条件中的拒绝次数更新阈值，则向鉴权中心14发送更新请求。
拒绝次数更新阈值可根据工作场景和工作需求设定，在此并不限定。鉴权中心14删除原数据令牌，并生成新的数据令牌，并将新的数据令牌下发给客户终端和权限网关111，以使得权限网关111可以与鉴权中心14同步更新数据令牌。数据令牌在鉴权中心14和权限网关111中更新时，需要停止训练数据调用请求的执行，待鉴权中心14和权限网关111中的数据令牌更新完毕后，再执行训练数据调用请求。在数据令牌更新完毕后，若训练数据调用请求中包含的仍然是原数据令牌，训练数据调用请求中的原数据令牌失效，则无法调用训练数据。
又比如，更新判断参数包括训练数据的调用次数。权限网关111可获取一段时长内的训练数据的调用次数。若在一段时长内，权限网关111确定同一训练数据的调用次数超出更新条件中的调用次数更新阈值，则向鉴权中心14发送更新请求。统计训练数据的一段时长和调用次数更新阈值可根据工作场景和工作需求设定，在此并不限定。
还比如，更新判断参数包括数据令牌的存在时长。权限网关111可设置数据令牌的更新周期时长，并记录数据令牌的存在时长。若权限网关111确定数据令牌的存在时长达到 更新周期时长，则向鉴权中心14发送更新请求。数据令牌的更新周期时长可根据工作场景和工作需求设定，在此并不限定。
需要说明的是，更新判断参数和更新条件并不限于上述举例。权限网关111也可接收用户的更新策略配置指令，根据更新策略配置指令设置更新判断参数和更新条件。
云模型存储平台16用于提供待训练模型，以及保存训练成果模型。云模型存储平台16中存储的模型可以是模型提供者上传的模型，也可以是云模型训练平台12训练得到的训练成果模型。
在一个示例中，上述云模型训练平台12在训练得到训练成果模型后，可将训练成果模型发送至云模型存储平台16保存，并销毁云模型训练平台12内训练训练成果模型所利用的训练数据和待训练模型，还可将云模型训练平台12内的训练成果模型销毁，以防止遗留在云模型训练平台12的训练数据和模型即待训练模型和训练成果模型泄露。
在一个示例中，数据稽查系统15先于云数据存储平台11接收到数据提供者上传的训练数据。数据稽查系统15用于对数据提供者上传的训练数据进行有效性认证，拒绝将有效性认证失败的训练数据存入云数据存储平台11。比如，若数据提供者上传的训练数据与云数据存储平台11存储的训练数据重复，或者数据提供者上传的数据的数据格式不符合云数据存储平台11的标准协议，则数据稽查系统15判定数据提供者上传的训练数据无效，即上传的训练数据有效性认证失败。若数据稽查系统15判定数据提供者上传的训练数据有效，则可通过检索数据平台13向云数据存储平台11发送存储指令，以使得云数据存储平台11将数据提供者上传的训练数据持久存储。
需要说明的是，对数据提供者上传的训练数据进行有效性认证的方式并不限于上述方式。数据稽查系统15可保证模型训练系统中所使用的训练数据的真实有效性。
镜像平台17用于存储模型推理运行环境。具体的，模型推理运行环境可包括系统环境和训练成果模型对应的运行框架环境。
模型推理平台18可接收推理请求，推理请求包括待处理数据。推理请求可由用户终端20发送。示例性的，用户终端20可通过应用程序编程接口(Application Programming Interface，API)向模型推理平台18发送推理请求。模型推理平台18接收推理请求后，从镜像平台17加载模型推理运行环境，并从云模型存储平台16调用训练成果模型，将待处理数据导入训练成果模型进行模型推理。
本发明实施例中的数据检索平台可视为图1中深度学习数据库中的至少一部分。本发明实施例中的鉴权中心14可视为图1中鉴权服务系统中的至少一部分。本发明实施例中的模型推理平台18可视为图1中训练推理系统中的一部分。
图4为本发明又一实施例中一种模型训练系统的结构示意图。图4所示的模型训练系统与图3所示的模型训练系统的不同之处在于，云数据存储平台11可实现为数据提供者的至少一个私有服务器。
在云数据存储平台11包括权限网关111和至少一个数据存储服务器112即私有服务器的条件下，调用训练数据可利用数据令牌与数据路由的对应关系进行授权调用。
数据路由可包括训练数据的统一资源定位符(Uniform Resource Locator，URL)路径，还可包括数据访问方法和从云数据存储平台11导出训练数据的标准。数据提供者在上传训练数据的同时也可上传训练数据对应的数据路由至检索数据平台13。
检索数据平台13也可对数据路由进行合法性检测，若确定数据路由不合法，则拒绝存储数据路由。比如，检索数据平台13确定数据路由无法访问或数据路由的格式不符合模型训练系统中预设的标准，则拒绝存储数据路由。示例性的，检索数据平台13可向权限网关111和鉴权中心14发送拒绝指令，以使得权限网关111和鉴权中心14均拒绝存储路由数据。
权限网关111可建立第二对应关系，第二对应关系为数据令牌与数据路由的对应关系。示例性的，第二对应关系可实现为数据路由表。训练数据具有对应的数据路由，训练数据与数据令牌一一对应，数据令牌与数据路由也一一对应。在检索数据平台13建立数据索引表时，可将对应的数据路由保存在权限网关111中。
权限网关111接收训练数据调用请求后，根据训练数据调用请求中的数据令牌，在第二对应关系中查找目标数据路由。目标数据路由为与训练数据调用请求中的数据令牌对应的数据路由。权限网关111可根据与数据令牌对应的数据路由，访问目标数据存储服务器112，以将目标数据存储服务器112中目标数据路由指示的训练数据导出至云模型训练平台12。目标数据存储服务器112为与目标数据路由对应的数据存储服务器112。
为了保证数据存储服务器112即私有服务器中的训练数据的安全性，可建立安全加密远程访问。在一个实例中，模型训练系统还可包括访问路由器。权限网关111通过访问路由器中预定的标准访问接口从目标数据存储服务器112中导出目标数据路由指示的训练数据。比如，标准访问接口为restful访问接口，并可将restful访问接口的路径作为数据路由。
在一个示例中，为了进一步保证数据存储服务器112中的训练数据的安全性。权限网关111可随机选取数据令牌，并验证数据令牌的合法性。若权限网关111确定数据令牌非法，则可更新数据路由表，即更新第二对应关系，具体可实现为更新第二对应关系中的数据令牌。
图5为本发明一实施例中一种模型训练方法的流程图。该模型训练方法可适用于上述实施例中的模型训练系统。如图5所示，模型训练方法可包括步骤S201和步骤S204。
在步骤S201中，云模型训练平台接收模型训练创建指令，获取待训练模型；
在步骤S202中，云模型训练平台生成并向云数据存储平台发出训练数据调用请求，以调用云数据存储平台中存储的训练数据；
在步骤S203中，云数据存储平台接收训练数据调用请求，将与训练数据调用请求对应的训练数据导出至云模型训练平台；
在步骤S204中，云模型训练平台利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型。
上述步骤S201至步骤S204的说明可参见上述实施例中的云模型训练平台和云数据存储平台的相关说明。
在本发明实施例中，云数据存储平台和云模型训练平台相互独立，将训练数据的存储与模型训练两种功能分离。云数据存储平台和云模型训练平台均以云系统为基础实现，模型训练过程在云系统中进行，进行模型训练的用户无法将训练数据下载至本地，训练数据存在于云数据存储平台和正在进行模型训练的云模型训练平台。也就是说，训练数据不会从本地的用户侧泄露，从而降低了训练数据发生泄露的风险。
图6为本发明一实施例中一种模型训练方法的一种具体实现方式的流程图。如图6所示，模型训练方法可包括步骤S301至步骤S315。
在步骤301中，数据稽查系统对数据提供者上传的训练数据进行有效性认证。
在步骤302中，数据稽查系统拒绝将有效性认证失败的训练数据存入云数据存储平台。
在步骤303中，检索数据平台根据数据提供者提供的训练数据，建立数据索引表。
在步骤304中，检索数据平台接收检索指令，根据检索指令在数据索引表中进行数据检索，并生成检索结果。
在步骤305中，检索数据平台接收用户终端的数据选取指令，根据数据选取指令向鉴权中心发起鉴权许可请求。
其中，鉴权许可请求包括训练数据的数据标识。
在步骤306中，鉴权中心接收鉴权许可请求，根据鉴权许可请求创建数据标识的数据令牌，并将数据令牌下发给云数据存储平台中的权限网关和用户终端。
在步骤307中，云数据存储平台中的权限网关根据下发得到的数据令牌，建立第一对应关系。
其中，第一对应关系为数据标识与数据令牌的对应关系。
在步骤308中，云模型训练平台接收模型训练创建指令，获取待训练模型。
在步骤309中，云模型训练平台生成并向云数据存储平台中的权限网关发送训练数据调用请求，以调用云数据存储平台中存储的训练数据。
其中，训练数据调用请求包括鉴权中心下发至用户终端的数据令牌。
在步骤310中，云数据存储平台中的权限网关接收训练数据调用请求，根据训练数据调用请求中的数据令牌，在第一对应关系中查找目标数据标识，并将目标数据标识对应的训练数据导出至云模型训练平台。
其中，目标数据标识为与训练数据调用请求中的数据令牌对应的数据标识。
在步骤311中，云模型训练平台利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型。
在步骤312中，云模型存储平台保存训练成果模型。
在步骤313中，云模型训练平台销毁云模型训练平台内训练训练成果模型所利用的训练数据和待训练模型。
在步骤314中，模型推理平台接收推理请求，推理请求包括待处理数据。
在步骤315中，模型推理平台从镜像平台加载模型推理运行环境，并从云模型存储平台调用训练成果模型，将待处理数据导入训练成果模型进行模型推理。
图7为本发明一实施例中一种模型训练方法的另一种具体实现方式的流程图。图7与图6的不同之处在于，图6中的步骤S307可替换为图7中的步骤S316；图6中的步骤S310可替换为图7中的步骤S317和步骤S318。
在步骤S316中，云数据存储平台中的权限网关根据下发得到的数据令牌，建立第二对应关系。
其中，第二对应关系为数据令牌与数据路由的对应关系。数据路由包括训练数据的统一资源定位符路径。
在步骤S317中，云数据存储平台中的权限网关接收训练数据调用请求，根据训练数据调用请求中的数据令牌，在第二对应关系中查找目标数据路由。
其中，目标数据路由为与训练数据调用请求中的数据令牌对应的数据路由。
在步骤S318中，云数据存储平台中的权限网关访问目标数据存储服务器，以将目标数据存储服务器中目标数据路由指示的训练数据导出至云模型训练平台。
其中，目标数据存储服务器为与目标数据路由对应的数据存储服务器。
在一个示例中，还可以根据具体场景对数据令牌进行更新，从而保证训练数据的安全。权限网关获取更新判断参数，判断更新判断参数是否满足更新条件。若判定更新判断参数满足更新条件，权限网关向鉴权中心发送更新请求。鉴权中心接收更新请求，根据更新请求更新数据令牌。权限网关与鉴权中心同步更新数据令牌。
示例性的，更新判断参数包括对鉴权许可请求的拒绝次数。数据令牌更新过程可具体为：权限网关监测鉴权中心对鉴权许可请求的处理过程，并获取鉴权中心对鉴权许可请求的拒绝次数，并判断鉴权中心对鉴权许可请求的拒绝次数是否超出更新条件中的拒绝次数更新阈值；若监测到鉴权中心对鉴权许可请求的拒绝次数超出更新条件中的拒绝次数更新阈值，则向鉴权中心发送更新请求。
示例性的，更新判断参数包括训练数据的调用次数。数据令牌更新过程可具体为：权限网关获取一段时长内的训练数据的调用次数，判断在一段时长内，同一训练数据的调用次数是否超出更新条件中的调用次数更新阈值；若在一段时长内，同一训练数据的调用次数超出更新条件中的调用次数更新阈值，则向鉴权中心发送更新请求。
上述方法实施例中各步骤的说明内容可参照上述系统实施例中的相关说明。
本发明实施例还可提供一种存储介质，该存储介质上存储有程序，程序被处理器执行时实现上述实施例中的模型训练方法。

Claims (24)

  1. 一种模型训练系统，其特征在于，包括云数据存储平台和云模型训练平台；
    所述云数据存储平台用于存储训练数据，以及用于接收训练数据调用请求，根据所述训练数据调用请求，将与所述数据调用指令对应的训练数据导出至所述云模型训练平台；
    所述云模型训练平台用于接收模型训练创建指令，获取待训练模型，以及用于生成并向所述云数据存储平台发送训练数据调用请求，以及用于利用从所述云数据存储平台导出的训练数据，训练所述待训练模型，得到训练成果模型。
  2. 根据权利要求1所述的系统，其特征在于，还包括检索数据平台和鉴权中心；所述云数据存储平台包括权限网关；
    所述检索数据平台用于根据数据提供者提供的训练数据，建立数据索引表，以及用于接收检索指令，根据所述检索指令在所述数据索引表中进行数据检索，并生成检索结果，以及用于接收用户终端针对所述检索结果的数据选取指令，根据所述数据选取指令向所述鉴权中心发起鉴权许可请求，所述鉴权许可请求包括所述训练数据的数据标识；
    所述鉴权中心用于接收所述鉴权许可请求，根据所述鉴权许可请求创建所述数据标识的数据令牌，并将所述数据令牌下发给所述权限网关和所述用户终端；
    所述云模型训练平台还用于向所述权限网关发送所述训练数据调用请求，所述训练数据调用请求包括所述鉴权中心下发至所述用户终端的数据令牌；
    所述权限网关用于建立第一对应关系，所述第一对应关系为所述数据标识与所述数据令牌一一对应的关系，以及用于接收所述训练数据调用请求，根据所述训练数据调用请求中的数据令牌，在所述第一对应关系中查找目标数据标识，所述目标数据标识为与所述训练数据调用请求中的数据令牌对应的数据标识，以及用于将所述目标数据标识对应的训练数据导出至所述云模型训练平台。
  3. 根据权利要求1所述的系统，其特征在于，还包括检索数据平台和鉴权中心；所述云数据存储平台包括权限网关和至少一个数据存储服务器；
    所述检索数据平台用于根据数据提供者提供的训练数据，建立数据索引表，以及接收检索指令，根据所述检索指令在所述数据索引表中进行数据检索，并生成检索结果，以及用于接收用户终端针对所述检索结果的数据选取指令，根据所述数据选取指令向所述鉴权中心发起鉴权许可请求，所述鉴权许可请求包括所述训练数据的数据标识；
    所述鉴权中心用于接收所述鉴权许可请求，根据所述鉴权许可请求创建所述数据标识的数据令牌，并将所述数据令牌下发给所述权限网关和所述用户终端；
    所述云模型训练平台还用于向所述权限网关发送所述训练数据调用请求，所述训练数据调用请求包括所述鉴权中心下发至所述用户终端的数据令牌；
    所述权限网关用于建立第二对应关系，所述第二对应关系为所述数据令牌与数据路由的对应关系，所述数据路由包括所述训练数据的统一资源定位符路径，以及用于接收所述训练数据调用请求，根据所述训练数据调用请求中的数据令牌，在所述第二对应关系中查找目标数据路由，所述目标数据路由为与所述训练数据调用请求中的数据令牌对应的数据路由，以及用于访问目标数据存储服务器，以将所述目标数据存储服务器中所述目标数据路由指示的训练数据导出至所述云模型训练平台，所述目标数据存储服务器为与所述目标 数据路由对应的数据存储服务器。
  4. 根据权利要求3所述的系统，其特征在于，还包括访问路由器，所述权限网关通过所述访问路由器中预定的标准访问接口从所述目标数据存储服务器中导出所述目标数据路由指示的训练数据。
  5. 根据权利要求2或3所述的系统，其特征在于，
    所述权限网关还用于获取更新判断参数，判断所述更新判断参数是否满足更新条件，以及用于若判定所述更新判断参数满足更新条件，向所述鉴权中心发送更新请求，以及用于与所述鉴权中心同步更新数据令牌；
    所述鉴权中心还用于接收所述更新请求，根据所述更新请求更新所述数据令牌。
  6. 根据权利要求5所述的系统，其特征在于，所述更新判断参数包括对所述鉴权许可请求的拒绝次数；
    所述权限网关还用于监测所述鉴权中心对所述鉴权许可请求的处理过程，以及用于若监测到所述鉴权中心对所述鉴权许可请求的拒绝次数超出所述更新条件中的拒绝次数更新阈值，则向所述鉴权中心发送所述更新请求。
  7. 根据权利要求6所述的系统，其特征在于，所述更新判断参数包括训练数据的调用次数；
    所述权限网关还用于获取一段时长内的所述训练数据的调用次数，以及用于若在所述一段时长内，同一所述训练数据的调用次数超出所述更新条件中的调用次数更新阈值，则向所述鉴权中心发送所述更新请求。
  8. 根据权利要求1所述的系统，其特征在于，所述云模型训练平台还用于训练得到所述训练成果模型后，销毁所述云模型训练平台内训练所述训练成果模型所利用的训练数据和待训练模型。
  9. 根据权利要求1所述的系统，其特征在于，还包括数据稽查系统；
    所述数据稽查系统用于对数据提供者上传的训练数据进行有效性认证，拒绝将有效性认证失败的训练数据存入所述云数据存储平台。
  10. 根据权利要求1所述的系统，其特征在于，还包括云模型存储平台；
    所述云模型存储平台用于提供所述待训练模型，以及保存所述训练成果模型。
  11. 根据权利要求10所述的系统，其特征在于，还包括镜像平台和模型推理平台；
    所述镜像平台用于存储模型推理运行环境；
    所述模型推理平台用于接收推理请求，所述推理请求包括待处理数据，以及从所述镜像平台加载所述模型推理运行环境，以及从所述云模型存储平台调用所述训练成果模型，将所述待处理数据导入所述训练成果模型进行模型推理。
  12. 一种模型训练方法，其特征在于，包括：
    云模型训练平台接收模型训练创建指令，获取待训练模型；
    所述云模型训练平台生成并向云数据存储平台发出训练数据调用请求，以调用所述云数据存储平台中存储的训练数据；
    所述云数据存储平台接收所述训练数据调用请求，将与所述训练数据调用请求对应的训练数据导出至所述云模型训练平台；
    所述云模型训练平台利用从云数据存储平台导出的训练数据，训练所述待训练模型， 得到训练成果模型。
  13. 根据权利要求12所述的方法，其特征在于，还包括：
    检索数据平台根据数据提供者提供的训练数据，建立数据索引表；
    所述检索数据平台接收检索指令，根据所述检索指令在所述数据索引表中进行数据检索，并生成检索结果；
    所述检索数据平台接收用户终端的数据选取指令，根据所述数据选取指令向鉴权中心发起鉴权许可请求，所述鉴权许可请求包括所述训练数据的数据标识；
    所述鉴权中心接收所述鉴权许可请求，根据所述鉴权许可请求创建所述数据标识的数据令牌，并将所述数据令牌下发给权限网关和所述用户终端；
    所述权限网关根据下发得到的所述数据令牌，建立第一对应关系，所述第一对应关系为所述数据标识与所述数据令牌一一对应的关系。
  14. 根据权利要求13所述的方法，其特征在于，所述云模型训练平台生成并向所述云数据存储平台发送训练数据调用请求，包括：
    所述云模型训练平台生成并向所述权限网关发送所述训练数据调用请求，所述训练数据调用请求包括所述鉴权中心下发至所述用户终端的数据令牌；
    所述云数据存储平台接收所述训练数据调用请求，将与所述训练数据调用请求对应的训练数据导出至所述云模型训练平台，包括：
    所述云数据存储平台中的所述权限网关接收所述训练数据调用请求，根据所述训练数据调用请求中的数据令牌，在所述第一对应关系中查找目标数据标识，并将所述目标数据标识对应的训练数据导出至所述云模型训练平台，所述目标数据标识为与所述训练数据调用请求中的数据令牌对应的数据标识。
  15. 根据权利要求12所述的方法，其特征在于，还包括：
    检索数据平台根据数据提供者提供的训练数据，建立数据索引表；
    所述检索数据平台接收检索指令，根据所述检索指令在所述数据索引表中进行数据检索，并生成并发送检索结果；
    所述检索数据平台接收用户终端针对所述检索结果的数据选取指令，根据所述数据选取指令向鉴权中心发起鉴权许可请求，所述鉴权许可请求包括所述训练数据的数据标识；
    所述鉴权中心接收所述鉴权许可请求，根据所述鉴权许可请求创建所述数据标识的数据令牌，并将所述数据令牌下发给权限网关和所述用户终端；
    所述权限网关根据下发得到的所述数据令牌，建立第二对应关系，所述第二对应关系为所述数据令牌与数据路由的对应关系，所述数据路由包括所述训练数据的统一资源定位符路径。
  16. 根据权利要求15所述的方法，其特征在于，所述云模型训练平台生成并向所述云数据存储平台发送训练数据调用请求，包括：
    所述云模型训练平台生成并向所述权限网关发送所述训练数据调用请求，所述训练数据调用请求包括所述鉴权中心下发至所述用户终端的数据令牌；
    所述云数据存储平台接收所述训练数据调用请求，将与所述训练数据调用请求对应的训练数据导出至所述云模型训练平台，包括：
    所述云数据存储平台中的所述权限网关接收所述训练数据调用请求，根据所述训练数 据调用请求中的数据令牌，在所述第二对应关系中查找目标数据路由，所述目标数据路由为与所述训练数据调用请求中的数据令牌对应的数据路由；
    所述权限网关访问目标数据存储服务器，以将所述目标数据存储服务器中所述目标数据路由指示的训练数据导出至所述云模型训练平台，所述目标数据存储服务器为与所述目标数据路由对应的数据存储服务器。
  17. 根据权利要求12至16中任意一项所述的方法，其特征在于，还包括：
    所述权限网关获取更新判断参数，判断所述更新判断参数是否满足更新条件；
    若判定所述更新判断参数满足更新条件，所述权限网关向所述鉴权中心发送更新请求；
    所述鉴权中心接收所述更新请求，根据所述更新请求更新所述数据令牌；
    所述权限网关与所述鉴权中心同步更新数据令牌。
  18. 根据权利要求17所述的方法，其特征在于，所述更新判断参数包括对所述鉴权许可请求的拒绝次数；
    所述权限网关获取更新判断参数，判断所述更新判断参数是否满足更新条件，包括：
    所述权限网关监测所述鉴权中心对所述鉴权许可请求的处理过程，并获取所述鉴权中心对所述鉴权许可请求的拒绝次数，并判断所述鉴权中心对所述鉴权许可请求的拒绝次数是否超出所述更新条件中的拒绝次数更新阈值；
    所述若判定所述更新判断参数满足更新条件，所述权限网关向所述鉴权中心发送更新请求，包括：
    若监测到所述鉴权中心对所述鉴权许可请求的拒绝次数超出所述更新条件中的拒绝次数更新阈值，则向所述鉴权中心发送所述更新请求。
  19. 根据权利要求17所述的方法，其特征在于，所述更新判断参数包括训练数据的调用次数；
    所述权限网关获取更新判断参数，判断所述更新判断参数是否满足更新条件，包括：
    所述权限网关获取一段时长内的所述训练数据的调用次数，判断在所述一段时长内，同一所述训练数据的调用次数是否超出所述更新条件中的调用次数更新阈值；
    所述若判定所述更新判断参数满足更新条件，所述权限网关向所述鉴权中心发送更新请求，包括：
    若在所述一段时长内，同一所述训练数据的调用次数超出所述更新条件中的调用次数更新阈值，则向所述鉴权中心发送所述更新请求。
  20. 根据权利要求12所述的方法，其特征在于，在所述云模型训练平台利用从云数据存储平台导出的训练数据，训练所述待训练模型，得到训练成果模型之后，还包括：
    所述云模型训练平台销毁所述云模型训练平台内训练所述训练成果模型所利用的训练数据和待训练模型。
  21. 根据权利要求12所述的方法，其特征在于，还包括：
    数据稽查系统对数据提供者上传的训练数据进行有效性认证；
    所述数据稽查系统拒绝将有效性认证失败的训练数据存入所述云数据存储平台。
  22. 根据权利要求12所述的方法，其特征在于，在所述云模型训练平台利用从云数据存储平台导出的训练数据，训练所述待训练模型，得到训练成果模型之后，还包括：
    所述云模型存储平台保存所述训练成果模型。
  23. 根据权利要求22所述的方法，其特征在于，还包括：
    模型推理平台接收推理请求，所述推理请求包括待处理数据；
    所述模型推理平台从所述镜像平台加载所述模型推理运行环境，并从所述云模型存储平台调用所述训练成果模型，将所述待处理数据导入所述训练成果模型进行模型推理。
  24. 一种存储介质，其特征在于，所述存储介质上存储有程序，所述程序被处理器执行时实现如权利要求12至23中任意一项所述的模型训练方法。
PCT/CN2018/114082 2017-11-29 2018-11-06 模型训练系统、方法和存储介质 WO2019105189A1 (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020207018467A KR102514325B1 (ko) 2017-11-29 2018-11-06 모델 훈련 시스템 및 방법과, 저장 매체
CA3091405A CA3091405A1 (en) 2017-11-29 2018-11-06 Model training system and method, and storage medium
EP18883965.8A EP3709226A4 (en) 2017-11-29 2018-11-06 MODEL LEARNING SYSTEM AND PROCESS AND INFORMATION SUPPORT
AU2018374912A AU2018374912B2 (en) 2017-11-29 2018-11-06 Model training system and method, and storage medium
JP2020529143A JP7144117B2 (ja) 2017-11-29 2018-11-06 モデルトレーニングシステムおよび方法および記憶媒体
US16/883,026 US20200285978A1 (en) 2017-11-29 2020-05-26 Model training system and method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711227185.X 2017-11-29
CN201711227185.XA CN109840591B (zh) 2017-11-29 2017-11-29 模型训练系统、方法和存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/883,026 Continuation US20200285978A1 (en) 2017-11-29 2020-05-26 Model training system and method, and storage medium

Publications (1)

Publication Number Publication Date
WO2019105189A1 true WO2019105189A1 (zh) 2019-06-06

Family

ID=66663796

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/114082 WO2019105189A1 (zh) 2017-11-29 2018-11-06 模型训练系统、方法和存储介质

Country Status (8)

Country Link
US (1) US20200285978A1 (zh)
EP (1) EP3709226A4 (zh)
JP (2) JP7144117B2 (zh)
KR (1) KR102514325B1 (zh)
CN (2) CN113762504A (zh)
AU (1) AU2018374912B2 (zh)
CA (1) CA3091405A1 (zh)
WO (1) WO2019105189A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11847544B2 (en) 2020-07-21 2023-12-19 International Business Machines Corporation Preventing data leakage in automated machine learning

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019136429A (ja) * 2018-02-15 2019-08-22 株式会社三洋物産 遊技機
JP2019136431A (ja) * 2018-02-15 2019-08-22 株式会社三洋物産 遊技機
US10979416B2 (en) * 2018-03-26 2021-04-13 Nicira, Inc. System and method for authentication in a public cloud
KR102074353B1 (ko) * 2018-04-13 2020-02-06 한국전자통신연구원 제어시스템 분야의 실시간 사이버 보안 훈련 제공 장치 및 방법
CN112148205A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 数据管理方法及装置
CN112149139A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 权限管理方法及装置
CN111147603A (zh) * 2019-09-30 2020-05-12 华为技术有限公司 一种推理服务网络化的方法及装置
CN111092935B (zh) * 2019-11-27 2022-07-12 中国联合网络通信集团有限公司 一种用于机器学习的数据共享方法和虚拟训练装置
CN111064797B (zh) * 2019-12-20 2023-01-10 深圳前海微众银行股份有限公司 一种数据处理方法及装置
CN113128528A (zh) * 2019-12-27 2021-07-16 无锡祥生医疗科技股份有限公司 超声影像深度学习分布式训练系统和训练方法
CN112668016B (zh) * 2020-01-02 2023-12-08 华控清交信息科技(北京)有限公司 一种模型训练方法、装置和电子设备
CN113128686A (zh) * 2020-01-16 2021-07-16 华为技术有限公司 模型训练方法及装置
CN113554450A (zh) * 2020-04-24 2021-10-26 阿里巴巴集团控股有限公司 数据模型训练及数据处理方法、装置、设备及存储介质
EP4134863A4 (en) * 2020-04-30 2023-05-31 Huawei Technologies Co., Ltd. SYSTEM AND PROCEDURE FOR DATA LABELING AND DATA LABEL MANAGER
CN113762292B (zh) * 2020-06-03 2024-02-02 杭州海康威视数字技术股份有限公司 一种训练数据获取方法、装置及模型训练方法、装置
CN112085208A (zh) * 2020-07-30 2020-12-15 北京聚云科技有限公司 一种利用云端进行模型训练的方法及装置
CN112102263A (zh) * 2020-08-31 2020-12-18 深圳思谋信息科技有限公司 缺陷检测模型生成系统、方法、装置和计算机设备
WO2022131663A1 (en) * 2020-12-18 2022-06-23 Samsung Electronics Co., Ltd. Method for preventing data leakage to machine learning engines available in electronic device
WO2023151829A1 (en) * 2022-02-14 2023-08-17 Telefonaktiebolaget Lm Ericsson (Publ) Blockchain-enabled trusted data layer for artificial intelligence (ai) applications
WO2024062400A1 (en) * 2022-09-21 2024-03-28 Genxt Ltd Mediation systems and methods for a federated confidential computing environment
CN115618239B (zh) * 2022-12-16 2023-04-11 四川金信石信息技术有限公司 一种深度学习框架训练的管理方法、系统、终端及介质
CN117150025B (zh) * 2023-10-31 2024-01-26 湖南锦鳞智能科技有限公司 一种数据服务智能识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389719A (zh) * 2013-08-02 2013-11-13 临沂市拓普网络股份有限公司 基于云计算的智能家居监控系统及方法
CN105575389A (zh) * 2015-12-07 2016-05-11 百度在线网络技术（北京）有限公司 模型训练方法、系统和装置
CN106204780A (zh) * 2016-07-04 2016-12-07 武汉理工大学 一种基于深度学习和云服务的人脸识别考勤系统及方法
US20170154113A1 (en) * 2015-11-30 2017-06-01 Wal-Mart Stores, Inc. System, method, and non-transitory computer-readable storage media for evaluating search results
CN107195186A (zh) * 2017-06-07 2017-09-22 千寻位置网络有限公司 自动优化路口车辆通行速度的方法和系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185560A (ja) 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム
US7869647B2 (en) * 2004-04-02 2011-01-11 Agilent Technologies, Inc. System and method for processing training data for a statistical application
US8438122B1 (en) * 2010-05-14 2013-05-07 Google Inc. Predictive analytic modeling platform
US8521664B1 (en) * 2010-05-14 2013-08-27 Google Inc. Predictive analytical model matching
US8229864B1 (en) * 2011-05-06 2012-07-24 Google Inc. Predictive model application programming interface
US20130110675A1 (en) * 2011-10-31 2013-05-02 Microsoft Corporation Marketplace for Composite Application and Data Solutions
US9338157B1 (en) * 2013-03-15 2016-05-10 Microstrategy Incorporated Credential technology
DE112015002433T5 (de) 2014-05-23 2017-03-23 Datarobot Systeme und Techniken zur prädikativen Datenanalytik
US20160019324A1 (en) * 2014-07-15 2016-01-21 WikiModel LLC Analysis and sharing of custom defined computation models and experimental data
WO2017027030A1 (en) * 2015-08-12 2017-02-16 Hewlett Packard Enterprise Development Lp Retraining a machine classifier based on audited issue data
US20180239904A1 (en) * 2015-08-12 2018-08-23 Entit Software Llc Assigning classifiers to classify security scan issues
US20170061311A1 (en) * 2015-08-27 2017-03-02 Li Liu Method for providing data analysis service by a service provider to data owner and related data transformation method for preserving business confidential information of the data owner
JP6116650B1 (ja) * 2015-11-17 2017-04-19 エヌ・ティ・ティ・コムウェア株式会社 学習支援システム、学習支援方法、学習支援装置、および学習支援プログラム
JP6579198B2 (ja) * 2015-11-27 2019-09-25 富士通株式会社 リスク評価方法、リスク評価プログラム及び情報処理装置
US10438132B2 (en) 2015-12-16 2019-10-08 Accenture Global Solutions Limited Machine for development and deployment of analytical models
US10586173B2 (en) * 2016-01-27 2020-03-10 Bonsai AI, Inc. Searchable database of trained artificial intelligence objects that can be reused, reconfigured, and recomposed, into one or more subsequent artificial intelligence models
JPWO2017159614A1 (ja) 2016-03-14 2019-01-10 オムロン株式会社 学習サービス提供装置
JP2017187850A (ja) 2016-04-01 2017-10-12 株式会社リコー 画像処理システム、情報処理装置、プログラム
JP6151404B1 (ja) 2016-04-26 2017-06-21 ヤフー株式会社 学習装置、学習方法および学習プログラム
EP3809283A1 (en) * 2016-05-13 2021-04-21 Equals 3 LLC Searching structured and unstructured data sets
CN106502889B (zh) * 2016-10-13 2019-09-13 华为技术有限公司 预测云软件性能的方法和装置
CN106856508A (zh) * 2017-02-08 2017-06-16 北京百度网讯科技有限公司 数据中心的云监控方法及云平台
CN107124276B (zh) * 2017-04-07 2020-07-28 西安电子科技大学 一种安全的数据外包机器学习数据分析方法
US20210150405A1 (en) * 2017-07-07 2021-05-20 Sony Corporation Providing device, processing device, method for processing information, and program
CN111095233B (zh) * 2017-09-28 2023-09-26 深圳清华大学研究院 混合文件系统架构、文件存储、动态迁移及其应用
US11977958B2 (en) * 2017-11-22 2024-05-07 Amazon Technologies, Inc. Network-accessible machine learning model training and hosting system
US20200311617A1 (en) * 2017-11-22 2020-10-01 Amazon Technologies, Inc. Packaging and deploying algorithms for flexible machine learning
US11537439B1 (en) * 2017-11-22 2022-12-27 Amazon Technologies, Inc. Intelligent compute resource selection for machine learning training jobs

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389719A (zh) * 2013-08-02 2013-11-13 临沂市拓普网络股份有限公司 基于云计算的智能家居监控系统及方法
US20170154113A1 (en) * 2015-11-30 2017-06-01 Wal-Mart Stores, Inc. System, method, and non-transitory computer-readable storage media for evaluating search results
CN105575389A (zh) * 2015-12-07 2016-05-11 百度在线网络技术（北京）有限公司 模型训练方法、系统和装置
CN106204780A (zh) * 2016-07-04 2016-12-07 武汉理工大学 一种基于深度学习和云服务的人脸识别考勤系统及方法
CN107195186A (zh) * 2017-06-07 2017-09-22 千寻位置网络有限公司 自动优化路口车辆通行速度的方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11847544B2 (en) 2020-07-21 2023-12-19 International Business Machines Corporation Preventing data leakage in automated machine learning

Also Published As

Publication number Publication date
US20200285978A1 (en) 2020-09-10
AU2018374912B2 (en) 2023-10-19
AU2018374912A1 (en) 2020-06-18
KR20200093007A (ko) 2020-08-04
CN109840591A (zh) 2019-06-04
CN113762504A (zh) 2021-12-07
JP2022000757A (ja) 2022-01-04
KR102514325B1 (ko) 2023-03-24
JP7144117B2 (ja) 2022-09-29
EP3709226A4 (en) 2021-01-06
JP2021504832A (ja) 2021-02-15
CA3091405A1 (en) 2019-06-06
JP7222036B2 (ja) 2023-02-14
EP3709226A1 (en) 2020-09-16
CN109840591B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
WO2019105189A1 (zh) 模型训练系统、方法和存储介质
JP2022000757A5 (zh)
CN111488598B (zh) 访问控制方法、装置、计算机设备和存储介质
CN109274652B (zh) 身份信息验证系统、方法及装置及计算机存储介质
CN108351771B (zh) 维持对于在部署到云计算环境期间的受限数据的控制
US20060143189A1 (en) Database access control method, database access controller, agent processing server, database access control program, and medium recording the program
US10476733B2 (en) Single sign-on system and single sign-on method
US20220329446A1 (en) Enhanced asset management using an electronic ledger
CN109446259B (zh) 数据处理方法及装置、处理机及存储介质
CN111291394B (zh) 一种虚假信息管理方法、装置和存储介质
CN104092647A (zh) 网络访问方法、系统及客户端
CN109831435B (zh) 一种数据库操作方法、系统及代理服务器和存储介质
US20230015258A1 (en) Data verification in a distributed data processing system
JP6614280B1 (ja) 通信装置および通信方法
US7987513B2 (en) Data-use restricting method and computer product
US20160004850A1 (en) Secure download from internet marketplace
US20230205849A1 (en) Digital and physical asset tracking and authentication via non-fungible tokens on a distributed ledger
CN114239044A (zh) 一种去中心化的可追溯共享访问系统
WO2018166365A1 (zh) 一种记录网站访问日志的方法和装置
EP4277203A1 (en) Method of securely streaming digital content over content delivery network
KR102666687B1 (ko) 닉네임에 따른 통신권한레벨을 부여함으로써 개인정보의 노출없이 qr코드를 이용한 안심전화 서비스를 제공하기 위한 운영 서버 및 그 동작 방법
CN109740308B (zh) 一种服务器端版本的保护方法及系统
US20230368191A1 (en) Database representation of a public trust ledger
CN117828565A (zh) 基于堡垒机的资源处理方法、装置和计算机设备
KR20230089559A (ko) 블록체인 기반 fido 인증 방법 및 이를 이용한 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18883965

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020529143

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018374912

Country of ref document: AU

Date of ref document: 20181106

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018883965

Country of ref document: EP

Effective date: 20200612

ENP Entry into the national phase

Ref document number: 20207018467

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3091405

Country of ref document: CA