WO2024251127A1 - 分布式的训练方法、系统以及终端、基站 - Google Patents

分布式的训练方法、系统以及终端、基站 Download PDF

Info

Publication number
WO2024251127A1
WO2024251127A1 PCT/CN2024/097390 CN2024097390W WO2024251127A1 WO 2024251127 A1 WO2024251127 A1 WO 2024251127A1 CN 2024097390 W CN2024097390 W CN 2024097390W WO 2024251127 A1 WO2024251127 A1 WO 2024251127A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
training
configuration
message
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2024/097390
Other languages
English (en)
French (fr)
Inventor
杨蓓
李威
佘小明
陈鹏
王建秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd Beijing Research Institute
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd Beijing Research Institute
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd Beijing Research Institute, China Telecom Corp Ltd filed Critical China Telecom Corp Ltd Beijing Research Institute
Publication of WO2024251127A1 publication Critical patent/WO2024251127A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • a distributed training method comprising: a terminal sends a first message to a base station, wherein the terminal is a distributed node of distributed learning, the base station is a central node of distributed learning, and the first message includes training information of a model deployed by the terminal; the terminal receives a second message sent by the base station, wherein the second message includes at least one of a parameter update indication and a convergence condition update indication of the model, or includes a training stop indication; wherein the first message and the second message are control channel signaling, which are scrambled with a scrambling code sequence, and the scrambling code sequence is determined according to at least one of a model function, a model identifier, a training method, and a training group to which the terminal belongs.
  • the training method also includes: the terminal receives configuration signaling sent by the base station, wherein the configuration signaling includes at least one of model function, model identification, model configuration, and training data collection configuration; the terminal configures the distributed nodes deployed by the terminal according to the configuration signaling.
  • the model function includes at least one of a model function identifier, an area code, a public land mobile network, an operator identification code, a tracking area, a cell group, and a geographic range identification code; and/or, the model identifier includes at least one of a country identification code, an operator identification code, a public land mobile network, a tracking area, a geographic range identification code, and a model identification code.
  • the model configuration includes a lifecycle management configuration of the model or a model property configuration.
  • the model lifecycle management configuration includes model training configuration, model reasoning configuration, model At least one of model deployment configuration, model update configuration, and model monitoring configuration; and/or, model attribute configuration includes at least one of input configuration, output configuration, model structure configuration, interface configuration, and training rule configuration.
  • the configuration signaling is any one of downlink control information of the physical layer, a control unit of the media access layer, or radio resource control signaling.
  • the distributed learning is federated learning.
  • the model is an indoor positioning model.
  • a distributed training method comprising: a base station receives a first message sent by any one of a plurality of terminals, wherein the plurality of terminals are distributed nodes of distributed learning, the base station is a central node of the distributed learning, and the first message includes training information of a model deployed by the terminals; the base station sends a second message to any one of the plurality of terminals, wherein the second message includes at least one of a parameter update indication and a convergence condition update indication of the model, or includes a training stop indication; wherein the first message and the second message are control channel signaling, which are encrypted with a scrambling code sequence, and the scrambling code sequence is determined according to at least one of a model function, a model identifier, a training method, and a training group to which the terminal belongs.
  • the training method further includes: the base station aggregates the models deployed by the multiple terminals according to the training information sent by the multiple terminals to obtain updated model parameters.
  • the training method further includes: the base station sends configuration signaling to any one of the multiple terminals, wherein the configuration signaling includes at least one of a model function, a model identifier, a model configuration, and a collection configuration of training data.
  • a terminal comprising: a sending module, configured to send a first message to a base station, wherein the terminal is a distributed node of distributed learning, the base station is a central node of the distributed learning, and the first message includes training information of a model deployed by the terminal; a receiving module, configured to receive a second message sent by the base station, wherein the second message includes at least one of a parameter update indication and a convergence condition update indication of the model, or includes a training stop indication; wherein the first message and the second message are control channel signaling, which are scrambled with a scrambling code sequence, and the scrambling code sequence is determined according to at least one of a model function, a model identifier, a training method, and a training group to which the terminal belongs.
  • a terminal comprising: a memory; and a processor coupled to the memory, wherein the processor is configured to execute any one of the aforementioned distributed training methods based on instructions stored in the memory.
  • a base station comprising: a receiving module, configured to receive a first message sent by any one of a plurality of terminals, wherein the plurality of terminals are distributed nodes of distributed learning, the base station is a central node of the distributed learning, and the first message includes training information of a model deployed by the terminals; a sending module, configured to send a second message to any one of the plurality of terminals, wherein the second message includes at least one of a parameter update indication and a convergence condition update indication of the model, or includes a training stop indication; wherein the first message and the second message are control channel signaling, which are encrypted with a scrambling code sequence, and the scrambling code sequence is determined according to at least one of a model function, a model identifier, a training method, and a training group to which the terminal belongs.
  • a base station comprising: a memory; and a processor coupled to the memory, wherein the processor is configured to execute any one of the aforementioned distributed training methods based on instructions stored in the memory.
  • a distributed training system comprising: any one of the aforementioned terminals; and any one of the aforementioned base stations.
  • a computer-readable storage medium having a computer program stored thereon, which, when executed by a processor, implements any of the aforementioned distributed training methods.
  • a computer program comprising: instructions, which, when executed by a processor, cause the processor to perform any one of the aforementioned distributed training methods.
  • FIG1 shows a schematic diagram of the structure of a distributed training system according to some embodiments of the present disclosure.
  • FIG2 shows a schematic flow chart of a distributed training method according to some embodiments of the present disclosure.
  • FIG3 shows a schematic flow chart of a configuration method according to some embodiments of the present disclosure.
  • FIG4 shows a schematic flow chart of an indoor positioning method according to some embodiments of the present disclosure.
  • FIG5 shows a schematic structural diagram of a terminal according to some embodiments of the present disclosure.
  • FIG6 shows a schematic structural diagram of a base station according to some embodiments of the present disclosure.
  • FIG. 7 shows a schematic structural diagram of an electronic device according to some embodiments of the present disclosure.
  • FIG8 shows a schematic structural diagram of an electronic device according to other embodiments of the present disclosure.
  • the current AI/ML-based positioning enhancement solution in 3GPP is a centralized training solution.
  • the data used for AI/ML model training needs to be concentrated on the base station or terminal or LMF (Location Management Function) side.
  • LMF Location Management Function
  • a large number of data sets (such as measurement signals) used for training need to be transmitted between air interfaces or interfaces, resulting in large transmission overhead.
  • a technical problem to be solved by the embodiments of the present disclosure is: how to reduce the overhead in the model training process.
  • the inventors realize that this problem can be solved by using a distributed framework to reduce the data information transmission between air interfaces/interfaces.
  • FIG1 shows a schematic diagram of the structure of a distributed training system according to some embodiments of the present disclosure.
  • the terminal 11 is a distributed node that trains the locally deployed model and reports the training information to the base station 12.
  • the base station 12 is a central node that aggregates the information reported by each terminal 11 and updates the parameters of the model.
  • the base station includes a CU (Centralized Unit) and a DU (Distributed Unit)
  • the central node can also be deployed in the CU. Or DU.
  • the data information transmission between air interfaces/interfaces can be reduced.
  • Fig. 2 shows a schematic flow chart of a distributed training method according to some embodiments of the present disclosure. As shown in Fig. 2, the distributed training method of this embodiment includes steps S202 to S204.
  • step S202 the terminal sends a first message to the base station, wherein the terminal is a distributed node of distributed learning, the base station is a central node of distributed learning, and the first message includes training information of a model deployed by the terminal.
  • the training information includes parameters of the trained model, or the training status of the model.
  • the parameters of the trained model can be represented in the form of key-value pairs, that is, including the name of each parameter and its value; or, data consisting of the values of each parameter can be directly sent in a default format, such as a matrix, vector, etc., and the parameter name corresponding to the element at each position can be preset to further save transmission resources.
  • step S204 the terminal receives a second message sent by the base station, wherein the second message includes at least one of a parameter update indication and a convergence condition update indication of the model, or includes a training stop indication.
  • the parameter update indication, the convergence condition update indication, and the training stop indication may be collectively referred to as a training indication.
  • the parameter update indication is the updated parameter value obtained by the base station after aggregating the training information reported by the terminals where the multiple distributed nodes are located. Then, the base station can send the updated parameter value to the terminals where the distributed nodes are located.
  • the training stop indication is used to instruct the terminal to stop the training process, which can be a response from the base station to determine that the converged model meets the convergence condition.
  • the convergence condition update indication is used to notify the terminal that the convergence condition has been updated and to inform the terminal of the new convergence condition.
  • the terminal and the base station can interact through control channel signaling, for example, the first message is uplink control information, and the second message is downlink control information.
  • the embodiments of the present disclosure design an implementation method of control channel signaling.
  • the control channel signaling is encrypted with a scrambling code sequence.
  • the generation method of the scrambling code sequence used for the control channel signaling can be defined for the application scenario of distributed training of the base station and the terminal.
  • the base station and the terminal can generate the scrambling code sequence according to the demodulated control signal.
  • the different scrambling codes of the signaling carried by the channel can be used to know that the control information is related to training.
  • MT-RNTI Model Training-Radio Network Temporary Identifier
  • Other names can also be used as needed, which will not be repeated here.
  • all terminals in the same training group may use a unified MT-RNTI for their own training process, that is, a default scrambling code sequence corresponding to distributed learning.
  • the scrambling code sequence is determined according to the training method, that is, different training methods are distinguished by different MT-RNTIs, for example: MT-C-RNTI is used for centralized model training, and MT-D-RNTI is used for distributed model training; or, supervised training and unsupervised training are distinguished by different scrambling code sequences.
  • the scrambling code sequence is determined according to a model function or a model identifier.
  • the model function for example, represents at least one of mobility optimization, positioning, and beam management.
  • the model identifier is represented, for example, by a model ID, and each model has a unique ID.
  • model training with different model functions or model IDs has different MT-RNTIs, and the MT-RNTI is generated by calculation or derivation according to the model function or model ID.
  • the scrambling code sequence is determined according to the training group to which the terminal belongs. That is, the terminals in the same training group use the same MT-RNTI, and the training group refers to a group consisting of terminals belonging to the same training task.
  • model training such as model function, model identification, training method, training group, etc. by demodulating the different scrambling codes of the control channel carrying signaling.
  • a dedicated signaling format may be defined for the first message and the second message.
  • the first message is uplink control information and has a first signaling format determined according to the scrambling sequence
  • the second message is downlink control information and has a second signaling format determined according to the scrambling sequence.
  • At least one of one or more fields and field sizes may be predefined in each signaling format.
  • the first signaling format and the second signaling format include at least one field of a model identifier, a model function identifier, a timestamp, a sequence index, and a training group identifier.
  • the second signaling format may also include at least one field of aggregation algorithm indication, training stop condition, initial value of parameters of the model, parameter update indication of the model, and gradient update indication of the model.
  • any one of the parameter update indication and the model gradient update indication includes an indication bit, and the value of the indication bit is different from the value of the indication bit in the same indication obtained by the terminal last time, so as to avoid the terminal confusing the contents of two adjacent indications.
  • the value of the indicator bit is a first value and a second value.
  • the optional values of the indicator bit include 0 and 1.
  • the indicator bit in each parameter update indication and model gradient update is updated by replacing the value in the last sent indication with the value in the last sent indication.
  • the indicator bit is inverted to obtain the value.
  • the value of the indicator bit can also be other numerical values, or include other numbers of optional values, which will not be described in detail here.
  • the sizes of the fields in the first signaling format and the second signaling format are default values, for example, determined in a standard predefined manner; or determined according to a configuration sent by the base station.
  • the embodiments of the present disclosure are applicable to the method of model training in the distributed wireless network architecture of 5G-Advanced and 6G networks, and define the physical layer signaling of the air interface required for model training.
  • the terminal can train the locally deployed model and only inform the base station of the training information instead of all the information of the model, thereby saving air interface or interface resources.
  • the base station can reduce the local computing pressure by aggregating the training information provided by each terminal. Therefore, the embodiments of the present disclosure improve the prediction accuracy, generalization, and convergence speed of the model, and reduce the communication overhead.
  • the embodiment of the present disclosure can also be configured for the terminal by the base station.
  • the embodiment of the configuration method of the present disclosure is described below with reference to FIG3 .
  • Fig. 3 shows a schematic flow chart of a configuration method according to some embodiments of the present disclosure. As shown in Fig. 3, the configuration method of this embodiment includes steps S302 to S304.
  • step S302 the terminal receives a configuration signaling sent by the base station, wherein the configuration signaling includes at least one of a model function, a model identifier, a model configuration, and a collection configuration of training data.
  • Configuration signaling can be sent through high-level signaling such as RRC (Radio Resource Control), MAC CE (Media Access Control Control Element), or through the physical layer DCI (Downlink Control Information).
  • RRC Radio Resource Control
  • MAC CE Media Access Control Control Element
  • DCI Downlink Control Information
  • the model functionality represents at least one of mobility optimization, positioning, and beam management.
  • the model function can be reflected as a model function identification code, which includes more relevant information in addition to the model function. It can be a string of M bits, including at least one of the model function identification, area code, PLMN (Public Land Mobile Network), operator identification code, TA (Tracking Area), cell group, and geographic range identification code.
  • model function identification code includes more relevant information in addition to the model function. It can be a string of M bits, including at least one of the model function identification, area code, PLMN (Public Land Mobile Network), operator identification code, TA (Tracking Area), cell group, and geographic range identification code.
  • the model identifier can be reflected as a string of M bits, which, in addition to the model identifier, also includes more relevant information, including at least one of a country identification code, an operator identification code, a PLMN, a TA, a geographic range identification code, and a model identification code (for example, different models within a certain country).
  • the model configuration includes a lifecycle management configuration of the model or a model property configuration.
  • Model lifecycle management configuration reflects the configuration required at each stage of model training, such as at least one of model training configuration, model inference configuration, model deployment configuration, model update configuration, and model monitoring configuration. kind.
  • the model attribute configuration includes, for example, at least one of input configuration, output configuration, model structure configuration, interface configuration, and training rule configuration.
  • the terminal receives MLModelTrainingConfiguration (ML model training configuration) sent by the base station, which includes: TrainingType (training type) information element, configured as FederalLearning (federated learning); and information elements such as ModelInput (model input), ModelOutput (model output), ModelStructure (model structure), and TrainingRule (training rule).
  • TrainingType training type
  • ModelInput model input
  • ModelOutput model output
  • ModelStructure model structure
  • TrainingRule TrainingRule
  • the input configuration and output configuration include, for example, the number of dimensions of the data, the model input type (real number/complex number/integer/float16/float32/quantization level, etc.).
  • the cell configuration model uses one-dimensional data input, and for TOA (Time of Arrival), DL-TDOA (Down Link Time Difference Of Arrival), and RSRP (Reference Signal Receiving Power) information, a multi-layer perceptron (MLP) model is used.
  • the input of the model is measurement information such as TOA, DL-TDOA, and RSRP.
  • the data input dimension is 1 ⁇ 18 (18 is the preset number of base stations), which means that a user receives downlink reference signals sent by 18 base stations and performs channel estimation.
  • the output cell ModelOutput is the predicted value (x, y) of the two-dimensional coordinates of the terminal, where each coordinate is a float16 real number.
  • the model structure configuration includes, for example, the model type (DNN, i.e., deep neural network, CNN, i.e., convolutional neural network, Transformer, i.e., Resnet, i.e., residual network, etc.), the number of layers, the number of nodes, the type of activation function (ReLu, i.e., rectified linear unit, LeakyRelu, i.e., leaky rectified linear unit, etc.).
  • the ModelStructure element configures the structure of the model.
  • the configured model uses three-dimensional data input and extracts the features of the three-dimensional data of the channel impulse response (CIR) based on the residual network (Resnet).
  • Each CIR sample is a multi-dimensional matrix information, and its input dimension is "18 ⁇ 256 ⁇ 2", and each element is a complex floating point float32 type; the three-dimensional input is generated by the 18 base station CIR information received by the terminal and 256 fast Fourier transform (FFT) sampling points, and 2 represents the real and imaginary parts of the complex number.
  • FFT fast Fourier transform
  • the CIR input is converted to a size of 18 ⁇ 18 ⁇ 64, followed by 12 Con2D (two-dimensional convolution) layers and a 3 ⁇ 3 convolution kernel for convolution operations, and shortcut operations are performed between specific layers.
  • the interface configuration may be, for example, a model interface standardized file or file type, including ONNX (Open Neural Network Exchange), Torchscript, etc.
  • the standardized file may be, for example, a model format file with the suffix .onnx.
  • the training rule configuration includes, for example, the optimization objective function (NMSE, i.e., normalized mean square error, cross entropy, etc.), the learning rate, the specific method used for gradient descent, etc.
  • NMSE optimization objective function
  • the learning rate the specific method used for gradient descent, etc.
  • the training data collection configuration can instruct the terminal to measure reference signals such as downlink PRS (Positioning Reference Signal) and CSI-RS (Channel State Information Reference Signal) to obtain CIR information, RSRP, etc.
  • reference signals such as downlink PRS (Positioning Reference Signal) and CSI-RS (Channel State Information Reference Signal) to obtain CIR information, RSRP, etc.
  • the collection configuration of the training data includes a configuration of uplink measurement of a reference signal.
  • the terminal receives the reference signal required for uplink measurement configured by the network side, and the network obtains measurement information such as CIR, TDOA, TOA, etc. through uplink measurement.
  • the measurement data of a terminal is indicated to be reported to a single base station (such as a primary cell) or multiple base stations (such as base stations in a secondary cell group).
  • the training data includes at least one of labeled data and unlabeled data. That is, the collected training data may be labeled data, unlabeled data, or both.
  • step S304 the terminal configures the distributed nodes deployed by the terminal according to the configuration signaling.
  • different parameters can be configured for the terminal based on different scenarios, cells, TAs, etc., thereby improving the flexibility of distributed training.
  • the interaction process between the terminal and the base station is described below by taking the indoor positioning model as an example.
  • Fig. 4 shows a schematic flow chart of an indoor positioning method according to some embodiments of the present disclosure. As shown in Fig. 4, the indoor positioning method of this embodiment includes steps S402 to S414.
  • step S402 the base station as the central node sends a configuration message to the terminal as the distributed node.
  • step S404 the terminal configures the distributed nodes according to the configuration message.
  • step S406 the terminal trains the locally deployed model to obtain training information, and the model is an indoor positioning model.
  • step S408 the terminal sends the training information to the base station through a first message.
  • step S410 when the base station determines that the current model has not converged, it updates the parameters of the model according to the training information sent by the multiple terminals, and sends the updated parameters to the terminal through the second message. Then, returning to step S406, the terminal continues training based on the updated parameters.
  • step S412 when the base station determines that the current model has converged, the base station sends an instruction to stop training to the terminal through a second message.
  • step S414 LMF determines the location of the terminal based on the inference result of the indoor positioning model. You can perform inference on your own, or send the model's prediction results to LMF after terminal inference.
  • the user's location information is private data
  • distributed training is used to prevent the location information collected by the terminal and used for training from being leaked, thereby protecting the security and privacy of the user's location-related data.
  • Figure 5 shows a schematic diagram of the structure of a terminal according to some embodiments of the present disclosure.
  • the terminal 50 of this embodiment includes: a sending module 510, configured to send a first message to a base station, wherein the terminal is a distributed node of distributed learning, the base station is a central node of distributed learning, and the first message includes training information of a model deployed by the terminal; a receiving module 520, configured to receive a second message sent by the base station, wherein the second message includes at least one of a parameter update indication and a convergence condition update indication of the model, or includes a training stop indication; wherein the first message and the second message are control channel signaling, which are encrypted with a scrambling code sequence, and the scrambling code sequence is determined according to at least one of a model function, a model identifier, a training method, and a training group to which the terminal belongs.
  • a sending module 510 configured to send a first message to a base station, wherein the terminal is a distributed node of distributed
  • multiple terminals in a training group to which the terminal belongs use the same scrambling code sequence.
  • the first message has a first signaling format determined according to the scrambling code sequence; and/or the second message has a second signaling format determined according to the scrambling code sequence.
  • the first signaling format and the second signaling format include at least one field of a model identifier, a model function identifier, a timestamp, a sequence index, and a training group identifier.
  • the second signaling format includes at least one field of an aggregation algorithm indication, a training stop condition, an initial value of a parameter of the model, a parameter update indication of the model, and a gradient update indication of the model.
  • any one of the parameter update indication of the model and the gradient update indication of the model includes an indication bit, and the value of the indication bit is different from the value of the indication bit in the same indication obtained by the terminal last time.
  • the value of the indicator bit is a first value or a second value.
  • the sizes of the fields in the first signaling format and the second signaling format are default values, or are determined according to a configuration sent by the base station.
  • the training information includes parameters of the trained model, or the training status of the model.
  • the receiving module 520 is further configured to receive configuration signaling sent by the base station, wherein the configuration signaling includes at least one of model function, model identification, model configuration, and training data collection configuration; the terminal 50 also includes a configuration module 530, which is configured to configure the distributed nodes deployed by the terminal according to the configuration signaling.
  • the model functionality represents at least one of mobility optimization, positioning, and beam management.
  • the model function includes a model function identifier, an area code, a public land mobile network, an operation At least one of a business identification code, a tracking area, a cell group, and a geographic range identification code; and/or, the model identification includes at least one of a country identification code, an operator identification code, a public land mobile network, a tracking area, a geographic range identification code, and a model identification code.
  • the model configuration includes a lifecycle management configuration of the model or a model property configuration.
  • the model lifecycle management configuration includes at least one of model training configuration, model reasoning configuration, model deployment configuration, model update configuration, and model monitoring configuration; and/or, the model attribute configuration includes at least one of input configuration, output configuration, model structure configuration, interface configuration, and training rule configuration.
  • the collection configuration of the training data includes at least one of a collection object and a collection method; or, the collection configuration of the training data includes a configuration of uplink measurement of a reference signal.
  • the configuration signaling is any one of downlink control information of the physical layer, a control unit of the media access layer, or radio resource control signaling.
  • the distributed learning is federated learning.
  • the model is an indoor positioning model.
  • Figure 6 shows a schematic diagram of the structure of a base station according to some embodiments of the present disclosure.
  • the base station 60 of this embodiment includes: a receiving module 610, configured to receive a first message sent by any one of a plurality of terminals, wherein the plurality of terminals are distributed nodes of distributed learning, the base station is a central node of distributed learning, and the first message includes training information of a model deployed by the terminal; a sending module 620, configured to send a second message to any one of the plurality of terminals, wherein the second message includes at least one of a parameter update indication of the model and a convergence condition update indication, or includes a training stop indication; wherein the first message and the second message are control channel signaling, encrypted with a scrambling code sequence, and the scrambling code sequence is determined according to at least one of a model function, a model identifier, a training method, and a training group to which the terminal belongs.
  • the base station 60 further includes: an aggregation module 630 configured to aggregate models deployed by multiple terminals according to training information sent by multiple terminals to obtain updated model parameters.
  • the sending module 620 is further configured to send configuration signaling to any one of the multiple terminals, wherein the configuration signaling includes at least one of a model function, a model identifier, a model configuration, and a collection configuration of training data.
  • FIG7 shows a schematic diagram of the structure of an electronic device according to some embodiments of the present disclosure, and the electronic device is a base station or a terminal.
  • the electronic device 70 of the embodiment includes: a memory 710 and a processor 720 coupled to the memory 710, and the processor 720 is configured to execute the previous Describe the distributed training method in any one of the embodiments.
  • the memory 710 may include, for example, a system memory, a fixed non-volatile storage medium, etc.
  • the system memory may store, for example, an operating system, an application program, a boot loader, and other programs.
  • FIG8 shows a schematic diagram of the structure of an electronic device according to other embodiments of the present disclosure, and the electronic device is a base station or a terminal.
  • the electronic device 80 of this embodiment includes: a memory 810 and a processor 820, and may also include an input/output interface 830, a network interface 840, a storage interface 850, etc. These interfaces 830, 840, 850 and the memory 810 and the processor 820 may be connected, for example, via a bus 860.
  • the input/output interface 830 provides a connection interface for input/output devices such as a display, a mouse, a keyboard, and a touch screen.
  • the network interface 840 provides a connection interface for various networked devices.
  • the storage interface 850 provides a connection interface for external storage devices such as SD cards and USB flash drives.
  • An embodiment of the present disclosure further provides a computer-readable storage medium having a computer program stored thereon, wherein the program implements any of the aforementioned distributed training methods when executed by a processor.
  • the embodiments of the present disclosure may be provided as methods, systems, or computer program products. Therefore, the present disclosure may take the form of a complete hardware embodiment, a complete software embodiment, or an embodiment combining software and hardware. Moreover, the present disclosure may take the form of a computer program product implemented on one or more computer-usable non-transient storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) containing computer-usable program code.
  • a computer-usable non-transient storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • These computer program instructions may also be stored in a computer-readable memory that can direct a computer or other programmable data processing device to work in a specific manner, so that the instructions stored in the computer-readable memory produce a manufactured product including an instruction device that implements the functions specified in one or more processes in the flowchart and/or one or more boxes in the block diagram.
  • These computer program instructions can also be loaded into a computer or other programmable data processing device to execute a series of operation steps on the computer or other programmable device to produce a computer-implemented process, thereby performing a computer-implemented process.
  • the instructions executed on a computer or other programmable device provide steps for implementing the functions specified in one or more flows of the flowcharts and/or one or more blocks of the block diagrams.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本公开公开了一种分布式的训练方法、系统以及终端、基站，涉及无线通信领域。分布式的训练方法包括：终端向基站发送第一消息，其中，终端为分布式学习的分布式节点，基站为分布式学习的中心节点，第一消息包括对终端部署的模型的训练信息；终端接收基站发送的第二消息，其中，第二消息包括模型的参数更新指示、收敛条件更新指示中的至少一种，或者包括训练停止指示；其中，第一消息和第二消息为控制信道信令，采用扰码序列加扰，扰码序列根据模型功能、模型标识、训练方式、终端所属的训练组中的至少一种确定。

Description

分布式的训练方法、系统以及终端、基站
相关申请的交叉引用
本申请是以中国申请号为202310658195.8，申请日为2023年6月5日的申请为基础，并主张其优先权，该中国申请的公开内容在此作为整体引入本申请中。
技术领域
本公开涉及无线通信领域，特别涉及一种分布式的训练方法、系统以及终端、基站。
背景技术
3GPP(3rd Generation Partnership Project，第三代合作伙伴计划)Rel-18(Release 18，版本18)针对无线人工智能(Artificial Intelligence，简称：AI)空口关键技术进行研究，主要关注集中式机器学习与AI空口的应用。
基于AI/机器学习(Machine Learning，ML)的定位增强技术可以解决传统室内定位不准的难点和痛点问题，特别是重NLOS(Non Line of Sight，非视距)场景下传统室内定位的痛点问题，例如在3GPP InF-DH(Indoor Factory-Denseclutter Highbs，室内工厂-密集簇、高基站)场景中，定位精度大于15米。
传统室内定位技术是基于多站点直射径的直接测量或间接测量进行用户位置的估计计算。尽管传统的室内定位技术在某些部署场景下能提供较高的精度，但它们严重依赖于LOS(Line of Sight，视距)路径的存在，在工业环境中存在许多障碍，导致了信号的折射、反射和衍射，同时信号传播过程中存在多径传播和较长的时延，导致传统定位方法难以实现高精度定位。
近年来，深度学习算法因其在各个领域的良好表现而得到了迅速发展和广泛应用。深度学习方法的典型优点有处理原始数据的有效性、自动提取特征的能力、图形处理器(Graphics Processing Unit，简称：GPU)的加速能力等等。根据目前3GPP研究评估进展，AI/ML能够显著提升室内重NLOS场景的定位精度，包括直接定位、间接定位。
发明内容
根据本公开一些实施例的第一个方面，提供一种分布式的训练方法，包括：终端向基站发送第一消息，其中，终端为分布式学习的分布式节点，基站为分布式学习的中心节点，第一消息包括对终端部署的模型的训练信息；终端接收基站发送的第二消息，其中，第二消息包括模型的参数更新指示、收敛条件更新指示中的至少一种，或者包括训练停止指示；其中，第一消息和第二消息为控制信道信令，采用扰码序列加扰，扰码序列根据模型功能、模型标识、训练方式、终端所属的训练组中的至少一种确定。
在一些实施例中，终端所属的训练组内的多个终端使用相同的扰码序列。
在一些实施例中，第一消息具有根据扰码序列确定的第一信令格式；和/或，第二消息具有根据扰码序列确定的第二信令格式。
在一些实施例中，第一信令格式和第二信令格式包括模型标识、模型功能标识、时间戳、顺序索引、训练组标识中的至少一个字段。
在一些实施例中，第二信令格式包括聚合算法指示、训练停止条件、模型的参数的初始值、模型的参数更新指示、模型的梯度更新指示中的至少一个字段。
在一些实施例中，模型的参数更新指示、模型的梯度更新指示中的任意一种包括指示位，并且，指示位的数值与终端上一次获得的同种指示中的指示位的数值不同。
在一些实施例中，指示位的值为第一数值或第二数值。
在一些实施例中，第一信令格式和第二信令格式中的字段的大小为默认值、或者根据基站发送的配置确定。
在一些实施例中，训练信息包括训练后的模型的参数，或者，模型的训练状态。
在一些实施例中，训练方法还包括：终端接收基站发送的配置信令，其中，配置信令包括模型功能、模型标识、模型配置、训练数据的采集配置中的至少一种；终端根据配置信令，对终端部署的分布式节点进行配置。
在一些实施例中，模型功能表示移动性优化、定位、波束管理中的至少一种。
在一些实施例中，模型功能包括模型功能标识、区域码、公共陆地移动网络、运营商标识码、跟踪区、小区组、地理范围标识码中的至少一种；和/或，模型标识包括国家标识码、运营商标识码、公共陆地移动网络、跟踪区、地理范围标识码、模型标识码中的至少一种。
在一些实施例中，模型配置包括模型的生命周期管理配置或者模型属性配置。
在一些实施例中，模型生命周期管理配置包括模型训练配置、模型推理配置、模 型部署配置、模型更新配置、模型监测配置中的至少一种；和/或，模型属性配置包括输入配置、输出配置、模型结构配置、接口配置、训练规则配置中的至少一种。
在一些实施例中，训练数据的采集配置包括采集对象、采集方法中的至少一种；或者，训练数据的采集配置包括对参考信号的上行测量的配置。
在一些实施例中，配置信令为物理层的下行控制信息、媒体接入层的控制单元或无线资源控制信令中的任意一种。
在一些实施例中，分布式学习为联邦学习。
在一些实施例中，模型为室内定位模型。
根据本公开一些实施例的第二个方面，提供一种分布式的训练方法，包括：基站接收多个终端中的任意一个终端发送的第一消息，其中，多个终端均为分布式学习的分布式节点，基站为分布式学习的中心节点，第一消息包括对终端部署的模型的训练信息；基站向多个终端中的任意一个终端发送第二消息，其中，第二消息包括模型的参数更新指示、收敛条件更新指示中的至少一种，或者包括训练停止指示；其中，第一消息和第二消息为控制信道信令，采用扰码序列加扰，扰码序列根据模型功能、模型标识、训练方式、终端所属的训练组中的至少一种确定。
在一些实施例中，训练方法还包括：基站根据多个终端发送的训练信息，对多个终端部署的模型进行汇聚，获得更新的模型的参数。
在一些实施例中，训练方法还包括：基站向多个终端中的任意一个发送配置信令，其中，配置信令包括模型功能、模型标识、模型配置、训练数据的采集配置中的至少一种。
根据本公开一些实施例的第三个方面，提供一种终端，包括：发送模块，被配置为向基站发送第一消息，其中，终端为分布式学习的分布式节点，基站为分布式学习的中心节点，第一消息包括对终端部署的模型的训练信息；接收模块，被配置为接收基站发送的第二消息，其中，第二消息包括模型的参数更新指示、收敛条件更新指示中的至少一种，或者包括训练停止指示；其中，第一消息和第二消息为控制信道信令，采用扰码序列加扰，扰码序列根据模型功能、模型标识、训练方式、终端所属的训练组中的至少一种确定。
根据本公开一些实施例的第四个方面，提供一种终端，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述任意一种分布式的训练方法。
根据本公开一些实施例的第五个方面，提供一种基站，包括：接收模块，被配置为接收多个终端中的任意一个终端发送的第一消息，其中，多个终端均为分布式学习的分布式节点，基站为分布式学习的中心节点，第一消息包括对终端部署的模型的训练信息；发送模块，被配置为向多个终端中的任意一个终端发送第二消息，其中，第二消息包括模型的参数更新指示、收敛条件更新指示中的至少一种，或者包括训练停止指示；其中，第一消息和第二消息为控制信道信令，采用扰码序列加扰，扰码序列根据模型功能、模型标识、训练方式、终端所属的训练组中的至少一种确定。
根据本公开一些实施例的第六个方面，提供一种基站，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述任意一种分布式的训练方法。
根据本公开一些实施例的第七个方面，提供一种分布式的训练系统，包括：前述任意一种终端；以及前述任意一种基站。
根据本公开一些实施例的第八个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任意一种分布式的训练方法。
根据本公开一些实施例的第九个方面，提供一种计算机程序，包括：指令，所述指令当由处理器执行时使所述处理器执行前述任意一种分布式的训练方法。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本公开一些实施例的分布式的训练系统的结构示意图。
图2示出了根据本公开一些实施例的分布式的训练方法的流程示意图。
图3示出了根据本公开一些实施例的配置方法的流程示意图。
图4示出了根据本公开一些实施例的室内定位方法的流程示意图。
图5示出了根据本公开一些实施例的终端的结构示意图。
图6示出了根据本公开一些实施例的基站的结构示意图。
图7示出了根据本公开一些实施例的电子设备的结构示意图。
图8示出了根据本公开另一些实施例的电子设备的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
经过分析，目前3GPP中基于AI/ML的定位增强方案属于集中式训练方案，需要将用于AI/ML模型训练的数据集中于基站或终端或LMF(Location Management Function，位置管理功能)侧，需要大量用于训练的数据集(例如测量信号)在空口或接口间传递，传输开销大。
本公开实施例所要解决的一个技术问题是：如何降低模型训练过程中的开销。
发明人认识到，可以通过分布式框架解决，降低空口/接口间的数据信息传递。
图1示出了根据本公开一些实施例的分布式的训练系统的结构示意图。如图1所示，在网络场景1中，包括多个终端11以及基站12，终端11为分布式节点，对本地部署的模型进行训练，并将训练信息上报给基站12。基站12为中心节点，对各个终端11上报的信息进行汇聚，并更新模型的参数。当基站包括CU(Centralized Unit，集中单元)和DU(Distributed Unit，分布单元)时，还可以将中心节点部署在CU 或DU。从而，能够降低空口/接口间的数据信息传递。在一些实施例中，还可以设置LMF 13，用于在模型训练完成后进行推理以获得预测结果，例如，对室内定位模型进行推理以获得用户的位置。根据需要，也可以由终端11进行推理，将模型的输出发送给LMF 13，由LMF 13根据模型的输出来确定用户的位置。
下面参考图2描述本公开分布式的训练方法的实施例。
图2示出了根据本公开一些实施例的分布式的训练方法的流程示意图。如图2所示，该实施例的分布式的训练方法包括步骤S202～S204。
在步骤S202中，终端向基站发送第一消息，其中，终端为分布式学习的分布式节点，基站为分布式学习的中心节点，第一消息包括对终端部署的模型的训练信息。
在一些实施例中，训练信息包括训练后的模型的参数，或者，模型的训练状态。
训练后的模型的参数例如可以以键值对的方式表示，即包括每个参数的名称及其值；或者，还可以按照默认的格式直接发送由各个参数的值构成的数据，例如矩阵、向量等等，每个位置上的元素对应的参数名称可以是预设的，以进一步节约传输资源。
模型的训练状态表示终端是否结束了对模型的本轮训练，例如，在终端检测到当前模型满足收敛条件(已达到最大迭代次数、损失函数的值小于预先配置的门限等)，则终端向基站报告当前的训练已结束。
在步骤S204中，终端接收基站发送的第二消息，其中，第二消息包括模型的参数更新指示、收敛条件更新指示中的至少一种，或者包括训练停止指示。参数更新指示、收敛条件更新指示、训练停止指示可以统称为训练指示。
参数更新指示是基站在对多个分布式节点所在的终端上报的训练信息进行汇聚后，得到的更新后的参数的值，然后，基站可以将更新的参数的值下发给各个分布式节点所在的终端。
训练停止指示用于指示终端停止训练过程，其可以是基站响应于确定汇聚后的模型满足收敛条件
收敛条件更新指示用于通知终端收敛条件发生了更新，以及告知终端新的收敛条件。
终端和基站可以通过控制信道信令进行交互，例如第一消息为上行控制信息，第二消息为下行控制信息。本公开的实施例设计了控制信道信令的实现方式。
控制信道信令使用扰码序列加扰。首先，可以针对基站和终端进行分布式训练的应用场景，定义控制信道信令所用扰码序列的生成方法，基站和终端根据解调控制信 道承载信令的不同扰码，可获知所属控制信息为与训练相关的信息。下文以MT-RNTI(Model Training-Radio Network Temporary Identifier，用于模型训练的无线网临时标识)表示扰码序列，根据需要，还可以采用其他的名称，这里不再赘述。
在一些实施例中，同一训练组内，所有的终端针对自身的训练过程，可采用统一的MT-RNTI，即，分布式学习对应的默认的扰码序列。
在一些实施例中，根据训练方式确定扰码序列，即，不同的训练方式采用不同的MT-RNTI进行区分，例如：MT-C-RNTI用于集中式模型训练，MT-D-RNTI用于分布式模型训练；或者，有监督训练和无监督训练采用不同的扰码序列进行区分。
在一些实施例中，根据模型功能或模型标识确定扰码序列。模型功能例如表示移动性优化、定位、波束管理中的至少一种。模型标识例如使用模型ID表示，每一种模型都有唯一的ID。从而，不同模型功能或模型ID的模型训练具有不同的MT-RNTI，MT-RNTI的生成方式根据模型功能或模型ID进行计算或者推导获得。
在一些实施例中，根据终端所属的训练组确定扰码序列。即，同一个训练组内的终端采用相同的MT-RNTI，训练组是指属于同一训练任务下的终端构成的组。
从而，不论是基站还是终端，在接收到对方发送的控制信道信令后，可以根据解调控制信道承载信令的不同扰码，获知所属控制信息为模型功能、模型标识、训练方式、训练组等模型训练的相关信息。
然后，可以为第一消息和第二消息定义专属的信令格式。例如，第一消息为上行控制信息，具有根据扰码序列确定的第一信令格式；第二消息为下行控制信息，具有根据扰码序列确定的第二信令格式。每个信令格式中可以预先定义一个或多个字段以及字段的大小中的至少一种。
第一信令格式和第二信令格式包括模型标识、模型功能标识、时间戳、顺序索引、训练组标识中的至少一个字段。
第二信令格式还可以包括聚合算法指示、训练停止条件、模型的参数的初始值、模型的参数更新指示、模型的梯度更新指示中的至少一个字段。
在一些实施例中，参数更新指示、模型的梯度更新指示中的任意一种包括指示位，并且，指示位的数值与终端上一次获得的同种指示中的指示位的数值不同，以避免终端混淆相邻两次指示的内容。
指示位的取值为第一数值和第二数值。例如，指示位可选的取值包括0和1，每次发送的参数更新指示、模型的梯度更新中的指示位，通过将上一次发送的指示中的 指示位取反得到。根据需要，指示位的取值还可以是其他数值、或者包括其他数量的可选值，这里不再赘述。
在一些实施例中，第一信令格式和第二信令格式中的字段的大小为默认值，例如通过标准预定义的方式确定；或者根据基站发送的配置确定。
本公开的实施例适用于5G-Advanced和6G网络分布式无线网络架构进行模型训练的方法，定义了模型训练所需空口的物理层信令。通过上述分布式架构和交互过程，终端能够对本地部署的模型进行训练，并且仅告知基站训练信息、而非模型的全部信息，从而能够节约空口或接口资源。而基站通过汇聚各个终端提供的训练信息，能够降低本地的计算压力。因此，本公开的实施例提高了模型的预测精度、泛化性、收敛速度，并且减少了通信开销。
本公开的实施例还可以通过基站为终端进行配置。下面参考图3描述本公开配置方法的实施例。
图3示出了根据本公开一些实施例的配置方法的流程示意图。如图3所示，该实施例的配置方法包括步骤S302～S304。
在步骤S302中，终端接收基站发送的配置信令，其中，配置信令包括模型功能、模型标识、模型配置、训练数据的采集配置中的至少一种。
配置信令可以通过RRC(Radio Resource Control，无线资源控制)、MAC CE(Media Access Control Control Element，媒体访问控制层的控制单元)等高层信令发送，或者通过物理层的DCI(Downlink Control Information，下行控制信息)发送。
在一些实施例中，模型功能表示移动性优化、定位、波束管理中的至少一种。
模型功能可以体现为模型功能标识码，其中除了模型功能以外，还包括更多的相关信息。其可以是一串M比特的字符串，包括模型功能标识、区域码、PLMN(Public Land Mobile Network，公共陆地移动网络)、运营商标识码、TA(Tracking Area，跟踪区)、小区组、地理范围标识码中的至少一种。
模型标识可以体现为一串M比特的字符串，其中除了模型标识以外，还包括更多的相关信息，包括国家标识码、运营商标识码、PLMN、TA、地理范围标识码、模型标识码(例如为某国家内的不同模型)中的至少一种。
在一些实施例中，模型配置包括模型的生命周期管理配置或者模型属性配置。
模型生命周期管理配置体现了模型训练的各个阶段所需要的配置，例如包括模型训练配置、模型推理配置、模型部署配置、模型更新配置、模型监测配置中的至少一 种。
模型属性配置例如包括输入配置、输出配置、模型结构配置、接口配置、训练规则配置中的至少一种。例如，终端接收基站发送的MLModelTrainingConfiguration(ML模型训练配置)，其中包括：TrainingType(训练类型)信元，配置为FederalLearning(联邦学习)；以及，信元ModelInput(模型输入)、ModelOutput(模型输出)、ModelStructure(模型结构)、TrainingRule(训练规则)等信元。
输入配置和输出配置例如包括数据的维度数、模型输入类型(实数/复数/整数/float16/float32/量化水平等)。以输入信元ModelInput为例，该信元配置模型采用一维数据输入，对于TOA(Time of Arrival，到达时间)、DL-TDOA(Down Link Time Difference Of Arrival，下行到达时间差)、RSRP(Reference Signal Receiving Power，参考信号接收功率)信息，采用多层感知机(MLP)模型。模型的输入为TOA、DL-TDOA、RSRP等测量信息，数据输入维度为1×18(18为预设的基站数目)，表示一个用户收到的18基站发送的下行参考信号并进行信道估计。以输出信元ModelOutput为例，其配置模型的输出为终端二维坐标的预测值(x,y)，其中每个坐标为float16型实数。
模型结构配置例如包括模型类型(DNN即深度神经网络、CNN即卷积神经网络、Transformer即变形器、Resnet即残差网络等)、层数、节点数、激活函数类型(ReLu即修正线性单元、LeakyRelu即渗漏修正线性单元等)等。例如，ModelStructure信元对模型的结构进行配置，该配置的模型采用三维数据输入，基于残差网络(Resnet)提取信道脉冲响应(Channel Impulse Response，简称：CIR)三维数据的特征。每个CIR样本是多维矩阵信息，其输入维度为“18×256×2”，每个元素为复数浮点数float32类型；该三维输入通过终端接收到的18个基站CIR信息和256个快速傅里叶变换(Fast Fourier Transform，简称：FFT)采样点生成，2代表复数的实部和虚部。模型在前四个Reshape(重塑)层中，CIR输入转换为大小18×18×64，然后是12个Con2D(二维卷积)层和3×3大小的卷积核进行卷积操作，在特定层间执行shortcut(捷径)操作。
接口配置例如为模型接口标准化文件或文件类型，类型包括ONNX(Open Neural Network Exchange，开放神经网络交换)、Torchscript等，标准化文件例如指后缀为.onnx的模型格式文件。
训练规则配置例如包括优化目标函数(NMSE即归一化均方误差、交叉熵等)、学习率、梯度下降所使用的具体方法等。
当然，上述描述中的具体实现方式仅为示例性地，本领域技术人员可以根据需要采用其他的具体实现方式，这里不再赘述。
在一些实施例中，训练数据的采集配置包括采集对象、采集方法中的至少一种。采集对象例如是采集的信息的类型，采集方法例如是对何种信号进行何种手段的处理。
例如，训练数据的采集配置可以指示终端测量下行PRS(Positioning Reference Signal，定位参考信号)、CSI-RS(Channel State Information Reference Signal，信道状态信息参考信号)等参考信号获得CIR信息、RSRP等。
在一些实施例中，训练数据的采集配置包括对参考信号的上行测量的配置。
例如，终端接收网络侧配置的上行测量所需参考信号，网络通过上行测量获得CIR、TDOA、TOA等测量信息。例如，指示某终端的测量数据上报给单个基站(例如主小区)或者多个基站(例如辅小区组中的基站)。
在一些实施例中，训练数据包括有标签的数据、无标签的数据中的至少一种。即，采集的训练数据可以是有标签的数据、也可以是无标签的数据、也可以兼而有之。
在步骤S304中，终端根据配置信令，对终端部署的分布式节点进行配置。
通过上述实施例，能够基于不同的场景、小区、TA等情况为终端配置不同的参数，从而，提高了分布式训练的灵活性。
下面参考图4，以室内定位模型为例描述终端与基站的交互过程。
图4示出了根据本公开一些实施例的室内定位方法的流程示意图。如图4所示，该实施例的室内定位方法包括步骤S402～S414。
在步骤S402中，作为中心节点的基站向作为分布式节点的终端发送配置消息。
在步骤S404中，终端根据配置消息，对分布式节点进行配置。
在步骤S406中，终端对本地部署的模型进行训练，获得训练信息，该模型为室内定位模型。
在步骤S408中，终端通过第一消息，将训练信息发送给基站。
在步骤S410中，基站在判断当前模型未收敛的情况下，根据多个终端发送的训练信息，对模型的参数进行更新，并通过第二消息，将更新的参数发送给终端。然后，回到步骤S406，终端基于更新的参数继续进行训练。
在步骤S412中，基站在判断当前模型收敛的情况下，通过第二消息向终端发送停止训练的指示。
在步骤S414中，LMF基于室内定位模型的推理结果，确定终端的位置。LMF可 以自行进行推理，也可以在终端推理后将模型的预测结果发送给LMF。
由于用户的定位信息属于隐私数据，因此通过分布式训练的方式，使得终端收集的、用于训练的定位信息不被泄露，保护了用户定位相关数据的安全与隐私。
下面参考图5描述本公开终端的实施例。
图5示出了根据本公开一些实施例的终端的结构示意图。如图5所示，该实施例的终端50包括：发送模块510，被配置为向基站发送第一消息，其中，终端为分布式学习的分布式节点，基站为分布式学习的中心节点，第一消息包括对终端部署的模型的训练信息；接收模块520，被配置为接收基站发送的第二消息，其中，第二消息包括模型的参数更新指示、收敛条件更新指示中的至少一种，或者包括训练停止指示；其中，第一消息和第二消息为控制信道信令，采用扰码序列加扰，扰码序列根据模型功能、模型标识、训练方式、终端所属的训练组中的至少一种确定。
在一些实施例中，终端所属的训练组内的多个终端使用相同的扰码序列。
在一些实施例中，第一消息具有根据扰码序列确定的第一信令格式；和/或，第二消息具有根据扰码序列确定的第二信令格式。
在一些实施例中，第一信令格式和第二信令格式包括模型标识、模型功能标识、时间戳、顺序索引、训练组标识中的至少一个字段。
在一些实施例中，第二信令格式包括聚合算法指示、训练停止条件、模型的参数的初始值、模型的参数更新指示、模型的梯度更新指示中的至少一个字段。
在一些实施例中，模型的参数更新指示、模型的梯度更新指示中的任意一种包括指示位，并且，指示位的数值与终端上一次获得的同种指示中的指示位的数值不同。
在一些实施例中，指示位的值为第一数值或第二数值。
在一些实施例中，第一信令格式和第二信令格式中的字段的大小为默认值、或者根据基站发送的配置确定。
在一些实施例中，训练信息包括训练后的模型的参数，或者，模型的训练状态。
在一些实施例中，接收模块520进一步被配置为接收基站发送的配置信令，其中，配置信令包括模型功能、模型标识、模型配置、训练数据的采集配置中的至少一种；终端50还包括配置模块530，被配置为根据配置信令，对终端部署的分布式节点进行配置。
在一些实施例中，模型功能表示移动性优化、定位、波束管理中的至少一种。
在一些实施例中，模型功能包括模型功能标识、区域码、公共陆地移动网络、运 营商标识码、跟踪区、小区组、地理范围标识码中的至少一种；和/或，模型标识包括国家标识码、运营商标识码、公共陆地移动网络、跟踪区、地理范围标识码、模型标识码中的至少一种。
在一些实施例中，模型配置包括模型的生命周期管理配置或者模型属性配置。
在一些实施例中，模型生命周期管理配置包括模型训练配置、模型推理配置、模型部署配置、模型更新配置、模型监测配置中的至少一种；和/或，模型属性配置包括输入配置、输出配置、模型结构配置、接口配置、训练规则配置中的至少一种。
在一些实施例中，训练数据的采集配置包括采集对象、采集方法中的至少一种；或者，训练数据的采集配置包括对参考信号的上行测量的配置。
在一些实施例中，配置信令为物理层的下行控制信息、媒体接入层的控制单元或无线资源控制信令中的任意一种。
在一些实施例中，分布式学习为联邦学习。
在一些实施例中，模型为室内定位模型。
下面参考图6描述本公开基站的实施例。
图6示出了根据本公开一些实施例的基站的结构示意图。如图6所示，该实施例的基站60包括：接收模块610，被配置为接收多个终端中的任意一个终端发送的第一消息，其中，多个终端均为分布式学习的分布式节点，基站为分布式学习的中心节点，第一消息包括对终端部署的模型的训练信息；发送模块620，被配置为向多个终端中的任意一个终端发送第二消息，其中，第二消息包括模型的参数更新指示、收敛条件更新指示中的至少一种，或者包括训练停止指示；其中，第一消息和第二消息为控制信道信令，采用扰码序列加扰，扰码序列根据模型功能、模型标识、训练方式、终端所属的训练组中的至少一种确定。
在一些实施例中，基站60还包括：汇聚模块630，被配置为根据多个终端发送的训练信息，对多个终端部署的模型进行汇聚，获得更新的模型的参数。
在一些实施例中，发送模块620进一步被配置为向多个终端中的任意一个发送配置信令，其中，配置信令包括模型功能、模型标识、模型配置、训练数据的采集配置中的至少一种。
图7示出了根据本公开一些实施例的电子设备的结构示意图，该电子设备为基站或终端。如图7所示，该实施例的电子设备70包括：存储器710以及耦接至该存储器710的处理器720，处理器720被配置为基于存储在存储器710中的指令，执行前 述任意一个实施例中的分布式的训练方法。
其中，存储器710例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图8示出了根据本公开另一些实施例的电子设备的结构示意图，该电子设备为基站或终端。如图8所示，该实施例的电子设备80包括：存储器810以及处理器820，还可以包括输入输出接口830、网络接口840、存储接口850等。这些接口830，840，850以及存储器810和处理器820之间例如可以通过总线860连接。其中，输入输出接口830为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口840为各种联网设备提供连接接口。存储接口850为SD卡、U盘等外置存储设备提供连接接口。
本公开的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任意一种分布式的训练方法。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算 机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (28)

  1. 一种分布式的训练方法，包括：
    终端向基站发送第一消息，其中，所述终端为分布式学习的分布式节点，所述基站为分布式学习的中心节点，所述第一消息包括对所述终端部署的模型的训练信息；
    所述终端接收所述基站发送的第二消息，其中，所述第二消息包括所述模型的参数更新指示、收敛条件更新指示中的至少一种，或者包括训练停止指示；
    其中，所述第一消息和所述第二消息为控制信道信令，采用扰码序列加扰，所述扰码序列根据模型功能、模型标识、训练方式、所述终端所属的训练组中的至少一种确定。
  2. 根据权利要求1所述的训练方法，其中，所述终端所属的训练组内的多个终端使用相同的扰码序列。
  3. 根据权利要求1或2所述的训练方法，其中：
    所述第一消息具有根据所述扰码序列确定的第一信令格式；和/或，
    所述第二消息具有根据所述扰码序列确定的第二信令格式。
  4. 根据权利要求3所述的训练方法，其中，所述第一信令格式和所述第二信令格式包括模型标识、模型功能标识、时间戳、顺序索引、训练组标识中的至少一个字段。
  5. 根据权利要求3或4所述的训练方法，其中，所述第二信令格式包括聚合算法指示、训练停止条件、所述模型的参数的初始值、所述模型的参数更新指示、所述模型的梯度更新指示中的至少一个字段。
  6. 根据权利要求5所述的训练方法，其中，所述模型的参数更新指示、所述模型的梯度更新指示中的任意一种包括指示位，并且，所述指示位的数值与所述终端上一次获得的同种指示中的指示位的数值不同。
  7. 根据权利要求6所述的训练方法，其中，所述指示位的值为第一数值或第二数 值。
  8. 根据权利要求3～7中任一项所述的训练方法，其中，所述第一信令格式和所述第二信令格式中的字段的大小为默认值、或者根据所述基站发送的配置确定。
  9. 根据权利要求1～8中任一项所述的训练方法，其中，所述训练信息包括训练后的所述模型的参数，或者，所述模型的训练状态。
  10. 根据权利要求1～9中任一项所述的训练方法，还包括：
    所述终端接收所述基站发送的配置信令，其中，所述配置信令包括模型功能、模型标识、模型配置、训练数据的采集配置中的至少一种；
    所述终端根据所述配置信令，对所述终端部署的分布式节点进行配置。
  11. 根据权利要求10所述的训练方法，其中，所述模型功能表示移动性优化、定位、波束管理中的至少一种。
  12. 根据权利要求10或11所述的训练方法，其中：
    所述模型功能包括模型功能标识、区域码、公共陆地移动网络、运营商标识码、跟踪区、小区组、地理范围标识码中的至少一种；和/或，
    所述模型标识包括国家标识码、运营商标识码、公共陆地移动网络、跟踪区、地理范围标识码、模型标识码中的至少一种。
  13. 根据权利要求10～12中任一项所述的训练方法，其中，所述模型配置包括所述模型的生命周期管理配置或者模型属性配置。
  14. 根据权利要求13所述的训练方法，其中：
    所述模型生命周期管理配置包括模型训练配置、模型推理配置、模型部署配置、模型更新配置、模型监测配置中的至少一种；和/或，
    所述模型属性配置包括输入配置、输出配置、模型结构配置、接口配置、训练规则配置中的至少一种。
  15. 根据权利要求10～14中任一项所述的训练方法，其中：
    所述训练数据的采集配置包括采集对象、采集方法中的至少一种；或者，
    所述训练数据的采集配置包括对参考信号的上行测量的配置。
  16. 根据权利要求10～15中任一项所述的训练方法，其中，所述配置信令为物理层的下行控制信息、媒体接入层的控制单元或无线资源控制信令中的任意一种。
  17. 根据权利要求1～16中任一项所述的训练方法，其中，所述分布式学习为联邦学习。
  18. 根据权利要求1～17中任一项所述的训练方法，其中，所述模型为室内定位模型。
  19. 一种分布式的训练方法，包括：
    基站接收多个终端中的任意一个终端发送的第一消息，其中，所述多个终端均为分布式学习的分布式节点，所述基站为分布式学习的中心节点，所述第一消息包括对所述终端部署的模型的训练信息；
    所述基站向所述多个终端中的任意一个终端发送第二消息，其中，所述第二消息包括所述模型的参数更新指示、收敛条件更新指示中的至少一种，或者包括训练停止指示；
    其中，所述第一消息和所述第二消息为控制信道信令，采用扰码序列加扰，所述扰码序列根据模型功能、模型标识、训练方式、所述终端所属的训练组中的至少一种确定。
  20. 根据权利要求19所述的训练方法，还包括：
    所述基站根据所述多个终端发送的训练信息，对所述多个终端部署的模型进行汇聚，获得更新的所述模型的参数。
  21. 根据权利要求19或20所述的训练方法，还包括：
    所述基站向所述多个终端中的任意一个发送配置信令，其中，所述配置信令包括模型功能、模型标识、模型配置、训练数据的采集配置中的至少一种。
  22. 一种终端，包括：
    发送模块，被配置为向基站发送第一消息，其中，所述终端为分布式学习的分布式节点，所述基站为分布式学习的中心节点，所述第一消息包括对所述终端部署的模型的训练信息；
    接收模块，被配置为接收所述基站发送的第二消息，其中，所述第二消息包括所述模型的参数更新指示、收敛条件更新指示中的至少一种，或者包括训练停止指示；
    其中，所述第一消息和所述第二消息为控制信道信令，采用扰码序列加扰，所述扰码序列根据模型功能、模型标识、训练方式、所述终端所属的训练组中的至少一种确定。
  23. 一种终端，包括：
    存储器；以及
    耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1～18中任一项所述的分布式的训练方法。
  24. 一种基站，包括：
    接收模块，被配置为接收多个终端中的任意一个终端发送的第一消息，其中，所述多个终端均为分布式学习的分布式节点，所述基站为分布式学习的中心节点，所述第一消息包括对所述终端部署的模型的训练信息；
    发送模块，被配置为向所述多个终端中的任意一个终端发送第二消息，其中，所述第二消息包括所述模型的参数更新指示、收敛条件更新指示中的至少一种，或者包括训练停止指示；
    其中，所述第一消息和所述第二消息为控制信道信令，采用扰码序列加扰，所述扰码序列根据模型功能、模型标识、训练方式、所述终端所属的训练组中的至少一种确定。
  25. 一种基站，包括：
    存储器；以及
    耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求19～21中任一项所述的分布式的训练方法。
  26. 一种分布式的训练系统，包括：
    权利要求22或23所述的终端；以及
    权利要求24或25所述的基站。
  27. 一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1～21中任一项所述的分布式的训练方法。
  28. 一种计算机程序，包括：
    指令，所述指令当由处理器执行时使所述处理器执行根据权利要求1～21中任一项所述的分布式的训练方法。
PCT/CN2024/097390 2023-06-05 2024-06-05 分布式的训练方法、系统以及终端、基站 Ceased WO2024251127A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202310658195.8A CN119089187A (zh) 2023-06-05 2023-06-05 分布式的训练方法、系统以及终端、基站
CN202310658195.8 2023-06-05

Publications (1)

Publication Number Publication Date
WO2024251127A1 true WO2024251127A1 (zh) 2024-12-12

Family

ID=93663668

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2024/097390 Ceased WO2024251127A1 (zh) 2023-06-05 2024-06-05 分布式的训练方法、系统以及终端、基站

Country Status (2)

Country Link
CN (1) CN119089187A (zh)
WO (1) WO2024251127A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110289933A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 通信方法、通信装置和系统
CN110632554A (zh) * 2019-09-20 2019-12-31 深圳前海微众银行股份有限公司 基于联邦学习的室内定位方法、装置、终端设备及介质
CN114091679A (zh) * 2020-08-24 2022-02-25 华为技术有限公司 一种更新机器学习模型的方法及通信装置
US20220156649A1 (en) * 2020-11-17 2022-05-19 Visa International Service Association Method, System, and Computer Program Product for Training Distributed Machine Learning Models
CN115481752A (zh) * 2022-09-23 2022-12-16 中国电信股份有限公司 模型训练方法、装置、电子设备以及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110289933A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 通信方法、通信装置和系统
CN110632554A (zh) * 2019-09-20 2019-12-31 深圳前海微众银行股份有限公司 基于联邦学习的室内定位方法、装置、终端设备及介质
CN114091679A (zh) * 2020-08-24 2022-02-25 华为技术有限公司 一种更新机器学习模型的方法及通信装置
US20220156649A1 (en) * 2020-11-17 2022-05-19 Visa International Service Association Method, System, and Computer Program Product for Training Distributed Machine Learning Models
CN115481752A (zh) * 2022-09-23 2022-12-16 中国电信股份有限公司 模型训练方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN119089187A (zh) 2024-12-06

Similar Documents

Publication Publication Date Title
CN103118333B (zh) 基于相似度的无线传感器网络移动节点定位方法
Wu et al. Location estimation via support vector regression
CN111867049B (zh) 定位方法、装置及存储介质
Subhan et al. Kalman filter‐based hybrid indoor position estimation technique in bluetooth networks
EP4704446A1 (en) Method and apparatus for training positioning model, and method and apparatus for positioning
CN109379711B (zh) 一种定位方法
CN109547929B (zh) 基于共轭梯度法的分布式传感器节点定位方法
Zhu et al. Localisation algorithm with node selection under power constraint in software‐defined sensor networks
Han et al. WiFi‐Based Indoor Positioning and Communication: Empirical Model and Theoretical Analysis
CN113015093B (zh) 一种基于三维深度残差神经网络的室内无线定位方法
CN116998174A (zh) 测量方法及装置
CN103501535B (zh) 一种定位节点的方法及装置
WO2024251127A1 (zh) 分布式的训练方法、系统以及终端、基站
CN108271245B (zh) 一种直射径判断方法及装置
Malandra et al. A simulation framework for network performance evaluation of large-scale RF-mesh AMIs
US12141318B2 (en) Techniques for private and secure collection and processing of data for generalized analysis
El Boudani et al. Positioning as service for 5g iot networks
CN118942286A (zh) 无人机运行轨迹确定方法、装置、设备、介质及产品
Asaad et al. Fingerprinting based positioning techniques using machine learning algorithms principles, approaches and challenges
Urwan et al. Position estimation in mixed indoor-outdoor environment using signals of opportunity and deep learning approach
Vicente et al. Performance analysis of a distributed algorithm for target localization in wireless sensor networks using hybrid measurements in a connection failure scenario
JP6433059B2 (ja) 通信レコードに基づき移動端末を測位する装置、プログラム及び方法
Wang et al. Deep Learning‐Based Localization with Urban Electromagnetic and Geographic Information
Shen et al. A RFID based localization algorithm for wireless sensor networks
CN115549823B (zh) 一种无线电环境地图预测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24818659

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE