WO2023013857A1 - 무선 통신 시스템에서 데이터 학습을 수행하는 방법 및 장치 - Google Patents

무선 통신 시스템에서 데이터 학습을 수행하는 방법 및 장치 Download PDF

Info

Publication number
WO2023013857A1
WO2023013857A1 PCT/KR2022/007049 KR2022007049W WO2023013857A1 WO 2023013857 A1 WO2023013857 A1 WO 2023013857A1 KR 2022007049 W KR2022007049 W KR 2022007049W WO 2023013857 A1 WO2023013857 A1 WO 2023013857A1
Authority
WO
WIPO (PCT)
Prior art keywords
base station
terminal
information
learning
subnet
Prior art date
Application number
PCT/KR2022/007049
Other languages
English (en)
French (fr)
Inventor
전기준
웬딩주
황카이빈
이상림
Original Assignee
엘지전자 주식회사
더 유니버시티 오브 홍콩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사, 더 유니버시티 오브 홍콩 filed Critical 엘지전자 주식회사
Publication of WO2023013857A1 publication Critical patent/WO2023013857A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the following description relates to a wireless communication system, and relates to a method and apparatus for performing data learning in a wireless communication system.
  • it relates to a method and apparatus for performing learning through a plurality of terminals based on federated learning.
  • a wireless access system is widely deployed to provide various types of communication services such as voice and data.
  • a wireless access system is a multiple access system capable of supporting communication with multiple users by sharing available system resources (bandwidth, transmission power, etc.).
  • Examples of the multiple access system include a code division multiple access (CDMA) system, a frequency division multiple access (FDMA) system, a time division multiple access (TDMA) system, an orthogonal frequency division multiple access (OFDMA) system, and a single carrier frequency (SC-FDMA) system. division multiple access) system.
  • CDMA code division multiple access
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • OFDMA orthogonal frequency division multiple access
  • SC-FDMA single carrier frequency division multiple access
  • eMBB enhanced mobile broadband
  • RAT radio access technology
  • MTC massive Machine Type Communications
  • the present disclosure relates to a method and apparatus for performing data learning in a wireless communication system.
  • the present disclosure relates to a method and apparatus for determining a dropout rate and a subnet based on federated learning in a wireless communication system.
  • the present disclosure relates to a method and apparatus for performing learning through respective terminals based on a dropout rate and a subnet determined in a wireless communication system.
  • the present disclosure relates to a method of updating a global model of a base station based on model information learned through respective terminals in a wireless communication system.
  • the terminal receiving a reference signal for measuring channel state information from a base station, the terminal performing measurement based on the received reference signal, and performing The method may include performing a measurement report to the base station based on the measured measurement, and performing learning by receiving a dropout rate and subnet information determined by the base station based on the measurement report.
  • the step of transmitting, by the base station, a reference signal for measuring channel state information to at least one or more terminals, measurement report information measured from at least one or more terminals may include receiving, determining a dropout rate and a subnet for each of the at least one or more terminals, and transmitting the determined dropout rate and subnet information to each of the at least one or more terminals.
  • the processor receives a reference signal for measuring channel state information from a base station using the transceiver, and receives the reference signal. Measurement may be performed based on the signal, measurement report may be performed to the base station based on the measured measurement, and learning may be performed by receiving the dropout rate and subnet information determined by the base station based on the measurement report.
  • a base station of a wireless communication system including a transceiver and a processor connected to the transceiver
  • the processor transmits a reference signal for measuring channel state information to at least one or more terminals using the transceiver, Receiving measurement report information measured from at least one or more terminals, determining a dropout rate and a subnet for each of the at least one or more terminals, and determining the dropout rate and subnet information for each of the at least one or more terminals can transmit
  • the at least one processor is configured to measure channel state information from a base station. Receiving a reference signal, performing measurement based on the received reference signal, performing a measurement report to the base station based on the performed measurement, and determining the dropout rate and subnet information by the base station based on the measurement report You can receive and learn.
  • a non-transitory computer-readable medium storing at least one instruction, at least one instruction executable by a processor Including, at least one command, receives a reference signal for measuring channel state information from the base station, performs measurement based on the received reference signal, and performs a measurement report to the base station based on the performed measurement, and control to perform learning by receiving the dropout rate and subnet information determined by the base station based on the measurement report.
  • the drop out rate may be determined by the base station for each terminal through a policy for determining the drop out rate.
  • the policy may be determined based on at least one of channel information, UE capability information, base station power information, and radio resource information.
  • a base station is a fully connected neural network (NNs) and a fully connected layer in a deep neural network (DNN). Global determined based on at least one of You can have a model.
  • a subnet may be determined by randomly dropping out some nodes based on a dropout rate in the global model.
  • a terminal may configure a local model based on subnet information about the terminal and perform learning through a local data set obtained based on the configured local model.
  • a terminal may transmit learning information performed based on a local data set to a base station, and the base station may update a global model based on each learning information received from respective terminals.
  • an update of a global model possessed by a base station is performed for each round, the terminal receives a learning participation request message for the first round learning from the base station, and the terminal participates in the first round learning If possible, the terminal may transmit a response message for permission to participate in learning to the base station.
  • the terminal may determine whether to participate in the first round learning based on at least one of a generated local data set and a capability of the terminal.
  • the terminal when the terminal transmits a response message for granting learning participation to the base station, the terminal capability information and volume information of the local data set may be transmitted to the base station together.
  • UE capability information may be determined in consideration of at least one of a clock frequency, battery, and available transmission power information of the UE.
  • a base station may be at least one of a server, an edge server, an access point, and an entity having a global model.
  • a method for performing data learning may be provided.
  • Embodiments based on the present disclosure may provide a method for reducing traffic overhead occurring in federated learning.
  • a method for reducing communication delay overhead and computing overhead occurring in federated learning may be provided.
  • Embodiments based on the present disclosure may provide a method for efficiently performing associative learning.
  • FIG. 1 is a diagram illustrating an exemplary communication system according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram showing an example of a wireless device according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating another example of a wireless device according to an embodiment of the present disclosure.
  • AI Artificial Intelligence
  • FIG. 5 is a diagram showing federated learning according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating a method of performing associative learning according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a method of performing federated learning based on a dropout rate according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating a method of performing federated learning based on a dropout rate according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating an operating method of a terminal participating in federated learning according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating a method of determining a dropout rate in a terminal and performing learning according to an embodiment of the present disclosure.
  • each component or feature may be considered optional unless explicitly stated otherwise.
  • Each component or feature may be implemented in a form not combined with other components or features.
  • an embodiment of the present disclosure may be configured by combining some elements and/or features. The order of operations described in the embodiments of the present disclosure may be changed. Some components or features of one embodiment may be included in another embodiment, or may be replaced with corresponding components or features of another embodiment.
  • a base station has meaning as a terminal node of a network that directly communicates with a mobile station.
  • a specific operation described as being performed by a base station in this document may be performed by an upper node of the base station in some cases.
  • the 'base station' is a term such as a fixed station, Node B, eNode B, gNode B, ng-eNB, advanced base station (ABS), or access point. can be replaced by
  • a terminal includes a user equipment (UE), a mobile station (MS), a subscriber station (SS), a mobile subscriber station (MSS), It may be replaced with terms such as mobile terminal or advanced mobile station (AMS).
  • UE user equipment
  • MS mobile station
  • SS subscriber station
  • MSS mobile subscriber station
  • AMS advanced mobile station
  • the transmitting end refers to a fixed and/or mobile node providing data service or voice service
  • the receiving end refers to a fixed and/or mobile node receiving data service or voice service. Therefore, in the case of uplink, the mobile station can be a transmitter and the base station can be a receiver. Similarly, in the case of downlink, the mobile station may be a receiving end and the base station may be a transmitting end.
  • Embodiments of the present disclosure are wireless access systems, such as an IEEE 802.xx system, a 3rd Generation Partnership Project (3GPP) system, a 3GPP Long Term Evolution (LTE) system, a 3GPP 5G (5th generation) NR (New Radio) system, and a 3GPP2 system. It may be supported by at least one disclosed standard document, and in particular, the embodiments of the present disclosure are supported by 3GPP technical specification (TS) 38.211, 3GPP TS 38.212, 3GPP TS 38.213, 3GPP TS 38.321 and 3GPP TS 38.331 documents It can be.
  • 3GPP technical specification TS 38.211, 3GPP TS 38.212, 3GPP TS 38.213, 3GPP TS 38.321 and 3GPP TS 38.331 documents It can be.
  • embodiments of the present disclosure may be applied to other wireless access systems, and are not limited to the above-described systems.
  • it may also be applicable to a system applied after the 3GPP 5G NR system, and is not limited to a specific system.
  • CDMA code division multiple access
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • OFDMA orthogonal frequency division multiple access
  • SC-FDMA single carrier frequency division multiple access
  • LTE is 3GPP TS 36.xxx Release 8 or later
  • LTE technology after 3GPP TS 36.xxx Release 10 is referred to as LTE-A
  • xxx Release 13 may be referred to as LTE-A pro.
  • 3GPP NR may mean technology after TS 38.xxx Release 15.
  • 3GPP 6G may mean technology after TS Release 17 and/or Release 18.
  • "xxx" means a standard document detail number.
  • LTE/NR/6G may be collectively referred to as a 3GPP system.
  • FIG. 1 is a diagram illustrating an example of a communication system applied to the present disclosure.
  • a communication system 100 applied to the present disclosure includes a wireless device, a base station, and a network.
  • the wireless device means a device that performs communication using a radio access technology (eg, 5G NR, LTE), and may be referred to as a communication/wireless/5G device.
  • the wireless device includes a robot 100a, a vehicle 100b-1 and 100b-2, an extended reality (XR) device 100c, a hand-held device 100d, and a home appliance. appliance) 100e, Internet of Thing (IoT) device 100f, and artificial intelligence (AI) device/server 100g.
  • a radio access technology eg, 5G NR, LTE
  • XR extended reality
  • IoT Internet of Thing
  • AI artificial intelligence
  • the vehicle may include a vehicle equipped with a wireless communication function, an autonomous vehicle, a vehicle capable of performing inter-vehicle communication, and the like.
  • the vehicles 100b-1 and 100b-2 may include an unmanned aerial vehicle (UAV) (eg, a drone).
  • UAV unmanned aerial vehicle
  • the XR device 100c includes augmented reality (AR)/virtual reality (VR)/mixed reality (MR) devices, and includes a head-mounted device (HMD), a head-up display (HUD) installed in a vehicle, a television, It may be implemented in the form of smart phones, computers, wearable devices, home appliances, digital signage, vehicles, robots, and the like.
  • the mobile device 100d may include a smart phone, a smart pad, a wearable device (eg, a smart watch, a smart glass), a computer (eg, a laptop computer), and the like.
  • the home appliance 100e may include a TV, a refrigerator, a washing machine, and the like.
  • the IoT device 100f may include a sensor, a smart meter, and the like.
  • the base station 120 and the network 130 may also be implemented as a wireless device, and a specific wireless device 120a may operate as a base station/network node to other wireless devices.
  • the wireless devices 100a to 100f may be connected to the network 130 through the base station 120 .
  • AI technology may be applied to the wireless devices 100a to 100f, and the wireless devices 100a to 100f may be connected to the AI server 100g through the network 130.
  • the network 130 may be configured using a 3G network, a 4G (eg LTE) network, or a 5G (eg NR) network.
  • the wireless devices 100a to 100f may communicate with each other through the base station 120/network 130, but communicate directly without going through the base station 120/network 130 (e.g., sidelink communication). You may.
  • the vehicles 100b-1 and 100b-2 may perform direct communication (eg, vehicle to vehicle (V2V)/vehicle to everything (V2X) communication).
  • the IoT device 100f eg, sensor
  • the IoT device 100f may directly communicate with other IoT devices (eg, sensor) or other wireless devices 100a to 100f.
  • FIG. 2 is a diagram illustrating an example of a wireless device applicable to the present disclosure.
  • a first wireless device 200a and a second wireless device 200b may transmit and receive radio signals through various wireless access technologies (eg, LTE and NR).
  • ⁇ the first wireless device 200a, the second wireless device 200b ⁇ denotes the ⁇ wireless device 100x and the base station 120 ⁇ of FIG. 1 and/or the ⁇ wireless device 100x and the wireless device 100x.
  • ⁇ can correspond.
  • the first wireless device 200a includes one or more processors 202a and one or more memories 204a, and may further include one or more transceivers 206a and/or one or more antennas 208a.
  • the processor 202a controls the memory 204a and/or the transceiver 206a and may be configured to implement the descriptions, functions, procedures, suggestions, methods and/or operational flow diagrams disclosed herein.
  • the processor 202a may process information in the memory 204a to generate first information/signal, and transmit a radio signal including the first information/signal through the transceiver 206a.
  • the processor 202a may receive a radio signal including the second information/signal through the transceiver 206a and store information obtained from signal processing of the second information/signal in the memory 204a.
  • the memory 204a may be connected to the processor 202a and may store various information related to the operation of the processor 202a.
  • memory 204a may perform some or all of the processes controlled by processor 202a, or instructions for performing the descriptions, functions, procedures, suggestions, methods, and/or flowcharts of operations disclosed herein. It may store software codes including them.
  • the processor 202a and the memory 204a may be part of a communication modem/circuit/chip designed to implement a wireless communication technology (eg, LTE, NR).
  • the transceiver 206a may be coupled to the processor 202a and may transmit and/or receive wireless signals through one or more antennas 208a.
  • the transceiver 206a may include a transmitter and/or a receiver.
  • the transceiver 206a may be used interchangeably with a radio frequency (RF) unit.
  • RF radio frequency
  • a wireless device may mean a communication modem/circuit/chip.
  • the second wireless device 200b includes one or more processors 202b, one or more memories 204b, and may further include one or more transceivers 206b and/or one or more antennas 208b.
  • the processor 202b controls the memory 204b and/or the transceiver 206b and may be configured to implement the descriptions, functions, procedures, suggestions, methods and/or operational flow diagrams disclosed herein.
  • the processor 202b may process information in the memory 204b to generate third information/signal, and transmit a radio signal including the third information/signal through the transceiver 206b.
  • the processor 202b may receive a radio signal including the fourth information/signal through the transceiver 206b and store information obtained from signal processing of the fourth information/signal in the memory 204b.
  • the memory 204b may be connected to the processor 202b and may store various information related to the operation of the processor 202b.
  • the memory 204b may perform some or all of the processes controlled by the processor 202b, or instructions for performing the descriptions, functions, procedures, suggestions, methods, and/or flowcharts of operations disclosed herein. It may store software codes including them.
  • the processor 202b and the memory 204b may be part of a communication modem/circuit/chip designed to implement a wireless communication technology (eg, LTE, NR).
  • the transceiver 206b may be coupled to the processor 202b and may transmit and/or receive wireless signals through one or more antennas 208b.
  • the transceiver 206b may include a transmitter and/or a receiver.
  • the transceiver 206b may be used interchangeably with an RF unit.
  • a wireless device may mean a communication modem/circuit/chip.
  • one or more protocol layers may be implemented by one or more processors 202a, 202b.
  • the one or more processors 202a and 202b may include one or more layers (eg, PHY (physical), MAC (media access control), RLC (radio link control), PDCP (packet data convergence protocol), RRC (radio resource) control) and functional layers such as service data adaptation protocol (SDAP).
  • One or more processors 202a, 202b may generate one or more protocol data units (PDUs) and/or one or more service data units (SDUs) according to the descriptions, functions, procedures, proposals, methods, and/or operational flow charts disclosed herein.
  • PDUs protocol data units
  • SDUs service data units
  • processors 202a, 202b may generate messages, control information, data or information according to the descriptions, functions, procedures, proposals, methods and/or operational flow diagrams disclosed herein.
  • One or more processors 202a, 202b generate PDUs, SDUs, messages, control information, data or signals (eg, baseband signals) containing information according to the functions, procedures, proposals and/or methods disclosed herein , may be provided to one or more transceivers 206a and 206b.
  • One or more processors 202a, 202b may receive signals (eg, baseband signals) from one or more transceivers 206a, 206b, and descriptions, functions, procedures, suggestions, methods, and/or flowcharts of operations disclosed herein PDUs, SDUs, messages, control information, data or information can be obtained according to these.
  • signals eg, baseband signals
  • One or more processors 202a, 202b may be referred to as a controller, microcontroller, microprocessor or microcomputer.
  • One or more processors 202a, 202b may be implemented by hardware, firmware, software, or a combination thereof.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • firmware or software may be implemented using firmware or software, and the firmware or software may be implemented to include modules, procedures, functions, and the like.
  • Firmware or software configured to perform the descriptions, functions, procedures, proposals, methods and/or operational flow charts disclosed in this document may be included in one or more processors 202a or 202b or stored in one or more memories 204a or 204b. It can be driven by the above processors 202a and 202b.
  • the descriptions, functions, procedures, suggestions, methods and/or operational flow charts disclosed in this document may be implemented using firmware or software in the form of codes, instructions and/or sets of instructions.
  • One or more memories 204a, 204b may be coupled to one or more processors 202a, 202b and may store various types of data, signals, messages, information, programs, codes, instructions and/or instructions.
  • One or more memories 204a, 204b may include read only memory (ROM), random access memory (RAM), erasable programmable read only memory (EPROM), flash memory, hard drive, registers, cache memory, computer readable storage media, and/or It may consist of a combination of these.
  • One or more memories 204a, 204b may be located internally and/or externally to one or more processors 202a, 202b.
  • one or more memories 204a, 204b may be connected to one or more processors 202a, 202b through various technologies such as wired or wireless connections.
  • One or more transceivers 206a, 206b may transmit user data, control information, radio signals/channels, etc. referred to in the methods and/or operational flow charts of this document to one or more other devices.
  • One or more transceivers 206a, 206b may receive user data, control information, radio signals/channels, etc. referred to in descriptions, functions, procedures, proposals, methods and/or operational flow charts, etc. disclosed herein from one or more other devices. there is.
  • one or more transceivers 206a and 206b may be connected to one or more processors 202a and 202b and transmit and receive radio signals.
  • one or more processors 202a, 202b may control one or more transceivers 206a, 206b to transmit user data, control information, or radio signals to one or more other devices.
  • one or more processors 202a, 202b may control one or more transceivers 206a, 206b to receive user data, control information, or radio signals from one or more other devices.
  • one or more transceivers 206a, 206b may be coupled to one or more antennas 208a, 208b, and one or more transceivers 206a, 206b may be connected to one or more antennas 208a, 208b to achieve the descriptions, functions disclosed in this document.
  • one or more antennas may be a plurality of physical antennas or a plurality of logical antennas (eg, antenna ports).
  • One or more transceivers (206a, 206b) in order to process the received user data, control information, radio signal / channel, etc. using one or more processors (202a, 202b), the received radio signal / channel, etc. in the RF band signal It can be converted into a baseband signal.
  • One or more transceivers 206a and 206b may convert user data, control information, and radio signals/channels processed by one or more processors 202a and 202b from baseband signals to RF band signals.
  • one or more transceivers 206a, 206b may include (analog) oscillators and/or filters.
  • FIG. 3 is a diagram illustrating another example of a wireless device applied to the present disclosure.
  • a wireless device 300 corresponds to the wireless devices 200a and 200b of FIG. 2, and includes various elements, components, units/units, and/or modules. ) can be configured.
  • the wireless device 300 may include a communication unit 310, a control unit 320, a memory unit 330, and an additional element 340.
  • the communication unit may include communication circuitry 312 and transceiver(s) 314 .
  • communication circuitry 312 may include one or more processors 202a, 202b of FIG. 2 and/or one or more memories 204a, 204b.
  • transceiver(s) 314 may include one or more transceivers 206a, 206b of FIG.
  • the control unit 320 is electrically connected to the communication unit 310, the memory unit 330, and the additional element 340 and controls overall operations of the wireless device. For example, the control unit 320 may control electrical/mechanical operations of the wireless device based on programs/codes/commands/information stored in the memory unit 330. In addition, the control unit 320 transmits the information stored in the memory unit 330 to the outside (eg, another communication device) through the communication unit 310 through a wireless/wired interface, or transmits the information stored in the memory unit 330 to the outside (eg, another communication device) through the communication unit 310. Information received through a wireless/wired interface from other communication devices) may be stored in the memory unit 330 .
  • the additional element 340 may be configured in various ways according to the type of wireless device.
  • the additional element 340 may include at least one of a power unit/battery, an input/output unit, a driving unit, and a computing unit.
  • the wireless device 300 may be a robot (FIG. 1, 100a), a vehicle (FIG. 1, 100b-1, 100b-2), an XR device (FIG. 1, 100c), a mobile device (FIG. 1, 100d) ), home appliances (FIG. 1, 100e), IoT devices (FIG.
  • Wireless devices can be mobile or used in a fixed location depending on the use-case/service.
  • various elements, components, units/units, and/or modules in the wireless device 300 may be entirely interconnected through a wired interface or at least partially connected wirelessly through the communication unit 310 .
  • the control unit 320 and the communication unit 310 are connected by wire, and the control unit 320 and the first units (eg, 130 and 140) are connected wirelessly through the communication unit 310.
  • each element, component, unit/unit, and/or module within wireless device 300 may further include one or more elements.
  • the control unit 320 may be composed of one or more processor sets.
  • control unit 320 may include a set of a communication control processor, an application processor, an electronic control unit (ECU), a graphic processing processor, a memory control processor, and the like.
  • memory unit 330 may include RAM, dynamic RAM (DRAM), ROM, flash memory, volatile memory, non-volatile memory, and/or combinations thereof. can be configured.
  • AI devices include TVs, projectors, smartphones, PCs, laptops, digital broadcasting terminals, tablet PCs, wearable devices, set-top boxes (STBs), radios, washing machines, refrigerators, digital signage, robots, vehicles, etc. It may be implemented as a device or a movable device.
  • the AI device 600 includes a communication unit 610, a control unit 620, a memory unit 630, an input/output unit 640a/640b, a running processor unit 640c, and a sensor unit 640d.
  • a communication unit 610 can include a communication unit 610, a control unit 620, a memory unit 630, an input/output unit 640a/640b, a running processor unit 640c, and a sensor unit 640d.
  • Blocks 910 to 930/940a to 940d may respectively correspond to blocks 310 to 330/340 of FIG. 3 .
  • the communication unit 610 communicates wired and wireless signals (eg, sensor information, user data) with external devices such as other AI devices (eg, FIG. 1, 100x, 120, and 140) or AI servers (Fig. input, learning model, control signal, etc.) can be transmitted and received. To this end, the communication unit 610 may transmit information in the memory unit 630 to an external device or transmit a signal received from the external device to the memory unit 630 .
  • external devices eg, sensor information, user data
  • AI devices eg, FIG. 1, 100x, 120, and 140
  • AI servers Fig. input, learning model, control signal, etc.
  • the controller 620 may determine at least one executable operation of the AI device 600 based on information determined or generated using a data analysis algorithm or a machine learning algorithm. And, the controller 620 may perform the determined operation by controlling components of the AI device 600 . For example, the control unit 620 may request, retrieve, receive, or utilize data from the learning processor unit 640c or the memory unit 630, and may perform a predicted operation among at least one feasible operation or one determined to be desirable. Components of the AI device 600 may be controlled to execute an operation. In addition, the control unit 920 collects history information including user feedback on the operation contents or operation of the AI device 600 and stores it in the memory unit 630 or the running processor unit 640c, or the AI server ( 1, 140) can be transmitted to an external device. The collected history information can be used to update the learning model.
  • the memory unit 630 may store data supporting various functions of the AI device 600 .
  • the memory unit 630 may store data obtained from the input unit 640a, data obtained from the communication unit 610, output data of the learning processor unit 640c, and data obtained from the sensing unit 640.
  • the memory unit 930 may store control information and/or software codes required for operation/execution of the control unit 620 .
  • the input unit 640a may obtain various types of data from the outside of the AI device 600.
  • the input unit 620 may obtain learning data for model learning and input data to which the learning model is to be applied.
  • the input unit 640a may include a camera, a microphone, and/or a user input unit.
  • the output unit 640b may generate an output related to sight, hearing, or touch.
  • the output unit 640b may include a display unit, a speaker, and/or a haptic module.
  • the sensing unit 640 may obtain at least one of internal information of the AI device 600, surrounding environment information of the AI device 600, and user information by using various sensors.
  • the sensing unit 640 may include a proximity sensor, an illuminance sensor, an acceleration sensor, a magnetic sensor, a gyro sensor, an inertial sensor, an RGB sensor, an IR sensor, a fingerprint recognition sensor, an ultrasonic sensor, an optical sensor, a microphone, and/or a radar. there is.
  • the learning processor unit 640c may learn a model composed of an artificial neural network using learning data.
  • the running processor unit 640c may perform AI processing together with the running processor unit of the AI server (FIG. 1, 140).
  • the learning processor unit 640c may process information received from an external device through the communication unit 610 and/or information stored in the memory unit 630 .
  • the output value of the learning processor unit 940c may be transmitted to an external device through the communication unit 610 and/or stored in the memory unit 630.
  • 6G (radio communications) systems are characterized by (i) very high data rates per device, (ii) very large number of connected devices, (iii) global connectivity, (iv) very low latency, (v) battery- It aims to lower energy consumption of battery-free IoT devices, (vi) ultra-reliable connectivity, and (vii) connected intelligence with machine learning capabilities.
  • the vision of the 6G system can be four aspects such as “intelligent connectivity”, “deep connectivity”, “holographic connectivity”, and “ubiquitous connectivity”, and the 6G system can satisfy the requirements shown in Table 1 below. That is, Table 1 is a table showing the requirements of the 6G system.
  • the 6G system is enhanced mobile broadband (eMBB), ultra-reliable low latency communications (URLLC), mMTC (massive machine type communications), AI integrated communication, tactile Internet (tactile internet), high throughput, high network capacity, high energy efficiency, low backhaul and access network congestion and improved data security ( can have key factors such as enhanced data security.
  • eMBB enhanced mobile broadband
  • URLLC ultra-reliable low latency communications
  • mMTC massive machine type communications
  • AI integrated communication e.g., AI integrated communication
  • tactile Internet tactile internet
  • high throughput high network capacity
  • high energy efficiency high backhaul and access network congestion
  • improved data security can have key factors such as enhanced data security.
  • AI The most important and newly introduced technology for the 6G system is AI.
  • AI was not involved in the 4G system.
  • 5G systems will support partial or very limited AI.
  • the 6G system will be AI-enabled for full automation.
  • Advances in machine learning will create more intelligent networks for real-time communication in 6G.
  • Introducing AI in communications can simplify and enhance real-time data transmission.
  • AI can use a plethora of analytics to determine how complex target tasks are performed. In other words, AI can increase efficiency and reduce processing delays.
  • AI can also play an important role in machine-to-machine, machine-to-human and human-to-machine communications.
  • AI can be a rapid communication in the brain computer interface (BCI).
  • BCI brain computer interface
  • AI-based communication systems can be supported by metamaterials, intelligent structures, intelligent networks, intelligent devices, intelligent cognitive radios, self-sustaining wireless networks, and machine learning.
  • AI-based physical layer transmission means applying a signal processing and communication mechanism based on an AI driver rather than a traditional communication framework in fundamental signal processing and communication mechanisms. For example, deep learning-based channel coding and decoding, deep learning-based signal estimation and detection, deep learning-based multiple input multiple output (MIMO) mechanism, It may include AI-based resource scheduling and allocation.
  • MIMO multiple input multiple output
  • machine learning may be used for channel estimation and channel tracking, and may be used for power allocation, interference cancellation, and the like in a downlink (DL) physical layer.
  • Machine learning can also be used for antenna selection, power control, symbol detection, and the like in a MIMO system.
  • AI algorithms based on deep learning require a lot of training data to optimize training parameters.
  • a lot of training data is used offline. This is because static training on training data in a specific channel environment may cause a contradiction between dynamic characteristics and diversity of a radio channel.
  • Machine learning refers to a set of actions that train a machine to create a machine that can do tasks that humans can or cannot do.
  • Machine learning requires data and a running model.
  • data learning methods can be largely classified into three types: supervised learning, unsupervised learning, and reinforcement learning.
  • Neural network training is aimed at minimizing errors in the output.
  • Neural network learning repeatedly inputs training data to the neural network, calculates the output of the neural network for the training data and the error of the target, and backpropagates the error of the neural network from the output layer of the neural network to the input layer in a direction to reduce the error. ) to update the weight of each node in the neural network.
  • Supervised learning uses training data in which correct answers are labeled in the learning data, and unsupervised learning may not have correct answers labeled in the learning data. That is, for example, learning data in the case of supervised learning related to data classification may be data in which each learning data is labeled with a category. Labeled training data is input to the neural network, and an error may be calculated by comparing the output (category) of the neural network and the label of the training data. The calculated error is back-propagated in a reverse direction (ie, from the output layer to the input layer) in the neural network, and the connection weight of each node of each layer of the neural network may be updated according to the back-propagation.
  • a reverse direction ie, from the output layer to the input layer
  • the amount of change in the connection weight of each updated node may be determined according to a learning rate.
  • the neural network's computation of input data and backpropagation of errors can constitute a learning cycle (epoch).
  • the learning rate may be applied differently according to the number of iterations of the learning cycle of the neural network. For example, a high learning rate is used in the early stages of neural network learning to increase efficiency by allowing the neural network to quickly achieve a certain level of performance, and a low learning rate can be used in the late stage to increase accuracy.
  • the learning method may vary depending on the characteristics of the data. For example, in a case where the purpose of the receiver is to accurately predict data transmitted by the transmitter in a communication system, it is preferable to perform learning using supervised learning rather than unsupervised learning or reinforcement learning.
  • the learning model corresponds to the human brain, and the most basic linear model can be considered. ) is called
  • the neural network cord used as a learning method is largely divided into deep neural networks (DNN), convolutional deep neural networks (CNN), and recurrent boltzmann machine (RNN). and this learning model can be applied.
  • DNN deep neural networks
  • CNN convolutional deep neural networks
  • RNN recurrent boltzmann machine
  • FIG. 5 is a diagram illustrating federated learning according to an embodiment of the present disclosure.
  • a method for efficient distributed artificial intelligence learning in a mobile communication system can be provided.
  • the centralized learning method may be a method in which terminals transfer each data to a base station and learning is performed at the base station.
  • a wireless federated learning method may be required as a distributed learning method that does not send user data.
  • the wireless joint learning method may be a method in which each terminal transmits a local model update to the base station while performing individual learning instead of transmitting each data of the terminals to the base station.
  • the base station may transmit a combined value of the local model updates to each terminal based on the local model update received from the plurality of terminals.
  • the above-described procedure may be continuously repeated, and distributed learning may be performed by association of terminals.
  • the wireless calculation (Aircomp) method may be a method of applying and transmitting a weight proportional to an inverse of a radio channel in order to combine local models sent by respective terminals into the same size.
  • model parameters of federated learning may be applied to a new communication system.
  • Federated learning may be applied to any one of cases of protecting personal privacy, reducing load of a base station through distributed processing, and reducing traffic between a base station and a terminal.
  • the traffic of local model parameters e.g., weights and information of deep neural networks
  • Air Computing can reduce traffic.
  • a wireless communication environment in a communication system may vary.
  • the number of terminals requiring learning in the communication system may be set in various ways.
  • the communication system may require a flexible operating method and system, rather than a specific fixed technology, in consideration of the above-mentioned environment.
  • resource efficiency of the communication system can be increased.
  • a federated learning method through Aircomp may be a method of combining terminal model parameters.
  • the federated learning method through terminal model parameter compression may be a method in which each terminal performs compression on data in consideration of characteristics of parameters and transmits the data to the base station. Therefore, when the base station receives a signal based on the joint learning method, the base station needs to decompress based on the received signal and perform an operation of summing the collected parameters, and the load of the base station may increase . Also, for example, since a communication channel needs to be allocated for each number of terminals, communication traffic may increase in proportion to the number of terminals in use. Therefore, when there are a large number of terminals, the method through compression may reduce efficiency.
  • efficiency may vary based on a wireless environment. For example, efficiency may be high in a specific environment, but in the opposite case, efficiency may be deteriorated. Since the wireless environment can change flexibly, there is a need to recognize the dynamically changing wireless environment and to select a technology based on the recognized wireless environment. In the following, an operation based on the foregoing will be described in order to increase the efficiency of a wireless environment.
  • each terminal may transmit parameters (eg, weights and information of a deep neural network) of a model learned based on a federated learning method to the base station.
  • Each terminal transmits the compressed parameters, and the base station may update the global model based on Equation 1 below.
  • c may be information compression and modulation processing
  • d may be demodulation and information restoration processing.
  • the base station can deliver the updated global model to each terminal.
  • each terminal may perform compression based on a method of minimizing the amount of model parameters.
  • compression may be performed based on at least one of weight pruning, quantization, and weight sharing.
  • compression may be performed based on another method, and is not limited to the above-described embodiment.
  • values necessary for actual inference among weights may have resistance to small values. That is, the weight value required for actual inference may have a small effect on small values.
  • weight pruning may set all small weight values to 0. Through this, the neural network can reduce the size of the network model.
  • quantization may be a method of calculating by reducing data to a specific number of bits.
  • weight sharing may be a method of adjusting weight values based on approximate values (e.g. codebooks) and sharing them.
  • approximate values e.g. codebooks
  • each terminal may perform compression on data and transmit compressed information to the base station.
  • the base station is compressed " " is received from each terminal, and the received information is decompressed to calculate and update parameters of the global model.
  • each terminal may set local model parameters having individual characteristics. Therefore, when each terminal performs compression, compression efficiency may be different for each terminal. Also, as an example, each terminal may have different hardware resources. Here, compression efficiency may be affected by hardware resources. Therefore, compression efficiency may be different for each terminal.
  • a terminal when a terminal performs 8-bit quantization, a terminal equipped with a 64-bit arithmetic processing function can obtain high compression efficiency.
  • a terminal equipped with a 16-bit arithmetic processing function may have low compression efficiency.
  • the terminal when the terminal has low-end hardware, the terminal may receive a large compression load. Therefore, it may be advantageous for the terminal described above to use a simple compression method. For example, since Internet of Thing (IoT) terminals or low-power terminals may have relatively low-end hardware, a simple compression technique may be used.
  • IoT Internet of Thing
  • compression efficiency may be increased by using a complex compression technique. That is, different compression methods may be used for each terminal, and it may be necessary to use a compression method suitable for each terminal.
  • each terminal may use a compression method suitable for individual characteristics of local model parameters and hardware resources.
  • the terminals need to transmit information about the compression method to the base station.
  • the base station may restore compressed data and model parameters received from each terminal based on information received from the terminal.
  • associative learning may be performed as described above based on the capabilities of terminals participating in associative learning.
  • federated learning adjusts the amount of learning of each terminal under the premise that the capacity of the terminal is sufficient, or communication and computation through model partitioning. ) was performed with an emphasis on efficiently managing overhead, and may be as described above.
  • a dropout rate for each UE may be determined, a subnet (or subset) may be created based on the determined dropout rate, and then learning may be performed based on this.
  • the dropout rate is derived based on the given requirements. It can be derived according to a policy based on overhead analysis.
  • a given requirement may be set based on at least one of round latency, channel gain, bandwidth, and DL/UL power, but is limited thereto it may not be That is, the drop-out policy is derived by considering each requirement given on the basis of the above information. It may be determined according to the overhead, and the drop out rate may be determined based on the determined drop out policy.
  • dropout may be performed by random dropout according to the dropout rate every round by utilizing masking of the federated learning model.
  • a subnet may be determined by randomly dropping out some nodes based on a dropout rate in a fully connected neural network (NNs) or fully connected layers in a DNN.
  • the determined subnet information can be transmitted to the terminal. Accordingly, information on the model received by the terminal may be reduced compared to original model information.
  • the terminal may receive the determined subnet information and perform learning based thereon. Also, as an example, the terminal may perform learning based on subnet information and secure model diversity between rounds, thereby increasing accuracy. Based on the above, associative learning can be performed in terminals with limited resources, and a specific method for this will be described below.
  • computing power may be different for each terminal, and each terminal needs to perform federated learning in consideration of different computing power.
  • a terminal with high computing power may perform local model learning with high reliability based on a larger data set
  • a terminal with relatively small computing power may perform local model learning based on a relatively small data set.
  • the server may update the global model in consideration of the above-described weight for local model learning.
  • the server may be an edge server, a base station, an access point, and other entities holding a global model for federated learning, and is not limited to a specific form.
  • a base station is collectively referred to for convenience of description, but may not be limited thereto.
  • the base station may receive partially learned information from each terminal and perform a final global model update.
  • the segmentation of the common model may be a method of dividing the models so that they are not orthogonal or overlapping with each other, performing learning through each terminal, and merging them.
  • the terminal may perform learning on a local model based on a subnet from which a part of the model is dropped out based on a dropout rate in the common model.
  • the subnet may randomly drop out some areas based on the dropout rate so that the data set for which the terminal learns is not over-fitted.
  • the terminal can perform learning based on the subnet, and through this, resources and power used by the terminal can be reduced.
  • transmission capacity for transmitting information may be reduced.
  • a method of determining a dropout rate applied in each terminal for federated learning may be required.
  • a subnet may be determined by randomly dropping out a partial region of the local model based on the determined dropout rate.
  • the terminal can perform learning through the data held on the basis of the subnet and transmit information about this to the base station, and accordingly, the amount of learning and information transmission can be reduced.
  • each terminal may be a data generating subject, and excessive traffic overhead may occur when learning is performed by transmitting data to a main edge server for learning.
  • traffic overhead can be reduced.
  • parallelism learning is performed as many times as the number of terminals participating in each learning, training latency can be reduced.
  • each terminal performs learning based on each data, privacy can be easily protected. In the following, a specific method of performing associative learning based on the above will be described.
  • a base station 610 may include global model information.
  • the base station 610 may be a server, an edge server, an access point, and other entities performing transmission and reception, and is not limited to a specific form. However, in the following description based on the base station 610 for convenience of explanation, it may not be limited thereto.
  • a base station 610 may include a global model, and may deliver information about this to respective terminals 620-1, 620-2, and 620-3. At this time, each of the terminals 620 - 1 , 620 - 2 , and 620 - 3 may perform learning based on the received global model and feed back information about this to the base station 610 .
  • the base station 610 may update the global model by aggregating information received from each of the terminals 620-1, 620-2, and 620-3, and based on this, federated learning may be performed.
  • learning may be limited in terminals with limited resources or power.
  • the base station 610 determines the dropout rate for each of the terminals 620-1, 620-2, and 620-3, and based on this, the terminals 620-1 and 620- 2, 620-3) may create subnets (or subsets) for each. After that, the base station 610 may deliver the generated subnet information to the respective terminals 620-1, 620-2, and 620-3.
  • the subnet may be a model determined by randomly dropping out some parameters from the global model based on the dropout rate determined by the base station 610, and accordingly, the amount of learning in each terminal may be reduced.
  • the base station 610 determines the dropout rate and the subnet based on the dropout rate for each of the terminals 620-1, 620-2, and 620-3, and transmits information thereto to each of the terminals 620-1, 620-1, and 620-3. 620-2, 620-3).
  • Each of the terminals 620-1, 620-2, and 620-3 performs learning on the local model determined based on the subnet information acquired from the base station 610, and transfers the learned information to the base station 610. can give feedback. After that, the base station 610 may update the global model based on feedback information acquired from each of the terminals 620-1, 620-2, and 620-3.
  • the delay communication delay and computing delay expected at terminal k for any round and any terminal Overhead may be considered.
  • the communication delay may be equal to Equation 2 below.
  • the first value (term) may be a communication delay occurring when the terminal downloads the subnet
  • the second value (term) may be a delay occurring when uploading the learned information.
  • Equation 2 May be the same as Equation 3, May be the number of parameters expected in the subnet, in Equation 3 is the number of parameters of the convolutional layer, may be the number of parameters of layers fully connected to the original DNN.
  • Q is quantization bits for one parameter, is the bandwidth allocated to terminal k, Is the downlink spectrum efficiencies at terminal k, may be the uplink spectrum efficiencies at terminal k.
  • the spectral efficiency may be equal to Equation 4.
  • Equation 4 is the downlink or uplink transmission power, is the channel gain, may be the noise power.
  • the computing delay may be equal to Equation 5.
  • Is the computing overhead of updating the subnet and may be equal to Equation 6.
  • May be the number of samples learned at terminal k, may be the computing clock frequency of terminal k and thus its reciprocal may be the computing speed.
  • Equation 7 the final delay expected in each round may be determined as shown in Equation 8 based on the terminal having the most delay among the plurality of terminals.
  • each parameter dropped out to determine the subnet may be randomly determined.
  • the subnet generation method may be applied to fully connected neural networks or fully connected layers in a DNN, but may not be limited thereto.
  • the output of the ith neuron in the lth layer is can be defined as At this time, is the activation function, may be a parameter vector.
  • the dropout technique can be applied for subnet generation, and each neuron in every round It can be performed by inactivating with probability.
  • Deactivation of the ith neuron in the lth layer with probability may be performed based on Equation 9 below.
  • (1- ) may be an existence probability. Therefore, as a scaling factor, 1/(1- )Is go , and based on this, a subnet can be determined.
  • the server may create a unique subnet for each terminal in each round.
  • each round may be one cycle in which the server (or base station) updates the global model by performing subnet-based learning in each terminal after the subnet for each terminal is determined based on the determined dropout rate.
  • each subnet may include all convolutional layers and a part of the fully connected layers. In this case, a portion of all connected layers may be randomly determined based on the dropout rate, as described above.
  • Each terminal based on the above
  • Overhead may be the delay in total learning determined based on the above. All of the resources (eg time, frequency) and transmission power allocated to each terminal can be used.
  • the method of constructing subnets based on the dropout rate can improve learning performance. For example, based on the above, testing accuracy may be improved as learning performance.
  • the dropout rate of the k-th terminal as an arbitrary round and an arbitrary terminal is , the delay given in each round is T, and the gain of the changing channel is , the allocated bandwidth is , and transmit power ⁇ , ⁇ , the dropout rate may be expressed as Equation 11 below.
  • the function f( ) may be determined based on Equation 12 below, but is not limited thereto.
  • Equation 13 Equation 13 below.
  • a base station may have a global model, and the global model may be updated based on local model learning information performed by respective terminals.
  • a cycle in which the global model performs an update based on learning information on the local model obtained from respective terminals may be one round.
  • the base station may generate a subnet based on the dropout rate determined for each terminal (S710). That is, the dropout rate and subnet may be determined for each terminal.
  • the dropout rate is based on a requirement set based on at least one of round latency, channel gain, bandwidth, and DL/UL power. It can be determined by a policy derived considering overhead.
  • the subnet may be determined by randomly dropping out some nodes based on the dropout rate in fully connected neural networks (NNs) or fully connected layers in DNN.
  • the determined subnet information may be transmitted to respective terminals (S720). That is, each terminal may acquire subnet information allocated by the base station as model information. Then, each terminal may update each local subnet based on the local data sets of each terminal. Then, each terminal may transmit updated local model information to the base station. That is, the base station can receive local model information from each terminal (S730).
  • parameters of each subnet corresponding to each terminal can be updated according to the updated local model value.
  • other parameters may also be updated based on the above-mentioned values and previous round information to configure a DNN for each terminal.
  • the base station may update the global model through all DNNs configured in each terminal.
  • a base station may have a global model, and the global model may be updated based on local model learning information performed by respective terminals.
  • a cycle in which the global model performs an update based on learning information on the local model from respective terminals may be one round.
  • the base station may create a subnet for each terminal based on the drop out rate.
  • a drop out rate and a subnet may be determined for each UE.
  • the dropout rate is based on a requirement set based on at least one of round latency, channel gain, bandwidth, and DL/UL power.
  • the subnet may be determined by randomly dropping out some nodes based on the dropout rate in fully connected neural networks (NNs) or fully connected layers in DNN,
  • the determined subnet information may be transmitted to the terminal. That is, each terminal can acquire subnet information allocated by the base station as model information (S810). Then, each terminal updates each local subnet based on the local data sets of each terminal. (S820) After that, each terminal may transmit the updated local model information to the base station. (S830)
  • the parameters of each subnet corresponding to each terminal are determined by the updated local model value. can be updated In addition, other parameters may also be updated based on the above-mentioned values and previous round information to configure a DNN for each terminal. After that, the base station may update the global model through all DNNs configured in respective terminals.
  • FIG. 9 is a diagram illustrating an operating method of a terminal participating in federated learning according to an embodiment of the present disclosure.
  • the edge server may perform DNN learning based on information (e.g. image, sensing data) generated from a plurality of terminals or IoT devices. Then, the edge server (or base station) can perform inference or classification to make the task utilize federated learning.
  • information e.g. image, sensing data
  • an edge server may determine terminals participating in learning for federated learning, and based on this, perform learning for federated learning.
  • each terminal may receive a learning participation request message from the edge server (or base station) (S910).
  • each terminal considers the currently created local data set and the terminal's capability to participate in federated learning. can determine whether
  • the terminal may transmit a response message to the edge server (or base station) for not being able to participate in learning (S930).
  • the terminal may transmit a response message for permission to participate in learning to the edge server (or base station) (S940).
  • the terminal may Capability information and volume information of a local data set may also be delivered together.
  • the terminal capability information may include clock frequency, battery, available transmission power information, and other learning-related information of the terminal, and is not limited to a specific embodiment.
  • the edge server (or base station) may transmit a reference signal to each terminal in order to determine channel state information between the edge server (or base station) and the terminal. That is, the terminal may receive a reference signal for checking the channel state from the edge server (or base station) (S950).
  • the edge server transmits the policy for the aforementioned drop-out rate based on at least one of channel information, terminal capability information, power information of the edge server (or base station), and radio resource information. may be determined, and a dropout rate may be determined according to the determined policy.
  • the edge server may drop out some nodes at random based on the dropout rate to form a subnet, as described above. Then, the edge server (or base station) may deliver subnet-related information to respective terminals.
  • the edge server may configure a subnet for each terminal and deliver subnet-related information to each terminal through multicasting.
  • the subnet-related information may include at least one of a neural network component index and a value.
  • the edge server (or base station) may perform global model broadcasting and neural network component index multicasting corresponding to a subnet, but is not limited to the above-described embodiment.
  • each terminal may acquire each subnet information, perform learning based on a local data set for each terminal, and provide feedback to the edge server (or base station).
  • the above-described operation may be performed based on one round, and the above-described operation may be repeated for each round, and may not be limited to a specific form.
  • FIG. 10 is a diagram illustrating a method of determining a dropout rate in a terminal and performing learning according to an embodiment of the present disclosure.
  • the drop-out rate determination is performed in consideration of asymmetric bandwidth allocation for each terminal in consideration of the overall radio resource status, it may be determined by a server (or base station) performing centralized access.
  • each terminal may directly perform dropout rate determination and subnet configuration. More specifically, referring to FIG. 10, each terminal may obtain global model information from the base station (S1010). After that, each terminal may receive channel state information, base station transmittable power information, and other drop-out information. Information for rate determination may be received, but is not limited to the above-described embodiment. (S1020) After that, each terminal determines a drop-out rate, and randomly performs drop-out based on the determined drop-out rate. (S1030) Each terminal may perform training based on the created subnet (S1040) and deliver updated subnet information to the base station (S1050). For example, the base station may receive updated subnet information from each terminal and update the global model based on this.
  • a base station may update a global model through the above-described drop-out rate and a subnet determined based on the drop-out rate, as described above.
  • an image inference task may be considered in relation to a specific operation of performing a task by using a global model in a base station.
  • the base station may transmit the drop out rate and the subnet information determined based on the drop out rate to each of the terminals. After that, each terminal may perform training through the generated image information and update subnet information. After that, each terminal transmits updated subnet information to the base station, and the base station may update the global model based on the subnet information received from the terminals. Then, the base station may perform inference based on the global model.
  • inference may refer to an operation of applying a result by applying actual new input data through a global model created through learning.
  • the base station may receive image information generated by each terminal. The base station may apply image information received from each terminal to the global model and derive an output value.
  • the global model may be a model that uses a compressed feature vector of an estimated channel as an input and outputs reconstructed estimated channel information.
  • each terminal may estimate channel information based on the reference signal received from the base station and report the estimated channel information to the base station.
  • the base station may obtain reconstructed estimated channel information by deriving a compressed feature vector of an estimated channel based on the estimated channel information obtained from each of the terminals and applying it to a global model.
  • the base station may transmit subnet information based on the dropout rate to each terminal, as described above.
  • each terminal may perform training by receiving a reference signal from the base station, obtaining a measurement value through channel measurement, and deriving a compressed feature vector of an estimated channel.
  • each terminal may update subnet information based on training and deliver the updated subnet information to the base station.
  • the base station may update the global model through information received from each terminal. Through this, the base station can obtain updated global model information, perform inference based on channel estimation information received from each terminal, and obtain reconstructed estimated channel information as output information.
  • a base station may perform an inference task based on the global model and subnet information. More specifically, the base station may perform a channel status information (CSI) inference task.
  • the base station may receive a reference sequence passing through a channel from each terminal.
  • the global model may be a model in which a reference sequence received from each terminal is input and overall uplink channel information is output.
  • the base station can estimate uplink channel information by receiving reference sequence pattern information from each terminal and applying it to a global model to perform an inference on information on uplink channels.
  • the base station may transfer subnet information to each terminal based on the determined dropout rate.
  • each terminal can obtain channel-related information from the base station based on the reference signal.
  • Each of the terminals may perform training based on the side channel related information and update the subnet through this. After that, each terminal may transmit updated subnet information to the base station.
  • the base station may update the global model based on the updated subnet information acquired from each terminal. After that, the base station may estimate channel information by applying the reference sequence received from each terminal to the updated global model.
  • Embodiments of the present disclosure may be applied to various wireless access systems.
  • various wireless access systems there is a 3rd Generation Partnership Project (3GPP) or 3GPP2 system.
  • 3GPP 3rd Generation Partnership Project
  • 3GPP2 3rd Generation Partnership Project2
  • Embodiments of the present disclosure may be applied not only to the various wireless access systems, but also to all technical fields to which the various wireless access systems are applied. Furthermore, the proposed method can be applied to mmWave and THz communication systems using ultra-high frequency bands.
  • embodiments of the present disclosure may be applied to various applications such as free-running vehicles and drones.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 개시에서는 무선 통신 시스템에서 단말 동작 방법에 있어서, 단말이 기지국으로부터 채널 상태 정보 측정을 위한 참조 신호를 수신하는 단계, 단말이 수신된 참조신호에 기초하여 측정을 수행하는 단계, 수행된 측정에 기초하여 기지국으로 측정 보고를 수행하는 단계 및 측정 보고에 기초하여 기지국에 의해 결정된 드롭 아웃 레이트 및 서브 넷 정보를 수신하여 학습을 수행하는 단계를 포함할 수 있다.

Description

무선 통신 시스템에서 데이터 학습을 수행하는 방법 및 장치
이하의 설명은 무선 통신 시스템에 대한 것으로, 무선 통신 시스템에서 데이터 학습을 수행하는 방법 및 장치에 대한 것이다.
특히, 연합학습에 기초하여 복수 개의 단말들을 통해 학습을 수행하는 방법 및 장치에 대한 것이다.
무선 접속 시스템이 음성이나 데이터 등과 같은 다양한 종류의 통신 서비스를 제공하기 위해 광범위하게 전개되고 있다. 일반적으로 무선 접속 시스템은 가용한 시스템 자원(대역폭, 전송 파워 등)을 공유하여 다중 사용자와의 통신을 지원할 수 있는 다중 접속(multiple access) 시스템이다. 다중 접속 시스템의 예들로는 CDMA(code division multiple access) 시스템, FDMA(frequency division multiple access) 시스템, TDMA(time division multiple access) 시스템, OFDMA(orthogonal frequency division multiple access) 시스템, SC-FDMA(single carrier frequency division multiple access) 시스템 등이 있다.
특히, 많은 통신 기기들이 큰 통신 용량을 요구하게 됨에 따라 기존 RAT (radio access technology)에 비해 향상된 모바일 브로드밴드(enhanced mobile broadband, eMBB) 통신 기술이 제안되고 있다. 또한 다수의 기기 및 사물들을 연결하여 언제 어디서나 다양한 서비스를 제공하는 매시브 MTC (Machine Type Communications) 뿐만 아니라 신뢰성 (reliability) 및 지연(latency) 민감한 서비스/UE를 고려한 통신 시스템이 제안되고 있다. 이를 위한 다양한 기술 구성들이 제안되고 있다.
본 개시는 무선 통신 시스템에서 데이터 학습을 수행하는 방법 및 장치에 대한 것이다.
본 개시는 무선 통신 시스템에서 연합학습에 기초하여 드롭 아웃 레이트 및 서브 넷을 결정하는 방법 및 장치에 대한 것이다.
본 개시는 무선 통신 시스템에서 결정된 드롭 아웃 레이트 및 서브 넷에 기초하여 각각의 단말들을 통해 학습을 수행하는 방법 및 장치에 대한 것이다.
본 개시는 무선 통신 시스템에서 각각의 단말들을 통해 학습된 모델 정보에 기초하여 기지국의 글로벌 모델을 업데이트하는 방법에 대한 것이다.
본 개시에서 이루고자 하는 기술적 목적들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 개시의 실시 예들로부터 본 개시의 기술 구성이 적용되는 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.
본 개시의 일 예로서, 무선 통신 시스템에서 단말 동작 방법에 있어서, 단말이 기지국으로부터 채널 상태 정보 측정을 위한 참조 신호를 수신하는 단계, 단말이 수신된 참조신호에 기초하여 측정을 수행하는 단계, 수행된 측정에 기초하여 기지국으로 측정 보고를 수행하는 단계 및 측정 보고에 기초하여 기지국에 의해 결정된 드롭 아웃 레이트 및 서브 넷 정보를 수신하여 학습을 수행하는 단계를 포함할 수 있다.
본 개시의 일 예로서, 무선 통신 시스템에서 기지국 동작 방법에 있어서, 기지국이 적어도 하나 이상의 단말들로 채널 상태 정보 측정을 위한 참조 신호를 전송하는 단계, 적어도 하나 이상의 단말들로부터 측정된 측정 보고 정보를 수신하는 단계, 적어도 하나 이상의 단말들 각각에 대한 드롭 아웃 레이트 및 서브 넷을 결정하는 단계, 및 적어도 하나 이상의 단말들 각각으로 결정된 드롭 아웃 레이트 및 서브 넷 정보를 전송하는 단계를 포함할 수 있다.
본 개시의 일 예로서, 무선 통신 시스템의 단말에 있어서, 송수신기, 및 송수신기와 연결된 프로세서를 포함하고, 프로세서는, 송수신기를 이용하여 기지국으로부터 채널 상태 정보 측정을 위한 참조 신호를 수신하고, 수신된 참조신호에 기초하여 측정을 수행하고, 수행된 측정에 기초하여 기지국으로 측정 보고를 수행하고, 및 측정 보고에 기초하여 기지국에 의해 결정된 드롭 아웃 레이트 및 서브 넷 정보를 수신하여 학습을 수행할 수 있다.
본 개시의 일 예로서, 무선 통신 시스템의 기지국에 있어서, 송수신기 및 송수신기와 연결된 프로세서를 포함하고, 프로세서는, 송수신기를 이용하여 적어도 하나 이상의 단말들로 채널 상태 정보 측정을 위한 참조 신호를 전송하고, 적어도 하나 이상의 단말들로부터 측정된 측정 보고 정보를 수신하고, 적어도 하나 이상의 단말들 각각에 대한 드롭 아웃 레이트 및 서브 넷을 결정하고, 및 적어도 하나 이상의 단말들 각각으로 결정된 드롭 아웃 레이트 및 서브 넷 정보를 전송할 수 있다.
본 개시의 일 예로서, 적어도 하나의 메모리 및 적어도 하나의 메모리들과 기능적으로 연결되어 있는 적어도 하나의 프로세서를 포함하는 장치에 있어서, 적어도 하나의 프로세서는 장치가, 기지국으로부터 채널 상태 정보 측정을 위한 참조 신호를 수신하고, 수신된 참조신호에 기초하여 측정을 수행하고, 수행된 측정에 기초하여 기지국으로 측정 보고를 수행하고, 및 측정 보고에 기초하여 기지국에 의해 결정된 드롭 아웃 레이트 및 서브 넷 정보를 수신하여 학습을 수행할 수 있다.
본 개시의 일 예로서, 적어도 하나의 명령어(instructions)을 저장하는 비-일시적인(non-transitory) 컴퓨터 판독 가능 매체(computer-readable medium)에 있어서, 프로세서에 의해 실행 가능한(executable) 적어도 하나의 명령어를 포함하며, 적어도 하나의 명령어는, 기지국으로부터 채널 상태 정보 측정을 위한 참조 신호를 수신하고, 수신된 참조신호에 기초하여 측정을 수행하고, 수행된 측정에 기초하여 기지국으로 측정 보고를 수행하고, 및 측정 보고에 기초하여 기지국에 의해 결정된 드롭 아웃 레이트 및 서브 넷 정보를 수신하여 학습을 수행하도록 제어할 수 있다.
본 개시의 일 예로서, 드롭 아웃 레이트는 드롭 아웃 레이트 결정을 위한 정책(policy)를 통해 기지국에 의해 각각의 단말별로 결정될 수 있다.
본 개시의 일 예로서, 정책은 채널 정보, 단말 능력 정보, 기지국의 전력 정보 및 무선 자원 정보 중 적어도 어느 하나에 기초하여 결정될 수 있다.
본 개시의 일 예로서, 기지국은 전체적으로 연결된 신경망(fully connected neural network, NNs) 및 DNN(Deep Neural Network) 내에서 전체적으로 연결된 레이어들(fully connected layers in DNN) 중 적어도 어느 하나에 기초하여 결정되는 글로벌 모델을 보유할 수 있다.
본 개시의 일 예로서, 서브 넷은 글로벌 모델에서 드롭 아웃 레이트에 기초하여 일부 노드들이 랜덤하게 드롭 아웃되어 결정될 수 있다.
본 개시의 일 예로서, 단말은 단말에 대한 서브 넷 정보에 기초하여 로컬 모델을 구성하고, 구성된 로컬 모델에 기초하여 획득한 로컬 데이터 셋을 통해 학습을 수행할 수 있다.
본 개시의 일 예로서, 단말은 로컬 데이터 셋에 기초하여 수행된 학습 정보를 기지국으로 전달하고, 기지국은 각각의 단말들로부터 수신한 각각의 학습 정보에 기초하여 글로벌 모델을 업데이트할 수 있다.
본 개시의 일 예로서, 기지국이 보유한 글로벌 모델에 대한 업데이트는 각 라운드별로 진행되고, 단말은 기지국으로부터 제 1 라운드의 학습을 위한 학습 참여 요청 메시지를 수신하고, 단말이 제 1 라운드의 학습에 참여 가능한 경우, 단말은 기지국으로 학습 참여 허여에 대한 응답 메시지를 전송할 수 있다.
본 개시의 일 예로서, 단말은 생성된 로컬 데이터 셋 및 단말의 능력(capability) 중 적어도 어느 하나에 기초하여 제 1 라운드의 학습에 참여할지 여부를 결정할 수 있다.
본 개시의 일 예로서, 단말이 학습 참여 허여에 대한 응답 메시지를 기지국으로 전송하는 경우, 단말 능력 정보 및 로컬 데이터 셋의 볼륨(volume) 정보를 기지국으로 함께 전송할 수 있다.
본 개시의 일 예로서, 단말 능력 정보는 단말의 클럭 주파수(clock frequency), 배터리(battery) 및 이용 가능한 전송 파워(available transmission power) 정보 중 적어도 어느 하나를 고려하여 결정될 수 있다.
본 개시의 일 예로서, 기지국은 서버, 엣지 서버, 액세스 포인트 및 글로벌 모델을 보유한 엔티티 중 적어도 어느 하나일 수 있다.
본 개시에 기초한 실시예들에 의해 하기와 같은 효과가 있을 수 있다.
본 개시에 기초한 실시예들에서 데이터 학습을 수행하는 방법을 제공할 수 있다.
본 개시에 기초한 실시예들에서 연합학습에서 발생하는 트래픽 오버헤드를 줄이는 방법을 제공할 수 있다.
본 개시에 기초한 실시예들에서 연합학습에서 발생하는 통신 지연 오버헤드 및 컴퓨팅 오버헤드를 줄이는 방법을 제공할 수 있다.
본 개시에 기초한 실시예들에서 연합학습을 효율적으로 수행하는 방법을 제공할 수 있다.
본 개시의 실시 예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 이하의 본 개시의 실시 예들에 대한 기재로부터 본 개시의 기술 구성이 적용되는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다.
즉, 본 개시에서 서술하는 구성을 실시함에 따른 의도하지 않은 효과들 역시 본 개시의 실시 예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
이하에 첨부되는 도면들은 본 개시에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 개시에 대한 실시 예들을 제공할 수 있다. 다만, 본 개시의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다. 각 도면에서의 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미할 수 있다.
도 1은 본 개시의 일 실시예에 따라 통신 시스템 예시를 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따라 무선 기기의 예시를 나타낸 도면이다.
도 3은 본 개시의 일 실시예에 따라 무선 기기의 다른 예시를 나타낸 도면이다.
도 4는 본 개시의 일 실시예에 따라 AI(Artificial Intelligence)의 예시를 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 따라 연합학습을 나타낸 도면이다.
도 6은 본 개시의 일 실시예에 따라 연합학습을 수행하는 방법을 나타낸 도면이다.
도 7은 본 개시의 일 실시예에 따라 드롭 아웃 레이트에 기초하여 연합학습을 수행하는 방법을 나타낸 도면이다.
도 8은 본 개시의 일 실시예에 따라 드롭 아웃 레이트에 기초하여 연합학습을 수행하는 방법을 나타낸 도면이다.
도 9는 본 개시의 일 실시예에 따라 연합학습에 참여하는 단말의 동작 방법을 나타낸 도면이다.
도 10은 본 개시의 일 실시예에 따라 단말에서 드롭 아웃 레이트를 결정하여 학습을 수행하는 방법을 나타낸 도면이다.
이하의 실시 예들은 본 개시의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 개시의 실시 예를 구성할 수도 있다. 본 개시의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시 예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시 예의 대응하는 구성 또는 특징과 교체될 수 있다.
도면에 대한 설명에서, 본 개시의 요지를 흐릴 수 있는 절차 또는 단계 등은 기술하지 않았으며, 당업자의 수준에서 이해할 수 있을 정도의 절차 또는 단계는 또한 기술하지 아니하였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 개시를 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
본 명세서에서 본 개시의 실시예들은 기지국과 이동국 간의 데이터 송수신 관계를 중심으로 설명되었다. 여기서, 기지국은 이동국과 직접적으로 통신을 수행하는 네트워크의 종단 노드(terminal node)로서의 의미가 있다. 본 문서에서 기지국에 의해 수행되는 것으로 설명된 특정 동작은 경우에 따라서는 기지국의 상위 노드(upper node)에 의해 수행될 수도 있다.
즉, 기지국을 포함하는 다수의 네트워크 노드들(network nodes)로 이루어지는 네트워크에서 이동국과의 통신을 위해 수행되는 다양한 동작들은 기지국 또는 기지국 이외의 다른 네트워크 노드들에 의해 수행될 수 있다. 이때, '기지국'은 고정국(fixed station), Node B, eNB(eNode B), gNB(gNode B), ng-eNB, 발전된 기지국(advanced base station, ABS) 또는 억세스 포인트(access point) 등의 용어에 의해 대체될 수 있다.
또한, 본 개시의 실시 예들에서 단말(terminal)은 사용자 기기(user equipment, UE), 이동국(mobile station, MS), 가입자국(subscriber station, SS), 이동 가입자 단말(mobile subscriber station, MSS), 이동 단말(mobile terminal) 또는 발전된 이동 단말(advanced mobile station, AMS) 등의 용어로 대체될 수 있다.
또한, 송신단은 데이터 서비스 또는 음성 서비스를 제공하는 고정 및/또는 이동 노드를 말하고, 수신단은 데이터 서비스 또는 음성 서비스를 수신하는 고정 및/또는 이동 노드를 의미한다. 따라서, 상향링크의 경우, 이동국이 송신단이 되고, 기지국이 수신단이 될 수 있다. 마찬가지로, 하향링크의 경우, 이동국이 수신단이 되고, 기지국이 송신단이 될 수 있다.
본 개시의 실시 예들은 무선 접속 시스템들인 IEEE 802.xx 시스템, 3GPP(3rd Generation Partnership Project) 시스템, 3GPP LTE(Long Term Evolution) 시스템, 3GPP 5G(5th generation) NR(New Radio) 시스템 및 3GPP2 시스템 중 적어도 하나에 개시된 표준 문서들에 의해 뒷받침될 수 있으며, 특히, 본 개시의 실시 예들은 3GPP TS(technical specification) 38.211, 3GPP TS 38.212, 3GPP TS 38.213, 3GPP TS 38.321 및 3GPP TS 38.331 문서들에 의해 뒷받침 될 수 있다.
또한, 본 개시의 실시 예들은 다른 무선 접속 시스템에도 적용될 수 있으며, 상술한 시스템으로 한정되는 것은 아니다. 일 예로, 3GPP 5G NR 시스템 이후에 적용되는 시스템에 대해서도 적용 가능할 수 있으며, 특정 시스템에 한정되지 않는다.
즉, 본 개시의 실시 예들 중 설명하지 않은 자명한 단계들 또는 부분들은 상기 문서들을 참조하여 설명될 수 있다. 또한, 본 문서에서 개시하고 있는 모든 용어들은 상기 표준 문서에 의해 설명될 수 있다.
이하, 본 개시에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 개시의 예시적인 실시 형태를 설명하고자 하는 것이며, 본 개시의 기술 구성이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
또한, 본 개시의 실시 예들에서 사용되는 특정 용어들은 본 개시의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 개시의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
이하의 기술은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 등과 같은 다양한 무선 접속 시스템에 적용될 수 있다.
하기에서는 이하 설명을 명확하게 하기 위해, 3GPP 통신 시스템(e.g.(예, LTE, NR 등)을 기반으로 설명하지만 본 발명의 기술적 사상이 이에 제한되는 것은 아니다. LTE는 3GPP TS 36.xxx Release 8 이후의 기술을 의미할 수 있다. 세부적으로, 3GPP TS 36.xxx Release 10 이후의 LTE 기술은 LTE-A로 지칭되고, 3GPP TS 36.xxx Release 13 이후의 LTE 기술은 LTE-A pro로 지칭될 수 있다. 3GPP NR은 TS 38.xxx Release 15 이후의 기술을 의미할 수 있다. 3GPP 6G는 TS Release 17 및/또는 Release 18 이후의 기술을 의미할 수 있다. "xxx"는 표준 문서 세부 번호를 의미한다. LTE/NR/6G는 3GPP 시스템으로 통칭될 수 있다.
본 개시에 사용된 배경기술, 용어, 약어 등에 관해서는 본 발명 이전에 공개된 표준 문서에 기재된 사항을 참조할 수 있다. 일 예로, 36.xxx 및 38.xxx 표준 문서를 참조할 수 있다.
본 개시에 적용 가능한 통신 시스템
이로 제한되는 것은 아니지만, 본 문서에 개시된 본 개시의 다양한 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 기기들 간에 무선 통신/연결(예, 5G)을 필요로 하는 다양한 분야에 적용될 수 있다.
이하, 도면을 참조하여 보다 구체적으로 예시한다. 이하의 도면/설명에서 동일한 도면 부호는 다르게 기술하지 않는 한, 동일하거나 대응되는 하드웨어 블록, 소프트웨어 블록 또는 기능 블록을 예시할 수 있다.
도 1은 본 개시에 적용되는 통신 시스템 예시를 도시한 도면이다.
도 1을 참조하면, 본 개시에 적용되는 통신 시스템(100)은 무선 기기, 기지국 및 네트워크를 포함한다. 여기서, 무선 기기는 무선 접속 기술(예, 5G NR, LTE)을 이용하여 통신을 수행하는 기기를 의미하며, 통신/무선/5G 기기로 지칭될 수 있다. 이로 제한되는 것은 아니지만, 무선 기기는 로봇(100a), 차량(100b-1, 100b-2), XR(extended reality) 기기(100c), 휴대 기기(hand-held device)(100d), 가전(home appliance)(100e), IoT(Internet of Thing) 기기(100f), AI(artificial intelligence) 기기/서버(100g)를 포함할 수 있다. 예를 들어, 차량은 무선 통신 기능이 구비된 차량, 자율 주행 차량, 차량간 통신을 수행할 수 있는 차량 등을 포함할 수 있다. 여기서, 차량(100b-1, 100b-2)은 UAV(unmanned aerial vehicle)(예, 드론)를 포함할 수 있다. XR 기기(100c)는 AR(augmented reality)/VR(virtual reality)/MR(mixed reality) 기기를 포함하며, HMD(head-mounted device), 차량에 구비된 HUD(head-up display), 텔레비전, 스마트폰, 컴퓨터, 웨어러블 디바이스, 가전 기기, 디지털 사이니지(signage), 차량, 로봇 등의 형태로 구현될 수 있다. 휴대 기기(100d)는 스마트폰, 스마트패드, 웨어러블 기기(예, 스마트워치, 스마트글래스), 컴퓨터(예, 노트북 등) 등을 포함할 수 있다. 가전(100e)은 TV, 냉장고, 세탁기 등을 포함할 수 있다. IoT 기기(100f)는 센서, 스마트 미터 등을 포함할 수 있다. 예를 들어, 기지국(120), 네트워크(130)는 무선 기기로도 구현될 수 있으며, 특정 무선 기기(120a)는 다른 무선 기기에게 기지국/네트워크 노드로 동작할 수도 있다.
무선 기기(100a~100f)는 기지국(120)을 통해 네트워크(130)와 연결될 수 있다. 무선 기기(100a~100f)에는 AI 기술이 적용될 수 있으며, 무선 기기(100a~100f)는 네트워크(130)를 통해 AI 서버(100g)와 연결될 수 있다. 네트워크(130)는 3G 네트워크, 4G(예, LTE) 네트워크 또는 5G(예, NR) 네트워크 등을 이용하여 구성될 수 있다. 무선 기기(100a~100f)는 기지국(120)/네트워크(130)를 통해 서로 통신할 수도 있지만, 기지국(120)/네트워크(130)를 통하지 않고 직접 통신(예, 사이드링크 통신(sidelink communication))할 수도 있다. 예를 들어, 차량들(100b-1, 100b-2)은 직접 통신(예, V2V(vehicle to vehicle)/V2X(vehicle to everything) communication)을 할 수 있다. 또한, IoT 기기(100f)(예, 센서)는 다른 IoT 기기(예, 센서) 또는 다른 무선 기기(100a~100f)와 직접 통신을 할 수 있다.
본 개시에 적용 가능한 통신 시스템
도 2는 본 개시에 적용될 수 있는 무선 기기의 예시를 도시한 도면이다.
도 2를 참조하면, 제1 무선 기기(200a)와 제2 무선 기기(200b)는 다양한 무선 접속 기술(예, LTE, NR)을 통해 무선 신호를 송수신할 수 있다. 여기서, {제1 무선 기기(200a), 제2 무선 기기(200b)}은 도 1의 {무선 기기(100x), 기지국(120)} 및/또는 {무선 기기(100x), 무선 기기(100x)}에 대응할 수 있다.
제1 무선 기기(200a)는 하나 이상의 프로세서(202a) 및 하나 이상의 메모리(204a)를 포함하며, 추가적으로 하나 이상의 송수신기(206a) 및/또는 하나 이상의 안테나(208a)을 더 포함할 수 있다. 프로세서(202a)는 메모리(204a) 및/또는 송수신기(206a)를 제어하며, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(202a)는 메모리(204a) 내의 정보를 처리하여 제1 정보/신호를 생성한 뒤, 송수신기(206a)을 통해 제1 정보/신호를 포함하는 무선 신호를 전송할 수 있다. 또한, 프로세서(202a)는 송수신기(206a)를 통해 제2 정보/신호를 포함하는 무선 신호를 수신한 뒤, 제2 정보/신호의 신호 처리로부터 얻은 정보를 메모리(204a)에 저장할 수 있다. 메모리(204a)는 프로세서(202a)와 연결될 수 있고, 프로세서(202a)의 동작과 관련한 다양한 정보를 저장할 수 있다. 예를 들어, 메모리(204a)는 프로세서(202a)에 의해 제어되는 프로세스들 중 일부 또는 전부를 수행하거나, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 수행하기 위한 명령들을 포함하는 소프트웨어 코드를 저장할 수 있다. 여기서, 프로세서(202a)와 메모리(204a)는 무선 통신 기술(예, LTE, NR)을 구현하도록 설계된 통신 모뎀/회로/칩의 일부일 수 있다. 송수신기(206a)는 프로세서(202a)와 연결될 수 있고, 하나 이상의 안테나(208a)를 통해 무선 신호를 송신 및/또는 수신할 수 있다. 송수신기(206a)는 송신기 및/또는 수신기를 포함할 수 있다. 송수신기(206a)는 RF(radio frequency) 유닛과 혼용될 수 있다. 본 개시에서 무선 기기는 통신 모뎀/회로/칩을 의미할 수도 있다.
제2 무선 기기(200b)는 하나 이상의 프로세서(202b), 하나 이상의 메모리(204b)를 포함하며, 추가적으로 하나 이상의 송수신기(206b) 및/또는 하나 이상의 안테나(208b)를 더 포함할 수 있다. 프로세서(202b)는 메모리(204b) 및/또는 송수신기(206b)를 제어하며, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(202b)는 메모리(204b) 내의 정보를 처리하여 제3 정보/신호를 생성한 뒤, 송수신기(206b)를 통해 제3 정보/신호를 포함하는 무선 신호를 전송할 수 있다. 또한, 프로세서(202b)는 송수신기(206b)를 통해 제4 정보/신호를 포함하는 무선 신호를 수신한 뒤, 제4 정보/신호의 신호 처리로부터 얻은 정보를 메모리(204b)에 저장할 수 있다. 메모리(204b)는 프로세서(202b)와 연결될 수 있고, 프로세서(202b)의 동작과 관련한 다양한 정보를 저장할 수 있다. 예를 들어, 메모리(204b)는 프로세서(202b)에 의해 제어되는 프로세스들 중 일부 또는 전부를 수행하거나, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 수행하기 위한 명령들을 포함하는 소프트웨어 코드를 저장할 수 있다. 여기서, 프로세서(202b)와 메모리(204b)는 무선 통신 기술(예, LTE, NR)을 구현하도록 설계된 통신 모뎀/회로/칩의 일부일 수 있다. 송수신기(206b)는 프로세서(202b)와 연결될 수 있고, 하나 이상의 안테나(208b)를 통해 무선 신호를 송신 및/또는 수신할 수 있다. 송수신기(206b)는 송신기 및/또는 수신기를 포함할 수 있다 송수신기(206b)는 RF 유닛과 혼용될 수 있다. 본 개시에서 무선 기기는 통신 모뎀/회로/칩을 의미할 수도 있다.
이하, 무선 기기(200a, 200b)의 하드웨어 요소에 대해 보다 구체적으로 설명한다. 이로 제한되는 것은 아니지만, 하나 이상의 프로토콜 계층이 하나 이상의 프로세서(202a, 202b)에 의해 구현될 수 있다. 예를 들어, 하나 이상의 프로세서(202a, 202b)는 하나 이상의 계층(예, PHY(physical), MAC(media access control), RLC(radio link control), PDCP(packet data convergence protocol), RRC(radio resource control), SDAP(service data adaptation protocol)와 같은 기능적 계층)을 구현할 수 있다. 하나 이상의 프로세서(202a, 202b)는 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 하나 이상의 PDU(Protocol Data Unit) 및/또는 하나 이상의 SDU(service data unit)를 생성할 수 있다. 하나 이상의 프로세서(202a, 202b)는 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 메시지, 제어정보, 데이터 또는 정보를 생성할 수 있다. 하나 이상의 프로세서(202a, 202b)는 본 문서에 개시된 기능, 절차, 제안 및/또는 방법에 따라 PDU, SDU, 메시지, 제어정보, 데이터 또는 정보를 포함하는 신호(예, 베이스밴드 신호)를 생성하여, 하나 이상의 송수신기(206a, 206b)에게 제공할 수 있다. 하나 이상의 프로세서(202a, 202b)는 하나 이상의 송수신기(206a, 206b)로부터 신호(예, 베이스밴드 신호)를 수신할 수 있고, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 PDU, SDU, 메시지, 제어정보, 데이터 또는 정보를 획득할 수 있다.
하나 이상의 프로세서(202a, 202b)는 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 마이크로 컴퓨터로 지칭될 수 있다. 하나 이상의 프로세서(202a, 202b)는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합에 의해 구현될 수 있다. 일 예로, 하나 이상의 ASIC(application specific integrated circuit), 하나 이상의 DSP(digital signal processor), 하나 이상의 DSPD(digital signal processing device), 하나 이상의 PLD(programmable logic device) 또는 하나 이상의 FPGA(field programmable gate arrays)가 하나 이상의 프로세서(202a, 202b)에 포함될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 펌웨어 또는 소프트웨어를 사용하여 구현될 수 있고, 펌웨어 또는 소프트웨어는 모듈, 절차, 기능 등을 포함하도록 구현될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 수행하도록 설정된 펌웨어 또는 소프트웨어는 하나 이상의 프로세서(202a, 202b)에 포함되거나, 하나 이상의 메모리(204a, 204b)에 저장되어 하나 이상의 프로세서(202a, 202b)에 의해 구동될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 코드, 명령어 및/또는 명령어의 집합 형태로 펌웨어 또는 소프트웨어를 사용하여 구현될 수 있다.
하나 이상의 메모리(204a, 204b)는 하나 이상의 프로세서(202a, 202b)와 연결될 수 있고, 다양한 형태의 데이터, 신호, 메시지, 정보, 프로그램, 코드, 지시 및/또는 명령을 저장할 수 있다. 하나 이상의 메모리(204a, 204b)는 ROM(read only memory), RAM(random access memory), EPROM(erasable programmable read only memory), 플래시 메모리, 하드 드라이브, 레지스터, 캐쉬 메모리, 컴퓨터 판독 저장 매체 및/또는 이들의 조합으로 구성될 수 있다. 하나 이상의 메모리(204a, 204b)는 하나 이상의 프로세서(202a, 202b)의 내부 및/또는 외부에 위치할 수 있다. 또한, 하나 이상의 메모리(204a, 204b)는 유선 또는 무선 연결과 같은 다양한 기술을 통해 하나 이상의 프로세서(202a, 202b)와 연결될 수 있다.
하나 이상의 송수신기(206a, 206b)는 하나 이상의 다른 장치에게 본 문서의 방법들 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 전송할 수 있다. 하나 이상의 송수신기(206a, 206b)는 하나 이상의 다른 장치로부터 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 수신할 수 있다. 예를 들어, 하나 이상의 송수신기(206a, 206b)는 하나 이상의 프로세서(202a, 202b)와 연결될 수 있고, 무선 신호를 송수신할 수 있다. 예를 들어, 하나 이상의 프로세서(202a, 202b)는 하나 이상의 송수신기(206a, 206b)가 하나 이상의 다른 장치에게 사용자 데이터, 제어 정보 또는 무선 신호를 전송하도록 제어할 수 있다. 또한, 하나 이상의 프로세서(202a, 202b)는 하나 이상의 송수신기(206a, 206b)가 하나 이상의 다른 장치로부터 사용자 데이터, 제어 정보 또는 무선 신호를 수신하도록 제어할 수 있다. 또한, 하나 이상의 송수신기(206a, 206b)는 하나 이상의 안테나(208a, 208b)와 연결될 수 있고, 하나 이상의 송수신기(206a, 206b)는 하나 이상의 안테나(208a, 208b)를 통해 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 송수신하도록 설정될 수 있다. 본 문서에서, 하나 이상의 안테나는 복수의 물리 안테나이거나, 복수의 논리 안테나(예, 안테나 포트)일 수 있다. 하나 이상의 송수신기(206a, 206b)는 수신된 사용자 데이터, 제어 정보, 무선 신호/채널 등을 하나 이상의 프로세서(202a, 202b)를 이용하여 처리하기 위해, 수신된 무선 신호/채널 등을 RF 밴드 신호에서 베이스밴드 신호로 변환(Convert)할 수 있다. 하나 이상의 송수신기(206a, 206b)는 하나 이상의 프로세서(202a, 202b)를 이용하여 처리된 사용자 데이터, 제어 정보, 무선 신호/채널 등을 베이스밴드 신호에서 RF 밴드 신호로 변환할 수 있다. 이를 위하여, 하나 이상의 송수신기(206a, 206b)는 (아날로그) 오실레이터 및/또는 필터를 포함할 수 있다.
본 개시에 적용 가능한 무선 기기 구조
도 3은 본 개시에 적용되는 무선 기기의 다른 예시를 도시한 도면이다.
도 3을 참조하면, 무선 기기(300)는 도 2의 무선 기기(200a, 200b)에 대응하며, 다양한 요소(element), 성분(component), 유닛/부(unit), 및/또는 모듈(module)로 구성될 수 있다. 예를 들어, 무선 기기(300)는 통신부(310), 제어부(320), 메모리부(330) 및 추가 요소(340)를 포함할 수 있다. 통신부는 통신 회로(312) 및 송수신기(들)(314)을 포함할 수 있다. 예를 들어, 통신 회로(312)는 도 2의 하나 이상의 프로세서(202a, 202b) 및/또는 하나 이상의 메모리(204a, 204b)를 포함할 수 있다. 예를 들어, 송수신기(들)(314)는 도 2의 하나 이상의 송수신기(206a, 206b) 및/또는 하나 이상의 안테나(208a, 208b)을 포함할 수 있다. 제어부(320)는 통신부(310), 메모리부(330) 및 추가 요소(340)와 전기적으로 연결되며 무선 기기의 제반 동작을 제어한다. 예를 들어, 제어부(320)는 메모리부(330)에 저장된 프로그램/코드/명령/정보에 기반하여 무선 기기의 전기적/기계적 동작을 제어할 수 있다. 또한, 제어부(320)는 메모리부(330)에 저장된 정보를 통신부(310)을 통해 외부(예, 다른 통신 기기)로 무선/유선 인터페이스를 통해 전송하거나, 통신부(310)를 통해 외부(예, 다른 통신 기기)로부터 무선/유선 인터페이스를 통해 수신된 정보를 메모리부(330)에 저장할 수 있다.
추가 요소(340)는 무선 기기의 종류에 따라 다양하게 구성될 수 있다. 예를 들어, 추가 요소(340)는 파워 유닛/배터리, 입출력부(input/output unit), 구동부 및 컴퓨팅부 중 적어도 하나를 포함할 수 있다. 이로 제한되는 것은 아니지만, 무선 기기(300)는 로봇(도 1, 100a), 차량(도 1, 100b-1, 100b-2), XR 기기(도 1, 100c), 휴대 기기(도 1, 100d), 가전(도 1, 100e), IoT 기기(도 1, 100f), 디지털 방송용 단말, 홀로그램 장치, 공공 안전 장치, MTC 장치, 의료 장치, 핀테크 장치(또는 금융 장치), 보안 장치, 기후/환경 장치, AI 서버/기기(도 1, 140), 기지국(도 1, 120), 네트워크 노드 등의 형태로 구현될 수 있다. 무선 기기는 사용-예/서비스에 따라 이동 가능하거나 고정된 장소에서 사용될 수 있다.
도 3에서 무선 기기(300) 내의 다양한 요소, 성분, 유닛/부, 및/또는 모듈은 전체가 유선 인터페이스를 통해 상호 연결되거나, 적어도 일부가 통신부(310)를 통해 무선으로 연결될 수 있다. 예를 들어, 무선 기기(300) 내에서 제어부(320)와 통신부(310)는 유선으로 연결되며, 제어부(320)와 제1 유닛(예, 130, 140)은 통신부(310)를 통해 무선으로 연결될 수 있다. 또한, 무선 기기(300) 내의 각 요소, 성분, 유닛/부, 및/또는 모듈은 하나 이상의 요소를 더 포함할 수 있다. 예를 들어, 제어부(320)는 하나 이상의 프로세서 집합으로 구성될 수 있다. 예를 들어, 제어부(320)는 통신 제어 프로세서, 어플리케이션 프로세서(application processor), ECU(electronic control unit), 그래픽 처리 프로세서, 메모리 제어 프로세서 등의 집합으로 구성될 수 있다. 다른 예로, 메모리부(330)는 RAM, DRAM(dynamic RAM), ROM, 플래시 메모리(flash memory), 휘발성 메모리(volatile memory), 비-휘발성 메모리(non-volatile memory) 및/또는 이들의 조합으로 구성될 수 있다.
도 4는 본 개시에 적용되는 AI 기기의 예시를 도시한 도면이다. 일 예로, AI 기기는 TV, 프로젝터, 스마트폰, PC, 노트북, 디지털방송용 단말기, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), 라디오, 세탁기, 냉장고, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 4를 참조하면, AI 기기(600)는 통신부(610), 제어부(620), 메모리부(630), 입/출력부(640a/640b), 러닝 프로세서부(640c) 및 센서부(640d)를 포함할 수 있다. 블록 910~930/940a~940d는 각각 도 3의 블록 310~330/340에 대응할 수 있다.
통신부(610)는 유무선 통신 기술을 이용하여 다른 AI 기기(예, 도 1, 100x, 120, 140)나 AI 서버(도 1, 140) 등의 외부 기기들과 유무선 신호(예, 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등)를 송수신할 수 있다. 이를 위해, 통신부(610)는 메모리부(630) 내의 정보를 외부 기기로 전송하거나, 외부 기기로부터 수신된 신호를 메모리부(630)로 전달할 수 있다.
제어부(620)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 기기(600)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 제어부(620)는 AI 기기(600)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다. 예를 들어, 제어부(620)는 러닝 프로세서부(640c) 또는 메모리부(630)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 기기(600)의 구성 요소들을 제어할 수 있다. 또한, 제어부(920)는 AI 장치(600)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리부(630) 또는 러닝 프로세서부(640c)에 저장하거나, AI 서버(도 1, 140) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
메모리부(630)는 AI 기기(600)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예를 들어, 메모리부(630)는 입력부(640a)로부터 얻은 데이터, 통신부(610)로부터 얻은 데이터, 러닝 프로세서부(640c)의 출력 데이터, 및 센싱부(640)로부터 얻은 데이터를 저장할 수 있다. 또한, 메모리부(930)는 제어부(620)의 동작/실행에 필요한 제어 정보 및/또는 소프트웨어 코드를 저장할 수 있다.
입력부(640a)는 AI 기기(600)의 외부로부터 다양한 종류의 데이터를 획득할 수 있다. 예를 들어, 입력부(620)는 모델 학습을 위한 학습 데이터, 및 학습 모델이 적용될 입력 데이터 등을 획득할 수 있다. 입력부(640a)는 카메라, 마이크로폰 및/또는 사용자 입력부 등을 포함할 수 있다. 출력부(640b)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. 출력부(640b)는 디스플레이부, 스피커 및/또는 햅틱 모듈 등을 포함할 수 있다. 센싱부(640)는 다양한 센서들을 이용하여 AI 기기(600)의 내부 정보, AI 기기(600)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 얻을 수 있다. 센싱부(640)는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰 및/또는 레이더 등을 포함할 수 있다.
러닝 프로세서부(640c)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 러닝 프로세서부(640c)는 AI 서버(도 1, 140)의 러닝 프로세서부와 함께 AI 프로세싱을 수행할 수 있다. 러닝 프로세서부(640c)는 통신부(610)를 통해 외부 기기로부터 수신된 정보, 및/또는 메모리부(630)에 저장된 정보를 처리할 수 있다. 또한, 러닝 프로세서부(940c)의 출력 값은 통신부(610)를 통해 외부 기기로 전송되거나/되고, 메모리부(630)에 저장될 수 있다.
6G 통신 시스템
6G (무선통신) 시스템은 (i) 디바이스 당 매우 높은 데이터 속도, (ii) 매우 많은 수의 연결된 디바이스들, (iii) 글로벌 연결성(global connectivity), (iv) 매우 낮은 지연, (v) 배터리-프리(battery-free) IoT 디바이스들의 에너지 소비를 낮추고, (vi) 초고신뢰성 연결, (vii) 머신 러닝 능력을 가지는 연결된 지능 등에 목적이 있다. 6G 시스템의 비젼은 "intelligent connectivity", "deep connectivity", "holographic connectivity", "ubiquitous connectivity"와 같은 4가지 측면일 수 있으며, 6G 시스템은 하기 표 1과 같은 요구 사항을 만족시킬 수 있다. 즉, 표 1은 6G 시스템의 요구 사항을 나타낸 표이다.
Figure PCTKR2022007049-appb-img-000001
이때, 6G 시스템은 향상된 모바일 브로드밴드(enhanced mobile broadband, eMBB), 초-저지연 통신(ultra-reliable low latency communications, URLLC), mMTC (massive machine type communications), AI 통합 통신(AI integrated communication), 촉각 인터넷(tactile internet), 높은 스루풋(high throughput), 높은 네트워크 능력(high network capacity), 높은 에너지 효율(high energy efficiency), 낮은 백홀 및 접근 네트워크 혼잡(low backhaul and access network congestion) 및 향상된 데이터 보안(enhanced data security)과 같은 핵심 요소(key factor)들을 가질 수 있다.
인공 지능(artificial Intelligence, AI)
6G 시스템에 가장 중요하며, 새로 도입될 기술은 AI이다. 4G 시스템에는 AI가 관여하지 않았다. 5G 시스템은 부분 또는 매우 제한된 AI를 지원할 것이다. 그러나, 6G 시스템은 완전히 자동화를 위해 AI가 지원될 것이다. 머신 러닝의 발전은 6G에서 실시간 통신을 위해 보다 지능적인 네트워크를 만들 것이다. 통신에 AI를 도입하면 실시간 데이터 전송이 간소화되고 향상될 수 있다. AI는 수많은 분석을 사용하여 복잡한 대상 작업이 수행되는 방식을 결정할 수 있다. 즉, AI는 효율성을 높이고 처리 지연을 줄일 수 있다.
핸드 오버, 네트워크 선택, 자원 스케줄링과 같은 시간 소모적인 작업은 AI를 사용함으로써 즉시 수행될 수 있다. AI는 M2M, 기계-대-인간 및 인간-대-기계 통신에서도 중요한 역할을 할 수 있다. 또한, AI는 BCI(brain computer interface)에서 신속한 통신이 될 수 있다. AI 기반 통신 시스템은 메타 물질, 지능형 구조, 지능형 네트워크, 지능형 장치, 지능형 인지 라디오(radio), 자체 유지 무선 네트워크 및 머신 러닝에 의해 지원될 수 있다.
최근 AI를 무선 통신 시스템과 통합하려고 하는 시도들이 나타나고 있으나, 이는 어플리케이션 계층(application layer), 네트워크 계층(network layer) 특히, 딥 러닝은 무선 자원 관리 및 할당(wireless resource management and allocation) 분야에 집중되어 왔다. 그러나, 이러한 연구는 점점 MAC 계층 및 물리 계층으로 발전하고 있으며, 특히 물리계층에서 딥 러닝을 무선 전송(wireless transmission)과 결합하고자 하는 시도들이 나타나고 있다. AI 기반의 물리계층 전송은, 근본적인 신호 처리 및 통신 메커니즘에 있어서, 전통적인 통신 프레임워크가 아니라 AI 드라이버에 기초한 신호 처리 및 통신 메커니즘을 적용하는 것을 의미한다. 예를 들어, 딥러닝 기반의 채널 코딩 및 디코딩(channel coding and decoding), 딥러닝 기반의 신호 추정(estimation) 및 검출(detection), 딥러닝 기반의 MIMO(multiple input multiple output) 매커니즘(mechanism), AI 기반의 자원 스케줄링(scheduling) 및 할당(allocation) 등을 포함할 수 있다.
또한, 머신 러닝은 채널 추정 및 채널 트래킹을 위해 사용될 수 있으며, DL(downlink)의 물리 계층(physical layer)에서 전력 할당(power allocation), 간섭 제거(interference cancellation) 등에 사용될 수 있다. 또한, 머신 러닝은 MIMO 시스템에서 안테나 선택, 전력 제어(power control), 심볼 검출(symbol detection) 등에도 사용될 수 있다.
그러나 물리계층에서의 전송을 위한 DNN의 적용은 아래와 같은 문제점이 있을 수 있다.
딥러닝 기반의 AI 알고리즘은 훈련 파라미터를 최적화하기 위해 수많은 훈련 데이터가 필요하다. 그러나 특정 채널 환경에서의 데이터를 훈련 데이터로 획득하는데 있어서의 한계로 인해, 오프라인 상에서 많은 훈련 데이터를 사용한다. 이는 특정 채널 환경에서 훈련 데이터에 대한 정적 훈련(static training)은, 무선 채널의 동적 특성 및 다이버시티(diversity) 사이에 모순(contradiction)이 생길 수 있다.
또한, 현재 딥 러닝은 주로 실제 신호(real signal)을 대상으로 한다. 그러나, 무선 통신의 물리 계층의 신호들은 복소 신호(complex signal)이다. 무선 통신 신호의 특성을 매칭시키기 위해 복소(complex) 도메인 신호의 검출하는 신경망(neural network)에 대한 연구가 더 필요하다.
이하, 머신 러닝에 대해 보다 구체적으로 살펴본다.
머신 러닝은 사람이 할 수 있거나 혹은 하기 어려운 작업을 대신해낼 수 있는 기계를 만들어 내기 위해 기계를 학습시키는 일련의 동작을 의미한다. 머신 러닝을 위해서는 데이터와 러닝 모델이 필요하다. 머신 러닝에서 데이터의 학습 방법은 크게 3가지 즉, 지도 학습(supervised learning), 비지도 학습(unsupervised learning) 그리고 강화 학습(reinforcement learning)으로 구분될 수 있다.
신경망 학습은 출력의 오류를 최소화하기 위한 것이다. 신경망 학습은 반복적으로 학습 데이터를 신경망에 입력시키고 학습 데이터에 대한 신경망의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 신경망의 에러를 신경망의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation) 하여 신경망의 각 노드의 가중치를 업데이트하는 과정이다.
지도 학습은 학습 데이터에 정답이 라벨링된 학습 데이터를 사용하며 비지도 학습은 학습 데이터에 정답이 라벨링되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 지도 학습의 경우의 학습 데이터는 학습 데이터 각각에 카테고리가 라벨링된 데이터 일 수 있다. 라벨링된 학습 데이터가 신경망에 입력되고 신경망의 출력(카테고리)과 학습 데이터의 라벨을 비교하여 오차(error)가 계산될 수 있다. 계산된 오차는 신경망에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 신경망의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 신경망의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 신경망의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 신경망의 학습 초기에는 높은 학습률을 사용하여 신경망이 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다
데이터의 특징에 따라 학습 방법은 달라질 수 있다. 예를 들어, 통신 시스템 상에서 송신단에서 전송한 데이터를 수신단에서 정확하게 예측하는 것을 목적으로 하는 경우, 비지도 학습 또는 강화 학습 보다는 지도 학습을 이용하여 학습을 수행하는 것이 바람직하다.
러닝 모델은 인간의 뇌에 해당하는 것으로서, 가장 기본적인 선형 모델을 생각할 수 있으나, 인공 신경망(artificial neural networks)와 같은 복잡성이 높은 신경망 구조를 러닝 모델로 사용하는 머신 러닝의 패러다임을 딥러닝(deep learning)이라 한다.
학습(learning) 방식으로 사용하는 신경망 코어(neural network cord)는 크게 심층 신경망(deep neural networks, DNN), 합성곱 신경망(convolutional deep neural networks, CNN), 순환 신경망(recurrent boltzmann machine, RNN) 방식이 있으며, 이러한 러닝 모델이 적용될 수 있다.
일 예로, 도 5는 본 개시의 일 실시예에 따라 연합학습(federated learning)을 나타낸 도면이다. 도 5를 참조하면, 이동통신 시스템에서 분산형 인공지능 학습을 효율화 하는 방법이 제공될 수 있다. 복수 개의 단말에 대한 데이터가 분산되어 존재하는 경우, 중앙집중형 학습 방법은 단말들이 각각의 데이터를 기지국으로 전달하고, 기지국에서 학습이 수행되는 방식일 수 있다.
다만, 단말들의 데이터를 기지국 또는 서버로 보내는 중앙집중형 학습은 데이터 보안에 한계가 존재할 수 있다. 따라서, 사용자의 데이터를 보내지 않는 분산 학습 방식으로 무선 연합학습 방식이 필요할 수 있다. 이때, 무선 연합학습 방식은 단말들의 데이터 각각을 기지국으로 전송하는 대신에 각각의 단말들이 개별 학습을 진행하면서 로컬 모델 업데이트를 기지국으로 전송하는 방식일 수 있다. 이때, 기지국은 복수 개의 단말들로부터 수신한 로컬 모델 업데이트에 기초하여 로컬 모델 업데이트들의 합쳐진 값을 각각의 단말들로 전송할 수 있다. 이때, 상술한 절차는 지속적으로 반복될 수 있으며, 단말들의 연합으로 분산 학습이 진행될 수 있다.
여기서, 로컬 모델의 사이즈는 큰 경우가 많기 때문에 학습에 참여하는 단말들이 독립된 무선 자원으로 로컬 모델에 대한 정보를 업링크 채널로 전송하는 경우, 무선 자원 손실은 커질 수 있다. 따라서, 단말들이 같은 무선 자원을 활용하여 업링크로 로컬 순시 모델을 보내고 무선 상에서 자동으로 합쳐지는 무선 계산(Aircomp) 방식이 사용될 수 있다.
일 예로, 무선 계산(Aircomp) 방식은 각각의 단말들이 보낸 로컬 모델들을 동일한 크기로 합치기 위해서 무선 채널의 역에 비례하는 가중치를 인가하여 전송하는 방식일 수 있다.
구체적인 일 예로, 새로운 통신 시스템에 연합 학습(federated learning)의 모델 파라미터가 적용될 수 있다. 연합 학습(federated learning)은 개인의 프라이버시 보호, 분산 처리를 통한 기지국의 로드감소 및 기지국과 단말과의 트래픽을 감소시키는 경우 중 어느 하나에 적용될 수 있다. 다만, 이에 한정되는 것은 아닐 수 있다. 이때, 일 예로, 로컬 모델 파라미터(e.g. 딥 뉴럴 네트워크의 가중치, 정보)의 트래픽은 무선 통신환경에서 많은 부담을 줄 수 있으며, 이를 고려하여 상술한 로컬 모델 파라미터의 압축 또는 에어콤프(Aircomp(Over the Air Computing))를 통해 트래픽을 감소시킬 수 있다.
다만, 통신 시스템에서 무선통신 환경은 다양할 수 있다. 또한, 통신시스템에서 학습이 필요한 단말 수가 다양하게 설정될 수 있다. 여기서, 통신 시스템에는 상술한 환경을 고려하여 고정적인 특정 기술이 아닌 유동적인 운영 방법 및 시스템이 필요할 수 있다. 이를 통해, 통신 시스템의 자원 효율성을 증대시킬 수 있다. 일 예로, 에어콤프(Aircomp)를 통한 연합 학습(federated learning) 방식은 단말 모델 파라미터를 합치는 방식일 수 있다. 에어콤프 방식에 기초하여 전송이 수행되는 경우, 무선 통신 채널은 중첩(superposition) 성질에 기초하여 신호 전송을 수행하므로 전송 효율을 높일 수 있고, 기지국의 로드를 줄일 수 있다. 또한, 단말들은 동일한 통신채널을 공유할 수 있다. 따라서, 단말들이 다수 존재하는 경우, 전송 효율은 높아질 수 있다.
상술한 점을 고려하여, 단말 모델 파라미터 압축을 통한 연합 학습(federated learning) 방식은 각 단말이 파라미터의 특성을 고려하여 데이터에 대한 압축을 수행하여 기지국에 전송하는 방식일 수 있다. 따라서, 기지국이 연합 학습 방식에 기초하여 신호를 수신하는 경우, 기지국은 수신한 신호에 기초하여 압축을 풀고, 수집된 파라미터를 합산하는 동작을 수행할 필요성이 있으며, 기지국의 로드는 증가할 수 있다. 또한, 일 예로, 각 단말 수 별로 통신채널을 할당해야 되기 때문에, 사용 단말의 수에 비례하여 통신 트래픽이 증가할 수 있다. 따라서, 단말들이 다수 존재하는 경우, 압축을 통한 방식은 효율성을 감소시킬 수 있다.
일 예로, 연합 학습(federated learning) 방식에서 단말과 기지국간 가중치 시그널링 방법을 고정적으로 사용하는 경우, 효율성은 무선 환경에 기초하여 다를 수 있다. 일 예로, 효율성은 특정 환경에서 높을 수 있으나, 그 반대의 경우에는 오히려 효율성이 저해될 수 있다. 무선 환경은 유동적으로 변화할 수 있으므로 유동적으로 변동되는 무선 환경을 인식하고, 인식된 무선 환경에 기초한 기술이 선택될 필요성이 있다. 하기에서는 무선 환경의 효율성을 높이기 위해 상술한 바에 기초한 동작에 대해 서술한다.
일 예로, 각각의 단말은 연합 학습(federated learning) 방식에 기초하여 학습한 모델의 파라미터(e.g. 딥 뉴럴 네트워크의 가중치, 정보)를 기지국으로 전달할 수 있다. 각각의 단말들은 압축한 파라미터를 전달하고, 기지국은 하기 수학식 1에 기초하여 글로벌 모델을 업데이트할 수 있다. 여기서, c는 정보 압축 및 변조 처리일 수 있고, d는 복조 및 정보 복원 처리일 수 있다. 그 후, 기지국은 업데이트된 글로벌 모델을 각각의 단말로 전달할 수 있다.
[수학식 1]
Figure PCTKR2022007049-appb-img-000002
보다 상세하게는, 각각의 단말은 모델 파라미터의 양을 최소화하는 방법에 기초하여 압축을 진행할 수 있다. 일 예로, 압축은 가중치 가지치기, 양자화 및 가중치 공유 중 적어도 어느 하나에 기초하여 수행될 수 있다. 또한, 일 예로, 압축은 다른 방법에 기초하여 수행될 수 있으며, 상술한 실시예로 한정되지 않는다. 여기서, 기존 신경망에 기초하여 압축을 수행하는 경우, 가중치(weights) 중 실제 추론을 위해 필요한 값은 작은 값들에 대한 내성을 가질 수 있다. 즉, 실제 추론을 위해 필요한 가중치 값은 작은 값들에 대해서는 영향이 작을 수 있다. 상술한 점을 고려하여, 가중치 가지치기는 작은 가중치 값을 모두 0으로 설정할 수 있다. 이를 통해, 신경망은 네트워크 모델 크기를 줄일 수 있다. 또한, 일 예로, 양자화(quantization)는 특정 비트 수로 데이터를 줄여서 계산하는 방식일 수 있다. 즉, 데이터는 특정 양자화된 값으로만 표현될 수 있다. 또한, 일 예로, 가중치 공유는 가중치 값들을 근사값(e.g. 코드북)에 기초하여 조정하고, 이를 공유하도록 하는 방식일 수 있다. 여기서, 네트워크에서 신호가 전송되는 경우, 해당 정보는 코드북과 그 값에 대한 인덱스만이 공유될 수 있다.
상술한 방법 중 어느 하나에 기초하여 각각의 단말은 데이터에 대한 압축을 수행할 수 있으며, 압축된 정보를 기지국으로 전송할 수 있다. 이때, 기지국은 압축된 "
Figure PCTKR2022007049-appb-img-000003
"를 각각의 단말로부터 수신하고, 수신한 정보에 대한 압축을 해제하여 글로벌 모델의 파라미터를 계산하고 업데이트할 수 있다.
여기서, 각각의 단말은 개별적인 특성을 갖는 로컬모델 파라미터를 설정할 수 있다. 따라서, 각각의 단말이 압축을 수행하는 경우, 압축 효율은 단말마다 상이할 수 있다. 또한, 일 예로, 각각의 단말은 서로 상이한 하드웨어 리소스를 가질 수 있다. 여기서, 압축 효율은 하드웨어 리소스에 영향을 받을 수 있다. 따라서, 각각의 단말마다 압축효율이 상이할 수 있다.
구체적인 일 예로, 단말이 8비트로 양자화를 수행하는 경우, 64비트 연산 처리 기능이 구비된 단말은 높은 압축 효율을 얻을 수 있다. 반면, 16비트 연산 처리 기능이 구비된 단말은 압축 효율이 작을 수 있다. 또한, 일 예로, 단말이 저사양의 하드웨어를 구비하는 경우, 단말은 많은 압축 로드를 받을 수 있다. 따라서, 상술한 단말은 간단한 압축기법을 사용하는 것이 유리할 수 있다. 일 예로, IoT(Internet of Thing) 단말이나 저전력 단말들은 비교적 저사양의 하드웨어를 구비할 수 있는바, 간단한 압축 기법을 사용할 수 있다. 반면, AI에 기초하여 동작하는 단말이나 대용량의 데이터를 처리하는 단말은 고사양의 하드웨어를 구비할 수 있는바, 복잡한 압축 기법을 사용하여 압축 효율을 높일 수 있다. 즉, 단말별로 상이한 압축 방법이 사용될 수 있으며, 각각에 맞는 압축방법을 사용하는 것이 필요할 수 있다.
상술한 점을 고려하여, 각각의 단말은 로컬모델 파라미터의 개별적인 특성과 하드웨어 리소스에 적합한 압축방식을 사용할 수 있다. 이때, 단말들은 기지국으로 압축 방법에 대한 정보를 전달할 필요성이 있다. 기지국은 단말로부터 수신한 정보에 기초하여 각각의 단말로부터 수신한 압축된 데이터와 모델 파라미터를 복원할 수 있다.
하기에서는 단말이 효율적으로 연합학습을 수행하는 방법에 대해 서술한다. 일 예로, 연합학습은 연합학습에 참여하는 단말의 능력(capability)에 기초하여 상술한 바와 같이 수행될 수 있다. 일 에로, 연합학습은 단말의 능력이 충분하다는 전제 하에 각 단말의 학습량을 조절하거나 학습 대상 모델의 부분화(model partitioning)를 통해 통신 및 컴퓨팅(communication and computation,
Figure PCTKR2022007049-appb-img-000004
) 오버헤드를 효율적으로 관리하는 것을 중점으로 수행되었으며, 상술한 바와 같을 수 있다.
다만, 단말의 자원이 한정적인 시스템에서는 상술한
Figure PCTKR2022007049-appb-img-000005
오버헤드를 줄이기 위해 다이나믹하게 학습이 운영될 필요성이 있으며, 하기에서는 이를 위한 방안에 대해 서술한다. 일 예로, 하기에서는 자원-제한 단말(resource-constrained device)들을 이용하여 효율적인 연합학습을 수행하는 방법에 대해 서술한다. 일 예로, 각각의 단말들에 대한 드롭 아웃 레이트(dropout rate)를 결정하고, 결정된 드롭 아웃 레이트에 기초하여 서브 넷(또는 서브 셋) 생성 후 이를 기반으로 학습을 수행할 수 있다. 드롭 아웃 레이트는 주어진 요구사항에 기초하여 도출된
Figure PCTKR2022007049-appb-img-000006
오버헤드 분석에 기초한 정책에 따라 도출될 수 있다. 일 예로, 주어진 요구사항은 라운드 지연(round latency), 채널 게인(channel gain), 대역폭(bandwidth) 및 DL/UL 파워(DL/UL power) 중 적어도 어느 하나에 기초하여 설정될 수 있으나, 이에 한정되는 것은 아닐 수 있다. 즉, 드롭 아웃 정책은 상술한 정보들에 기초하여 주어진 각각의 요구사항을 고려하여 도출되는
Figure PCTKR2022007049-appb-img-000007
오버헤드에 따라 결정될 수 있고, 드롭 아웃 레이트는 결정된 드롭 아웃 정책에 기초하여 결정될 수 있다.
각각의 단말이 연합학습을 수행하는 경우, 드롭 아웃은 연합학습 모델의 마스킹을 활용하여 매 라운드마다 드롭 아웃 레이트에 따라 랜덤 드롭 아웃으로 수행될 수 있다. 일 예로, 서브 넷은 전체적으로 연결된 신경망(fully connected neural network, NNs) 또는 DNN 내에서 전체적으로 연결된 레이어들(fully connected layers in DNN)에서 드롭 아웃 레이트에 기초하여 일부 노드들이 랜덤하게 드롭 아웃 되어 결정될 수 있으며, 결정된 서브 넷 정보는 단말로 전송될 수 있다. 따라서, 단말이 수신하는 모델에 대한 정보는 오리지널 모델 정보 대비 축소된 정보일 수 있다. 단말은 결정된 서브 넷 정보를 수신하고, 이에 기초하여 학습을 수행할 수 있다. 또한, 일 예로, 단말은 서브 넷 정보에 기초하여 학습을 수행하고, 라운드 간 모델 다이버시티를 확보할 수 있으며, 이를 통해 정확도를 높일 수 있다. 상술한 바에 기초하여 자원이 제한된 단말들에서 연합학습을 수행할 수 있으며, 하기에서는 이를 위한 구체적인 방법을 서술한다.
연합학습이 수행되는 경우, 단말들마다 컴퓨팅 파워가 서로 상이할 수 있으며, 각각의 단말들은 상이한 컴퓨팅 파워를 고려하여 연합학습을 수행할 필요성이 있다. 일 예로, 컴퓨팅 파워가 높은 단말은 더 많은 데이터 셋에 기초하여 신뢰도가 높은 로컬 모델 학습을 수행하고, 상대적으로 컴퓨팅 파워가 작은 단말은 상대적으로 적은 데이터 셋에 기초하여 로컬 모델 학습을 수행할 수 있다. 이때, 서버(또는 기지국)는 상술한 로컬 모델 학습에 대한 비중을 고려하여 글로벌 모델을 업데이트할 수 있다. 일 예로, 서버는 엣지 서버(edge server), 기지국, 액세스 포인트 및 그 밖의 연합학습을 위한 글로벌 모델을 보유하는 엔티티일 수 있으며, 특정 형태로 한정되지 않는다. 하기에서는 설명의 편의를 위해 기지국으로 통칭하지만 이에 한정되는 것은 아닐 수 있다.
일 예로, 기존의 연합학습에서 각각의 단말들이 공통 모델을 모두 학습을 수행하지 않고, 공통 모델의 일부분을 부분화(또는 파티셔닝)해서 모델의 각 부분에 대한 학습을 수행하는 경우를 고려할 수 있다. 이때, 기지국읜 각각의 단말들로부터 부분 학습된 정보를 수신하고, 최종적인 글로벌 모델 업데이트를 수행할 수 있다. 여기서, 일 예로, 공통 모델에 대한 부분화는 서로 직교하거나 겹치지 않도록 모델을 분할하여 각 단말을 통해 학습을 수행하여 병합하는 방식일 수 있다.
반면, 단말이 기존 연합학습들과 상이하게 드롭 아웃 레이트에 기초하여 학습을 수행하는 경우를 고려할 수 있다. 일 예로, 단말의 제한된 자원 및 파워에 기초하여 단말은 공통 모델에서 드롭 아웃 레이트에 기초하여 모델의 일부가 드롭 아웃된 서브 넷에 기초하여 로컬 모델에 대한 학습을 수행할 수 있다. 서브 넷은 단말이 학습하는 데이터 셋이 오버 피팅되지 않도록 드롭 아웃 레이트에 기초하여 일부 영역을 랜덤하게 드롭 아웃할 수 있다. 단말은 서브 넷에 기초하여 학습을 수행할 수 있으며, 이를 통해 단말에서 사용되는 자원 및 파워를 줄일 수 있다. 또한, 단말은 드롭 아웃에 기초하여 일부 영역이 드롭 아웃된 로컬 모델에 대한 학습을 수행하여 학습 정보를 기지국으로 전송하므로 정보를 전송하기 위한 전송 용량도 줄어들 수 있다.
여기서, 일 예로, 연합학습을 위해 각 단말에서 적용되는 드롭 아웃 레이트를 결정하는 방법이 필요할 수 있다. 서브 넷은 결정된 드롭 아웃 레이트에 기초하여 랜덤하게 로컬 모델의 일부 영역을 드롭 아웃하여 결정될 수 있다. 단말은 서브 넷에 기초하여 보유한 데이터를 통해 학습을 수행하고, 이에 대한 정보를 기지국으로 전달할 수 있으며, 이에 따라 학습량 및 정보 전송량이 줄어들 수 있다.
또한, 일 예로, 각각의 단말들은 데이터 생성 주체일 수 있고, 학습을 위해 메인 엣지 서버로 데이터를 전송하여 학습이 수행되는 경우에는 과도한 트래픽 오버헤드가 발생할 수 있다. 반면, 연합학습의 경우, 각각의 단말들에서 학습이 수행되므로 트래픽 오버헤드를 줄일 수 있다. 또한, 일 예로, 각각의 학습에 참여하는 단말 수만큼 병행(parallelism) 학습이 수행되므로 트레이닝 지연(training latency)를 줄일 수 있다. 또한, 각각의 단말들은 각각의 데이터에 기초하여 학습을 수행하므로 프라이버시(privacy) 보호가 용이할 수 있다. 하기에서는 상술한 바에 기초하여 연합학습을 수행하는 구체적인 방법에 대해 서술한다.
도 6은 본 개시의 일 실시예에 따라 연합학습을 수행하는 방법을 나타낸 도면이다. 도 6을 참조하면, 기지국(610, 또는 서버)는 글로벌 모델 정보를 포함할 수 있다. 일 예로, 기지국(610)은 서버, 엣지 서버, 액세스 포인트 및 그 밖의 송수신을 수행하는 엔티티일 수 있으며, 특정 형태로 한정되지 않는다. 다만, 하기에서는 설명의 편의를 위해 기지국(610)에 기초하여 서술하지만, 이에 한정되는 것은 아닐 수 있다.
도 6을 참조하면, 기지국(610)은 글로벌 모델을 포함할 수 있으며, 이에 대한 정보를 각각의 단말들(620-1, 620-2, 620-3)에게 전달할 수 있다. 이때, 각각의 단말들(620-1, 620-2, 620-3)은 전달받은 글로벌 모델에 기초하여 학습을 수행하고, 이에 대한 정보를 기지국(610)으로 피드백할 수 있다. 기지국(610)은 각각의 단말들(620-1, 620-2, 620-3)로부터 피드백 받은 정보들을 어그리게이션하여 글로벌 모델을 업데이트할 수 있으며, 이에 기초하여 연합학습을 수행할 수 있었다. 다만, 상술한 방식에서는 자원이나 파워가 제한된 단말들에서 학습이 제한적일 수 있었다.
상술한 점을 고려하여, 기지국(610)은 각각의 단말들(620-1, 620-2, 620-3)에 대한 드롭 아웃 레이트를 결정하고, 이에 기초하여 단말들(620-1, 620-2, 620-3) 각각에 대한 서브 넷(또는 서브 셋)을 생성할 수 있다. 그 후, 기지국(610)은 각각의 단말들(620-1, 620-2, 620-3)로 생성된 서브 넷 정보를 전달할 수 있다. 여기서, 서브 넷은 기지국(610)이 결정한 드롭 아웃 레이트에 기초하여 글로벌 모델에서 일부 파라미터들이 랜덤하게 드롭 아웃되어 결정된 모델일 수 있으며, 이에 따라 각각의 단말에서 학습량이 줄어들 수 있다. 즉, 기지국(610)은 각각의 단말들(620-1, 620-2, 620-3) 별로 드롭 아웃 레이트 및 이에 기초한 서브 넷을 결정하고, 이에 대한 정보를 각각의 단말들(620-1, 620-2, 620-3)로 전송할 수 있다.
각각의 단말들(620-1, 620-2, 620-3)은 기지국(610)으로부터 획득한 서브 넷 정보에 기초하여 결정된 로컬 모델에 대한 학습을 수행하고, 학습한 정보를 기지국(610)으로 피드백할 수 있다. 그 후, 기지국(610)은 각각의 단말들(620-1, 620-2, 620-3)로부터 획득한 피드백 정보에 기초하여 글로벌 모델을 업데이트할 수 있다.
도 6을 참조하면, 상술한 바에 기초하여 연합학습에 대한 업데이트를 수행하는 경우, 임의의 라운드 및 임의의 단말에 대해 단말 k에서 예상되는 지연 통신 지연 및 컴퓨팅 지연으로
Figure PCTKR2022007049-appb-img-000008
오버헤드가 고려될 수 있다. 일 예로, 통신 지연은 하기 수학식 2와 같을 수 있다. 수학식 2에서 첫 번째 값(term)은 단말이 서브 넷을 다운 받는데 발생하는 통신 지연일 수 있고, 두 번째 값(term)은 학습한 정보를 업로드 하는데 발생하는 지연일 수 있다.
[수학식 2]
Figure PCTKR2022007049-appb-img-000009
이때, 수학식 2에서
Figure PCTKR2022007049-appb-img-000010
는 수학식 3과 같을 수 있으며,
Figure PCTKR2022007049-appb-img-000011
는 서브넷에서 예상되는 파라미터들의 수일 수 있으며, 수학식 3에서
Figure PCTKR2022007049-appb-img-000012
는 컨볼루션 레이어의 파마리터들의 수이고,
Figure PCTKR2022007049-appb-img-000013
은 오리지널 DNN에 완전하게 연결되는 레이어들의 파라미터들의 수일 수 있다. 또한, 수학식 2에서 Q는 하나의 파라미터를 위한 양자화 비트들이고,
Figure PCTKR2022007049-appb-img-000014
는 단말 k에 할당된 대역폭이고,
Figure PCTKR2022007049-appb-img-000015
는 단말 k에서 다운링크 스펙트럼 효율성(spectrum efficiencies)이고,
Figure PCTKR2022007049-appb-img-000016
는 단말 k에서 업링크 스펙트럼 효율성(spectrum efficiencies)일 수 있다. 일 예로, 스펙트럼 효율성은 수학식 4와 같을 수 있다.
또한, 수학식 4에서
Figure PCTKR2022007049-appb-img-000017
는 다운링크 또는 업링크 전송 파워이고,
Figure PCTKR2022007049-appb-img-000018
는 채널 게인이고,
Figure PCTKR2022007049-appb-img-000019
는 노이즈 파워일 수 있다.
[수학식 3]
Figure PCTKR2022007049-appb-img-000020
[수학식 4]
Figure PCTKR2022007049-appb-img-000021
또한, 일 예로, 컴퓨팅 지연은 수학식 5와 같을 수 있다. 이때,
Figure PCTKR2022007049-appb-img-000022
는 서브넷을 업데이트하는 컴퓨팅 오버헤드로, 수학식 6과 같을 수 있다.
Figure PCTKR2022007049-appb-img-000023
는 단말 k에서 학습되는 샘플들의 수일 수 있으며,
Figure PCTKR2022007049-appb-img-000024
는 단말 k의 컴퓨팅 클럭 주파수일 수 있으며 따라서 그의 역수는 컴퓨팅 스피드일 수 있다.
[수학식 5]
Figure PCTKR2022007049-appb-img-000025
[수학식 6]
Figure PCTKR2022007049-appb-img-000026
상술한 수학식 2 및 수학식 5에 기초하여 전체 지연으로써
Figure PCTKR2022007049-appb-img-000027
오버헤드는 수학식 7과 같을 수 있다. 이때, 각 라운드에서 기대되는 최종 지연은 복수 개의 단말들 중 가장 지연이 많은 단말에 기초하여 하기 수학식 8과 같이 결정될 수 있다.
[수학식 7]
Figure PCTKR2022007049-appb-img-000028
[수학식 8]
Figure PCTKR2022007049-appb-img-000029
또한, 일 예로, 드롭 아웃 레이트가 결정된 경우, 서브 넷을 결정하기 위해 드롭 아웃되는 각 파라미터들은 랜덤하게 결정될 수 있다. 일 예로, 서브 넷 생성 방법은 완전하게 연결된 신경망(connected neural networks)이나 DNN 내의 완전하게 연결된 레이어들에서 적용될 수 있으나, 이에 한정되는 것은 아닐 수 있다. 일 예로, l번째 레이어 내의 i번째 뉴런의 아웃풋은
Figure PCTKR2022007049-appb-img-000030
으로 정의될 수 있다. 이때,
Figure PCTKR2022007049-appb-img-000031
는 활성화 함수이고,
Figure PCTKR2022007049-appb-img-000032
는 파라미터 벡터일 수 있다. 이때, 드롭 아웃 기술은 서브 넷 생성을 위해 적용될 수 있으며, 각각의 뉴런을 매 라운드에서
Figure PCTKR2022007049-appb-img-000033
확률로 비활성화하여 수행될 수 있다. 여기서,
Figure PCTKR2022007049-appb-img-000034
확률로 l번째 레이어 내의 i번째 뉴런의 비활성화는 하기 수학식 9에 기초하여 수행될 수 있다. 이때,
Figure PCTKR2022007049-appb-img-000035
는 해당 뉴런의 마스크일 수 있으며, 이는 하기 수학식 10과 같을 수 있다.
[수학식 9]
Figure PCTKR2022007049-appb-img-000036
[수학식 10]
Figure PCTKR2022007049-appb-img-000037
일 예로, 상술한 수학식에서
Figure PCTKR2022007049-appb-img-000038
는 드롭 아웃 레이트이고, (1-
Figure PCTKR2022007049-appb-img-000039
)는 존재 확률일 수 있다. 따라서, 스케일링 팩터로써 1/(1-
Figure PCTKR2022007049-appb-img-000040
)는
Figure PCTKR2022007049-appb-img-000041
가
Figure PCTKR2022007049-appb-img-000042
일 수 있음을 보증할 수 있으며, 이에 기초하여 서브 넷이 결정될 수 있다.
이때, 드롭 아웃 레이트가 결정되는 경우, 서버(또는 기지국)는 각각의 라운드에서 각각의 단말을 위한 고유한 서브넷을 생성할 수 있다.
일 예로, 각각의 라운드는 결정된 드롭아웃 레이트에 기초하여 각각의 단말에 대한 서브넷이 결정된 후 각각의 단말에서 서브넷에 기초한 학습을 수행하여 서버(또는 기지국)이 글로벌 모델을 업데이트하는 한 사이클일 수 있다. 여기서 각각의 서브넷은 모든 컨볼루션 레이어 및 전체 연결된 레이어들의 일 부분(part of the fully connected layers)를 포함할 수 있다. 이때, 전체 연결된 레이어들의 일 부분은 드롭 아웃 레이트에 기초하여 랜덤하게 결정될 수 있으며, 이는 상술한 바와 같다. 각각의 단말은 상술한 바에 기초하여
Figure PCTKR2022007049-appb-img-000043
오버헤드로서 통신(communication) 및 컴퓨팅(computing) 오버헤드를 각각 줄일 수 있다. 일 예로,
Figure PCTKR2022007049-appb-img-000044
오버헤드는 상술한 바에 기초하여 결정되는 전체 학습에 걸리는 지연일 수 있다. 각각의 단말에 할당된 자원(e.g. 시간, 주파수) 및 전송 파워를 전부 사용할 수 있다. 또한, 드롭아웃 레이트에 기초하여 서브 넷을 구성가는 방법은 학습 성능을 향상 시킬 수 있다. 일 예로, 상술한 바에 기초하여 학습 성능으로써 테스팅 정확도를 향상시킬 수 있다.
일 예로, 임의의 라운드 및 임의의 단말로서 k번째 단말의 드롭 아웃 레이트가
Figure PCTKR2022007049-appb-img-000045
이고, 각 라운드에서 주어진 지연이 T이고, 변화하는 채널의 게인이
Figure PCTKR2022007049-appb-img-000046
, 할당된 대역폭이
Figure PCTKR2022007049-appb-img-000047
, 및 전송 파워가 {
Figure PCTKR2022007049-appb-img-000048
,
Figure PCTKR2022007049-appb-img-000049
}인 경우, 드롭 아웃 레이트는 하기 수학식 11과 같을 수 있다. 여기서, 함수 f(
Figure PCTKR2022007049-appb-img-000050
)는 하기 수학식 12에 기초하여 결정될 수 있으나, 이에 한정되지 않는다.
[수학식 11]
Figure PCTKR2022007049-appb-img-000051
[수학식 12]
Figure PCTKR2022007049-appb-img-000052
여기서,
Figure PCTKR2022007049-appb-img-000053
및
Figure PCTKR2022007049-appb-img-000054
는 각 단말을 위해 오리지널 DNN 내에서 모든 컨볼루션 레이어 및 전체 연결된 레이어들의 일 부분(part of the fully connected layers)을 업데이트하기 위한
Figure PCTKR2022007049-appb-img-000055
지연의 합일 수 있으며, 하기 수학식 13에 기초하여 결정될 수 있다.
[수학식 13]
Figure PCTKR2022007049-appb-img-000056
도 7은 본 개시의 일 실시예에 따라 드롭 아웃 레이트에 기초하여 연합학습을 수행하는 방법을 나타낸 도면이다. 도 7을 참조하면, 기지국은 글로벌 모델을 보유할 수 있으며, 글로벌 모델은 각각의 단말들이 수행하는 로컬 모델 학습 정보에 기초하여 업데이트될 수 있다. 여기서, 글로벌 모델이 각각의 단말들로부터 획득한 로컬 모델에 대한 학습 정보에 기초하여 업데이트를 수행하는 사이클이 하나의 라운드일 수 있다. 일 예로, 각각의 라운드에서 기지국은 각각의 단말들별로 결정되는 드롭 아웃 레이트에 기초하여 서브 넷을 생성할 수 있다.(S710) 즉, 드롭 아웃 레이트 및 서브 넷은 각각의 단말별로 결정될 수 있다. 이때, 드롭 아웃 레이트는 라운드 지연(round latency), 채널 게인(channel gain), 대역폭(bandwidth) 및 DL/UL 파워(DL/UL power) 중 적어도 어느 하나에 기초하여 설정되는 요구사항에 기초하여
Figure PCTKR2022007049-appb-img-000057
오버헤드를 고려하여 도출되는 정책에 의해 결정될 수 있다. 이때, 서브 넷은 전체적으로 연결된 신경망(fully connected neural network, NNs) 또는 DNN 내에서 전체적으로 연결된 레이어들(fully connected layers in DNN)에서 드롭 아웃 레이트에 기초하여 일부 노드들이 랜덤하게 드롭 아웃되어 결정될 수 있으며, 결정된 서브 넷 정보는 각각의 단말들로 전송될 수 있다.(S720) 즉, 각각의 단말들은 기지국에 의해 할당된 서브 넷 정보를 모델 정보로써 획득할 수 있다. 그 후, 각각의 단말들은 각각의 단말들의 로컬 데이터 셋들에 기초하여 각각의 로컬 서브 넷을 업데이트할 수 있다. 그 후, 각각의 단말들은 업데이트된 로컬 모델 정보를 기지국으로 전송할 수 있다. 즉, 기지국은 각각의 단말들로부터 로컬 모델 정보를 수신할 수 있다.(S730) 그 후, 각각의 단말들에 대응되는 각각의 서브 넷의 파라미터들이 업데이트된 로컬 모델 값에 의해 업데이트될 수 있다. 또한, 다른 파라미터들도 상술한 값 및 이전 라운드 정보에 기초하여 업데이트되어 각각의 단말들에 대한 DNN이 구성될 수 있다. 그 후, 기지국은 각각의 단말들에서 구성된 모든 DNN을 통해 글로벌 모델을 업데이트할 수 있다.(S740)
도 8은 본 개시의 일 실시예에 따라 드롭 아웃 레이트에 기초하여 연합학습을 수행하는 방법을 나타낸 도면이다. 도 8을 참조하면, 기지국은 글로벌 모델을 보유할 수 있으며, 글로벌 모델은 각각의 단말들이 수행하는 로컬 모델 학습 정보에 기초하여 업데이트될 수 있다. 여기서, 글로벌 모델이 각각의 단말들로부터 로컬 모델에 대한 학습 정보에 기초하여 업데이트를 수행하는 사이클이 하나의 라운드일 수 있다. 일 예로, 각각의 라운드에서 기지국은 각각의 단말을 위해 드롭 아웃 레이트에 기초하여 서브 넷을 생성할 수 있다. 일 예로, 드롭 아웃 레이트 및 서브 넷은 각각의 단말별로 결정될 수 있다. 이때, 드롭 아웃 레이트는 라운드 지연(round latency), 채널 게인(channel gain), 대역폭(bandwidth) 및 DL/UL 파워(DL/UL power) 중 적어도 어느 하나에 기초하여 설정되는 요구사항에 기초하여
Figure PCTKR2022007049-appb-img-000058
오버헤드를 고려하여 도출되는 정책에 의해 결정될 수 있다. 이때, 서브 넷은 전체적으로 연결된 신경망(fully connected neural network, NNs) 또는 DNN 내에서 전체적으로 연결된 레이어들(fully connected layers in DNN)에서 드롭 아웃 레이트에 기초하여 일부 노드들이 랜덤하게 드롭 아웃 되어 결정될 수 있으며, 결정된 서브 넷 정보는 단말로 전송될 수 있다. 즉, 각각의 단말들은 기지국에 의해 할당된 서브 넷 정보를 모델 정보로써 획득할 수 있다.(S810) 그 후, 각각의 단말들은 각각의 단말들의 로컬 데이터 셋들에 기초하여 각각의 로컬 서브 넷을 업데이트할 수 있다.(S820) 그 후, 각각의 단말들은 업데이트된 로컬 모델 정보를 기지국으로 전송할 수 있다.(S830) 각각의 단말들에 대응되는 각각의 서브 넷의 파라미터들이 업데이트된 로컬 모델 값에 의해 업데이트될 수 있다. 또한, 다른 파라미터들도 상술한 값 및 이전 라운드 정보에 기초하여 업데이트되어 각각의 단말들에 대한 DNN이 구성될 수 있다. 그 후, 기지국은 각각의 단말들에서 구성된 모든 DNN을 통해 글로벌 모델을 업데이트할 수 있다.
도 9는 본 개시의 일 실시예에 따라 연합학습에 참여하는 단말의 동작 방법을 나타낸 도면이다.
일 예로, 엣지 서버(또는 기지국)은 복수 개의 단말들 또는 IoT 디바이스들로부터 생성된 정보(e.g. image, sensing data)를 기반으로 DNN 학습을 수행할 수 있다. 그 후, 엣지 서버(또는 기지국)은 인퍼런스(inference) 또는 분류(classification)을 수행하여 태스크가 연합학습을 활용하도록 할 수 있다.
또한, 일 예로, 도 9를 참조하면, 엣지 서버(또는 기지국)는 연합학습을 위해 학습에 참여하는 단말들을 결정하고, 이에 기초하여 연합학습에 대한 학습을 수행할 수 있다. 보다 상세하게는, 각각의 단말들은 엣지 서버(또는 기지국)으로부터 학습 참여 요청 메시지를 수신할 수 있다.(S910) 이때, 각 단말들은 현재 생성된 로컬 데이터 셋과 단말의 능력을 고려하여 연합학습 참여 여부를 판단할 수 있다. 여기서, 단말이 단말 능력 및 로컬 데이터 셋 정보에 기초하여 학습 참여가 가능하지 않은 경우(S920), 단말은 엣지 서버(또는 기지국)로 학습 참여 불가에 대한 응답 메시지를 전송할 수 있다.(S930) 반면, 단말이 학습 참여가 가능한 경우(S920), 단말은 학습 참여 허여에 대한 응답 메시지를 엣지 서버(또는 기지국)으로 전송할 수 있다.(S940) 일 예로, 단말이 학습에 참여하는 경우, 단말은 단말 능력 정보 및 로컬 데이터 셋의 볼륨(volume) 정보도 함께 전달할 수 있다. 여기서, 단말 능력 정보는 단말의 클럭 주파수(clock frequency), 배터리(battery), 이용 가능한 전송 파워(available transmission power) 정보 및 그 밖의 학습 관련 정보를 포함할 수 있으며, 특정 실시예로 한정되지 않는다. 그 후, 엣지 서버(또는 기지국)는 엣지 서버(또는 기지국)와 단말 사이의 채널 상태 정보를 파악하기 위해 참조 신호를 각각의 단말들로 전송할 수 있다. 즉, 단말은 엣지 서버(또는 기지국)로부터 채널 상태 확인을 위한 참조 신호를 수신할 수 있다.(S950) 그 후, 단말은 참조 신호에 기초하여 채널 상태를 측정하고 피드백을 엣지 서버(또는 기지국)으로 전달할 수 있다.(S960) 엣지 서버(또는 기지국)는 채널 정보, 단말 능력 정보, 엣지 서버(또는 기지국)의 전력 정보 및 무선 자원 정보 중 적어도 어느 하나에 기초하여 상술한 드롭 아웃 레이트를 위한 정책을 결정하고, 결정된 정책에 따라 드롭 아웃 레이트를 결정할 수 있다.
그 후, 엣지 서버(또는 기지국)은 드롭 아웃 레이트에 기초하여 랜덤하게 일부 노드들을 드롭아웃 하여 서브 넷을 구성할 수 있으며, 이는 상술한 바와 같다. 그 후, 엣지 서버(또는 기지국)는 각각의 단말들로 서브 넷 관련 정보를 전달할 수 있다. (S970) 여기서, 일 예로, 엣지 서버(또는 기지국)는 각각의 단말별로 서브 넷을 구성하고 멀티캐스팅을 통해 각각의 단말들로 서브 넷 관련 정보를 전달할 수 있다. 일 예로, 서브 넷 관련 정보는 신경망 컴포넌트 인덱스 및 값(value) 중에 적어도 어느 하나를 포함할 수 있다. 또 다른 일 예로, 엣지 서버(또는 기지국)는 글로벌 모델 브로드캐스팅과 서브 넷에 해당하는 신경망 컴포넌트 인덱스 멀티캐스팅을 수행할 수 있으며, 상술한 실시예로 한정되지 않는다. 상술한 바에 기초하여 각각의 단말들은 각각의 서브 넷 정보를 획득하고, 각각의 단말들에 대한 로컬 데이터 셋에 기초하여 학습을 수행하여 엣지 서버(또는 기지국)로 피드백할 수 있다.
일 예로, 상술한 동작은 하나의 라운드에 기초하여 수행될 수 있으며, 각 라운드마다 상술한 동작이 반복될 수 있으며, 특정 형태로 한정되는 것은 아닐 수 있다.
도 10은 본 개시의 일 실시예에 따라 단말에서 드롭 아웃 레이트를 결정하여 학습을 수행하는 방법을 나타낸 도면이다.
일 예로, 드롭 아웃 레이트 결정은 전체적인 무선 자원 현황을 고려하여 단말별로 비대칭(asymmetric)한 대역폭 할당을 고려하여 수행되기 때문에 집권화된(centralized) 접근을 수행하는 서버(또는 기지국)에 의해 결정될 수 있다.
다만, 일 예로, 각 단말별로 균등한 대역폭 할당을 고려하는 경우, 각각의 단말들은 드롭 아웃 레이트 결정 및 서브 넷 구성을 직접 수행할 수 있다. 보다 상세하게는, 도 10을 참조하면, 각각의 단말들은 기지국으로부터 글로벌 모델 정보를 획득할 수 있다.(S1010) 그 후, 각각의 단말은 채널 상태 정보, 기지국 송신 가능 전력 정보 및 그 밖의 드롭 아웃 레이트 결정을 위한 정보를 수신할 수 있으며, 상술한 실시예로 한정되지 않는다.(S1020) 그 후, 각각의 단말들은 드롭 아웃 레이트를 결정하고, 결정된 드롭 아웃 레이트에 기초하여 랜덤하게 드롭 아웃을 수행하여 서브 넷을 생성할 수 있다.(S1030) 각각의 단말들은 생성된 서브 넷에 기초하여 트레이닝을 수행하고(S1040), 업데이트된 서브 넷 정보를 기지국으로 전달할 수 있다.(S1050) 일 예로, 기지국은 각각의 단말들로부터 업데이트된 서브 넷 정보를 수신하고, 이에 기초하여 글로벌 모델을 업데이트할 수 있다.
무선 통신 시스템에서 기지국은 상술한 드롭 아웃 레이트 및 드롭 아웃 레이트에 기초하여 결정된 서브 넷을 통해 글로벌 모델을 업데이트할 수 있으며, 이는 상술한 바와 같다.
여기서, 기지국에서 글로벌 모델을 이용하여 태스크를 수행하는 구체적인 동작과 관련하여 이미지 인퍼런스 태스크(image inference task)를 고려할 수 있다. 일 예로, 기지국은 각각의 단말들로 드롭 아웃 레이트 및 드롭 아웃 레이트에 기초하여 결정된 서브 넷 정보를 전달할 수 있다. 그 후, 각각의 단말들은 생성된 이미지 정보를 통해 트레이닝을 수행하고, 서브 넷 정보를 업데이트할 수 있다. 그 후, 각각의 단말들은 기지국으로 업데이트된 서브 넷 정보를 전달하고, 기지국은 단말들로부터 수신한 서브 넷 정보에 기초하여 글로벌 모델을 업데이트할 수 있다. 그 후, 기지국은 글로벌 모델에 기초하여 인퍼런스(inference)를 수행할 수 있다. 일 예로, 인퍼런스는 학습을 통해 만들어진 글로벌 모델을 통해 실제 새로운 입력 데이터를 적용하여 결과를 적용하는 동작을 의미할 수 있다. 여기서, 기지국은 각각의 단말들에서 생성된 이미지 정보를 수신할 수 있다. 기지국은 각각의 단말들로부터 수신한 이미지 정보를 글로벌 모델에 적용하고, 출력 값을 도출할 수 있다.
일 예로, 글로벌 모델은 추정 채널의 압축된 특징 벡터(compressed feature vector)를 입력으로 하고, 재구성된(reconstructed) 추정 채널 정보를 출력으로 하는 모델일 수 있다. 이때, 각각의 단말들은 기지국으로부터 수신한 참조신호에 기초하여 채널 정보를 추정하고, 추정된 채널 정보를 기지국으로 보고할 수 있다. 기지국은 각각의 단말들로부터 획득한 추정된 채널 정보에 기초하여 추정 채널의 압축된 특징 벡터를 도출하고, 이를 글로벌 모델에 적용하여 재구성된 추정 채널 정보를 획득할 수 있다.
여기서, 일 예로, 기지국은 각각의 단말들로 드롭 아웃 레이트에 기초한 서브 넷 정보를 전달할 수 있으며, 이는 상술한 바와 같다. 또한, 각각의 단말들은 기지국으로부터 참조신호를 수신하고, 채널 측정을 통해 측정 값을 획득하고 추정 채널의 압축된 특징 벡터를 도출하여 트레이닝을 수행할 수 있다. 그 후, 각각의 단말들은 트레이닝에 기초하여 서브 넷 정보를 업데이트하고, 업데이트된 서브 넷 정보를 기지국으로 전달할 수 있다. 이때, 기지국은 각각의 단말들로부터 수신한 정보를 통해 글로벌 모델을 업데이트할 수 있다. 이를 통해, 기지국은 업데이트된 글로벌 모델 정보를 획득할 수 있으며, 각각의 단말로부터 수신한 채널 추정 정보에 기초하여 인퍼런스를 수행하고 재구성된 추정 채널 정보를 출력 정보로 획득할 수 있다.
또 다른 일 예로, 무선 통신 시스템에서 기지국은 글로벌 모델 및 서브 넷 정보에 기초하여 인퍼런스 태스크를 수행할 수 있다. 보다 상세하게는, 기지국은 CSI(channel status information) 인퍼런스 태스크를 수행할 수 있다. 여기서, 기지국은 각각의 단말로부터 채널을 통과한 참조 시퀀스(reference sequence)를 수신할 수 있다. 글로벌 모델은 각각의 단말로부터 수신한 참조 시퀀스를 입력으로 전체적인 업링크 채널 정보를 출력으로 하는 모델일 수 있다. 기지국은 각각의 단말로부터 참조 시퀀스 패턴(reference sequence pattern) 정보를 수신받고, 이를 글로벌 모델에 적용하여 상향링크 채널들에 대한 정보에 대한 인퍼런스를 수행하여 상향링크 채널 정보를 추정할 수 있다. 여기서, 일 예로, 기지국은 각각의 단말들로 결정된 드롭 아웃 레이트에 기초하여 서브 넷 정보를 전달할 수 있다. 또한, 각각의 단말들은 참조신호에 기초하여 기지국으로부터 채널 관련 정보를 획득할 수 있다. 각각의 단말들은 측채널 관련 정보에 기초하여 트레이닝을 수행하고, 이를 통해 서브 넷을 업데이트할 수 있다. 그 후, 각각의 단말들은 업데이트된 서브 넷 정보를 기지국으로 전달할 수 있다. 기지국은 각각의 단말들로부터 획득한 업데이트된 서브 넷 정보에 기초하여 글로벌 모델을 업데이트할 수 있다. 그 후, 기지국은 업데이트된 글로벌 모델에 각각의 단말들로부터 수신한 참조 시퀀스를 적용하여 채널 정보를 추정할 수 있다.
상기 설명한 제안 방식에 대한 일례들 또한 본 개시의 구현 방법들 중 하나로 포함될 수 있으므로, 일종의 제안 방식들로 간주될 수 있음은 명백한 사실이다. 또한, 상기 설명한 제안 방식들은 독립적으로 구현될 수도 있지만, 일부 제안 방식들의 조합 (또는 병합) 형태로 구현될 수도 있다. 상기 제안 방법들의 적용 여부 정보 (또는 상기 제안 방법들의 규칙들에 대한 정보)는 기지국이 단말에게 사전에 정의된 시그널 (예: 물리 계층 시그널 또는 상위 계층 시그널)을 통해서 알려주도록 규칙이 정의될 수 가 있다.
본 개시는 본 개시에서 서술하는 기술적 아이디어 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 개시의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 개시의 등가적 범위 내에서의 모든 변경은 본 개시의 범위에 포함된다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.
본 개시의 실시 예들은 다양한 무선접속 시스템에 적용될 수 있다. 다양한 무선접속 시스템들의 일례로서, 3GPP(3rd Generation Partnership Project) 또는 3GPP2 시스템 등이 있다.
본 개시의 실시 예들은 상기 다양한 무선접속 시스템뿐 아니라, 상기 다양한 무선접속 시스템을 응용한 모든 기술 분야에 적용될 수 있다. 나아가, 제안한 방법은 초고주파 대역을 이용하는 mmWave, THz 통신 시스템에도 적용될 수 있다.
추가적으로, 본 개시의 실시예들은 자유 주행 차량, 드론 등 다양한 애플리케이션에도 적용될 수 있다.

Claims (17)

  1. 무선 통신 시스템에서 단말 동작 방법에 있어서,
    단말이 기지국으로부터 채널 상태 정보 측정을 위한 참조 신호를 수신하는 단계;
    상기 단말이 상기 수신된 참조신호에 기초하여 측정을 수행하는 단계;
    상기 수행된 측정에 기초하여 상기 기지국으로 측정 보고를 수행하는 단계; 및
    상기 측정 보고에 기초하여 상기 기지국에 의해 결정된 드롭 아웃 레이트 및 서브 넷 정보를 수신하여 학습을 수행하는 단계;를 포함하는, 단말 동작 방법.
  2. 제 1 항에 있어서,
    상기 드롭 아웃 레이트는 상기 드롭 아웃 레이트 결정을 위한 정책(policy)를 통해 상기 기지국에 의해 각각의 단말별로 결정되는, 단말 동작 방법.
  3. 제 2 항에 있어서,
    상기 정책은 채널 정보, 단말 능력 정보, 기지국의 전력 정보 및 무선 자원 정보 중 적어도 어느 하나에 기초하여 결정되는, 단말 동작 방법.
  4. 제 3 항에 있어서,
    상기 기지국은 전체적으로 연결된 신경망(fully connected neural network, NNs) 및 DNN(Deep Neural Network) 내에서 전체적으로 연결된 레이어들(fully connected layers in DNN) 중 적어도 어느 하나에 기초하여 결정되는 글로벌 모델을 보유하는, 단말 동작 방법.
  5. 제 4 항에 있어서,
    상기 서브 넷은 상기 글로벌 모델에서 상기 드롭 아웃 레이트에 기초하여 일부 노드들이 랜덤하게 드롭 아웃되어 결정되는, 단말 동작 방법.
  6. 제 1 항에 있어서,
    상기 단말은 상기 단말에 대한 상기 서브 넷 정보에 기초하여 로컬 모델을 구성하고, 상기 구성된 로컬 모델에 기초하여 획득한 로컬 데이터 셋을 통해 학습을 수행하는, 단말 동작 방법.
  7. 제 6 항에 있어서,
    상기 단말은 상기 로컬 데이터 셋에 기초하여 수행된 학습 정보를 상기 기지국으로 전달하고,
    상기 기지국은 각각의 단말들로부터 수신한 각각의 학습 정보에 기초하여 상기 글로벌 모델을 업데이트하는, 단말 동작 방법.
  8. 제 1 항에 있어서,
    상기 기지국이 보유한 글로벌 모델에 대한 업데이트는 각 라운드별로 진행되고,
    상기 단말은 상기 기지국으로부터 제 1 라운드의 학습을 위한 학습 참여 요청 메시지를 수신하고,
    상기 단말이 상기 제 1 라운드의 학습에 참여 가능한 경우, 상기 단말은 상기 기지국으로 학습 참여 허여에 대한 응답 메시지를 전송하는, 단말 동작 방법.
  9. 제 8 항에 있어서,
    상기 단말은 생성된 로컬 데이터 셋 및 단말의 능력(capability) 중 적어도 어느 하나에 기초하여 상기 제 1 라운드의 학습에 참여할지 여부를 결정하는, 단말 동작 방법.
  10. 제 9 항에 있어서,
    상기 단말이 상기 학습 참여 허여에 대한 상기 응답 메시지를 상기 기지국으로 전송하는 경우, 상기 단말 능력 정보 및 상기 로컬 데이터 셋의 볼륨(volume) 정보를 상기 기지국으로 함께 전송하는, 단말 동작 방법.
  11. 제 10 항에 있어서,
    상기 단말 능력 정보는 단말의 클럭 주파수(clock frequency), 배터리(battery) 및 이용 가능한 전송 파워(available transmission power) 정보 중 적어도 어느 하나를 고려하여 결정되는, 단말 동작 방법.
  12. 제 11 항에 있어서,
    상기 기지국은 서버, 엣지 서버, 액세스 포인트 및 글로벌 모델을 보유한 엔티티 중 적어도 어느 하나인, 단말 동작 방법.
  13. 무선 통신 시스템에서 기지국 동작 방법에 있어서,
    상기 기지국이 적어도 하나 이상의 단말들로 채널 상태 정보 측정을 위한 참조 신호를 전송하는 단계;
    상기 적어도 하나 이상의 단말들로부터 측정된 측정 보고 정보를 수신하는 단계;
    상기 적어도 하나 이상의 단말들 각각에 대한 드롭 아웃 레이트 및 서브 넷을 결정하는 단계; 및
    상기 적어도 하나 이상의 단말들 각각으로 결정된 드롭 아웃 레이트 및 서브 넷 정보를 전송하는 단계를 포함하는, 기지국 동작 방법.
  14. 무선 통신 시스템의 단말에 있어서,
    송수신기; 및
    상기 송수신기와 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 송수신기를 이용하여 기지국으로부터 채널 상태 정보 측정을 위한 참조 신호를 수신하고,
    상기 수신된 참조신호에 기초하여 측정을 수행하고,
    상기 수행된 측정에 기초하여 상기 기지국으로 측정 보고를 수행하고, 및
    상기 측정 보고에 기초하여 상기 기지국에 의해 결정된 드롭 아웃 레이트 및 서브 넷 정보를 수신하여 학습을 수행하는, 단말.
  15. 무선 통신 시스템의 기지국에 있어서,
    송수신기; 및
    상기 송수신기와 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 송수신기를 이용하여 적어도 하나 이상의 단말들로 채널 상태 정보 측정을 위한 참조 신호를 전송하고,
    상기 적어도 하나 이상의 단말들로부터 측정된 측정 보고 정보를 수신하고,
    상기 적어도 하나 이상의 단말들 각각에 대한 드롭 아웃 레이트 및 서브 넷을 결정하고, 및
    상기 적어도 하나 이상의 단말들 각각으로 결정된 드롭 아웃 레이트 및 서브 넷 정보를 전송하는, 기지국.
  16. 적어도 하나의 메모리 및 상기 적어도 하나의 메모리들과 기능적으로 연결되어 있는 적어도 하나의 프로세서를 포함하는 장치에 있어서,
    상기 적어도 하나의 프로세서는 상기 장치가,
    상기 기지국으로부터 채널 상태 정보 측정을 위한 참조 신호를 수신하고,
    상기 수신된 참조신호에 기초하여 측정을 수행하고,
    상기 수행된 측정에 기초하여 상기 기지국으로 측정 보고를 수행하고, 및
    상기 측정 보고에 기초하여 상기 기지국에 의해 결정된 드롭 아웃 레이트 및 서브 넷 정보를 수신하여 학습을 수행하는, 장치.
  17. 적어도 하나의 명령어(instructions)을 저장하는 비-일시적인(non-transitory) 컴퓨터 판독 가능 매체(computer-readable medium)에 있어서,
    프로세서에 의해 실행 가능한(executable) 상기 적어도 하나의 명령어를 포함하며,
    상기 적어도 하나의 명령어는,
    상기 기지국으로부터 채널 상태 정보 측정을 위한 참조 신호를 수신하고,
    상기 수신된 참조신호에 기초하여 측정을 수행하고,
    상기 수행된 측정에 기초하여 상기 기지국으로 측정 보고를 수행하고, 및
    상기 측정 보고에 기초하여 상기 기지국에 의해 결정된 드롭 아웃 레이트 및 서브 넷 정보를 수신하여 학습을 수행하도록 제어하는, 컴퓨터 판독 가능 매체.
PCT/KR2022/007049 2021-08-02 2022-05-17 무선 통신 시스템에서 데이터 학습을 수행하는 방법 및 장치 WO2023013857A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210101487 2021-08-02
KR10-2021-0101487 2021-08-02

Publications (1)

Publication Number Publication Date
WO2023013857A1 true WO2023013857A1 (ko) 2023-02-09

Family

ID=85156016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/007049 WO2023013857A1 (ko) 2021-08-02 2022-05-17 무선 통신 시스템에서 데이터 학습을 수행하는 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2023013857A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210080756A (ko) * 2019-12-23 2021-07-01 주식회사 제로원에이아이 인공지능 모델의 분산 학습 기법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210080756A (ko) * 2019-12-23 2021-07-01 주식회사 제로원에이아이 인공지능 모델의 분산 학습 기법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BOUACIDA NADER; HOU JIAHUI; ZANG HUI; LIU XIN: "Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning", IEEE INFOCOM 2021 - IEEE CONFERENCE ON COMPUTER COMMUNICATIONS WORKSHOPS (INFOCOM WKSHPS), IEEE, 10 May 2021 (2021-05-10), pages 1 - 6, XP033944198, DOI: 10.1109/INFOCOMWKSHPS51825.2021.9484526 *
SAMUEL HORVATH; STEFANOS LASKARIDIS; MARIO ALMEIDA; ILIAS LEONTIADIS; STYLIANOS I. VENIERIS; NICHOLAS D. LANE: "FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 4 June 2021 (2021-06-04), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081979363 *
WADU MADHUSANKA MANIMEL, SAMARAKOON SUMUDU, BENNIS MEHDI: "Federated Learning under Channel Uncertainty: Joint Client Scheduling and Resource Allocation", ARXIV.ORG, 6 February 2020 (2020-02-06), pages 1 - 6, XP093032827, DOI: 10.48550/arXiv.2002.00802 *
WEN DINGZHU; JEON KI-JUN; HUANG KAIBIN: "Federated Dropout—A Simple Approach for Enabling Federated Learning on Resource Constrained Devices", IEEE WIRELESS COMMUNICATIONS LETTERS, IEEE, PISCATAWAY, NJ, USA, vol. 11, no. 5, 8 February 2022 (2022-02-08), Piscataway, NJ, USA , pages 923 - 927, XP011908014, ISSN: 2162-2337, DOI: 10.1109/LWC.2022.3149783 *

Similar Documents

Publication Publication Date Title
WO2022039295A1 (ko) 무선 통신 시스템에서 하향링크를 전처리하는 방법 및 이를 위한 장치
WO2022050468A1 (ko) 무선 통신 시스템에서 연합학습을 수행하는 방법 및 이를 위한 장치
WO2022092859A1 (ko) 무선 통신 시스템에서 스플릿 포인트 조정을 위한 장치 및 방법
WO2023101304A1 (ko) 무선 통신 시스템에서 통신을 수행하는 방법 및 장치
WO2024048816A1 (ko) 무선 통신 시스템에서 신호를 송수신하기 위한 장치 및 방법
WO2022139230A1 (ko) 무선 통신 시스템에서 스플릿 포인트를 조정하는 방법 및 장치
WO2023013857A1 (ko) 무선 통신 시스템에서 데이터 학습을 수행하는 방법 및 장치
WO2023042938A1 (ko) 무선 통신 시스템에서 반사판을 통해 신호를 전송하는 방법 및 장치
WO2023101303A1 (ko) 무선 통신 시스템에서 통신을 수행하는 방법 및 장치
WO2023277218A1 (ko) 무선 통신 시스템에서 반사판을 통해 신호를 전송하는 방법 및 장치
WO2022124729A1 (ko) 무선 통신 시스템에서 신호 전송을 위한 장치 및 방법
WO2023042937A1 (ko) 무선 통신 시스템에서 메타렌즈 인공지능 시스템에 기초하여 신호를 송수신하는 방법 및 장치
WO2024010103A1 (ko) 무선 통신 시스템에서 자원 요청을 수행하는 방법 및 장치
WO2022092905A1 (ko) 무선 통신 시스템에서 신호 전송을 위한 장치 및 방법
WO2022119424A1 (ko) 무선 통신 시스템에서 신호 전송을 위한 장치 및 방법
WO2023120768A1 (ko) 무선 통신 시스템에서 신호 전송을 위한 장치 및 방법
WO2023042941A1 (ko) 무선 통신 시스템에서 신호 전송 방법 및 장치
WO2024117296A1 (ko) 무선 통신 시스템에서 조절 가능한 파라미터를 가지는 송수신기를 이용하여 신호를 송수신하기 위한 방법 및 장치
WO2023120781A1 (ko) 무선 통신 시스템에서 신호 전송을 위한 장치 및 방법
WO2023022251A1 (ko) 무선 통신 시스템에서 신호 전송 방법 및 장치
WO2023017882A1 (ko) 무선 통신 시스템에서 배터리 효율을 고려하여 무선 접속 기술을 선택하기 위한 장치 및 방법
WO2024096143A1 (ko) 무선 통신 시스템에서 자원을 결정하기 위한 방법 및 장치
WO2024048803A1 (ko) 무선 통신 시스템에서 불연속 수신 동작에 관련된 파라미터를 설정하기 위한 장치 및 방법
WO2023033421A1 (ko) 무선 통신 시스템에서 폴라 코드 기반의 인코더를 설정하기 위한 장치 및 방법
WO2022231084A1 (ko) 무선 통신 시스템에서 신호 전송 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22853237

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22853237

Country of ref document: EP

Kind code of ref document: A1