WO2022050432A1 - 통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치 - Google Patents

통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치 Download PDF

Info

Publication number
WO2022050432A1
WO2022050432A1 PCT/KR2020/011713 KR2020011713W WO2022050432A1 WO 2022050432 A1 WO2022050432 A1 WO 2022050432A1 KR 2020011713 W KR2020011713 W KR 2020011713W WO 2022050432 A1 WO2022050432 A1 WO 2022050432A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
information
layer
global model
data
Prior art date
Application number
PCT/KR2020/011713
Other languages
English (en)
French (fr)
Inventor
김일환
이종구
이명희
김성진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020237011100A priority Critical patent/KR20230066020A/ko
Priority to PCT/KR2020/011713 priority patent/WO2022050432A1/ko
Publication of WO2022050432A1 publication Critical patent/WO2022050432A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W74/00—Wireless channel access, e.g. scheduled or random access
    • H04W74/08—Non-scheduled or contention based access, e.g. random access, ALOHA, CSMA [Carrier Sense Multiple Access]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup

Definitions

  • the following description relates to a communication system, and to a method and apparatus for performing federated learning in a communication system.
  • a wireless access system is a multiple access system that can support communication with multiple users by sharing available system resources (bandwidth, transmission power, etc.).
  • Examples of the multiple access system include a code division multiple access (CDMA) system, a frequency division multiple access (FDMA) system, a time division multiple access (TDMA) system, an orthogonal frequency division multiple access (OFDMA) system, and a single carrier frequency (SC-FDMA) system. division multiple access) systems.
  • CDMA code division multiple access
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • OFDMA orthogonal frequency division multiple access
  • SC-FDMA single carrier frequency division multiple access
  • an enhanced mobile broadband (eMBB) communication technology has been proposed compared to the existing radio access technology (RAT).
  • eMBB enhanced mobile broadband
  • RAT radio access technology
  • UE reliability and latency sensitive services/user equipment
  • mMTC massive machine type communications
  • the present disclosure relates to a method and apparatus for efficiently performing federated learning in a communication system.
  • the present disclosure relates to a method and apparatus for reducing the computational amount of federated learning in a communication system.
  • the present disclosure relates to a method and apparatus for reducing the amount of information transferred from a client to a server according to federated learning in a communication system.
  • a method of operating a terminal in a communication system includes receiving configuration information including global model information, determining at least one of the layers of the global model, using local data
  • the method may include generating a local model by performing learning on the at least one layer, and transmitting information related to a weight change amount of connections related to the at least one layer.
  • a method of operating a server in a communication system includes transmitting configuration information including global model information to a terminal, and as a result of learning about at least one layer that is a part of the global model layers, the The method may include receiving information related to a weight change amount of connections related to at least one layer from the terminal, and updating the global model based on the weight change amount.
  • a terminal in a communication system includes a transceiver and a processor connected to the transceiver.
  • the processor receives setting information including global model information, determines at least one layer among the layers of the global model, and performs learning on the at least one layer using local data to create a local model. and control to transmit information related to a weight change amount of connections related to the at least one layer.
  • a server in a communication system, includes a transceiver and a processor connected to the transceiver.
  • the processor transmits configuration information including global model information to the terminal, and as a result of learning on at least one layer that is a part of the layers of the global model, information related to a weight change amount of connections related to the at least one layer may be received from the terminal and control to update the global model based on the weight change amount.
  • the amount of computation of federated learning and the amount of information fed back from the client by federated learning may be reduced.
  • FIG. 1 is a diagram illustrating an example of a communication system applied to the present disclosure.
  • FIG. 2 is a diagram illustrating an example of a wireless device applicable to the present disclosure.
  • FIG. 3 is a diagram illustrating another example of a wireless device applied to the present disclosure.
  • FIG. 4 is a diagram illustrating an example of a mobile device applied to the present disclosure.
  • FIG. 5 is a diagram illustrating an example of a vehicle or autonomous driving vehicle applied to the present disclosure.
  • FIG. 6 is a diagram illustrating an example of a movable body applied to the present disclosure.
  • FIG. 7 is a diagram illustrating an example of an XR device applied to the present disclosure.
  • FIG. 8 is a diagram illustrating an example of a robot applied to the present disclosure.
  • AI artificial intelligence
  • FIG. 10 is a diagram illustrating physical channels applied to the present disclosure and a signal transmission method using the same.
  • FIG. 11 is a diagram illustrating a control plane and a user plane structure of a radio interface protocol applied to the present disclosure.
  • FIG. 12 is a diagram illustrating a method of processing a transmission signal applied to the present disclosure.
  • FIG. 13 is a diagram illustrating a structure of a radio frame applicable to the present disclosure.
  • FIG. 14 is a diagram illustrating a slot structure applicable to the present disclosure.
  • 15 is a diagram illustrating an example of a communication structure that can be provided in a 6G system applicable to the present disclosure.
  • 16 is a diagram illustrating an electromagnetic spectrum applicable to the present disclosure.
  • 17 is a diagram illustrating a THz communication method applicable to the present disclosure.
  • FIG. 18 is a diagram illustrating a THz wireless communication transceiver applicable to the present disclosure.
  • FIG. 19 is a diagram illustrating a method for generating a THz signal applicable to the present disclosure.
  • 20 is a diagram illustrating a wireless communication transceiver applicable to the present disclosure.
  • 21 is a diagram illustrating a structure of a transmitter applicable to the present disclosure.
  • 22 is a diagram illustrating a modulator structure applicable to the present disclosure.
  • FIG. 23 is a diagram illustrating a structure of a perceptron included in an artificial neural network applicable to the present disclosure.
  • 24 is a diagram illustrating an artificial neural network structure applicable to the present disclosure.
  • 25 is a diagram illustrating a deep neural network applicable to the present disclosure.
  • 26 is a diagram illustrating a convolutional neural network applicable to the present disclosure.
  • FIG. 27 is a diagram illustrating a filter operation of a convolutional neural network applicable to the present disclosure.
  • FIG. 28 is a diagram illustrating a neural network structure in which a cyclic loop applicable to the present disclosure exists.
  • 29 is a diagram illustrating an operation structure of a recurrent neural network applicable to the present disclosure.
  • 30 is a diagram illustrating the concept of associative learning applicable to the present disclosure.
  • 31 is a diagram showing an example of a protocol of associative learning applicable to the present disclosure.
  • FIG. 32 is a diagram illustrating an embodiment of a procedure for performing federated learning in a terminal applicable to the present disclosure.
  • 33 is a diagram illustrating an embodiment of a procedure for performing federated learning in a server applicable to the present disclosure.
  • 34 is a diagram illustrating an embodiment of a procedure for performing learning on some layers based on characteristics of local data in a terminal applicable to the present disclosure.
  • 35 is a diagram illustrating an embodiment of a procedure for determining characteristics of local data in a terminal applicable to the present disclosure.
  • 36 is a diagram illustrating an embodiment of a procedure for adaptively performing learning based on characteristics of local data in a terminal applicable to the present disclosure.
  • FIG. 37 is a diagram illustrating an embodiment of a procedure for adjusting a range of partial learning in a terminal applicable to the present disclosure.
  • 38 is a diagram illustrating an embodiment of a procedure for updating a global model in a server applicable to the present disclosure.
  • 39 is a diagram illustrating an example of a federated learning protocol including evaluation for a model applicable to the present disclosure.
  • FIG. 40 is a diagram illustrating another example of a federated learning protocol including evaluation for a model applicable to the present disclosure.
  • 41 is a diagram illustrating an embodiment of a procedure for performing federated learning including evaluation of a model in a server applicable to the present disclosure.
  • FIG. 42 is a diagram illustrating an embodiment of a procedure for updating reference values for classifying characteristics of local data in a server applicable to the present disclosure.
  • 43 is a diagram illustrating an example of signal exchange for joint learning of a server and terminals according to an operation scenario applicable to the present disclosure.
  • each component or feature may be considered optional unless explicitly stated otherwise.
  • Each component or feature may be implemented in a form that is not combined with other components or features.
  • some components and/or features may be combined to configure an embodiment of the present disclosure.
  • the order of operations described in embodiments of the present disclosure may be changed. Some configurations or features of one embodiment may be included in other embodiments, or may be replaced with corresponding configurations or features of other embodiments.
  • the base station has a meaning as a terminal node of a network that directly communicates with the mobile station.
  • a specific operation described as being performed by the base station in this document may be performed by an upper node of the base station in some cases.
  • the 'base station' is a term such as a fixed station, a Node B, an eNB (eNode B), a gNB (gNode B), an ng-eNB, an advanced base station (ABS) or an access point (access point).
  • eNode B eNode B
  • gNode B gNode B
  • ng-eNB ng-eNB
  • ABS advanced base station
  • access point access point
  • a terminal includes a user equipment (UE), a mobile station (MS), a subscriber station (SS), a mobile subscriber station (MSS), It may be replaced by terms such as a mobile terminal or an advanced mobile station (AMS).
  • UE user equipment
  • MS mobile station
  • SS subscriber station
  • MSS mobile subscriber station
  • AMS advanced mobile station
  • a transmitting end refers to a fixed and/or mobile node that provides a data service or a voice service
  • a receiving end refers to a fixed and/or mobile node that receives a data service or a voice service.
  • the mobile station may be a transmitting end, and the base station may be a receiving end.
  • the mobile station may be the receiving end, and the base station may be the transmitting end.
  • Embodiments of the present disclosure are wireless access systems IEEE 802.xx system, 3rd Generation Partnership Project (3GPP) system, 3GPP Long Term Evolution (LTE) system, 3GPP 5G ( 5th generation) NR (New Radio) system, and 3GPP2 system It may be supported by standard documents disclosed in at least one of, in particular, embodiments of the present disclosure by 3GPP TS (technical specification) 38.211, 3GPP TS 38.212, 3GPP TS 38.213, 3GPP TS 38.321 and 3GPP TS 38.331 documents. can be supported
  • embodiments of the present disclosure may be applied to other wireless access systems, and are not limited to the above-described system. As an example, it may be applicable to a system applied after the 3GPP 5G NR system, and is not limited to a specific system.
  • CDMA code division multiple access
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • OFDMA orthogonal frequency division multiple access
  • SC-FDMA single carrier frequency division multiple access
  • LTE may mean 3GPP TS 36.xxx Release 8 or later technology.
  • LTE technology after 3GPP TS 36.xxx Release 10 may be referred to as LTE-A
  • LTE technology after 3GPP TS 36.xxx Release 13 may be referred to as LTE-A pro.
  • 3GPP NR may refer to technology after TS 38.xxx Release 15.
  • 3GPP 6G may refer to technology after TS Release 17 and/or Release 18.
  • "xxx" stands for standard document detail number.
  • LTE/NR/6G may be collectively referred to as a 3GPP system.
  • FIG. 1 is a diagram illustrating an example of a communication system applied to the present disclosure.
  • a communication system 100 applied to the present disclosure includes a wireless device, a base station, and a network.
  • the wireless device means a device that performs communication using a wireless access technology (eg, 5G NR, LTE), and may be referred to as a communication/wireless/5G device.
  • the wireless device may include a robot 100a, a vehicle 100b-1, 100b-2, an extended reality (XR) device 100c, a hand-held device 100d, and a home appliance. appliance) 100e, an Internet of Things (IoT) device 100f, and an artificial intelligence (AI) device/server 100g.
  • a wireless access technology eg, 5G NR, LTE
  • XR extended reality
  • IoT Internet of Things
  • AI artificial intelligence
  • the vehicle may include a vehicle equipped with a wireless communication function, an autonomous driving vehicle, a vehicle capable of performing inter-vehicle communication, and the like.
  • the vehicles 100b-1 and 100b-2 may include an unmanned aerial vehicle (UAV) (eg, a drone).
  • UAV unmanned aerial vehicle
  • the XR device 100c includes augmented reality (AR)/virtual reality (VR)/mixed reality (MR) devices, and includes a head-mounted device (HMD), a head-up display (HUD) provided in a vehicle, a television, It may be implemented in the form of a smart phone, a computer, a wearable device, a home appliance, a digital signage, a vehicle, a robot, and the like.
  • the portable device 100d may include a smart phone, a smart pad, a wearable device (eg, smart watch, smart glasses), and a computer (eg, a laptop computer).
  • the home appliance 100e may include a TV, a refrigerator, a washing machine, and the like.
  • the IoT device 100f may include a sensor, a smart meter, and the like.
  • the base station 120 and the network 130 may be implemented as a wireless device, and a specific wireless device 120a may operate as a base station/network node to other wireless devices.
  • the wireless devices 100a to 100f may be connected to the network 130 through the base station 120 .
  • AI technology may be applied to the wireless devices 100a to 100f , and the wireless devices 100a to 100f may be connected to the AI server 100g through the network 130 .
  • the network 130 may be configured using a 3G network, a 4G (eg, LTE) network, or a 5G (eg, NR) network.
  • the wireless devices 100a to 100f may communicate with each other through the base station 120/network 130, but communicate directly without going through the base station 120/network 130 (eg, sidelink communication) You may.
  • the vehicles 100b-1 and 100b-2 may perform direct communication (eg, vehicle to vehicle (V2V)/vehicle to everything (V2X) communication).
  • the IoT device 100f eg, a sensor
  • Wireless communication/connection 150a, 150b, and 150c may be performed between the wireless devices 100a to 100f/base station 120 and the base station 120/base station 120 .
  • wireless communication/connection includes uplink/downlink communication 150a and sidelink communication 150b (or D2D communication), and communication between base stations 150c (eg, relay, integrated access backhaul (IAB)). This may be achieved through radio access technology (eg, 5G NR).
  • IAB integrated access backhaul
  • the wireless device and the base station/wireless device, and the base station and the base station may transmit/receive wireless signals to each other.
  • the wireless communication/connection 150a , 150b , 150c may transmit/receive signals through various physical channels.
  • various configuration information setting processes for transmission/reception of wireless signals various signal processing processes (eg, channel encoding/decoding, modulation/demodulation, resource mapping/demapping, etc.) , at least a part of a resource allocation process may be performed.
  • signal processing processes eg, channel encoding/decoding, modulation/demodulation, resource mapping/demapping, etc.
  • FIG. 2 is a diagram illustrating an example of a wireless device applicable to the present disclosure.
  • a first wireless device 200a and a second wireless device 200b may transmit/receive wireless signals through various wireless access technologies (eg, LTE, NR).
  • ⁇ first wireless device 200a, second wireless device 200b ⁇ is ⁇ wireless device 100x, base station 120 ⁇ of FIG. 1 and/or ⁇ wireless device 100x, wireless device 100x) ⁇ can be matched.
  • the first wireless device 200a includes one or more processors 202a and one or more memories 204a, and may further include one or more transceivers 206a and/or one or more antennas 208a.
  • the processor 202a controls the memory 204a and/or the transceiver 206a and may be configured to implement the descriptions, functions, procedures, suggestions, methods, and/or operational flowcharts disclosed herein.
  • the processor 202a may process information in the memory 204a to generate first information/signal, and then transmit a wireless signal including the first information/signal through the transceiver 206a.
  • the processor 202a may receive the radio signal including the second information/signal through the transceiver 206a, and then store the information obtained from the signal processing of the second information/signal in the memory 204a.
  • the memory 204a may be connected to the processor 202a and may store various information related to the operation of the processor 202a.
  • the memory 204a may provide instructions for performing some or all of the processes controlled by the processor 202a, or for performing the descriptions, functions, procedures, suggestions, methods, and/or operational flowcharts disclosed herein. may store software code including
  • the processor 202a and the memory 204a may be part of a communication modem/circuit/chip designed to implement a wireless communication technology (eg, LTE, NR).
  • a wireless communication technology eg, LTE, NR
  • the transceiver 206a may be coupled to the processor 202a and may transmit and/or receive wireless signals via one or more antennas 208a.
  • the transceiver 206a may include a transmitter and/or a receiver.
  • the transceiver 206a may be used interchangeably with a radio frequency (RF) unit.
  • RF radio frequency
  • a wireless device may refer to a communication modem/circuit/chip.
  • the second wireless device 200b includes one or more processors 202b, one or more memories 204b, and may further include one or more transceivers 206b and/or one or more antennas 208b.
  • the processor 202b controls the memory 204b and/or the transceiver 206b and may be configured to implement the descriptions, functions, procedures, proposals, methods, and/or operational flowcharts disclosed herein.
  • the processor 202b may process information in the memory 204b to generate third information/signal, and then transmit a wireless signal including the third information/signal through the transceiver 206b.
  • the processor 202b may receive the radio signal including the fourth information/signal through the transceiver 206b, and then store information obtained from signal processing of the fourth information/signal in the memory 204b.
  • the memory 204b may be connected to the processor 202b and may store various information related to the operation of the processor 202b.
  • the memory 204b may provide instructions for performing some or all of the processes controlled by the processor 202b, or for performing the descriptions, functions, procedures, suggestions, methods, and/or operational flowcharts disclosed herein. may store software code including
  • the processor 202b and the memory 204b may be part of a communication modem/circuit/chip designed to implement a wireless communication technology (eg, LTE, NR).
  • a wireless communication technology eg, LTE, NR
  • the transceiver 206b may be coupled to the processor 202b and may transmit and/or receive wireless signals via one or more antennas 208b.
  • Transceiver 206b may include a transmitter and/or receiver.
  • Transceiver 206b may be used interchangeably with an RF unit.
  • a wireless device may refer to a communication modem/circuit/chip.
  • one or more protocol layers may be implemented by one or more processors 202a, 202b.
  • one or more processors 202a, 202b may include one or more layers (eg, PHY (physical), MAC (media access control), RLC (radio link control), PDCP (packet data convergence protocol), RRC (radio resource) control) and a functional layer such as service data adaptation protocol (SDAP)).
  • layers eg, PHY (physical), MAC (media access control), RLC (radio link control), PDCP (packet data convergence protocol), RRC (radio resource) control
  • SDAP service data adaptation protocol
  • the one or more processors 202a, 202b may be configured to process one or more protocol data units (PDUs) and/or one or more service data units (SDUs) according to the descriptions, functions, procedures, proposals, methods, and/or operational flowcharts disclosed herein. can create The one or more processors 202a, 202b may generate messages, control information, data, or information according to the description, function, procedure, proposal, method, and/or flow charts disclosed herein. The one or more processors 202a, 202b generate a signal (eg, a baseband signal) including a PDU, SDU, message, control information, data or information according to the functions, procedures, proposals and/or methods disclosed herein.
  • a signal eg, a baseband signal
  • processors 202a, 202b may receive signals (eg, baseband signals) from one or more transceivers 206a, 206b, and the descriptions, functions, procedures, proposals, methods, and/or flowcharts of operation disclosed herein.
  • PDUs, SDUs, messages, control information, data, or information may be acquired according to the fields.
  • One or more processors 202a, 202b may be referred to as a controller, microcontroller, microprocessor, or microcomputer.
  • One or more processors 202a, 202b may be implemented by hardware, firmware, software, or a combination thereof.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • firmware or software may be implemented using firmware or software, and the firmware or software may be implemented to include modules, procedures, functions, and the like.
  • the descriptions, functions, procedures, proposals, methods, and/or flow charts disclosed in this document provide that firmware or software configured to perform is included in one or more processors 202a, 202b, or stored in one or more memories 204a, 204b. It may be driven by the above processors 202a and 202b.
  • the descriptions, functions, procedures, proposals, methods, and/or flowcharts of operations disclosed herein may be implemented using firmware or software in the form of code, instructions, and/or a set of instructions.
  • One or more memories 204a, 204b may be coupled to one or more processors 202a, 202b and may store various types of data, signals, messages, information, programs, codes, instructions, and/or instructions.
  • One or more memories 204a, 204b may include read only memory (ROM), random access memory (RAM), erasable programmable read only memory (EPROM), flash memory, hard drives, registers, cache memory, computer readable storage media and/or It may be composed of a combination of these.
  • One or more memories 204a, 204b may be located inside and/or external to one or more processors 202a, 202b. Additionally, one or more memories 204a, 204b may be coupled to one or more processors 202a, 202b through various technologies, such as wired or wireless connections.
  • the one or more transceivers 206a, 206b may transmit user data, control information, radio signals/channels, etc. referred to in the methods and/or operational flowcharts of this document to one or more other devices.
  • the one or more transceivers 206a, 206b may receive user data, control information, radio signals/channels, etc. referred to in the descriptions, functions, procedures, suggestions, methods and/or flow charts, etc. disclosed herein, from one or more other devices. there is.
  • one or more transceivers 206a , 206b may be coupled to one or more processors 202a , 202b and may transmit and receive wireless signals.
  • one or more processors 202a, 202b may control one or more transceivers 206a, 206b to transmit user data, control information, or wireless signals to one or more other devices. Additionally, one or more processors 202a, 202b may control one or more transceivers 206a, 206b to receive user data, control information, or wireless signals from one or more other devices. Further, one or more transceivers 206a, 206b may be coupled with one or more antennas 208a, 208b, and the one or more transceivers 206a, 206b may be connected via one or more antennas 208a, 208b. , may be set to transmit and receive user data, control information, radio signals/channels, etc.
  • one or more antennas may be a plurality of physical antennas or a plurality of logical antennas (eg, antenna ports).
  • the one or more transceivers 206a, 206b converts the received radio signal/channel, etc. from the RF band signal to process the received user data, control information, radio signal/channel, etc. using the one or more processors 202a, 202b. It can be converted into a baseband signal.
  • One or more transceivers 206a, 206b may convert user data, control information, radio signals/channels, etc. processed using one or more processors 202a, 202b from baseband signals to RF band signals.
  • one or more transceivers 206a, 206b may include (analog) oscillators and/or filters.
  • FIG. 3 is a diagram illustrating another example of a wireless device applied to the present disclosure.
  • a wireless device 300 corresponds to the wireless devices 200a and 200b of FIG. 2 , and includes various elements, components, units/units, and/or modules. ) can be composed of
  • the wireless device 300 may include a communication unit 310 , a control unit 320 , a memory unit 330 , and an additional element 340 .
  • the communication unit may include communication circuitry 312 and transceiver(s) 314 .
  • communication circuitry 312 may include one or more processors 202a, 202b and/or one or more memories 204a, 204b of FIG. 2 .
  • the transceiver(s) 314 may include one or more transceivers 206a , 206b and/or one or more antennas 208a , 208b of FIG. 2 .
  • the control unit 320 is electrically connected to the communication unit 310 , the memory unit 330 , and the additional element 340 and controls general operations of the wireless device.
  • the controller 320 may control the electrical/mechanical operation of the wireless device based on the program/code/command/information stored in the memory unit 330 .
  • control unit 320 transmits the information stored in the memory unit 330 to the outside (eg, another communication device) through the communication unit 310 through a wireless/wired interface, or externally (eg, through the communication unit 310 ) Information received through a wireless/wired interface from another communication device) may be stored in the memory unit 330 .
  • the additional element 340 may be configured in various ways according to the type of the wireless device.
  • the additional element 340 may include at least one of a power unit/battery, an input/output unit, a driving unit, and a computing unit.
  • the wireless device 300 may include a robot ( FIGS. 1 and 100a ), a vehicle ( FIGS. 1 , 100b-1 , 100b-2 ), an XR device ( FIGS. 1 and 100c ), and a mobile device ( FIGS. 1 and 100d ). ), home appliances (FIG. 1, 100e), IoT device (FIG.
  • the wireless device may be mobile or used in a fixed location depending on the use-example/service.
  • various elements, components, units/units, and/or modules in the wireless device 300 may be all interconnected through a wired interface, or at least some may be wirelessly connected through the communication unit 310 .
  • the control unit 320 and the communication unit 310 are connected by wire, and the control unit 320 and the first unit (eg, 130 , 140 ) are connected wirelessly through the communication unit 310 .
  • each element, component, unit/unit, and/or module within the wireless device 300 may further include one or more elements.
  • the controller 320 may include one or more processor sets.
  • control unit 320 may be configured as a set of a communication control processor, an application processor, an electronic control unit (ECU), a graphic processing processor, a memory control processor, and the like.
  • memory unit 330 may include RAM, dynamic RAM (DRAM), ROM, flash memory, volatile memory, non-volatile memory, and/or a combination thereof. can be configured.
  • FIG. 4 is a diagram illustrating an example of a mobile device applied to the present disclosure.
  • the portable device may include a smart phone, a smart pad, a wearable device (eg, a smart watch, smart glasses), and a portable computer (eg, a laptop computer).
  • the mobile device may be referred to as a mobile station (MS), a user terminal (UT), a mobile subscriber station (MSS), a subscriber station (SS), an advanced mobile station (AMS), or a wireless terminal (WT).
  • MS mobile station
  • UT user terminal
  • MSS mobile subscriber station
  • SS subscriber station
  • AMS advanced mobile station
  • WT wireless terminal
  • the mobile device 400 includes an antenna unit 408 , a communication unit 410 , a control unit 420 , a memory unit 430 , a power supply unit 440a , an interface unit 440b , and an input/output unit 440c .
  • the antenna unit 408 may be configured as a part of the communication unit 410 .
  • Blocks 410 to 430/440a to 440c respectively correspond to blocks 310 to 330/340 of FIG. 3 .
  • the communication unit 410 may transmit and receive signals (eg, data, control signals, etc.) with other wireless devices and base stations.
  • the controller 420 may control components of the portable device 400 to perform various operations.
  • the controller 420 may include an application processor (AP).
  • the memory unit 430 may store data/parameters/programs/codes/commands necessary for driving the portable device 400 . Also, the memory unit 430 may store input/output data/information.
  • the power supply unit 440a supplies power to the portable device 400 and may include a wired/wireless charging circuit, a battery, and the like.
  • the interface unit 440b may support a connection between the portable device 400 and other external devices.
  • the interface unit 440b may include various ports (eg, an audio input/output port and a video input/output port) for connection with an external device.
  • the input/output unit 440c may receive or output image information/signal, audio information/signal, data, and/or information input from a user.
  • the input/output unit 440c may include a camera, a microphone, a user input unit, a display unit 440d, a speaker, and/or a haptic module.
  • the input/output unit 440c obtains information/signals (eg, touch, text, voice, image, video) input from the user, and the obtained information/signals are stored in the memory unit 430 . can be saved.
  • the communication unit 410 may convert the information/signal stored in the memory into a wireless signal, and transmit the converted wireless signal directly to another wireless device or to a base station. Also, after receiving a radio signal from another radio device or base station, the communication unit 410 may restore the received radio signal to original information/signal.
  • the restored information/signal may be stored in the memory unit 430 and output in various forms (eg, text, voice, image, video, haptic) through the input/output unit 440c.
  • FIG. 5 is a diagram illustrating an example of a vehicle or autonomous driving vehicle applied to the present disclosure.
  • the vehicle or autonomous driving vehicle may be implemented as a mobile robot, a vehicle, a train, an aerial vehicle (AV), a ship, and the like, but is not limited to the shape of the vehicle.
  • AV aerial vehicle
  • the vehicle or autonomous driving vehicle 500 includes an antenna unit 508 , a communication unit 510 , a control unit 520 , a driving unit 540a , a power supply unit 540b , a sensor unit 540c and autonomous driving.
  • a unit 540d may be included.
  • the antenna unit 550 may be configured as a part of the communication unit 510 .
  • Blocks 510/530/540a to 540d respectively correspond to blocks 410/430/440 of FIG. 4 .
  • the communication unit 510 may transmit/receive signals (eg, data, control signals, etc.) to and from external devices such as other vehicles, base stations (eg, base stations, roadside units, etc.), and servers.
  • the controller 520 may control elements of the vehicle or the autonomous driving vehicle 500 to perform various operations.
  • the controller 520 may include an electronic control unit (ECU).
  • the driving unit 540a may cause the vehicle or the autonomous driving vehicle 500 to run on the ground.
  • the driving unit 540a may include an engine, a motor, a power train, a wheel, a brake, a steering device, and the like.
  • the power supply unit 540b supplies power to the vehicle or the autonomous driving vehicle 500 , and may include a wired/wireless charging circuit, a battery, and the like.
  • the sensor unit 540c may obtain vehicle state, surrounding environment information, user information, and the like.
  • the sensor unit 540c includes an inertial measurement unit (IMU) sensor, a collision sensor, a wheel sensor, a speed sensor, an inclination sensor, a weight sensor, a heading sensor, a position module, and a vehicle forward movement.
  • IMU inertial measurement unit
  • a collision sensor a wheel sensor
  • a speed sensor a speed sensor
  • an inclination sensor a weight sensor
  • a heading sensor a position module
  • a vehicle forward movement / may include a reverse sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor, a temperature sensor, a humidity sensor, an ultrasonic sensor, an illuminance sensor, a pedal position sensor, and the like.
  • the autonomous driving unit 540d includes a technology for maintaining a driving lane, a technology for automatically adjusting speed such as adaptive cruise control, a technology for automatically driving along a predetermined route, and a technology for automatically setting a route when a destination is set. technology can be implemented.
  • the communication unit 510 may receive map data, traffic information data, and the like from an external server.
  • the autonomous driving unit 540d may generate an autonomous driving route and a driving plan based on the acquired data.
  • the controller 520 may control the driving unit 540a to move the vehicle or the autonomous driving vehicle 500 along the autonomous driving path (eg, speed/direction adjustment) according to the driving plan.
  • the communication unit 510 may obtain the latest traffic information data from an external server non/periodically, and may acquire surrounding traffic information data from surrounding vehicles.
  • the sensor unit 540c may acquire vehicle state and surrounding environment information.
  • the autonomous driving unit 540d may update the autonomous driving route and driving plan based on the newly acquired data/information.
  • the communication unit 510 may transmit information about a vehicle location, an autonomous driving route, a driving plan, and the like to an external server.
  • the external server may predict traffic information data in advance using AI technology or the like based on information collected from the vehicle or autonomous vehicles, and may provide the predicted traffic information data to the vehicle or autonomous vehicles.
  • FIG. 6 is a diagram illustrating an example of a movable body applied to the present disclosure.
  • the moving object applied to the present disclosure may be implemented as at least any one of means of transport, train, aircraft, and ship.
  • the movable body applied to the present disclosure may be implemented in other forms, and is not limited to the above-described embodiment.
  • the mobile unit 600 may include a communication unit 610 , a control unit 620 , a memory unit 630 , an input/output unit 640a , and a position measurement unit 640b .
  • blocks 610 to 630/640a to 640b correspond to blocks 310 to 330/340 of FIG. 3 , respectively.
  • the communication unit 610 may transmit/receive signals (eg, data, control signals, etc.) with other mobile devices or external devices such as a base station.
  • the controller 620 may perform various operations by controlling the components of the movable body 600 .
  • the memory unit 630 may store data/parameters/programs/codes/commands supporting various functions of the mobile unit 600 .
  • the input/output unit 640a may output an AR/VR object based on information in the memory unit 630 .
  • the input/output unit 640a may include a HUD.
  • the position measuring unit 640b may acquire position information of the moving object 600 .
  • the location information may include absolute location information of the moving object 600 , location information within a driving line, acceleration information, and location information with a surrounding vehicle.
  • the position measuring unit 640b may include a GPS and various sensors.
  • the communication unit 610 of the mobile unit 600 may receive map information, traffic information, and the like from an external server and store it in the memory unit 630 .
  • the position measurement unit 640b may obtain information about the location of the moving object through GPS and various sensors and store it in the memory unit 630 .
  • the controller 620 may generate a virtual object based on map information, traffic information, and location information of a moving object, and the input/output unit 640a may display the generated virtual object on a window inside the moving object (651, 652). Also, the control unit 620 may determine whether the moving object 600 is normally operating within the driving line based on the moving object location information.
  • the control unit 620 may display a warning on the glass window of the moving object through the input/output unit 640a. Also, the control unit 620 may broadcast a warning message regarding the driving abnormality to surrounding moving objects through the communication unit 610 . Depending on the situation, the control unit 620 may transmit the location information of the moving object and information on the driving/moving object abnormality to the related organization through the communication unit 610 .
  • the XR device may be implemented as an HMD, a head-up display (HUD) provided in a vehicle, a television, a smart phone, a computer, a wearable device, a home appliance, a digital signage, a vehicle, a robot, and the like.
  • HMD head-up display
  • a television a smart phone
  • a computer a wearable device
  • a home appliance a digital signage
  • a vehicle a robot, and the like.
  • the XR device 700a may include a communication unit 710 , a control unit 720 , a memory unit 730 , an input/output unit 740a , a sensor unit 740b , and a power supply unit 740c .
  • blocks 710 to 730/740a to 740c may correspond to blocks 310 to 330/340 of FIG. 3 , respectively.
  • the communication unit 710 may transmit/receive signals (eg, media data, control signals, etc.) to/from external devices such as other wireless devices, portable devices, or media servers.
  • Media data may include images, images, and sounds.
  • the controller 720 may perform various operations by controlling the components of the XR device 700a.
  • the controller 720 may be configured to control and/or perform procedures such as video/image acquisition, (video/image) encoding, and metadata generation and processing.
  • the memory unit 730 may store data/parameters/programs/codes/commands necessary for driving the XR device 700a/creating an XR object.
  • the input/output unit 740a may obtain control information, data, etc. from the outside, and may output the generated XR object.
  • the input/output unit 740a may include a camera, a microphone, a user input unit, a display unit, a speaker, and/or a haptic module.
  • the sensor unit 740b may obtain an XR device state, surrounding environment information, user information, and the like.
  • the sensor unit 740b includes a proximity sensor, an illuminance sensor, an acceleration sensor, a magnetic sensor, a gyro sensor, an inertial sensor, a red green blue (RGB) sensor, an infrared (IR) sensor, a fingerprint recognition sensor, an ultrasonic sensor, an optical sensor, a microphone and / or radar or the like.
  • the power supply unit 740c supplies power to the XR device 700a, and may include a wired/wireless charging circuit, a battery, and the like.
  • the memory unit 730 of the XR device 700a may include information (eg, data, etc.) necessary for generating an XR object (eg, AR/VR/MR object).
  • the input/output unit 740a may obtain a command to operate the XR device 700a from the user, and the controller 720 may drive the XR device 700a according to the user's driving command. For example, when the user intends to watch a movie or news through the XR device 700a, the controller 720 transmits the content request information through the communication unit 730 to another device (eg, the mobile device 700b) or can be sent to the media server.
  • another device eg, the mobile device 700b
  • the communication unit 730 may download/stream contents such as movies and news from another device (eg, the portable device 700b) or a media server to the memory unit 730 .
  • the controller 720 controls and/or performs procedures such as video/image acquisition, (video/image) encoding, and metadata generation/processing for the content, and is acquired through the input/output unit 740a/sensor unit 740b It is possible to generate/output an XR object based on information about one surrounding space or a real object.
  • the XR device 700a is wirelessly connected to the portable device 700b through the communication unit 710 , and the operation of the XR device 700a may be controlled by the portable device 700b.
  • the portable device 700b may operate as a controller for the XR device 700a.
  • the XR device 700a may obtain 3D location information of the portable device 700b, and then generate and output an XR object corresponding to the portable device 700b.
  • the robot 800 may include a communication unit 810 , a control unit 820 , a memory unit 830 , an input/output unit 840a , a sensor unit 840b , and a driving unit 840c .
  • blocks 810 to 830/840a to 840c may correspond to blocks 310 to 330/340 of FIG. 3 , respectively.
  • the communication unit 810 may transmit and receive signals (eg, driving information, control signals, etc.) with external devices such as other wireless devices, other robots, or control servers.
  • the controller 820 may control components of the robot 800 to perform various operations.
  • the memory unit 830 may store data/parameters/programs/codes/commands supporting various functions of the robot 800 .
  • the input/output unit 840a may obtain information from the outside of the robot 800 and may output information to the outside of the robot 800 .
  • the input/output unit 840a may include a camera, a microphone, a user input unit, a display unit, a speaker, and/or a haptic module.
  • the sensor unit 840b may obtain internal information, surrounding environment information, user information, and the like of the robot 800 .
  • the sensor unit 840b may include a proximity sensor, an illumination sensor, an acceleration sensor, a magnetic sensor, a gyro sensor, an inertial sensor, an IR sensor, a fingerprint recognition sensor, an ultrasonic sensor, an optical sensor, a microphone, a radar, and the like.
  • the driving unit 840c may perform various physical operations, such as moving a robot joint. Also, the driving unit 840c may cause the robot 800 to travel on the ground or to fly in the air.
  • the driving unit 840c may include an actuator, a motor, a wheel, a brake, a propeller, and the like.
  • AI devices include TVs, projectors, smartphones, PCs, laptops, digital broadcasting terminals, tablet PCs, wearable devices, set-top boxes (STBs), radios, washing machines, refrigerators, digital signage, robots, vehicles, etc. It may be implemented as a device or a mobile device.
  • the AI device 900 includes a communication unit 910 , a control unit 920 , a memory unit 930 , input/output units 940a/940b , a learning processor unit 940c and a sensor unit 940d.
  • the communication unit 910 uses wired/wireless communication technology to communicate with external devices such as other AI devices (eg, FIGS. 1, 100x, 120, 140) or an AI server ( FIGS. 1 and 140 ) and wired/wireless signals (eg, sensor information, user input, learning model, control signal, etc.). To this end, the communication unit 910 may transmit information in the memory unit 930 to an external device or transmit a signal received from the external device to the memory unit 930 .
  • AI devices eg, FIGS. 1, 100x, 120, 140
  • an AI server FIGS. 1 and 140
  • wired/wireless signals eg, sensor information, user input, learning model, control signal, etc.
  • the controller 920 may determine at least one executable operation of the AI device 900 based on information determined or generated using a data analysis algorithm or a machine learning algorithm. In addition, the controller 920 may control the components of the AI device 900 to perform the determined operation. For example, the control unit 920 may request, search, receive, or utilize the data of the learning processor unit 940c or the memory unit 930, and may be a predicted operation among at least one executable operation or determined to be preferable. Components of the AI device 900 may be controlled to execute the operation.
  • control unit 920 collects history information including user feedback on the operation contents or operation of the AI device 900 and stores it in the memory unit 930 or the learning processor unit 940c, or the AI server ( 1 and 140), and the like may be transmitted to an external device.
  • the collected historical information may be used to update the learning model.
  • the memory unit 930 may store data supporting various functions of the AI device 900 .
  • the memory unit 930 may store data obtained from the input unit 940a , data obtained from the communication unit 910 , output data of the learning processor unit 940c , and data obtained from the sensing unit 940 .
  • the memory unit 930 may store control information and/or software codes necessary for the operation/execution of the control unit 920 .
  • the input unit 940a may acquire various types of data from the outside of the AI device 900 .
  • the input unit 920 may obtain training data for model learning, input data to which the learning model is applied, and the like.
  • the input unit 940a may include a camera, a microphone, and/or a user input unit.
  • the output unit 940b may generate an output related to sight, hearing, or touch.
  • the output unit 940b may include a display unit, a speaker, and/or a haptic module.
  • the sensing unit 940 may obtain at least one of internal information of the AI device 900 , surrounding environment information of the AI device 900 , and user information by using various sensors.
  • the sensing unit 940 may include a proximity sensor, an illumination sensor, an acceleration sensor, a magnetic sensor, a gyro sensor, an inertial sensor, an RGB sensor, an IR sensor, a fingerprint recognition sensor, an ultrasonic sensor, an optical sensor, a microphone, and/or a radar. there is.
  • the learning processor unit 940c may train a model composed of an artificial neural network by using the training data.
  • the learning processor unit 940c may perform AI processing together with the learning processor unit of the AI server ( FIGS. 1 and 140 ).
  • the learning processor unit 940c may process information received from an external device through the communication unit 910 and/or information stored in the memory unit 930 . Also, the output value of the learning processor unit 940c may be transmitted to an external device through the communication unit 910 and/or stored in the memory unit 930 .
  • a terminal may receive information from a base station through downlink (DL) and transmit information to a base station through uplink (UL).
  • Information transmitted and received between the base station and the terminal includes general data information and various control information, and various physical channels exist according to the type/use of the information they transmit and receive.
  • FIG. 10 is a diagram illustrating physical channels applied to the present disclosure and a signal transmission method using the same.
  • the terminal receives a primary synchronization channel (P-SCH) and a secondary synchronization channel (S-SCH) from the base station, synchronizes with the base station, and obtains information such as cell ID. .
  • P-SCH primary synchronization channel
  • S-SCH secondary synchronization channel
  • the terminal may receive a physical broadcast channel (PBCH) signal from the base station to obtain intra-cell broadcast information.
  • the UE may receive a downlink reference signal (DL RS) in the initial cell search step to check the downlink channel state.
  • DL RS downlink reference signal
  • the UE receives a physical downlink control channel (PDCCH) and a physical downlink control channel (PDSCH) according to physical downlink control channel information in step S1012 and receives a little more Specific system information can be obtained.
  • PDCCH physical downlink control channel
  • PDSCH physical downlink control channel
  • the terminal may perform a random access procedure, such as steps S1013 to S1016, to complete access to the base station.
  • the UE transmits a preamble through a physical random access channel (PRACH) (S1013), and RAR for the preamble through a physical downlink control channel and a corresponding physical downlink shared channel (S1013). random access response) may be received (S1014).
  • the UE transmits a physical uplink shared channel (PUSCH) using scheduling information in the RAR (S1015), and a contention resolution procedure such as reception of a physical downlink control channel signal and a corresponding physical downlink shared channel signal. ) can be performed (S1016).
  • PUSCH physical uplink shared channel
  • S1015 scheduling information in the RAR
  • a contention resolution procedure such as reception of a physical downlink control channel signal and a corresponding physical downlink shared channel signal.
  • the terminal After performing the procedure as described above, the terminal receives a physical downlink control channel signal and/or a physical downlink shared channel signal (S1017) and a physical uplink shared channel as a general uplink/downlink signal transmission procedure thereafter.
  • channel, PUSCH) signal and/or a physical uplink control channel (PUCCH) signal may be transmitted ( S1018 ).
  • UCI uplink control information
  • HARQ-ACK / NACK hybrid automatic repeat and request acknowledgment / negative-ACK
  • SR scheduling request
  • CQI channel quality indication
  • PMI precoding matrix indication
  • RI rank indication
  • BI beam indication
  • the UCI is generally transmitted periodically through the PUCCH, but may be transmitted through the PUSCH according to an embodiment (eg, when control information and traffic data are to be transmitted at the same time).
  • the UE may aperiodically transmit the UCI through the PUSCH.
  • FIG. 11 is a diagram illustrating a control plane and a user plane structure of a radio interface protocol applied to the present disclosure.
  • entity 1 may be a user equipment (UE).
  • the term "terminal" may be at least one of a wireless device, a portable device, a vehicle, a mobile body, an XR device, a robot, and an AI to which the present disclosure is applied in FIGS. 1 to 9 described above.
  • the terminal refers to a device to which the present disclosure can be applied and may not be limited to a specific device or device.
  • Entity 2 may be a base station.
  • the base station may be at least one of an eNB, a gNB, and an ng-eNB.
  • the base station may refer to an apparatus for transmitting a downlink signal to the terminal, and may not be limited to a specific type or apparatus. That is, the base station may be implemented in various forms or types, and may not be limited to a specific form.
  • Entity 3 may be a network device or a device performing a network function.
  • the network device may be a core network node (eg, a mobility management entity (MME), an access and mobility management function (AMF), etc.) that manages mobility.
  • the network function may mean a function implemented to perform a network function
  • entity 3 may be a device to which the function is applied. That is, the entity 3 may refer to a function or device that performs a network function, and is not limited to a specific type of device.
  • the control plane may refer to a path through which control messages used by a user equipment (UE) and a network to manage a call are transmitted.
  • the user plane may mean a path through which data generated in the application layer, for example, voice data or Internet packet data, is transmitted.
  • the physical layer which is the first layer, may provide an information transfer service to a higher layer by using a physical channel.
  • the physical layer is connected to the upper medium access control layer through a transport channel.
  • data may be moved between the medium access control layer and the physical layer through the transport channel.
  • Data can be moved between the physical layers of the transmitting side and the receiving side through a physical channel.
  • the physical channel uses time and frequency as radio resources.
  • a medium access control (MAC) layer of the second layer provides a service to a radio link control (RLC) layer, which is an upper layer, through a logical channel.
  • the RLC layer of the second layer may support reliable data transmission.
  • the function of the RLC layer may be implemented as a function block inside the MAC.
  • the packet data convergence protocol (PDCP) layer of the second layer may perform a header compression function that reduces unnecessary control information in order to efficiently transmit IP packets such as IPv4 or IPv6 in a narrow-bandwidth air interface.
  • PDCP packet data convergence protocol
  • a radio resource control (RRC) layer located at the bottom of the third layer is defined only in the control plane.
  • the RRC layer may be in charge of controlling logical channels, transport channels and physical channels in relation to configuration, re-configuration, and release of radio bearers (RBs).
  • RB may mean a service provided by the second layer for data transfer between the terminal and the network.
  • the UE and the RRC layer of the network may exchange RRC messages with each other.
  • a non-access stratum (NAS) layer above the RRC layer may perform functions such as session management and mobility management.
  • One cell constituting the base station may be set to one of various bandwidths to provide downlink or uplink transmission services to multiple terminals. Different cells may be configured to provide different bandwidths.
  • the downlink transmission channel for transmitting data from the network to the terminal includes a broadcast channel (BCH) for transmitting system information, a paging channel (PCH) for transmitting a paging message, and a downlink shared channel (SCH) for transmitting user traffic or control messages.
  • BCH broadcast channel
  • PCH paging channel
  • SCH downlink shared channel
  • a downlink multicast or broadcast service traffic or control message it may be transmitted through a downlink SCH or may be transmitted through a separate downlink multicast channel (MCH).
  • RACH random access channel
  • SCH uplink shared channel
  • a logical channel that is located above the transport channel and is mapped to the transport channel includes a broadcast control channel (BCCH), a paging control channel (PCCH), a common control channel (CCCH), a multicast control channel (MCCH), and a multicast (MTCH) channel. traffic channels), etc.
  • BCCH broadcast control channel
  • PCCH paging control channel
  • CCCH common control channel
  • MCCH multicast control channel
  • MTCH multicast
  • the transmission signal may be processed by a signal processing circuit.
  • the signal processing circuit 1200 may include a scrambler 1210 , a modulator 1220 , a layer mapper 1230 , a precoder 1240 , a resource mapper 1250 , and a signal generator 1260 .
  • the operation/function of FIG. 12 may be performed by the processors 202a and 202b and/or the transceivers 206a and 206b of FIG. 2 .
  • blocks 1010 to 1060 may be implemented in the processors 202a and 202b of FIG. 2 .
  • blocks 1210 to 1250 may be implemented in the processors 202a and 202b of FIG. 2
  • block 1260 may be implemented in the transceivers 206a and 206b of FIG. 2 , and the embodiment is not limited thereto.
  • the codeword may be converted into a wireless signal through the signal processing circuit 1200 of FIG. 12 .
  • the codeword is a coded bit sequence of an information block.
  • the information block may include a transport block (eg, a UL-SCH transport block, a DL-SCH transport block).
  • the radio signal may be transmitted through various physical channels (eg, PUSCH, PDSCH) of FIG. 10 .
  • the codeword may be converted into a scrambled bit sequence by the scrambler 1210 .
  • a scramble sequence used for scrambling is generated based on an initialization value, and the initialization value may include ID information of a wireless device, and the like.
  • the scrambled bit sequence may be modulated by a modulator 1220 into a modulation symbol sequence.
  • the modulation method may include pi/2-binary phase shift keying (pi/2-BPSK), m-phase shift keying (m-PSK), m-quadrature amplitude modulation (m-QAM), and the like.
  • the complex modulation symbol sequence may be mapped to one or more transport layers by a layer mapper 1230 .
  • Modulation symbols of each transport layer may be mapped to corresponding antenna port(s) by the precoder 1240 (precoding).
  • the output z of the precoder 1240 may be obtained by multiplying the output y of the layer mapper 1230 by the precoding matrix W of N*M.
  • N is the number of antenna ports
  • M is the number of transport layers.
  • the precoder 1240 may perform precoding after performing transform precoding (eg, discrete fourier transform (DFT) transform) on the complex modulation symbols. Also, the precoder 1240 may perform precoding without performing transform precoding.
  • transform precoding eg, discrete fourier transform (DFT) transform
  • the resource mapper 1250 may map modulation symbols of each antenna port to a time-frequency resource.
  • the time-frequency resource may include a plurality of symbols (eg, a CP-OFDMA symbol, a DFT-s-OFDMA symbol) in the time domain and a plurality of subcarriers in the frequency domain.
  • the signal generator 1260 generates a radio signal from the mapped modulation symbols, and the generated radio signal may be transmitted to another device through each antenna.
  • the signal generator 1260 may include an inverse fast fourier transform (IFFT) module and a cyclic prefix (CP) inserter, a digital-to-analog converter (DAC), a frequency uplink converter, and the like. .
  • IFFT inverse fast fourier transform
  • CP cyclic prefix
  • DAC digital-to-analog converter
  • the signal processing process for the received signal in the wireless device may be configured in reverse of the signal processing process 1210 to 1260 of FIG. 12 .
  • the wireless device eg, 200a or 200b of FIG. 2
  • the received radio signal may be converted into a baseband signal through a signal restorer.
  • the signal restorer may include a frequency downlink converter, an analog-to-digital converter (ADC), a CP remover, and a fast fourier transform (FFT) module.
  • ADC analog-to-digital converter
  • FFT fast fourier transform
  • the baseband signal may be restored to a codeword through a resource de-mapper process, a postcoding process, a demodulation process, and a descrambling process.
  • the codeword may be restored to the original information block through decoding.
  • the signal processing circuit (not shown) for the received signal may include a signal restorer, a resource de-mapper, a post coder, a demodulator, a descrambler, and a decoder.
  • FIG. 13 is a diagram illustrating a structure of a radio frame applicable to the present disclosure.
  • Uplink and downlink transmission based on the NR system may be based on a frame as shown in FIG. 13 .
  • one radio frame has a length of 10 ms and may be defined as two 5 ms half-frames (HF).
  • One half-frame may be defined as 5 1ms subframes (subframe, SF).
  • One subframe is divided into one or more slots, and the number of slots in a subframe may depend on subcarrier spacing (SCS).
  • SCS subcarrier spacing
  • each slot may include 12 or 14 OFDM(A) symbols according to a cyclic prefix (CP).
  • CP cyclic prefix
  • each slot When a normal CP (normal CP) is used, each slot may include 14 symbols.
  • each slot may include 12 symbols.
  • the symbol may include an OFDM symbol (or a CP-OFDM symbol) and an SC-FDMA symbol (or a DFT-s-OFDM symbol).
  • Table 1 shows the number of symbols per slot, the number of slots per frame, and the number of slots per subframe according to the SCS when the normal CP is used
  • Table 2 shows the number of slots per slot according to the SCS when the extended CSP is used. Indicates the number of symbols, the number of slots per frame, and the number of slots per subframe.
  • N slot symb may indicate the number of symbols in a slot
  • N frame may indicate the number of slots in a frame
  • N subframe may indicate the number of slots in a subframe.
  • OFDM(A) numerology eg, SCS, CP length, etc.
  • OFDM(A) numerology eg, SCS, CP length, etc.
  • an (absolute time) interval of a time resource eg, SF, slot, or TTI
  • a TU time unit
  • NR may support multiple numerology (or subcarrier spacing (SCS)) to support various 5G services. For example, when SCS is 15kHz, it supports a wide area in traditional cellular bands, and when SCS is 30kHz/60kHz, dense-urban, lower latency and a wider carrier bandwidth, and when the SCS is 60 kHz or higher, it can support a bandwidth greater than 24.25 GHz to overcome phase noise.
  • SCS subcarrier spacing
  • the NR frequency band is defined as a frequency range of two types (FR1, FR2).
  • FR1 and FR2 may be configured as shown in the table below.
  • FR2 may mean a millimeter wave (mmW).
  • the above-described pneumatic numerology may be set differently.
  • a terahertz wave (THz) band may be used as a higher frequency band than the above-described FR2.
  • the SCS may be set to be larger than that of the NR system, and the number of slots may be set differently, and it is not limited to the above-described embodiment.
  • the THz band will be described later.
  • FIG. 14 is a diagram illustrating a slot structure applicable to the present disclosure.
  • One slot includes a plurality of symbols in the time domain. For example, in the case of a normal CP, one slot may include 7 symbols, but in the case of an extended CP, one slot may include 6 symbols.
  • a carrier includes a plurality of subcarriers (subcarrier) in the frequency domain.
  • a resource block may be defined as a plurality of (eg, 12) consecutive subcarriers in the frequency domain.
  • a bandwidth part is defined as a plurality of consecutive (P)RBs in the frequency domain, and may correspond to one numerology (eg, SCS, CP length, etc.).
  • a carrier may include a maximum of N (eg, 5) BWPs. Data communication is performed through the activated BWP, and only one BWP can be activated for one terminal.
  • N e.g. 5
  • Each element in the resource grid is referred to as a resource element (RE), and one complex symbol may be mapped.
  • RE resource element
  • 6G (wireless) systems have (i) very high data rates per device, (ii) very large number of connected devices, (iii) global connectivity, (iv) very low latency, (v) battery- It aims to lower the energy consumption of battery-free IoT devices, (vi) ultra-reliable connections, and (vii) connected intelligence with machine learning capabilities.
  • the vision of the 6G system may have four aspects such as "intelligent connectivity”, “deep connectivity”, “holographic connectivity”, and “ubiquitous connectivity”, and the 6G system may satisfy the requirements shown in Table 4 below. That is, Table 4 is a table showing the requirements of the 6G system.
  • the 6G system includes enhanced mobile broadband (eMBB), ultra-reliable low latency communications (URLLC), massive machine type communications (mmTC), AI integrated communication, and tactile Internet (tactile internet), high throughput (high throughput), high network capacity (high network capacity), high energy efficiency (high energy efficiency), low backhaul and access network congestion (low backhaul and access network congestion) and improved data security ( It may have key factors such as enhanced data security.
  • eMBB enhanced mobile broadband
  • URLLC ultra-reliable low latency communications
  • mmTC massive machine type communications
  • AI integrated communication e.g., eMBB
  • tactile Internet e internet
  • high throughput high network capacity
  • high energy efficiency high energy efficiency
  • low backhaul and access network congestion low backhaul and access network congestion
  • improved data security It may have key factors such as enhanced data security.
  • 15 is a diagram illustrating an example of a communication structure that can be provided in a 6G system applicable to the present disclosure.
  • the 6G system is expected to have 50 times higher simultaneous wireless communication connectivity than the 5G wireless communication system.
  • URLLC a key feature of 5G, is expected to become an even more important technology by providing an end-to-end delay of less than 1 ms in 6G communication.
  • the 6G system will have much better volumetric spectral efficiency, unlike the frequently used area spectral efficiency.
  • 6G systems can provide very long battery life and advanced battery technology for energy harvesting, so mobile devices in 6G systems may not need to be charged separately.
  • new network characteristics in 6G may be as follows.
  • 6G is expected to be integrated with satellites to provide a global mobile population.
  • the integration of terrestrial, satellite and public networks into one wireless communication system could be very important for 6G.
  • AI may be applied in each step of a communication procedure (or each procedure of signal processing to be described later).
  • the 6G wireless network will deliver power to charge the batteries of devices such as smartphones and sensors. Therefore, wireless information and energy transfer (WIET) will be integrated.
  • WIET wireless information and energy transfer
  • Small cell networks The idea of small cell networks was introduced to improve the received signal quality as a result of improved throughput, energy efficiency and spectral efficiency in cellular systems. As a result, small cell networks are essential characteristics for communication systems beyond 5G and Beyond 5G (5GB). Accordingly, the 6G communication system also adopts the characteristics of the small cell network.
  • Ultra-dense heterogeneous networks will be another important characteristic of 6G communication system.
  • a multi-tier network composed of heterogeneous networks improves overall QoS and reduces costs.
  • the backhaul connection is characterized as a high-capacity backhaul network to support high-capacity traffic.
  • High-speed fiber optics and free-space optics (FSO) systems may be possible solutions to this problem.
  • High-precision localization (or location-based service) through communication is one of the functions of the 6G wireless communication system. Therefore, the radar system will be integrated with the 6G network.
  • Softening and virtualization are two important functions that underlie the design process in 5GB networks to ensure flexibility, reconfigurability and programmability. In addition, billions of devices can be shared in a shared physical infrastructure.
  • AI The most important and newly introduced technology for 6G systems is AI.
  • AI was not involved in the 4G system.
  • 5G systems will support partial or very limited AI.
  • the 6G system will be AI-enabled for full automation.
  • Advances in machine learning will create more intelligent networks for real-time communication in 6G.
  • Incorporating AI into communications can simplify and enhance real-time data transmission.
  • AI can use numerous analytics to determine how complex target tasks are performed. In other words, AI can increase efficiency and reduce processing delays.
  • AI can also play an important role in M2M, machine-to-human and human-to-machine communication.
  • AI can be a rapid communication in the BCI (brain computer interface).
  • BCI brain computer interface
  • AI-based communication systems can be supported by metamaterials, intelligent structures, intelligent networks, intelligent devices, intelligent cognitive radios, self-sustaining wireless networks, and machine learning.
  • AI-based physical layer transmission means applying a signal processing and communication mechanism based on an AI driver rather than a traditional communication framework in a fundamental signal processing and communication mechanism.
  • a signal processing and communication mechanism based on an AI driver rather than a traditional communication framework in a fundamental signal processing and communication mechanism.
  • deep learning-based channel coding and decoding, deep learning-based signal estimation and detection, deep learning-based multiple input multiple output (MIMO) mechanism It may include AI-based resource scheduling and allocation.
  • Machine learning may be used for channel estimation and channel tracking, and may be used for power allocation, interference cancellation, and the like in a physical layer of a downlink (DL). In addition, machine learning may be used for antenna selection, power control, symbol detection, and the like in a MIMO system.
  • DL downlink
  • machine learning may be used for antenna selection, power control, symbol detection, and the like in a MIMO system.
  • Deep learning-based AI algorithms require large amounts of training data to optimize training parameters.
  • a lot of training data is used offline. This is because static training on training data in a specific channel environment may cause a contradiction between dynamic characteristics and diversity of a wireless channel.
  • signals of the physical layer of wireless communication are complex signals.
  • further research on a neural network for detecting a complex domain signal is needed.
  • Machine learning refers to a set of operations that trains a machine to create a machine that can perform tasks that humans can or cannot do.
  • Machine learning requires data and a learning model.
  • data learning methods can be roughly divided into three types: supervised learning, unsupervised learning, and reinforcement learning.
  • Neural network learning is to minimize output errors. Neural network learning repeatedly inputs training data into the neural network, calculates the output and target errors of the neural network for the training data, and backpropagates the neural network error from the output layer of the neural network to the input layer in the direction to reduce the error. ) to update the weight of each node in the neural network.
  • Supervised learning uses training data in which the correct answer is labeled in the training data, and in unsupervised learning, the correct answer may not be labeled in the training data. That is, for example, learning data in the case of supervised learning related to data classification may be data in which categories are labeled for each of the training data.
  • the labeled training data is input to the neural network, and an error can be calculated by comparing the output (category) of the neural network with the label of the training data.
  • the calculated error is back propagated in the reverse direction (ie, from the output layer to the input layer) in the neural network, and the connection weight of each node of each layer of the neural network may be updated according to the back propagation.
  • the change amount of the connection weight of each node to be updated may be determined according to a learning rate.
  • the computation of the neural network on the input data and the backpropagation of errors can constitute a learning cycle (epoch).
  • the learning rate may be applied differently depending on the number of repetitions of the learning cycle of the neural network. For example, in the early stage of learning a neural network, a high learning rate can be used to increase the efficiency by allowing the neural network to quickly obtain a certain level of performance, and in the late learning period, a low learning rate can be used to increase the accuracy.
  • the learning method may vary depending on the characteristics of the data. For example, when the purpose of accurately predicting data transmitted from a transmitter in a communication system is at a receiver, it is preferable to perform learning using supervised learning rather than unsupervised learning or reinforcement learning.
  • the learning model corresponds to the human brain, and the most basic linear model can be considered. ) is called
  • the neural network cord used as a learning method is largely divided into deep neural networks (DNN), convolutional deep neural networks (CNN), and recurrent boltzmann machine (RNN) methods. and such a learning model can be applied.
  • DNN deep neural networks
  • CNN convolutional deep neural networks
  • RNN recurrent boltzmann machine
  • THz communication may be applied in the 6G system.
  • the data rate may be increased by increasing the bandwidth. This can be accomplished by using sub-THz communication with a wide bandwidth and applying advanced large-scale MIMO technology.
  • a THz wave also known as sub-millimeter radiation, generally represents a frequency band between 0.1 THz and 10 THz with a corresponding wavelength in the range of 0.03 mm-3 mm.
  • the 100GHz-300GHz band range (Sub THz band) is considered a major part of the THz band for cellular communication.
  • Sub-THz band Addition to mmWave band increases 6G cellular communication capacity.
  • 300GHz-3THz is in the far-infrared (IR) frequency band.
  • the 300GHz-3THz band is part of the broadband, but at the edge of the wideband, just behind the RF band. Thus, this 300 GHz-3 THz band shows similarities to RF.
  • THz communication The main characteristics of THz communication include (i) widely available bandwidth to support very high data rates, and (ii) high path loss occurring at high frequencies (high directional antennas are indispensable).
  • the narrow beamwidth produced by the highly directional antenna reduces interference.
  • the small wavelength of the THz signal allows a much larger number of antenna elements to be integrated into devices and BSs operating in this band. This allows the use of advanced adaptive nesting techniques that can overcome range limitations.
  • Optical wireless communication (OWC) technology is envisaged for 6G communication in addition to RF-based communication for all possible device-to-access networks. These networks connect to network-to-backhaul/fronthaul network connections.
  • OWC technology has already been used since the 4G communication system, but will be used more widely to meet the needs of the 6G communication system.
  • OWC technologies such as light fidelity, visible light communication, optical camera communication, and free space optical (FSO) communication based on a light band are well known technologies. Communication based on optical radio technology can provide very high data rates, low latency and secure communication.
  • Light detection and ranging (LiDAR) can also be used for ultra-high-resolution 3D mapping in 6G communication based on a wide band.
  • FSO The transmitter and receiver characteristics of an FSO system are similar to those of a fiber optic network.
  • data transmission in an FSO system is similar to that of a fiber optic system. Therefore, FSO can be a good technology to provide backhaul connectivity in 6G systems along with fiber optic networks.
  • FSO supports high-capacity backhaul connections for remote and non-remote areas such as sea, space, underwater, and isolated islands.
  • FSO also supports cellular base station connectivity.
  • MIMO technology improves, so does the spectral efficiency. Therefore, large-scale MIMO technology will be important in 6G systems. Since the MIMO technology uses multiple paths, a multiplexing technique and a beam generation and operation technique suitable for the THz band should also be considered important so that a data signal can be transmitted through one or more paths.
  • Blockchain will become an important technology for managing large amounts of data in future communication systems.
  • Blockchain is a form of distributed ledger technology, which is a database distributed across numerous nodes or computing devices. Each node replicates and stores an identical copy of the ledger.
  • the blockchain is managed as a peer-to-peer (P2P) network. It can exist without being managed by a centralized authority or server. Data on the blockchain is collected together and organized into blocks. Blocks are linked together and protected using encryption.
  • Blockchain in nature perfectly complements IoT at scale with improved interoperability, security, privacy, reliability and scalability. Therefore, blockchain technology provides several features such as interoperability between devices, traceability of large amounts of data, autonomous interaction of different IoT systems, and large-scale connection stability of 6G communication systems.
  • the 6G system integrates terrestrial and public networks to support vertical expansion of user communications.
  • 3D BS will be provided via low orbit satellites and UAVs. Adding a new dimension in terms of elevation and associated degrees of freedom makes 3D connections significantly different from traditional 2D networks.
  • Unmanned aerial vehicles or drones will become an important element in 6G wireless communications.
  • UAVs Unmanned aerial vehicles
  • a base station entity is installed in the UAV to provide cellular connectivity.
  • UAVs have certain features not found in fixed base station infrastructure, such as easy deployment, strong line-of-sight links, and degrees of freedom with controlled mobility.
  • the deployment of terrestrial communications infrastructure is not economically feasible and sometimes cannot provide services in volatile environments.
  • a UAV can easily handle this situation.
  • UAV will become a new paradigm in the field of wireless communication. This technology facilitates the three basic requirements of wireless networks: eMBB, URLLC and mMTC.
  • UAVs can also serve several purposes, such as improving network connectivity, fire detection, disaster emergency services, security and surveillance, pollution monitoring, parking monitoring, incident monitoring, and more. Therefore, UAV technology is recognized as one of the most important technologies for 6G communication.
  • Tight integration of multiple frequencies and heterogeneous communication technologies is very important in 6G systems. As a result, users can seamlessly move from one network to another without having to make any manual configuration on the device. The best network is automatically selected from the available communication technologies. This will break the limitations of the cell concept in wireless communication. Currently, user movement from one cell to another causes too many handovers in high-density networks, causing handover failures, handover delays, data loss and ping-pong effects. 6G cell-free communication will overcome all of this and provide better QoS. Cell-free communication will be achieved through multi-connectivity and multi-tier hybrid technologies and different heterogeneous radios of devices.
  • WIET Wireless information and energy transfer
  • WIET uses the same fields and waves as wireless communication systems.
  • the sensor and smartphone will be charged using wireless power transfer during communication.
  • WIET is a promising technology for extending the life of battery-charging wireless systems. Therefore, devices without batteries will be supported in 6G communication.
  • An autonomous wireless network is a function that can continuously detect dynamically changing environmental conditions and exchange information between different nodes.
  • sensing will be tightly integrated with communications to support autonomous systems.
  • the density of access networks in 6G will be enormous.
  • Each access network is connected by backhaul connections such as fiber optic and FSO networks.
  • backhaul connections such as fiber optic and FSO networks.
  • Beamforming is a signal processing procedure that adjusts an antenna array to transmit a radio signal in a specific direction.
  • Beamforming technology has several advantages, such as high signal-to-noise ratio, interference prevention and rejection, and high network efficiency.
  • Hologram beamforming (HBF) is a new beamforming method that is significantly different from MIMO systems because it uses a software-defined antenna. HBF will be a very effective approach for efficient and flexible transmission and reception of signals in multi-antenna communication devices in 6G.
  • Big data analytics is a complex process for analyzing various large data sets or big data. This process ensures complete data management by finding information such as hidden data, unknown correlations and customer propensity. Big data is gathered from a variety of sources such as videos, social networks, images and sensors. This technology is widely used to process massive amounts of data in 6G systems.
  • LIS is an artificial surface made of electromagnetic materials, and can change the propagation of incoming and outgoing radio waves.
  • LIS can be viewed as an extension of massive MIMO, but has a different array structure and operation mechanism from that of massive MIMO.
  • LIS is low in that it operates as a reconfigurable reflector with passive elements, that is, only passively reflects the signal without using an active RF chain. It has the advantage of having power consumption.
  • each of the passive reflectors of the LIS must independently adjust the phase shift of the incoming signal, it can be advantageous for a wireless communication channel.
  • the reflected signal can be gathered at the target receiver to boost the received signal power.
  • 17 is a diagram illustrating a THz communication method applicable to the present disclosure.
  • THz wave is located between RF (Radio Frequency)/millimeter (mm) and infrared band, (i) It transmits non-metal/non-polar material better than visible light/infrared light, and has a shorter wavelength than RF/millimeter wave, so it has high straightness. Beam focusing may be possible.
  • the frequency band expected to be used for THz wireless communication may be a D-band (110 GHz to 170 GHz) or H-band (220 GHz to 325 GHz) band with low propagation loss due to absorption of molecules in the air.
  • Standardization discussion on THz wireless communication is being discussed centered on IEEE 802.15 THz working group (WG) in addition to 3GPP, and standard documents issued by TG (task group) (eg, TG3d, TG3e) of IEEE 802.15 are described in this specification. It can be specified or supplemented.
  • THz wireless communication may be applied to wireless recognition, sensing, imaging, wireless communication, THz navigation, and the like.
  • a THz wireless communication scenario may be classified into a macro network, a micro network, and a nanoscale network.
  • THz wireless communication can be applied to a vehicle-to-vehicle (V2V) connection and a backhaul/fronthaul connection.
  • V2V vehicle-to-vehicle
  • THz wireless communication in micro networks is applied to indoor small cells, fixed point-to-point or multi-point connections such as wireless connections in data centers, and near-field communication such as kiosk downloading.
  • Table 5 below is a table showing an example of a technique that can be used in the THz wave.
  • FIG. 18 is a diagram illustrating a THz wireless communication transceiver applicable to the present disclosure.
  • THz wireless communication may be classified based on a method for generating and receiving THz.
  • the THz generation method can be classified into an optical device or an electronic device-based technology.
  • the method of generating THz using an electronic device is a method using a semiconductor device such as a resonant tunneling diode (RTD), a method using a local oscillator and a multiplier, a compound semiconductor HEMT (high electron mobility transistor) based
  • a monolithic microwave integrated circuit (MMIC) method using an integrated circuit a method using a Si-CMOS-based integrated circuit, and the like.
  • MMIC monolithic microwave integrated circuit
  • a doubler, tripler, or multiplier is applied to increase the frequency, and it is radiated by the antenna through the sub-harmonic mixer. Since the THz band forms a high frequency, a multiplier is essential.
  • the multiplier is a circuit that has an output frequency that is N times that of the input, matches the desired harmonic frequency, and filters out all other frequencies.
  • an array antenna or the like may be applied to the antenna of FIG. 18 to implement beamforming.
  • IF denotes an intermediate frequency
  • tripler and multiplier denote a multiplier
  • PA denotes a power amplifier
  • LNA denotes a low noise amplifier.
  • PLL represents a phase-locked loop.
  • FIG. 19 is a diagram illustrating a method for generating a THz signal applicable to the present disclosure.
  • FIG. 20 is a diagram illustrating a wireless communication transceiver applicable to the present disclosure.
  • the optical device-based THz wireless communication technology refers to a method of generating and modulating a THz signal using an optical device.
  • the optical element-based THz signal generation technology is a technology that generates a high-speed optical signal using a laser and an optical modulator, and converts it into a THz signal using an ultra-high-speed photodetector. In this technology, it is easier to increase the frequency compared to the technology using only electronic devices, it is possible to generate a high-power signal, and it is possible to obtain a flat response characteristic in a wide frequency band.
  • a laser diode, a broadband optical modulator, and a high-speed photodetector are required to generate an optical device-based THz signal.
  • an optical coupler refers to a semiconductor device that transmits electrical signals using light waves to provide coupling with electrical insulation between circuits or systems
  • UTC-PD uni-travelling carrier photo- The detector
  • UTC-PD is one of the photodetectors, which uses electrons as active carriers and reduces the movement time of electrons by bandgap grading.
  • UTC-PD is capable of photodetection above 150GHz.
  • an erbium-doped fiber amplifier indicates an erbium-doped optical fiber amplifier
  • a photo detector indicates a semiconductor device capable of converting an optical signal into an electrical signal
  • the OSA indicates various optical communication functions (eg, .
  • FIG. 21 is a diagram illustrating a structure of a transmitter applicable to the present disclosure.
  • FIG. 22 is a diagram illustrating a modulator structure applicable to the present disclosure.
  • a phase of a signal may be changed by passing an optical source of a laser through an optical wave guide.
  • data is loaded by changing electrical characteristics through microwave contact or the like.
  • an optical modulator output is formed as a modulated waveform.
  • the photoelectric modulator (O/E converter) is an optical rectification operation by a nonlinear crystal (nonlinear crystal), photoelectric conversion (O / E conversion) by a photoconductive antenna (photoconductive antenna), a bunch of electrons in the light beam (bunch of) THz pulses can be generated by, for example, emission from relativistic electrons.
  • a terahertz pulse (THz pulse) generated in the above manner may have a length in units of femtoseconds to picoseconds.
  • An O/E converter performs down conversion by using non-linearity of a device.
  • a number of contiguous GHz bands for fixed or mobile service use for the terahertz system are used. likely to use
  • available bandwidth may be classified based on oxygen attenuation of 10 ⁇ 2 dB/km in a spectrum up to 1 THz. Accordingly, a framework in which the available bandwidth is composed of several band chunks may be considered.
  • the bandwidth (BW) becomes about 20 GHz.
  • Effective down conversion from the infrared band to the THz band depends on how the nonlinearity of the O/E converter is exploited. That is, in order to down-convert to a desired terahertz band (THz band), the O/E converter having the most ideal non-linearity for transfer to the terahertz band (THz band) is design is required. If an O/E converter that does not fit the target frequency band is used, there is a high possibility that an error may occur with respect to the amplitude and phase of the corresponding pulse.
  • a terahertz transmission/reception system may be implemented using one photoelectric converter in a single carrier system. Although it depends on the channel environment, as many photoelectric converters as the number of carriers may be required in a far-carrier system. In particular, in the case of a multi-carrier system using several broadbands according to the above-described spectrum usage-related scheme, the phenomenon will become conspicuous. In this regard, a frame structure for the multi-carrier system may be considered.
  • the down-frequency-converted signal based on the photoelectric converter may be transmitted in a specific resource region (eg, a specific frame).
  • the frequency domain of the specific resource region may include a plurality of chunks. Each chunk may be composed of at least one component carrier (CC).
  • FIG. 23 is a diagram illustrating a structure of a perceptron included in an artificial neural network applicable to the present disclosure. Also, FIG. 24 is a diagram illustrating an artificial neural network structure applicable to the present disclosure.
  • an artificial intelligence system may be applied in the 6G system.
  • the artificial intelligence system may operate based on a learning model corresponding to the human brain, as described above.
  • a paradigm of machine learning that uses a neural network structure with high complexity such as artificial neural networks as a learning model can be called deep learning.
  • the neural network cord used as a learning method is largely a deep neural network (DNN), a convolutional deep neural network (CNN), and a recurrent neural network (RNN).
  • DNN deep neural network
  • CNN convolutional deep neural network
  • RNN recurrent neural network
  • the artificial neural network may be composed of several perceptrons.
  • input vectors can be applied to different multidimensional perceptrons. For convenience of description, an input value or an output value is referred to as a node.
  • the perceptron structure shown in FIG. 23 can be described as being composed of a total of three layers based on an input value and an output value.
  • An artificial neural network in which H (d+1)-dimensional perceptrons exist between the 1st layer and the 2nd layer and K (H+1)-dimensional perceptrons exist between the 2nd layer and the 3rd layer can be expressed as shown in FIG. can
  • the layer where the input vector is located is called an input layer
  • the layer where the final output value is located is called the output layer
  • all layers located between the input layer and the output layer are called hidden layers.
  • the artificial neural network illustrated in FIG. 24 can be understood as a total of two layers.
  • the artificial neural network is constructed by connecting the perceptrons of the basic blocks in two dimensions.
  • the aforementioned input layer, hidden layer, and output layer can be jointly applied in various artificial neural network structures such as CNN and RNN to be described later as well as multi-layer perceptron.
  • various artificial neural network structures such as CNN and RNN to be described later as well as multi-layer perceptron.
  • the artificial neural network becomes deeper, and a machine learning paradigm that uses a sufficiently deep artificial neural network as a learning model can be called deep learning.
  • an artificial neural network used for deep learning may be referred to as a deep neural network (DNN).
  • DNN deep neural network
  • 25 is a diagram illustrating a deep neural network applicable to the present disclosure.
  • the deep neural network may be a multilayer perceptron composed of eight hidden layers + eight output layers.
  • the multilayer perceptron structure may be expressed as a fully-connected neural network.
  • a connection relationship does not exist between nodes located in the same layer, and a connection relationship can exist only between nodes located in adjacent layers.
  • DNN has a fully connected neural network structure and is composed of a combination of a number of hidden layers and activation functions, so it can be usefully applied to figure out the correlation between input and output.
  • the correlation characteristic may mean a joint probability of input/output.
  • 26 is a diagram illustrating a convolutional neural network applicable to the present disclosure.
  • 27 is a diagram illustrating a filter operation of a convolutional neural network applicable to the present disclosure.
  • various artificial neural network structures different from the above-described DNN may be formed.
  • the DNN nodes located inside one layer are arranged in a one-dimensional vertical direction.
  • the nodes are two-dimensionally arranged with w horizontally and h vertical nodes. (Convolutional neural network structure in Fig. 26).
  • a weight is added per connection in the connection process from one input node to the hidden layer, a total of h ⁇ w weights must be considered. Since there are h ⁇ w nodes in the input layer, a total of h 2 w 2 weights may be required between two adjacent layers.
  • the convolutional neural network of FIG. 26 has a problem in that the number of weights increases exponentially according to the number of connections, so instead of considering the connection of all modes between adjacent layers, it is assumed that a filter with a small size exists.
  • a weighted sum and activation function operation may be performed on a portion where the filters overlap.
  • one filter has a weight corresponding to the number corresponding to its size, and learning of the weight can be performed so that a specific feature on the image can be extracted and output as a factor.
  • a 3 ⁇ 3 filter is applied to the upper left 3 ⁇ 3 region of the input layer, and an output value obtained by performing weighted sum and activation function operations on a corresponding node may be stored in z 22 .
  • the above-described filter may perform weighted sum and activation function calculations while moving horizontally and vertically at regular intervals while scanning the input layer, and the output value may be disposed at the current filter position. Since this operation method is similar to a convolution operation on an image in the field of computer vision, a deep neural network with such a structure is called a convolutional neural network (CNN), and the result of the convolution operation is The hidden layer may be referred to as a convolutional layer. Also, a neural network having a plurality of convolutional layers may be referred to as a deep convolutional neural network (DCNN).
  • DCNN deep convolutional neural network
  • the number of weights can be reduced by calculating the weighted sum by including only nodes located in the region covered by the filter in the node where the filter is currently located. Due to this, one filter can be used to focus on features for a local area. Accordingly, CNN can be effectively applied to image data processing in which physical distance on a two-dimensional domain is an important criterion. Meanwhile, in CNN, a plurality of filters may be applied immediately before the convolution layer, and a plurality of output results may be generated through the convolution operation of each filter.
  • a structure in which this method is applied to an artificial neural network can be called a recurrent neural network structure.
  • 28 is a diagram illustrating a neural network structure in which a cyclic loop applicable to the present disclosure exists.
  • 29 is a diagram illustrating an operation structure of a recurrent neural network applicable to the present disclosure.
  • a recurrent neural network is an element ⁇ x 1 (t) , x 2 (t) , . , x d (t) ⁇ in the process of input to the fully connected neural network
  • the immediately preceding time point t-1 is the hidden vector ⁇ z 1 (t-1) , z 2 (t-1) , ... , z H (t-1) ⁇ can be input together to have a structure in which a weighted sum and an activation function are applied.
  • the reason why the hidden vector is transferred to the next time in this way is because it is considered that information in the input vector at the previous time is accumulated in the hidden vector of the current time.
  • the recurrent neural network may operate in a predetermined time sequence with respect to an input data sequence.
  • the input vector ⁇ x 1 (t) , x 2 (t) , ... , x d (t) ⁇ when the hidden vector ⁇ z 1 (1) , z 2 (1) , ... , z H (1) ⁇ is the input vector ⁇ x 1 (2) , x 2 (2) , ... , x d (2) ⁇
  • the vector of the hidden layer ⁇ z 1 (2) , z 2 (2) , ... , z H (2) ⁇ is determined.
  • These processes are time point 2, time point 3, ... , iteratively until time point T.
  • a deep recurrent neural network when a plurality of hidden layers are arranged in a recurrent neural network, this is called a deep recurrent neural network (DRNN).
  • the recurrent neural network is designed to be usefully applied to sequence data (eg, natural language processing).
  • neural network core used as a learning method, in addition to DNN, CNN, and RNN, restricted Boltzmann machine (RBM), deep belief networks (DBN), deep Q-Network and It includes various deep learning techniques such as, and can be applied to fields such as computer vision, voice recognition, natural language processing, and voice/signal processing.
  • RBM restricted Boltzmann machine
  • DNN deep belief networks
  • Q-Network includes various deep learning techniques such as, and can be applied to fields such as computer vision, voice recognition, natural language processing, and voice/signal processing.
  • AI-based physical layer transmission means applying a signal processing and communication mechanism based on an AI driver rather than a traditional communication framework in a fundamental signal processing and communication mechanism. For example, deep learning-based channel coding and decoding, deep learning-based signal estimation and detection, deep learning-based MIMO mechanism, AI-based resource scheduling ( scheduling) and allocation may be included.
  • the present disclosure is for performing federated learning, and in particular, describes a technique for reducing computational complexity for federated learning in a communication system and reducing the amount of data representing a learning result.
  • Federated learning is known as a method for learning a global model of a cloud (eg, server) while maintaining the privacy of personal data of an edge device (eg, terminal).
  • federated learning is evaluated as a technology having the advantage of distributing the load required for model learning of the server to the terminals.
  • the importance of personal privacy is increasingly emphasized, it is becoming increasingly difficult to collect personal data in the cloud, while the computing power of the terminal continues to increase. Therefore, learning of global models in the cloud based on federated learning is expected to be increasingly widely used.
  • federated learning distributes the computational load of the server to the terminals, the amount of computation of the terminal increases.
  • the present disclosure intends to propose various embodiments of reducing the amount of learning computation and the amount of weight change transmitted to the server on a device-based basis in a federated learning system.
  • federated learning is widely known as a technology capable of learning a global model existing in a server without transmitting data stored in each terminal to the server.
  • the overall concept of associative learning is as follows.
  • the server 3020 and the plurality of terminals 3010a to 3010c may perform federated learning.
  • the server 3020 may be included in a base station or a core network entity.
  • the server 3020 has a global model 3022 that is an artificial neural network.
  • the server 3020 may be connected to a plurality of terminals 3010a to 3010c through various communication methods.
  • Each of the plurality of terminals 3010a to 3010c includes a client for federated learning, and has a respective local model 3012a, 3012b or 3012c.
  • the server 3020 transmits the global model 3022, which is the object of learning, to the plurality of terminals 3010a to 3010c, and the plurality of terminals 3010a to 3010c respectively hold the received global model 3022. Learning is performed using local data. Then, each of the plurality of terminals 3010a to 3010c calculates a weight change based on weights of the local models 3012a to 3012c updated through learning, and information on the calculated weight change amount is transmitted to the server 3020 .
  • the weight change amount means the difference between the weight before the update and the weight after the update.
  • the transmission of the weight change amount may be replaced with the transmission of the weight itself.
  • the server 3020 After the server 3020 collects the weight change amount from each of the plurality of terminals 3010a to 3010c, the server 3020 updates the weight of the global model 3022 using the collected information. When the weight update of the global model 3022 is completed, the server 3020 may evaluate the loss function of the global model 3022 through a test. Based on the evaluation result, the server 3020 may determine whether to continue to perform federated learning. When federated learning is continued, the above-described procedure may be repeated from the operation of transmitting the updated global model 3022 to the plurality of terminals 3010a to 3010c.
  • FIG. 31 is a diagram showing an example of a protocol of associative learning applicable to the present disclosure.
  • federated learning is performed over a plurality of rounds, and one round includes a selection phase, a configuration phase, and a reporting phase.
  • the terminals 3110a to 3110e that satisfy conditions such as charging, power on state, and connection with the base station notify the server 3120 that they are ready to register as a participant.
  • terminals 3110a to 3110c are selected.
  • the server 3120 may notify the unselected terminals 3110d and 3110e that reconnection will be performed next.
  • the server 3120 transmits information about the global model and necessary parameters to the selected terminals 3110a to 3110c.
  • the server 3120 transmits a data structure such as graph information of a global model for calculations and tasks to be performed as a participant to the selected terminals 3110a to 3110c.
  • the selected terminals 3110a to 3110c perform learning on the global model using local data.
  • the global model learned by each of the terminals 3110a to 3110c becomes a local model.
  • the terminals 3110a, 3110b, and 3110c calculate the weight change amount from the learned model, and transmit information on the weight change amount to the server 3120.
  • the server 3120 updates the weights of the global model by using the information on the weight change amount received within the set time. That is, the server 3120 reflects the aggregated information in the global model.
  • the selection step 3102-(i+1)), the setting step 3104-(i+1)), and the reporting step 3106-(i+1)) proceed similarly.
  • the terminals 3110a to 3110c and the server 3120 selected as participants maintain a connected state. If drop-out occurs due to a communication failure in the middle of the round, the server 3120 may ignore the participant and proceed with the round. Therefore, it is desirable that the federated learning protocol be designed so that no failure occurs even when the round is carried out, ignoring the participant who has failed to connect.
  • the server 3120 updates the weight of the global model using the weight changes received from the selected devices 3110a to 3110c within a given time in a specific round, and uses the updated global model in the next round. In this case, information on the weight change amount that is not received within a specific time set by the server 3120 may be ignored.
  • a client existing in a terminal may repeatedly perform learning using local data according to a request from a server.
  • a process of transferring the global model and weight change amounts between the server and the client is required. Since the transfer operation of the global model and weight change is repeated over a number of rounds until the global model converges by federated learning, the amount of computation of the terminal and the amount of weight change to be transmitted increase in proportion to the number of rounds. As a result, the increase in the amount of computation of the terminal greatly affects the power consumption of the terminal, and the amount of communication resource consumption for transmitting the weight change amount may also increase.
  • the server may perform performance evaluation of the updated model to determine the learning completion time and final application.
  • performance evaluation is performed only on the server, there is a possibility that accurate performance cannot be measured.
  • the entire data set is divided into three data sets, namely, training data, validation data, and testing data.
  • training data is performed in units of epochs and batches
  • evaluation is performed in units of epochs based on verification data.
  • model performance in the learning process is evaluated, and over-fitting and under-fitting can be prevented. Then, the final performance evaluation of the model is made through the inspection data.
  • the server may perform model evaluation for each round or after final learning is completed using only the data set held in the server.
  • the data held in the server is highly likely to be data maintained in the server for a long time rather than the latest data. That is, since the data held in the server is different from the new data of the terminal used for learning through federated learning, it may become difficult to accurately evaluate the model as time passes.
  • the federated learning system has many advantages in terms of reducing the amount of learning computation of the server, maintaining personal privacy by blocking the transmission of raw data of the terminal, and reducing communication resources required for transmitting raw data. It is a skill to have However, improvement is needed in terms of the amount of learning computation of the terminal, use of communication resources, and model evaluation.
  • the present disclosure proposes various embodiments for more efficiently performing federated learning in terms of the amount of learning computation, use of communication resources, and model evaluation.
  • the present disclosure intends to propose a method capable of reducing the amount of computation of each terminal operating as a client and reducing the amount of information about the weight change amount to be transmitted.
  • the present disclosure proposes a method of performing model evaluation by adding an evaluation operation between a server and a client during federated learning, and improving the performance of the proposed method for reducing the amount of computation of the client based on this.
  • 'terminal' and 'client' are used interchangeably, but it may be understood that both refer to the same object.
  • 32 is a diagram illustrating an embodiment of a procedure for performing federated learning in a terminal applicable to the present disclosure. 32 illustrates a method performed by a terminal participating in federated learning.
  • the terminal receives configuration information for federated learning.
  • the setting information may include information indicating the structure of the global model and at least one parameter for controlling a learning operation. Accordingly, the terminal may generate a model that is a learning target, and may perform subsequent learning operations.
  • the setting information may further include information for selecting at least one layer to be learned.
  • the information for selecting at least one layer may include at least one of information designating at least one layer or information on a rule for selecting at least one layer.
  • the terminal determines at least one layer to learn.
  • the terminal may select some of the layers of the global model. In this case, the terminal may select at least one layer based on information included in the configuration information or based on a predefined rule.
  • step S3205 the terminal performs learning. That is, the terminal performs learning on at least one layer determined in step S3203. When some of the layers are selected, learning is performed on some but not all of the layers. In this case, the terminal uses local data held in the terminal. By learning using local data, a local model of the terminal is generated.
  • the terminal transmits information about the learning result.
  • the information about the learning result may include information about the weight changed by learning, that is, the amount of weight change between the global model and the local model. If learning is performed on some of the layers, the weight change amount related to some of the learned layers may be included, and the weight change amount for the remaining layers may be excluded from the information about the learning result.
  • 33 is a diagram illustrating an embodiment of a procedure for performing federated learning in a server applicable to the present disclosure. 33 illustrates a method performed by a server participating in federated learning.
  • the server transmits setting information for federated learning.
  • the setting information may include information indicating the structure of the global model and at least one parameter for controlling a learning operation.
  • the setting information may further include information for selecting at least one layer.
  • the information for selecting at least one layer may include at least one of information designating at least one layer or information on a rule for selecting at least one layer.
  • the server receives information about the learning result for some layers.
  • the information about the learning result may include information about the weight changed by learning, that is, the amount of weight change between the global model and the local model.
  • the information about the learning result includes the weight change amount for some of the layers, but does not include the weight change amount for the remaining layers.
  • the server updates the global model based on the learning result.
  • the global model may be updated based on learning results reported from a plurality of terminals.
  • the server may determine the weight of the updated global model by combining (eg, averaging) weights of the same connection included in learning results reported from a plurality of terminals.
  • learning may be performed on some of the layers of the global model. Accordingly, since the target of learning is reduced, the amount of computation for learning may be reduced. For convenience of description below, learning of some of the layers may be referred to as 'partial learning'.
  • a criterion for selecting a part of the layers is required. According to an embodiment, characteristics of local data held in a terminal to perform learning may be used as a criterion for selecting some of the layers.
  • characteristics of local data held in a terminal to perform learning may be used as a criterion for selecting some of the layers.
  • local data held in devices may have different characteristics. Some devices may have data similar to the data used to train the global model, while other devices may have data that have not been trained at all. However, according to general federated learning, even if the devices have data with different characteristics, each device proceeds to learn the entire global model provided from the server using the local data it possesses.
  • the amount of change in the weight will vary greatly depending on the characteristics of the training data.
  • the amount of weight change due to learning in the device with similar characteristics to the data already trained in the global model is expected to be relatively insignificant, whereas the weight change due to learning in the device with data of different characteristics is relatively large. change can be seen Accordingly, embodiments of learning a part of the global model rather than the whole according to the characteristics of local data held in the device will be described below.
  • 34 is a diagram illustrating an embodiment of a procedure for performing learning on some layers based on characteristics of local data in a terminal applicable to the present disclosure. 34 illustrates a method performed by a terminal participating in federated learning.
  • the terminal receives global model information. Additionally, the terminal may receive at least one parameter for controlling federated learning. According to an embodiment, information for partial learning may be further received.
  • step S3403 the terminal determines the characteristics of the local data.
  • the characteristics of local data may be defined in various ways. For example, the characteristics of local data may be defined based on the local data itself, based on a relationship with a global model, or defined based on a relationship with a federated learning transition.
  • the terminal may analyze the local data. According to another embodiment, the operation of step S3403 may be performed prior to step S3401.
  • step S3405 the terminal performs learning on the selected layer based on the characteristics of the local data. That is, the terminal selects at least one layer based on the characteristics of the local data, and performs learning on the remaining layers except for the unselected layer. To this end, the terminal may acquire or confirm information on the correspondence between the characteristics of local data and the range of the learning target layers, and select at least one layer based on the acquired or confirmed information. In the case of an unselected layer, the terminal fixes related weights and performs learning. Accordingly, weights related to unselected layers are not changed.
  • step S3407 the terminal generates weight change amount information.
  • a local model is generated from the global model by learning, and a weight of at least one of the connections included in the local model may be different from the global model.
  • the weight change amount information may include only values for some of the connections.
  • the terminal selects at least one layer on which learning is to be performed.
  • a layer on which learning is to be performed may be referred to as a 'learning target layer'.
  • a specific layer selection operation may vary depending on whether information for partial learning is received from the server.
  • the terminal selects at least one learning target layer based on the provided information.
  • the server may inform the priority and order between the layers based on a generally distinguishable form (eg, layer).
  • the server provides information specifying the reference layer and the number of previous or subsequent layers as learning information. information can be minimized.
  • the client selects a learning target layer according to its own judgment.
  • the client may select a learning target layer in consideration of characteristics of the known model, or may select a learning target layer according to a set rule. For example, in the case of CNN, a layer close to the output may be selected.
  • Transfer learning refers to using some capabilities of a neural network learned in a specific field to learn a neural network used in a similar or completely new field.
  • a neural network such as a known VGG model
  • the VGG model may be constructed using a convolutional neural network (CNN).
  • CNN convolutional neural network
  • a learning method may be selected differently according to four data characteristics classified as shown in [Table 6] below.
  • classification Characteristic 1 When the training data size is large and there is no similarity 2 When the training data size is large and similarity exists 3 When the training data size is small and there is no similarity 4 When the training data size is small and similarity exists
  • retraining is generally performed for all layers of the model.
  • re-learning may be performed only on the part of the layer (eg, classifier) close to the output.
  • the present disclosure proposes a detailed procedure for the setting step and the reporting step of a federated learning protocol using the concept of transfer learning described above.
  • the setting information transmitted from the server to the client may include model information for partial learning in addition to learning-related information such as a global model and a batch size.
  • the model information for partial learning may include at least one of the items shown in Table 7 below.
  • Item explanation About layer order and priority Information for the client to determine at least one layer to learn from the global model e.g., priority by layer, order by layer
  • Reference value information Criteria information for classifying the characteristics of local data on the client e.g. data size, mean, variance, etc.
  • the client may select at least one layer to be a learning target based on the received information.
  • information necessary for selecting a layer from the server eg, model information for partial learning
  • the client may select at least one layer according to its own judgment or may select at least one layer according to a predetermined rule.
  • the client after receiving the global model, the client performs learning using local data, and feeds back the weight change amount due to learning. At this time, the client performs learning on all layers of the received global model, and feeds back the weight change amount. In the case of the system according to various proposed embodiments, the client performs learning on a part of the received global model, that is, partial learning. Accordingly, an operation of selecting at least one layer is performed as shown in FIG. 34 described above.
  • the client may determine a characteristic of local data. For example, in order to select at least one layer to learn, the client may determine whether similarity of local data it possesses.
  • similarity means having a degree of similarity above a certain level between the local data possessed and the data used for past learning of the global model.
  • the client may observe the inference result obtained by inputting the local data into the global model.
  • a multi class classification model may be updated using the proposed federated learning system.
  • Each terminal already has a global model, which is a multi-class classification model finally distributed by the server, and the device uses the global model to infer, that is, to classify the image.
  • the device in the process of the device collecting labeled data required for federated learning, it is highly likely that classification of the image to be used for learning has already been performed. Therefore, if the device stores the image to be used for learning and the classification result together, the stored data can be utilized for data similarity determination.
  • terminal A and terminal B have models for classifying MNIST (modified national institute of standards and technology)
  • terminal A is labeled with an accuracy of 90% to 99% distribution of inference results through the model.
  • stored data and terminal B may hold labeled data with an accuracy of 50% to 90% distribution.
  • it may be determined that the data possessed by the terminal A has relatively high similarity to the data already used for model learning.
  • 35 is a diagram illustrating an embodiment of a procedure for determining characteristics of local data in a terminal applicable to the present disclosure. 35 is a case in which the characteristics of local data are defined based on a relationship with the global model (eg, similarity), and illustrates a method performed by a terminal participating in federated learning.
  • the global model e.g, similarity
  • step S3501 the terminal performs inference from local data using the global model.
  • the terminal performs inference using the global model provided from the server before learning the global model. Accordingly, the terminal may obtain an inference result corresponding to the local data.
  • the used local data may include labeled data.
  • step S3503 the terminal checks the accuracy of the inference.
  • the accuracy of the inference may be expressed as a probability value for the obtained inference result.
  • the probability value may be determined from the output value of the last layer.
  • the accuracy of the inference that is checked to determine the characteristics of the local data in a later step may be the accuracy of the results of all the inferences, or a part thereof. For example, some may include the accuracy of the result of the inference consistent with the correct answer.
  • step S3505 the terminal determines the characteristics of the local data based on the accuracy. For example, it may be determined that the degree of similarity is higher as the accuracy is higher, and if the degree of similarity is equal to or higher than a certain level, it may be determined that the similarity exists. In this case, when a plurality of inference results are used, the terminal may determine statistical information about the accuracy of the plurality of inference results, and may determine characteristics of local data based on the statistical information.
  • the terminal performs inference from local data.
  • the terminal may perform inference from the premise of the local data it possesses.
  • the terminal performs inference from sampled data that is a part of the local data, and based on this, determines the overall characteristics (eg, similarity) of the local data. can judge
  • a characteristic, eg, similarity, of local data may be determined based on a result of inference using the global model.
  • statistical information eg, average value, central value, variance value, etc.
  • the average value, the center value, the variance value, etc. of the accuracy available as statistical information about the inference result may be calculated as follows.
  • the deep learning model will output a first probability to determine the image as a dog and a second probability to determine the image as a cat, and judge an object with a high probability as a result.
  • probability values for each input image may be inferred as shown in [Table 8] below.
  • the client determines the probability values (eg, 90%, 80%, 95%, 85%, 90%, 99%, 97%) that correspond to the correct answer.
  • Statistical information about the inference result may be obtained by calculating a central value, an average value, a variance value, and the like.
  • Similarity may be determined by comparing the obtained statistical information with a reference value or a threshold value. That is, the statistical information is used as a metric for determining the similarity.
  • the reference value for determination may be included in model information for partial learning provided in advance from the server. If the reference value is not provided from the server, a reference value of the terminal itself or a predetermined reference value may be used.
  • attribute information or metadata of local data such as size may be further considered as a characteristic of local data.
  • the size means the amount of local data (eg, the number of images). As the size of the local data increases, it is preferable that the number of layer(s) to be learned increases.
  • Item explanation dataSize_A The size of the training data that the terminal has mean_A The average value of the probability values for the correct answer in the output of the inference result for the terminal's learning data var_A The variance value of the probability values for the correct answer in the output of the inference result for the terminal's learning data dataSize_ref Reference value for training data size mean_ref reference value for the mean var_ref Base value for variance
  • 36 is a diagram illustrating an embodiment of a procedure for adaptively performing learning based on characteristics of local data in a terminal applicable to the present disclosure. 36 illustrates a method performed by a terminal participating in federated learning.
  • the terminal calculates a distribution characteristic of the training data.
  • the distribution characteristic includes statistical information for determining the similarity of local data and attribute information of local data.
  • the statistical information may include at least one of an average value, a median value, and a variance value of inference accuracy using the global model, and the attribute information may include a size of local data.
  • step S3603 the terminal determines whether the similarity condition is satisfied.
  • the similarity condition may be defined based on a result of comparing at least one value (eg, an average value, a central value, and a variance value) included in the statistical information with a corresponding reference value. For example, if the average value (eg mean_A) is greater than the first threshold value (eg meas_ref) and the variance value (eg var_A) is smaller than the second threshold value (eg var_ref), it can be determined that similarity exists. there is. This means that the accuracy of the inference result with respect to the training data is greater than the reference value on average and the variance is small. In this case, the terminal can determine that the inference accuracy of the corresponding model has the training data that is quite high. If the similarity condition is not satisfied, in step S3605, the terminal determines whether the size of the training data exceeds a threshold.
  • step S3607 the terminal performs learning on P 1 % of the layers. If the similarity condition is not satisfied and the size of the training data does not exceed the threshold, in step S3609, the terminal performs learning on P 2 % of the layers. If the similarity condition is not satisfied and the size of the training data exceeds the threshold, in step S3611, the terminal performs learning on P 3 % of the layers.
  • P 2 may be defined as a value greater than P 1
  • P 3 may be defined as a value greater than P 2 .
  • P 1 may be defined as 25, P 2 may be defined as 75, and P 3 may be defined as 100.
  • learning may be performed on all or some of the layers.
  • a procedure for determining the range of layers to be learned (hereinafter referred to as a 'learning layer range') may be performed when one data unit for learning is determined.
  • the learning layer range may be determined every round or every epoch.
  • the learning layer range may be adjusted in the middle of a round or epoch.
  • the terminal may perform the procedure shown in FIG. 36 again. .
  • a criterion for performing learning on at least one layer before or after the is required
  • information on the learning layer ranges (eg, P 1 , P 2 , P 3 ) and reference layer for each situation may be provided from the server, and may be determined according to a rule predefined in the client. there is. In this case, the rule may be defined differently for each client or may be defined the same for all clients.
  • three candidate values for learning layer ranges are exemplified.
  • four or more candidate values may be used by subdividing the classification of the similarity and size of local data.
  • a rule for quantifying the similarity of local data and determining the range of the learning layer based on the quantified similarity and size may be applied.
  • one of the candidate values is selected as a learning layer range according to a characteristic of local data.
  • the learning layer range may be dynamically adjusted according to the evaluation of the learning result.
  • the range of the learning layer according to the situation may be adaptively adjusted according to the evaluation of the result of partial learning. An embodiment for adaptive adjustment of a learning layer range will be described below with reference to FIG. 37 .
  • 37 is a diagram illustrating an embodiment of a procedure for adjusting a range of partial learning in a terminal applicable to the present disclosure. 37 illustrates a method performed by a terminal participating in federated learning.
  • the terminal determines to perform partial learning. For example, the terminal may determine to perform partial learning according to the characteristics of local data. According to an embodiment, the terminal may determine the similarity of local data, and if the similarity exists, it may determine to perform partial learning.
  • the terminal determines an initial (initial) learning layer range. For example, as the initial learning layer range, the last layer of the global model may be selected, or a plurality of layers from a specific layer to the last layer may be selected. According to an embodiment, the selection may be made by the terminal. According to another embodiment, after selection is made by the server, the selection result may be notified to the terminal. That is, the terminal determines the initial learning layer range according to its own determination or notification of the server. According to another embodiment, the terminal may receive selectable candidate values from the server, and select one of the candidate values as the initial learning layer range. For example, when N layers are included in the global model, the server notifies that N-5th to Nth layers can be used for partial learning, and the terminal initially learns at least one layer from the last Nth. It can be selected as a layer range.
  • step S3703 the terminal performs partial learning.
  • the terminal performs learning on at least one layer belonging to the range of the determined initial learning layer.
  • the terminal transmits weight change amount information related to the learned layer to the server. Accordingly, the server can update the global model.
  • step S3705 the terminal adjusts the learning ranges based on the result of partial learning.
  • the learning layer range may be increased to include more layers.
  • the performance improvement is relatively high, the learning layer range may be further maintained or reduced to include fewer layers.
  • the insignificant performance improvement means a case in which the increase in the performance numerical value is less than or equal to the threshold
  • the relatively high performance improvement means the case in which the increase in the performance numerical value exceeds the threshold value.
  • the evaluation of the result of partial learning may be performed in the server.
  • the terminal may receive an evaluation of the result of partial learning from the server, and adjust the learning layer range according to a given rule based on the evaluation.
  • the server may adjust the learning layer range based on the evaluation, and notify the terminal of the adjusted learning layer range.
  • the learning layer range may be adjusted according to the evaluation of the result of partial learning.
  • the learning layer range can be adjusted based on the performance change of the global model by partial learning.
  • at least one of indices indicating the performance of the global model such as a training loss, a validation loss, or a test accuracy, may be used. For example, when validation loss is used, if the validation loss is greater than or equal to the final validation loss of the previous learning, the performance improvement is treated as insignificant, and thus the number of layers to be used for the next partial learning may be increased than before. .
  • the learning layer range may be adjusted periodically.
  • the amount of change in the range of the learning layer may vary according to repetition of the adjustment. For example, if the learning layer coverage is increased by ⁇ 1 due to the insignificant performance improvement at the first chance, and then the performance improvement is judged to be insignificant again at the second opportunity, the learning layer coverage is increased by ⁇ 2 greater than ⁇ 1 can increase Similarly, in the case of a reduction in the range of the learning layer, the amount of change may vary.
  • the above-described adaptive adjustment procedure of the learning layer range as shown in FIG. 37 may be operated with an epoch cycle or a round cycle.
  • the range of the learning layer to be used in the next epoch may be determined based on the evaluation of the learning result in the corresponding epoch.
  • the range of the learning layer to be used in the next round may be determined based on the evaluation of the learning result in the corresponding round.
  • a procedure to be described below relates to an operation of reporting the weight change amount from the client to the server and an operation of aggregating the weights collected from the client from the server.
  • the client transmits only the weight change amount related to at least one learned layer to the server. If a technique for compressing the weight change amount is used, only the weight change amount information for at least one learned layer may be compressed and then transmitted.
  • the server aggregates weight changes received from each client. A more detailed operation of the server is described below with reference to FIG. 38 .
  • 38 is a diagram illustrating an embodiment of a procedure for updating a global model in a server applicable to the present disclosure. 38 illustrates a method performed by a server controlling federated learning.
  • the server receives weight change amount information related to at least one learned layer.
  • the server receives information on at least one learned layer and information on a weight change amount related to at least one learned layer from at least one client.
  • weight change amount information is received from a plurality of clients, the number of learned at least one layer may vary depending on the client.
  • step S3803 the server sets the weight change amount for the remaining at least one layer to a predefined value.
  • Weight change amount information received from the client does not include weight change amounts related to unlearned layers. If the weight changes related to the unlearned layers are not set, when the weights of the global model are subsequently updated, an error of taking the average sum using only information of some clients rather than all of them may occur. In this case, learning in the intended direction may not be performed. Accordingly, by initializing the weight changes related to the unlearned layers to a specific value (eg, 0), the weight changes related to the unlearned layers may be reflected in a subsequent update operation. Accordingly, although the weight change amount related to some layers is received from the client, the server retains the weight change amount for all layers.
  • a specific value eg, 0
  • the server updates the weights of the global model.
  • the server determines the weights of the global model by using the weight change amount information of the plurality of clients. For example, the server may determine average values of weight changes for each connection, and then add the determined average values with weight values of the global model before updating. In this case, in determining the average value, the weight change amounts initialized in step S3803 are reflected. That is, the server may update the weights of the global model based on the weight change amount provided from the terminal and the weight change amount set to a predefined value.
  • the present disclosure describes an embodiment for improving global model evaluation performance.
  • the performance evaluation for the global model is performed only on the server. Due to the nature of the federated learning system, it is difficult to update the data set held by the server, so the accuracy of the performance evaluation of the global model in the server may decrease as time goes by. Accordingly, the present disclosure proposes an embodiment in which an evaluation operation for a global model is added for each specific round.
  • the server evaluates the learned model every N rounds of federated learning.
  • N means the number of rounds of federated learning, and may be defined as an integer of 1 or more.
  • the server may collect and reflect the evaluation results of the global model updated through the terminal as well as the evaluation using the data possessed.
  • An example of a proposed federated learning protocol is shown in FIG. 39 below.
  • round i includes a selection step 3902-i, a setting step 3904-i, and a reporting step 3906-i
  • round i+1 is a selection step 3902-(i+1).
  • round i+2 is selection phase 3902-(i+2))
  • requesting evaluation a setting step 3914 including, a reporting step 3916 including evaluation result reporting
  • round i+3 is a selection step 3902-(i+3)), a setting step 3904-(i+3)), reporting step 3906-(i+3)).
  • Round i, round i+1, and round i+3 may be referred to as a 'training round'
  • round i+2 may be referred to as an 'evaluation round'.
  • an evaluation round for the updated global model of the server by the client may be performed separately.
  • the server may request evaluation from all clients participating in the learning, or may selectively request evaluation from some of the clients.
  • the setting information provided in the setting step 3914 of the evaluation round may include the latest global model information and information instructing a method of performing evaluation. Accordingly, in the reporting step 3916, the client transmits information on the evaluation result (eg, loss, accuracy, etc.) to the server.
  • training and evaluation may be performed together in a specific round.
  • An example of a federated learning protocol in which training and evaluation are performed together is shown in FIG. 40 below.
  • round i includes a selection step 4002-i, a setting step 4004-i, and a reporting step 4006-i
  • round i+1 is a selection step 4002-(i+1).
  • round i+2 is selection phase 4002-(i+2))
  • training and evaluation It includes a setting step 4024 including request, a reporting step 4026 including training and evaluation result reporting
  • round i+3 is a selection step 4002-(i+3)), a setting step 4004-(i+) 3)), report step 4006-(i+3)).
  • round i, round i+1, and round i+3 may be referred to as a 'training round'
  • round i+2 may be referred to as a 'training and evaluation round'.
  • the server provides evaluation information together with the training information in the setting step 4024 , so that the client reports not only the evaluation result for the global model but also the learning result (eg, weight change amount).
  • the client in performing the evaluation to be transmitted to the server, the client may perform evaluation on the global model received from the server without performing evaluation with the local model updated after training.
  • the server obtains evaluation results by clients according to the protocol described above, collects evaluation results using data held in the server, and then evaluates the updated global model. Through this, the server can determine whether to proceed with federated learning, and can determine whether to apply the system through the final performance evaluation. Specific operations of the server are shown in FIG. 41 below.
  • 41 is a diagram illustrating an embodiment of a procedure for performing federated learning including evaluation of a model in a server applicable to the present disclosure. 41 illustrates a method performed by a server controlling federated learning.
  • step S4101 the server performs a training round.
  • a training round includes a selection phase, a setting phase, and a reporting phase.
  • step S4103 the server determines whether evaluation of the model is necessary. For example, the need for evaluation may be determined according to whether an evaluation cycle arrives. In this case, the server may determine whether a time corresponding to one cycle has elapsed since the previous evaluation. If no evaluation is required, the next round becomes a training round, and the server returns to step S4101.
  • the server performs an evaluation round.
  • the evaluation round includes a selection stage, a setting stage including a request for evaluation, and a reporting stage including reporting of evaluation results.
  • the evaluation round may be a round in which only evaluation is performed or a round in which training and evaluation are performed.
  • step S4107 the server determines whether the results converge.
  • the server determines whether the performance of the global model is above a certain level based on the evaluation result.
  • the server may perform inference using a test data set and check the accuracy.
  • the server may determine convergence of the training results.
  • the server may determine the convergence of the training result based on the evaluation result obtained through the evaluation round. That is, the server may determine whether the training result converges based on at least one of the accuracy of inference using the test data set and the evaluation result obtained through the evaluation round.
  • step S4109 the server applies the model to the system. That is, the server applies the latest global model to the system.
  • the server may provide information about the global model to the terminals. If the results are not converged, the server returns to step S4101.
  • the server provides reference values for determining the learning layer range to the client.
  • the server may update the reference values according to the procedure illustrated in FIG. 42 below.
  • 42 is a diagram illustrating an embodiment of a procedure for updating reference values for classifying characteristics of local data in a server applicable to the present disclosure. 42 illustrates a method performed by a server controlling federated learning.
  • the server collects evaluation results for the model.
  • the server may collect and store information on probability values corresponding to correct answers among probability values of results derived from a test data set used for model evaluation in terminals or the server.
  • the server analyzes the evaluation result. For example, the server generates statistical information based on the collected probability values.
  • the statistical information may include at least one of an average value, a central value, and a variance value.
  • the server updates at least one reference value based on the analysis result.
  • the server may update at least one reference value based on the statistical information.
  • the server may update the reference value for the center value based on the center value calculated from the global model and the reference value for the variance value based on the variance value from the global model. For example, if the center value calculated from the global model is greater than the reference value for the current center value, the reference value for the center value may increase.
  • a central value calculated from the global model may be used as a new reference value for the central value
  • a variance value calculated from the global model may be used as a new reference value for the variance value.
  • the updated at least one reference value may be provided to the terminals. Accordingly, the terminals may re-determine the learning layer range based on the updated reference values and perform learning according to the re-determined learning layer range.
  • the federated learning to which the aforementioned partial learning is applied can be used according to the following scenarios.
  • the terminals should be evolved while properly performing personalization and generalization.
  • learning using more diverse information should be conducted, whereas for personalization, learning using specific information should proceed.
  • more clients are involved in order to secure information diversity, and learning for generalization requires learning the whole model, so it can be repeated in a long-term cycle.
  • personalization since learning is performed in a unit of one group including terminals placed in a similar situation around so that learning is performed using specific information, a small-scale cooperative learning is performed in a relatively short-term period. This can be done.
  • a channel prediction model may be used for channel estimation in a wireless communication system.
  • learning may be performed based on data generated in all cells. Therefore, learning for generalization proceeds with a long cycle, and it will be advantageous to learn the entire model due to different channel data.
  • the channel prediction model since the channel prediction model is applied for each cell, it needs to be optimized for the channel environment of the corresponding cell. Accordingly, the optimization of the channel prediction model may be performed in a short period using terminals in the corresponding cell. At this time, there is a high probability of having similar data due to a large number of repeated small-scale federated learning. Therefore, when learning for optimization, it may be advantageous in terms of computational amount and speed to be performed through partial learning according to the proposed embodiments rather than learning the entire model.
  • 43 is a diagram illustrating an example of signal exchange for joint learning of a server and terminals according to an operation scenario applicable to the present disclosure. 43 illustrates signal exchange between the server 4320 and the plurality of terminals 4310A and 4310B.
  • the terminal set A 4310A is a set of terminals located in the first cell
  • the terminal set B 4310B is a set of terminals located in the second cell.
  • the server 4320 transmits configuration information for overall learning to a terminal set A 4310A and a terminal set B 4310B.
  • the setting information for overall learning may include information instructing performance of overall learning, and does not include information necessary to select at least one of the layers.
  • steps S4303A and S4303B terminals belonging to the terminal set A 4310A and the terminal set B 4310B perform learning. In this case, the terminals perform learning on all layers of the global model.
  • step S4305 the terminals belonging to the terminal set A 4310A and the terminal set B 4310B transmit feedback information including the learning result to the server 4320 .
  • step S4307 the server 4320 updates the global model based on the feedback information. Accordingly, the global model is generalized.
  • step S4309 the server 4320 transmits configuration information for partial learning to the terminal set A 4310A.
  • the setting information for partial learning may include at least one of information instructing performance of partial learning and information required to select at least one of layers.
  • the terminals belonging to the terminal set A (4310A) perform learning. In this case, the terminals perform learning on all layers of the global model.
  • the terminals belonging to the terminal set A 4310A transmit feedback information including the learning result to the server 4320 .
  • step S4315 the server 4320 updates the global model based on the feedback information. Accordingly, the personalization of the global model is achieved.
  • partial learning by the terminal set B 4310B may also be performed.
  • the partial learning by the terminal set B 4310B may be performed concurrently with the partial learning by the terminal set A 4310A or performed during a separate time period.
  • configuration information for partial learning by the terminal set B 4310B may be transmitted in step S4309. However, when the global model is updated, the feedback information divided by the terminal set may be used.
  • the client participating in the federated learning may reduce the amount of computation required for learning and reduce the amount of information about the weight change amount transmitted to the server. Accordingly, power consumption of a device including a client may be reduced, and a communication bandwidth required for transmitting weight change amount information may be saved.
  • the proposed federated learning protocol accurate performance evaluation of the updated global model can be made, and through this, the performance of the proposed method for reducing the amount of learning computation can be further improved.
  • examples of the above-described proposed method may also be included as one of the implementation methods of the present disclosure, it is clear that they may be regarded as a kind of proposed method.
  • the above-described proposed methods may be implemented independently, or may be implemented in the form of a combination (or merge) of some of the proposed methods.
  • Rules may be defined so that the base station informs the terminal of whether the proposed methods are applied or not (or information on the rules of the proposed methods) through a predefined signal (eg, a physical layer signal or a higher layer signal). .
  • Embodiments of the present disclosure may be applied to various wireless access systems.
  • various radio access systems there is a 3rd Generation Partnership Project (3GPP) or a 3GPP2 system.
  • 3GPP 3rd Generation Partnership Project
  • 3GPP2 3rd Generation Partnership Project2
  • Embodiments of the present disclosure may be applied not only to the various radio access systems, but also to all technical fields to which the various radio access systems are applied. Furthermore, the proposed method can be applied to mmWave and THz communication systems using very high frequency bands.
  • embodiments of the present disclosure may be applied to various applications such as free-running vehicles and drones.

Abstract

본 개시는 연합 학습(federated learning)을 수행하기 위한 방법 및 장치에 관한 것이다. 본 개시의 일 예로서, 통신 시스템에서 단말의 동작 방법은, 글로벌 모델 정보를 포함하는 설정 정보를 수신하는 단계, 상기 글로벌 모델의 레이어들 중 적어도 하나의 레이어를 결정하는 단계, 로컬 데이터를 이용하여 상기 적어도 하나의 레이어에 대한 학습을 수행함으로써 로컬 모델을 생성하는 단계, 및 상기 적어도 하나의 레이어에 관련된 연결들의 가중치 변화량에 관련된 정보를 송신하는 단계를 포함할 수 있다.

Description

통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치
이하의 설명은 통신 시스템에 대한 것으로, 통신 시스템에서 연합 학습(federated learning)을 수행하기 위한 방법 및 장치에 관한 것이다.
무선 접속 시스템이 음성이나 데이터 등과 같은 다양한 종류의 통신 서비스를 제공하기 위해 광범위하게 전개되고 있다. 일반적으로 무선 접속 시스템은 가용한 시스템 자원(대역폭, 전송 파워 등)을 공유하여 다중 사용자와의 통신을 지원할 수 있는 다중 접속(multiple access) 시스템이다. 다중 접속 시스템의 예들로는 CDMA(code division multiple access) 시스템, FDMA(frequency division multiple access) 시스템, TDMA(time division multiple access) 시스템, OFDMA(orthogonal frequency division multiple access) 시스템, SC-FDMA(single carrier frequency division multiple access) 시스템 등이 있다.
특히, 많은 통신 기기들이 큰 통신 용량을 요구하게 됨에 따라 기존 RAT(radio access technology)에 비해 향상된 모바일 브로드밴드(enhanced mobile broadband, eMBB) 통신 기술이 제안되고 있다. 또한 다수의 기기 및 사물들을 연결하여 언제 어디서나 다양한 서비스를 제공하는 mMTC(massive machine type communications) 뿐만 아니라 신뢰성(reliability) 및 지연(latency) 민감한 서비스/UE(user equipment)를 고려한 통신 시스템이 제안되고 있다. 이를 위한 다양한 기술 구성들이 제안되고 있다.
본 개시는 통신 시스템에서 연합 학습(federated learning)을 효율적으로 수행하기 위한 방법 및 장치에 관한 것이다.
본 개시는 통신 시스템에서 연합 학습의 연산량을 줄이기 위한 방법 및 장치에 관한 것이다.
본 개시는 통신 시스템에서 연합 학습에 따라 클라이언트에서 서버로 전달되는 정보의 양을 감소시키기 위한 방법 및 장치에 관한 것이다.
본 개시에서 이루고자 하는 기술적 목적들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 개시의 실시 예들로부터 본 개시의 기술 구성이 적용되는 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.
본 개시의 일 예로서, 통신 시스템에서 단말의 동작 방법은, 글로벌 모델 정보를 포함하는 설정 정보를 수신하는 단계, 상기 글로벌 모델의 레이어들 중 적어도 하나의 레이어를 결정하는 단계, 로컬 데이터를 이용하여 상기 적어도 하나의 레이어에 대한 학습을 수행함으로써 로컬 모델을 생성하는 단계, 및 상기 적어도 하나의 레이어에 관련된 연결들의 가중치 변화량에 관련된 정보를 송신하는 단계를 포함할 수 있다.
본 개시의 일 예로서, 통신 시스템에서 서버의 동작 방법은, 글로벌 모델 정보를 포함하는 설정 정보를 단말에게 송신하는 단계, 상기 글로벌 모델의 레이어들 중 일부인 적어도 하나의 레이어에 대한 학습의 결과로서 상기 적어도 하나의 레이어에 관련된 연결들의 가중치 변화량에 관련된 정보를 상기 단말로부터 수신하는 단계, 및 상기 가중치 변화량에 기반하여 상기 글로벌 모델을 갱신하는 단계를 포함할 수 있다.
본 개시의 일 예로서, 통신 시스템에서 단말은, 송수신기 및 상기 송수신기와 연결된 프로세서를 포함한다. 상기 프로세서는, 글로벌 모델 정보를 포함하는 설정 정보를 수신하고, 상기 글로벌 모델의 레이어들 중 적어도 하나의 레이어를 결정하고, 로컬 데이터를 이용하여 상기 적어도 하나의 레이어에 대한 학습을 수행함으로써 로컬 모델을 생성하고, 상기 적어도 하나의 레이어에 관련된 연결들의 가중치 변화량에 관련된 정보를 송신하도록 제어할 수 있다.
본 개시의 일 예로서, 통신 시스템에서 서버는, 송수신기 및 상기 송수신기와 연결된 프로세서를 포함한다. 상기 프로세서는, 글로벌 모델 정보를 포함하는 설정 정보를 단말에게 송신하고, 상기 글로벌 모델의 레이어들 중 일부인 적어도 하나의 레이어에 대한 학습의 결과로서 상기 적어도 하나의 레이어에 관련된 연결들의 가중치 변화량에 관련된 정보를 상기 단말로부터 수신하고, 상기 가중치 변화량에 기반하여 상기 글로벌 모델을 갱신하도록 제어할 수 있다.
상술한 본 개시의 양태들은 본 개시의 바람직한 실시 예들 중 일부에 불과하며, 본 개시의 기술적 특징들이 반영된 다양한 실시 예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 개시의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 개시에 기초한 실시 예들에 의해 하기와 같은 효과가 있을 수 있다.
본 개시에 따르면, 연합 학습(federated learning)의 연산량 및 연합 학습에 의해 클라이언트에서 피드백되는 정보의 양이 감소할 수 있다.
본 개시의 실시 예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 이하의 본 개시의 실시 예들에 대한 기재로부터 본 개시의 기술 구성이 적용되는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 개시에서 서술하는 구성을 실시함에 따른 의도하지 않은 효과들 역시 본 개시의 실시 예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
이하에 첨부되는 도면들은 본 개시에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 개시에 대한 실시 예들을 제공할 수 있다. 다만, 본 개시의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다. 각 도면에서의 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미할 수 있다.
도 1은 본 개시에 적용되는 통신 시스템 예시를 도시한 도면이다.
도 2는 본 개시에 적용될 수 있는 무선 기기의 예시를 도시한 도면이다.
도 3은 본 개시에 적용되는 무선 기기의 다른 예시를 도시한 도면이다.
도 4는 본 개시에 적용되는 휴대 기기의 예시를 도시한 도면이다.
도 5는 본 개시에 적용되는 차량 또는 자율 주행 차량의 예시를 도시한 도면이다.
도 6은 본 개시에 적용되는 이동체의 예시를 도시한 도면이다.
도 7은 본 개시에 적용되는 XR 기기의 예시를 도시한 도면이다.
도 8은 본 개시에 적용되는 로봇의 예시를 도시한 도면이다.
도 9는 본 개시에 적용되는 AI(artificial intelligence) 기기의 예시를 도시한 도면이다.
도 10은 본 개시에 적용되는 물리 채널들 및 이들을 이용한 신호 전송 방법을 도시한 도면이다.
도 11은 본 개시에 적용되는 무선 인터페이스 프로토콜(radio interface protocol)의 제어평면(control plane) 및 사용자 평면(user plane) 구조를 도시한 도면이다.
도 12는 본 개시에 적용되는 전송 신호를 처리하는 방법을 도시한 도면이다.
도 13은 본 개시에 적용 가능한 무선 프레임의 구조를 도시한 도면이다.
도 14는 본 개시에 적용 가능한 슬롯 구조를 도시한 도면이다.
도 15는 본 개시에 적용 가능한 6G 시스템에서 제공 가능한 통신 구조의 일례를 도시한 도면이다.
도 16은 본 개시에 적용 가능한 전자기 스펙트럼을 도시한 도면이다.
도 17은 본 개시에 적용 가능한 THz 통신 방법을 도시한 도면이다.
도 18은 본 개시에 적용 가능한 THz 무선 통신 송수신기를 도시한 도면이다.
도 19는 본 개시에 적용 가능한 THz 신호 생성 방법을 도시한 도면이다.
도 20은 본 개시에 적용 가능한 무선 통신 송수신기를 도시한 도면이다.
도 21은 본 개시에 적용 가능한 송신기 구조를 도시한 도면이다.
도 22는 본 개시에 적용 가능한 변조기 구조를 도시한 도면이다.
도 23은 본 개시에 적용 가능한 인공 신경망에 포함되는 퍼셉트론(perceptron)의 구조를 나타낸 도면이다.
도 24는 본 개시에 적용 가능한 인공 신경망 구조를 나타낸 도면이다.
도 25는 본 개시에 적용 가능한 심층 신경망을 나타낸 도면이다.
도 26은 본 개시에 적용 가능한 컨볼루션 신경망을 나타낸 도면이다.
도 27은 본 개시에 적용 가능한 컨볼루션 신경망의 필터 연산을 나타낸 도면이다.
도 28은 본 개시에 적용 가능한 순환 루프가 존재하는 신경망 구조를 나타낸 도면이다.
도 29는 본 개시에 적용 가능한 순환 신경망의 동작 구조를 나타낸 도면이다.
도 30은 본 개시에 적용 가능한 연합 학습의 개념을 나타내는 도면이다.
도 31은 본 개시에 적용 가능한 연합 학습의 프로토콜의 일례를 나타내는 도면이다.
도 32는 본 개시에 적용 가능한 단말에서 연합 학습을 수행하는 절차의 일 실시 예를 도시한 도면이다.
도 33은 본 개시에 적용 가능한 서버에서 연합 학습을 수행하는 절차의 일 실시 예를 도시한 도면이다.
도 34는 본 개시에 적용 가능한 단말에서 로컬 데이터의 특성에 기반하여 일부 레이어에 대한 학습을 수행하는 절차의 일 실시 예를 나타내는 도면이다.
도 35는 본 개시에 적용 가능한 단말에서 로컬 데이터의 특성을 판단하는 절차의 일 실시 예를 나타내는 도면이다.
도 36은 본 개시에 적용 가능한 단말에서 로컬 데이터의 특성에 기반하여 적응적으로 학습을 수행하는 절차의 일 실시 예를 나타내는 도면이다.
도 37은 본 개시에 적용 가능한 단말에서 부분 학습의 범위를 조정하는 절차의 일 실시 예를 나타내는 도면이다.
도 38은 본 개시에 적용 가능한 서버에서 글로벌 모델을 갱신하는 절차의 일 실시 예를 나타내는 도면이다.
도 39는 본 개시에 적용 가능한 모델에 대한 평가(evaluation)를 포함하는 연합 학습 프로토콜의 일례를 나타내는 도면이다.
도 40은 본 개시에 적용 가능한 모델에 대한 평가를 포함하는 연합 학습 프로토콜의 다른 예를 나타내는 도면이다.
도 41은 본 개시에 적용 가능한 서버에서 모델에 대한 평가를 포함하는 연합 학습을 수행하는 절차의 일 실시 예를 나타내는 도면이다.
도 42는 본 개시에 적용 가능한 서버에서 로컬 데이터의 특성을 분류하기 위한 기준 값들을 갱신하는 절차의 일 실시 예를 나타내는 도면이다.
도 43은 본 개시에 적용 가능한 운용 시나리오에 따른 서버 및 단말들의 연합 학습을 위한 신호 교환의 일례를 나타내는 도면이다.
이하의 실시 예들은 본 개시의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 개시의 실시 예를 구성할 수도 있다. 본 개시의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시 예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시 예의 대응하는 구성 또는 특징과 교체될 수 있다.
도면에 대한 설명에서, 본 개시의 요지를 흐릴 수 있는 절차 또는 단계 등은 기술하지 않았으며, 당업자의 수준에서 이해할 수 있을 정도의 절차 또는 단계는 또한 기술하지 아니하였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 개시를 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
본 명세서에서 본 개시의 실시 예들은 기지국과 이동국 간의 데이터 송수신 관계를 중심으로 설명되었다. 여기서, 기지국은 이동국과 직접적으로 통신을 수행하는 네트워크의 종단 노드(terminal node)로서의 의미가 있다. 본 문서에서 기지국에 의해 수행되는 것으로 설명된 특정 동작은 경우에 따라서는 기지국의 상위 노드(upper node)에 의해 수행될 수도 있다.
즉, 기지국을 포함하는 다수의 네트워크 노드들(network nodes)로 이루어지는 네트워크에서 이동국과의 통신을 위해 수행되는 다양한 동작들은 기지국 또는 기지국 이외의 다른 네트워크 노드들에 의해 수행될 수 있다. 이때, '기지국'은 고정국(fixed station), Node B, eNB(eNode B), gNB(gNode B), ng-eNB, 발전된 기지국(advanced base station, ABS) 또는 억세스 포인트(access point) 등의 용어에 의해 대체될 수 있다.
또한, 본 개시의 실시 예들에서 단말(terminal)은 사용자 기기(user equipment, UE), 이동국(mobile station, MS), 가입자국(subscriber station, SS), 이동 가입자 단말(mobile subscriber station, MSS), 이동 단말(mobile terminal) 또는 발전된 이동 단말(advanced mobile station, AMS) 등의 용어로 대체될 수 있다.
또한, 송신단은 데이터 서비스 또는 음성 서비스를 제공하는 고정 및/또는 이동 노드를 말하고, 수신단은 데이터 서비스 또는 음성 서비스를 수신하는 고정 및/또는 이동 노드를 의미한다. 따라서, 상향링크의 경우, 이동국이 송신단이 되고, 기지국이 수신단이 될 수 있다. 마찬가지로, 하향링크의 경우, 이동국이 수신단이 되고, 기지국이 송신단이 될 수 있다.
본 개시의 실시 예들은 무선 접속 시스템들인 IEEE 802.xx 시스템, 3GPP(3rd Generation Partnership Project) 시스템, 3GPP LTE(Long Term Evolution) 시스템, 3GPP 5G(5th generation) NR(New Radio) 시스템 및 3GPP2 시스템 중 적어도 하나에 개시된 표준 문서들에 의해 뒷받침될 수 있으며, 특히, 본 개시의 실시 예들은 3GPP TS(technical specification) 38.211, 3GPP TS 38.212, 3GPP TS 38.213, 3GPP TS 38.321 및 3GPP TS 38.331 문서들에 의해 뒷받침 될 수 있다.
또한, 본 개시의 실시 예들은 다른 무선 접속 시스템에도 적용될 수 있으며, 상술한 시스템으로 한정되는 것은 아니다. 일 예로, 3GPP 5G NR 시스템 이후에 적용되는 시스템에 대해서도 적용 가능할 수 있으며, 특정 시스템에 한정되지 않는다.
즉, 본 개시의 실시 예들 중 설명하지 않은 자명한 단계들 또는 부분들은 상기 문서들을 참조하여 설명될 수 있다. 또한, 본 문서에서 개시하고 있는 모든 용어들은 상기 표준 문서에 의해 설명될 수 있다.
이하, 본 개시에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 개시의 예시적인 실시 형태를 설명하고자 하는 것이며, 본 개시의 기술 구성이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
또한, 본 개시의 실시 예들에서 사용되는 특정 용어들은 본 개시의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 개시의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
이하의 기술은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 등과 같은 다양한 무선 접속 시스템에 적용될 수 있다.
이하 설명을 명확하게 하기 위해, 3GPP 통신 시스템(예, LTE, NR 등)을 기반으로 설명하지만 본 발명의 기술적 사상이 이에 제한되는 것은 아니다. LTE는 3GPP TS 36.xxx Release 8 이후의 기술을 의미할 수 있다. 세부적으로, 3GPP TS 36.xxx Release 10 이후의 LTE 기술은 LTE-A로 지칭되고, 3GPP TS 36.xxx Release 13 이후의 LTE 기술은 LTE-A pro로 지칭될 수 있다. 3GPP NR은 TS 38.xxx Release 15 이후의 기술을 의미할 수 있다. 3GPP 6G는 TS Release 17 및/또는 Release 18 이후의 기술을 의미할 수 있다. "xxx"는 표준 문서 세부 번호를 의미한다. LTE/NR/6G는 3GPP 시스템으로 통칭될 수 있다.
본 개시에 사용된 배경기술, 용어, 약어 등에 관해서는 본 발명 이전에 공개된 표준 문서에 기재된 사항을 참조할 수 있다. 일 예로, 36.xxx 및 38.xxx 표준 문서를 참조할 수 있다.
본 개시에 적용 가능한 통신 시스템
이로 제한되는 것은 아니지만, 본 문서에 개시된 본 개시의 다양한 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 기기들 간에 무선 통신/연결(예, 5G)을 필요로 하는 다양한 분야에 적용될 수 있다.
이하, 도면을 참조하여 보다 구체적으로 예시한다. 이하의 도면/설명에서 동일한 도면 부호는 다르게 기술하지 않는 한, 동일하거나 대응되는 하드웨어 블록, 소프트웨어 블록 또는 기능 블록을 예시할 수 있다.
도 1은 본 개시에 적용되는 통신 시스템 예시를 도시한 도면이다.
도 1을 참조하면, 본 개시에 적용되는 통신 시스템(100)은 무선 기기, 기지국 및 네트워크를 포함한다. 여기서, 무선 기기는 무선 접속 기술(예, 5G NR, LTE)을 이용하여 통신을 수행하는 기기를 의미하며, 통신/무선/5G 기기로 지칭될 수 있다. 이로 제한되는 것은 아니지만, 무선 기기는 로봇(100a), 차량(100b-1, 100b-2), XR(extended reality) 기기(100c), 휴대 기기(hand-held device)(100d), 가전(home appliance)(100e), IoT(Internet of Thing) 기기(100f), AI(artificial intelligence) 기기/서버(100g)를 포함할 수 있다. 예를 들어, 차량은 무선 통신 기능이 구비된 차량, 자율 주행 차량, 차량간 통신을 수행할 수 있는 차량 등을 포함할 수 있다. 여기서, 차량(100b-1, 100b-2)은 UAV(unmanned aerial vehicle)(예, 드론)를 포함할 수 있다. XR 기기(100c)는 AR(augmented reality)/VR(virtual reality)/MR(mixed reality) 기기를 포함하며, HMD(head-mounted device), 차량에 구비된 HUD(head-up display), 텔레비전, 스마트폰, 컴퓨터, 웨어러블 장치, 가전 기기, 디지털 사이니지(signage), 차량, 로봇 등의 형태로 구현될 수 있다. 휴대 기기(100d)는 스마트폰, 스마트패드, 웨어러블 기기(예, 스마트워치, 스마트글래스), 컴퓨터(예, 노트북 등) 등을 포함할 수 있다. 가전(100e)은 TV, 냉장고, 세탁기 등을 포함할 수 있다. IoT 기기(100f)는 센서, 스마트 미터 등을 포함할 수 있다. 예를 들어, 기지국(120), 네트워크(130)는 무선 기기로도 구현될 수 있으며, 특정 무선 기기(120a)는 다른 무선 기기에게 기지국/네트워크 노드로 동작할 수도 있다.
무선 기기(100a~100f)는 기지국(120)을 통해 네트워크(130)와 연결될 수 있다. 무선 기기(100a~100f)에는 AI 기술이 적용될 수 있으며, 무선 기기(100a~100f)는 네트워크(130)를 통해 AI 서버(100g)와 연결될 수 있다. 네트워크(130)는 3G 네트워크, 4G(예, LTE) 네트워크 또는 5G(예, NR) 네트워크 등을 이용하여 구성될 수 있다. 무선 기기(100a~100f)는 기지국(120)/네트워크(130)를 통해 서로 통신할 수도 있지만, 기지국(120)/네트워크(130)를 통하지 않고 직접 통신(예, 사이드링크 통신(sidelink communication))할 수도 있다. 예를 들어, 차량들(100b-1, 100b-2)은 직접 통신(예, V2V(vehicle to vehicle)/V2X(vehicle to everything) communication)을 할 수 있다. 또한, IoT 기기(100f)(예, 센서)는 다른 IoT 기기(예, 센서) 또는 다른 무선 기기(100a~100f)와 직접 통신을 할 수 있다.
무선 기기(100a~100f)/기지국(120), 기지국(120)/기지국(120) 간에는 무선 통신/연결(150a, 150b, 150c)이 이뤄질 수 있다. 여기서, 무선 통신/연결은 상향/하향링크 통신(150a)과 사이드링크 통신(150b)(또는, D2D 통신), 기지국간 통신(150c)(예, relay, IAB(integrated access backhaul))과 같은 다양한 무선 접속 기술(예, 5G NR)을 통해 이뤄질 수 있다. 무선 통신/연결(150a, 150b, 150c)을 통해 무선 기기와 기지국/무선 기기, 기지국과 기지국은 서로 무선 신호를 송신/수신할 수 있다. 예를 들어, 무선 통신/연결(150a, 150b, 150c)은 다양한 물리 채널을 통해 신호를 송신/수신할 수 있다. 이를 위해, 본 개시의 다양한 제안들에 기반하여, 무선 신호의 송신/수신을 위한 다양한 구성정보 설정 과정, 다양한 신호 처리 과정(예, 채널 인코딩/디코딩, 변조/복조, 자원 매핑/디매핑 등), 자원 할당 과정 등 중 적어도 일부가 수행될 수 있다.
본 개시에 적용 가능한 무선 기기
도 2는 본 개시에 적용될 수 있는 무선 기기의 예시를 도시한 도면이다.
도 2를 참조하면, 제1 무선 기기(200a)와 제2 무선 기기(200b)는 다양한 무선 접속 기술(예, LTE, NR)을 통해 무선 신호를 송수신할 수 있다. 여기서, {제1 무선 기기(200a), 제2 무선 기기(200b)}은 도 1의 {무선 기기(100x), 기지국(120)} 및/또는 {무선 기기(100x), 무선 기기(100x)}에 대응할 수 있다.
제1 무선 기기(200a)는 하나 이상의 프로세서(202a) 및 하나 이상의 메모리(204a)를 포함하며, 추가적으로 하나 이상의 송수신기(206a) 및/또는 하나 이상의 안테나(208a)을 더 포함할 수 있다. 프로세서(202a)는 메모리(204a) 및/또는 송수신기(206a)를 제어하며, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(202a)는 메모리(204a) 내의 정보를 처리하여 제1 정보/신호를 생성한 뒤, 송수신기(206a)을 통해 제1 정보/신호를 포함하는 무선 신호를 전송할 수 있다. 또한, 프로세서(202a)는 송수신기(206a)를 통해 제2 정보/신호를 포함하는 무선 신호를 수신한 뒤, 제2 정보/신호의 신호 처리로부터 얻은 정보를 메모리(204a)에 저장할 수 있다. 메모리(204a)는 프로세서(202a)와 연결될 수 있고, 프로세서(202a)의 동작과 관련한 다양한 정보를 저장할 수 있다. 예를 들어, 메모리(204a)는 프로세서(202a)에 의해 제어되는 프로세스들 중 일부 또는 전부를 수행하거나, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 수행하기 위한 명령들을 포함하는 소프트웨어 코드를 저장할 수 있다. 여기서, 프로세서(202a)와 메모리(204a)는 무선 통신 기술(예, LTE, NR)을 구현하도록 설계된 통신 모뎀/회로/칩의 일부일 수 있다. 송수신기(206a)는 프로세서(202a)와 연결될 수 있고, 하나 이상의 안테나(208a)를 통해 무선 신호를 송신 및/또는 수신할 수 있다. 송수신기(206a)는 송신기 및/또는 수신기를 포함할 수 있다. 송수신기(206a)는 RF(radio frequency) 유닛과 혼용될 수 있다. 본 개시에서 무선 기기는 통신 모뎀/회로/칩을 의미할 수도 있다.
제2 무선 기기(200b)는 하나 이상의 프로세서(202b), 하나 이상의 메모리(204b)를 포함하며, 추가적으로 하나 이상의 송수신기(206b) 및/또는 하나 이상의 안테나(208b)를 더 포함할 수 있다. 프로세서(202b)는 메모리(204b) 및/또는 송수신기(206b)를 제어하며, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(202b)는 메모리(204b) 내의 정보를 처리하여 제3 정보/신호를 생성한 뒤, 송수신기(206b)를 통해 제3 정보/신호를 포함하는 무선 신호를 전송할 수 있다. 또한, 프로세서(202b)는 송수신기(206b)를 통해 제4 정보/신호를 포함하는 무선 신호를 수신한 뒤, 제4 정보/신호의 신호 처리로부터 얻은 정보를 메모리(204b)에 저장할 수 있다. 메모리(204b)는 프로세서(202b)와 연결될 수 있고, 프로세서(202b)의 동작과 관련한 다양한 정보를 저장할 수 있다. 예를 들어, 메모리(204b)는 프로세서(202b)에 의해 제어되는 프로세스들 중 일부 또는 전부를 수행하거나, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 수행하기 위한 명령들을 포함하는 소프트웨어 코드를 저장할 수 있다. 여기서, 프로세서(202b)와 메모리(204b)는 무선 통신 기술(예, LTE, NR)을 구현하도록 설계된 통신 모뎀/회로/칩의 일부일 수 있다. 송수신기(206b)는 프로세서(202b)와 연결될 수 있고, 하나 이상의 안테나(208b)를 통해 무선 신호를 송신 및/또는 수신할 수 있다. 송수신기(206b)는 송신기 및/또는 수신기를 포함할 수 있다 송수신기(206b)는 RF 유닛과 혼용될 수 있다. 본 개시에서 무선 기기는 통신 모뎀/회로/칩을 의미할 수도 있다.
이하, 무선 기기(200a, 200b)의 하드웨어 요소에 대해 보다 구체적으로 설명한다. 이로 제한되는 것은 아니지만, 하나 이상의 프로토콜 계층이 하나 이상의 프로세서(202a, 202b)에 의해 구현될 수 있다. 예를 들어, 하나 이상의 프로세서(202a, 202b)는 하나 이상의 계층(예, PHY(physical), MAC(media access control), RLC(radio link control), PDCP(packet data convergence protocol), RRC(radio resource control), SDAP(service data adaptation protocol)와 같은 기능적 계층)을 구현할 수 있다. 하나 이상의 프로세서(202a, 202b)는 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 하나 이상의 PDU(Protocol Data Unit) 및/또는 하나 이상의 SDU(service data unit)를 생성할 수 있다. 하나 이상의 프로세서(202a, 202b)는 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 메시지, 제어정보, 데이터 또는 정보를 생성할 수 있다. 하나 이상의 프로세서(202a, 202b)는 본 문서에 개시된 기능, 절차, 제안 및/또는 방법에 따라 PDU, SDU, 메시지, 제어정보, 데이터 또는 정보를 포함하는 신호(예, 베이스밴드 신호)를 생성하여, 하나 이상의 송수신기(206a, 206b)에게 제공할 수 있다. 하나 이상의 프로세서(202a, 202b)는 하나 이상의 송수신기(206a, 206b)로부터 신호(예, 베이스밴드 신호)를 수신할 수 있고, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 PDU, SDU, 메시지, 제어정보, 데이터 또는 정보를 획득할 수 있다.
하나 이상의 프로세서(202a, 202b)는 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 마이크로 컴퓨터로 지칭될 수 있다. 하나 이상의 프로세서(202a, 202b)는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합에 의해 구현될 수 있다. 일 예로, 하나 이상의 ASIC(application specific integrated circuit), 하나 이상의 DSP(digital signal processor), 하나 이상의 DSPD(digital signal processing device), 하나 이상의 PLD(programmable logic device) 또는 하나 이상의 FPGA(field programmable gate arrays)가 하나 이상의 프로세서(202a, 202b)에 포함될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 펌웨어 또는 소프트웨어를 사용하여 구현될 수 있고, 펌웨어 또는 소프트웨어는 모듈, 절차, 기능 등을 포함하도록 구현될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 수행하도록 설정된 펌웨어 또는 소프트웨어는 하나 이상의 프로세서(202a, 202b)에 포함되거나, 하나 이상의 메모리(204a, 204b)에 저장되어 하나 이상의 프로세서(202a, 202b)에 의해 구동될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 코드, 명령어 및/또는 명령어의 집합 형태로 펌웨어 또는 소프트웨어를 사용하여 구현될 수 있다.
하나 이상의 메모리(204a, 204b)는 하나 이상의 프로세서(202a, 202b)와 연결될 수 있고, 다양한 형태의 데이터, 신호, 메시지, 정보, 프로그램, 코드, 지시 및/또는 명령을 저장할 수 있다. 하나 이상의 메모리(204a, 204b)는 ROM(read only memory), RAM(random access memory), EPROM(erasable programmable read only memory), 플래시 메모리, 하드 드라이브, 레지스터, 캐쉬 메모리, 컴퓨터 판독 저장 매체 및/또는 이들의 조합으로 구성될 수 있다. 하나 이상의 메모리(204a, 204b)는 하나 이상의 프로세서(202a, 202b)의 내부 및/또는 외부에 위치할 수 있다. 또한, 하나 이상의 메모리(204a, 204b)는 유선 또는 무선 연결과 같은 다양한 기술을 통해 하나 이상의 프로세서(202a, 202b)와 연결될 수 있다.
하나 이상의 송수신기(206a, 206b)는 하나 이상의 다른 장치에게 본 문서의 방법들 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 전송할 수 있다. 하나 이상의 송수신기(206a, 206b)는 하나 이상의 다른 장치로부터 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 수신할 수 있다. 예를 들어, 하나 이상의 송수신기(206a, 206b)는 하나 이상의 프로세서(202a, 202b)와 연결될 수 있고, 무선 신호를 송수신할 수 있다. 예를 들어, 하나 이상의 프로세서(202a, 202b)는 하나 이상의 송수신기(206a, 206b)가 하나 이상의 다른 장치에게 사용자 데이터, 제어 정보 또는 무선 신호를 전송하도록 제어할 수 있다. 또한, 하나 이상의 프로세서(202a, 202b)는 하나 이상의 송수신기(206a, 206b)가 하나 이상의 다른 장치로부터 사용자 데이터, 제어 정보 또는 무선 신호를 수신하도록 제어할 수 있다. 또한, 하나 이상의 송수신기(206a, 206b)는 하나 이상의 안테나(208a, 208b)와 연결될 수 있고, 하나 이상의 송수신기(206a, 206b)는 하나 이상의 안테나(208a, 208b)를 통해 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 송수신하도록 설정될 수 있다. 본 문서에서, 하나 이상의 안테나는 복수의 물리 안테나이거나, 복수의 논리 안테나(예, 안테나 포트)일 수 있다. 하나 이상의 송수신기(206a, 206b)는 수신된 사용자 데이터, 제어 정보, 무선 신호/채널 등을 하나 이상의 프로세서(202a, 202b)를 이용하여 처리하기 위해, 수신된 무선 신호/채널 등을 RF 밴드 신호에서 베이스밴드 신호로 변환(Convert)할 수 있다. 하나 이상의 송수신기(206a, 206b)는 하나 이상의 프로세서(202a, 202b)를 이용하여 처리된 사용자 데이터, 제어 정보, 무선 신호/채널 등을 베이스밴드 신호에서 RF 밴드 신호로 변환할 수 있다. 이를 위하여, 하나 이상의 송수신기(206a, 206b)는 (아날로그) 오실레이터 및/또는 필터를 포함할 수 있다.
본 개시에 적용 가능한 무선 기기 구조
도 3은 본 개시에 적용되는 무선 기기의 다른 예시를 도시한 도면이다.
도 3을 참조하면, 무선 기기(300)는 도 2의 무선 기기(200a, 200b)에 대응하며, 다양한 요소(element), 성분(component), 유닛/부(unit), 및/또는 모듈(module)로 구성될 수 있다. 예를 들어, 무선 기기(300)는 통신부(310), 제어부(320), 메모리부(330) 및 추가 요소(340)를 포함할 수 있다. 통신부는 통신 회로(312) 및 송수신기(들)(314)을 포함할 수 있다. 예를 들어, 통신 회로(312)는 도 2의 하나 이상의 프로세서(202a, 202b) 및/또는 하나 이상의 메모리(204a, 204b)를 포함할 수 있다. 예를 들어, 송수신기(들)(314)는 도 2의 하나 이상의 송수신기(206a, 206b) 및/또는 하나 이상의 안테나(208a, 208b)을 포함할 수 있다. 제어부(320)는 통신부(310), 메모리부(330) 및 추가 요소(340)와 전기적으로 연결되며 무선 기기의 제반 동작을 제어한다. 예를 들어, 제어부(320)는 메모리부(330)에 저장된 프로그램/코드/명령/정보에 기반하여 무선 기기의 전기적/기계적 동작을 제어할 수 있다. 또한, 제어부(320)는 메모리부(330)에 저장된 정보를 통신부(310)를 통해 외부(예, 다른 통신 기기)로 무선/유선 인터페이스를 통해 전송하거나, 통신부(310)를 통해 외부(예, 다른 통신 기기)로부터 무선/유선 인터페이스를 통해 수신된 정보를 메모리부(330)에 저장할 수 있다.
추가 요소(340)는 무선 기기의 종류에 따라 다양하게 구성될 수 있다. 예를 들어, 추가 요소(340)는 파워 유닛/배터리, 입출력부(input/output unit), 구동부 및 컴퓨팅부 중 적어도 하나를 포함할 수 있다. 이로 제한되는 것은 아니지만, 무선 기기(300)는 로봇(도 1, 100a), 차량(도 1, 100b-1, 100b-2), XR 기기(도 1, 100c), 휴대 기기(도 1, 100d), 가전(도 1, 100e), IoT 기기(도 1, 100f), 디지털 방송용 단말, 홀로그램 장치, 공공 안전 장치, MTC 장치, 의료 장치, 핀테크 장치(또는 금융 장치), 보안 장치, 기후/환경 장치, AI 서버/기기(도 1, 140), 기지국(도 1, 120), 네트워크 노드 등의 형태로 구현될 수 있다. 무선 기기는 사용-예/서비스에 따라 이동 가능하거나 고정된 장소에서 사용될 수 있다.
도 3에서 무선 기기(300) 내의 다양한 요소, 성분, 유닛/부, 및/또는 모듈은 전체가 유선 인터페이스를 통해 상호 연결되거나, 적어도 일부가 통신부(310)를 통해 무선으로 연결될 수 있다. 예를 들어, 무선 기기(300) 내에서 제어부(320)와 통신부(310)는 유선으로 연결되며, 제어부(320)와 제1 유닛(예, 130, 140)은 통신부(310)를 통해 무선으로 연결될 수 있다. 또한, 무선 기기(300) 내의 각 요소, 성분, 유닛/부, 및/또는 모듈은 하나 이상의 요소를 더 포함할 수 있다. 예를 들어, 제어부(320)는 하나 이상의 프로세서 집합으로 구성될 수 있다. 예를 들어, 제어부(320)는 통신 제어 프로세서, 어플리케이션 프로세서(application processor), ECU(electronic control unit), 그래픽 처리 프로세서, 메모리 제어 프로세서 등의 집합으로 구성될 수 있다. 다른 예로, 메모리부(330)는 RAM, DRAM(dynamic RAM), ROM, 플래시 메모리(flash memory), 휘발성 메모리(volatile memory), 비-휘발성 메모리(non-volatile memory) 및/또는 이들의 조합으로 구성될 수 있다.
본 개시가 적용 가능한 휴대 기기
도 4는 본 개시에 적용되는 휴대 기기의 예시를 도시한 도면이다.
도 4는 본 개시에 적용되는 휴대 기기를 예시한다. 휴대 기기는 스마트폰, 스마트패드, 웨어러블 기기(예, 스마트워치, 스마트글래스), 휴대용 컴퓨터(예, 노트북 등)을 포함할 수 있다. 휴대 기기는 MS(mobile station), UT(user terminal), MSS(mobile subscriber station), SS(subscriber station), AMS(advanced mobile station) 또는 WT(wireless terminal)로 지칭될 수 있다.
도 4를 참조하면, 휴대 기기(400)는 안테나부(408), 통신부(410), 제어부(420), 메모리부(430), 전원공급부(440a), 인터페이스부(440b) 및 입출력부(440c)를 포함할 수 있다. 안테나부(408)는 통신부(410)의 일부로 구성될 수 있다. 블록 410~430/440a~440c는 각각 도 3의 블록 310~330/340에 대응한다.
통신부(410)는 다른 무선 기기, 기지국들과 신호(예, 데이터, 제어 신호 등)를 송수신할 수 있다. 제어부(420)는 휴대 기기(400)의 구성 요소들을 제어하여 다양한 동작을 수행할 수 있다. 제어부(420)는 AP(application processor)를 포함할 수 있다. 메모리부(430)는 휴대 기기(400)의 구동에 필요한 데이터/파라미터/프로그램/코드/명령을 저장할 수 있다. 또한, 메모리부(430)는 입/출력되는 데이터/정보 등을 저장할 수 있다. 전원공급부(440a)는 휴대 기기(400)에게 전원을 공급하며, 유/무선 충전 회로, 배터리 등을 포함할 수 있다. 인터페이스부(440b)는 휴대 기기(400)와 다른 외부 기기의 연결을 지원할 수 있다. 인터페이스부(440b)는 외부 기기와의 연결을 위한 다양한 포트(예, 오디오 입/출력 포트, 비디오 입/출력 포트)를 포함할 수 있다. 입출력부(440c)는 영상 정보/신호, 오디오 정보/신호, 데이터, 및/또는 사용자로부터 입력되는 정보를 입력 받거나 출력할 수 있다. 입출력부(440c)는 카메라, 마이크로폰, 사용자 입력부, 디스플레이부(440d), 스피커 및/또는 햅틱 모듈 등을 포함할 수 있다.
일 예로, 데이터 통신의 경우, 입출력부(440c)는 사용자로부터 입력된 정보/신호(예, 터치, 문자, 음성, 이미지, 비디오)를 획득하며, 획득된 정보/신호는 메모리부(430)에 저장될 수 있다. 통신부(410)는 메모리에 저장된 정보/신호를 무선 신호로 변환하고, 변환된 무선 신호를 다른 무선 기기에게 직접 전송하거나 기지국에게 전송할 수 있다. 또한, 통신부(410)는 다른 무선 기기 또는 기지국으로부터 무선 신호를 수신한 뒤, 수신된 무선 신호를 원래의 정보/신호로 복원할 수 있다. 복원된 정보/신호는 메모리부(430)에 저장된 뒤, 입출력부(440c)를 통해 다양한 형태(예, 문자, 음성, 이미지, 비디오, 햅틱)로 출력될 수 있다.
본 개시가 적용 가능한 무선 기기 종류
도 5는 본 개시에 적용되는 차량 또는 자율 주행 차량의 예시를 도시한 도면이다.
도 5는 본 개시에 적용되는 차량 또는 자율 주행 차량을 예시한다. 차량 또는 자율 주행 차량은 이동형 로봇, 차량, 기차, 유/무인 비행체(aerial vehicle, AV), 선박 등으로 구현될 수 있으며, 차량의 형태로 한정되는 것은 아니다.
도 5를 참조하면, 차량 또는 자율 주행 차량(500)은 안테나부(508), 통신부(510), 제어부(520), 구동부(540a), 전원공급부(540b), 센서부(540c) 및 자율 주행부(540d)를 포함할 수 있다. 안테나부(550)는 통신부(510)의 일부로 구성될 수 있다. 블록 510/530/540a~540d는 각각 도 4의 블록 410/430/440에 대응한다.
통신부(510)는 다른 차량, 기지국(예, 기지국, 노변 기지국(road side unit) 등), 서버 등의 외부 기기들과 신호(예, 데이터, 제어 신호 등)를 송수신할 수 있다. 제어부(520)는 차량 또는 자율 주행 차량(500)의 요소들을 제어하여 다양한 동작을 수행할 수 있다. 제어부(520)는 ECU(electronic control unit)를 포함할 수 있다. 구동부(540a)는 차량 또는 자율 주행 차량(500)을 지상에서 주행하게 할 수 있다. 구동부(540a)는 엔진, 모터, 파워 트레인, 바퀴, 브레이크, 조향 장치 등을 포함할 수 있다. 전원공급부(540b)는 차량 또는 자율 주행 차량(500)에게 전원을 공급하며, 유/무선 충전 회로, 배터리 등을 포함할 수 있다. 센서부(540c)는 차량 상태, 주변 환경 정보, 사용자 정보 등을 얻을 수 있다. 센서부(540c)는 IMU(inertial measurement unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 스티어링 센서, 온도 센서, 습도 센서, 초음파 센서, 조도 센서, 페달 포지션 센서 등을 포함할 수 있다. 자율 주행부(540d)는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등을 구현할 수 있다.
일 예로, 통신부(510)는 외부 서버로부터 지도 데이터, 교통 정보 데이터 등을 수신할 수 있다. 자율 주행부(540d)는 획득된 데이터를 기반으로 자율 주행 경로와 드라이빙 플랜을 생성할 수 있다. 제어부(520)는 드라이빙 플랜에 따라 차량 또는 자율 주행 차량(500)이 자율 주행 경로를 따라 이동하도록 구동부(540a)를 제어할 수 있다(예, 속도/방향 조절). 자율 주행 도중에 통신부(510)는 외부 서버로부터 최신 교통 정보 데이터를 비/주기적으로 획득하며, 주변 차량으로부터 주변 교통 정보 데이터를 획득할 수 있다. 또한, 자율 주행 도중에 센서부(540c)는 차량 상태, 주변 환경 정보를 획득할 수 있다. 자율 주행부(540d)는 새로 획득된 데이터/정보에 기반하여 자율 주행 경로와 드라이빙 플랜을 갱신할 수 있다. 통신부(510)는 차량 위치, 자율 주행 경로, 드라이빙 플랜 등에 관한 정보를 외부 서버로 전달할 수 있다. 외부 서버는 차량 또는 자율 주행 차량들로부터 수집된 정보에 기반하여, AI 기술 등을 이용하여 교통 정보 데이터를 미리 예측할 수 있고, 예측된 교통 정보 데이터를 차량 또는 자율 주행 차량들에게 제공할 수 있다.
도 6은 본 개시에 적용되는 이동체의 예시를 도시한 도면이다.
도 6을 참조하면, 본 개시에 적용되는 이동체는 운송수단, 기차, 비행체 및 선박 중 적어도 어느 하나로 구현될 수 있다. 또한, 본 개시에 적용되는 이동체는 다른 형태로 구현될 수 있으며, 상술한 실시 예로 한정되지 않는다.
이때, 도 6을 참조하면, 이동체(600)는 통신부(610), 제어부(620), 메모리부(630), 입출력부(640a) 및 위치 측정부(640b)를 포함할 수 있다. 여기서, 블록 610~630/640a~640b는 각각 도 3의 블록 310~330/340에 대응한다.
통신부(610)는 다른 이동체, 또는 기지국 등의 외부 기기들과 신호(예, 데이터, 제어 신호 등)를 송수신할 수 있다. 제어부(620)는 이동체(600)의 구성 요소들을 제어하여 다양한 동작을 수행할 수 있다. 메모리부(630)는 이동체(600)의 다양한 기능을 지원하는 데이터/파라미터/프로그램/코드/명령을 저장할 수 있다. 입출력부(640a)는 메모리부(630) 내의 정보에 기반하여 AR/VR 오브젝트를 출력할 수 있다. 입출력부(640a)는 HUD를 포함할 수 있다. 위치 측정부(640b)는 이동체(600)의 위치 정보를 획득할 수 있다. 위치 정보는 이동체(600)의 절대 위치 정보, 주행선 내에서의 위치 정보, 가속도 정보, 주변 차량과의 위치 정보 등을 포함할 수 있다. 위치 측정부(640b)는 GPS 및 다양한 센서들을 포함할 수 있다.
일 예로, 이동체(600)의 통신부(610)는 외부 서버로부터 지도 정보, 교통 정보 등을 수신하여 메모리부(630)에 저장할 수 있다. 위치 측정부(640b)는 GPS 및 다양한 센서를 통하여 이동체 위치 정보를 획득하여 메모리부(630)에 저장할 수 있다. 제어부(620)는 지도 정보, 교통 정보 및 이동체 위치 정보 등에 기반하여 가상 오브젝트를 생성하고, 입출력부(640a)는 생성된 가상 오브젝트를 이동체 내 유리창에 표시할 수 있다(651, 652). 또한, 제어부(620)는 이동체 위치 정보에 기반하여 이동체(600)가 주행선 내에서 정상적으로 운행되고 있는지 판단할 수 있다. 이동체(600)가 주행선을 비정상적으로 벗어나는 경우, 제어부(620)는 입출력부(640a)를 통해 이동체 내 유리창에 경고를 표시할 수 있다. 또한, 제어부(620)는 통신부(610)를 통해 주변 이동체들에게 주행 이상에 관한 경고 메세지를 방송할 수 있다. 상황에 따라, 제어부(620)는 통신부(610)를 통해 관계 기관에게 이동체의 위치 정보와, 주행/이동체 이상에 관한 정보를 전송할 수 있다.
도 7은 본 개시에 적용되는 XR 기기의 예시를 도시한 도면이다. XR 기기는 HMD, 차량에 구비된 HUD(head-up display), 텔레비전, 스마트폰, 컴퓨터, 웨어러블 장치, 가전 기기, 디지털 사이니지(signage), 차량, 로봇 등으로 구현될 수 있다.
도 7을 참조하면, XR 기기(700a)는 통신부(710), 제어부(720), 메모리부(730), 입출력부(740a), 센서부(740b) 및 전원 공급부(740c)를 포함할 수 있다. 여기서, 블록 710~730/740a~740c은 각각 도 3의 블록 310~330/340에 대응할 수 있다.
통신부(710)는 다른 무선 기기, 휴대 기기, 또는 미디어 서버 등의 외부 기기들과 신호(예, 미디어 데이터, 제어 신호 등)를 송수신할 수 있다. 미디어 데이터는 영상, 이미지, 소리 등을 포함할 수 있다. 제어부(720)는 XR 기기(700a)의 구성 요소들을 제어하여 다양한 동작을 수행할 수 있다. 예를 들어, 제어부(720)는 비디오/이미지 획득, (비디오/이미지) 인코딩, 메타데이터 생성 및 처리 등의 절차를 제어 및/또는 수행하도록 구성될 수 있다. 메모리부(730)는 XR 기기(700a)의 구동/XR 오브젝트의 생성에 필요한 데이터/파라미터/프로그램/코드/명령을 저장할 수 있다.
입출력부(740a)는 외부로부터 제어 정보, 데이터 등을 획득하며, 생성된 XR 오브젝트를 출력할 수 있다. 입출력부(740a)는 카메라, 마이크로폰, 사용자 입력부, 디스플레이부, 스피커 및/또는 햅틱 모듈 등을 포함할 수 있다. 센서부(740b)는 XR 기기 상태, 주변 환경 정보, 사용자 정보 등을 얻을 수 있다. 센서부(740b)는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB(red green blue) 센서, IR(infrared) 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰 및/또는 레이더 등을 포함할 수 있다. 전원공급부(740c)는 XR 기기(700a)에게 전원을 공급하며, 유/무선 충전 회로, 배터리 등을 포함할 수 있다.
일 예로, XR 기기(700a)의 메모리부(730)는 XR 오브젝트(예, AR/VR/MR 오브젝트)의 생성에 필요한 정보(예, 데이터 등)를 포함할 수 있다. 입출력부(740a)는 사용자로부터 XR 기기(700a)를 조작하는 명령을 획득할 수 있으며, 제어부(720)는 사용자의 구동 명령에 따라 XR 기기(700a)를 구동시킬 수 있다. 예를 들어, 사용자가 XR 기기(700a)를 통해 영화, 뉴스 등을 시청하려고 하는 경우, 제어부(720)는 통신부(730)를 통해 컨텐츠 요청 정보를 다른 기기(예, 휴대 기기(700b)) 또는 미디어 서버에 전송할 수 있다. 통신부(730)는 다른 기기(예, 휴대 기기(700b)) 또는 미디어 서버로부터 영화, 뉴스 등의 컨텐츠를 메모리부(730)로 다운로드/스트리밍 받을 수 있다. 제어부(720)는 컨텐츠에 대해 비디오/이미지 획득, (비디오/이미지) 인코딩, 메타데이터 생성/처리 등의 절차를 제어 및/또는 수행하며, 입출력부(740a)/센서부(740b)를 통해 획득한 주변 공간 또는 현실 오브젝트에 대한 정보에 기반하여 XR 오브젝트를 생성/출력할 수 있다.
또한, XR 기기(700a)는 통신부(710)를 통해 휴대 기기(700b)와 무선으로 연결되며, XR 기기(700a)의 동작은 휴대 기기(700b)에 의해 제어될 수 있다. 예를 들어, 휴대 기기(700b)는 XR 기기(700a)에 대한 콘트롤러로 동작할 수 있다. 이를 위해, XR 기기(700a)는 휴대 기기(700b)의 3차원 위치 정보를 획득한 뒤, 휴대 기기(700b)에 대응하는 XR 개체를 생성하여 출력할 수 있다.
도 8은 본 개시에 적용되는 로봇의 예시를 도시한 도면이다. 일 예로, 로봇은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류될 수 있다. 이때, 도 8을 참조하면, 로봇(800)은 통신부(810), 제어부(820), 메모리부(830), 입출력부(840a), 센서부(840b) 및 구동부(840c)를 포함할 수 있다. 여기서, 블록 810~830/840a~840c은 각각 도 3의 블록 310~330/340에 대응할 수 있다.
통신부(810)는 다른 무선 기기, 다른 로봇, 또는 제어 서버 등의 외부 기기들과 신호(예, 구동 정보, 제어 신호 등)를 송수신할 수 있다. 제어부(820)는 로봇(800)의 구성 요소들을 제어하여 다양한 동작을 수행할 수 있다. 메모리부(830)는 로봇(800)의 다양한 기능을 지원하는 데이터/파라미터/프로그램/코드/명령을 저장할 수 있다. 입출력부(840a)는 로봇(800)의 외부로부터 정보를 획득하며, 로봇(800)의 외부로 정보를 출력할 수 있다. 입출력부(840a)는 카메라, 마이크로폰, 사용자 입력부, 디스플레이부, 스피커 및/또는 햅틱 모듈 등을 포함할 수 있다.
센서부(840b)는 로봇(800)의 내부 정보, 주변 환경 정보, 사용자 정보 등을 얻을 수 있다. 센서부(840b)는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 레이더 등을 포함할 수 있다.
구동부(840c)는 로봇 관절을 움직이는 등의 다양한 물리적 동작을 수행할 수 있다. 또한, 구동부(840c)는 로봇(800)을 지상에서 주행하거나 공중에서 비행하게 할 수 있다. 구동부(840c)는 액츄에이터, 모터, 바퀴, 브레이크, 프로펠러 등을 포함할 수 있다.
도 9는 본 개시에 적용되는 AI 기기의 예시를 도시한 도면이다. 일 예로, AI 기기는 TV, 프로젝터, 스마트폰, PC, 노트북, 디지털방송용 단말기, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), 라디오, 세탁기, 냉장고, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 9를 참조하면, AI 기기(900)는 통신부(910), 제어부(920), 메모리부(930), 입/출력부(940a/940b), 러닝 프로세서부(940c) 및 센서부(940d)를 포함할 수 있다. 블록 910~930/940a~940d는 각각 도 3의 블록 310~330/340에 대응할 수 있다.
통신부(910)는 유무선 통신 기술을 이용하여 다른 AI 기기(예, 도 1, 100x, 120, 140)나 AI 서버(도 1, 140) 등의 외부 기기들과 유무선 신호(예, 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등)를 송수신할 수 있다. 이를 위해, 통신부(910)는 메모리부(930) 내의 정보를 외부 기기로 전송하거나, 외부 기기로부터 수신된 신호를 메모리부(930)로 전달할 수 있다.
제어부(920)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 기기(900)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 제어부(920)는 AI 기기(900)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다. 예를 들어, 제어부(920)는 러닝 프로세서부(940c) 또는 메모리부(930)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 기기(900)의 구성 요소들을 제어할 수 있다. 또한, 제어부(920)는 AI 장치(900)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리부(930) 또는 러닝 프로세서부(940c)에 저장하거나, AI 서버(도 1, 140) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
메모리부(930)는 AI 기기(900)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예를 들어, 메모리부(930)는 입력부(940a)로부터 얻은 데이터, 통신부(910)로부터 얻은 데이터, 러닝 프로세서부(940c)의 출력 데이터, 및 센싱부(940)로부터 얻은 데이터를 저장할 수 있다. 또한, 메모리부(930)는 제어부(920)의 동작/실행에 필요한 제어 정보 및/또는 소프트웨어 코드를 저장할 수 있다.
입력부(940a)는 AI 기기(900)의 외부로부터 다양한 종류의 데이터를 획득할 수 있다. 예를 들어, 입력부(920)는 모델 학습을 위한 학습 데이터, 및 학습 모델이 적용될 입력 데이터 등을 획득할 수 있다. 입력부(940a)는 카메라, 마이크로폰 및/또는 사용자 입력부 등을 포함할 수 있다. 출력부(940b)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. 출력부(940b)는 디스플레이부, 스피커 및/또는 햅틱 모듈 등을 포함할 수 있다. 센싱부(940)는 다양한 센서들을 이용하여 AI 기기(900)의 내부 정보, AI 기기(900)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 얻을 수 있다. 센싱부(940)는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰 및/또는 레이더 등을 포함할 수 있다.
러닝 프로세서부(940c)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 러닝 프로세서부(940c)는 AI 서버(도 1, 140)의 러닝 프로세서부와 함께 AI 프로세싱을 수행할 수 있다. 러닝 프로세서부(940c)는 통신부(910)를 통해 외부 기기로부터 수신된 정보, 및/또는 메모리부(930)에 저장된 정보를 처리할 수 있다. 또한, 러닝 프로세서부(940c)의 출력 값은 통신부(910)를 통해 외부 기기로 전송되거나/되고, 메모리부(930)에 저장될 수 있다.
물리 채널들 및 일반적인 신호 전송
무선 접속 시스템에서 단말은 하향링크(downlink, DL)를 통해 기지국으로부터 정보를 수신하고, 상향링크(uplink, UL)를 통해 기지국으로 정보를 전송할 수 있다. 기지국과 단말이 송수신하는 정보는 일반 데이터 정보 및 다양한 제어 정보를 포함하고, 이들이 송수신 하는 정보의 종류/용도에 따라 다양한 물리 채널이 존재한다.
도 10은 본 개시에 적용되는 물리 채널들 및 이들을 이용한 신호 전송 방법을 도시한 도면이다.
전원이 꺼진 상태에서 다시 전원이 켜지거나, 새로이 셀에 진입한 단말은 S1011 단계에서 기지국과 동기를 맞추는 등의 초기 셀 탐색(initial cell search) 작업을 수행한다. 이를 위해 단말은 기지국으로부터 주동기 채널(primary synchronization channel, P-SCH) 및 부동기 채널(secondary synchronization channel, S-SCH)을 수신하여 기지국과 동기를 맞추고, 셀 ID 등의 정보를 획득할 수 있다.
그 후, 단말은 기지국으로부터 물리 방송 채널(physical broadcast channel, PBCH) 신호를 수신하여 셀 내 방송 정보를 획득할 수 있다. 한편, 단말은 초기 셀 탐색 단계에서 하향링크 참조 신호 (DL RS: Downlink Reference Signal)를 수신하여 하향링크 채널 상태를 확인할 수 있다. 초기 셀 탐색을 마친 단말은 S1012 단계에서 물리 하향링크 제어 채널(physical downlink control channel, PDCCH) 및 물리 하향링크 제어 채널 정보에 따른 물리 하향링크 공유 채널(physical downlink control channel, PDSCH)을 수신하여 조금 더 구체적인 시스템 정보를 획득할 수 있다.
이후, 단말은 기지국에 접속을 완료하기 위해 이후 단계 S1013 내지 단계 S1016과 같은 임의 접속 과정(random access procedure)을 수행할 수 있다. 이를 위해 단말은 물리 임의 접속 채널(physical random access channel, PRACH)을 통해 프리앰블 (preamble)을 전송하고(S1013), 물리 하향링크 제어 채널 및 이에 대응하는 물리 하향링크 공유 채널을 통해 프리앰블에 대한 RAR(random access response)를 수신할 수 있다(S1014). 단말은 RAR 내의 스케줄링 정보를 이용하여 PUSCH(physical uplink shared channel)을 전송하고(S1015), 물리 하향링크 제어채널 신호 및 이에 대응하는 물리 하향링크 공유 채널 신호의 수신과 같은 충돌 해결 절차(contention resolution procedure)를 수행할 수 있다(S1016).
상술한 바와 같은 절차를 수행한 단말은 이후 일반적인 상/하향링크 신호 전송 절차로서 물리 하향링크 제어 채널 신호 및/또는 물리 하향링크 공유 채널 신호의 수신(S1017) 및 물리 상향링크 공유 채널(physical uplink shared channel, PUSCH) 신호 및/또는 물리 상향링크 제어 채널(physical uplink control channel, PUCCH) 신호의 전송(S1018)을 수행할 수 있다.
단말이 기지국으로 전송하는 제어정보를 통칭하여 상향링크 제어정보(uplink control information, UCI)라고 지칭한다. UCI는 HARQ-ACK/NACK(hybrid automatic repeat and request acknowledgement/negative-ACK), SR(scheduling request), CQI(channel quality indication), PMI(precoding matrix indication), RI(rank indication), BI(beam indication) 정보 등을 포함한다. 이때, UCI는 일반적으로 PUCCH를 통해 주기적으로 전송되지만, 실시 예에 따라(예, 제어정보와 트래픽 데이터가 동시에 전송되어야 할 경우) PUSCH를 통해 전송될 수 있다. 또한, 네트워크의 요청/지시에 의해 단말은 PUSCH를 통해 UCI를 비주기적으로 전송할 수 있다.
도 11은 본 개시에 적용되는 무선 인터페이스 프로토콜(radio interface protocol)의 제어평면(control plane) 및 사용자 평면(user plane) 구조를 도시한 도면이다.
도 11을 참조하면, 엔티티 1(Entity 1)은 단말(user equipment, UE)일 수 있다. 이때, 단말이라 함은 상술한 도 1 내지 도 9에서 본 개시가 적용되는 무선 기기, 휴대 기기, 차량, 이동체, XR 기기, 로봇 및 AI 중 적어도 어느 하나일 수 있다. 또한, 단말은 본 개시가 적용될 수 있는 장치를 지칭하는 것으로 특정 장치나 기기로 한정되지 않을 수 있다.
엔티티 2(Entity 2)는 기지국일 수 있다. 이때, 기지국은 eNB, gNB 및 ng-eNB 중 적어도 어느 하나일 수 있다. 또한, 기지국은 단말로 하향링크 신호를 전송하는 장치를 지칭할 수 있으며, 특정 타입이나 장치로 한정되지 않을 수 있다. 즉, 기지국은 다양한 형태나 타입으로 구현될 수 있으며, 특정 형태로 한정되지 않을 수 있다.
엔티티 3(Entity 3)은 네트워크 장치 또는 네트워크 펑션을 수행하는 기기일 수 있다. 이때, 네트워크 장치는 이동성을 관리하는 코어망 노드(core network node)(예, MME(mobility management entity), AMF(access and mobility management function) 등)일 수 있다. 또한, 네트워크 펑션은 네트워크 기능을 수행하기 위해 구현되는 펑션(function)을 의미할 수 있으며, 엔티티 3은 펑션이 적용된 기기일 수 있다. 즉, 엔티티 3은 네트워크 기능을 수행하는 펑션이나 기기를 지칭할 수 있으며, 특정 형태의 기기로 한정되지 않는다.
제어평면은 단말(user equipment, UE)과 네트워크가 호를 관리하기 위해서 이용하는 제어 메시지들이 전송되는 통로를 의미할 수 있다. 또한, 사용자평면은 애플리케이션 계층에서 생성된 데이터, 예를 들어, 음성 데이터 또는 인터넷 패킷 데이터 등이 전송되는 통로를 의미할 수 있다. 이때, 제1 계층인 물리계층은 물리채널(physical channel)을 이용하여 상위 계층에게 정보 전송 서비스(information transfer service)를 제공할 수 있다. 물리계층은 상위에 있는 매체접속제어(medium access control) 계층과는 전송채널을 통해 연결되어 있다. 이때, 전송채널을 통해 매체접속제어 계층과 물리계층 사이에 데이터가 이동할 수 있다. 송신 측과 수신 측의 물리계층 사이는 물리채널을 통해 데이터가 이동할 수 있다. 이때, 물리채널은 시간과 주파수를 무선 자원으로 활용한다.
제2 계층의 매체접속제어(medium access control, MAC) 계층은 논리채널(logical channel)을 통해 상위계층인 무선링크제어(radio link control, RLC) 계층에 서비스를 제공한다. 제2 계층의 RLC 계층은 신뢰성 있는 데이터 전송을 지원할 수 있다. RLC 계층의 기능은 MAC 내부의 기능 블록으로 구현될 수도 있다. 제2 계층의 PDCP(packet data convergence protocol) 계층은 대역폭이 좁은 무선 인터페이스에서 IPv4 나 IPv6 와 같은 IP 패킷을 효율적으로 전송하기 위해 불필요한 제어정보를 줄여주는 헤더 압축(header compression) 기능을 수행할 수 있다. 제3 계층의 최하부에 위치한 무선 자원제어(radio resource control, RRC) 계층은 제어평면에서만 정의된다. RRC 계층은 무선 베어러(radio bearer, RB)들의 설정(configuration), 재설정(re-configuration) 및 해제(release)와 관련되어 논리채널, 전송채널 및 물리채널들의 제어를 담당할 수 있다. RB는 단말과 네트워크 간의 데이터 전달을 위해 제2 계층에 의해 제공되는 서비스를 의미할 수 있다. 이를 위해, 단말과 네트워크의 RRC 계층은 서로 RRC 메시지를 교환할 수 있다. RRC 계층의 상위에 있는 NAS(non-access stratum) 계층은 세션 관리(session management)와 이동성 관리(mobility management) 등의 기능을 수행할 수 있다. 기지국을 구성하는 하나의 셀은 다양한 대역폭 중 하나로 설정되어 여러 단말에게 하향 또는 상향 전송 서비스를 제공할 수 있다. 서로 다른 셀은 서로 다른 대역폭을 제공하도록 설정될 수 있다. 네트워크에서 단말로 데이터를 전송하는 하향 전송채널은 시스템 정보를 전송하는 BCH(broadcast channel), 페이징 메시지를 전송하는 PCH(paging channel), 사용자 트래픽이나 제어 메시지를 전송하는 하향 SCH(shared channel) 등이 있다. 하향 멀티캐스트 또는 방송 서비스의 트래픽 또는 제어 메시지의 경우, 하향 SCH를 통해 전송될 수도 있고, 또는 별도의 하향 MCH(Multicast Channel)을 통해 전송될 수도 있다. 한편, 단말에서 네트워크로 데이터를 전송하는 상향 전송채널로는 초기 제어 메시지를 전송하는 RACH(random access channel), 사용자 트래픽이나 제어 메시지를 전송하는 상향 SCH(shared channel)가 있다. 전송채널의 상위에 있으며, 전송채널에 매핑되는 논리채널(logical channel)로는 BCCH(broadcast control channel), PCCH(paging control channel), CCCH(common control channel), MCCH(multicast control channel) 및 MTCH(multicast traffic channel) 등이 있다.
도 12는 본 개시에 적용되는 전송 신호를 처리하는 방법을 도시한 도면이다. 일 예로, 전송 신호는 신호 처리 회로에 의해 처리될 수 있다. 이때, 신호 처리 회로(1200)는 스크램블러(1210), 변조기(1220), 레이어 매퍼(1230), 프리코더(1240), 자원 매퍼(1250), 신호 생성기(1260)를 포함할 수 있다. 이때, 일 예로, 도 12의 동작/기능은 도 2의 프로세서(202a, 202b) 및/또는 송수신기(206a, 206b)에서 수행될 수 있다. 또한, 일 예로, 도 12의 하드웨어 요소는 도 2의 프로세서(202a, 202b) 및/또는 송수신기(206a, 206b)에서 구현될 수 있다. 일 예로, 블록 1010~1060은 도 2의 프로세서(202a, 202b)에서 구현될 수 있다. 또한, 블록 1210~1250은 도 2의 프로세서(202a, 202b)에서 구현되고, 블록 1260은 도 2의 송수신기(206a, 206b)에서 구현될 수 있으며, 상술한 실시 예로 한정되지 않는다.
코드워드는 도 12의 신호 처리 회로(1200)를 거쳐 무선 신호로 변환될 수 있다. 여기서, 코드워드는 정보블록의 부호화된 비트 시퀀스이다. 정보블록은 전송블록(예, UL-SCH 전송블록, DL-SCH 전송블록)을 포함할 수 있다. 무선 신호는 도 10의 다양한 물리 채널(예, PUSCH, PDSCH)을 통해 전송될 수 있다. 구체적으로, 코드워드는 스크램블러(1210)에 의해 스크램블된 비트 시퀀스로 변환될 수 있다. 스크램블에 사용되는 스크램블 시퀀스는 초기화 값에 기반하여 생성되며, 초기화 값은 무선 기기의 ID 정보 등이 포함될 수 있다. 스크램블된 비트 시퀀스는 변조기(1220)에 의해 변조 심볼 시퀀스로 변조될 수 있다. 변조 방식은 pi/2-BPSK(pi/2-binary phase shift keying), m-PSK(m-phase shift keying), m-QAM(m-quadrature amplitude modulation) 등을 포함할 수 있다.
복소 변조 심볼 시퀀스는 레이어 매퍼(1230)에 의해 하나 이상의 전송 레이어로 매핑될 수 있다. 각 전송 레이어의 변조 심볼들은 프리코더(1240)에 의해 해당 안테나 포트(들)로 매핑될 수 있다(프리코딩). 프리코더(1240)의 출력 z는 레이어 매퍼(1230)의 출력 y를 N*M의 프리코딩 행렬 W와 곱해 얻을 수 있다. 여기서, N은 안테나 포트의 개수, M은 전송 레이어의 개수이다. 여기서, 프리코더(1240)는 복소 변조 심볼들에 대한 트랜스폼(transform) 프리코딩(예, DFT(discrete fourier transform) 변환)을 수행한 이후에 프리코딩을 수행할 수 있다. 또한, 프리코더(1240)는 트랜스폼 프리코딩을 수행하지 않고 프리코딩을 수행할 수 있다.
자원 매퍼(1250)는 각 안테나 포트의 변조 심볼들을 시간-주파수 자원에 매핑할 수 있다. 시간-주파수 자원은 시간 도메인에서 복수의 심볼(예, CP-OFDMA 심볼, DFT-s-OFDMA 심볼)을 포함하고, 주파수 도메인에서 복수의 부반송파를 포함할 수 있다. 신호 생성기(1260)는 매핑된 변조 심볼들로부터 무선 신호를 생성하며, 생성된 무선 신호는 각 안테나를 통해 다른 기기로 전송될 수 있다. 이를 위해, 신호 생성기(1260)는 IFFT(inverse fast fourier transform) 모듈 및 CP(cyclic prefix) 삽입기, DAC(digital-to-analog converter), 주파수 상향 변환기(frequency uplink converter) 등을 포함할 수 있다.
무선 기기에서 수신 신호를 위한 신호 처리 과정은 도 12의 신호 처리 과정(1210~1260)의 역으로 구성될 수 있다. 일 예로, 무선 기기(예, 도 2의 200a, 200b)는 안테나 포트/송수신기를 통해 외부로부터 무선 신호를 수신할 수 있다. 수신된 무선 신호는 신호 복원기를 통해 베이스밴드 신호로 변환될 수 있다. 이를 위해, 신호 복원기는 주파수 하향 변환기(frequency downlink converter), ADC(analog-to-digital converter), CP 제거기, FFT(fast fourier transform) 모듈을 포함할 수 있다. 이후, 베이스밴드 신호는 자원 디-매퍼 과정, 포스트코딩(postcoding) 과정, 복조 과정 및 디-스크램블 과정을 거쳐 코드워드로 복원될 수 있다. 코드워드는 복호(decoding)를 거쳐 원래의 정보블록으로 복원될 수 있다. 따라서, 수신 신호를 위한 신호 처리 회로(미도시)는 신호 복원기, 자원 디-매퍼, 포스트코더, 복조기, 디-스크램블러 및 복호기를 포함할 수 있다.
도 13은 본 개시에 적용 가능한 무선 프레임의 구조를 도시한 도면이다.
NR 시스템에 기초한 상향링크 및 하향링크 전송은 도 13과 같은 프레임에 기초할 수 있다. 이때, 하나의 무선 프레임은 10ms의 길이를 가지며, 2개의 5ms 하프-프레임(half-frame, HF)으로 정의될 수 있다. 하나의 하프-프레임은 5개의 1ms 서브프레임(subframe, SF)으로 정의될 수 있다. 하나의 서브프레임은 하나 이상의 슬롯으로 분할되며, 서브프레임 내 슬롯 개수는 SCS(subcarrier spacing)에 의존할 수 있다. 이때, 각 슬롯은 CP(cyclic prefix)에 따라 12개 또는 14개의 OFDM(A) 심볼들을 포함할 수 있다. 일반 CP(normal CP)가 사용되는 경우, 각 슬롯은 14개의 심볼들을 포함할 수 있다. 확장 CP(extended CP)가 사용되는 경우, 각 슬롯은 12개의 심볼들을 포함할 수 있다. 여기서, 심볼은 OFDM 심볼(또는, CP-OFDM 심볼), SC-FDMA 심볼(또는, DFT-s-OFDM 심볼)을 포함할 수 있다.
표 1은 일반 CP가 사용되는 경우, SCS에 따른 슬롯 별 심볼의 개수, 프레임 별 슬롯의 개수 및 서브프레임 별 슬롯의 개수를 나타내고, 표 2는 확장된 CSP가 사용되는 경우, SCS에 따른 슬롯 별 심볼의 개수, 프레임 별 슬롯의 개수 및 서브프레임 별 슬롯의 개수를 나타낸다.
Figure PCTKR2020011713-appb-I000001
Figure PCTKR2020011713-appb-I000002
Figure PCTKR2020011713-appb-I000003
Figure PCTKR2020011713-appb-I000004
0 14 10 1
1 14 20 2
2 14 40 4
3 14 80 8
4 14 160 16
5 14 320 32
Figure PCTKR2020011713-appb-I000005
Figure PCTKR2020011713-appb-I000006
Figure PCTKR2020011713-appb-I000007
Figure PCTKR2020011713-appb-I000008
2 12 40 4
상기 표 1 및 표 2에서, Nslot symb 는 슬롯 내 심볼의 개수를 나타내고, Nframe,μ slot는 프레임 내 슬롯의 개수를 나타내고, Nsubframe,μ slot는 서브프레임 내 슬롯의 개수를 나타낼 수 있다.
또한, 본 개시가 적용 가능한 시스템에서, 하나의 단말에게 병합되는 복수의 셀들간에 OFDM(A) 뉴모놀로지(numerology)(예, SCS, CP 길이 등)가 상이하게 설정될 수 있다. 이에 따라, 동일한 개수의 심볼로 구성된 시간 자원(예, SF, 슬롯 또는 TTI)(편의상, TU(time unit)로 통칭)의 (절대 시간) 구간이 병합된 셀들 간에 상이하게 설정될 수 있다.
NR은 다양한 5G 서비스들을 지원하기 위한 다수의 numerology(또는 SCS(subcarrier spacing))를 지원할 수 있다. 예를 들어, SCS가 15kHz인 경우, 전통적인 셀룰러 밴드들에서의 넓은 영역(wide area)를 지원하며, SCS가 30kHz/60kHz인 경우, 밀집한-도시(dense-urban), 더 낮은 지연(lower latency) 및 더 넓은 캐리어 대역폭(wider carrier bandwidth)를 지원하며, SCS가 60kHz 또는 그보다 높은 경우, 위상 잡음(phase noise)를 극복하기 위해 24.25GHz보다 큰 대역폭을 지원할 수 있다.
NR 주파수 밴드(frequency band)는 2가지 type(FR1, FR2)의 주파수 범위(frequency range)로 정의된다. FR1, FR2는 아래 표와 같이 구성될 수 있다. 또한, FR2는 밀리미터 웨이브(millimeter wave, mmW)를 의미할 수 있다.
Frequency Range designation Corresponding frequency range Subcarrier Spacing
FR1 410MHz - 7125MHz 15, 30, 60kHz
FR2 24250MHz - 52600MHz 60, 120, 240kHz
또한, 일 예로, 본 개시가 적용 가능한 통신 시스템에서 상술한 뉴모놀로지(numerology)가 다르게 설정될 수 있다. 일 예로, 상술한 FR2보다 높은 주파수 대역으로 테라헤르츠 웨이브(Terahertz wave, THz) 대역이 사용될 수 있다. THz 대역에서 SCS는 NR 시스템보다 더 크게 설정될 수 있으며, 슬롯 수도 상이하게 설정될 수 있으며, 상술한 실시 예로 한정되지 않는다. THz 대역에 대해서는 하기에서 후술한다.
도 14는 본 개시에 적용 가능한 슬롯 구조를 도시한 도면이다.
하나의 슬롯은 시간 도메인에서 복수의 심볼을 포함한다. 예를 들어, 보통 CP의 경우 하나의 슬롯이 7개의 심볼을 포함하나, 확장 CP의 경우 하나의 슬롯이 6개의 심볼을 포함할 수 있다. 반송파(carrier)는 주파수 도메인에서 복수의 부반송파(subcarrier)를 포함한다. RB(Resource Block)는 주파수 도메인에서 복수(예, 12)의 연속한 부반송파로 정의될 수 있다.
또한, BWP(Bandwidth Part)는 주파수 도메인에서 복수의 연속한 (P)RB로 정의되며, 하나의 뉴모놀로지(numerology)(예, SCS, CP 길이 등)에 대응될 수 있다.
반송파는 최대 N개(예, 5개)의 BWP를 포함할 수 있다. 데이터 통신은 활성화된 BWP를 통해서 수행되며, 하나의 단말한테는 하나의 BWP만 활성화될 수 있다. 자원 그리드에서 각각의 요소는 자원요소(Resource Element, RE)로 지칭되며, 하나의 복소 심볼이 매핑될 수 있다.
6G 통신 시스템
6G (무선통신) 시스템은 (i) 장치 당 매우 높은 데이터 속도, (ii) 매우 많은 수의 연결된 장치들, (iii) 글로벌 연결성(global connectivity), (iv) 매우 낮은 지연, (v) 배터리-프리(battery-free) IoT 장치들의 에너지 소비를 낮추고, (vi) 초고신뢰성 연결, (vii) 머신 러닝 능력을 가지는 연결된 지능 등에 목적이 있다. 6G 시스템의 비젼은 "intelligent connectivity", "deep connectivity", "holographic connectivity", "ubiquitous connectivity"와 같은 4가지 측면일 수 있으며, 6G 시스템은 하기 표 4와 같은 요구 사항을 만족시킬 수 있다. 즉, 표 4는 6G 시스템의 요구 사항을 나타낸 표이다.
Per device peak data rate 1 Tbps
E2E latency 1 ms
Maximum spectral efficiency 100 bps/Hz
Mobility support up to 1000 km/hr
Satellite integration Fully
AI Fully
Autonomous vehicle Fully
XR Fully
Haptic Communication Fully
이때, 6G 시스템은 향상된 모바일 브로드밴드(enhanced mobile broadband, eMBB), 초-저지연 통신(ultra-reliable low latency communications, URLLC), mMTC (massive machine type communications), AI 통합 통신(AI integrated communication), 촉각 인터넷(tactile internet), 높은 스루풋(high throughput), 높은 네트워크 능력(high network capacity), 높은 에너지 효율(high energy efficiency), 낮은 백홀 및 접근 네트워크 혼잡(low backhaul and access network congestion) 및 향상된 데이터 보안(enhanced data security)과 같은 핵심 요소(key factor)들을 가질 수 있다.
도 15는 본 개시에 적용 가능한 6G 시스템에서 제공 가능한 통신 구조의 일례를 도시한 도면이다.
도 15를 참조하면, 6G 시스템은 5G 무선통신 시스템보다 50배 더 높은 동시 무선통신 연결성을 가질 것으로 예상된다. 5G의 핵심 요소(key feature)인 URLLC는 6G 통신에서 1ms보다 적은 단-대-단(end-to-end) 지연을 제공함으로써 보다 더 주요한 기술이 될 것으로 예상된다. 이때, 6G 시스템은 자주 사용되는 영역 스펙트럼 효율과 달리 체적 스펙트럼 효율이 훨씬 우수할 것이다. 6G 시스템은 매우 긴 배터리 수명과 에너지 수확을 위한 고급 배터리 기술을 제공할 수 있어, 6G 시스템에서 모바일 장치들은 별도로 충전될 필요가 없을 수 있다. 또한, 6G에서 새로운 네트워크 특성들은 다음과 같을 수 있다.
- 위성 통합 네트워크(Satellites integrated network): 글로벌 모바일 집단을 제공하기 위해 6G는 위성과 통합될 것으로 예상된다. 지상파, 위성 및 공중 네트워크를 하나의 무선통신 시스템으로 통합은 6G에 매우 중요할 수 있다.
- 연결된 인텔리전스(connected intelligence): 이전 세대의 무선 통신 시스템과 달리 6G는 혁신적이며, “연결된 사물”에서 "연결된 지능"으로 무선 진화가 업데이트될 것이다. AI는 통신 절차의 각 단계(또는 후술할 신호 처리의 각 절차)에서 적용될 수 있다.
- 무선 정보 및 에너지 전달의 완벽한 통합(seamless integration wireless information and energy transfer): 6G 무선 네트워크는 스마트폰들과 센서들과 같이 장치들의 배터리를 충전하기 위해 전력을 전달할 것이다. 그러므로, 무선 정보 및 에너지 전송 (WIET)은 통합될 것이다.
- 유비쿼터스 슈퍼 3D 연결(ubiquitous super 3-dimemtion connectivity): 드론 및 매우 낮은 지구 궤도 위성의 네트워크 및 핵심 네트워크 기능에 접속은 6G 유비쿼터스에서 슈퍼 3D 연결을 만들 것이다.
위와 같은 6G의 새로운 네트워크 특성들에서 몇 가지 일반적인 요구 사항은 다음과 같을 수 있다.
- 스몰 셀 네트워크(small cell networks): 스몰 셀 네트워크의 아이디어는 셀룰러 시스템에서 처리량, 에너지 효율 및 스펙트럼 효율 향상의 결과로 수신 신호 품질을 향상시키기 위해 도입되었다. 결과적으로, 스몰 셀 네트워크는 5G 및 비욘드 5G (5GB) 이상의 통신 시스템에 필수적인 특성이다. 따라서, 6G 통신 시스템 역시 스몰 셀 네트워크의 특성을 채택한다.
- 초 고밀도 이기종 네트워크(ultra-dense heterogeneous network): 초 고밀도 이기종 네트워크들은 6G 통신 시스템의 또 다른 중요한 특성이 될 것이다. 이기종 네트워크로 구성된 멀티-티어 네트워크는 전체 QoS를 개선하고 비용을 줄인다.
- 대용량 백홀(high-capacity backhaul): 백홀 연결은 대용량 트래픽을 지원하기 위해 대용량 백홀 네트워크로 특징 지어진다. 고속 광섬유 및 자유 공간 광학 (FSO) 시스템이 이 문제에 대한 가능한 솔루션일 수 있다.
- 모바일 기술과 통합된 레이더 기술: 통신을 통한 고정밀 지역화(또는 위치 기반 서비스)는 6G 무선통신 시스템의 기능 중 하나이다. 따라서, 레이더 시스템은 6G 네트워크와 통합될 것이다.
- 소프트화 및 가상화(softwarization and virtualization): 소프트화 및 가상화는 유연성, 재구성성 및 프로그래밍 가능성을 보장하기 위해 5GB 네트워크에서 설계 프로세스의 기초가 되는 두 가지 중요한 기능이다. 또한, 공유 물리적 인프라에서 수십억 개의 장치가 공유될 수 있다.
6G 시스템의 핵심 구현 기술
- 인공 지능(artificial Intelligence, AI)
6G 시스템에 가장 중요하며, 새로 도입될 기술은 AI이다. 4G 시스템에는 AI가 관여하지 않았다. 5G 시스템은 부분 또는 매우 제한된 AI를 지원할 것이다. 그러나, 6G 시스템은 완전히 자동화를 위해 AI가 지원될 것이다. 머신 러닝의 발전은 6G에서 실시간 통신을 위해 보다 지능적인 네트워크를 만들 것이다. 통신에 AI를 도입하면 실시간 데이터 전송이 간소화되고 향상될 수 있다. AI는 수많은 분석을 사용하여 복잡한 대상 작업이 수행되는 방식을 결정할 수 있다. 즉, AI는 효율성을 높이고 처리 지연을 줄일 수 있다.
핸드 오버, 네트워크 선택, 자원 스케줄링과 같은 시간 소모적인 작업은 AI를 사용함으로써 즉시 수행될 수 있다. AI는 M2M, 기계-대-인간 및 인간-대-기계 통신에서도 중요한 역할을 할 수 있다. 또한, AI는 BCI(brain computer interface)에서 신속한 통신이 될 수 있다. AI 기반 통신 시스템은 메타 물질, 지능형 구조, 지능형 네트워크, 지능형 장치, 지능형 인지 라디오(radio), 자체 유지 무선 네트워크 및 머신 러닝에 의해 지원될 수 있다.
최근 AI를 무선 통신 시스템과 통합하려고 하는 시도들이 나타나고 있으나, 이는 어플리케이션 계층(application layer), 네트워크 계층(network layer) 특히, 딥러닝은 무선 자원 관리 및 할당(wireless resource management and allocation) 분야에 집중되어 왔다. 그러나, 이러한 연구는 점점 MAC 계층 및 물리 계층으로 발전하고 있으며, 특히 물리계층에서 딥러닝을 무선 전송(wireless transmission)과 결합하고자 하는 시도들이 나타나고 있다. AI 기반의 물리계층 전송은, 근본적인 신호 처리 및 통신 메커니즘에 있어서, 전통적인 통신 프레임워크가 아니라 AI 드라이버에 기초한 신호 처리 및 통신 메커니즘을 적용하는 것을 의미한다. 예를 들어, 딥러닝 기반의 채널 코딩 및 디코딩(channel coding and decoding), 딥러닝 기반의 신호 추정(estimation) 및 검출(detection), 딥러닝 기반의 MIMO(multiple input multiple output) 매커니즘(mechanism), AI 기반의 자원 스케줄링(scheduling) 및 할당(allocation) 등을 포함할 수 있다.
머신 러닝은 채널 추정 및 채널 트래킹을 위해 사용될 수 있으며, DL(downlink)의 물리 계층(physical layer)에서 전력 할당(power allocation), 간섭 제거(interference cancellation) 등에 사용될 수 있다. 또한, 머신 러닝은 MIMO 시스템에서 안테나 선택, 전력 제어(power control), 심볼 검출(symbol detection) 등에도 사용될 수 있다.
그러나 물리계층에서의 전송을 위한 DNN의 적용은 아래와 같은 문제점이 있을 수 있다.
딥러닝 기반의 AI 알고리즘은 훈련 파라미터를 최적화하기 위해 수많은 훈련 데이터가 필요하다. 그러나 특정 채널 환경에서의 데이터를 훈련 데이터로 획득하는데 있어서의 한계로 인해, 오프라인 상에서 많은 훈련 데이터를 사용한다. 이는 특정 채널 환경에서 훈련 데이터에 대한 정적 훈련(static training)은, 무선 채널의 동적 특성 및 다이버시티(diversity) 사이에 모순(contradiction)이 생길 수 있다.
또한, 현재 딥러닝은 주로 실제 신호(real signal)을 대상으로 한다. 그러나, 무선 통신의 물리 계층의 신호들은 복소 신호(complex signal)이다. 무선 통신 신호의 특성을 매칭시키기 위해 복소(complex) 도메인 신호의 검출하는 신경망(neural network)에 대한 연구가 더 필요하다.
이하, 머신 러닝에 대해 보다 구체적으로 살펴본다.
머신 러닝은 사람이 할 수 있거나 혹은 하기 어려운 작업을 대신해낼 수 있는 기계를 만들어 내기 위해 기계를 학습시키는 일련의 동작을 의미한다. 머신 러닝을 위해서는 데이터와 러닝 모델이 필요하다. 머신 러닝에서 데이터의 학습 방법은 크게 3가지 즉, 지도 학습(supervised learning), 비지도 학습(unsupervised learning) 그리고 강화 학습(reinforcement learning)으로 구분될 수 있다.
신경망 학습은 출력의 오류를 최소화하기 위한 것이다. 신경망 학습은 반복적으로 학습 데이터를 신경망에 입력시키고 학습 데이터에 대한 신경망의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 신경망의 에러를 신경망의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation) 하여 신경망의 각 노드의 가중치를 업데이트하는 과정이다.
지도 학습은 학습 데이터에 정답이 라벨링된 학습 데이터를 사용하며 비지도 학습은 학습 데이터에 정답이 라벨링되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 지도 학습의 경우의 학습 데이터는 학습 데이터 각각에 카테고리가 라벨링된 데이터 일 수 있다. 라벨링된 학습 데이터가 신경망에 입력되고 신경망의 출력(카테고리)과 학습 데이터의 라벨을 비교하여 오차(error)가 계산될 수 있다. 계산된 오차는 신경망에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 신경망의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 신경망의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 신경망의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 신경망의 학습 초기에는 높은 학습률을 사용하여 신경망이 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다
데이터의 특징에 따라 학습 방법은 달라질 수 있다. 예를 들어, 통신 시스템 상에서 송신단에서 전송한 데이터를 수신단에서 정확하게 예측하는 것을 목적으로 하는 경우, 비지도 학습 또는 강화 학습 보다는 지도 학습을 이용하여 학습을 수행하는 것이 바람직하다.
러닝 모델은 인간의 뇌에 해당하는 것으로서, 가장 기본적인 선형 모델을 생각할 수 있으나, 인공 신경망(artificial neural networks)와 같은 복잡성이 높은 신경망 구조를 러닝 모델로 사용하는 머신 러닝의 패러다임을 딥러닝(deep learning)이라 한다.
학습(learning) 방식으로 사용하는 신경망 코어(neural network cord)는 크게 심층 신경망(deep neural networks, DNN), 합성곱 신경망(convolutional deep neural networks, CNN), 순환 신경망(recurrent boltzmann machine, RNN) 방식이 있으며, 이러한 러닝 모델이 적용될 수 있다.
THz(Terahertz) 통신
6G 시스템에서 THz 통신이 적용될 수 있다. 일 예로, 데이터 전송률은 대역폭을 늘려 높일 수 있다. 이것은 넓은 대역폭으로 sub-THz 통신을 사용하고, 진보된 대규모 MIMO 기술을 적용하여 수행될 수 있다.
도 16은 본 개시에 적용 가능한 전자기 스펙트럼을 도시한 도면이다. 일 예로, 도 16을 참조하면, 밀리미터 이하의 방사선으로도 알려진 THz파는 일반적으로 0.03mm-3mm 범위의 해당 파장을 가진 0.1THz와 10THz 사이의 주파수 대역을 나타낸다. 100GHz-300GHz 대역 범위(Sub THz 대역)는 셀룰러 통신을 위한 THz 대역의 주요 부분으로 간주된다. Sub-THz 대역 mmWave 대역에 추가하면 6G 셀룰러 통신 용량은 늘어난다. 정의된 THz 대역 중 300GHz-3THz는 원적외선 (IR) 주파수 대역에 있다. 300GHz-3THz 대역은 광 대역의 일부이지만 광 대역의 경계에 있으며, RF 대역 바로 뒤에 있다. 따라서, 이 300 GHz-3 THz 대역은 RF와 유사성을 나타낸다.
THz 통신의 주요 특성은 (i) 매우 높은 데이터 전송률을 지원하기 위해 광범위하게 사용 가능한 대역폭, (ii) 고주파에서 발생하는 높은 경로 손실 (고 지향성 안테나는 필수 불가결)을 포함한다. 높은 지향성 안테나에서 생성된 좁은 빔 폭은 간섭을 줄인다. THz 신호의 작은 파장은 훨씬 더 많은 수의 안테나 소자가 이 대역에서 동작하는 장치 및 BS에 통합될 수 있게 한다. 이를 통해 범위 제한을 극복할 수 있는 고급 적응형 배열 기술을 사용할 수 있다.
광 무선 기술(optical wireless technology)
OWC(optical wireless communication) 기술은 가능한 모든 장치-대-액세스 네트워크를 위한 RF 기반 통신 외에도 6G 통신을 위해 계획되었다. 이러한 네트워크는 네트워크-대-백홀/프론트홀 네트워크 연결에 접속한다. OWC 기술은 4G 통신 시스템 이후 이미 사용되고 있으나 6G 통신 시스템의 요구를 충족시키기 위해 더 널리 사용될 것이다. 광 충실도(light fidelity), 가시광 통신, 광 카메라 통신 및 광 대역에 기초한 FSO(free space optical) 통신과 같은 OWC 기술은 이미 잘 알려진 기술이다. 광 무선 기술 기반의 통신은 매우 높은 데이터 속도, 낮은 지연 시간 및 안전한 통신을 제공할 수 있다. LiDAR(light detection and ranging) 또한 광 대역을 기반으로 6G 통신에서 초 고해상도 3D 매핑을 위해 이용될 수 있다.
FSO 백홀 네트워크
FSO 시스템의 송신기 및 수신기 특성은 광섬유 네트워크의 특성과 유사하다. 따라서, FSO 시스템의 데이터 전송은 광섬유 시스템과 비슷하다. 따라서, FSO는 광섬유 네트워크와 함께 6G 시스템에서 백홀 연결을 제공하는 좋은 기술이 될 수 있다. FSO를 사용하면, 10,000km 이상의 거리에서도 매우 장거리 통신이 가능하다. FSO는 바다, 우주, 수중, 고립된 섬과 같은 원격 및 비원격 지역을 위한 대용량 백홀 연결을 지원한다. FSO는 셀룰러 기지국 연결도 지원한다.
대규모 MIMO 기술
스펙트럼 효율을 향상시키는 핵심 기술 중 하나는 MIMO 기술을 적용하는 것이다. MIMO 기술이 향상되면 스펙트럼 효율도 향상된다. 따라서, 6G 시스템에서 대규모 MIMO 기술이 중요할 것이다. MIMO 기술은 다중 경로를 이용하기 때문에 데이터 신호가 하나 이상의 경로로 전송될 수 있도록 다중화 기술 및 THz 대역에 적합한 빔 생성 및 운영 기술도 중요하게 고려되어야 한다.
블록 체인
블록 체인은 미래의 통신 시스템에서 대량의 데이터를 관리하는 중요한 기술이 될 것이다. 블록 체인은 분산 원장 기술의 한 형태로서, 분산 원장은 수많은 노드 또는 컴퓨팅 장치에 분산되어 있는 데이터베이스이다. 각 노드는 동일한 원장 사본을 복제하고 저장한다. 블록 체인은 P2P(peer to peer) 네트워크로 관리된다. 중앙 집중식 기관이나 서버에서 관리하지 않고 존재할 수 있다. 블록 체인의 데이터는 함께 수집되어 블록으로 구성된다. 블록은 서로 연결되고 암호화를 사용하여 보호된다. 블록 체인은 본질적으로 향상된 상호 운용성(interoperability), 보안, 개인 정보 보호, 안정성 및 확장성을 통해 대규모 IoT를 완벽하게 보완한다. 따라서, 블록 체인 기술은 장치 간 상호 운용성, 대용량 데이터 추적성, 다른 IoT 시스템의 자율적 상호 작용 및 6G 통신 시스템의 대규모 연결 안정성과 같은 여러 기능을 제공한다.
3D 네트워킹
6G 시스템은 지상 및 공중 네트워크를 통합하여 수직 확장의 사용자 통신을 지원한다. 3D BS는 저궤도 위성 및 UAV를 통해 제공될 것이다. 고도 및 관련 자유도 측면에서 새로운 차원을 추가하면 3D 연결이 기존 2D 네트워크와 상당히 다르다.
양자 커뮤니케이션
6G 네트워크의 맥락에서 네트워크의 감독되지 않은 강화 학습이 유망하다. 지도 학습 방식은 6G에서 생성된 방대한 양의 데이터에 레이블을 지정할 수 없다. 비지도 학습에는 라벨링이 필요하지 않다. 따라서, 이 기술은 복잡한 네트워크의 표현을 자율적으로 구축하는 데 사용할 수 있다. 강화 학습과 비지도 학습을 결합하면 진정한 자율적인 방식으로 네트워크를 운영할 수 있다.
무인 항공기
UAV(unmanned aerial vehicle) 또는 드론은 6G 무선 통신에서 중요한 요소가 될 것이다. 대부분의 경우, UAV 기술을 사용하여 고속 데이터 무선 연결이 제공된다. 기지국 엔티티는 셀룰러 연결을 제공하기 위해 UAV에 설치된다. UAV는 쉬운 배치, 강력한 가시선 링크 및 이동성이 제어되는 자유도와 같은 고정 기지국 인프라에서 볼 수 없는 특정 기능을 가지고 있다. 천재 지변 등의 긴급 상황 동안, 지상 통신 인프라의 배치는 경제적으로 실현 가능하지 않으며, 때로는 휘발성 환경에서 서비스를 제공할 수 없다. UAV는 이러한 상황을 쉽게 처리할 수 있다. UAV는 무선 통신 분야의 새로운 패러다임이 될 것이다. 이 기술은 eMBB, URLLC 및 mMTC 인 무선 네트워크의 세 가지 기본 요구 사항을 용이하게 한다. UAV는 또한, 네트워크 연결성 향상, 화재 감지, 재난 응급 서비스, 보안 및 감시, 오염 모니터링, 주차 모니터링, 사고 모니터링 등과 같은 여러 가지 목적을 지원할 수 있다. 따라서, UAV 기술은 6G 통신에 가장 중요한 기술 중 하나로 인식되고 있다.
셀-프리 통신(cell-free Communication)
여러 주파수와 이기종 통신 기술의 긴밀한 통합은 6G 시스템에서 매우 중요하다. 결과적으로, 사용자는 장치에서 어떤 수동 구성을 만들 필요 없이 네트워크에서 다른 네트워크로 원활하게 이동할 수 있다. 사용 가능한 통신 기술에서 최상의 네트워크가 자동으로 선택된다. 이것은 무선 통신에서 셀 개념의 한계를 깨뜨릴 것이다. 현재, 하나의 셀에서 다른 셀로의 사용자 이동은 고밀도 네트워크에서 너무 많은 핸드 오버를 야기하고, 핸드 오버 실패, 핸드 오버 지연, 데이터 손실 및 핑퐁 효과를 야기한다. 6G 셀-프리 통신은 이 모든 것을 극복하고 더 나은 QoS를 제공할 것이다. 셀-프리 통신은 멀티 커넥티비티 및 멀티-티어 하이브리드 기술과 장치의 서로 다른 이기종 라디오를 통해 달성될 것이다.
무선 정보 및 에너지 전송 통합(wireless information and energy transfer, WIET)
WIET은 무선 통신 시스템과 같이 동일한 필드와 웨이브(wave)를 사용한다. 특히, 센서와 스마트폰은 통신 중 무선 전력 전송을 사용하여 충전될 것이다. WIET은 배터리 충전 무선 시스템의 수명을 연장하기 위한 유망한 기술이다. 따라서, 배터리가 없는 장치는 6G 통신에서 지원될 것이다.
센싱과 커뮤니케이션의 통합
자율 무선 네트워크는 동적으로 변화하는 환경 상태를 지속적으로 감지하고 서로 다른 노드간에 정보를 교환할 수 있는 기능이다. 6G에서, 감지는 자율 시스템을 지원하기 위해 통신과 긴밀하게 통합될 것이다.
액세스 백홀 네트워크의 통합
6G에서 액세스 네트워크의 밀도는 엄청날 것이다. 각 액세스 네트워크는 광섬유와 FSO 네트워크와 같은 백홀 연결로 연결된다. 매우 많은 수의 액세스 네트워크들에 대처하기 위해, 액세스 및 백홀 네트워크 사이에 긴밀한 통합이 있을 것이다.
홀로그램 빔포밍
빔포밍은 특정 방향으로 무선 신호를 전송하기 위해 안테나 배열을 조정하는 신호 처리 절차이다. 스마트 안테나 또는 진보된 안테나 시스템의 하위 집합이다. 빔포밍 기술은 높은 신호 대 잡음비, 간섭 방지 및 거부, 높은 네트워크 효율과 같은 몇 가지 장점이 있다. 홀로그램 빔포밍(hologram beamforming, HBF)은 소프트웨어-정의된 안테나를 사용하기 때문에 MIMO 시스템과 상당히 다른 새로운 빔포밍 방법이다. HBF는 6G에서 다중 안테나 통신 장치에서 신호의 효율적이고 유연한 전송 및 수신을 위해 매우 효과적인 접근 방식이 될 것이다.
빅 데이터 분석
빅 데이터 분석은 다양한 대규모 데이터 세트 또는 빅 데이터를 분석하기 위한 복잡한 프로세스이다. 이 프로세스는 숨겨진 데이터, 알 수 없는 상관 관계 및 고객 성향과 같은 정보를 찾아 완벽한 데이터 관리를 보장한다. 빅 데이터는 비디오, 소셜 네트워크, 이미지 및 센서와 같은 다양한 소스에서 수집된다. 이 기술은 6G 시스템에서 방대한 데이터를 처리하는 데 널리 사용된다.
LIS(large intelligent surface)
THz 대역 신호의 경우 직진성이 강하여 방해물로 인한 음영 지역이 많이 생길 수 있는데, 이러한 음영 지역 근처에 LIS 설치함으로써 통신 권역을 확대하고 통신 안정성 강화 및 추가적인 부가 서비스가 가능한 LIS 기술이 중요하게 된다. LIS는 전자기 물질(electromagnetic materials)로 만들어진 인공 표면(artificial surface)이고, 들어오는 무선파와 나가는 무선파의 전파(propagation)를 변경시킬 수 있다. LIS는 매시브 MIMO의 확장으로 보여질 수 있으나, 매시브 MIMO와 서로 다른 어레이(array) 구조 및 동작 메커니즘이 다르다. 또한, LIS는 수동 엘리먼트(passive elements)를 가진 재구성 가능한 리플렉터(reflector)로서 동작하는 점 즉, 활성(active) RF 체인(chain)을 사용하지 않고 신호를 수동적으로만 반사(reflect)하는 점에서 낮은 전력 소비를 가지는 장점이 있다. 또한, LIS의 수동적인 리플렉터 각각은 입사되는 신호의 위상 편이를 독립적으로 조절해야 하기 때문에, 무선 통신 채널에 유리할 수 있다. LIS 컨트롤러를 통해 위상 편이를 적절히 조절함으로써, 반사된 신호는 수신된 신호 전력을 부스트(boost)하기 위해 타겟 수신기에서 모여질 수 있다.
테라헤르츠(THz) 무선통신
도 17은 본 개시에 적용 가능한 THz 통신 방법을 도시한 도면이다.
도 17을 참조하면, THz 무선통신은 대략 0.1~10THz(1THz=1012Hz)의 진동수를 가지는 THz파를 이용하여 무선통신을 이용하는 것으로, 100GHz 이상의 매우 높은 캐리어 주파수를 사용하는 테라헤르츠(THz) 대역 무선통신을 의미할 수 있다. THz파는 RF(Radio Frequency)/밀리미터(mm)와 적외선 대역 사이에 위치하며, (i) 가시광/적외선에 비해 비금속/비분극성 물질을 잘 투과하며 RF/밀리미터파에 비해 파장이 짧아 높은 직진성을 가지며 빔 집속이 가능할 수 있다.
또한, THz파의 광자 에너지는 수 meV에 불과하기 때문에 인체에 무해한 특성이 있다. THz 무선통신에 이용될 것으로 기대되는 주파수 대역은 공기 중 분자 흡수에 의한 전파 손실이 작은 D-밴드(110GHz~170GHz) 혹은 H-밴드(220GHz~325GHz) 대역일 수 있다. THz 무선통신에 대한 표준화 논의는 3GPP 이외에도 IEEE 802.15 THz WG(working group)을 중심으로 논의되고 있으며, IEEE 802.15의 TG(task group)(예, TG3d, TG3e)에서 발행되는 표준문서는 본 명세서에서 설명되는 내용을 구체화하거나 보충할 수 있다. THz 무선통신은 무선 인식(wireless cognition), 센싱(sensing), 이미징(imaging), 무선 통신(wireless), THz 네비게이션(navigation) 등에 응용될 수 있다.
구체적으로, 도 17을 참조하면, THz 무선통신 시나리오는 매크로 네트워크(macro network), 마이크로 네트워크(micro network), 나노스케일 네트워크(nanoscale network)로 분류될 수 있다. 매크로 네트워크에서 THz 무선통신은 V2V(vehicle-to-vehicle) 연결 및 백홀/프런트홀(backhaul/fronthaul) 연결에 응용될 수 있다. 마이크로 네트워크에서 THz 무선통신은 인도어 스몰 셀(small cell), 데이터 센터에서 무선 연결과 같은 고정된 point-to-point 또는 multi-point 연결, 키오스크 다운로딩과 같은 근거리 통신(near-field communication)에 응용될 수 있다. 하기 표 5는 THz 파에서 이용될 수 있는 기술의 일례를 나타낸 표이다.
Transceivers Device Available immature: UTC-PD, RTD and SBD
Modulation and coding Low order modulation techniques (OOK, QPSK), LDPC, Reed Soloman, Hamming, Polar, Turbo
Antenna Omni and Directional, phased array with low number of antenna elements
Bandwidth 69 GHz (or 23 GHz) at 300 GHz
Channel models Partially
Data rate 100 Gbps
Outdoor deployment No
Fee space loss High
Coverage Low
Radio Measurements 300 GHz inddor
Device size Few micrometers
도 18은 본 개시에 적용 가능한 THz 무선 통신 송수신기를 도시한 도면이다.
도 18을 참조하면, THz 무선통신은 THz 발생 및 수신을 위한 방법을 기준으로 분류할 수 있다. THz 발생 방법은 광 소자 또는 전자소자 기반 기술로 분류할 수 있다.
이때, 전자 소자를 이용하여 THz를 발생시키는 방법은 공명 터널링 다이오드(resonant tunneling diode, RTD)와 같은 반도체 소자를 이용하는 방법, 국부 발진기와 체배기를 이용하는 방법, 화합물 반도체 HEMT(high electron mobility transistor) 기반의 집적회로를 이용한 MMIC(monolithic microwave integrated circuits) 방법, Si-CMOS 기반의 집적회로를 이용하는 방법 등이 있다. 도 18의 경우, 주파수를 높이기 위해 체배기(doubler, tripler, multiplier)가 적용되었고, 서브하모닉 믹서를 지나 안테나에 의해 방사된다. THz 대역은 높은 주파수를 형성하므로, 체배기가 필수적이다. 여기서, 체배기는 입력 대비 N배의 출력 주파수를 갖게 하는 회로이며, 원하는 하모닉 주파수에 정합시키고, 나머지 모든 주파수는 걸러낸다. 그리고, 도 18의 안테나에 배열 안테나 등이 적용되어 빔포밍이 구현될 수도 있다. 도 18에서, IF는 중간 주파수(intermediate frequency)를 나타내며, 트리플러(tripler), 멀리플러(multipler)는 체배기를 나타내며, PA는 전력 증폭기(power amplifier)를 나타내며, LNA는 저잡음 증폭기(low noise amplifier), PLL은 위상동기회로(phase-locked loop)를 나타낸다.
도 19는 본 개시에 적용 가능한 THz 신호 생성 방법을 도시한 도면이다. 또한, 도 20은 본 개시에 적용 가능한 무선 통신 송수신기를 도시한 도면이다.
도 19 및 도 20을 참조하면, 광 소자 기반 THz 무선통신 기술은 광소자를 이용하여 THz 신호를 발생 및 변조하는 방법을 말한다. 광 소자 기반 THz 신호 생성 기술은 레이저와 광변조기 등을 이용하여 초고속 광신호를 생성하고, 이를 초고속 광검출기를 이용하여 THz 신호로 변환하는 기술이다. 이 기술은 전자 소자만을 이용하는 기술에 비해 주파수를 증가시키기가 용이하고, 높은 전력의 신호 생성이 가능하며, 넓은 주파수 대역에서 평탄한 응답 특성을 얻을 수 있다. 광소자 기반 THz 신호 생성을 위해서는 도 19에 도시된 바와 같이, 레이저 다이오드, 광대역 광변조기, 초고속 광검출기가 필요하다. 도 19의 경우, 파장이 다른 두 레이저의 빛 신호를 합파하여 레이저 간의 파장 차이에 해당하는 THz 신호를 생성하는 것이다. 도 19에서, 광 커플러(optical coupler)는 회로 또는 시스템 간의 전기적 절연과의 결합을 제공하기 위해 광파를 사용하여 전기신호를 전송하도록 하는 반도체 장치를 의미하며, UTC-PD(uni-travelling carrier photo-detector)은 광 검출기의 하나로서, 능동 캐리어(active carrier)로 전자를 사용하며 밴드갭 그레이딩(bandgap grading)으로 전자의 이동 시간을 감소시킨 소자이다. UTC-PD는 150GHz 이상에서 광검출이 가능하다. 도 20에서, EDFA(erbium-doped fiber amplifier)는 어븀이 첨가된 광섬유 증폭기를 나타내며, PD(photo detector)는 광신호를 전기신호로 변환할 수 있는 반도체 장치를 나타내며, OSA는 각종 광통신 기능(예, 광전 변환, 전광 변환 등)을 하나의 부품으로 모듈화시킨 광모듈(optical sub assembly)를 나타내며, DSO는 디지털 스토리지 오실로스코프(digital storage oscilloscope)를 나타낸다.
도 21은 본 개시에 적용 가능한 송신기 구조를 도시한 도면이다. 또한, 도 22는 본 개시에 적용 가능한 변조기 구조를 도시한 도면이다.
도 21 및 도 22를 참조하면, 일반적으로 레이저(laser)의 광학 소스(optical source)를 광파 가이드(optical wave guide)를 통과시켜 신호의 위상(phase)등을 변화시킬 수 있다. 이때, 마이크로파 컨택트(microwave contact) 등을 통해 전기적 특성을 변화시킴으로써 데이터를 싣게 된다. 따라서, 광학 변조기 출력(optical modulator output)은 변조된(modulated) 형태의 파형으로 형성된다. 광전 변조기(O/E converter)는 비선형 크리스탈(nonlinear crystal)에 의한 광학 정류(optical rectification) 동작, 광전도 안테나(photoconductive antenna)에 의한 광전 변환(O/E conversion), 광속의 전자 다발(bunch of relativistic electrons)로부터의 방출(emission) 등에 따라 THz 펄스를 생성할 수 있다. 상기와 같은 방식으로 발생한 테라헤르츠 펄스(THz pulse)는 펨토 세컨드(femto second)부터 피코 세컨드(pico second)의 단위의 길이를 가질 수 있다. 광전 변환기(O/E converter)는 소자의 비선형성(non-linearity)을 이용하여, 하향 변환(Down conversion)을 수행한다.
테라헤르츠 스펙트럼의 용도(THz spectrum usage)를 고려할 때, 테라헤르츠 시스템을 위해서 고정된(fixed) 또는 모바일 서비스(mobile service) 용도로써 여러 개의 연속적인 기가헤르츠(contiguous GHz)의 대역들(bands)을 사용할 가능성이 높다. 아웃도어(outdoor) 시나리오 기준에 의하면, 1THz까지의 스펙트럼에서 산소 감쇠(Oxygen attenuation) 10^2 dB/km를 기준으로 가용 대역폭(Bandwidth)이 분류될 수 있다. 이에 따라 상기 가용 대역폭이 여러 개의 밴드 청크(band chunk)들로 구성되는 프레임워크(framework)가 고려될 수 있다. 상기 프레임워크의 일 예시로 하나의 캐리어(carrier)에 대해 테라헤르츠 펄스(THz pulse)의 길이를 50ps로 설정한다면, 대역폭(BW)은 약 20GHz가 된다.
적외선 대역(infrared band)에서 테라헤르츠 대역(THz band)으로의 효과적인 하향 변환(Down conversion)은 광전 컨버터(O/E converter)의 비선형성(nonlinearity)을 어떻게 활용하는가에 달려 있다. 즉, 원하는 테라헤르츠 대역(THz band)으로 하향 변환(down conversion)하기 위해서는 해당 테라헤르츠 대역(THz band)에 옮기기에 가장 이상적인 비선형성(non-linearity)을 갖는 광전 변환기(O/E converter)의 설계가 요구된다. 만일 타겟으로 하는 주파수 대역에 맞지 않는 광전 변환기(O/E converter)를 사용하는 경우, 해당 펄스(pulse)의 크기(amplitude), 위상(phase)에 대하여 오류(error)가 발생할 가능성이 높다.
단일 캐리어(single carrier) 시스템에서 광전 변환기 1개를 이용하여 테라헤르츠 송수신 시스템이 구현될 수 있다. 채널 환경에 따라 달라지지만 멀리 캐리어(Multi carrier) 시스템에서 캐리어 수만큼 광전 변환기가 요구될 수 있다. 특히 전술한 스펙트럼 용도와 관련된 계획에 따라 여러 개의 광대역들을 이용하는 멀티 캐리어 시스템인 경우, 그 현상이 두드러지게 될 것이다. 이와 관련하여 상기 멀티 캐리어 시스템을 위한 프레임 구조가 고려될 수 있다. 광전 변환기를 기반으로 하향 주파수 변환된 신호는 특정 자원 영역(예: 특정 프레임)에서 전송될 수 있다. 상기 특정 자원 영역의 주파수 영역은 복수의 청크(chunk)들을 포함할 수 있다. 각 청크(chunk)는 적어도 하나의 컴포넌트 캐리어(CC)로 구성될 수 있다.
인공 지능(Artificial Intelligence) 시스템
도 23은 본 개시에 적용 가능한 인공 신경망에 포함되는 퍼셉트론(perceptron)의 구조를 나타낸 도면이다. 또한, 도 24는 본 개시에 적용 가능한 인공 신경망 구조를 나타낸 도면이다.
상술한 바와 같이, 6G 시스템에서 인공 지능 시스템이 적용될 수 있다. 이때, 일 예로, 인공 지능 시스템은 인간의 뇌에 해당하는 러닝 모델에 기초하여 동작할 수 있으며, 이는 상술한 바와 같다. 이때, 인공 신경망(artificial neural networks)와 같은 복잡성이 높은 신경망 구조를 러닝 모델로 사용하는 머신 러닝의 패러다임을 딥러닝(deep learning)이라 할 수 있다. 또한, 학습(learning) 방식으로 사용하는 신경망 코어(neural network cord)는 크게 심층 신경망(deep neural network, DNN), 합성곱 신경망(convolutional deep neural network, CNN), 순환 신경망(recurrent neural network, RNN) 방식이 있다. 이때, 일 예로, 도 23을 참조하면, 인공 신경망은 여러 개의 퍼셉트론들로 구성될 수 있다. 이때, 입력 벡터 x={x1, x2, …, xd}가 입력되면, 각 성분에 가중치 {W1, W2, …, Wd}가 곱해지고, 그 결과를 모두 합산한 후, 활성함수 σ(·)를 적용하는 전체 과정은 퍼셉트론이라 불리울 수 있다. 거대한 인공 신경망 구조는 도 23에 도시한 단순화된 퍼셉트론 구조를 확장하면, 입력벡터는 서로 다른 다 차원의 퍼셉트론에 적용될 수 있다. 설명의 편의를 위해 입력값 또는 출력값을 노드(node)라 칭한다.
한편, 도 23에 도시된 퍼셉트론 구조는 입력값, 출력값을 기준으로 총 3개의 층(layer)로 구성되는 것으로 설명될 수 있다. 1st layer와 2nd layer 사이에는 (d+1) 차원의 퍼셉트론 H개, 2nd layer와 3rd layer 사이에는 (H+1)차원 퍼셉트론이 K 개 존재하는 인공 신경망은 도 24와 같이 표현될 수 있다.
이때, 입력벡터가 위치하는 층을 입력층(input layer), 최종 출력값이 위치하는 층을 출력층(output layer), 입력층과 출력층 사이에 위치하는 모든 층을 은닉층(hidden layer)라 한다. 일 예로, 도 24에서 3개의 층이 개시되나, 실제 인공 신경망 층의 개수를 카운트할 때는 입력층을 제외하고 카운트하므로, 도 24에 예시된 인공 신경망은 총 2개의 층으로 이해될 수 있다. 인공 신경망은 기본 블록의 퍼셉트론을 2차원적으로 연결되어 구성된다.
전술한 입력층, 은닉층, 출력층은 다층 퍼셉트론 뿐 아니라 후술할 CNN, RNN 등 다양한 인공 신경망 구조에서 공동적으로 적용될 수 있다. 은닉층의 개수가 많아질수록 인공 신경망이 깊어진 것이며, 충분히 깊어진 인공 신경망을 러닝모델로 사용하는 머신 러닝 패러다임을 딥러닝(deep learning)이라 할 수 있다. 또한 딥러닝을 위해 사용하는 인공 신경망을 심층 신경망(deep neural network, DNN)이라 할 수 있다.
도 25는 본 개시에 적용 가능한 심층 신경망을 나타낸 도면이다.
도 25를 참조하면, 심층 신경망은 은닉층+출력층이 8개로 구성된 다층 퍼셉트론일 수 있다. 이때, 다층 퍼셉트론 구조를 완전 연결 신경망(fully-connected neural network)이라 표현할 수 있다. 완전 연결 신경망은 서로 같은 층에 위치하는 노드 간에는 연결 관계가 존재하지 않으며, 인접한 층에 위치한 노드들 간에만 연결 관계가 존재할 수 있다. DNN은 완전 연결 신경망 구조를 가지고 다수의 은닉층과 활성함수들의 조합으로 구성되어 입력과 출력 사이의 상관관계 특성을 파악하는데 유용하게 적용될 수 있다. 여기서 상관관계 특성은 입출력의 결합 확률(joint probability)을 의미할 수 있다.
도 26은 본 개시에 적용 가능한 컨볼루션 신경망을 나타낸 도면이다. 또한, 도 27은 본 개시에 적용 가능한 컨볼루션 신경망의 필터 연산을 나타낸 도면이다.
일 예로, 복수의 퍼셉트론을 서로 어떻게 연결하느냐에 따라 전술한 DNN과 다른 다양한 인공 신경망 구조를 형성할 수 있다. 이때, DNN은 하나의 층 내부에 위치한 노드들이 1차원적의 세로 방향으로 배치되어 있다. 그러나, 도 26을 참조하면, 노드들이 2차원적으로 가로 w개, 세로 h개의 노드가 배치할 경우를 가정할 수 있다. (도 26의 컨볼루션 신경망 구조). 이 경우, 하나의 입력 노드에서 은닉층으로 이어지는 연결과정에서 연결 하나당 가중치가 부가되므로, 총 h×w 개의 가중치가 고려되어야 한다. 입력층에 h×w 개의 노드가 존재하므로, 인접한 두 층 사이에는 총 h2w2개의 가중치가 필요할 수 있다.
또한, 도 26의 컨볼루션 신경망은 연결개수에 따라 가중치의 개수가 기하급수적으로 증가하는 문제가 있어 인접한 층 간의 모든 모드의 연결을 고려하는 대신, 크기가 작은 필터(filter)가 존재하는 것으로 가정할 수 있다. 일 예로, 도 27에서와 같이 필터가 겹치는 부분에 대해서는 가중합 및 활성함수 연산을 수행하도록 할 수 있다.
이때, 하나의 필터는 그 크기만큼의 개수에 해당하는 가중치를 가지며, 이미지 상의 어느 특정한 특징을 요인으로 추출하여 출력할 수 있도록 가중치의 학습이 이루어질 수 있다. 도 27에서는 3×3 크기의 필터가 입력층의 가장 좌측 상단 3×3 영역에 적용되고, 해당 노드에 대한 가중합 및 활성함수 연산을 수행한 결과 출력값은 z22에 저장될 수 있다.
이때, 상술한 필터는 입력층을 스캔하면서 가로, 세로 일정 간격만큼 이동하면서 가중합 및 활성함수 연산이 수행되고, 그 출력값은 현재 필터의 위치에 배치될 수 있다. 이러한 연산 방식은 컴퓨터 비전(computer vision) 분야에서 이미지에 대한 컨볼루션(convolution) 연산과 유사하므로, 이러한 구조의 심층 신경망은 컨볼루션 신경망(CNN: convolutional neural network)라 불리고, 컨볼루션 연산 결과 생성되는 은닉층은 컨볼루션 층(convolutional layer)라 불릴 수 있다. 또한, 복수의 컨볼루션 층이 존재하는 신경망을 심층 컨볼루션 신경망(deep convolutional neural network, DCNN)이라 할 수 있다.
또한, 컨볼루션 층에서는 현재 필터가 위치한 노드에서, 상기 필터가 커버하는 영역에 위치한 노드만을 포괄하여 가중합을 계산함으로써, 가중치의 개수가 감소될 수 있다. 이로 인해, 하나의 필터가 로컬(local) 영역에 대한 특징에 집중하도록 이용될 수 있다. 이에 따라, CNN은 2차원 영역 상의 물리적 거리가 중요한 판단 기준이 되는 이미지 데이터 처리에 효과적으로 적용될 수 있다. 한편, CNN은 컨볼루션 층의 직전에 복수의 필터가 적용될 수 있으며, 각 필터의 컨볼루션 연산을 통해 복수의 출력 결과를 생성할 수도 있다.
한편, 데이터 속성에 따라 시퀀스(sequence) 특성이 중요한 데이터들이 있을 수 있다. 이러한 시퀀스 데이터들의 길이 가변성, 선후 관계를 고려하여 데이터 시퀀스 상의 원소를 매 시점(timestep) 마다 하나씩 입력하고, 특정 시점에 출력된 은닉층의 출력 벡터(은닉 벡터)를, 시퀀스 상의 바로 다음 원소와 함께 입력하는 방식을 인공 신경망에 적용한 구조를 순환 신경망 구조라 할 수 있다.
도 28은 본 개시에 적용 가능한 순환 루프가 존재하는 신경망 구조를 나타낸 도면이다. 도 29는 본 개시에 적용 가능한 순환 신경망의 동작 구조를 나타낸 도면이다.
도 28을 참조하면, 순환 신경망(recurrent neural network, RNN)은 데이터 시퀀스 상의 어느 시선 t의 원소 {x1 (t), x2 (t), …, xd (t)}를 완전 연결 신경망에 입력하는 과정에서, 바로 이전 시점 t-1은 은닉 벡터 {z1 (t-1), z2 (t-1), …, zH (t-1)}을 함께 입력하여 가중합 및 활성함수를 적용하는 구조를 가질 수 있다. 이와 같이 은닉 벡터를 다음 시점으로 전달하는 이유는 앞선 시점들에서의 입력 벡터속 정보들이 현재 시점의 은닉 벡터에 누적된 것으로 간주하기 때문이다.
또한, 도 29를 참조하면, 순환 신경망은 입력되는 데이터 시퀀스에 대하여 소정의 시점 순서대로 동작할 수 있다. 이때, 시점 1에서의 입력 벡터 {x1 (t), x2 (t), …, xd (t)}가 순환 신경망에 입력되었을 때의 은닉 벡터 {z1 (1), z2 (1), …, zH (1)}가 시점 2의 입력 벡터 {x1 (2), x2 (2), …, xd (2)}와 함께 입력되어, 가중합 및 활성 함수를 통해 은닉층의 벡터 {z1 (2), z2 (2), …, zH (2)}가 결정된다. 이러한 과정은 시점 2, 시점 3, …, 시점 T까지 반복적으로 수행된다.
한편, 순환 신경망 내에서 복수의 은닉층이 배치될 경우, 이를 심층 순환 신경망(deep recurrent neural network, DRNN)라 한다. 순환 신경망은 시퀀스 데이터(예, 자연어 처리(natural language processing)에 유용하게 적용되도록 설계되어 있다.
학습(learning) 방식으로 사용하는 신경망 코어로서 DNN, CNN, RNN 외에 제한 볼츠만 머신(restricted Boltzmann machine, RBM), 심층 신뢰 신경망(deep belief networks, DBN), 심층 Q-네트워크(deep Q-Network)와 같은 다양한 딥 러닝 기법들을 포함하며, 컴퓨터 비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용될 수 있다.
최근에는 AI를 무선 통신 시스템과 통합하려고 하는 시도들이 나타나고 있으나, 이는 어플리케이션 계층(application layer), 네트워크 계층(network layer), 특히, 딥러닝의 경우, 무선 자원 관리 및 할당(wireless resource management and allocation) 분야에 집중되어 왔다. 그러나, 이러한 연구는 점점 MAC 계층 및 물리 계층(physical layer)으로 발전하고 있으며, 특히 물리 계층에서 딥러닝을 무선 전송(wireless transmission)과 결합하고자 하는 시도들이 나타나고 있다. AI 기반의 물리 계층 전송은, 근본적인 신호 처리 및 통신 메커니즘에 있어서, 전통적인 통신 프레임워크가 아니라, AI 드라이버에 기초한 신호 처리 및 통신 메커니즘을 적용하는 것을 의미한다. 예를 들어, 딥러닝 기반의 채널 코딩 및 디코딩(channel coding and decoding), 딥러닝 기반의 신호 추정(estimation) 및 검출(detection), 딥러닝 기반의 MIMO 매커니즘(mechanism), AI 기반의 자원 스케줄링(scheduling) 및 할당(allocation) 등을 포함할 수 있다.
본 개시의 구체적인 실시 예
본 개시는 연합 학습(federated learning)을 수행하기 위한 것으로, 특히, 통신 시스템에서 연합 학습을 위한 연산 복잡도를 낮추고, 학습 결과를 나타내는 데이터의 양을 줄이기 위한 기술을 설명한다.
연합 학습은 엣지 장치(edge device)(예: 단말)의 개인 데이터의 프라이버시(privacy)를 유지하면서, 클라우드(cloud)(예; 서버)의 글로벌 모델(global model)을 학습시킬 수 있는 방안으로서 알려져 있다. 또한, 연합 학습은 서버의 모델 학습에 필요한 부하(load)를 단말들로 분산할 수 있는 장점을 가진 기술로 평가된다. 개인 프라이버시의 중요성은 점점 강조되고 있어서, 클라우드에서 개인 데이터를 수집하는 것은 점점 어려워 지고 있는 반면, 단말의 연산 능력은 계속 증가하고 있다. 따라서, 연합 학습에 기반한 클라우드에서의 글로벌 모델의 학습은 점차 더 널리 사용될 것으로 예상된다. 그러나, 연합 학습은 서버의 연산 부하를 단말들로 분산하기 때문에, 단말의 연산량을 증가시킨다. 또한, 클라우드 및 엣지 장치의 클라이언트(client)는 갱신하고자 하는 글로벌 모델과 엣지 장치에서 생성된 가중치 변화량에 대한 정보를 반복적으로 주고 받기 때문에, 상당한 양의 통신 자원(resource)을 사용할 수 있다. 이에, 본 개시는 연합 학습 시스템에서 장치 기반으로 학습 연산량과 서버로 전송되는 가중치 변화량을 감소시키는 다양한 실시 예들을 제안하고자 한다.
전술한 바와 같이, 연합 학습은 각 단말에 저장된 데이터를 서버로 송신하지 아니하고, 서버에 존재하는 글로벌 모델을 학습할 수 있는 기술로서 널리 알려져 있다. 연합 학습의 전반적인 개념(concept)은 아래와 같다.
도 30은 본 개시에 적용 가능한 연합 학습의 개념을 나타내는 도면이다. 도 30을 참고하면, 서버(3020) 및 복수의 단말들(3010a 내지 3010c)이 연합 학습을 수행할 수 있다. 서버(3020)는 기지국 또는 코어 망 엔티티(core network entity)에 포함될 수 있다. 서버(3020)는 인공 신경망인 글로벌 모델(3022)을 가진다. 서버(3020)는 복수의 단말들(3010a 내지 3010c)과 다양한 통신 방법을 통해 연결될 수 있다. 복수의 단말들(3010a 내지 3010c) 각각은 연합 학습을 위한 클라이언트를 포함하며, 각자의 로컬 모델(local model)(3012a, 3012b 또는 3012c)를 가진다.
서버(3020)는 학습의 대상인 글로벌 모델(3022)을 복수의 단말들(3010a 내지 3010c)에게 전송하게 되며, 복수의 단말들(3010a 내지 3010c)은 수신된 글로벌 모델(3022)에 대하여 각자 보유하고 있는 로컬 데이터(local data)를 이용하여 학습을 수행한다. 이후, 복수의 단말들(3010a 내지 3010c) 각각은 학습을 통해 갱신된 로컬 모델들(3012a 내지 3012c)의 가중치(weight)들을 기반으로 가중치의 변화량을 계산하고, 계산된 가중치 변화량에 대한 정보
Figure PCTKR2020011713-appb-I000009
를 서버(3020)로 송신한다. 여기서, 가중치 변화량은 갱신되기 전의 가중치 및 갱신 이후 가중치의 차이를 의미한다. 다른 실시 예에 따라, 가중치 변화량의 송신은 가중치 자체의 송신으로 대체될 수 있다. 서버(3020)는 복수의 단말들(3010a 내지 3010c) 각각으로부터의 가중치 변화량을 수집한(aggregate) 후, 수집된 정보를 이용하여 글로벌 모델(3022)의 가중치를 갱신한다. 글로벌 모델(3022)의 가중치 갱신이 완료되면, 서버(3020)는 검사(test)를 통해 글로벌 모델(3022)의 손실 함수(loss function)에 대한 평가(evaluation)를 수행할 수 있다. 평가의 결과를 기반으로, 서버(3020)는 연합 학습을 계속 수행할지 여부를 판단할 수 있다. 연합 학습을 계속 수행할 경우, 갱신된 글로벌 모델(3022)을 복수의 단말들(3010a 내지 3010c)에게 전송하는 동작부터 전술한 절차가 반복될 수 있다.
도 31은 본 개시에 적용 가능한 연합 학습의 프로토콜의 일례를 나타내는 도면이다. 도 31을 참고하면, 연합 학습은 복수의 라운드들(rounds)에 걸쳐 수행되며, 하나의 라운드는 선택(selection) 단계(phase), 설정(configuration) 단계, 보고(reporting) 단계를 포함한다.
라운드(round) i의 선택 단계(3102-i)에서, 클라이언트를 포함하는 단말들(3110a 내지 3110e)이 서버(3120)와의 연합 학습에 참여하기 위해 등록하고(register), 서버(3120)는 단말들(3110a 내지 3110e) 중 라운드 i에서 연합 학습에 참여할 적어도 하나의 단말을 선택한다. 예를 들어, 충전, 전원 온(power on) 상태, 기지국과의 연결 등의 조건을 만족한 단말들(3110a 내지 3110e)은 참여자로 등록할 준비가 되었음을 서버(3120)에게 알린다. 도 31의 예에서, 단말들(3110a 내지 3110c)이 선택된다. 도 31에 도시되지 아니하였으나, 서버(3120)는 선택되지 아니한 단말들(3110d 및 3110e)에게 다음에 재연결을 할 것을 알릴 수 있다.
라운드 i의 설정 단계(3104-i)에서, 서버(3120)는 선택된 단말들(3110a 내지 3110c)에게 글로벌 모델에 대한 정보 및 필요한 파라미터들을 전송한다. 다시 말해, 서버(3120)는 최적 개수만큼의 단말들을 선택한 후, 선택된 단말들(3110a 내지 3110c)에게 참여자로서 수행해야 하는 작업과 계산을 위한 글로벌 모델의 그래프 정보 등의 데이터 구조를 전송한다. 선택된 단말들(3110a 내지 3110c)은 로컬 데이터를 이용하여 글로벌 모델에 대한 학습을 수행한다. 단말들(3110a 내지 3110c) 각각에 의해 학습된 글로벌 모델은 로컬 모델이 된다.
라운드 i의 보고 단계(3106-i)에서, 단말들(3110a, 3110b, 3110c)은 학습된 모델로부터 가중치 변화량을 계산하고, 가중치 변화량에 대한 정보를 서버(3120)에게 송신한다. 서버(3120)는 설정된 시간 내에 수신된 가중치 변화량에 대한 정보를 이용하여 글로벌 모델의 가중치들을 갱신한다. 즉, 서버(3120)는 집성된 정보를 글로벌 모델에 반영한다.
이후, 다음의 라운드 i-1 동안, 유사하게 선택 단계(3102-(i+1)), 설정 단계(3104-(i+1)), 보고 단계(3106-(i+1))가 진행된다. 하나의 라운드 동안, 참여자로 선택된 단말들(3110a 내지 3110c) 및 서버(3120)는 연결된 상태를 유지한다. 라운드 중간에 통신 장애 등으로 인해 드랍-아웃(drop-out)이 발생하면, 서버(3120)는 해당 참여자를 무시하고, 라운드를 진행할 수 있다. 따라서, 연합 학습 프로토콜은 연결에 실패한 참여자를 무시하고, 라운드를 진행해도 장애가 발생하지 않도록 설계되는 것이 바람직하다.
전술한 동작들은 서버(3120) 및 단말들(3110a 내지 3110e) 간 동기(synchronous) 기반으로 수행된다. 따라서, 서버(3120)는 특정 라운드에서 주어진 시간 안에 선택된 장치들(3110a 내지 3110c)로부터 수신된 가중치 변화량 들을 이용하여 글로벌 모델의 가중치를 갱신하고, 갱신된 글로벌 모델을 다음 라운드에서 사용한다. 이때, 서버(3120)에서 정한 특정 시간 안에 수신되지 못한 가중치 변화량에 대한 정보는 무시될 수 있다.
도 31을 참고하여 설명한 바와 같이, 연합 학습에서 단말에 존재하는 클라이언트는 서버의 요청에 따라 로컬 데이터를 이용한 학습을 반복적으로 수행할 수 있다. 이때, 서버 및 클라이언트 간에 글로벌 모델 및 가중치 변화량들을 전달하는 과정이 필요하다. 글로벌 모델 및 가중치 변화량의 전달 동작은 연합 학습에 의해 글로벌 모델이 수렴할 때까지 다수의 라운드들에 걸쳐 반복되므로, 단말의 연산량과 전송해야 하는 가중치 변화량들이 라운드 개수에 비례하여 증가한다. 이로 인한 단말의 연산량 증가는 단말의 전력 소모에도 많은 영향을 주며, 가중치 변화량의 전송을 위한 통신 자원 소모량 또한 증가할 수 있다.
또한, 연합 학습을 통해 글로벌 모델을 갱신함에 있어서, 서버는 학습 완료 시점 및 최종 적용 여부의 결정을 위해 갱신된 모델의 성능 평가를 수행할 수 있다. 그러나, 성능 평가를 서버에서만 진행할 경우, 정확한 성능이 측정되지 못할 가능성이 존재한다. 일반적으로, 인공 지능 모델의 경우, 전체 데이터 셋(data Set)은 3개의 데이터 셋들, 즉, 훈련 데이터(training data), 검증 데이터(validation data), 검사 데이터(testing data)로 나누어 사용된다. 에포크(epoch) 및 배치(batch) 단위로 훈련 데이터를 이용한 학습이 진행되면, 검증 데이터에 기반하여 에포크 단위로 평가가 진행된다. 학습 및 평가를 통해, 학습 과정에서의 모델 성능이 평가되고, 오버 피팅(over fitting) 및 언더 피팅(under fitting)이 방지될 수 있다. 그리고, 검사 데이터를 통해 모델의 최종 성능 평가가 이루어진다.
연합 학습의 경우, 학습에 필요한 데이터가 대부분 단말들에 존재하고 있다. 따라서, 연합 학습을 통해 갱신된 글로벌 모델을 평가할 경우, 서버는 서버에 보유된 데이터 셋만을 이용하여 라운드 별로 또는 최종 학습이 완료된 이후에 모델 평가를 수행할 수 있다. 그러나, 연합 학습 시스템의 특성 상, 서버에 보유된 데이터는 최신의 데이터가 아닌 오랫동안 서버에서 유지된 데이터일 가능성이 높다. 즉, 서버에 보유된 데이터는 연합 학습을 통해 학습에 사용된 단말의 새로운 데이터들과 다르므로, 시간이 지날수록 모델의 정확한 평가가 어려워질 수 있다.
위와 같이, 연합 학습 시스템은 서버의 학습 연산량을 줄이고, 동시에 단말의 로우 데이터(raw data) 전송을 차단함으로써 개인의 프라이버시를 유지하고, 로우 데이터 전송에 요구되는 통신 자원을 절감한다는 측면에서 많은 장점을 가지는 기술이다. 하지만, 단말의 학습 연산량 및 통신 자원의 사용, 모델 평가 측면에서 개선이 필요하다.
따라서, 본 개시는 학습 연산량 및 통신 자원의 사용, 모델 평가 측면에서 보다 효율적으로 연합 학습을 수행하기 위한 다양한 실시 예들을 제안한다. 다시 말해, 본 개시는 클라이언트로 동작하는 각 단말의 연산량을 줄이고, 전달해야 하는 가중치 변화량의 정보량도 감소시킬 수 있는 방안을 제안하고자 한다. 나아가, 본 개시는 연합 학습 중에 서버 및 클라이언트 간 평가 동작을 추가함으로써, 모델 평가를 수행하고, 이를 기반으로 제안되는 클라이언트의 연산량 감소 기법에 대한 성능을 향상시키는 방안을 제안한다. 이하 설명에서, '단말' 및 '클라이언트'가 혼용되나, 양자는 같은 대상을 지칭하는 것으로 이해될 수 있다.
도 32는 본 개시에 적용 가능한 단말에서 연합 학습을 수행하는 절차의 일 실시 예를 도시한 도면이다. 도 32는 연합 학습에 참여한 단말에 의해 수행되는 방법을 예시한다.
도 32를 참고하면, S3201 단계에서, 단말은 연합 학습을 위한 설정 정보를 수신한다. 설정 정보는 글로벌 모델의 구조를 나타내는 정보 및 학습 동작을 제어하기 위한 적어도 하나의 파라미터를 포함할 수 있다. 이에 따라, 단말은 학습의 대상인 모델을 생성하고, 이후의 학습 동작들을 수행할 수 있다. 이때, 일 실시 예에 따라, 설정 정보는 학습할 적어도 하나의 레이어를 선택하기 위한 정보를 더 포함할 수 있다. 예를 들어, 적어도 하나의 레이어를 선택하기 위한 정보는 적어도 하나의 레이어를 지정하는 정보 또는 적어도 하나의 레이어를 선택하기 위한 규칙에 대한 정보 중 적어도 하나를 포함할 수 있다.
S3203 단계에서, 단말은 학습할 적어도 하나의 레이어를 결정한다. 일 실시 예에 따라, 단말은 글로벌 모델의 레이어들 중 일부를 선택할 수 있다. 이때, 단말은 설정 정보에 포함된 정보에 기반하여 또는 미리 정의된 규칙에 기반하여 적어도 하나의 레이어를 선택할 수 있다.
S3205 단계에서, 단말은 학습을 수행한다. 즉, 단말은 S3203 단계에서 결정된 적어도 하나의 레이어에 대한 학습을 수행한다. 레이어들 중 일부가 선택된 경우, 학습은 레이어들 전체가 아닌 일부에 대해여 수행된다. 이때, 단말은 단말에 보유된 로컬 데이터를 이용한다. 로컬 데이터를 이용한 학습에 의해, 단말의 로컬 모델이 생성된다.
S3207 단계에서, 단말은 학습 결과에 관한 정보를 송신한다. 학습 결과에 관한 정보는 학습에 의해 변화된 가중치에 대한 정보, 즉, 글로벌 모델 및 로컬 모델 간 가중치 변화량을 포함할 수 있다. 만일, 레이어들 중 일부에 대한 학습이 수행된 경우, 학습된 레이어들 일부에 관련된 가중치 변화량이 포함되고, 나머지 레이어들에 대한 가중치 변화량은 학습 결과에 관한 정보에서 제외될 수 있다.
도 33은 본 개시에 적용 가능한 서버에서 연합 학습을 수행하는 절차의 일 실시 예를 도시한 도면이다. 도 33은 연합 학습에 참여한 서버에 의해 수행되는 방법을 예시한다.
도 33을 참고하면, S3301 단계에서, 서버는 연합 학습을 위한 설정 정보를 송신한다. 설정 정보는 글로벌 모델의 구조를 나타내는 정보 및 학습 동작을 제어하기 위한 적어도 하나의 파라미터를 포함할 수 있다. 이때, 일 실시 예에 따라, 설정 정보는 적어도 하나의 레이어를 선택하기 위한 정보를 더 포함할 수 있다. 예를 들어, 적어도 하나의 레이어를 선택하기 위한 정보는 적어도 하나의 레이어를 지정하는 정보 또는 적어도 하나의 레이어를 선택하기 위한 규칙에 대한 정보 중 적어도 하나를 포함할 수 있다.
S3303 단계에서, 서버는 일부 레이어에 대한 학습 결과에 관한 정보를 수신한다. 학습 결과에 관한 정보는 학습에 의해 변화된 가중치에 대한 정보, 즉, 글로벌 모델 및 로컬 모델 간 가중치 변화량을 포함할 수 있다. 단말에서 레이어들 중 일부에 대한 학습이 수행된 경우, 학습 결과에 관한 정보는 레이어들 일부에 대한 가중치 변화량을 포함하고, 나머지 레이어들에 대한 가중치 변화량을 포함하지 아니한다.
S3305 단계에서, 서버는 학습 결과에 기반하여 글로벌 모델을 갱신한다. 글로벌 모델은 복수의 단말들로부터 보고된 학습 결과들에 기반하여 갱신될 수 있다. 예를 들어, 서버는 복수의 단말들로부터 보고된 학습 결과들에 포함되는 동일 연결의 가중치들을 결합함으로써(예: 평균화함으로써), 갱신된 글로벌 모델의 가중치를 결정할 수 있다.
도 32 및 도 33을 참고하여 설명한 바와 같이, 글로벌 모델의 레이어들의 일부에 대한 학습이 수행될 수 있다. 이에 따라, 학습의 대상이 감소하므로, 학습을 위한 연산량이 감소할 수 있다. 이하 설명의 편의를 위해, 레이어들의 일부에 대한 학습은 '부분 학습'이라 지칭될 수 있다. 부분 학습을 수행하기 위해, 레이어들의 일부를 선택하기 위한 기준이 필요하다. 일 실시 예에 따라, 학습을 수행할 단말에 보유된 로컬 데이터의 특성이 레이어들 중 일부를 선택하기 위한 기준으로서 사용될 수 있다. 이하 로컬 데이터의 특성 및 부분 학습의 관계가 설명된다.
연합 학습 시스템에서, 장치들에 보유된 로컬 데이터는 서로 다른 특성을 가질 수 있다. 어떤 장치는 글로벌 모델의 학습에 사용된 데이터와 비슷한 데이터를 보유할 수 있고, 다른 장치는 전혀 학습되지 않은 데이터를 보유하고 있는 경우가 존재할 수 있다. 그러나, 일반적인 연합 학습에 따르면, 장치들이 서로 다른 특성이 데이터를 보유하더라도, 장치들 각각은 보유하고 있는 로컬 데이터를 이용하여 서버로부터 제공되는 글로벌 모델의 전체에 대한 학습을 진행하게 된다.
그러나, 학습 데이터의 특성에 따라 가중치의 변화량은 큰 차이를 보일 것으로 예상된다. 이미 글로벌 모델에서 학습되어 있는 데이터와 비슷한 특성의 데이터를 보유한 장치에서의 학습에 의한 가중치 변화량은 상대적으로 미미할 것으로 예상되는 반면, 다른 특성의 데이터를 보유한 장치에서의 학습에 의한 가중치 변화량은 상대적으로 큰 변화를 보일 수 있다. 따라서, 이하 장치에서 보유하고 있는 로컬 데이터의 특성에 따라 글로벌 모델의 전체에 대해 학습하는 것이 아닌 일부에 대해 학습하는 실시 예들이 설명된다.
도 34는 본 개시에 적용 가능한 단말에서 로컬 데이터의 특성에 기반하여 일부 레이어에 대한 학습을 수행하는 절차의 일 실시 예를 나타내는 도면이다. 도 34는 연합 학습에 참여한 단말에 의해 수행되는 방법을 예시한다.
도 34를 참고하면, S3401 단계에서, 단말은 글로벌 모델 정보를 수신한다. 추가적으로, 단말은 연합 학습을 제어하기 위한 적어도 하나의 파라미터를 수신할 수 있다. 일 실시 예에 따라, 부분 학습을 위한 정보가 더 수신될 수 있다.
S3403 단계에서, 단말은 로컬 데이터의 특성을 판단한다. 로컬 데이터의 특성은 다양하게 정의될 수 있다. 예를 들어, 로컬 데이터의 특성은 로컬 데이터 자체에 기반하여 정의되거나, 글로벌 모델과의 관계에 기반하여 정의되거나, 또는 연합 학습 절체와의 관계에 기반하여 정의될 수 있다. 로컬 데이터의 특성을 판단하기 위해, 단말은 로컬 데이터를 분석할 수 있다. 다른 실시 예에 따라, 본 S3403 단계의 동작은 S3401 단계보다 앞서 수행될 수 있다.
S3405 단계에서, 단말은 로컬 데이터의 특성에 기반하여 선택된 레이어에 대한 학습을 수행한다. 즉, 단말은 로컬 데이터의 특성에 기반하여 적어도 하나의 레이어를 선택하고, 선택되지 아니한 레이어를 제외한 나머지에 대해 학습을 수행한다. 이를 위해, 단말은 로컬 데이터의 특성 및 학습 대상이 되는 레이어들의 범위의 대응 관계에 대한 정보를 획득 또는 확인하고, 획득 또는 확인된 정보에 기반하여 적어도 하나의 레이어를 선택할 수 있다. 선택되지 아니한 레이어의 경우, 단말은 관련된 가중치들을 고정하고, 학습을 수행한다. 따라서, 선택되지 않은 레이어에 관련된 가중치는 변경되지 아니한다.
S3407 단계에서, 단말은 가중치 변화량 정보를 생성한다. 학습에 의해 글로벌 모델로부터 로컬 모델이 생성되며, 로컬 모델에 포함된 연결들 중 적어도 하나의 가중치는 글로벌 모델 대비 달라질 수 있다. 이때, 레이어들 중 일부에 대한 학습이 수행된 경우, 학습되지 아니한 레이어들에 관련된 가중치들은 변화하지 아니한다. 이 경우, 가중치 변화량 정보는 연결들 중 일부에 대한 값만을 포함할 수 있다.
도 34를 참고하여 설명한 실시 예에서, 단말은 학습을 수행할 적어도 하나의 레이어를 선택한다. 이하 설명의 편의를 위해, 학습을 수행할 레이어는 '학습 대상 레이어'라 지칭될 수 있다. 이때, 서버로부터 부분 학습을 위한 정보가 수신되는지 여부에 따라, 구체적인 레이어 선택 동작이 달라질 수 있다.
서버로부터 부분 학습을 위한 정보가 제공된 경우, 단말은 제공된 정보를 기반으로 적어도 하나의 학습 대상 레이어를 선택한다. 이때, 서버는 일반적으로 구분 가능한 형태(예: 레이어)를 기반하여 레이어들 간 우선 순위 및 순서를 알릴 수 있다. 다만, 학습의 특성 상 일반적으로 특정 레이어를 기준으로 이후 또는 이전 레이어들에 대한 학습이 수행되므로, 서버는 기준이 되는 레이어를 지정하는 정보와 이전 또는 이후 레이어들의 개수를 학습 정보를 제공함으로써 전달되는 정보를 최소화할 수 있다.
서버로부터 부분 학습을 위한 정보가 제공되지 아니하는 경우, 클라이언트는 자체적인 판단엔 따라 학습 대상 레이어를 선택한다. 이때, 널리 알려진 모델의 경우, 클라이언트는 알려진 모델의 특성을 고려하여 학습 대상 레이어를 선택할 수 있으며, 또는 정해진 규칙에 따라 학습 대상 레이어를 선택할 수 있다. 예를 들어, CNN의 경우, 출력에 가까운 레이어부터 선택될 수 있다.
전술한 모델의 일부에 대한 학습의 실시 예는 연합 학습 시스템에 전이 학습(transfer learning)에 사용되는 부분 학습의 개념을 도입한 결과로 이해될 수 있다. 전이 학습이란 특정 분야에서 학습된 신경망의 일부 능력을 유사하거나 전혀 새로운 분야에서 사용되는 신경망의 학습에 이용하는 것을 의미한다. 예를 들어, 이미지 분류에 있어 이미 알려진 VGG 모델과 같은 신경망을 이용하여 새로운 이미지를 분류하는 경우가 고려될 수 있다. VGG 모델은 CNN(convolutional neural network)을 이용하여 구성될 수 있다. CNN에서, 입력에 가까운 레이어는 일반적인 특징을 추출하고, 출력에 가까운 레이어는 높은 레벨(high level)의 보다 구체적이고 고유한 특징을 추출하는 것으로 알려져 있다. 따라서, 새로운 이미지 분류에 VGG 모델과 같은 신경망이 재사용될 수 있다. 전체를 모두 학습시키기 보다 마지막 레이어인 분류기(classifier) 부분만 재학습을 수행하더라도, 기존과 비슷한 성능을 보일 수 있음이 알려져 있다. 이러한 전이 학습의 경우, 이하 [표 6]과 같이 분류되는 4가지 데이터 특성에 따라 학습 방법이 달리 선택될 수 있다.
분류 특징
① 학습 데이터 사이즈가 크고 유사성이 존재하지 아니하는 경우
② 학습 데이터 사이즈가 크고 유사성이 존재하는 경우
③ 학습 데이터 사이즈가 작고 유사성이 존재하지 아니하는 경우
④ 학습 데이터 사이즈가 작고 유사성이 존재하는 경우
예를 들어, CNN 모델의 경우, 데이터 특성이 ①과 같으면, 일반적으로 모델의 전체 레이어들 모두에 대해 재학습이 수행된다. 반면, 데이터 특성이 ④와 같은 경우, 출력에 가까운 레이어(예: 분류기) 부분만 재학습이 수행될 수 있다.
본 개시는 전술한 전이 학습의 개념을 이용하여 연합 학습 프로토콜의 설정 단계 및 보고 단계에 대한 상세 절차를 제안한다. 일 실시 예에 따라, 서버에서 클라이언트로 전달되는 설정 정보는 글로벌 모델, 배치 크기(batch size) 등의 학습 관련한 정보에 더하여, 부분 학습을 위한 모델 정보를 포함할 수 있다. 부분 학습을 위한 모델 정보는 이하 [표 7]과 같은 항목들 중 적어도 하나를 포함할 수 있다.
항목 설명
레이어 순서 및 우선순위 정보 클라이언트에서 글로벌 모델 중 학습할 적어도 하나의 레이어를 결정하기 위한 정보(예: 레이어별 우선순위, 레이어별 순서)
기준 값 정보 클라이언트에서 로컬 데이터의 특성을 분류하기 위한 기준 정보(예: 데이터 크기, 평균, 분산 등)
[표 7]에 예시된 정보를 포함하는 설정 정보가 수신되면, 클라이언트는 수신된 정보에 기반하여 학습의 대상이 될 적어도 하나의 레이어를 선택할 수 있다. 다른 실시 예에 따라, 서버로부터 레이어를 선택하기 위해 필요한 정보(예: 부분 학습을 위한 모델 정보)가 제공되지 아니할 수 있다. 이 경우, 클라이언트는 자체적인 판단에 따라 적어도 하나의 레이어를 선택하거나, 사전에 정해진 규칙에 따라 적어도 하나의 레이어를 선택할 수 있다.
기존 시스템의 경우, 클라이언트는 글로벌 모델을 수신한 후, 로컬 데이터를 이용하여 학습을 수행하고, 학습에 의한 가중치 변화량을 피드백한다. 이때, 클라이언트는 수신된 글로벌 모델의 전체 레이어들에 대하여 학습을 수행하고, 가중치 변화량을 피드백한다. 제안하는 다양한 실시 예들에 따른 시스템의 경우, 클라이언트는 수신된 글로벌 모델의 일부에 대한 학습, 즉, 부분 학습을 수행한다. 따라서, 전술한 도 34와 같이 적어도 하나의 레이어를 선택하는 동작이 수행된다.
적어도 하나의 레이어를 선택하기 위해, 클라이언트는 로컬 데이터의 특성을 판단할 수 있다. 예를 들어, 학습할 적어도 하나의 레이어를 선택하기 위해, 클라이언트는 보유한 로컬 데이터의 유사성(similarity) 여부를 판단할 수 있다. 여기서, 유사성은 보유한 로컬 데이터 및 글로벌 모델에 대한 과거의 학습에 사용된 데이터 간의 일정 수준 이상의 유사도를 가지는 것을 의미한다.
보유한 로컬 데이터 및 글로벌 모델 학습에 사용된 데이터의 유사성을 판단하기 위해, 클라이언트는 글로벌 모델에 로컬 데이터를 입력함으로써 얻어진 추론 결과를 관찰할 수 있다. 예를 들어, 다중 클래스 분류 모델(multi class classification model)이 제안된 연합 학습 시스템을 이용해 갱신될 수 있다. 각 단말은 이미 서버에서 최종 배포한 다중 클래스 분류 모델인 글로벌 모델을 가지며, 장치는 글로벌 모델을 이용하여 이미지에 대한 추론, 즉, 분류를 수행한다. 이때, 장치가 연합 학습에 필요한 라벨링된 데이터(labeled data)를 수집하는 과정에서, 학습을 위해 사용될 이미지에 대한 분류(classification)가 이미 수행되었을 가능성이 높다. 따라서, 장치가 학습에 사용될 이미지 및 분류 결과를 함께 저장한다면, 저장된 데이터는 데이터 유사성 판단에 활용될 수 있다.
예를 들어, MNIST(modified national institute of standards and technology)를 분류하기 위한 모델을 가지고 있는 단말A 및 단말B를 가정하면, 단말A는 모델을 통한 추론 결과의 정확도가 90% 내지 99% 분포인 라벨링된 데이터를 보유하고, 단말B는 정확도가 50% 내지 90% 분포인 라벨링된 데이터를 보유할 수 있다. 이 경우, 단말A가 보유한 데이터는 이미 모델의 학습에 사용된 데이터와 상대적으로 유사성이 높다고 판단될 수 있다.
도 35는 본 개시에 적용 가능한 단말에서 로컬 데이터의 특성을 판단하는 절차의 일 실시 예를 나타내는 도면이다. 도 35는 로컬 데이터의 특성이 글로벌 모델과의 관계에 기반하여 정의되는 경우로서(예: 유사성), 연합 학습에 참여한 단말에 의해 수행되는 방법을 예시한다.
도 35를 참고하면, S3501 단계에서, 단말은 글로벌 모델을 이용하여 로컬 데이터로부터의 추론을 수행한다. 단말은, 글로벌 모델에 대한 학습을 수행하기 전, 서버로부터 제공된 글로벌 모델을 이용하여 추론을 수행한다. 이에 따라, 단말은 로컬 데이터에 대응하는 추론 결과를 얻을 수 있다. 이때, 사용되는 로컬 데이터는 라벨링된 데이터(labeled data)를 포함할 수 있다.
S3503 단계에서, 단말은 추론의 정확도를 확인한다. 추론의 정확도는 얻어진 추론 결과에 대한 확률 값으로 표현될 수 있다. 여기서, 확률 값은 마지막 레이어의 출력 값으로부터 결정될 수 있다. 이때, 이후 단계에서 로컬 데이터의 특성을 결정하기 위해 확인되는 추론의 정확도는 모든 추론의 결과의 정확도이거나, 또는 일부일 수 있다. 예를 들어, 일부는 정답과 일치하는 추론의 결과의 정확도를 포함할 수 있다.
S3505 단계에서, 단말은 정확도에 기반하여 로컬 데이터의 특성을 결정한다. 예를 들어, 정확도가 높을수록, 유사도가 높은 것으로 판단될 수 있고, 유사도가 일정 수준 이상이면, 유사성이 존재하는 것으로 판단될 수 있다. 이때, 복수의 추론 결과들이 사용되는 경우, 단말은 복수의 추론 결과들의 정확도에 대한 통계 정보를 결정하고, 통계 정보에 기반하여 로컬 데이터의 특성을 결정할 수 있다.
도 35를 참고하여 설명한 실시 예에서, 단말은 로컬 데이터로부터의 추론을 수행한다. 이때, 일 실시 예에 따라, 단말은 보유한 로컬 데이터의 전제로부터의 추론을 수행할 수 있다. 다른 실시 예에 따라, 추론 동작의 소요 시간을 줄이기 위해, 단말은 로컬 데이터의 일부인 샘플링된 데이터(sampled data)로부터의 추론을 수행하고, 이에 기반하여 로컬 데이터에 대한 전반적인 특성(예: 유사성)을 판단할 수 있다.
도 35를 참고하여 설명한 실시 예와 같이, 글로벌 모델을 이용한 추론의 결과에 기반하여 로컬 데이터의 특성, 예를 들어, 유사성이 판단될 수 있다. 유사성을 판단하기 위해, 단말이 보유한 라벨링된 데이터에 대응하는 추론 결과에 대한 통계 정보(예: 평균값, 중심값, 분산값 등)를 이용할 수 있다. 예를 들어, 추론 결과에 대한 통계 정보로서 사용 가능한 정확도의 평균값, 중심값, 분산값 등은 다음과 같이 계산될 수 있다.
개 이미지 및 고양이 이미지를 구별하는 딥러닝 모델을 가정하자. 이미지가 입력으로서 제공되면, 딥러닝 모델은 이미지를 개로 판단할 제1 확률 및 고양이로 판단할 제2 확률을 출력하고, 높은 확률을 보인 대상을 결과로서 판단할 것이다. 예를 들어, 이하 [표 8]과 같이 입력되는 이미지 별 확률 값들이 추론될 수 있다.
이미지1 이미지2 이미지3 이미지4 이미지5 이미지6 이미지7
개로 판단한 확률 90% 80% 5% 15% 10% 99% 3%
고양이로 판단한 확률 10% 20% 95% 85% 90% 1% 97%
정답 개 개 고양이 고양이 고양이 개 고양이
[표 8]과 같이 확률 값들이 얻어진 경우, 클라이언트는 정답과 일치한 판단에 해당하는 확률 값들(예: 90%, 80%, 95%, 85%, 90%, 99%, 97%)에 대한 중심 값, 평균 값, 분산 값 등을 계산함으로써, 추론 결과에 대한 통계 정보를 획득할 수 있다.
획득된 통계 정보를 기준 값 또는 임계 값과 비교함으로써 유사성이 판단될 수 있다. 즉, 통계 정보는 유사성을 판단하기 위한 지표(metric)로서 사용된다. 판단을 위한 기준 값은 사전에 서버로부터 제공되는 부분 학습을 위한 모델 정보에 포함될 수 있다. 만일, 기준 값이 서버로부터 제공되지 아니하는 경우, 단말 자체의 기준 값 또는 사전에 정해진 기준 값이 사용될 수 있다.
또한, 유사성에 더하여, 크기(size)와 같은 로컬 데이터의 속성 정보(attribute information) 또는 메타 데이터가 로컬 데이터의 특성으로서 더 고려될 수 있다. 여기서, 크기는 로컬 데이터의 양(예: 이미지 개수)을 의미한다. 로컬 데이터의 크기가 클수록, 학습되는 레이어(들)의 개수는 증가하는 것이 바람직하다.
전술한 바와 같이, 로컬데이터의 유사성 및 크기가 고려되는 경우, 클라이언트에서의 판단을 위해 필요한 정보를 이하 [표 9]와 같다.
항목 설명
dataSize_A 단말이 가지고 있는 학습 데이터의 크기
mean_A 단말의 학습 데이터에 대한 추론 결과 출력에서 정답에 대한 확률 값 들의 평균 값
var_A 단말의 학습 데이터에 대한 추론 결과 출력에서 정답에 대한 확률 값 들의 분산 값
dataSize_ref 학습 데이터 크기에 대한 기준 값
mean _ref 평균에 대한 기준 값
var_ref 분산에 대한 기준 값
도 36은 본 개시에 적용 가능한 단말에서 로컬 데이터의 특성에 기반하여 적응적으로 학습을 수행하는 절차의 일 실시 예를 나타내는 도면이다. 도 36은 연합 학습에 참여한 단말에 의해 수행되는 방법을 예시한다.
도 36을 참고하면, S3601 단계에서, 단말은 학습 데이터의 분포 특성을 계산한다. 분포 특성은 로컬 데이터의 유사성 판단을 위한 통계 정보 및 로컬 데이터의 속성 정보를 포함한다. 예를 들어, 통계 정보는 글로벌 모델을 이용한 추론 정확도의 평균값, 중간값, 분산값 중 적어도 하나를 포함하고, 속성 정보는 로컬 데이터의 크기를 포함할 수 있다.
S3603 단계에서, 단말은 유사성 조건이 충족되는지 판단한다. 유사성 조건은 통계 정보에 포함되는 적어도 하나의 값(예: 평균값, 중심값, 분산값)이 해당 기준 값과의 비교 결과에 기반하여 정의될 수 있다. 예를 들어, 평균값(예: mean_A)가 제1 임계치(예: meas_ref)보다 크고, 분산값(예: var_A)가 제2 임계치(예: var_ref) 보다 작으면, 유사성이 존재함이 판단될 수 있다. 이는 학습 데이터에 대한 추론 결과의 정확도가 평균적으로 기준 값보다 크면서 분산이 작은 경우를 의미하므로, 이 경우, 단말은 해당 모델의 추론 정확도가 상당히 높은 학습 데이터를 가지고 있다고 판단할 수 있다. 만일, 유사성 조건이 충족되지 아니하면, S3605 단계에서, 단말은 학습 데이터의 크기가 임계치를 초과하는지 판단한다.
유사성 조건이 충족되는 제1 상황이면, S3607 단계에서, 단말은 레이어들의 P1%에 대해 학습을 수행한다. 유사성 조건이 충족되지 아니하고, 학습 데이터의 크기가 임계치를 초과하지 아니하는 제2 상황이면, S3609 단계에서, 단말은 레이어들의 P2%에 대해 학습을 수행한다. 유사성 조건이 충족되지 아니하고, 학습 데이터의 크기가 임계치를 초과하는 제3 상황이면, S3611 단계에서, 단말은 레이어들의 P3%에 대해 학습을 수행한다. 여기서, P2는 P1보다 큰 값으로, P3는 P2 보다 큰 값으로 정의될 수 있다. 즉, 유사성 조건이 존재하는 경우, 해당 학습 데이터를 이용한 학습은 가중치를 크게 변화시키지 아니할 가능성이 있으므로, 단말은 가장 적은 양의 레이어들에 대해 학습을 수행한다. 하지만, 유사성이 존재하지 아니하고, 학습 데이터 양이 많은 경우, 해당 학습 데이터를 이용한 학습은 가중치를 상대적으로 크게 변화시킬 가능성이 있으므로, 단말은 가장 많은 양의 레이어들에 대해 학습을 수행한다. 예를 들어, P1은 25, P2는 75, P3는 100으로 정의될 수 있다.
도 36을 참고하여 설명한 실시 예와 같이, 레이어들의 전체 또는 일부에 대해 학습이 수행될 수 있다. 도 36과 같이, 학습 대상이 되는 레이어들의 범위(이하 '학습 레이어 범위'라 칭함)를 결정하는 절차는 학습을 위한 하나의 데이터 단위가 결정되는 시점에 수행될 수 있다. 예를 들어, 학습 레이어 범위는 매 라운드마다 또는 매 에포크(Epoch) 마다 결정될 수 있다. 추가적으로, 필요에 따라, 라운드 또는 에포크 중간에, 학습 레이어 범위가 조정될 수 있다. 예를 들어, 학습 레이어 범위를 결정하기 위한 규칙이 변경된 경우(예: 기준 값이 변경된 경우, 학습 레이어 범위의 후보 값들이 변경된 경우 등)에, 단말은 도 36과 같은 절차를 다시 수행할 수 있다.
도 36과 같이 학습 레이어 범위를 판단함에 있어서, 각 상황에서 레이어들의 몇 %에 대해 학습을 수행할 것인지, 어느 레이어를 기준으로 이전 또는 이후의 적어도 하나의 레이어에 대해 학습을 수행할 것인지에 대한 기준이 요구된다. 일 실시 예에 따라, 상황 별 학습 레이어 범위들(예: P1, P2, P3) 및 기준 레이어에 대한 정보는 서버로부터 제공될 수 있고, 클라이언트에 사전에 정의된 규칙에 따라 판단될 수 있다. 이때, 규칙은 클라이언트 별로 서로 다르게 정의되거나 또는 모든 클라이언트들에 대해여 동일하게 정의될 수 있다.
도 36을 참고하여 설명한 실시 예에서, 학습 레이어 범위들에 대한 3개의 후보 값들이 예시되었다. 다른 실시 예에 따라, 로컬 데이터의 유사성 및 크기에 대한 구분을 세분화함으로써, 4개 이상의 후보 값들이 사용될 수 있다. 또 다른 실시 예에 따라, 로컬 데이터의 유사성을 수치화하고, 수치화된 유사성 및 크기에 기반하여 학습 레이어 범위를 결정하는 규칙이 적용될 수 있다.
도 36에 따르면, 로컬 데이터의 특성에 따라 후보 값들 중 하나가 학습 레이어 범위로서 선택된다. 다른 실시 예에 따라, 학습 레이어 범위는 학습 결과의 평가에 따라 동적으로 조정될 수 있다. 예를 들어, 상황에 따른 학습 레이어 범위는 부분 학습의 결과에 대한 평가에 따라 적응적으로 조절될 수 있다. 학습 레이어 범위의 적응적 조정을 위한 실시 예가 이하 도 37을 참고하여 설명된다.
도 37은 본 개시에 적용 가능한 단말에서 부분 학습의 범위를 조정하는 절차의 일 실시 예를 나타내는 도면이다. 도 37은 연합 학습에 참여한 단말에 의해 수행되는 방법을 예시한다.
도 37을 참고하면, S3701 단계에서, 단말은 부분 학습을 수행할 것을 결정한다. 예를 들어, 단말은 로컬 데이터의 특성에 따라 부분 학습의 수행을 결정할 수 있다. 일 실시 예에 따라, 단말은 로컬 데이터의 유사성을 판단하고, 유사성이 존재하면 부분 학습의 수행을 결정할 수 있다.
S3703 단계에서, 단말은 초기(initial) 학습 레이어 범위를 결정한다. 예를 들어, 초기 학습 레이어 범위로서, 글로벌 모델의 마지막 레이어가 선택되거나 또는 특정 레이어부터 마지막 레이어까지의 복수의 레이어들이 선택될 수 있다. 일 실시 예에 따라, 선택은 단말에 의해 이루어질 수 있다. 다른 실시 예에 따라, 선택은 서버에 의해 이루어진 후, 선택 결과가 단말에게 통지될 수 있다. 즉, 단말은 자체적인 판단 또는 서버의 통지에 따라 초기 학습 레이어 범위를 결정한다. 또 다른 실시 예에 따라, 단말은 서버로부터 선택 가능한 후보 값들을 수신하고, 후보 값들 중 하나를 초기 학습 레이어 범위로서 선택할 수 있다. 예를 들어, N개의 레이어들이 글로벌 모델에 포함된 경우, 서버는 N-5번째 내지 N번째 범위의 레이어들을 부분 학습을 위해 사용할 수 있다고 알리고, 단말은 마지막 N번째부터 적어도 하나의 레이어를 초기 학습 레이어 범위로서 선택할 수 있다.
S3703 단계에서, 단말은 부분 학습을 수행한다. 단말은 결정된 초기 학습 레이어의 범위에 속한 적어도 하나의 레이어에 대한 학습을 수행한다. 그리고, 단말은 학습된 레이어에 관련된 가중치 변화량 정보를 서버에게 송신한다. 이에 따라, 서버는 글로벌 모델을 갱신할 수 있다.
S3705 단계에서, 단말은 부분 학습의 결과에 기반하여 학습 범위들을 조정한다. 부분 학습에 의해 성능 향상이 미미하거나 성능이 감소하는 경우, 학습 레이어 범위가 더 많은 레이어들을 포함하도록 증가할 수 있다. 반대로 성능 향상이 상대적으로 높은 경우 학습 레이어 범위가 더 유지되거나 적은 레이어들을 포함하도록 감소할 수 있다. 여기서, 성능 향상이 미미함은 성능을 나타내는 수치의 증가가 임계치 이하인 경우를 의미하고, 성능 향상이 상대적으로 높음은 성능을 나타내는 수치의 증가가 임계치 초과인 경우를 의미한다. 이때, 부분 학습의 결과에 대한 평가는 서버에서 수행될 수 있다. 일 실시 예에 따라, 단말은 서버로부터 부분 학습의 결과에 대한 평가를 수신하고, 평가에 기반하여 주어진 규칙에 따라 학습 레이어 범위를 조정할 수 있다. 다른 실시 예에 따라, 서버가 평가에 기반하여 학습 레이어 범위를 조정하고, 단말에게 조정된 학습 레이어 범위를 통지할 수 있다.
도 37을 참고하여 설명한 실시 예와 같이, 학습 레이어 범위는 부분 학습의 결과의 평가에 따라 조정될 수 있다. 다시 말해, 학습 레이어 범위는 부분 학습에 의한 글로벌 모델의 성능 변화에 기반하여 조정될 수 있다. 이때, 부분 학습의 결과를 평가하기 위해, 훈련 손실(training loss), 검증 손실(validation loss) 또는 검사 정확도(test accuracy) 등 글로벌 모델의 성능을 나타내는 지표들 중 적어도 하나가 사용될 수 있다. 예를 들어, 검증 손실이 사용되는 경우, 검증 손실이 이전 학습의 최종 검증 손실보다 크거나 같으면, 성능 향상이 미미한 것으로 취급되고, 이에 따라 다음 부분 학습에 사용될 레이어들의 개수는 이전보다 증가될 수 있다.
부분 학습의 결과에 대한 평가에 따라 학습 레이어 범위는 주기적으로 조정될 수 있다. 이때, 동일한 방향(예: 증가 또는 감소)으로 연속하여 학습 레이어 범위가 조정되는 경우, 학습 레이어 범위의 변화량은 조정의 반복에 따라 달라질 수 있다. 예를 들어, 첫번째 기회(occasion)에서 성능 향상이 미미함으로 인해 학습 레이어 범위가 Δ1만큼 증가한 후, 두번째 기회에서 다시 성능 향상이 미미한 것으로 판단된 경우, 학습 레이어 범위는 Δ1 보다 큰 Δ2만큼 증가할 수 있다. 학습 레이어 범위의 감소의 경우도 유사하게 변화량이 달라질 수 있다.
전술한 도 37과 같은 학습 레이어 범위의 적응적 조정 절차는 에포크(epoch)를 주기로 또는 라운드를 주기로 운영될 수 있다. 절차가 에포크 주기로 수행되는 경우, 해당 에포크에서의 학습 결과에 대한 평가에 기반하여 다음 에포크에서 사용될 학습 레이어 범위가 결정될 수 있다. 절차가 라운드 단위로 수행되는 경우, 해당 라운드에서의 학습 결과에 대한 평가에 기반하여 다음 라운드에서 사용될 학습 레이어 범위가 결정될 수 있다.
다음으로, 본 개시는 보고 단계의 실시 예를 설명한다. 후술되는 절차는 클라이언트에서 서버로 가중치 변화량을 보고하는 동작 및 서버에서 클라이언트로부터 수집된 가중치를 수집(aggregation)하는 동작에 관련된다. 종래의 연합 학습과 달리, 클라이언트는 학습된 적어도 하나의 레이어에 관련된 가중치 변화량 만을 서버로 송신한다. 만일, 가중치 변화량을 압축하기 위한 기법이 사용될 경우, 학습된 적어도 하나의 레이어에 대한 가중치 변화량 정보만이 압축된 후, 송신될 수 있다. 서버는 각 클라이언트로부터 수신되는 가중치 변화량들을 집성한다. 서버의 보다 상세한 동작이 이하 도 38을 참고하여 설명된다.
도 38은 본 개시에 적용 가능한 서버에서 글로벌 모델을 갱신하는 절차의 일 실시 예를 나타내는 도면이다. 도 38은 연합 학습을 제어하는 서버에 의해 수행되는 방법을 예시한다.
도 38을 참고하면, S3801 단계에서, 서버는 학습된 적어도 하나의 레이어에 관련된 가중치 변화량 정보를 수신한다. 다시 말해, 서버는 적어도 하나의 클라이언트로부터 학습된 적어도 하나의 레이어에 대한 정보 및 학습된 적어도 하나의 레이어에 관련된 가중치 변화량 정보를 수신한다. 복수의 클라이언트들로부터 가중치 변화량 정보가 수신되는 경우, 학습된 적어도 하나의 레이어의 개수는 클라이언트에 따라 다를 수 있다.
S3803 단계에서, 서버는 나머지 적어도 하나의 레이어에 대한 가중치 변화량을 미리 정의된 값으로 설정한다. 클라이언트로부터 수신되는 가중치 변화량 정보는 학습되지 아니한 레이어들에 관련된 가중치 변화량들을 포함하지 아니한다. 학습되지 아니한 레이어들에 관련된 가중치 변화량들을 설정하지 아니하는 경우, 이후 글로벌 모델의 가중치들을 갱신할 때, 전체가 아닌 일부 클라이언트들의 정보만을 이용하여 평균 합(average sum)을 취하는 오류가 발생할 수 있다. 이 경우, 의도된 방향으로의 학습이 수행되지 아니할 수 있다. 따라서, 학습되지 아니한 레이어들에 관련된 가중치 변화량들을 특정 값(예: 0)으로 초기화함으로써, 학습되지 않은 레이어들에 관련된 가중치 변화량들이 이후의 갱신 동작에 반영될 수 있다. 이에 따라, 클라이언트로부터 일부 레이어에 관련된 가중치 변화량을 수신하였으나, 서버는 모든 레이어들에 대한 가중치 변화량들을 보유하게 된다.
S3805 단계에서, 서버는 글로벌 모델의 가중치들을 갱신한다. 서버는 복수의 클라이언트들의 가중치 변화량 정보를 이용하여 글로벌 모델의 가중치들을 결정한다. 예를 들어, 서버는 연결 별로 가중치 변화량들의 평균 값들을 결정한 후, 결정된 평균 값들을 갱신 전 글로벌 모델의 가중치 값들과 합산할 수 있다. 이때, 평균 값을 결정함에 있어서, S3803 단계에서 초기화된 가중치 변화량들이 반영된다. 즉, 서버는 단말로부터 제공된 가중치 변화량 및 미리 정의된 값으로 설정된 가중치 변화량에 기반하여 글로벌 모델의 가중치들을 갱신할 수 있다.
이하, 본 개시는 글로벌 모델 평가 성능 향상을 위한 실시 예를 설명한다. 종래의 시스템의 경우, 글로벌 모델에 대한 성능 평가는 서버에서만 진행된다. 연합 학습 시스템의 특성 상, 서버가 보유한 데이터 셋(data set)의 갱신이 어려우므로, 서버에서 진행되는 글로벌 모델의 성능 평가의 정확도는 시간이 지날수록 낮아질 수 있다. 따라서, 본 개시는 특정 라운드마다 글로벌 모델에 대한 평가(evaluation) 동작을 추가한 실시 예를 제안한다.
일 실시 예에 따라, 서버는 연합 학습의 N개의 라운드들 마다 학습된 모델에 대한 평가를 수행한다. 여기서, N은 연합 학습의 라운드 개수를 의미하며, 1 이상의 정수로 정의될 수 있다. 이때, 서버는 보유한 데이터를 이용한 평가 뿐만 아니라, 단말을 통해 갱신된 글로벌 모델의 평가 결과를 수집 및 반영할 수 있다. 제안되는 연합 학습 프로토콜의 일례는 이하 도 39와 같다.
도 39는 본 개시에 적용 가능한 모델에 대한 평가(evaluation)를 포함하는 연합 학습 프로토콜의 일례를 나타내는 도면이다. 도 39를 참고하면, 라운드 i는 선택 단계(3902-i), 설정 단계(3904-i), 보고 단계(3906-i)를 포함하고, 라운드 i+1는 선택 단계(3902-(i+1)), 설정 단계(3904-(i+1)), 보고 단계(3906-(i+1))를 포함하고, 라운드 i+2는 선택 단계(3902-(i+2)), 평가 요청을 포함한 설정 단계(3914), 평가 결과 보고를 포함한 보고 단계(3916)를 포함하고, 라운드 i+3는 선택 단계(3902-(i+3)), 설정 단계(3904-(i+3)), 보고 단계(3906-(i+3))를 포함한다. 라운드 i, 라운드 i+1, 라운드 i+3은 '훈련 라운드', 라운드 i+2는 '평가 라운드'로 지칭될 수 있다.
도 39와 같이, 클라이언트에 의한 서버의 업데이트된 글로벌 모델에 대한 평가 라운드가 별도로 수행될 수 있다. 이때, 서버는 학습에 참여한 모든 클라이언트들에게 평가를 요청하거나, 또는 클라이언트들 중 일부에게 선택적으로 평가를 요청할 수 있다. 또한, 평가 라운드의 설정 단계(3914)에서 제공되는 설정 정보는 최신의 글로벌 모델 정보 및 평가의 수행 방법을 지시하는 정보를 포함할 수 있다. 이에 따라, 보고 단계(3916)에서, 클라이언트는 평가 결과(예: 손실(loss), 정확도(accuracy) 등)에 대한 정보를 서버에게 송신한다.
다른 실시 예에 따라, 평가를 위해 하나의 라운드를 사용하는 것이 자원의 낭비를 초래할 수 있기 때문에, 특정 라운드에서 훈련과 평가가 함께 수행될 수 있다. 훈련 및 평가가 함께 수행되는 연합 학습 프로토콜의 일례는 이하 도 40과 같다.
도 40은 본 개시에 적용 가능한 모델에 대한 평가를 포함하는 연합 학습 프로토콜의 다른 예를 나타내는 도면이다. 도 40를 참고하면, 라운드 i는 선택 단계(4002-i), 설정 단계(4004-i), 보고 단계(4006-i)를 포함하고, 라운드 i+1는 선택 단계(4002-(i+1)), 설정 단계(4004-(i+1)), 보고 단계(4006-(i+1))를 포함하고, 라운드 i+2는 선택 단계(4002-(i+2)), 훈련 및 평가 요청을 포함한 설정 단계(4024), 훈련 및 평가 결과 보고를 포함한 보고 단계(4026)를 포함하고, 라운드 i+3는 선택 단계(4002-(i+3)), 설정 단계(4004-(i+3)), 보고 단계(4006-(i+3))를 포함한다. 여기서, 라운드 i, 라운드 i+1, 라운드 i+3은 '훈련 라운드', 라운드 i+2는 '훈련 및 평가 라운드'로 지칭될 수 있다.
도 40과 같이, 서버는 설정 단계(4024)에서 훈련 정보와 함께 평가 정보를 제공함으로써, 클라이언트가 글로벌 모델에 대한 평가 결과 뿐만 아니라 학습 결과(예: 가중치 변화량)도 함께 보고하도록 제어할 수 있다. 이때, 서버로 송신할 평가를 수행함에 있어서, 클라이언트는 훈련 이후에 업데이트된 로컬 모델로 평가를 수행하지 아니하고, 서버로부터 수신한 글로벌 모델에 대한 평가를 수행할 수 있다.
서버는 전술한 프로토콜에 따라 클라이언트들에 의한 평가 결과를 획득하고, 서버에 보유된 데이터를 이용한 평가 결과를 취합한 후, 갱신된 글로벌 모델의 평가를 수행한다. 이를 통해, 서버는 연합 학습의 진행 여부를 결정하고, 최종 성능 평가를 통해 시스템 적용 여부를 판단할 수 있다. 구체적인 서버의 동작들은 이하 도 41과 같다.
도 41은 본 개시에 적용 가능한 서버에서 모델에 대한 평가를 포함하는 연합 학습을 수행하는 절차의 일 실시 예를 나타내는 도면이다. 도 41는 연합 학습을 제어하는 서버에 의해 수행되는 방법을 예시한다.
도 41을 참고하면, S4101 단계에서, 서버는 훈련 라운드를 수행한다. 훈련 라운드는 선택 단계, 설정 단계, 보고 단계를 포함한다. 이어, S4103 단계에서, 서버는 모델에 대한 평가 필요한지 여부를 판단한다. 예를 들어, 평가의 필요성은 평가 주기의 도래 여부에 따라 판단될 수 있다. 이 경우, 서버는 이전 평가 이후 한 주기에 해당하는 시간이 경과하였는지 여부를 판단할 수 있다. 평가가 필요하지 아니하면, 다음 라운드는 훈련 라운드가 되며, 서버는 S4101 단계로 되돌아간다.
평가가 필요하면, S4105 단계에서, 서버는 평가 라운드를 수행한다. 평가 라운드는 선택 단계, 평가 요청을 포함한 설정 단계, 평가 결과의 보고를 포함한 보고 단계를 포함한다. 여기서, 평가 라운드는 평가만이 수행되는 라운드이거나 또는 훈련 및 평가가 수행되는 라운드일 수 있다.
S4107 단계에서, 서버는 결과가 수렴하였는지 판단한다. 다시 말해, 서버는 평가 결과를 기반으로 글로벌 모델의 성능이 일정 수준 이상인지 판단한다. 이를 위해, 서버는 검사 데이터 셋(test data set)을 이용한 추론을 수행하고, 정확도를 확인할 수 있다. 정확도가 임계치 이상이거나, 또는 이전 평가 대비 정확도의 증가량이 임계치 미만인 경우, 서버는 훈련 결과의 수렴을 판단할 수 있다. 또는, 서버는 평가 라운드를 통해 얻어진 평가 결과에 기반하여 훈련 결과의 수렴을 판단할 수 있다. 즉, 서버는 검사 데이터 셋을 이용한 추론의 정확도, 평가 라운드를 통해 얻어진 평가 결과 중 적어도 하나에 기반하여 훈련 결과의 수렴 여부를 판단할 수 있다.
결과가 수렴되었으면, S4109 단계에서, 서버는 모델을 시스템에 적용한다. 즉, 서버는 최신의 글로벌 모델을 시스템에 적용한다. 글로벌 모델이 단말의 동작에 되는 경우, 서버는 글로벌 모델에 대한 정보를 단말들에게 제공할 수 있다. 결과가 수렴되지 아니하였으면, 서버는 S4101 단계로 되돌아간다.
이하 본 개시는 제안된 연합 학습 프로토콜에 기반하여 연산량 및 가중치 변화량 감소 성능을 더 향상을 위한 실시 예를 설명한다. 앞서 제안된 실시 예에서, 서버는 클라이언트에게 학습 레이어 범위를 결정하기 위한 기준 값들을 제공한다. 이때, 기준 값들이 연합 학습을 통해 갱신된 글로벌 모델의 성능에 따라 기준 값이 적응적으로 갱신되면, 훈련의 효율성이 증가할 수 있다. 따라서, 서버는 이하 도 42와 같은 절차에 따라 기준 값들을 갱신할 수 있다.
도 42는 본 개시에 적용 가능한 서버에서 로컬 데이터의 특성을 분류하기 위한 기준 값들을 갱신하는 절차의 일 실시 예를 나타내는 도면이다. 도 42는 연합 학습을 제어하는 서버에 의해 수행되는 방법을 예시한다.
도 42를 참고하면, S4201 단계에서, 서버는 모델에 대한 평가 결과를 수집한다. 서버는 단말들 또는 서버에서 모델 평가를 위해 사용된 검사 데이터 셋으로부터의 도출된 결과들의 확률 값들 중에 정답에 해당되는 확률 값들에 대한 정보를 수집 및 저장할 수 있다.
S4203 단계에서, 서버는 평가 결과를 분석한다. 예를 들어, 서버는 수집된 확률 값들을 기반으로 통계 정보를 생성한다. 예를 들어, 통계 정보는 평균값, 중심값, 분산값 중 적어도 하나를 포함할 수 있다.
S4205 단계에서, 서버는 분석 결과에 기반하여 적어도 하나의 기준 값을 갱신한다. 서버는 통계 정보를 기반으로 적어도 하나의 기준 값을 갱신할 수 있다. 다시 말해, 서버는 글로벌 모델로부터 계산된 중심값을 기반으로 중심값에 대한 기준 값을, 글로벌 모델로부터 분산값을 기반으로 분산값에 대한 기준 값을 갱신할 수 있다. 예를 들어, 글로벌 모델로부터 계산된 중심값이 현재의 중심값에 대한 기준 값보다 크면, 중심값에 대한 기준 값이 증가할 수 있다. 일 실시 예에 따라, 글로벌 모델로부터 계산된 중심값이 중심값에 대한 새로운 기준 값으로서, 글로벌 모델로부터 계산된 분산값이 분산값에 대한 새로운 기준 값으로서 사용될 수 있다.
도 42에 도시되지 아니하였으나, 갱신된 적어도 하나의 기준 값은 단말들에게 제공될 수 있다. 이에 따라, 단말들은 갱신된 기준 값들에 기반하여 학습 레이어 범위를 재결정하고, 재결정된 학습 레이어 범위에 따라 학습을 수행할 수 있다.
전술한 부분 학습을 적용한 연합 학습은 다음과 같은 시나리오에 따라 사용될 수 있다. 딥러닝 모델이 단말들에 적용되어 있는 상황을 가정하면, 단말들은 개인화 및 일반화를 적절히 병행하면서 진화되어야 한다. 일반화를 위해서 보다 다양한 정보를 이용한 학습이 진행되어야 하는 반면, 개인화를 위해서 특정 정보를 이용한 학습이 진행되어야 한다. 일반화의 경우, 정보의 다양성을 확보하기 위해 보다 많은 클라이언트들이 참여시키고, 일반화를 위한 학습은 전제 모델을 학습해야 하기 때문에, 장기 주기(long-term)로 반복될 수 있다. 개인화의 경우, 특정 정보를 이용하여 학습이 수행되도록 주변의 비슷한 상황에 놓여있는 단말들을 포함하는 하나의 군(group) 단위로 학습이 수행되므로, 비교적 단기 주기(short-term)로 소규모의 연합 학습이 수행될 수 있다. 이때, 단기 주기로 진행되는 소규모의 연합 학습의 경우, 유사한 데이터들을 반복적으로 학습할 가능성이 높기 때문에, 전술한 실시 예들에 따른 부분 학습을 통하여 연산량을 줄임으로써, 연합 학습이 빠르게 수행될 수 있다.
예를 들어, 무선 통신 시스템에서의 채널 추정을 위해, 채널 예측(prediction) 모델이 사용될 수 있다. 통신 시스템의 경우, 셀(cell) 별로 다른 채널 환경을 가지고 있을 것이 예상된다. 이때, 채널 예측 모델의 일반화를 위해서 전체 셀들에서 생성된 데이터를 기반으로 학습이 진행될 수 있다. 따라서, 일반화를 위한 학습은 장기 주기로 진행되고, 다른 채널 데이터로 인해 전체 모델을 학습하는 것이 유리할 것이다. 그러나, 채널 예측 모델은 셀 별로 적용되므로, 해당 셀의 채널 환경에 최적화되어야 할 필요가 있다. 따라서, 채널 예측 모델의 최적화는 해당 셀 내의 단말들을 이용하여 단기 주기로 수행될 수 있다. 이때, 다수의 반복되는 소규모 연합 학습으로 인해 유사한 데이터들을 가지고 있을 확률이 높다. 그러므로, 최적화를 위한 학습 시, 전체 모델을 학습하기 보다 제안된 실시 예들에 따른 부분 학습을 통해 수행되는 것이 연산량 및 속도 측면에서 유리할 수 있다.
도 43은 본 개시에 적용 가능한 운용 시나리오에 따른 서버 및 단말들의 연합 학습을 위한 신호 교환의 일례를 나타내는 도면이다. 도 43은 서버(4320) 및 복수의 단말들(4310A 및 4310B) 간 신호 교환을 예시한다. 여기서, 단말 집합A(4310A)는 제1 셀에 위치한 단말들의 집합이고, 단말 집합B(4310B)는 제2 셀에 위치한 단말들의 집합이다.
도 43을 참고하면, S4301 단계에서, 서버(4320)는 전체 학습을 위한 설정 정보를 단말 집합A(4310A) 및 단말 집합B(4310B)에 송신한다. 전체 학습을 위한 설정 정보는 전체 학습의 수행을 지시하는 정보를 포함할 수 있고, 레이어들 중 적어도 하나를 선택하기 위해 필요한 정보를 포함하지 아니한다. 이에 따라, S4303A 단계 및 S4303B 단계에서, 단말 집합A(4310A) 및 단말 집합B(4310B)에 속한 단말들은 학습을 수행한다. 이때, 단말들은 글로벌 모델의 전체 레이어들에 대해 학습을 수행한다. 이후, S4305 단계에서, 단말 집합A(4310A) 및 단말 집합B(4310B)에 속한 단말들은 서버(4320)에게 학습 결과를 포함하는 피드백 정보를 송신한다. 이어, S4307 단계에서, 서버(4320)는 피드백 정보에 기반하여 글로벌 모델을 갱신한다. 이에 따라, 글로벌 모델의 일반화가 이루어진다.
S4309 단계에서, 서버(4320)는 부분 학습을 위한 설정 정보를 단말 집합A(4310A)에게 송신한다. 부분 학습을 위한 설정 정보는 부분 학습의 수행을 지시하는 정보, 레이어들 중 적어도 하나를 선택하기 위해 필요한 정보 중 적어도 하나를 포함할 수 있다. 이에 따라, S4311 단계에서, 단말 집합A(4310A)에 속한 단말들은 학습을 수행한다. 이때, 단말들은 글로벌 모델의 전체 레이어들에 대해 학습을 수행한다. 이후, S4313 단계에서, 단말 집합A(4310A)에 속한 단말들은 서버(4320)에게 학습 결과를 포함하는 피드백 정보를 송신한다. 이어, S4315 단계에서, 서버(4320)는 피드백 정보에 기반하여 글로벌 모델을 갱신한다. 이에 따라, 글로벌 모델의 개인화가 이루어진다.
도 43에 도시되지 아니하였으나, 단말 집합B(4310B)에 의한 부분 학습도 수행될 수 있다. 단말 집합B(4310B)에 의한 부분 학습은 단말 집합A(4310A)에 의한 부분 학습과 동시에 병행되거나 또는 별도의 시간 구간 동안 수행될 수 있다. 동시에 병행되는 경우, 단말 집합B(4310B)에 의한 부분 학습을 위한 설정 정보는 S4309 단계에서 전달될 수 있다. 단, 글로벌 모델의 갱신 시 단말 집합에 의해 구분된 피드백 정보가 사용될 수 있다.
전술한 다양한 실시 예들에 의해, 연합 학습에 참여하는 클라이언트는 학습에 필요한 연산량을 감소시키고, 서버에게 송신하는 가중치 변화량에 대한 정보의 양을 감소시킬 수 있다. 이에 따라, 클라이언트를 포함하는 장치의 전력 소모가 감소하고, 가중치 변화량 정보를 송신하기 위해 필요한 통신 대역폭이 절약될 수 있다. 또한, 제안된 연합 학습 프로토콜에 의해, 갱신된 글로벌 모델의 정확한 성능 평가가 이루어질 수 있고, 이를 통해 제안된 학습 연산량 감소 방안의 성능이 더욱 향상될 수 있다
상기 설명한 제안 방식에 대한 일례들 또한 본 개시의 구현 방법들 중 하나로 포함될 수 있으므로, 일종의 제안 방식들로 간주될 수 있음은 명백한 사실이다. 또한, 상기 설명한 제안 방식들은 독립적으로 구현될 수도 있지만, 일부 제안 방식들의 조합 (또는 병합) 형태로 구현될 수도 있다. 상기 제안 방법들의 적용 여부 정보(또는 상기 제안 방법들의 규칙들에 대한 정보)는 기지국이 단말에게 사전에 정의된 시그널 (예: 물리 계층 시그널 또는 상위 계층 시그널)을 통해서 알려주도록 규칙이 정의될 수 있다.
본 개시는 본 개시에서 서술하는 기술적 아이디어 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 개시의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 개시의 등가적 범위 내에서의 모든 변경은 본 개시의 범위에 포함된다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.
본 개시의 실시 예들은 다양한 무선접속 시스템에 적용될 수 있다. 다양한 무선접속 시스템들의 일례로서, 3GPP(3rd Generation Partnership Project) 또는 3GPP2 시스템 등이 있다.
본 개시의 실시 예들은 상기 다양한 무선접속 시스템뿐 아니라, 상기 다양한 무선접속 시스템을 응용한 모든 기술 분야에 적용될 수 있다. 나아가, 제안한 방법은 초고주파 대역을 이용하는 mmWave, THz 통신 시스템에도 적용될 수 있다.
추가적으로, 본 개시의 실시 예들은 자유 주행 차량, 드론 등 다양한 애플리케이션에도 적용될 수 있다.

Claims (15)

  1. 통신 시스템에서 단말의 동작 방법에 있어서,
    글로벌 모델 정보를 포함하는 설정 정보를 수신하는 단계;
    상기 글로벌 모델의 레이어들 중 적어도 하나의 레이어를 결정하는 단계;
    로컬 데이터를 이용하여 상기 적어도 하나의 레이어에 대한 학습을 수행함으로써 로컬 모델을 생성하는 단계; 및
    상기 적어도 하나의 레이어에 관련된 연결들의 가중치 변화량에 관련된 정보를 송신하는 단계를 포함하는 방법.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 레이어는, 상기 로컬 데이터의 특성에 기반하여 결정되며,
    상기 특성은, 상기 로컬 데이터의 유사성(similarity), 상기 로컬 데이터의 크기(size) 중 적어도 하나를 포함하는 방법.
  3. 청구항 2에 있어서,
    상기 유사성은, 상기 글로벌 모델을 이용한 상기 로컬 데이터로부터의 추론(inference) 결과의 정확도에 기반하여 판단되는 방법.
  4. 청구항 2에 있어서,
    상기 유사성이 존재하면, 상기 적어도 하나의 레이어는 제1 개수의 레이어들을 포함하고,
    상기 유사성이 존재하지 아니하고, 상기 크기가 임계치보다 작으면, 상기 적어도 하나의 레이어는 제2 개수의 레이어들을 포함하고,
    상기 유사성이 존재하지 아니하고, 상기 크기가 임계치보다 크면, 상기 적어도 하나의 레이어는 제3 개수의 레이어들을 포함하고,
    상기 제1 개수는, 상기 제2 개수보다 작고,
    상기 제2 개수는, 상기 제3 개수보다 작은 방법.
  5. 청구항 2에 있어서,
    상기 로컬 데이터의 특성을 판단하기 위한 규칙이 변경된 경우, 상기 학습의 대상이 되는 적어도 하나의 레이어를 재결정하는 단계를 더 포함하는 방법.
  6. 청구항 1에 있어서,
    상기 적어도 하나의 레이어는, 상기 적어도 하나의 레이어에 대한 학습에 의한 상기 글로벌 모델의 성능 변화에 기반하여 결정되는 방법.
  7. 청구항 6에 있어서,
    상기 글로벌 모델의 성능 변화에 대한 정보 또는 상기 성능 변화에 따라 조정된 상기 적어도 하나의 레이어의 개수에 대한 정보를 수신하는 단계를 더 포함하는 방법.
  8. 청구항 1에 있어서,
    상기 설정 정보는, 상기 적어도 하나의 레이어를 결정하기 위한 정보, 부분 학습의 수행을 지시하는 정보, 상기 글로벌 모델의 평가를 요청하는 정보 중 적어도 하나를 포함하는 방법.
  9. 청구항 1에 있어서,
    상기 설정 정보에 상기 글로벌 모델의 평가를 요청하는 정보가 포함되면, 상기 글로벌 모델에 대한 평가를 수행하는 단계; 및
    상기 평가의 결과에 관련된 정보를 송신하는 단계를 더 포함하는 방법.
  10. 통신 시스템에서 서버의 동작 방법에 있어서,
    글로벌 모델 정보를 포함하는 설정 정보를 단말에게 송신하는 단계;
    상기 글로벌 모델의 레이어들 중 일부인 적어도 하나의 레이어에 대한 학습의 결과로서 상기 적어도 하나의 레이어에 관련된 연결들의 가중치 변화량에 관련된 정보를 상기 단말로부터 수신하는 단계; 및
    상기 가중치 변화량에 기반하여 상기 글로벌 모델을 갱신하는 단계를 포함하는 방법.
  11. 청구항 10에 있어서,
    상기 글로벌 모델을 갱신하는 단계는,
    상기 적어도 하나의 레이어 외 나머지 적어도 하나의 레이어에 대한 가중치 변화량을 미리 정의된 값으로 설정하는 단계; 및
    상기 단말로부터 제공된 가중치 변화량 및 상기 미리 정의된 값으로 설정된 가중치 변화량에 기반하여 상기 글로벌 모델의 가중치들을 갱신하는 단계를 포함하는 방법.
  12. 청구항 10에 있어서,
    상기 설정 정보는, 상기 적어도 하나의 레이어를 결정하기 위한 정보, 부분 학습의 수행을 지시하는 정보, 상기 글로벌 모델의 평가를 요청하는 정보 중 적어도 하나를 포함하는 방법.
  13. 청구항 10에 있어서,
    상기 글로벌 모델의 평가 결과에 관련된 정보를 수신하는 단계;
    상기 평가 결과에 기반하여 상기 적어도 하나의 레이어를 결정하기 위한 정보를 생성하는 단계; 및
    상기 적어도 하나의 레이어를 결정하기 위한 정보를 송신하는 단계를 더 포함하며,
    상기 적어도 하나의 레이어를 결정하기 위한 정보는, 로컬 데이터의 특성에 기반하여 학습할 레이어를 선택하기 위해 사용되는 적어도 하나의 기준 값, 상기 글로벌 모델의 성능 변화에 관련된 정보, 상기 적어도 하나의 레이어를 지정하는 정보 중 적어도 하나를 포함하는 방법.
  14. 청구항 10에 있어서,
    제1 단말 집합 및 제2 단말 집합에게 상기 글로벌 모델의 전체 레이어들에 대한 학습을 요청하는 설정 정보를 송신함으로써, 전체 학습을 수행하도록 제어하는 단계; 및
    제1 단말 집합에게 상기 글로벌 모델의 전체 레이어들에 대한 학습을 요청하는 설정 정보를 송신함으로써, 부분 학습을 수행하도록 제어하는 단계를 더 포함하는 방법.
  15. 청구항 14에 있어서,
    상기 제1 단말 집합은, 제1 셀에 위치한 단말들을 포함하고,
    상기 제2 단말 집합은, 제2 셀에 위치한 단말들을 포함하고,
    상기 전체 학습은, 상기 부분 학습에 비해 긴 주기로 수행되도록 제어되는 방법.
PCT/KR2020/011713 2020-09-01 2020-09-01 통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치 WO2022050432A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020237011100A KR20230066020A (ko) 2020-09-01 2020-09-01 통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치
PCT/KR2020/011713 WO2022050432A1 (ko) 2020-09-01 2020-09-01 통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/011713 WO2022050432A1 (ko) 2020-09-01 2020-09-01 통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2022050432A1 true WO2022050432A1 (ko) 2022-03-10

Family

ID=80492023

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/011713 WO2022050432A1 (ko) 2020-09-01 2020-09-01 통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20230066020A (ko)
WO (1) WO2022050432A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023197300A1 (en) * 2022-04-15 2023-10-19 Huawei Technologies Co., Ltd. Apparatus and methods for multi-stage machine learning with cascaded models
WO2024012028A1 (zh) * 2022-07-12 2024-01-18 上海前瞻创新研究院有限公司 异构智能反射面系统的联合波束赋形方法、系统、介质、终端
WO2024012279A1 (zh) * 2022-07-12 2024-01-18 维沃移动通信有限公司 信息传输方法、装置及设备
EP4319081A1 (en) 2022-08-03 2024-02-07 Continental Automotive Technologies GmbH Base station, user equipment, network and method for machine learning related communication
WO2024028404A1 (en) * 2022-08-03 2024-02-08 Continental Automotive Technologies GmbH Method and apparatus of duplicated user equipment report transmission

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190079898A1 (en) * 2017-09-12 2019-03-14 Actiontec Electronics, Inc. Distributed machine learning platform using fog computing
KR20190064862A (ko) * 2017-12-01 2019-06-11 주식회사 코이노 서버와의 연계를 통해 기계학습의 효율성을 높이는 클라이언트 단말 및 이를 포함한 기계학습 시스템
US20190378016A1 (en) * 2018-06-07 2019-12-12 International Business Machines Corporation Distributed computing architecture for large model deep learning
US20200026988A1 (en) * 2017-04-07 2020-01-23 Intel Corporation Methods and systems using improved training and learning for deep neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200026988A1 (en) * 2017-04-07 2020-01-23 Intel Corporation Methods and systems using improved training and learning for deep neural networks
US20190079898A1 (en) * 2017-09-12 2019-03-14 Actiontec Electronics, Inc. Distributed machine learning platform using fog computing
KR20190064862A (ko) * 2017-12-01 2019-06-11 주식회사 코이노 서버와의 연계를 통해 기계학습의 효율성을 높이는 클라이언트 단말 및 이를 포함한 기계학습 시스템
US20190378016A1 (en) * 2018-06-07 2019-12-12 International Business Machines Corporation Distributed computing architecture for large model deep learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHEN YANG, SUN XIAOYAN, JIN YAOCHU: "Communication-Efficient Federated Deep Learning With Layerwise Asynchronous Model Update and Temporally Weighted Aggregation", ARXIV-CORNELL UNIVERSITY, 18 May 2019 (2019-05-18), XP055910178, Retrieved from the Internet <URL:https://arxiv.org/pdf/1903.07424.pdf> [retrieved on 20220407] *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023197300A1 (en) * 2022-04-15 2023-10-19 Huawei Technologies Co., Ltd. Apparatus and methods for multi-stage machine learning with cascaded models
WO2024012028A1 (zh) * 2022-07-12 2024-01-18 上海前瞻创新研究院有限公司 异构智能反射面系统的联合波束赋形方法、系统、介质、终端
WO2024012279A1 (zh) * 2022-07-12 2024-01-18 维沃移动通信有限公司 信息传输方法、装置及设备
EP4319081A1 (en) 2022-08-03 2024-02-07 Continental Automotive Technologies GmbH Base station, user equipment, network and method for machine learning related communication
WO2024028404A1 (en) * 2022-08-03 2024-02-08 Continental Automotive Technologies GmbH Method and apparatus of duplicated user equipment report transmission
WO2024028015A1 (en) 2022-08-03 2024-02-08 Continental Automotive Technologies GmbH Base station, user equipment, network and method for machine learning related communication

Also Published As

Publication number Publication date
KR20230066020A (ko) 2023-05-12

Similar Documents

Publication Publication Date Title
WO2021112360A1 (ko) 무선 통신 시스템에서 채널을 추정하기 위한 방법 및 장치
WO2022050432A1 (ko) 통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치
WO2021256584A1 (ko) 무선 통신 시스템에서 데이터를 송수신하는 방법 및 이를 위한 장치
WO2022075493A1 (ko) 자율 주행 시스템에서 v2x 통신 장치의 강화 학습 수행 방법
WO2022014732A1 (ko) 무선 통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치
WO2022045399A1 (ko) 선택적 가중치 전송에 기반한 연합 학습 방법 및 그 단말
WO2022019352A1 (ko) 무선 통신 시스템에서 단말 및 기지국의 신호 송수신 방법 및 장치
WO2021251523A1 (ko) 무선 통신 시스템에서 단말 및 기지국의 신호 송수신 방법 및 장치
WO2022059808A1 (ko) 자율 주행 시스템에서 v2x 통신 장치의 강화 학습 수행 방법
WO2021251511A1 (ko) 무선 통신 시스템에서 고주파 대역의 상향링크 신호를 송수신하는 방법 및 이를 위한 장치
WO2022050528A1 (ko) 무선 통신 시스템에서 셀 재선택을 수행하기 위한 방법 및 장치
WO2021261611A1 (ko) 무선 통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치
WO2022050434A1 (ko) 무선 통신 시스템에서 핸드오버를 수행하기 위한 방법 및 장치
WO2022014735A1 (ko) 무선 통신 시스템에서 단말 및 기지국의 신호 송수신 방법 및 장치
WO2022097774A1 (ko) 무선 통신 시스템에서 단말 및 기지국의 피드백 수행 방법 및 장치
WO2022054981A1 (ko) 압축 연합 학습 수행 방법 및 장치
WO2022080530A1 (ko) 무선 통신 시스템에서 다중 안테나를 이용하여 신호를 송신 및 수신하기 위한 방법 및 장치
WO2022119021A1 (ko) Ai mimo에 대한 러닝 클래스 기반 시스템 적응 방법 및 장치
WO2022014728A1 (ko) 무선 통신 시스템에서 단말 및 기지국의 채널 코딩 수행 방법 및 장치
WO2022054980A1 (ko) 무선 통신 시스템에서 사용 가능한 뉴럴 네트워크 인코더 구조 및 인코딩 방법
WO2022004927A1 (ko) 오토 인코더를 이용하는 무선 통신 시스템에서 신호를 송수신하기 위한 방법 및 이를 위한 장치
WO2022025321A1 (ko) 통신 장치의 신호 랜덤화 방법 및 장치
WO2022039287A1 (ko) 무선 통신 시스템에서 단말 및 기지국의 신호 송수신 방법 및 장치
WO2022045377A1 (ko) 무선 통신 시스템에서 단말 및 기지국의 신호 송수신 방법 및 장치
WO2022004914A1 (ko) 무선 통신 시스템에서 단말 및 기지국의 신호 송수신 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20952531

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237011100

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20952531

Country of ref document: EP

Kind code of ref document: A1