WO2023214792A1 - 기지국 모델 학습을 위한 대표 데이터 생성 전자 장치 및 방법 - Google Patents

기지국 모델 학습을 위한 대표 데이터 생성 전자 장치 및 방법 Download PDF

Info

Publication number
WO2023214792A1
WO2023214792A1 PCT/KR2023/006031 KR2023006031W WO2023214792A1 WO 2023214792 A1 WO2023214792 A1 WO 2023214792A1 KR 2023006031 W KR2023006031 W KR 2023006031W WO 2023214792 A1 WO2023214792 A1 WO 2023214792A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
base station
time interval
representative
time
Prior art date
Application number
PCT/KR2023/006031
Other languages
English (en)
French (fr)
Inventor
최민석
장서우
송주환
이승연
최종우
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220133615A external-priority patent/KR20230155942A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US18/143,337 priority Critical patent/US20230362680A1/en
Publication of WO2023214792A1 publication Critical patent/WO2023214792A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition

Definitions

  • This disclosure relates to a communication system, and more specifically, to a representative data generating device for learning a base station model and a method of generating base station representative data thereby.
  • Network digital twin may be a technology used to predict the operating environment of an actual base station using a simulator by simulating the operation and setting status of the actual base station. For example, when a new wireless communication algorithm is developed, the performance of the developed algorithm can be evaluated in a specific simulator environment where the operating environment of an actual base station is not applied.
  • the network digital twin's base station operation optimization model can collect base station data, use the collected base station data as input, and learn the base station model through reinforcement learning.
  • the process of strengthening learning the base station model is to collect base station data, preprocess the collected base station data, use the preprocessed data to find simulator parameters, create a network digital twin, and add arbitrary parameters to the network digital twin. It can be set up and proceed with the process of learning a base station operation optimization model. In this case, a lot of data is used in the process of preprocessing the collected base station data and finding simulation parameters, which can consume a lot of computational resources.
  • An electronic device that generates representative data for learning a base station model may include a memory that stores at least one instruction, a transceiver, and at least one processor that executes one or more instructions stored in the memory. .
  • the at least one processor divides the base station data received through the transceiver into predetermined first time units and overlaps the divided base station data to generate first data of the first time unit. can do.
  • the at least one processor may divide the overlapping first data into predetermined second time interval units and calculate a probability density function for each second time interval.
  • the at least one processor may generate at least one first representative data using the probability density function for each second time interval.
  • the at least one processor may learn the base station model based on the generated at least one first representative data.
  • a method of generating representative data for learning a base station model divides base station data into predetermined first time units and generates first data of the first time unit by overlapping the divided base station data. steps; dividing the overlapping first data into predetermined second time interval units and calculating a probability density function for each second time interval; generating at least one first representative data using the probability density function for each second time interval; And it may include learning the base station model based on the generated at least one first representative data.
  • a computer-readable medium may include one or more program codes.
  • the steps include dividing base station data into predetermined first time units and overlapping the divided base station data to generate first data of the first time unit; dividing the overlapping first data into predetermined second time interval units and calculating a probability density function for each second time interval; generating at least one first representative data using the probability density function for each second time interval; and learning the base station model based on the generated at least one first representative data.
  • a recording medium disclosed as a technical means for achieving the above-described technical problem may store a program for executing at least one of the embodiments of the disclosed method.
  • 1 is a block diagram showing the configuration of an electronic device according to an embodiment.
  • FIG 2 is an example block diagram showing functions of an electronic device according to an embodiment.
  • Figure 3 shows overlapping data generated by an electronic device using base station data according to an embodiment.
  • Figure 4 shows representative data of a probability density function generated by an electronic device according to an embodiment.
  • Figure 5 shows representative data generated every day according to one embodiment.
  • Figure 6 is an example block diagram showing functions for learning a learning model according to an embodiment.
  • Figure 7 shows a process of outputting a compensation value to learn a base station model according to an embodiment.
  • FIG. 8 is a flowchart illustrating a method by which an electronic device generates representative data for training a learning model, according to an embodiment.
  • Figure 9 is a flowchart showing a method of training a learning model according to an embodiment.
  • ...unit and “...module” used in the present disclosure refer to a unit that processes at least one function or operation, which is implemented as hardware or software or as a combination of hardware and software. It can be implemented.
  • a or B may refer to “A, B, or both.”
  • the phrase “at least one of” or “one or more of” means that different combinations of one or more of the listed items may be used and/or only any one of the listed items may be used. This may mean that it is necessary.
  • “at least one of A, B, and C” can include any of the following combinations: A, B, C, A and B, A and C, B and C, or A and B and C.
  • Controller may refer to any device, system, or part thereof that controls at least one operation.
  • the controller may be implemented in hardware, a combination of hardware and software, and/or firmware. Functions associated with a particular controller may be localized or remote, centralized or distributed.
  • Computer-readable program code may include various types of computer code, including source code, object code, and executable code.
  • Computer-readable media means read only memory (ROM), random access memory (RAM), hard disk drive (HDD), compact disc (CD), digital video disc (DVD), or various types of memory, It may include various types of media that can be accessed by a computer.
  • computer-readable media may be provided in the form of non-transitory storage media.
  • a 'non-transitory storage medium' may be a tangible device and may exclude wired, wireless, optical, or other communication links that transmit transient electrical or other signals. Meanwhile, this 'non-transitory storage medium' may not distinguish between cases where data is semi-permanently stored in the storage medium and cases where data is stored temporarily.
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • Computer-readable media can include any available media that can be accessed by a computer and can include both volatile and nonvolatile media, partitioned and non-divided media. Computer-readable media may include media on which data can be permanently stored and media on which data can be stored and later overwritten, such as rewritable optical disks or erasable memory devices. It is not limited to this.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g., compact disc read only memory (CD-ROM)) or through an application store (e.g., Play Store TM ) and/or It can be distributed (e.g., downloaded or uploaded) directly between two user devices (e.g., smartphones) or online.
  • a portion of the computer program product e.g., a downloadable application
  • a device-readable storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server. It may be at least temporarily stored and/or created temporarily.
  • Each component described later in the present disclosure may additionally perform some or all of the functions performed by other components in addition to its main function, and some of the main functions of each component may be performed entirely by other components. there is.
  • 'machine learning' or 'machine learning' is a field of artificial intelligence and can refer to an algorithm that can learn from data and/or execute actions that are not individually specified in code through experience. there is.
  • the term 'reinforcement learning' is an area of machine learning in which an agent defined in an environment recognizes the current state and selects an action or action sequence to maximize reward among a plurality of selectable actions. It can mean how to choose.
  • the term 'learning model' is an example of a model that learns motion using a reinforcement learning algorithm, and is not limited to a model using a specific reinforcement learning algorithm.
  • the term 'base station model' is an agent that is the subject of reinforcement learning and may mean a simulator that can determine the operation of the base station of the network digital twin.
  • the base station model can perform an operation to maximize compensation for the input environment as a result of reinforcement learning.
  • RAN radio access network
  • Base station data can be preprocessed to simulate network environment data, and simulation parameters that produce simulation results that are substantially similar to the base station data are found. A large amount of computational resources may be required to perform this process.
  • the process of strengthening learning a base station model involves collecting base station data, preprocessing the collected base station data, and using the preprocessed data to set random parameters in the generated network digital twin to learn a base station operation optimization model. It can be done through the following process.
  • the electronic device may have various effects, including the effect of reducing computational resource consumption, by using a preprocessing process that generates representative data using base station data. Additionally or alternatively, the electronic device according to one embodiment may have various effects, including the effect of being able to operate by stably maintaining a network state by training a learning model using data that has undergone a preprocessing process.
  • 1 is a block diagram showing the configuration of an electronic device according to an embodiment.
  • the electronic device 100 may include a memory 110, a processor 120, and a transceiver 130.
  • the number and arrangement of components of the electronic device 100 shown in FIG. 1 may be provided as the following example. In practice, there may be additional components, fewer components, different components, or components arranged differently than those shown in FIG. 1 . Additionally, two or more components shown in FIG. 1 may be implemented as a single component or within a single component. 1 can be implemented with multiple distributed components. Alternatively or additionally, the set of (one or more) components shown in Figure 1 may be integrated with each other and/or implemented in integrated circuits, software and/or a combination of circuits and software.
  • the electronic device 100 may include an input unit that can receive input of a first time, a second time, etc. for generating representative data from the user.
  • the electronic device 100 may include an output unit capable of outputting learning results.
  • the operations of the processor 120 may be implemented with software modules stored in the memory 110.
  • a software module may be stored in memory 110 and operated by being executed by processor 120.
  • the memory 110 is electrically connected to the processor 120 and may store instructions and/or data related to the operation of components included in the electronic device 100. According to various embodiments, the memory 110 may store base station data information acquired using the transceiver 130, representative data generated using base station data, or instructions for operations of the base station model. You can.
  • the memory 110 is a simulator of a network digital twin, which will be described later, and software in which at least some modules included in each part that conceptually divides the functions of the electronic device 100 are executed by the processor 120. If implemented as , instructions for executing such software modules may be stored.
  • the processor 120 is electrically connected to components included in the electronic device 100 and may perform operations or data processing related to control and/or communication of components included in the electronic device 100. According to one embodiment, the processor 120 loads commands and/or data received from at least one of the other components of the electronic device 100 into the memory 110 and processes them, and stores the resulting data in the memory 110. You can save it.
  • the processor 120 is expressed as operating as a single processor 120.
  • the present disclosure is not limited to these examples.
  • the learning model and/or at least one function that conceptually divides the functions of the electronic device 100 may be implemented with a plurality of processors. That is, the processor 120 does not operate as a single processor 120, but a plurality of processors may be implemented as separate hardware to perform each operation. A detailed description of the operation of processor 120 is provided with reference to FIGS. 2 to 7.
  • the transceiver 130 may establish a wired and/or wireless communication channel between the electronic device 100 and another external electronic device (eg, an external base station or a server capable of controlling an external base station). Alternatively or additionally, communication may be established through a communication channel between the electronic device 100 and an external electronic device. According to one embodiment, the transceiver 130 may receive data from another external electronic device and/or transmit data to the external electronic device through wired communication or wireless communication.
  • another external electronic device eg, an external base station or a server capable of controlling an external base station.
  • communication may be established through a communication channel between the electronic device 100 and an external electronic device.
  • the transceiver 130 may receive data from another external electronic device and/or transmit data to the external electronic device through wired communication or wireless communication.
  • Data received by the transceiver unit 130 may include base station data related to the operating environment of a network digital twin to be used for reinforcement learning of the base station model.
  • base station data may include physical resource block (PRB) usage, internet protocol throughput (IP throughput), number of active user equipment (UE), downlink volume, etc.
  • PRB physical resource block
  • IP throughput internet protocol throughput
  • UE active user equipment
  • PRB usage may refer to the ratio between the number of PRBs used to the total number of PRBs available during a certain period of time.
  • PRB capacity may be data collected continuously (e.g., periodically, aperiodically) divided by time.
  • Actual base station data may be data that can perform reinforcement learning according to the operation of the base station model.
  • data received and/or transmitted by transceiver 130 may include other types of data.
  • data communication performed by the transmitting and receiving unit 130 is not limited to this.
  • the transceiver 130 may be a wireless communication module (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (e.g., a local area network (LAN) ) may include a communication module, or a power line communication module).
  • the transceiver 130 may use a short-range communication network (e.g., Bluetooth, wireless-fidelity (WiFi) direct, or infrared data association (IrDA)) or long-distance communication using a corresponding wireless and/or wired communication module. May communicate with external electronic devices over networks (e.g., cellular networks, the Internet, and/or computer networks (e.g., LAN or WAN)).
  • networks e.g., cellular networks, the Internet, and/or computer networks (e.g., LAN or WAN)).
  • FIG. 2 is an example block diagram showing functions of an electronic device according to an embodiment.
  • the electronic device 200 of FIG. 2 may include the electronic device 100 described above with reference to FIG. 1 or may be similar in various aspects, and may include additional functions not described above.
  • the electronic device 200 may include a data overlapping unit 210, a weighting unit 220, a representative data generating unit 230, and a learning unit 240.
  • the functions included in the electronic device 200 are not limited to this. That is, the number and arrangement of components of the electronic device 200 shown in FIG. 2 are provided as examples. In fact, the electronic device 200 may omit some components and may additionally include components different from those shown in FIG. 2 that perform other functions. For example, the electronic device 200 may omit the weighting unit 220 and include only the data overlapping unit 210, the representative data generating unit 230, and the learning unit 240.
  • the learning unit 240 shown in FIG. 2 is described as being operated by the processor 120 of FIG. 1, but the present disclosure is not limited thereto.
  • the learning method of the learning unit 240 is stored in the memory 110 of FIG. 1 and operated by instructions of the processor 120, and alternatively or additionally, the data overlapping unit 210 and the weighting unit ( The functions of 220 and the representative data generator 230 may be performed by the operation of the processor 120.
  • the learning unit 240 may be implemented as a separate external device. That is, the electronic device 200 may transmit representative data input to the learning unit 240 using the transmitting and receiving unit 130 and/or receive output data from the learning unit 240.
  • the data overlapping unit 210, the weighting unit 220, the representative data generating unit 230, and the learning unit 240 shown in FIG. 2 are operations performed by the processor 120 of FIG. 1. may be divided by function. Alternatively or additionally, the operations of each unit and simulator shown in FIG. 2 may be stored as software in the memory 110 of FIG. 1 to perform each configuration when the processor 120 is executed. It is not limited to this.
  • the data overlapping unit 210, the weighting unit 220, the representative data generating unit 230, and the learning unit 240 may be implemented through one processor. That is, the data overlapping unit 210, the weighting unit 220, the representative data generating unit 230, and the learning unit 240 may be implemented with a dedicated processor, an application processor (AP), and/or a central processing unit (CPU). It can also be implemented through a combination of a general-purpose processor such as a GPU (graphic processing unit) and S/W.
  • a general-purpose processor such as a GPU (graphic processing unit) and S/W.
  • the data overlapping unit 210, the weighting unit 220, the representative data generating unit 230, and the learning unit 240 may be comprised of a plurality of processors. In other words, it may be implemented through a combination of dedicated processors, or it may be implemented through a combination of multiple general-purpose processors such as AP, CPU, and GPU and S/W.
  • the data overlap unit 210 may divide the base station data received through the transceiver 130 into predetermined first time units. Alternatively or additionally, the data overlapping unit 210 may generate first data of the first time unit by overlapping the divided base station data.
  • the predetermined first time unit may mean a preset length of time, for example, 24 hours.
  • Base station data is data about the environment of the base station and may include temporally continuous data and/or data recorded at predetermined times.
  • base station data may include physical resource block (PRB) usage, IP throughput, number of active user equipment (UE), downlink volume, etc.
  • PRB physical resource block
  • UE active user equipment
  • base station data can be collected considering seasonal characteristics, several years or more of base station data are required to perform reinforcement learning for the learning unit 240. A large number of computational resources are required to preprocess the collected base station data, and therefore, the preprocessing computational process may be complicated.
  • the data overlap unit 210 may perform a preprocessing process to overlap base station data collected over several months. Since the data overlapped by the data overlapping unit 210 is data that is overlapped with data divided into first time units on a predetermined first time unit, the computational resources required for preprocessing the data used for reinforcement learning are reduced. There can be a variety of effects, including:
  • a detailed example method by which the data overlap unit 210 overlaps base station data is described with reference to FIG. 3 .
  • the weighting unit 220 may assign a weight to recently recorded base station data among the overlapping data for the first time generated by the data overlapping unit 210.
  • the method of assigning weights by the weighting unit 220 is to ensure that the data recorded first has a smaller number of samples when the representative data generating unit 230 performs random sampling among the overlapping data. The number of sampling can be adjusted.
  • data acquired through the transceiver 130 of FIG. 1 may include PRB usage recorded for 90 days from 1 day, and the data overlap unit 210 records the received PRB usage on a 24-hour basis.
  • 24 hours of overlapping data can have 90 pieces of data for each hour. That is, 90 pieces of data for each hour may be composed of multiple pieces of data, each ranging from 1 to 90 days.
  • the weighting unit 220 can be set to randomly sample N data recorded over a period of 1 to 30 days.
  • N means a positive integer greater than 0.
  • the weighting unit 220 may be set to randomly sample 1.1*N data recorded over a period of 31 to 60 days.
  • 1.2*N data recorded over a period of 61 to 90 days can be set to be randomly sampled.
  • the weighting unit 220 may add a weight to the recently recorded base station data by increasing the number of samplings.
  • the sampling number and period set by the weighting unit 220 are merely exemplary, and other setting values may be set depending on received base station data, user settings, and/or design constraints of the electronic device 200.
  • the weighting unit 220 may set the first time to 48 hours.
  • weight may be assigned to data sampled at a previous time to have a smaller value.
  • the electronic device 200 may set the same number of samples for overlapping data regardless of time. That is, the overlapping data may include the same number of samples for each first time unit.
  • the representative data generator 230 may generate first representative data based on the overlapping data generated by the data overlapping unit 210 and the weight set by the weighting unit 220.
  • the representative data generator 230 may divide the overlapping data into predetermined second time interval units and calculate a probability density function for each second time interval. Alternatively or additionally, the representative data generator 230 may generate at least one first representative data for the first time using a probability density function for each second time interval.
  • the representative data generator 230 may generate a histogram for each second time interval by randomly sampling the first data divided into second time intervals. Alternatively or additionally, the representative data generator 230 may calculate a probability density function for each second time interval for the histogram for each second time interval. In an optional or additional embodiment, the representative data generator 230 may generate at least one second representative data for each second time interval using a probability density function for each second time interval. In an optional or additional embodiment, the representative data generator 230 may generate at least one first representative data by connecting at least one second representative data for each second time interval to each second time interval.
  • the first representative data may be environmental data of the base station for training the learning unit 240, which will be described later.
  • the first representative data may be generated using the mean value and/or standard deviation value of the probability density function for each second time interval.
  • the representative data generator 230 may generate a network digital twin including a base station model using the generated first representative data.
  • creating a network digital twin means whether to activate the function of the base station model included in the network digital twin, operating parameters related to the operation of the base station model, and/or at least one input parameter for replicating a commercial network base station. It may mean setting up.
  • the representative data generator 230 may use the first representative data to set at least one parameter of the base station model included in the network digital twin in order to simulate the environment in which the commercial network base station operates.
  • Operation parameters related to the operation of the base station model may include at least one of handover parameters, selection or reselection parameters, cell On/Off parameters, and load balancing parameters.
  • whether to activate the function may include determining whether to activate at least one algorithm among a scheduling algorithm, a handover algorithm, and a discontinuous reception (DRX) algorithm.
  • At least one input parameter for simulating a commercial network base station may represent at least one of average packet size, average request interval, and number of terminals.
  • the representative data generator 230 can generate a small number of network digital twins by generating representative data from base station data of commercial network base stations, which can have various effects, including a reduction in computational resources.
  • the network digital twin generated by the representative data generation unit 230 can be subjected to reinforcement learning based on the results of applying various settings by the learning unit 240.
  • the learning unit 240 uses the first representative data related to the base station environment generated by the representative data generating unit 230 to learn the base station model 245. Movements can be learned.
  • Figure 3 shows overlapping data generated by an electronic device using base station data according to an embodiment.
  • base station data 310 acquired by the electronic device 200 represents PRB usage and may be recorded for 7 days.
  • the data overlap unit 210 divides the acquired base station data 310 into 24-hour units of 1 day into 1-day base station data 311, 2-day base station data 312, and 3-day base station data 313. ), 4-day base station data 314, 5-day base station data 315, 6-day base station data 316, and 7-day base station data 317 can be generated.
  • the x-axis of the acquired base station data 310 represents each hour from the first time the base station data was measured (e.g., 0 o'clock) to the last measurement time (e.g., 168 o'clock). It may mean, and the y-axis may mean PRB usage (percentage (%) unit).
  • PRB usage may follow similar trends on a 24-hour basis. Accordingly, the data overlapping unit 210 may set the first time interval to 24 hours.
  • the data overlapping unit 210 may generate overlapping data 320 by overlapping the generated 1-day base station data 311 to 7-day base station data 317 into one graph.
  • the x-axis of the overlapping data 320 may represent a first time interval (eg, 24 hours or from 0:00 to 24:00).
  • the y-axis of the overlapping data 320 may indicate PRB usage.
  • the overlapping data 320 is data that overlaps all data from the 1-day base station data 311 to the 7-day base station data 317 into one data at a first time interval (e.g., 24 hours), for 7 days. PRB usage can be checked at once.
  • the overlapping data 320 generated by the data overlapping unit 210 is used by the representative data generating unit 230 to generate first representative data.
  • the representative data generator 230 may randomly sample the base station data 310 divided into predetermined second time intervals to generate a histogram for each second time interval. Alternatively or additionally, the representative data generator 230 may calculate a probability density function for each second time interval for a histogram for each two time intervals.
  • the base station data 310, overlapping data 320, and the generated base station data 311 to 7 days shown in FIG. 3 should be understood as overlapping with each other.
  • Figure 3 is just one example; other embodiments may have different data and/or different time units. That is, the example disclosed in FIG. 3 is not intended to limit the scope of the present disclosure but is merely representative of various embodiments.
  • Figure 4 shows representative data of a probability density function generated by an electronic device according to an embodiment.
  • the x-axis of the graph shown in FIGS. 2 to 4 may mean PRB usage in sampled percent (%), and the y-axis is a probability density (e.g., solid line) with a value between 0 and 1. It can be a value.
  • the representative data generator 230 sets the second time interval to a 1-hour interval, performs random sampling on the 4 o'clock section among the overlapping data 320 of FIG. 3, and calculates the sampled PRB usage. Histograms and/or probability density functions can be created.
  • the representative data generator 230 randomly samples data corresponding to the 4 o'clock section, it randomly samples data from 30 minutes before to 30 minutes after 4 o'clock. can do.
  • the representative data generator 230 may randomly sample N pieces of data from the PRB usage data from 3:30 to 4:30 in FIG. 3.
  • N is a positive integer greater than 0.
  • the representative data generator 230 can randomly sample data on PRB usage for the period from 0 o'clock to 24 o'clock.
  • the 0:00 section may correspond to the time from 0:00 to 0:30
  • the 24:00 section may correspond to the time from 23:30 to 24:00.
  • the second time interval set by the representative data generator 230 may be a 2-hour interval.
  • the representative data generator 230 may randomly sample N pieces of data for each of the 0 o'clock section, 2 o'clock section, 4 o'clock section, ..., 24 o'clock section.
  • N may be a positive integer greater than 0.
  • the representative data generator 230 may perform random sampling among the first data divided into second time intervals so that the first data recorded first based on the first time unit has a smaller number of samples.
  • the base station data 310 in FIG. 3 is data from 1 day to 90 days, the first time unit is 24 hours, and the second time unit is 1 hour, the data is The generated overlapping data 320 of FIG. 3 exists by overlapping base station data for each date from 1 to 90 days from 0 to 24 hours.
  • the representative data generator 230 may sample less data recorded first on the basis of 24 hours, that is, one day, among the overlapping data 320 of FIG. 3 for each generated time.
  • N/6 are randomly sampled from the base station data 310 recorded between 1 and 30 days, and N/3 pieces of base station data 310 recorded between 60 days can be randomly sampled, and N/2 pieces of base station data 310 recorded between 61 and 90 days can be randomly sampled.
  • the representative data generator 230 can give weight to recently recorded data by randomly sampling more recently recorded data. Accordingly, the representative data generator 230 can train the base station model to be closer to (e.g., more similar to) the recent base station data operation environment.
  • the representative data generator 230 may generate a histogram from data randomly sampled for each time, generate a probability density function for each time from the generated histogram, and generate at least one item for each time interval from the generated probability density function for each time. 2 Representative data can be generated.
  • At least one second representative data for each time interval may represent data representing the base station data 3210 acquired at each time.
  • the second representative data is calculated using the mean ⁇ , median, maximum, minimum, and/or mean and standard deviation ⁇ of the probability density function. It may be a given value, etc.
  • the second representative data is not limited to this as long as it is a value that can represent the base station data 310 at each time interval.
  • At least one second representative data for each time interval may be ⁇ -3 ⁇ , ⁇ -2 ⁇ , ⁇ +2 ⁇ , and ⁇ +3 ⁇ . That is, the representative data generator 230 has an upper and lower boundary value of ⁇ 2 ⁇ where the base station data 310 can be located with a probability of about 95% and an upper limit where the base station data 310 can be located with a probability of about 99%. and ⁇ 3 ⁇ , the lower limit boundary value, may each be selected as at least one second representative data.
  • the representative data generator 230 selects ⁇ -3 ⁇ , ⁇ -2 ⁇ , ⁇ +2 ⁇ , and ⁇ +3 ⁇ as the second representative data, data with boundary values that are highly likely to exist in the actual environment are used as representative data.
  • the base station model 245 may be learned. In other words, the base station model 245 can be learned by receiving the best and worst environments among the actual base station environments.
  • the representative data generator 230 may generate at least one first representative data by connecting at least one second representative data for each second time interval to each second time interval.
  • the first representative data may be a value obtained by concatenating representative data among base station data for the first time)31-_.
  • the first representative data may be used interchangeably with the term “compaction” in this disclosure.
  • Figure 5 shows representative data for a first time period according to one embodiment.
  • the x-axis represents each hour from 0:00 to 24:00, and the y-axis may represent PRB usage measured in percent (%).
  • the representative data generator 230 connects at least one second representative data to generate first representative data to represent the change in the first representative data during one day, which is the first unit of time. You can.
  • the representative data generator 230 connects the second representative data at 0 o'clock and the second representative data at 1 o'clock with a straight line, and the second representative data at 1 o'clock
  • the first compaction 511 can be created by connecting the representative data at 2 and the second representative data at 2 o'clock.
  • the second compaction 513 can be generated using ⁇ +2 ⁇ as the second representative data
  • the third compaction 515 can be generated using ⁇ as the second representative data
  • the fourth compaction 517 can be generated using ⁇ -2 ⁇ as the second representative data
  • the fifth compaction 519 can be generated using ⁇ -3 ⁇ as the second representative data. It can be.
  • the representative data generator 230 may generate at least one first representative data that connects the representative data for the base station data for each second time interval during the first time unit.
  • the base station data 310 includes PRB usage
  • at least one first representative data is selected from the base station data 310 for 90 days when the base station environment is not good (for example, when PRB usage is high) ) It may include all representative situations from the first compaction 511 to the fifth compaction 519 where the base station environment is good (for example, when PRB usage is low).
  • the electronic device 200 may perform reinforcement learning on the base station model 245 using a small number of base station data 310 by selecting representative data. That is, as the number of simulations for each operation of the electronic device 200 decreases with a small number of base station data 310, various effects may exist, including an effect that the computational speed required for learning increases.
  • the learning unit 240 may learn the base station model 245 for a network digital twin using at least one first representative data generated by the representative data generating unit 230. there is.
  • Figure 6 is an example block diagram showing a function for a learning unit to reinforce a base station model according to an embodiment.
  • the learning unit 240 may include a compensation determination unit 241, a compensation determination unit 243, and a base station model 245.
  • the base station model 245 is described as being included in the learning unit 240, but the present disclosure is not limited thereto.
  • the base station model 245 may be stored in the memory 110 of FIG. 1 or may be stored in an external device (eg, a server).
  • Reinforcement learning can be selected as the learning method of the learning unit 240.
  • Reinforcement learning is an area of machine learning and can refer to a method of learning which action is optimal to take in the current state. For example, in the reinforcement learning learning method, a reward is given from the external environment every time an agent takes an action, and learning can proceed in the direction of maximizing this reward.
  • the compensation determination unit 241 may receive as input the representative data generated by the representative data generating unit 230 and the operation performed by the base station model 245 as an agent. Alternatively or additionally, the compensation determination unit 241 may calculate compensation for each second time interval according to the environment corresponding to each operation and representative data.
  • the compensation determination unit 241 may simulate operations that can be selected by the base station model 245 for at least one first representative data representing the base station environment and calculate compensation for each operation for each second time.
  • the compensation determination unit 243 may transmit learning data to the base station model 245 based on the time-specific compensation calculated by the compensation determination unit 241. For example, the compensation determination unit 243 uses the total minimum compensation for each time to prevent (e.g., prevent) the base station model 245 from performing an operation corresponding to the minimum compensation. Learning data can be provided.
  • the compensation determination unit 243 trains the base station model 245 to operate safely against KPI (key performance indicator) deterioration that may occur when performing each operation in the base station environment represented by the first representative data. Data can be generated. Alternatively or additionally, base station model 245 may operate in a manner such that energy savings may be maximized.
  • KPI key performance indicator
  • the base station model 245 may be a model that simulates an actual base station for building a network digital twin.
  • the base station model 245 can be an agent of reinforcement learning and can be the subject of learning as a subject that performs an action in accordance with a reward.
  • the base station model 245 may be preset to perform functions similar to an actual base station, or a plurality of operations of the base station may be input by input (for example, a user's input), and various operations for this may be performed. Setting values can be entered.
  • the operation of the base station model 245 may include turning on at least one cell and turning off the at least one cell based on physical resource block (PRB) usage. You can. However, it is not limited to this.
  • PRB physical resource block
  • Figure 7 shows a process of outputting a compensation value to learn a base station model according to an embodiment.
  • the compensation determination unit 241 is a base station environment: first compaction 511, second compaction 513, third compaction 515, and fourth compaction 517.
  • the fifth compaction 519 can be simulated to perform the operation of the base station model 245 for each second time.
  • compensation is R max, R 75p , R avg , R 25p , and R min , respectively. It can correspond to a defined reward.
  • the state of the base station model 245 may change depending on the operation of the base station model 245. Accordingly, the compensation determination unit 241 may calculate the compensation value according to a predetermined rule based on the changed state of the base station model 245.
  • Predetermined rules may include rules for ensuring communication performance and maximizing power savings.
  • the predetermined rule may include a rule set such that the reward decreases as power consumption increases.
  • the predetermined rule may be a rule set to provide negative compensation when the IP throughput is lower than a preset predetermined value.
  • this predetermined rule may be a design limitation, but various arbitrary rules may be applied depending on the base station environment.
  • the base station model 245 may perform operations in the first compaction 511 to fifth compaction 519 environments at each second time interval. Accordingly, the compensation determination unit 241 can calculate compensation for each time period to maximize power savings while ensuring communication performance. That is, in order to minimize KPI deterioration, the compensation determination unit 241 selects the minimum compensation among the compensations of the first compaction 511 to the fifth compaction 519 for each second time interval as compensation for the second time. You can select.
  • the compensation R max of the first compaction 511 is 10
  • the compensation R 75p of the second compaction 513 is 7
  • the compensation R avg of the third compaction 515 is 6,
  • the compensation R avg of the third compaction 515 is 6.
  • the compensation determination unit 241 calculates the compensation 703 of the 4th compaction 517 as 3
  • the city's reward can be selected (e.g., minimum reward value).
  • the compensation determination unit 241 may determine compensation at 1 o'clock (701), compensation at 2 o'clock (702), compensation at 4 o'clock (704), compensation at 5 o'clock (705) through 24 in this manner.
  • the city's compensation (707) can be calculated and selected.
  • the compensation determination unit 243 may receive the second time-specific compensation from the compensation determination unit 241 and calculate all learning data as shown in Equation 1 below.
  • each compaction may mean compensation for each compaction at each time.
  • the compensation determination unit 243 transmits the operation of the base station model 245 and the sum of the minimum values for compensation for each time for the operation as learning data to the base station model 245, so that the base station model 245 can be trained through reinforcement learning. You can do it.
  • the base station model 245 may be trained to perform an operation that maximizes compensation using learning data obtained from the compensation determination unit 243. Alternatively or additionally, the base station model 245 may be trained to not perform the operation that results in the smallest sum of calculated compensation values.
  • the electronic device 200 can perform reinforcement learning on the base station model 245 to minimize KPI deterioration while generating various effects, including energy saving effects.
  • FIG. 8 is a flowchart illustrating an example method in which an electronic device generates representative data for training a base station model, according to an embodiment.
  • the electronic device 200 may divide the acquired at least one base station data 310 into a plurality of pieces according to a predetermined first time unit (S810).
  • the electronic device may generate first data of the first time unit by overlapping the divided base station data for each first time unit (S810).
  • Base station data 310 may include one of data of physical resource block (PRB) usage, IP throughput, number of active user equipment (UE), and downlink amount.
  • PRB physical resource block
  • UE active user equipment
  • PRB usage may refer to the ratio between the number of PRBs used to the total number of PRBs available during a certain period of time.
  • PRB capacity may be data collected continuously (e.g., periodically, aperiodically) divided by time.
  • the electronic device 200 may divide the overlapping first data into predetermined second time interval units and calculate at least one probability density function for each second time interval (S820).
  • the electronic device 200 may randomly sample the base station data 310 divided into predetermined second time intervals to generate a histogram for each second time interval.
  • the electronic device 200 may calculate a probability density function for each second time interval for a histogram for each two time intervals.
  • the electronic device 200 may generate at least one first representative data using at least one probability density function for each second calculated time (S830).
  • the electronic device 200 may generate a histogram for each second time interval by randomly sampling the first data divided into second time intervals. Alternatively or additionally, the electronic device 200 may calculate a probability density function for each second time interval for the histogram for each second time interval. In an optional or additional embodiment, the electronic device 200 generates at least one second representative data for each second time interval using a probability density function for each second time interval, and at least one second representative data for each second time interval. At least one first representative data may be generated by connecting the representative data at second time intervals.
  • the first representative data may include environmental data of the base station for learning the base station model 245.
  • the first representative data may be generated using the mean value and/or standard deviation value of the probability density function for each second time interval.
  • the electronic device 200 may learn the base station model 245 based on at least one representative first data generated (S840).
  • the base station model 245 may include a model replicating an actual base station for building a network digital twin.
  • base station model 245 may be an agent of reinforcement learning.
  • the base station model 245 is a subject that performs operations according to compensation and can be an object of learning.
  • the base station model 245 may be preset to perform functions similar to an actual base station.
  • the base station model 245 can input a plurality of operations of the base station by input (for example, a user's input), and various setting values can be input therefor.
  • Figure 9 is a flowchart showing a method for learning a base station model according to an embodiment.
  • the electronic device 200 applies at least one operation of the base station model 245 to the environment of at least one generated representative data to compensate for each first representative data at a second time interval.
  • the value can be output (S910).
  • the operation of the base station model 245 includes turning on at least one cell and turning off the at least one cell based on physical resource block (PRB) usage. can do.
  • PRB physical resource block
  • the state of the base station model 245 may change depending on the operation of the base station model. Therefore, the compensation value can be calculated according to a predetermined rule based on the changed state of the base station model.
  • Predetermined rules may include rules for ensuring communication performance and maximizing power savings.
  • the predetermined rule may be a rule set so that compensation decreases as power consumption increases.
  • the predetermined rule may be a rule set to provide negative compensation when the IP throughput is lower than a preset predetermined value.
  • this predetermined rule may be a design limitation, but various arbitrary rules may be applied depending on the base station environment.
  • the electronic device 200 may receive representative data and the operation of the base station model 245 as an agent as input. Accordingly, the electronic device 200 may output compensation for each second time interval according to the environment corresponding to each operation and representative data.
  • the electronic device 200 may select a representative compensation value for each second time from among the output compensation values (S920).
  • the value having the smallest second hourly compensation value among the at least one first representative data may be selected as the second hourly representative compensation value. Accordingly, the electronic device 200 may calculate the second representative compensation for each time period to maximize power savings while ensuring communication performance.
  • the electronic device 200 may calculate the sum of representative compensation values for each selected second time and train the base station model 245 not to perform the operation with the smallest sum of calculated compensation values among at least one operation. (S930).
  • the electronic device 200 that generates representative data for learning the base station model 245 includes a memory 100 that stores at least one instruction, a transceiver 130, and a memory 110 stored in the memory 110. It may include at least one processor 120 that executes one or more instructions. When the instructions are executed, the at least one processor 120 divides the base station data received through the transceiver 130 into predetermined first time units, and overlaps the divided base station data 310 to produce the divided base station data 310. First data of a first time unit may be generated. When the instructions are additionally executed, the at least one processor 120 divides the overlapped first data into predetermined second time interval units and calculates a probability density function for each second time interval. can do.
  • the at least one processor 120 may generate at least one first representative data using the probability density function for each second time interval.
  • the at least one processor 120 may learn the base station model 245 based on the generated at least one first representative data.
  • the base station data 310 may include at least one of physical resource block (PRB) usage, IP throughput, number of active user equipment (UE), and downlink amount.
  • PRB physical resource block
  • UE active user equipment
  • the at least one processor 120 may generate a histogram for each second time interval by randomly sampling the first data divided into the second time intervals.
  • the at least one processor 120 may calculate a probability density function for each second time interval with respect to the histogram for each second time interval.
  • the at least one processor 120 may select at least one second representative data for each second time interval using the probability density function for each second time interval.
  • the at least one processor may concatenate at least one second representative data for each second time interval to generate the at least one first representative data.
  • the at least one processor 120 selects the first data recorded first based on the first time unit among the first data divided into the second time intervals.
  • the random sampling may be performed to have a small number of samples.
  • the at least one processor 120 uses the mean and standard deviation of the probability density function for each second time interval to determine the second time interval. At least one second representative data can be selected for each interval.
  • the at least one processor 120 sets at least one parameter of the network digital twin including the base station model 245 based on the generated at least one representative data to configure the network A digital twin can be created.
  • the at least one processor 120 applies at least one operation of the base station model 245 to the environment of the at least one representative data to perform each first operation for each second time interval.
  • the compensation value of representative data can be output.
  • the at least one processor 120 may select a representative compensation value for each second time from among the output compensation values when the instructions are additionally executed.
  • the at least one processor 120 calculates the total sum of representative compensation values for each selected second time and selects the operation in which the sum of the calculated compensation values is the smallest among the at least one operation.
  • the base station model 245 can be trained not to perform
  • the at least one processor 120 may select the smallest compensation value among the output compensation values for each second time interval as the representative compensation value for each second time interval.
  • At least one operation of the base station model includes turning on at least one cell and turning off the at least one cell based on physical resource block (PRB) usage. It may include at least one of:
  • the operation of turning on the at least one cell includes, when the IP throughput and/or the PRB usage in a predetermined frequency band is greater than or equal to a predetermined first value, at least one cell in the corresponding frequency band. It may include an operation to turn on. In an optional or additional embodiment, the operation of turning off at least one cell may include, when the IP throughput and/or the PRB usage in a predetermined frequency band is less than or equal to a second predetermined value, at least one cell in the corresponding frequency band. It may include the operation of turning off the cells.
  • a method of generating representative data for learning the base station model 245 divides the base station data 310 into predetermined first time units and overlaps the divided base station data into the first time units. generating first data; dividing the overlapping first data into predetermined second time interval units and calculating a probability density function for each second time interval; generating at least one first representative data using the probability density function for each second time interval; And it may include training the base station model 245 based on the generated at least one first representative data.
  • the base station data 310 may include at least one of physical resource block (PRB) usage, IP throughput, number of active user equipment (UE), and downlink amount.
  • PRB physical resource block
  • UE active user equipment
  • calculating the at least one probability density function includes generating a histogram for each second time interval by randomly sampling first data divided into the second time intervals; and calculating a probability density function for each second time interval with respect to the histogram for each second time interval, wherein generating the at least one first representative data includes the probability density function for each second time interval. generating at least one second representative data for each second time interval using; and generating the at least one first representative data by connecting at least one second representative data for each second time interval to the second time interval.
  • the step of generating a histogram for each second time interval may include, among the first data divided into the second time intervals, the first data recorded first based on the first time unit is less. It may include the step of random sampling to have the number of samples.
  • the step of generating the at least one second representative data includes using the mean value and standard deviation value of the probability density function for each second time interval. It may include generating at least one second representative data.
  • the step of learning the base station model 245 includes setting at least one parameter of the network digital twin including the base station model 245 based on the generated at least one representative data to determine the network digital twin.
  • Generating a digital twin applying at least one operation of the base station model 245 to the environment of the generated at least one representative data and outputting a compensation value of each first representative data for each second time interval. ; selecting a representative compensation value for each second time from among the output compensation values; And calculating the sum of the representative compensation values for each selected second time and training the base station model 245 not to perform the operation with the smallest sum of the calculated compensation values among the at least one operation. can do.
  • the step of selecting the representative compensation value for each second time includes selecting the smallest compensation value among the output compensation values for each second time interval as the representative compensation value for each second time. can do.
  • the at least one operation of the base station model includes turning on at least one cell and/or turning off the at least one cell based on IP throughput or physical resource block (PRB) usage. It may include at least one of the operations to turn it off.
  • PRB physical resource block
  • the operation of turning on the at least one cell includes turning on at least one cell in the frequency band when the IP throughput or the PRB usage in the predetermined frequency band is greater than a predetermined first value. It may include an action to be performed.
  • the operation of turning off at least one cell includes, when the IP throughput or the PRB usage in a predetermined frequency band is less than or equal to a second predetermined value, at least one cell in the corresponding frequency band It may include an operation to turn off.
  • a computer-readable medium may include one or more program codes.
  • the one or more program codes when executed in an electronic device (e.g., the electronic device 100 of FIG. 1 or the electronic device 200 of FIG. 2), divide the base station data 310 into predetermined first time units, generating first data of the first time unit by overlapping the divided base station data; dividing the overlapping first data into predetermined second time interval units and calculating a probability density function for each second time interval; generating at least one first representative data using the probability density function for each second time interval; and learning the base station model 245 based on the generated at least one first representative data.
  • a recording medium disclosed as a technical means for achieving the above-described technical problem may store a program for executing at least one of the embodiments of the disclosed method.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'Non-transitory storage medium' can refer to a device that is tangible and only means that it does not contain signals (e.g. electromagnetic waves). This term is used when data is semi-permanently stored in a storage medium. There is no distinction between temporary storage and temporary storage.
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

전자 장치는 인스트럭션들을 저장하는 메모리, 기지국 데이터를 수신하도록 구성된 송수신부 및 상기 메모리에 저장된 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 기지국 데이터를 제1 시간 단위에 따라 복수의 기지국 데이터 부분으로 분할하고, 상기 복수의 분할된 기지국 데이터 부분을 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성하고; 상기 중첩된 제1 데이터를 제2 시간 간격 단위에 따라, 복수의제2 시간 간격 기지국 데이터로 분할하고; 상기 분할된 복수의 제2 시간 간격 각각의 기지국 데이터에 대해, 상기 제2 시간 간격 별 확률 밀도 함수를 연산하고; 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성하고; 그리고 상기 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시킬 수 있다.

Description

기지국 모델 학습을 위한 대표 데이터 생성 전자 장치 및 방법
본 개시는 통신 시스템에 관한 것으로, 보다 자세하게는 기지국 모델 학습을 위한 대표 데이터 생성 장치 및 이에 의한 기지국 대표 데이터 생성 방법에 관한 것이다.
네트워크 디지털 트윈(digital twin)은 실제 기지국의 동작, 설정 상태 등을 모사하여 시뮬레이터을 이용하여 실제 기지국의 동작 환경을 예측하는데 이용되는 기술일 수 있다. 예를 들어, 새로운 무선 통신 알고리즘이 개발되면, 실제 기지국의 동작 환경이 적용되지 않은 특정 시뮬레이터 환경에서 개발된 알고리즘의 성능이 평가될 수 있다. 또한, 네트워크 디지털 트윈의 기지국 운용 최적화 모델은 기지국 데이터를 수집하고, 수집된 기지국 데이터를 입력으로 하여, 기지국 모델을 강화 학습(reinforcement learning)을 통해 학습시킬 수 있다.
기지국 모델을 강화 학습하는 과정은 기지국 데이터를 수집하고, 수집된 기지국 데이터를 전처리(preprocessing)하고, 전처리된 데이터를 이용하여, 시뮬레이터 파라미터를 찾는 네트워크 디지털 트윈 생성 과정, 네트워크 디지털 트윈에 임의의 파라미터를 설정하여 기지국 운용 최적화 모델을 학습하는 과정으로 진행될 수 있다. 이 경우, 수집된 기지국 데이터를 전처리 하고, 시뮬레이션 파라미터를 찾는 과정에 많은 데이터가 이용되어, 연산 자원이 크게 소모될 수 있다.
일 실시예에 따른 기지국 모델을 학습시키기 위한 대표 데이터를 생성하는 전자 장치는 적어도 하나 이상의 인스트럭션을 저장하는 메모리, 송수신부 및 상기 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 송수신부를 통해 수신된 기지국 데이터를 소정의 제1 시간 단위로 분할하고, 상기 분할된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 나누어 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시킬 수 있다.
일 실시예에 따른 기지국 모델을 학습시키기 위한 대표 데이터를 생성하는 방법은 기지국 데이터를 소정의 제1 시간 단위로 분할하고, 상기 분할된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성하는 단계; 상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 나누어 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산하는 단계; 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성하는 단계; 및 상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시키는 단계를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 컴퓨터 판독 가능한 매체는, 하나 이상의 프로그램 코드(code)를 포함할 수 있다. 하나 이상의 프로그램 코드는 전자 장치에서 실행될 때, 기지국 데이터를 소정의 제1 시간 단위로 분할하고, 상기 분할된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성하는 단계; 상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 나누어 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산하는 단계; 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성하는 단계; 및 상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시키는 단계를 포함하는 방법을 실행할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 기록매체는, 개시된 방법의 실시예들 중에서 적어도 하나를 실행시키기 위한 프로그램이 저장된 것일 수 있다.
부가적인 태양은 다음의 설명에서 부분적으로 설명될 것이고, 부분적으로는 설명으로부터 명백해지거나 제시된 실시예의 실시에 의해 학습될 수 있다.
본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 2는 일 실시예에 따른 전자 장치의 기능을 나타내는 예시적인 블록도이다.
도 3은 일 실시예에 따른 전자 장치가 기지국 데이터를 이용하여 생성한 중첩 데이터를 나타낸다.
도 4는 일 실시예에 따른 전자 장치가 생성한 확률 밀도 함수의 대표 데이터를 나타낸다.
도 5는 일 실시예에 따라 1일을 주기로 생성된 대표 데이터를 나타낸다.
도 6은 일 실시예에 따른 학습 모델의 학습을 위한 기능을 나타내는 예시적인 블록도이다.
도 7은 일 실시예에 따른 기지국 모델을 학습시키기 위해 보상 값을 출력하는 과정을 나타낸다.
도 8은 일 실시예에 따른 전자 장치가 학습 모델을 학습시키기 위한 대표 데이터를 생성하는 방법을 나타내는 흐름도이다.
도 9은 일 실시예에 따른 학습 모델을 학습시키는 방법을 나타내는 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략될 수 있으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호가 붙여질 수 있다.
본 개시의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 그리고/또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미가 기재될 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함하는 것으로 이해될 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
또한, 본 개시에서 기재된 “...부”, “...모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 “직접적으로 연결” 또는 “물리적으로 연결”되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 “전기적으로 연결”되어 있는 경우도 포함한다. 본 개시에서, “송신(transmit)”, “수신(receive)” 및 “통신(communicate)” 이라는 용어들은 직접 통신 및 간접 통신을 모두 포함한다. 또한 어떤 부분이 어떤 구성요소를 “포함(include, comprise)”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시 전체에서, 특별히 반대되는 기재가 없는 한 “또는(or)”은 포괄적(inclusive)이며 배타적(exclusive)이지 않다. 따라서, 명백히 달리 표시되거나 문맥상 달리 표시되지 않는 한, “A 또는 B”는 “A, B, 또는 둘 모두”를 나타낼 수 있다. 본 개시에서, “~중 적어도 하나” 또는 “하나 이상의 ~”라는 문구는, 열거된 항목들 중 하나 이상의 항목들의 서로 다른 조합이 사용될 수도 있고/있거나, 열거된 항목들 중 임의의 하나의 항목만이 필요한 경우를 의미할 수도 있다. 예를 들어, “A, B, 및 C 중 적어도 하나”는 다음의 조합들 중 임의의 것을 포함할 수 있다: A, B, C, A 및 B, A 및 C, B 및 C, 또는 A 및 B 및 C.
“제어기(controller, 컨트롤러)”는 적어도 하나의 동작을 제어하는 임의의 디바이스, 시스템 또는 그 부분을 나타낼 수 있다. 제어기는 하드웨어, 하드웨어 및 소프트웨어의 조합, 및/또는 펌웨어로 구현될 수 있다. 특정 제어기에 연관된 기능은, 국부적 또는 원격의 집중형 또는 분산형일 수 있다.
이하 설명되는 본 개시의 다양한 실시예들은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원될 수 있고, 컴퓨터 프로그램들은 컴퓨터 판독 가능한 프로그램 코드(code)로부터 형성되고, 컴퓨터로 판독 가능한 매체에 수록될 수 있다. 본 개시에서, “애플리케이션(application)” 및 “프로그램(program)”은 컴퓨터 판독 가능한 프로그램 코드에서의 구현에 적합한 하나 이상의 컴퓨터 프로그램, 소프트웨어 컴포넌트, 명령어 세트, 프로시저(procedure), 함수, 개체(object), 클래스, 인스턴스, 관련 데이터, 또는 그것의 일부를 나타낼 수 있다. “컴퓨터 판독 가능한 프로그램 코드”는, 소스 코드, 목적 코드, 및 실행 가능한 코드를 포함하는 다양한 유형의 컴퓨터 코드를 포함할 수 있다. “컴퓨터 판독 가능한 매체”는, ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브(HDD), CD(compact disc), DVD(digital video disc), 또는 다양한 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 다양한 유형의 매체를 포함할 수 있다.
추가적으로 또는 대안적으로, 컴퓨터 판독 가능한 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. '비일시적 저장 매체'는 실재(tangible)하는 장치일 수 있고, 일시적인 전기적 또는 다른 신호들을 전송하는 유선, 무선, 광학적, 또는 다른 통신 링크들을 배제할 수 있다. 한편, 이 '비일시적 저장 매체'는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않을 수 있다. 예를 들어, '비일시적 저장 매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체를 포함할 수 있고, 휘발성 및 비휘발성 매체, 분할형 및 비분할형 매체를 모두 포함할 수 있다. 컴퓨터 판독 가능한 매체는, 데이터가 영구적으로 저장될 수 있는 매체와 데이터가 저장되고 나중에 덮어쓰기 될 수 있는 매체, 이를테면 재기입 가능한 광 디스크 또는 소거 가능한 메모리 디바이스를 포함할 수 있다. 이에 한정되지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예를 들어, compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예를 들어, 플레이 스토어TM)를 통해 및/또는 두 개의 사용자 장치들(예를 들어, 스마트폰) 간에 직접, 온라인으로 배포(예를 들어, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예를 들어, 다운로더블 앱(downloadable application))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나/되고, 임시적으로 생성될 수 있다.
기타 특정 단어들 및 문구들에 대한 정의는 본 개시의 전체에 걸쳐 제공될 수 있다. 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는, 다양한 경우들에서, 정의된 단어들 및 문구들이 과거 및 장래의 사용들에도 적용될 수 있음을 이해할 수 있을 것이다.
본 개시에서 후술하는 각 구성 요소는 자신의 주요 기능 외에 다른 구성 요소가 수행하는 기능의 일부 또는 전부를 추가적으로 수행할 수 있으며, 각 구성 요소의 주요 기능 중 일부는 전적으로 다른 구성 요소에 의해 수행될 수 있다.
본 명세서에서 용어 '기계 학습' 또는 '머신 러닝(machine learning)'은 인공 지능의 한 분야로, 경험을 통해 일일이 코드로 명시하지 않은 동작을 데이터로부터 학습하고/거나 실행할 수 있는 알고리즘을 의미할 수 있다.
본 명세서에서 용어'강화 학습(reinforcement learning)'은 기계 학습의 한 영역으로 어떤 환경에서 정의된 에이전트가 현재의 상태를 인식하여, 선택 가능한 복수의 동작 중 보상을 최대화할 수 있는 동작 혹은 동작 순서를 선택하는 방법을 의미할 수 있다.
본 명세서에서 용어'학습 모델'은 강화 학습 알고리즘을 이용하여, 동작을 학습시키는 모델의 예시로 특정 강화 학습 알고리즘을 이용하는 모델로 한정되지 않는다.
본 명세서에서 용어'기지국 모델'은 강화 학습의 주체가 되는 에이전트로서, 네트워크 디지털 트윈의 기지국의 동작을 결정할 수 있는 시뮬레이터를 의미할 수 있다. 예를 들어, 기지국 모델은 강화 학습의 결과로써 입력된 환경에 대해, 보상을 최대화하는 동작을 수행할 수 있다.
RAN(radio access network)의 네트워크 디지털 트윈을 생성하기 위해서는 기지국 동작을 모사하는 시뮬레이터를 만들어, 실제 기지국에서 수집한 네트워크 환경 데이터를 모사할 필요가 있을 수 있다. 네트워크 환경 데이터를 모사하기 위해 기지국 데이터를 전처리할 수 있고, 기지국 데이터와 실질적으로 유사한 시뮬레이션 결과를 생성하는 시뮬레이션 파라미터를 찾게 된다. 이러한 과정을 수행하기 위해 많은 양의 연산 자원이 필요할 수 있다.
기지국 모델을 강화 학습하는 과정은 기지국 데이터를 수집하고, 수집된 기지국 데이터를 전처리(preprocessing)하고, 전처리된 데이터를 이용하여, 생성된 네트워크 디지털 트윈에 임의의 파라미터를 설정하여 기지국 운용 최적화 모델을 학습하는 과정으로 진행될 수 있다.
따라서, 일 실시예에 따른 전자 장치는 기지국 데이터를 이용하여 대표 데이터를 생성하는 전처리 과정을 이용하여, 연산 자원 소모를 줄일 수 있는 효과를 포함하는 다양한 효과가 있을 수 있다. 추가적으로 또는 대안적으로, 일 실시예에 따른 전자 장치는 전처리 과정을 거친 데이터를 이용하여 학습 모델을 학습시켜 안정적으로 네트워크 상태를 유지하여 운영될 수 있는 효과를 포함하는 다양한 효과가 있을 수 있다.
이하에서는 상기 전자 장치가 기지국 데이터를 이용하여 기지국 대표 데이터를 생성하여, 기지국 모델을 학습시키는 전자 장치가 설명된다.
도 1은 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 일 실시예에 따른 전자 장치(100)는 메모리(110), 프로세서(120) 및 송수신부(130)를 포함할 수 있다. 도 1에 도시된 전자 장치(100)의 구성요소들의 개수 및 배열은 다음의 예시와 같이 제공될 수 있다. 실제로, 추가 구성 요소, 더 적은 구성 요소, 다른 구성 요소 또는 도 1에 도시된 구성 요소와 다르게 배열된 구성 요소가 있을 수 있다. 또한, 도 1에 도시된 2개 이상의 구성요소는 단일 구성요소 또는 단일 구성요소 내에서 구현될 수 있다. 1은 여러 분산 구성 요소로 구현될 수 있습니다. 대안적으로 또는 추가적으로, 도 1에 도시된 (하나 이상의) 구성요소 세트는 서로 통합될 수 있고, 및/또는 집적 회로, 소프트웨어 및/또는 회로와 소프트웨어의 조합으로 구현될 수 있다.
예를 들면, 전자 장치(100)는 사용자로부터 대표 데이터 생성을 위한 제1 시간, 제2 시간 등을 입력받을 수 있는 입력부를 포함할 수 있다. 대안적 또는 추가적으로 전자 장치(100)는 학습 결과를 출력할 수 있는 출력부를 포함할 수 있다.
일 실시예에서, 프로세서(120)의 동작은 메모리(110)에 저장된 소프트웨어 모듈로 구현될 수도 있다. 예컨대, 소프트웨어 모듈은 메모리(110)에 저장될 수 있고, 프로세서(120)에 의해 실행됨으로써 동작될 수 있다.
메모리(110)는 프로세서(120)와 전기적으로 연결되고 전자 장치(100)에 포함된 구성들의 동작과 관련된 명령 및/또는 데이터를 저장할 수 있다. 다양한 실시 예에 따르면, 메모리(110)는 송수신부(130)를 이용하여 획득된 기지국 데이터 정보, 기지국 데이터를 이용하여 생성된 대표 데이터 또는 기지국 모델의 동작들에 대한 인스트럭션들(instructions) 등을 저장할 수 있다.
일 실시 예에 따르면, 메모리(110)는 후술할 네트워크 디지털 트윈의 시뮬레이터 및 전자 장치(100)의 기능을 개념적으로 구분한 각 부에 포함되는 적어도 일부의 모듈들이 프로세서(120)에 의해 실행되는 소프트웨어로 구현되는 경우 그러한 소프트웨어 모듈을 실행하기 위한 인스트럭션들을 저장할 수도 있다.
프로세서(120)는 전자 장치(100)에 포함된 구성들과 전기적으로 연결되어, 전자 장치(100)에 포함된 구성들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 전자 장치(100)의 다른 구성들 중 적어도 하나로부터 수신된 명령 및/또는 데이터를 메모리(110)에 로드하여 처리하고, 결과 데이터를 메모리(110)에 저장할 수 있다.
도 1에서는 설명의 편의를 위해 프로세서(120)가 하나의 프로세서(120)로 동작하는 것으로 표현하였다. 그러나, 본 개시는 이러한 예시에 한정되지 않는다. 예를 들어, 학습 모델 및/또는 전자 장치(100)의 기능을 개념적으로 구분한 적어도 하나의 기능을 복수의 프로세서로 구현될 수 있다. 즉, 프로세서(120)는 하나의 프로세서(120)로서 동작하는 것이 아니라, 복수의 프로세서가 별개의 하드웨어로 구현되어 각 동작을 수행하도록 구현될 수 있다. 프로세서(120)의 동작에 대한 상세한 설명은 도 2 내지 도 7을 참조하여 제공된.
송수신부(130)는 전자 장치(100)와 외부의 다른 전자 장치(예를들어, 외부 기지국 또는 외부 기지국을 제어할 수 있는 서버) 사이의 유선 및/또는 무선 통신 채널을 수립할 수 있다. 대안적 또는 추가적으로, 전자 장치(100) 와 외부 전자 장치 사이의 통신 채널을 통한 통신 수행이 수립될 수 있다. 일 실시 예에 따르면, 송수신부(130)는 유선 통신 또는 무선 통신을 통해 외부의 다른 전자 장치로부터 데이터를 수신하거나 및/또는 외부의 전자 장치에 대해 데이터를 송신할 수 있다.
일 실시예에 따른 송수신부(130)가 수신하는 데이터는 기지국 모델의 강화 학습에 이용되기 위한 네트워크 디지털 트윈의 동작 환경에 관련된 기지국 데이터를 포함할 수 있다. 예를 들어, 기지국 데이터는 PRB(physical resource block) 사용량, IP 처리량(internet protorol throughput), 활동 UE(active user equipment)의 수, 다운링크 양 등을 포함할 수 있다.
일 실시예에서, PRB 사용량은 일정 시간 동안 사용 가능한 전체 PRB의 수에 대한 사용된 PRB의 수 사이의 비율을 의미할 수 있다. 대안적 또는 추가적으로 PRB 수용량은 시간 별로 나누어 연속적(예를 들어, 주기적, 비주기적)으로 수집된 데이터일 수 있다.
실제 기지국 데이터는 기지국 모델의 동작에 따라 강화 학습을 수행할 수 있는 데이터일 수 있다.
선택적 또는 추가 실시예에서, 송수신부(130)에 의해 수신 및/또는 송신된 데이터는 다른 유형의 데이터를 포함할 수 있다. 즉, 송수신부(130)가 수행하는 데이터 통신은 이에 한정되지 않는다.
다양한 실시 예에 따르면, 송수신부(130)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 대안적으로 또는 추가적으로 송수신부(130)는 그 중 해당하는 무선 및 또는 유선 통신 모듈을 이용하여 근거리 통신 네트워크 (예: 블루투스, WiFi(wireless-fidelity) direct 또는 IrDA(infrared data association)) 또는 원거리 통신 네트워크(예: 셀룰러 네트워크, 인터넷, 및/또는 컴퓨터 네트워크(예: LAN 또는 WAN))를 통하여 외부 전자 장치와 통신할 수 있다.
이하, 도 2를 참조하여 전자 장치(100)의 각 기능과 각 기능을 수행하는 부의 동작에 대해 설명한다.
도 2는 일 실시예에 따른 전자 장치의 기능을 나타내는 예시적인 블록도이다. 도 2의 전자장치(200)는 도 1을 참조하여 상술한 전자 장치(100)를 포함하거나 다양한 부분에서 유사할 수 있고, 상술되지 않은 추가적인 기능이 포함될 수 있다.
도 2를 참조하면, 전자 장치(200)는 데이터 중첩부(210), 가중치 부여부(220), 대표 데이터 생성부(230) 및 학습부(240)를 포함할 수 있다. 다만, 전자 장치(200)에 포함되는 기능은 이에 한정되지 않는다. 즉, 도 2에 도시된 전자 기기(200)의 구성요소들의 개수 및 배열은 예시적으로 제공된다. 실제로, 전자 장치(200)는 일부 구성을 생략할 수 있고, 다른 기능을 수행하는 도 2에 도시된 것과는 다른 구성을 추가로 포함할 수 있다. 예를 들어, 전자 장치(200)는 가중치 부여부(220)를 생략하고 데이터 중첩부(210), 대표 데이터 생성부(230) 및 학습부(240)만을 포함할 수 있다.
본 개시에서는 설명의 편의를 위해, 도 2에 도시된 학습부(240)가 도 1의 프로세서(120)에 의해 동작되는 것으로 설명하지만 이에 한정되지 않는다. 예를 들어, 학습부(240)의 학습 방법은 도 1의 메모리(110)에 저장되어 프로세서(120)의 명령에 의해 동작하고 대안적으로 또는 추가적으로, 데이터 중첩부(210), 가중치 부여부(220) 및 대표데이터 생성부(230)의 기능은 프로세서(120)의 동작에 의해 수행될 수 있다.
일 실시 예에서 학습부(240)는 별도의 외부 장치로 구현될 수도 있다. 즉, 전자 장치(200)는 송수신부(130)를 이용하여 학습부(240)에 입력되는 대표 데이터를 송신하고/거나, 학습부(240)의 출력 데이터를 수신할 수 있다.
일 실시예에 따라 도 2에 도시된 데이터 중첩부(210), 가중치 부여부(220), 대표 데이터 생성부(230) 및 학습부(240)는 도 1의 프로세서(120)에 의해 수행되는 동작을 기능별로 구분된 것일 수 있다. 대안적으로 또는 추가적으로, 도 2에 도시된 각 부, 시뮬레이터의 동작은 도 1의 메모리(110)에 소프트웨어로 저장되어 프로세서(120)가 실행되면 각 구성을 수행할 수도 있다. 이에 한정되지 않는다.
선택적 또는 추가적 실시예에서, 데이터 중첩부(210), 가중치 부여부(220), 대표 데이터 생성부(230) 및 학습부(240)는 하나의 프로세서를 통해 구현될 수 있다. 즉, 데이터 중첩부(210), 가중치 부여부(220), 대표데이터 생성부(230) 및 학습부(240)는 전용 프로세서로 구현될 수도 있고, AP(application processor) 및/또는 CPU(central processing unit), GPU(graphic processing unit)와 같은 범용 프로세서와 S/W의 조합을 통해 구현될 수도 있다.
다른 선택적 추가적 실시예에서, 데이터 중첩부(210), 가중치 부여부(220), 대표데이터 생성부(230) 및 학습부(240)는 복수의 프로세서로 구성될 수도 있다. 즉, 전용 프로세서들의 조합으로 구현될 수도 있고, AP 또는 CPU, GPU와 같은 다수의 범용 프로세서들과 S/W의 조합을 통해 구현될 수도 있다.
데이터 중첩부(210)는 송수신부(130)를 통해 수신된 기지국 데이터를 소정의 제1 시간 단위로 분할할 수 있다. 대안적으로 또는 추가적으로 데이터 중첩부(210)는 상기 분할된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성할 수 있다. 소정의 제1 시간 단위는 미리 설정된 시간 길이를 의미할 수 있고, 예를 들어, 24 시간일 수 있다.
기지국 데이터는 기지국에 대한 환경에 대한 데이터로, 시간적으로 연속적인 데이터 및/또는 소정의 시간마다 기록된 데이터를 포함할 수 있다. 예를 들어, 기지국 데이터는 PRB(physical resource block) 사용량, IP 스루풋(throughput), 활동 UE(active user equipment)의 수, 다운링크 양 등을 포함할 수 있다.
기지국 데이터는 계절 별 특성을 고려하여 수집될 수 있기 때문에, 학습부(240)를 강화 학습시키기 위해서는 수 년 이상의 기지국 데이터가 필요하다. 수집된 기지국 데이터를 전처리하기 위해서 연산 자원이 다수 필요하고, 따라서, 전처리 연산과정이 복잡할 수 있다.
일 실시예에서, 데이터 중첩부(210)는 수 개월 동안 수집된 기지국 데이터를 중첩시키는 전처리 과정을 수행할 수 있다. 데이터 중첩부(210)에 의해 중첩된 데이터는 소정의 제1 시간 단위 상에서 제1 시간 단위로 분할된 데이터가 중첩된 데이터이므로, 강화 학습에 이용되는 데이터를 전처리 하기 위해 필요한 연산 자원이 줄어드는 효과를 포함하는 다양한 효과가 있을 수 있다.
데이터 중첩부(210)가 기지국 데이터를 중첩시키는 상세한 예시적인 방법은 도 3을 참조하여 설명된다.
일 실시예에서, 가중치 부여부(220)는 데이터 중첩부(210)로부터 생성된 제1 시간 동안의 중첩된 데이터 중에서 최근에 기록된 기지국 데이터에 대해 가중치를 부여할 수 있다.
대안적으로 또는 추가적으로 가중치 부여부(220)가 가중치를 부여하는 방법은 대표데이터 생성부(230)가 중첩된 데이터 중에서 랜덤 샘플링(random sampling)하는 경우, 먼저 기록된 데이터가 더 적은 샘플 수를 갖도록 샘플링 수를 조절할 수 있다.
예를 들어, 도 1의 송수신부(130)를 통해 획득된 데이터가 1일부터 90일 동안 기록된 PRB 사용량을 포함할 수 있고, 데이터 중첩부(210)가 수신된 PRB 사용량을 24시간 단위로 나누어 중첩된 데이터를 생성하는 경우, 24시간의 중첩된 데이터는 각 시간 별로 90개의 데이터를 가질 수 있다. 즉, 각 시간 별 90개의 데이터는 각각 1일 내지 90일까지의 복수의 데이터로 구성될 수 있다.
이 경우, 가중치 부여부(220)는 1일 내지 30일의 기간에 기록된 데이터에 대해서는 N개를 랜덤 샘플링하도록 설정할 수 있다. 여기서 N은 0보다 큰 양의 정수를 의미한다. 대안적으로 또는 추가적으로, 가중치 부여부(220)는 31일 내지 60일의 기간에 기록된 데이터에 대해서는 1.1*N개를 랜덤 샘플링하도록 설정할 수 있다. 이러한 예시에서는 61 내지 90일의 기간에 기록된 데이터에 대해서는 1.2*N개를 랜덤 샘플링하도록 설정할 수 있다.
즉, 일 실시예에 따른 가중치 부여부(220)는 최근 기록된 기지국 데이터에 샘플링 수를 더 늘려 최근 기록에 가중치를 부여할 수 있다.
가중치 부여부(220)가 설정하는 샘플링 수, 기간은 예시적인 것에 불과하며, 수신된 기지국 데이터, 사용자의 설정 및/또는 전자 장치(200)의 디자인 제약에 의해 다른 설정 값을 설정할 수 있다. 예를 들어, 가중치 부여부(220)는 제1 시간을 48시간으로 설정할 수 있다.
대안적으로 또는 추가적으로, 최근에 기록된 데이터에 가중치를 부가하는 방법은 상술한 방법외에 기 공지된 다양한 방법이 이용될 수 있다. 즉, 본 개시는 상술한 방법에 한정되지 않는다. 예를 들어, 대표데이터 생성부(230)가 랜덤 샘플링된 데이터에 히스토그램을 생성하는 경우, 이전 시점에 샘플링된 데이터에 대해 더 작은 값을 갖도록 가중치를 부여할 수도 있다.
일 실시예에 따라 전자 장치(200)가 가중치 부여부(220)를 포함하지 않는 경우, 전자 장치(200)는 중첩된 데이터에 대해 시간에 관계없이, 동일한 샘플 수를 설정할 수 있다. 즉, 중첩된 데이터는 각 제1 시간 단위에 대해 동일한 수의 샘플을 포함할 수 있다.
일 실시예에 따른 대표데이터 생성부(230)는 데이터 중첩부(210)에 의해 생성된 중첩 데이터와 가중치 부여부(220)에 의해 설정된 가중치에 기초하여, 제1 대표 데이터를 생성할 수 있다.
예를 들어, 대표데이터 생성부(230)는 중첩된 데이터를 소정의 제2 시간 간격 단위로 나누어 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산할 수 있다. 대안적으로 또는 추가적으로, 대표데이터 생성부(230)는 제2 시간 간격 별 확률 밀도 함수를 이용하여, 제1 시간의 적어도 하나의 제1 대표 데이터를 생성할 수 있다.
일 실시예에서, 대표 데이터 생성부(230)는 제2 시간 간격으로 나뉜 제1 데이터를 랜덤 샘플링 하여 제2 시간 간격 별 히스토그램(histogram)을 생성할 수 있다. 대안적으로 또는 추가적으로, 대표 데이터 생성부(230)는 제2 시간 간격 별 히스토그램에 대한 제2 시간 간격 별 확률 밀도 함수를 연산할 수 있다. 선택적 또는 추가적 실시예에서, 대표 데이터 생성부(230)는 제2 시간 간격 별 확률 밀도 함수를 이용하여 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 생성할 수 있다. 선택적 또는 추가적 실시예에서, 대표 데이터 생성부(230)는 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 제2 시간 간격으로 연결하여 적어도 하나의 제1 대표 데이터를 생성할 수 있다.
제1 대표 데이터는 후술할 학습부(240)를 학습시키기 위한 기지국의 환경 데이터일 수 있다. 대안적으로 또는 추가적으로, 제1 대표 데이터는 제2 시간 간격 별 확률 밀도 함수의 평균(mean) 값 및/또는 표준 편차(standard deviation) 값을 이용하여 생성될 수 있다.
대표데이터 생성부(230)가 제1 대표 데이터를 생성하는 예시적인 방법에 대해서는 도 4를 참조하여 설명된다.
일 실시예에서, 대표데이터 생성부(230)는 생성된 제1 대표 데이터를 이용하여 기지국 모델을 포함하는 네트워크 디지털 트윈을 생성할 수 있다. 여기서, 네트워크 디지털 트윈을 생성한다는 의미는 네트워크 디지털 트윈에 포함된 기지국 모델의 기능 활성화 여부, 기지국 모델의 동작과 관련된 동작 파라미터, 및/또는 상용망 기지국을 모사(replicate)하기 위한 적어도 하나의 입력 파라미터를 설정하는 것을 의미할 수 있다.
즉, 대표데이터 생성부(230)는 제1 대표 데이터를 이용하여 상용망 기지국이 동작하는 환경을 모사하기 위해, 네트워크 디지털 트윈에 포함된 기지국 모델의 적어도 하나의 파라미터를 설정할 수 있다.
기지국 모델의 동작과 관련된 동작 파라미터는 핸드 오버(Handover) 파라미터, 선택 또는 재선택 파라미터, 셀 On/Off 파라미터 및 로드 밸런싱(load balancing) 파라미터 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 기능 활성화 여부는 스케쥴링 알고리즘, 핸드 오버 알고리즘, DRX(discontinuous reception) 알고리즘 중 적어도 하나의 알고리즘 활성화 여부를 결정하는 것을 포함할 수 있다.
상용망 기지국을 모사하기 위한 적어도 하나의 입력 파라미터는 평균 패킷 크기, 평균 요청 간격(request interval), 단말의 수 중 적어도 하나를 나타낼 수 있다.
대표데이터 생성부(230)는 상용망 기지국의 기지국 데이터 중에서 대표 데이터를 생성함으로써 적은 수의 네트워크 디지털 트윈을 생성할 수 있고 이로 인해 연산 자원이 줄어드는 효과를 포함하는 다양한 효과가 있을 수 있다.
대표데이터 생성부(230)가 생성한 네트워크 디지털 트윈은 학습부(240)에 의해 다양한 설정을 적용한 결과를 바탕으로 강화학습 될 수 있다.
학습부(240)는 도 6의 기지국 모델(245)의 동작을 강화 학습하기 위해, 대표데이터 생성부(230)에 의해 생성된 기지국 환경과 관련된 제1 대표 데이터를 이용하여 기지국 모델(245)의 동작을 학습시킬 수 있다.
학습부(240)가 제1 대표 데이터를 이용하여 기지국 모델(245)의 동작을 학습시키는 예시적인 방법은 도 6 및 도 7의 예시를 참조하여 설명한다.
도 3은 일 실시예에 따른 전자 장치가 기지국 데이터를 이용하여 생성한 중첩 데이터를 나타낸다.
도 2 및 도 3을 참조하면, 예를 들어, 전자 장치(200)가 획득한 기지국 데이터(310)가 PRB 사용량이고 7일간 기록될 수 있다. 일 실시예에서, 먼저 데이터 중첩부(210)는 획득된 기지국 데이터(310)를 1일인 24시간 단위로 나눠 1일 기지국 데이터(311) ,2일 기지국 데이터(312), 3일 기지국 데이터(313), 4일 기지국 데이터(314), 5일 기지국 데이터(315), 6일 기지국 데이터(316) 및 7일 기지국 데이터(317)를 생성할 수 있다. 도 3을 참조하면, 획득된 기지국 데이터(310)의 x축은 기지국 데이터가 측정된 최초 시각(예를 들어, 0시)에서 최종 측정 시각(예를 들어, 168시)까지의 각 시간(hour)을 의미할 수 있고, y축은 PRB 사용량(백분율(%) 단위)을 의미할 수 있다.
일 실시예에서, PRB 사용량은 24시간 단위로 비슷한 양상을 보일 수 있다. 따라서, 데이터 중첩부(210)는 제1 시간 간격을 24시간으로 설정할 수 있다.
일 실시예에 따른, 데이터 중첩부(210)는 생성된 1일 기지국 데이터(311) 내지 7일 기지국 데이터(317)를 하나의 그래프로 중첩시켜 중첩 데이터(320)를 생성할 수 있다. 여기서, 중첩 데이터(320)의 x축은 제1 시간 간격(예를 들어, 24시간 또는 0시부터 24시)을 나타낼 수 있다. 중첩 데이터(320)의 y축은 PRB 사용량을 의미할 수 있다.
중첩 데이터(320)는 1일 기지국 데이터(311) 내지 7일 기지국 데이터(317)까지 모든 데이터를 제1 시간 간격(예를 들어, 24시간)의 하나의 데이터로 중첩시킨 데이터로, 7일 동안의 PRB 사용량이 한번에 확인될 수 있다.
데이터 중첩부(210)에 의해 생성된 중첩 데이터(320)는 대표데이터 생성부(230)에 의해 제1 대표 데이터를 생성하는데 이용된다.
대표데이터 생성부(230)는 소정의 제2 시간 간격으로 나뉜 기지국 데이터(310)를 랜덤 샘플링 하여 제2 시간 간격 별 히스토그램(histogram)을 생성할 수 있다. 대안적으로 또는 추가적으로 대표데이터 생성부(230)는 2 시간 간격 별 히스토그램에 대한 상기 제2 시간 간격 별 확률 밀도 함수를 연산할 수 있다.
도 3에 도시된 기지국 데이터(310), 중첩 데이터(320) 및 생성된 1일차 기지국 데이터(311) 내지 7일차 기지국 데이터(317)는 서로 중첩되는 것으로 이해되어야 한다. 도 3은 하나의 예시일 뿐이며, 다른 실시예는 상이한 데이터 및/또는 상이한 시간 단위를 가질 수 있다. 즉, 도 3에 개시된 예는 본 개시의 범위를 제한하려는 것이 아니라 단지 다양한 실시예를 대표하는 것이다.
도 4는 일 실시예에 따른 전자 장치가 생성한 확률 밀도 함수의 대표 데이터를 나타낸다.
도 2 에서 도 4에 도시된 그래프의 x축은 샘플링된 퍼센트(%) 단위의 PRB 사용량을 의미할 수 있고, y축은 0부터 1사이의 값을 지니는 확률 밀도(probability density, 예를 들어, 실선) 값 일 수 있다.
일 실시예에서, 대표데이터 생성부(230)는 제2 시간 간격을 1시간 간격으로 설정하고, 도 3의 중첩 데이터(320) 중 4시 구간에 대해 랜덤 샘플링을 수행하여 샘플링된 PRB 사용량에 대한 히스토그램 및/또는 확률 밀도 함수를 생성할 수 있다.
즉, 대표데이터 생성부(230)는 제2 시간 간격이 1시간으로 설정되고, 4시 구간에 해당하는 데이터를 랜덤 샘플링한다고 하면, 4시로부터 30분 전에서 30분 후까지의 데이터를 랜덤 샘플링할 수 있다. 예를 들어, 대표데이터 생성부(230)는 도 3의 3시 30분부터 4시 30분까지의 PRB 사용량 데이터 중에서 N개의 데이터를 랜덤 샘플링 할 수 있다. 여기서, N은 0보다 큰 양의 정수이다.
상술한 방법으로 대표데이터 생성부(230)는 0시 구간 내지 24시 구간에 대한 PRB 사용량에 대한 데이터를 각각 랜덤 샘플링 할 수 있다. 이 경우, 0시 구간은 0시에서 0시 30분까지의 시간에 해당할 수 있고, 24시 구간은 23시 30분부터 24시까지의 시간에 해당할 수 있다.
대안적으로 또는 추가적으로, 대표데이터 생성부(230)가 설정하는 제2 시간 간격은 2시간 간격일 수 있다. 이 경우, 대표데이터 생성부(230)는 0시 구간, 2시 구간, 4시 구간, ... ,24시 구간에 대해 각각 N개의 데이터를 랜덤 샘플링할 수 있다. 여기서 N은 0보다 큰 양의 정수일 수 있다.
일 실시예에 따른 대표데이터 생성부(230)는 제2 시간 간격으로 나뉜 제1 데이터 중에서, 제1 시간 단위를 기준으로 먼저 기록된 제1 데이터가 더 적은 샘플 수를 갖도록 랜덤 샘플링할 수 있다.
예를 들어, 도 3의 기지국 데이터(310)가 1일에서 90일까지의 데이터이고, 제1 시간 단위가 24시간이고, 제2 시간 단위가 1시간인 경우, 데이터 중첩부(210)에 의해 생성된 도 3의 중첩 데이터(320)는 1일에서 90일까지의 날짜 별 기지국 데이터가 0에서 24시까지에 중첩되어 존재한다. 대표데이터 생성부(230)는 생성된 시간 별 도 3의 중첩 데이터(320) 중에서 24시간, 즉 1일 단위를 기준으로 먼저 기록된 데이터를 더 적게 샘플링 할 수 있다.
일 실시예에서, 대표데이터 생성부(230)가 샘플 수 N개를 랜덤 샘플링 하는 경우, 1일에서 30일 사이에 기록된 기지국 데이터(310) 중에서 N/6개를 랜덤 샘플링하고, 31일에서 60일 사이에 기록된 기지국 데이터(310) 중에서 N/3개를 랜덤 샘플링하고, 61일에서 90일 사이에 기록된 기지국 데이터(310) 중에서 N/2개를 랜덤 샘플링 할 수 있다.
즉, 대표데이터 생성부(230)는 더 최근에 기록된 데이터를 더 많이 랜덤 샘플링함으로써 최근에 기록된 데이터에 가중치를 줄 수 있다. 따라서, 대표 데이터 생성부(230)는 기지국 모델을 최근 기지국 데이터 동작 환경에 가깝게(예를 들어, 더 유사하게) 학습시킬 수 있다.
대표데이터 생성부(230)는 시간 별로 랜덤 샘플링된 데이터로 히스토그램을 생성하고, 생성된 히스토그램으로부터 시간 별 확률 밀도 함수를 생성할 수 있으며, 생성된 시간 별 확률 밀도 함수에서 적어도 하나의 시간 간격 별 제2 대표 데이터를 생성할 수 있다.
시간 간격 별 적어도 하나의 제2 대표 데이터는 각 시간에서 획득된 기지국 데이터(3210)를 대표할 수 있는 데이터를 나타낼 수 있다. 예를 들어, 제2 대표 데이터는 상기 확률 밀도 함수의 평균(mean)μ, 중앙값(median), 최대(maximum), 최소(minimum) 및/또는 평균과 표준 편차(standard deviation) σ를 이용하여 연산된 값 등 일 수 있다. 대안적으로 또는 추가적으로, 제2 대표 데이터는 각 시간 간격에서 기지국 데이터(310)를 대표할 수 있는 값이면 이에 한정되지 않는다.
일 실시예에 따른 시간 간격 별 적어도 하나의 제2 대표 데이터는 μ-3σ, μ-2σ,μ+2σ,μ+3σ일 수 있다. 즉, 대표 데이터 생성부(230)는 약 95%의 확률로 기지국 데이터(310)가 있을 수 있는 상한 및 하한 경계 값인 μ±2σ 및 약 99%의 확률로 기지국 데이터(310)가 있을 수 있는 상한 및 하한 경계 값인 μ±3σ를 각각 적어도 하나의 제2 대표 데이터로 선정할 수 있다.
대표데이터 생성부(230)가 제2 대표 데이터로 μ-3σ, μ-2σ,μ+2σ,μ+3σ를 선정함에 따라, 실제 환경이 존재할 가능성이 높은 경계 값의 데이터를 대표 데이터를 이용하여 기지국 모델(245)이 학습될 수 있다. 다시 말해, 기지국 모델(245)은 실제 기지국 환경 중에서 가장 좋은 환경과 가장 좋지 않은 환경을 제공받아 학습될 수 있다.
일 실시예에 따른 대표데이터 생성부(230)는 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 제2 시간 간격으로 연결하여 적어도 하나의 제1 대표 데이터를 생성할 수 있다. 제1 대표 데이터는 제1 시간 동안의 기지국 데이터)31-_ 중 대표 데이터를 연결한 값일 수 있다. 제1 대표 데이터는 본 개시에서 용어 "컴팩션"(compaction)과 혼용되어 사용될 수 있다.
도 5는 일 실시예에 따라 제1 시간 동안의 대표 데이터를 나타낸다.
도 5에서 x축은 0시에서 24시까지의 각 시간(hour)을 나타내고, y축은 퍼센트(%) 단위로 측정된 PRB 사용량을 의미할 수 있다.
도 2 및 도 5를 참조하면, 대표데이터 생성부(230)는 적어도 하나의 제2 대표 데이터를 연결하여 제1 대표 데이터를 생성하여 제1 시간 단위인 1일 동안의 제1 대표 데이터 변화를 나타낼 수 있다.
예를 들어, 제2 대표 데이터로 μ+3σ가 선정된 경우, 대표데이터 생성부(230)는 0시의 제2 대표 데이터와 1시의 제2 대표데이터를 직선으로 연결하고, 1시의 제2 대표 데이터와 2시의 제2 대표 데이터를 연결하여, 제1 컴팩션(511)을 생성할 수 있다.
상술한 방법을 이용하여, 제2 대표 데이터로써 μ+2σ를 이용하여 제2 컴팩션(513)이 생성될 수 있고, 제2 대표 데이터로써 μ를 이용하여, 제3 컴팩션(515)이 생성될 수 있으며, 제2 대표 데이터로써 μ-2σ를 이용하여, 제4 컴팩션(517)이 생성될 수 있으며, 제2 대표 데이터로써 μ-3σ를 이용하여, 제5 컴팩션(519)이 생성될 수 있다.
즉, 대표데이터 생성부(230)는 제1 시간 단위 동안의 제2 시간 간격 별로 기지국 데이터에 대한 대표 데이터들을 연결한 적어도 하나의 제1 대표 데이터를 생성할 수 있다.
예를 들어, 기지국 데이터(310)가 PRB 사용량을 포함하는 경우, 적어도 하나의 제1 대표 데이터는 90일 동안의 기지국 데이터(310) 중에서 기지국 환경이 좋지 않은(예를 들어, PRB 사용량이 높은 경우) 제1 컴팩션(511)부터, 기지국 환경이 좋은(예를 들어, PRB 사용량이 낮은 경우) 제5 컴팩션(519)까지 대표적인 상황을 모두 포함할 수 있다.
일 실시예에서전자 장치(200)는 대표 데이터를 선정함으로써 적은 수의 기지국 데이터(310)를 이용하여 기지국 모델(245)을 강화 학습시킬 수 있다. 즉, 전자 장치(200)는 적은 수의 기지국 데이터(310)를 각 동작에 대한 시뮬레이션 횟수가 줄어듦에 따라, 학습에 필요한 연산 속도가 빨라지는 효과를 포함하는 다양한 효과가 존재할 수 있다.
일 실시예에 따른 학습부(240)는 대표 데이터 생성부(230)에 의해 생성된 적어도 하나의 제1 대표 데이터를 이용하여 네트워크 디지털 트윈(digital twin)을 위한 기지국 모델(245)을 학습시킬 수 있다.
도 6은 일 실시예에 따른 학습부가 기지국 모델을 강화 학습시키기 위한 기능을 나타내는 예시적인 블록도이다.
도 6을 참조하면, 학습부(240)는 보상 결정부(241), 보상 판단부(243) 및 기지국 모델(245)을 포함할 수 있다. 본 개시에서는 설명의 편의를 위해 기지국 모델(245)이 학습부(240)에 포함되는 것으로 설명하지만 이에 한정되지 않는다. 예를 들어, 기지국 모델(245)은 도 1의 메모리(110)에 저장되어 있을 수도 있고, 외부 장치(예를 들어, 서버)에 저장되어 있을 수 있다.
학습부(240)의 학습 방법으로 강화 학습을 선택할 수 있다. 강화 학습은 기계 학습(machine learning)의 한 영역으로, 현재의 상태(state)에서 어떤 동작(action)을 취하는 것이 최적인지를 학습하는 방법을 의미할 수 있다. 예를 들어, 강화 학습의 학습 방법은 에이전트(agent)가 동작을 취할 때마다 외부 환경에서 보상(reward)이 주어지는데, 이러한 보상을 최대화하는 방향으로 학습이 진행될 수 있다.
보상 결정부(241)는 대표데이터 생성부(230)가 생성한 대표 데이터 및 에어전트로서 기지국 모델(245)이 수행하는 동작을 입력으로 입력 받을 수 있다. 대안적으로 또는 추가적으로 보상 결정부(241)는 각 동작 및 대표 데이터에 대응되는 환경에 따른 제2 시간 간격 별 보상을 연산할 수 있다.
즉, 보상 결정부(241)는 기지국 환경을 나타내는 적어도 하나의 제1 대표 데이터에 대해 기지국 모델(245)이 선택할 수 있는 동작을 시뮬레이션하여 제2 시간 별로 동작 각각의 보상을 연산할 수 있다.
보상 판단부(243)는 보상 결정부(241)가 연산한 시간별 보상에 기초하여, 기지국 모델(245)에 학습데이터를 전달할 수 있다. 예를 들어, 보상 판단부(243)는 각 시간 별 보상에 대한 최소 보상의 총합을 이용하여 기지국 모델(245)이 최소 보상에 대응되는 동작을 수행하지 않도록(예를 들어, 방지될 수 있도록) 학습데이터를 제공할 수 있다.
즉, 보상 판단부(243)는 제1 대표 데이터로 대표되는 기지국 환경에 대해, 각 동작을 수행하므로써 발생할 수 있는 KPI(key performance indicator) 열화에 안전하게 동작하도록 기지국 모델(245)를 학습시키기 위한 학습데이터를 생성할 수 있다. 대안적으로 또는 추가적으로 기지국 모델(245)는 에너지 절약이 최대화될 수 있는 방식으로 동작할 수 있다.
일 실시예에 따른 기지국 모델(245)은 네트워크 디지털 트윈을 구축하기 위한 실제 기지국을 모사한 모델일 수 있다. 대안적으로 또는 추가적으로, 기지국 모델(245)은 강화 학습의 에이전트로서 보상에 따라 동작을 수행하는 주체로 학습의 대상이 될 수 있다.
일 실시예에서, 기지국 모델(245)은 실제 기지국과 유사한 기능을 수행할 수 있도록 미리 설정되거나 입력(예를 들어, 사용자의 입력)에 의해 기지국의 복수의 동작이 입력될 수 있고, 이에 대한 다양한 설정 값들이 입력될 수 있다.
예를 들어, 기지국 모델(245)의 동작은 PRB(physical resource block) 사용량에 기초하여, 적어도 하나의 셀을 온(on)시키는 동작 및 상기 적어도 하나의 셀을 오프(off)시키는 동작을 포함할 수 있다. 다만, 이에 제한되지 않는다.
기지국 모델(245)이 적어도 하나의 제1 대표 데이터를 이용하여 강화 학습되는 과정은 도 7을 참조하여 설명한다.
도 7은 일 실시예에 따른 기지국 모델을 학습시키기 위해 보상 값을 출력하는 과정을 나타낸다.
도 6 및 도 7을 참조하면, 보상 결정부(241)는 기지국 환경인 제1 컴팩션(511), 제2 컴팩션(513), 제3 컴팩션(515), 제4 컴팩션(517) 및 제5 컴팩션(519)의 각 제2 시간 별로 각각 기지국 모델(245)의 동작을 수행할 수 있록 시뮬레이션 할 수 있다. 일 실시예에서, 제1 컴팩션(511) 내지 제5 컴팩션(519)에서 기지국 모델(245)의 동작이 수행되는 경우 보상은 각각 Rmax, R75p, Ravg, R25p 및 Rmin로 정의되는 보상에 대응될 수 있다.
기지국 모델(245)의 특정 상태에서 기지국 모델(245)의 동작에 따라 기지국 모델(245)의 상태가 변할 수 있다. 따라서, 보상 결정부(241)는 변경된 기지국 모델(245)의 상태를 기반으로 소정의 규칙에 따라 보상값을 연산할 수 있다.
소정의 규칙은 통신 성능을 보장하고 전력 절감을 최대화하기 위한 규칙을 포함할 수 있다. 대안적으로 또는 추가적으로 소정의 규칙은 소비전력이 증가함에 따라 보상은 낮아지도록 설정된 규칙을 포함할 수 있다. 또한, 상기 소정의 규칙은 미리 설정된 소정의 값 보다 IP 처리량이 낮아지면 음수의 보상을 갖도록 설정된 규칙일 수 있다.
그러나, 본 개시는 이에 제한되지 않는다. 즉, 이와 같이 소정의 규칙은 설계 제한이나, 기지국 환경에 따라 임의의 다양한 규칙이 적용될 수 있다.
일 실시예에서, 제2 시간 간격 별로 상기 제1 컴팩션(511) 내지 제5 컴팩션(519) 환경에서 기지국 모델(245)은 동작을 수행할 수 있다. 따라서, 보상 결정부(241)는 통신 성능이 보장되면서 전력 절감이 최대화되도록 시간 별 보상을 연산할 수 있다. 즉, 보상 결정부(241)는 KPI열화를 최소화하도록 하기 위해 제2 시간 간격 별 제1 컴팩션(511) 내지 제5 컴팩션(519)의 보상 중에서 가장 최소 보상을 해당 제2 시간의 보상으로 선정할 수 있다.
예를 들어, 3시에서 제1 컴팩션(511)의 보상 Rmax가 10, 제2 컴팩션(513)의 보상 R75p가 7, 제3 컴팩션(515)의 보상 Ravg가 6, 제4 컴팩션(517)의 보상 R25p가 -1, 제5 컴팩션의 보상 Rmin이 1으로 계산되는 경우, 보상 결정부(241)는 제4 컴팩션(517)의 보상(703)을 3시의 보상으로 선정(예를 들어, 최소 보상 값)할 수 있다. 대안적으로 또는 추가적으로, 보상 결정부(241)는 이와 같은 방법으로 1시의 보상(701), 2시의 보상(702), 4시의 보상(704), 5시의 보상(705) 부터 24시의 보상(707)을 연산 및 선정할 수 있다.
일 실시예에서, 보상 판단부(243)는 보상 결정부(241)로부터 제2 시간 별 보상을 전달받아, 모든 학습 데이터를 하기의 수학식 1과 같이 연산할 수 있다.
Figure PCTKR2023006031-appb-img-000001
여기서,
Figure PCTKR2023006031-appb-img-000002
는 기지국 모델(245)의 동작을 의미하고,
Figure PCTKR2023006031-appb-img-000003
는 제2 시간을 의미하고,
Figure PCTKR2023006031-appb-img-000004
는 각 컴팩션을 의미하며,
Figure PCTKR2023006031-appb-img-000005
는 각 시간에서 컴팩션 별 보상을 의미할 수 있다.
즉, 보상 판단부(243)는 기지국 모델(245)의 동작 및 동작에 대한 각 시간 별 보상에 대한 최소값의 합을 학습 데이터로 기지국 모델(245)에 전달하여, 기지국 모델(245)을 강화 학습시킬 수 있다.
일 실시예에 따른 기지국 모델(245)은 보상 판단부(243)로부터 획득된 학습 데이터를 이용하여 보상을 최대화되는 동작을 수행하도록 학습될 수 있다. 대안적으로 또는 추가적으로, 연산된 보상 값의 총합이 가장 작은 동작은 수행하지 않도록 기지국 모델(245)이 학습될 수 있다.
이와 같이 전자 장치(200)는 기지국 모델(245)을 강화학습 시켜 KPI 열화를 최소화하면서도 에너지 절감 효과를 포함하는 다양한 효과가 발생될 수 있다.
도 7을 참조하여, 기지국 모델(245) 학습을 위한 기지국 대표 데이터 생성하는 전자 장치(200)의 예시적인 구성 및 기능을 설명하였다. 이하에서는 전자 장치(200)가 기지국 모델(245) 학습을 위해 대표 데이터를 생성하는 예시적인 방법에 대해 설명한다.
도 8은 일 실시예에 따른 전자 장치가 기지국 모델을 학습시키기 위한 대표 데이터를 생성하는 예시적인 방법을 나타내는 흐름도이다.
도 2 및 도 8을 참조하면, 전자 장치(200)는 획득된 적어도 하나의 기지국 데이터(310)를 소정의 제1 시간 단위에 따라 복수의 조각으로 분할할 수 있다(S810).
전자 장치는 분할된 기지국 데이터를 상기 제1 시간 단위 마다 중첩시켜 제1 시간 단위의 제1 데이터를 생성할 수 있다(S810).
일 실시예에 따른 기지국 데이터(310)는 PRB(physical resource block) 사용량, IP 처리량(throughput), 활동 UE(active user equipment)의 수 및 다운링크 양 중 하나의 데이터를 포함할 수 있다.
일 실시예에서, PRB 사용량은 일정 시간 동안 사용 가능한 전체 PRB의 수에 대한 사용된 PRB의 수 사이의 비율을 의미할 수 있다. 대안적 또는 추가적으로 PRB 수용량은 시간 별로 나누어 연속적(예를 들어, 주기적, 비주기적)으로 수집된 데이터일 수 있다.
전자 장치(200)는 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 나누어 제2 시간 간격 별 적어도 하나의 확률 밀도 함수를 연산할 수 있다(S820).
예를 들어, 전자 장치(200)는 소정의 제2 시간 간격으로 나뉜 기지국 데이터(310)를 랜덤 샘플링 하여 제2 시간 간격 별 히스토그램(histogram)을 생성할 수 있다. 대안적으로 또는 추가적으로, 전자 장치(200)은 2 시간 간격 별 히스토그램에 대한 상기 제2 시간 간격 별 확률 밀도 함수를 연산할 수 있다.
전자 장치(200)는 연산된 제2 시간 별 적어도 하나의 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성할 수 있다(S830).
일 실시예에서, 전자 장치(200)는 제2 시간 간격으로 나뉜 제1 데이터를 랜덤 샘플링 하여 제2 시간 간격 별 히스토그램(histogram)을 생성할 수 있다. 대안적으로 또는 추가적으로, 전자 장치(200)는 제2 시간 간격 별 히스토그램에 대한 제2 시간 간격 별 확률 밀도 함수를 연산할 수 있다. 선택적 또는 추가적 실시예에서, 전자 장치(200)는 제2 시간 간격 별 확률 밀도 함수를 이용하여 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 생성하고, 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 제2 시간 간격으로 연결하여 적어도 하나의 제1 대표 데이터를 생성할 수 있다.
일 실시예에 따른 제1 대표 데이터는 기지국 모델(245)를 학습시키기 위한 기지국의 환경 데이터를 포함할 수 있다. 대안적으로 또는 추가적으로, 제1 대표 데이터는 제2 시간 간격 별 확률 밀도 함수의 평균(mean) 값 및/또는 표준 편차(standard deviation) 값을 이용하여 생성될 수 있다.
전자 장치(200)는 생성된 적어도 하나의 대표 제1 데이터에 기초하여, 기지국 모델(245)을 학습시킬 수 있다(S840).
일 실시예에서, 기지국 모델(245)은 네트워크 디지털 트윈을 구축하기 위한 실제 기지국을 모사한 모델을 포함할 수 있다. 대안적으로 또는 추가적으로, 기지국 모델(245)은 강화 학습의 에이전트일 수 있다. 즉, 기지국 모델(245)는 보상에 따라 동작을 수행하는 주체로 학습의 대상이 될 수 있다.
일 실시예에서, 기지국 모델(245)은 실제 기지국과 유사한 기능을 수행할 수 있도록 미리 설정될 수 있다. 대인적으로 또는 추가적으로 기지국 모델(245)은 입력(예를 들어, 사용자의 입력)에 의해 기지국의 복수의 동작이 입력될 수 있고, 이에 대한 다양한 설정 값들이 입력될 수 있다.
도 9은 일 실시예에 따른 기지국 모델을 학습시키는 방법을 나타내는 흐름도이다.
도 2 및 도 9를 참조하면, 전자 장치(200)는 생성된 적어도 하나의 대표 데이터의 환경에 기지국 모델(245)의 적어도 하나의 동작을 적용시켜 제2 시간 간격 별로 각 제1 대표 데이터의 보상 값을 출력할 수 있다(S910).
일 실시예에서, 기지국 모델(245)의 동작은 PRB(physical resource block) 사용량에 기초하여, 적어도 하나의 셀을 온(on)시키는 동작 및 상기 적어도 하나의 셀을 오프(off)시키는 동작을 포함할 수 있다.
, 기지국 모델(245)의 특정 상태에서 기지국 모델의 동작에 따라 기지국 모델(245)의 상태가 변할 수 있다. 따라서, 변경된 기지국 모델의 상태를 기반으로 소정의 규칙에 따라 보상값이 연산될 수 있다.
소정의 규칙은 통신 성능을 보장하고 전력 절감을 최대화하기 위한 규칙을 포함할 수 있다. 대안적으로 또는 추가적으로 소정의 규칙은 소비전력이 증가함에 따라 보상은 낮아지도록 설정된 규칙일 수 있다. 또한, 상기 소정의 규칙은 미리 설정된 소정의 값 보다 IP 처리량이 낮아지면 음수의 보상을 갖도록 설정된 규칙일 수 있다.
그러나, 본 개시는 이에 제한되지 않는다. 즉, 이와 같이 소정의 규칙은 설계 제한이나, 기지국 환경에 따라 임의의 다양한 규칙이 적용될 수 있다.
대안적으로 또는 추가적으로, 전자 장치(200)는 대표 데이터 및 에어전트로서 기지국 모델(245)의 동작을 입력으로 입력 받을 수 있다. 따라서, 전자 장치(200)는 각 동작 및 대표 데이터에 대응되는 환경에 따른 제2 시간 간격 별 보상을 출력할 수 있다.
전자 장치(200)는 출력된 보상 값 중에서 제2 시간 별 대표 보상 값을 선정할 수 있다(S920).
일 실시예에서, 적어도 하나의 제1 대표 데이터 중에서 제2 시간 별 보상 값이 가장 작은 값을 갖는 값이 제2 시간별 대표 보상 값으로 선정될 수 있다. 이에 따라, 전자 장치(200)는 통신 성능이 보장되면서 전력 절감이 최대화되도록 제2 시간 별 대표 보상을 연산할 수 있다.
전자 장치(200)는 선정된 제2 시간 별 대표 보상 값의 총합을 연산하여 적어도 하나의 동작 중에서, 연산된 보상 값의 총합이 가장 작은 동작은 수행하지 않도록 기지국 모델(245)을 학습시킬 수 있다(S930).
일 실시에에서, 기지국 모델(245)을 학습시키기 위한 대표 데이터를 생성하는 전자 장치(200)는 적어도 하나 이상의 인스트럭션을 저장하는 메모리(100), 송수신부(130) 및 상기 메모리(110)에 저장된 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서(120)를 포함할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 실행될 시 상기 송수신부(130)를 통해 수신된 기지국 데이터를 소정의 제1 시간 단위로 분할하고, 상기 분할된 기지국 데이터(310)를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 추가로 실행될 시, 상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 나누어 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 추가로 실행될 시, 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 추가로 실행될 시, 상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델(245)을 학습시킬 수 있다.
일 실시예에서, 상기 기지국 데이터(310)는, PRB(physical resource block) 사용량, IP 처리량(throughput), 활동 UE(active user equipment)의 수 및 다운링크 양 중 적어도 하나의 데이터를 포함할 수 있다.
상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 추가로 실행될 시 상기 제2 시간 간격으로 나뉜 제1 데이터를 랜덤 샘플링 하여 상기 제2 시간 간격 별 히스토그램(histogram)을 생성할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 추가로 실행될 시 상기 제2 시간 간격 별 히스토그램에 대한 상기 제2 시간 간격 별 확률 밀도 함수를 연산할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 추가로 실행될 시 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 선정할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 상기 제2 시간 간격으로 연결하여 상기 적어도 하나의 제1 대표 데이터를 생성할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 추가로 실행될 시 상기 제2 시간 간격으로 나뉜 제1 데이터 중에서, 상기 제1 시간 단위를 기준으로 먼저 기록된 제1 데이터가 더 적은 샘플 수를 갖도록 상기 랜덤 샘플링할 수 있다.
일 실시예에서, 상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 추가로 실행될 시 상기 제2 시간 간격 별 확률 밀도 함수의 평균값(mean) 및 표준 편차(standard deviation)를 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 선정할 수 있다.
상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 추가로 실행될 시 상기 생성된 적어도 하나의 대표 데이터에 기초하여 상기 기지국 모델(245)을 포함하는 네트워크 디지털 트윈의 적어도 하나의 파라미터를 설정하여 상기 네트워크 디지털 트윈을 생성할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 추가로 실행될 시, 상기 적어도 하나의 대표 데이터의 환경에 상기 기지국 모델(245)의 적어도 하나의 동작을 적용시켜 상기 제2 시간 간격 별로 각 제1 대표 데이터의 보상 값을 출력할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 추가로 실행될 시 상기 출력된 보상 값 중에서 상기 제2 시간 별 대표 보상 값을 선정할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 추가로 실행될 시 상기 선정된 제2 시간 별 대표 보상 값의 총합을 연산하여 상기 적어도 하나의 동작 중에서, 상기 연산된 보상 값의 총합이 가장 작은 동작은 수행하지 않도록 상기 기지국 모델(245)을 학습시킬 수 있다
상기 적어도 하나의 프로세서(120)는, 상기 인스트럭션들이 추가로 실행될 시 상기 제2 시간 간격 별 상기 출력된 보상 값 중에서 가장 작은 보상 값을 상기 제2 시간 별 대표 보상 값으로 선정할 수 있다.
일 실시예에서, 상기 기지국 모델의 적어도 하나의 동작은, PRB(physical resource block) 사용량에 기초하여, 적어도 하나의 셀을 온(on)시키는 동작 및 상기 적어도 하나의 셀을 오프(Off)시키는 동작중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 적어도 하나의 셀을 온(on)시키는 동작은, 소정의 주파수 대역의 상기 IP 처리량 및/또는 상기 PRB 사용량이 소정의 제1 값 이상인 경우, 해당 주파수 대역의 적어도 하나의 셀을 온 시키는 동작을 포함할 수 있다. 선택적 또는 추가적 실시예에서, 상기 적어도 셀을 셀을 오프(Off)시키는 동작은, 소정의 주파수 대역의 상기 IP 처리량 및/또는 상기 PRB 사용량이 소정의 제2 값 이하인 경우, 해당 주파수 대역의 적어도 하나의 셀을 오프 시키는 동작을 포함할 수 있다.
일 실시예에 따른 기지국 모델(245)을 학습시키기 위한 대표 데이터를 생성하는 방법은 기지국 데이터(310)를 소정의 제1 시간 단위로 분할하고, 상기 분할된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성하는 단계; 상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 나누어 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산하는 단계; 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성하는 단계; 및 상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델(245)을 학습시키는 단계를 포함할 수 있다.
일 실시예에서, 상기 기지국 데이터(310)는, PRB(physical resource block) 사용량, IP 처리량(throughput), 활동 UE(active user equipment)의 수 및 다운링크 양 중 적어도 하나의 데이터를 포함할 수 있다.
일 실시예에서, 상기 적어도 하나의 확률 밀도 함수를 연산하는 단계는, 상기 제2 시간 간격으로 나뉜 제1 데이터를 랜덤 샘플링 하여 상기 제2 시간 간격 별 히스토그램(histogram)을 생성하는 단계; 및 상기 제2 시간 간격 별 히스토그램에 대한 상기 제2 시간 간격 별 확률 밀도 함수를 연산하는 단계를 포함하고, 상기 적어도 하나의 제1 대표 데이터를 생성하는 단계는, 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 생성하는 단계; 및 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 상기 제2 시간 간격으로 연결하여 상기 적어도 하나의 제1 대표 데이터를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 시간 간격 별 히스토그램(histogram)을 생성하는 단계는, 상기 제2 시간 간격으로 나뉜 제1 데이터 중에서, 상기 제1 시간 단위를 기준으로 먼저 기록된 제1 데이터가 더 적은 샘플 수를 갖도록 상기 랜덤 샘플링하는 단계를 포함할 수 있다.
일 실시예에서, 상기 적어도 하나의 제2 대표 데이터를 생성하는 단계는, 상기 제2 시간 간격 별 확률 밀도 함수의 평균(mean) 값 및 표준 편차(standard deviation) 값을 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 기지국 모델(245)을 학습시키는 단계는, 상기 생성된 적어도 하나의 대표 데이터에 기초하여 상기 기지국 모델(245)을 포함하는 네트워크 디지털 트윈의 적어도 하나의 파라미터를 설정하여 상기 네트워크 디지털 트윈을 생성하는 단계, 상기 생성된 적어도 하나의 대표 데이터의 환경에 상기 기지국 모델(245)의 적어도 하나의 동작을 적용시켜 상기 제2 시간 간격 별로 각 제1 대표 데이터의 보상 값을 출력하는 단계; 상기 출력된 보상 값 중에서 상기 제2 시간 별 대표 보상 값을 선정하는 단계; 및 상기 선정된 제2 시간 별 대표 보상 값의 총합을 연산하여 상기 적어도 하나의 동작 중에서, 상기 연산된 보상 값의 총합이 가장 작은 동작은 수행하지 않도록 상기 기지국 모델(245)을 학습시키는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 시간 별 대표 보상 값을 선정하는 단계는, 상기 제2 시간 간격 별 상기 출력된 보상 값 중에서 가장 작은 보상 값을 상기 제2 시간 별 대표 보상 값으로 선정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 기지국 모델의 적어도 하나의 동작은, IP 처리량 또는 PRB(physical resource block) 사용량에 기초하여, 적어도 하나의 셀을 온(on)시키는 동작 및/또는 상기 적어도 하나의 셀을 오프(off)시키는 동작중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 적어도 하나의 셀을 온(on)시키는 동작은, 소정의 주파수 대역의 상기 IP 처리량 또는 상기 PRB 사용량이 소정의 제1 값 이상인 경우, 해당 주파수 대역의 적어도 하나의 셀을 온 시키는 동작을 포함할 수 있다. 선택적 또는 추가적 실시예에서, 상기 적어도 셀을 셀을 오프(Off)시키는 동작은, 소정의 주파수 대역의 상기 IP 처리량 또는 상기 PRB 사용량이 소정의 제2 값 이하인 경우, 해당 주파수 대역의 적어도 하나의 셀을 오프 시키는 동작을 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 컴퓨터 판독 가능한 매체는, 하나 이상의 프로그램 코드(code)를 포함할 수 있다. 하나 이상의 프로그램 코드는 전자 장치(예를 들어, 도 1의 전자 장치(100), 도 2의 전자 장치(200))에서 실행될 때, 기지국 데이터(310)를 소정의 제1 시간 단위로 분할하고, 상기 분할된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성하는 단계; 상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 나누어 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산하는 단계; 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성하는 단계; 및 상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델(245)을 학습시키는 단계를 포함하는 방법을 실행할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 기록매체는, 개시된 방법의 실시예들 중에서 적어도 하나를 실행시키기 위한 프로그램이 저장된 것일 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. '비일시적 저장매체'는 실재(tangible)하는 장치를 의미할 수 있고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
이전 설명은 당업자가 본 명세서에 설명된 다양한 측면을 실시할 수 있도록 제공된다. 이들 측면에 대한 다양한 변형은 당업자에게 쉽게 명백할 것이며, 본 명세서에서 정의된 일반적인 원리는 다른 측면에 적용될 수 있다. 따라서, 청구범위는 본 명세서에 제시된 측면으로 제한하려는 것이 아니라 청구범위의 언어와 일치하는 전체 범위에 부여되어야 한다.

Claims (15)

  1. 기지국 모델을 학습시키기 위한 대표 데이터를 생성하는 전자 장치에 있어서,
    적어도 하나 이상의 인스트럭션을 저장하는 메모리(110);
    기지국 데이터를 수신하도록 구성된 송수신부(130); 및
    상기 메모리(110)에 저장된 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서(120)를 포함하고,
    상기 적어도 하나의 프로세서(120)는,
    상기 기지국 데이터를 제1 시간 단위에 따라 복수의 기지국 데이터 부분으로 분할하고,
    상기 복수의 분할 기지국 데이터 부분을 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성하고,
    상기 중첩된 제1 데이터를 제2 시간 간격 단위에 따라, 복수의 제2 시간 간격 기지국 데이터로 분할하고,
    상기 분할된 복수의 제2 시간 간격 각각의 기지국 데이터에 대해, 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산하고,
    상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성하고,
    상기 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시키는, 전자 장치.
  2. 제1항에 있어서,
    상기 기지국 데이터는,
    PRB(physical resource block) 사용량, IP(internet protocol) 처리량(throughput), 활동 UE(active user equipment)의 수 및 다운링크 양 중 하나와 연관된 데이터를 포함하는, 전자 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 적어도 하나의 프로세서(120)는,
    상기 복수의 제2 시간 간격 기지국 데이터 각각을 상기 제2 시간 간격에 대해분할 랜덤 샘플링 하여 상기 복수의 제2 시간 간격 기지국 데이터 각각의 히스토그램(histogram)을 생성하고,
    상기 복수의 제2 시간 간격 기지국 데이터 각각의 히스토그램에 기초하여 상기 제2 시간 간격 별 확률 밀도 함수를 연산하고,
    상기 제2 시간 간격 별 확률 밀도 함수를 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 선정하고,
    상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 상기 제2 시간 간격으로 연결하여 상기 적어도 하나의 제1 대표 데이터를 생성하는, 전자 장치.
  4. 제3항에 있어서,
    상기 적어도 하나의 프로세서(120)는,
    상기 제2 시간 간격 각각에 대해서, 상기 복수의 제2 시간 간격 기지국 데이터 중에서, 상기 제2 시간 간격 기지국 데이터의 제1 부분에 대응하는 제1 샘플의 수가 상기 제2 시간 간격 기지국 데이터의 제2 부분에 대응하는 제2 샘플의 수보다 적도록 상기 랜덤 샘플링을 수행하되,
    상기 제1 부분은 제2 부분보다 먼저 기록된 것인, 전자 장치.
  5. 제3항 또는 제4항에 있어서,
    상기 적어도 하나의 프로세서(120)는,
    상기 제2 시간 간격 별 확률 밀도 함수의 평균값(mean) 및 표준 편차(standard deviation)를 이용하여 상기 복수의 제2 시간 간격 각각에 대해 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 선정하는, 전자 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(120)는,
    상기 생성된 적어도 하나의 대표 데이터에 기초하여 상기 기지국 모델을 포함하는 네트워크 디지털 트윈의 적어도 하나의 파라미터를 설정하여 상기 네트워크 디지털 트윈을 생성하고,
    상기 적어도 하나의 대표 데이터의 환경에 상기 기지국 모델의 적어도 하나의 동작을 적용시켜 상기 제2 시간 간격 별로 각 제1 대표 데이터의 보상 값을 출력하고,
    상기 출력된 보상 값 중에서 상기 제2 시간 별 대표 보상 값을 선정하고,
    상기 선정된 제2 시간 별 대표 보상 값의 총합을 연산하여 상기 적어도 하나의 동작 중에서, 상기 연산된 보상 값의 총합이 가장 작은 동작의 수행을 방지하도록 상기 기지국 모델을 학습시키는, 전자 장치.
  7. 제6항에 있어서,
    상기 적어도 하나의 프로세서(120)는,
    상기 제2 시간 간격 별 상기 출력된 보상 값 중에서 가장 작은 보상 값을 상기 제2 시간 별 대표 보상 값으로 선정하는, 전자 장치.
  8. 제6항 또는 제7항에 있어서,
    상기 기지국 모델의 적어도 하나의 동작은,
    IP 처리량 및 PRB(physical resource block) 사용량 중 적어도 하나에 기초하여, 적어도 하나의 셀을 온(on)시키는 동작 및 상기 적어도 하나의 셀을 오프(Off)시키는 동작을 포함하는, 전자 장치.
  9. 제8항에 있어서,
    상기 적어도 하나의 셀을 온(on)시키는 동작은,
    제1 주파수 대역의 상기 IP 처리량 및 상기 PRB 사용량 중 적어도 하나가 소정의 제1 값 이상인 경우, 상기 제1 주파수 대역에 해당하는 적어도 하나의 셀을 온 시키는 동작을 포함하고,
    상기 적어도 셀을 셀을 오프(Off)시키는 동작은,
    제2 주파수 대역의 상기 IP 처리량 및 상기 PRB 사용량 중 적어도 하나가 소정의 제2 값 이하인 경우, 상기 제2 주파수 대역에 해당하는 적어도 하나의 셀을 오프 시키는 동작을 포함하는, 전자 장치.
  10. 기지국 모델을 학습시키기 위한 대표 데이터를 생성하는 방법에 있어서,
    기지국 데이터를 제1 시간 단위에 따라 복수의 기지국 데이터 부분으로 분할하는 단계(S810);
    상기 복수의 분할된 기지국 데이터 부분을 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성하는 단계(S820);
    상기 중첩된 제1 데이터를 제2 시간 간격 단위에 따라, 복수의 제2 시간 간격 기지국 데이터로 분할하는 단계;
    상기 분할된 복수의 제2 시간 간격 각각의 기지국 데이터에 대해, 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산하는 단계(S820);
    상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성하는 단계(S830); 및
    상기 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시키는 단계(S840)를 포함하는, 방법.
  11. 제10항에 있어서,
    상기 기지국 데이터는,
    PRB(physical resource block) 사용량, IP(internet protocol) 처리량(throughput), 활동 UE(active user equipment)의 수 및 다운링크 양 중 하나의 데이터를 포함하는, 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 적어도 하나의 확률 밀도 함수를 연산하는 단계는,
    상기 복수의 제2 시간 간격 기지국 데이터 각각을 상기 제2 시간 간격에 대해 랜덤 샘플링 하여 상기 복수의 제2 시간 간격 기지국 데이터 각각의 히스토그램(histogram)을 생성하는 단계; 및
    상기 복수의 제2 시간 간격 기지국 데이터 각각의 히스토그램에 기초하여 상기 제2 시간 간격 별 확률 밀도 함수를 연산하는 단계를 포함하고,
    상기 적어도 하나의 제1 대표 데이터를 생성하는 단계는,
    상기 제2 시간 간격 별 확률 밀도 함수를 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 생성하는 단계; 및
    상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 상기 제2 시간 간격으로 연결하여 상기 적어도 하나의 제1 대표 데이터를 생성하는 단계를 포함하는, 방법.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 기지국 모델을 학습시키는 단계는,
    상기 생성된 적어도 하나의 대표 데이터에 기초하여 상기 기지국 모델을 포함하는 네트워크 디지털 트윈의 적어도 하나의 파라미터를 설정하여 상기 네트워크 디지털 트윈을 생성하는 단계;
    상기 적어도 하나의 대표 데이터의 환경에 상기 기지국 모델의 적어도 하나의 동작을 적용시켜 상기 제2 시간 간격 별로 각 제1 대표 데이터의 보상 값을 출력하는 단계;
    상기 출력된 보상 값 중에서 상기 제2 시간 별 대표 보상 값을 선정하는 단계; 및
    상기 선정된 제2 시간 별 대표 보상 값의 총합을 연산하여 상기 적어도 하나의 동작 중에서, 상기 연산된 보상 값의 총합이 가장 작은 동작의 수행을 방지하도록 상기 기지국 모델을 학습시키는 단계를 포함하는, 방법.
  14. 제13항에 있어서,
    상기 제2 시간 별 대표 보상 값을 선정하는 단계는,
    상기 제2 시간 간격 별 상기 출력된 보상 값 중에서 가장 작은 보상 값을 상기 제2 시간 별 대표 보상 값으로 선정하는 단계를 포함하는, 방법.
  15. 기지국 데이터를 제1 시간 단위에 따라 복수의 기지국 데이터 부분으로 분할하는 단계(S810);
    상기 복수의 분할된 기지국 데이터 부분을 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성하는 단계(S820);
    상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 분할하여 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산하는 단계(S820);
    상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성하는 단계(S830); 및
    상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시키는 단계(S840)를 포함하는 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2023/006031 2022-05-04 2023-05-03 기지국 모델 학습을 위한 대표 데이터 생성 전자 장치 및 방법 WO2023214792A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/143,337 US20230362680A1 (en) 2022-05-04 2023-05-04 Electronic device and method for generating representative data for training base station model

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0055727 2022-05-04
KR20220055727 2022-05-04
KR1020220133615A KR20230155942A (ko) 2022-05-04 2022-10-17 기지국 모델 학습을 위한 대표 데이터 생성 전자 장치 및 방법
KR10-2022-0133615 2022-10-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/143,337 Continuation US20230362680A1 (en) 2022-05-04 2023-05-04 Electronic device and method for generating representative data for training base station model

Publications (1)

Publication Number Publication Date
WO2023214792A1 true WO2023214792A1 (ko) 2023-11-09

Family

ID=88646666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/006031 WO2023214792A1 (ko) 2022-05-04 2023-05-03 기지국 모델 학습을 위한 대표 데이터 생성 전자 장치 및 방법

Country Status (2)

Country Link
US (1) US20230362680A1 (ko)
WO (1) WO2023214792A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8682812B1 (en) * 2010-12-23 2014-03-25 Narus, Inc. Machine learning based botnet detection using real-time extracted traffic features
US20200196155A1 (en) * 2018-12-12 2020-06-18 Verizon Patent And Licensing Inc. Utilizing machine learning to provide closed-loop network management of a fifth generation (5g) network
US20210097409A1 (en) * 2019-09-30 2021-04-01 Caci, Inc. - Federal Systems and methods for performing simulations at a base station router
US20210174264A1 (en) * 2017-10-30 2021-06-10 Equifax Inc. Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data
US20210241141A1 (en) * 2018-05-10 2021-08-05 Equifax Inc. Training or using sets of explainable machine-learning modeling algorithms for predicting timing of events

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8682812B1 (en) * 2010-12-23 2014-03-25 Narus, Inc. Machine learning based botnet detection using real-time extracted traffic features
US20210174264A1 (en) * 2017-10-30 2021-06-10 Equifax Inc. Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data
US20210241141A1 (en) * 2018-05-10 2021-08-05 Equifax Inc. Training or using sets of explainable machine-learning modeling algorithms for predicting timing of events
US20200196155A1 (en) * 2018-12-12 2020-06-18 Verizon Patent And Licensing Inc. Utilizing machine learning to provide closed-loop network management of a fifth generation (5g) network
US20210097409A1 (en) * 2019-09-30 2021-04-01 Caci, Inc. - Federal Systems and methods for performing simulations at a base station router

Also Published As

Publication number Publication date
US20230362680A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
WO2021060609A1 (ko) 복수의 엣지와 클라우드를 포함하는 분산 컴퓨팅 시스템 및 이의 적응적 지능 활용을 위한 모델 제공 방법
WO2020022639A1 (ko) 딥러닝 기반의 가치 평가 방법 및 그 장치
WO2018166199A1 (zh) 定位精度等级调整方法、装置、存储介质及电子设备
WO2020096172A1 (en) Electronic device for processing user utterance and controlling method thereof
WO2020171518A1 (en) Electronic device for adaptive power management
WO2020130237A1 (en) Terminal device and method for controlling thereof
WO2018076840A1 (zh) 数据分享方法、装置、存储介质及服务器
WO2023153821A1 (en) Method of compressing neural network model and electronic apparatus for performing the same
WO2021012481A1 (zh) 系统性能监控方法、装置、设备及存储介质
WO2023008980A1 (en) Method of load forecasting via attentive knowledge transfer, and an apparatus for the same
WO2020082503A1 (zh) 情景模式的推荐方法、服务器、家电设备以及存储介质
WO2017206867A1 (zh) 一种传感器的关闭方法、装置、存储介质及电子设备
WO2023214792A1 (ko) 기지국 모델 학습을 위한 대표 데이터 생성 전자 장치 및 방법
WO2020222347A1 (ko) 가상 머신 배치 방법 및 이를 구현하는 가상 머신 배치 장치
WO2020032655A1 (en) Method for executing function based on voice and electronic device supporting the same
WO2022065623A1 (en) Method of implementing self-organizing network for plurality of access network devices and electronic device for performing the same
WO2021246812A1 (ko) 딥러닝 nlp 모델을 활용한 뉴스 긍정도 분석 솔루션 및 장치
WO2020209661A1 (en) Electronic device for generating natural language response and method thereof
WO2011068315A4 (ko) 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치 및 그 방법
WO2023059105A1 (en) Method or apparatus for performing communication load balancing with multi-teacher reinforcement learning
WO2017206866A1 (zh) 一种应用程序的关闭方法、装置、存储介质及电子设备
WO2023022321A1 (ko) 분산 학습용 서버 및 분산 학습 방법
WO2023048537A1 (ko) 추천 콘텐트를 제공하는 서버 및 방법
EP4324241A1 (en) Method and system for multi-batch reinforcement learning via multi-imitation learning
WO2022092721A1 (ko) 대용어를 포함하는 텍스트에 관한 보이스 어시스턴트 서비스를 제공하는 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23799673

Country of ref document: EP

Kind code of ref document: A1