KR20230155942A

KR20230155942A - 기지국 모델 학습을 위한 대표 데이터 생성 전자 장치 및 방법

Info

Publication number: KR20230155942A
Application number: KR1020220133615A
Authority: KR
Inventors: 최민석; 장서우; 송주환; 이승연; 최종우
Original assignee: 삼성전자주식회사
Priority date: 2022-05-04
Filing date: 2022-10-17
Publication date: 2023-11-13
Also published as: KR20230155938A

Abstract

적어도 하나 이상의 인스트럭션을 저장하는 메모리, 송수신부 및 상기 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 송수신부를 통해 수신된 기지국 데이터를 소정의 제1 시간 단위로 분리하고, 상기 분리된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 나누어 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시키는, 전자 장치가 개시된다.

Description

기지국 모델 학습을 위한 대표 데이터 생성 전자 장치 및 방법{ELECTRONIC APPARATUS FOR GENERATING REPRESENTATIVE DATA FOR BASE STATION MODEL LEARNING AND METHOD THEREBY}

본 문서에서 개시되는 실시예들은 기지국 모델 학습을 위한 대표 데이터 생성 장치 및 이에 의한 기지국 대표 데이터 생성 방법에 관한 것이다.

네트워크 디지털 트윈(digital twin)은 실제 기지국의 동작, 설정 상태 등을 모사하여 시뮬레이터을 이용하여 실제 기지국의 동작 환경을 예측하는데 이용되는 기술이다. 새로운 무선 통신 알고리즘이 개발되면, 실제 기지국의 동작 환경이 적용되지 않은 특정 시뮬레이터 환경에서 개발된 알고리즘의 성능이 평가되었다. 또한, 네트워크 디지털 트윈의 기지국 운용 최적화 모델은 기지국 데이터를 수집하고, 수집된 기지국 데이터를 입력으로 하여, 기지국 모델을 강화 학습(reinforcement learning)을 통해 학습시킬 수 있다.

기지국 모델을 강화 학습하는 과정은 기지국 데이터를 수집하고, 수집된 기지국 데이터를 전처리(preprocessing)하고, 전처리된 데이터를 이용하여, 시뮬레이터 파라미터를 찾는 네트워크 디지털 트윈 생성 과정, 네트워크 디지털 트윈에 임의의 파라미터를 설정하여 기지국 운용 최적화 모델을 학습하는 과정으로 진행될 수 있다. 이 경우, 수집된 기지국 데이터를 전처리 하고, 시뮬레이션 파라미터를 찾는 과정에 많은 데이터가 이용되어, 연산 자원이 크게 소모될 수 있다.

일 실시예에 따른 기지국 모델을 학습시키기 위한 대표 데이터를 생성하는 전자 장치는 적어도 하나 이상의 인스트럭션을 저장하는 메모리, 송수신부 및 상기 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 송수신부를 통해 수신된 기지국 데이터를 소정의 제1 시간 단위로 분리하고, 상기 분리된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 나누어 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시킬 수 있다.

일 실시예에 따른 기지국 모델을 학습시키기 위한 대표 데이터를 생성하는 방법은 기지국 데이터를 소정의 제1 시간 단위로 분리하고, 상기 분리된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성하는 단계; 상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 나누어 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산하는 단계; 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성하는 단계; 및 상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시키는 단계를 포함할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 컴퓨터 판독 가능한 매체는, 하나 이상의 프로그램 코드(code)를 포함할 수 있다. 하나 이상의 프로그램 코드는 전자 장치에서 실행될 때, 기지국 데이터를 소정의 제1 시간 단위로 분리하고, 상기 분리된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성하는 단계; 상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 나누어 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산하는 단계; 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성하는 단계; 및 상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시키는 단계를 포함하는 방법을 실행할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 기록매체는, 개시된 방법의 실시예들 중에서 적어도 하나를 실행시키기 위한 프로그램이 저장된 것일 수 있다.

본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 전자 장치의 기능을 나타내는 예시적인 블록도이다.
도 3은 일 실시예에 따른 전자 장치가 기지국 데이터를 이용하여 생성한 중첩 데이터를 나타낸다.
도 4는 일 실시예에 따른 전자 장치가 생성한 확률 밀도 함수의 대표 데이터를 나타낸다.
도 5는 일 실시예에 따라 1일을 주기로 생성된 대표 데이터를 나타낸다.
도 6은 일 실시예에 따른 학습 모델의 학습을 위한 기능을 나타내는 예시적인 블록도이다.
도 7은 일 실시예에 따른 기지국 모델을 학습시키기 위해 보상 값을 출력하는 과정을 나타낸다.
도 8은 일 실시예에 따른 전자 장치가 학습 모델을 학습시키기 위한 대표 데이터를 생성하는 방법을 나타내는 흐름도이다.
도 9은 일 실시예에 따른 학습 모델을 학습시키는 방법을 나타내는 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.

또한, 본 명세서에 기재된 “...부”, “...모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 “직접적으로 연결” 또는 “물리적으로 연결”되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 “전기적으로 연결”되어 있는 경우도 포함한다. 본 개시에서, “송신(transmit)”, “수신(receive)” 및 “통신(communicate)” 이라는 용어들은 직접 통신 및 간접 통신을 모두 포함한다. 또한 어떤 부분이 어떤 구성요소를 “포함(include, comprise)”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시 전체에서, 특별히 반대되는 기재가 없는 한 “또는(or)”은 포괄적(inclusive)이며 배타적(exclusive)이지 않다. 따라서, 명백히 달리 표시되거나 문맥상 달리 표시되지 않는 한, “A 또는 B”는 “A, B, 또는 둘 모두”를 나타낼 수 있다. 본 개시에서, “~중 적어도 하나” 또는 “하나 이상의 ~”라는 문구는, 열거된 항목들 중 하나 이상의 항목들의 서로 다른 조합이 사용될 수도 있고, 열거된 항목들 중 임의의 하나의 항목만이 필요한 경우를 의미할 수도 있다. 예를 들어, “A, B, 및 C 중 적어도 하나”는 다음의 조합들 중 임의의 것을 포함할 수 있다: A, B, C, A 및 B, A 및 C, B 및 C, 또는 A 및 B 및 C.

“제어기(controller, 컨트롤러)”는 적어도 하나의 동작을 제어하는 임의의 디바이스, 시스템 또는 그 부분을 나타낼 수 있다. 제어기는 하드웨어, 하드웨어 및 소프트웨어의 조합, 또는 펌웨어로 구현될 수 있다. 특정 제어기에 연관된 기능은, 국부적 또는 원격의 집중형 또는 분산형일 수 있다.

이하 설명되는 본 개시의 다양한 실시예들은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원될 수 있고, 컴퓨터 프로그램들은 컴퓨터 판독 가능한 프로그램 코드(code)로부터 형성되고, 컴퓨터로 판독 가능한 매체에 수록될 수 있다. 본 개시에서, “애플리케이션(application)” 및 “프로그램(program)”은 컴퓨터 판독 가능한 프로그램 코드에서의 구현에 적합한 하나 이상의 컴퓨터 프로그램, 소프트웨어 컴포넌트, 명령어 세트, 프로시저(procedure), 함수, 개체(object), 클래스, 인스턴스, 관련 데이터, 또는 그것의 일부를 나타낼 수 있다. “컴퓨터 판독 가능한 프로그램 코드”는, 소스 코드, 목적 코드, 및 실행 가능한 코드를 포함하는 다양한 유형의 컴퓨터 코드를 포함할 수 있다. “컴퓨터 판독 가능한 매체”는, ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브(HDD), CD(compact disc), DVD(digital video disc), 또는 다양한 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 다양한 유형의 매체를 포함할 수 있다.

또한, 컴퓨터 판독 가능한 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장 매체’는 실재(tangible)하는 장치이고, 일시적인 전기적 또는 다른 신호들을 전송하는 유선, 무선, 광학적, 또는 다른 통신 링크들을 배제할 수 있다. 한편, 이 ‘비일시적 저장 매체’는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, ‘비일시적 저장 매체’는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 컴퓨터 판독 가능한 매체는, 데이터가 영구적으로 저장될 수 있는 매체와 데이터가 저장되고 나중에 덮어쓰기 될 수 있는 매체, 이를테면 재기입 가능한 광 디스크 또는 소거 가능한 메모리 디바이스를 포함한다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예를 들어, compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예를 들어, 플레이 스토어^TM)를 통해 또는 두 개의 사용자 장치들(예를 들어, 스마트폰) 간에 직접, 온라인으로 배포(예를 들어, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예를 들어, 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

기타 특정 단어들 및 문구들에 대한 정의는 본 개시의 전체에 걸쳐 제공될 수 있다. 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는, 다양한 경우들에서, 정의된 단어들 및 문구들이 과거 및 장래의 사용들에도 적용될 수 있음을 이해할 수 있을 것이다.

본 명세서에서 후술하는 각 구성 요소는 자신의 주요 기능 외에 다른 구성 요소가 수행하는 기능의 일부 또는 전부를 추가적으로 수행할 수 있으며, 각 구성 요소의 주요 기능 중 일부는 전적으로 다른 구성 요소에 의해 수행될 수 있다.

본 명세서에서 용어 '기계 학습' 또는 '머신 러닝(machine learning)'은 인공 지능의 한 분야로, 경험을 통해 일일이 코드로 명시하지 않은 동작을 데이터로부터 학습하여 실행할 수 있는 알고리즘을 의미한다.

본 명세서에서 용어'강화 학습(reinforcement learning)'은 기계 학습의 한 영역으로 어떤 환경에서 정의된 에이전트가 현재의 상태를 인식하여, 선택 가능한 복수의 동작 중 보상을 최대화하는 동작 혹은 동작 순서를 선택하는 방법을 의미할 수 있다.

본 명세서에서 용어'학습 모델'은 강화 학습 알고리즘을 이용하여, 동작을 학습시키는 모델의 예시로 특정 강화 학습 알고리즘을 이용하는 모델로 한정되지 않는다.

본 명세서에서 용어'기지국 모델'은 강화 학습의 주체가 되는 에이전트로서, 네트워크 디지털 트윈의 기지국의 동작을 결정하는 시뮬레이터를 의미할 수 있다. 기지국 모델은 강화 학습의 결과로써 입력된 환경에 대해, 보상을 최대화하는 동작을 수행할 수 있다.

RAN(random access network)의 네트워크 디지털 트윈을 생성하기 위해서는 기지국 동작을 모사하는 시뮬레이터를 만들어, 실제 기지국에서 수집한 네트워크 환경 데이터를 모사할 필요가 있다. 네트워크 환경 데이터를 모사하기 위해 기지국 데이터를 전처리하고, 기지국 데이터와 동일한 시뮬레이션 결과를 생성하는 시뮬레이션 파라미터를 찾게 된다. 이러한 과정을 수행하기 위해 많은 양의 연산 자원이 필요하게 된다.

기지국 모델을 강화 학습하는 과정은 기지국 데이터를 수집하고, 수집된 기지국 데이터를 전처리(preprocessing)하고, 전처리된 데이터를 이용하여, 생성된 네트워크 디지털 트윈에 임의의 파라미터를 설정하여 기지국 운용 최적화 모델을 학습하는 과정으로 진행될 수 있다.

따라서, 일 실시예에 따른 전자 장치는 기지국 데이터를 이용하여 대표 데이터를 생성하는 전처리 과정을 이용하여, 연산 자원 소모를 줄일 수 있는 효과를 포함하는 다양한 효과가 있을 수 있다. 또한, 일 실시예에 따른 전자 장치는 전처리 과정을 거친 데이터를 이용하여 학습 모델을 학습시켜 안정적으로 네트워크 상태를 유지하여 운영될 수 있는 효과를 포함하는 다양한 효과가 있을 수 있다.

이하에서는 상기 전자 장치가 기지국 데이터를 이용하여 기지국 대표 데이터를 생성하여, 기지국 모델을 학습시키는 전자 장치를 설명한다.

도 1은 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.

도 1을 참조하면, 일 실시예에 따른 전자 장치는 메모리(110), 프로세서(120) 및 송수신부(130)를 포함할 수 있다. 다양한 실시 예에 따르면, 전자 장치의 구성은 도 1에 도시된 바에 한정되지 않으며, 도 1에 도시되지 않은 구성을 추가로 포함하거나 도 1에 도시된 구성 중 일부를 생략할 수도 있다.

예를 들면, 도 1에는 도시되어 있지 않지만 전자 장치는 사용자로부터 대표 데이터 생성을 위한 제1 시간, 제2 시간 등을 입력받을 수 있는 입력부, 학습 결과를 출력할 수 있는 출력부를 더 포함할 수 있다.

또한 후술할 프로세서(120)의 동작은 메모리(110)에 저장된 소프트웨어 모듈로 구현될 수도 있다. 예컨대, 소프트웨어 모듈은 메모리(110)에 저장될 수 있고, 프로세서(120)에 의해 실행됨으로써 동작될 수 있다. 일 실시 예에 따르면, 전자 장치는 도 1에 도시된 서버와 동일 또는 유사한 구성으로 이해될 수 있다.

메모리(110)는 프로세서(120)와 전기적으로 연결되고 전자 장치에 포함된 구성들의 동작과 관련된 명령 또는 데이터를 저장할 수 있다. 다양한 실시 예에 따르면, 메모리(110)는 송수신부(130)를 이용하여 획득된 기지국 데이터 정보, 기지국 데이터를 이용하여 생성된 대표 데이터 또는 기지국 모델의 동작들에 대한 인스트럭션들(instructions) 등을 저장할 수 있다.

일 실시 예에 따르면, 메모리(110)는 후술할 네트워크 디지털 트윈의 시뮬레이터 및 전자 장치의 기능을 개념적으로 구분한 각 부에 포함되는 적어도 일부의 모듈들이 프로세서(120)에 의해 실행되는 소프트웨어로 구현되는 경우 그러한 소프트웨어 모듈을 실행하기 위한 인스트럭션들을 저장할 수도 있다.

프로세서(120)는 전자 장치에 포함된 구성들과 전기적으로 연결되어, 전자 장치에 포함된 구성들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 다른 구성들 중 적어도 하나로부터 수신된 명령 또는 데이터를 메모리(110)에 로드하여 처리하고, 결과 데이터를 메모리(110)에 저장할 수 있다.

또한, 도 1에서는 설명의 편의를 위해 프로세서(120)가 하나의 프로세서(120)로 동작하는 것으로 표현하였으나, 후술할 학습 모델 및 전자 장치의 기능을 개념적으로 구분한 적어도 하나의 기능을 복수의 프로세서로 구현될 수 있다. 이 경우, 프로세서(120)는 하나의 프로세서(120)로서 동작하는 것이 아니라, 복수의 프로세서가 별개의 하드웨어로 구현되어 각 동작을 수행하도록 구현될 수 있다. 이에 한정되지 않는다. 프로세서(120)의 동작에 대한 상세한 설명은 도 2 내지 도 7을 참조하여 후술한다.

송수신부(130)는 전자 장치와 외부의 다른 전자 장치 사이의 유선 또는 무선 통신 채널의 수립 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 일 실시 예에 따르면, 송수신부(130)는 유선 통신 또는 무선 통신을 통해 외부의 다른 전자 장치로부터 데이터를 수신하거나 또는 외부의 다른 기지국을 제어하는 서버를 포함하는 전자 장치에 대해 데이터를 송신할 수 있다.

일 실시예에 따른 송수신부(130)가 수신하는 데이터는 기지국 모델의 강화 학습에 이용되기 위한 네트워크 디지털 트윈의 동작 환경에 관련된 기지국 데이터일 수 있다. 예를 들어, 기지국 데이터는 PRB(physical resource block) 사용량, IP 처리량(throughput), 활동 UE(active user equipment)의 수, 다운링크 양 등 일 수 있다.

여기서, PRB 사용량은 일정 시간 동안 사용 가능한 전체 PRB의 수에 대한 실제로 사용한 PRB의 수 사이의 비율을 의미할 수 있고, 시간 별로 나누어 연속적으로 수집된 데이터일 수 있다.

이와 같이, 실제 기지국 데이터는 기지국 모델의 동작에 따라 강화 학습을 수행할 수 있는 데이터일 수 있다. 송수신부(130)가 수신하는 데이터는 이에 한정되지 않는다.

다양한 실시 예에 따르면, 송수신부(130)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있고, 그 중 해당하는 통신 모듈을 이용하여 근거리 통신 네트워크 (예: 블루투스, WiFi direct 또는 IrDA(infrared data association)) 또는 원거리 통신 네트워크(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN))를 통하여 외부 전자 장치와 통신할 수 있다.

이하, 도 2를 참조하여 전자 장치의 각 기능과 각 기능을 수행하는 부의 동작에 대해 설명한다.

도 2는 도 1에 도시된 전자 장치의 기능을 나타내는 예시적인 블록도이다.

도 2를 참조하면, 전자 장치는 데이터 중첩부(210), 가중치 부여부(220), 대표 데이터 생성부(230) 및 학습부(240)를 포함할 수 있다. 다만, 전자 장치에 포함되는 기능은 이에 한정되지 않는다. 전자 장치는 일부 구성을 생략할 수 있고, 다른 기능을 수행하는 구성을 추가로 포함할 수 있다. 예를 들어, 일 실시예에 따른 전자 장치는 데이터 중첩부(210), 대표 데이터 생성부(230) 및 학습부(240)만을 포함할 수 있다.

본 명세서에서는 설명의 편의를 위해, 도 2에 도시된 학습부(240)가 도 1의 프로세서(120)에 의해 동작되는 것으로 설명하지만 이에 한정되지 않는다. 예를 들어, 학습부(240)의 학습 방법은 도 1의 메모리(110)에 저장되어 프로세서(120)의 명령에 의해 동작하고, 데이터 중첩부(210), 가중치 부여부(220) 및 대표데이터 생성부(230)의 기능은 프로세서(120)의 동작에 의해 수행될 수 있다.

또한, 일 실시 예에서 학습부(240)는 별도의 외부 장치로 구현될 수도 있다. 이 경우, 전자 장치는 송수신부(130)를 이용하여 학습부(240)에 입력되는 대표 데이터를 송신하거나, 학습부(240)의 출력 데이터를 수신할 수 있다.

일 실시예에 따라 도 2에 도시된 데이터 중첩부(210), 가중치 부여부(220), 대표 데이터 생성부(230) 및 학습부(240)는 도 1의 프로세서(120)에 의해 수행되는 동작을 기능별로 구분된 것일 수 있다. 또한, 도 2에 도시된 각 부, 시뮬레이터의 동작은 도 1의 메모리(110)에 소프트웨어로 저장되어 프로세서(120)가 실행되면 각 구성을 수행할 수도 있다. 이에 한정되지 않는다.

또한, 도 2에는 데이터 중첩부(210), 가중치 부여부(220), 대표 데이터 생성부(230) 및 학습부(240)가 개별적인 장치로 도시되어 있으나, 데이터 중첩부(210), 가중치 부여부(220), 대표 데이터 생성부(230) 및 학습부(240)는 하나의 프로세서를 통해 구현될 수 있다. 이 경우, 데이터 중첩부(210), 가중치 부여부(220), 대표데이터 생성부(230) 및 학습부(240)는 전용 프로세서로 구현될 수도 있고, AP(application processor) 또는 CPU(central processing unit), GPU(graphic processing unit)와 같은 범용 프로세서와 S/W의 조합을 통해 구현될 수도 있다.

데이터 중첩부(210), 가중치 부여부(220), 대표데이터 생성부(230) 및 학습부(240)는 복수의 프로세서로 구성될 수도 있다. 이 경우, 전용 프로세서들의 조합으로 구현될 수도 있고, AP 또는 CPU, GPU와 같은 다수의 범용 프로세서들과 S/W의 조합을 통해 구현될 수도 있다.

데이터 중첩부(210)는 송수신부(130)를 통해 수신된 기지국 데이터를 소정의 제1 시간 단위로 분리하고, 상기 분리된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성할 수 있다. 여기서 소정의 제1 시간 단위는 24 시간일 수 있다.

여기서, 기지국 데이터는 기지국에 대한 환경에 대한 데이터로, 시간적으로 연속적인 데이터 또는 소정의 시간마다 기록된 데이터 일 수 있다. 예를 들어, 기지국 데이터는 PRB(physical resource block) 사용량, IP 스루풋(throughput), 활동 UE(active user equipment)의 수, 다운링크 양 등일 수 있다.

기지국 데이터는 계절 별 특성을 고려하여 수집되기 때문에, 학습부(240)를 강화 학습시키기 위해서는 수 년 이상의 데이터가 필요하고, 수집된 기지국 데이터를 전처리하기 위해서 연산 자원이 다수 필요하고, 전처리 연산과정이 복잡할 수 있다.

데이터 중첩부(210)는 수 개월 동안 수집된 기지국 데이터를 중첩시키는 전처리 과정을 수행할 수 있다. 데이터 중첩부(210)에 의해 중첩된 데이터는 소정의 제1 시간 단위 상에서 제1 시간 단위로 분리된 데이터가 중첩된 데이터이므로, 강화 학습에 이용되는 데이터를 전처리 하기 위해 필요한 연산 자원이 줄어드는 효과를 포함하는 다양한 효과가 있을 수 있다.

데이터 중첩부(210)가 기지국 데이터를 중첩시키는 상세한 방법은 도 3을 참조하여 후술한다.

가중치 부여부(220)는 데이터 중첩부(210)로부터 생성된 제1 시간 동안의 중첩된 데이터 중에서 최근에 기록된 기지국 데이터에 대해 가중치를 부여할 수 있다.

가중치 부여부(220)가 가중치를 부여하는 방법은 후술할 대표데이터 생성부(230)가 중첩된 데이터 중에서 랜덤 샘플링(random sampling)하는 경우, 먼저 기록된 데이터가 더 적은 샘플 수를 갖도록 랜덤 샘플링 수를 조절할 수 있다.

예를 들어, 도 1의 송수신부(130)를 통해 획득된 데이터가 1일부터 90일 동안 기록된 PRB 사용량이고, 데이터 중첩부(210)가 수신된 PRB 사용량을 24시간 단위로 나누어 중첩된 데이터를 생성하는 경우, 24시간의 중첩된 데이터는 각 시간 별로 90개의 데이터를 가질 수 있다. 각 시간 별 90개의 데이터는 각각 1일 내지 90일까지의 복수의 데이터로 구성될 수 있다.

이 경우, 일 실시에 따른 가중치 부여부(220)는 1일 내지 30일의 기간에 기록된 데이터에 대해서는 N개를 랜덤 샘플링하도록 설정하고, 31일 내지 60일의 기간에 기록된 데이터에 대해서는 1.1N개를 랜덤 샘플링하도록 설정하고, 61 내지 90일의 기간에 기록된 데이터에 대해서는 1.2N개를 랜덤 샘플링하도록 설정할 수 있다.

다시 말해, 일 실시예에 따른 가중치 부여부(220)는 최근 기록된 기지국 데이터에 샘플링 수를 더 늘려 최근 기록에 가중치를 부여할 수 있다.

가중치 부여부(220)가 설정하는 샘플링 수, 기간은 예시적인 것에 불과하며, 수신된 기지국 데이터 및 사용자의 설정에 의해 다른 설정 값을 설정할 수 있다. 예를 들어, 가중치 부여부(220)는 제1 시간을 48시간으로 설정할 수 있다.

최근에 기록된 데이터에 가중치를 부가하는 방법은 상술한 방법외에 기 공지된 다양한 방법이 존재할 수 있다. 예를 들어, 후술할 대표데이터 생성부(230)가 랜덤 샘플링된 데이터에 히스토그램을 생성하는 경우, 이전 시점에 샘플링된 데이터에 대해 더 작은 값을 갖도록 가중치를 부여할 수도 있다.

일 실시예에 따라 전자 장치가 가중치 부여부(220)를 포함하지 않는 경우, 전자 장치는 중첩된 데이터에 대해 시간에 관계없이, 동일한 샘플 수를 설정할 수 있다.

일 실시예에 따른 대표데이터 생성부(230)는 데이터 중첩부(210)에 의해 생성된 중첩 데이터와 가중치 부여부(220)에 의해 설정된 가중치에 기초하여, 제1 대표 데이터를 생성할 수 있다.

보다 자세하게 대표데이터 생성부(230)는 중첩된 데이터를 소정의 제2 시간 간격 단위로 나누어 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산할 수 있다. 또한, 대표데이터 생성부(230)는 제2 시간 간격 별 확률 밀도 함수를 이용하여, 제1 시간의 적어도 하나의 제1 대표 데이터를 생성할 수 있다.

대표 데이터 생성부(230)는 제2 시간 간격으로 나뉜 제1 데이터를 랜덤 샘플링 하여 제2 시간 간격 별 히스토그램(histogram)을 생성하고, 제2 시간 간격 별 히스토그램에 대한 제2 시간 간격 별 확률 밀도 함수를 연산하고, 제2 시간 간격 별 확률 밀도 함수를 이용하여 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 생성하고, 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 제2 시간 간격으로 연결하여 적어도 하나의 제1 대표 데이터를 생성할 수 있다.

일 실시예에 따른 제1 대표 데이터는 후술할 학습부(240)를 학습시키기 위한 기지국의 환경 데이터로, 제2 시간 간격 별 확률 밀도 함수의 평균(mean) 값 및 표준 편차(standard deviation) 값을 이용하여 생성될 수 있다.

대표데이터 생성부(230)가 제1 대표 데이터를 생성하는 방법에 대해서는 도 4의 예시를 참조하여 후술한다.

또한, 대표데이터 생성부(230)는 생성된 제1 대표 데이터를 이용하여 기지국 모델을 포함하는 네트워크 디지털 트윈을 생성할 수 있다. 여기서, 네트워크 디지털 트윈을 생성한다는 의미는 네트워크 디지털 트윈에 포함된 기지국 모델의 기능 활성화 여부, 기지국 모델의 동작과 관련된 동작 파라미터, 및 상용망 기지국을 모사(replicate)하기 위한 적어도 하나의 입력 파라미터를 설정하는 것을 의미할 수 있다.

다시 말해, 대표데이터 생성부(230)는 제1 대표 데이터를 이용하여 상용망 기지국이 동작하는 환경을 모사하기 위해, 네트워크 디지털 트윈에 포함된 기지국 모델의 적어도 하나의 파라미터를 설정할 수 있다.

동작 파라미터는 핸드 오버(Handover) 파라미터, 선택 또는 재선택 파라미터, 셀 On/Off 파라미터 및 로드 밸런싱(load balancing) 파라미터 중 적어도 하나를 포함할 수 있다.

기능 활성화 여부는 스케쥴링 알고리즘, 핸드 오버 알고리즘, DRX(discontinuous reception) 알고리즘 중 적어도 하나의 알고리즘 활성화 여부를 포함할 수 있다.

입력 파라미터는 평균 패킷 크기, 평균 요청 간격(request interval), 단말의 수 중 적어도 하나를 나타낼 수 있다.

대표데이터 생성부(230)는 상용망 기지국의 기지국 데이터 중에서 대표 데이터를 생성함으로써 적은 수의 네트워크 디지털 트윈을 생성할 수 있고 이로 인해 연산 자원이 줄어드는 효과를 포함하는 다양한 효과가 있을 수 있다.

대표데이터 생성부(230)가 생성한 네트워크 디지털 트윈은 후술할 학습부(240)에 의해 다양한 설정을 적용한 결과를 바탕으로 강화학습 될 수 있다.

학습부(240)는 후술할 도 6의 기지국 모델(245)의 동작을 강화 학습하기 위해, 대표데이터 생성부(230)에 의해 생성된 기지국 환경과 관련된 제1 대표 데이터를 이용하여 기지국 모델(245)의 동작을 학습시킬 수 있다.

학습부(240)가 제1 대표 데이터를 이용하여 기지국 모델(245)의 동작을 학습시키는 방법은 도 6 및 도 7의 예시를 참조하여 후술한다.

도 3은 일 실시예에 따른 전자 장치가 기지국 데이터를 이용하여 생성한 중첩 데이터를 나타낸다.

도 2 및 도 3을 참조하면, 전자 장치가 획득한 기지국 데이터(310)가 PRB 사용량이고 7일간 기록된 경우, 먼저 데이터 중첩부(210)는 획득된 기지국 데이터(310)를 1일인 24시간 단위로 나눠 1일 기지국 데이터(311) 내지 7일 기지국 데이터(317)를 생성할 수 있다. 여기서, 획득된 기지국 데이터(310)의 x축은 기지국 데이터가 측정된 최초 시각에서 최종 측정 시각까지의 각 시간(hour)을 의미할 수 있고, y축은 PRB 사용량(%)을 의미할 수 있다.

PRB 사용량은 24시간 단위로 비슷한 양상을 보일 수 있으므로 데이터 중첩부(210)는 제1 시간 간격을 24시간으로 설정할 수 있다.

데이터 중첩부(210)는 생성된 1일 기지국 데이터(311) 내지 7일 기지국 데이터(317)를 x축이 0시간부터 24시간으로 구성된 하나의 그래프로 중첩시켜 중첩 데이터(320)를 생성할 수 있다. 중첩 데이터(320)의 y축은 PRB 사용량을 의미할 수 있다.

중첩 데이터(320)는 1일 기지국 데이터(311) 내지 7일 기지국 데이터(317)까지 모든 데이터를 24시간의 하나의 데이터로 중첩시킨 데이터로, 7일 동안의 PRB 사용량이 한번에 확인될 수 있다.

데이터 중첩부(210)에 의해 생성된 중첩 데이터(320)는 대표데이터 생성부(230)에 의해 제1 대표 데이터를 생성하는데 이용된다.

대표데이터 생성부(230)는 소정의 제2 시간 간격으로 나뉜 기지국 데이터를 랜덤 샘플링 하여 제2 시간 간격 별 히스토그램(histogram)을 생성할 수 있고, 2 시간 간격 별 히스토그램에 대한 상기 제2 시간 간격 별 확률 밀도 함수를 연산할 수 있다.

도 4는 일 실시예에 따른 전자 장치가 생성한 확률 밀도 함수의 대표 데이터를 나타낸다.

도 4에 도시된 그래프의 x축은 샘플링된 퍼센트(%) 단위의 PRB 사용량을 의미할 수 있고, y축은 0부터 1사이의 값을 지니는 확률 밀도(probability density) 값 일 수 있다.

도 2 및 도 4를 참조하면, 대표데이터 생성부(230)는 제2 시간 간격을 1시간 간격으로 설정하고, 도 3의 4시 구간에 대해 랜덤 샘플링을 수행하여 샘플링된 PRB 사용량에 대한 히스토그램 및 확률 밀도 함수를 생성할 수 있다.

보다 자세하게는, 대표데이터 생성부(230)는 제2 시간 간격이 1시간으로 설정되고, 4시 구간에 해당하는 데이터를 랜덤 샘플링한다고 하면, 4시로부터 30분 전에서 30분 후까지의 데이터를 랜덤 샘플링할 수 있다. 즉, 대표데이터 생성부(230)는 도 3의 3시 30분부터 4시 30분까지의 PRB 사용량 데이터 중에서 N개의 데이터를 랜덤 샘플링 할 수 있다.

상술한 방법으로 대표데이터 생성부(230)는 0시 구간 내지 24시 구간에 대한 PRB 사용량에 대한 데이터를 각각 랜덤 샘플링 할 수 있다. 이 경우, 0시 구간은 0시에서 0시 30분까지 일 수 있고, 24시 구간은 23시 30분부터 24시까지 일 수 있다.

일 실시예에 따른 대표데이터 생성부(230)가 설정하는 제2 시간 간격은 2시간 간격일 수 있다. 이 경우, 대표데이터 생성부(230)는 0시 구간, 2시 구간, 4시 구간, ?? ,24시 구간에 대해 각각 N개의 데이터를 랜덤 샘플링할 수 있다. 여기서 N은 소정의 자연수일 수 있다.

일 실시예에 따른 대표데이터 생성부(230)는 제2 시간 간격으로 나뉜 제1 데이터 중에서, 제1 시간 단위를 기준으로 먼저 기록된 제1 데이터가 더 적은 샘플 수를 갖도록 랜덤 샘플링할 수 있다.

예를 들어, 도 3의 기지국 데이터(310)가 1일에서 90일까지의 데이터이고, 제1 시간 단위가 24시간이고, 제2 시간 단위가 1시간인 경우, 데이터 중첩부(230)에 의해 생성된 도 3의 중첩 데이터(320)는 1일에서 90일까지의 날짜 별 데이터가 0에서 24시까지에 중첩되어 존재한다. 대표데이터 생성부(230)는 생성된 시간 별 도 3의 중첩 데이터(320) 중에서 24시간, 즉 1일 단위를 기준으로 먼저 기록된 데이터를 더 적게 샘플링 할 수 있다.

예를 들어, 대표데이터 생성부(230)가 샘플 수 N개를 랜덤 샘플링 하는 경우, 1일에서 30일 사이에 기록된 기지국 데이터 중에서 N/6개를 랜덤 샘플링하고, 31일에서 60일 사이에 기록된 기지국 데이터 중에서 N/3개를 랜덤 샘플링하고, 61일에서 90일 사이에 기록된 기지국 데이터 중에서 N/2개를 랜덤 샘플링 할 수 있다.

즉, 대표데이터 생성부(230)는 더 최근에 기록된 데이터를 더 많이 랜덤 샘플링함으로써 최근에 기록된 데이터에 가중치를 줄 수 있고, 후술할 기지국 모델을 최근 기지국 데이터 동작 환경에 가깝게 학습시킬 수 있다.

대표데이터 생성부(230)는 시간 별로 랜덤 샘플링된 데이터로 히스토그램을 생성하고, 생성된 히스토그램으로부터 시간 별 확률 밀도 함수를 생성할 수 있으며, 생성된 시간 별 확률 밀도 함수에서 적어도 하나의 시간 간격 별 제2 대표 데이터를 생성할 수 있다.

여기서, 시간 간격 별 적어도 하나의 제2 대표 데이터는 각 시간에서 획득된 기지국 데이터를 대표할 수 있는 데이터를 나타낸다. 예를 들어, 제2 대표 데이터는 상기 확률 밀도 함수의 평균(mean)μ, 중앙값(median), 최대(maximum), 최소(minimum) 및 평균과 표준 편차(standard deviation) σ를 이용하여 연산된 값 등 일 수 있다. 각 시간에서 기지국 데이터를 대표할 수 있는 값이면 이에 한정되지 않는다.

일 실시예에 따른 시간 간격 별 적어도 하나의 제2 대표 데이터는 μ-3σ, μ-2σ,μ+2σ,μ+3σ일 수 있다. 다시 말해, 대표 데이터 생성부(230)는 약 95%의 확률로 기지국 데이터가 있을 수 있는 경계 값인 μ±2σ 및 약 99%의 확률로 기지국 데이터가 있을 수 있는 경계 값인 μ±3σ를 각각 적어도 하나의 제2 대표 데이터로 선정할 수 있다.

대표데이터 생성부(230)가 제2 대표 데이터로 μ-3σ, μ-2σ,μ+2σ,μ+3σ를 선정함에 따라, 실제 환경이 존재할 가능성이 높은 경계 값의 데이터를 대표 데이터를 이용하여 기지국 모델이 학습될 수 있다. 다시 말해, 기지국 모델은 실제 기지국 환경 중에서 가장 좋은 환경과 가장 좋지 않은 환경을 제공받아 학습될 수 있다.

일 실시예에 따른 대표데이터 생성부(230)는 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 제2 시간 간격으로 연결하여 적어도 하나의 제1 대표 데이터를 생성할 수 있다. 여기서, 제1 대표 데이터는 제1 시간 동안의 기지국 데이터 중 대표 데이터를 연결한 값일 수 있다. 제1 대표 데이터는 본 명세서에서 용어 "컴팩션"(compaction)과 혼용되어 사용될 수 있다.

도 5는 일 실시예에 따라 제1 시간 동안의 대표 데이터를 나타낸다.

도 5에서 x축은 0시에서 24시까지의 각 시간(hour)을 나타내고, y축은 퍼센트(%) 단위로 측정된 PRB 사용량을 의미할 수 있다.

도 2 및 도 5를 참조하면, 대표데이터 생성부(230)는 적어도 하나의 제2 대표 데이터를 연결하여 제1 대표 데이터를 생성하여 제1 시간 단위인 1일 동안의 제1 대표 데이터 변화를 나타낼 수 있다.

예를 들어, 제2 대표 데이터로 μ+3σ가 선정된 경우, 대표데이터 생성부(230)는 0시의 제2 대표 데이터와 1시의 제2 대표데이터를 직선으로 연결하고, 1시의 제2 대표 데이터와 2시의 제2 대표 데이터를 연결하여, 제1 컴팩션(511)을 생성할 수 있다.

상술한 방법으로 제2 대표 데이터가 μ+2σ인 경우, 제2 컴팩션(513)이 생성될 수 있고, 제2 대표 데이터가 μ인 경우, 제3 컴팩션(515)이 생성될 수 있으며, 제2 대표 데이터가 μ인 경우, 제3 컴팩션(551)이 생성될 수 있고, 제2 대표 데이터가 μ-2σ인 경우, 제4 컴팩션(515)이 생성될 수 있으며, 제2 대표 데이터가 μ-3σ인 경우, 제5 컴팩션(519)이 생성될 수 있다.

다시 말해, 대표데이터 생성부(230)는 제1 시간 단위 동안의 제2 시간 간격 별로 기지국 데이터에 대한 대표 데이터들을 연결한 적어도 하나의 제1 대표 데이터를 생성할 수 있다.

예를 들어, 기지국 데이터가 PRB 사용량인 경우, 적어도 하나의 제1 대표 데이터는 90일 동안의 기지국 데이터 중에서 기지국 환경이 좋지 않은 제1 컴팩션(511)부터, 기지국 환경이 좋은 제5 컴팩션(519)까지 대표적인 상황을 모두 포함할 수 있다.

이상에서, 일 실시예에 따른 전자 장치(200)는 대표 데이터를 선정함으로써 적은 수의 기지국 데이터를 이용하여 기지국 모델을 강화 학습시킬 수 있다. 즉, 전자 장치(200)는 적은 수의 기지국 데이터를 각 동작에 대한 시뮬레이션 횟수가 줄어듦에 따라, 학습에 필요한 연산 속도가 빨라지는 효과를 포함하는 다양한 효과가 존재할 수 있다.

일 실시예에 따른 학습부(240)는 대표 데이터 생성부(230)에 의해 생성된 적어도 하나의 제1 대표 데이터를 이용하여 네트워크 디지털 트윈(digital twin)을 위한 기지국 모델을 학습시킬 수 있다.

도 6은 일 실시예에 따른 학습부가 기지국 모델을 강화 학습시키기 위한 기능을 나타내는 예시적인 블록도이다.

도 6을 참조하면, 학습부(240)는 보상 결정부(241), 보상 판단부(243) 및 기지국 모델(245)을 포함할 수 있다. 여기서, 본 명세서에서는 설명의 편의를 위해 기지국 모델(245)이 학습부(240)에 포함되는 것으로 설명하지만 이에 한정되지 않는다. 예를 들어, 기지국 모델(245)은 도 1의 메모리(110)에 저장되어 있을 수도 있고, 외부 장치(예를 들어, 서버)에 저장되어 있을 수 있다.

학습부(240)의 학습 방법으로 강화 학습을 선택할 수 있다. 강화 학습은 기계 학습(machine learning)의 한 영역으로, 현재의 상태(state)에서 어떤 동작(action)을 취하는 것이 최적인지를 학습하는 방법일 수 있다. 강화 학습의 학습 방법은 에이전트(agent)가 동작을 취할 때마다 외부 환경에서 보상(reward)이 주어지는데, 이러한 보상을 최대화하는 방향으로 학습이 진행될 수 있다.

보상 결정부(241)는 대표데이터 생성부(230)가 생성한 대표 데이터 및 에어전트로서 기지국 모델(245)이 수행하는 동작을 입력으로 입력 받아, 각 동작 및 대표 데이터에 대응되는 환경에 따른 제2 시간 간격 별 보상을 연산할 수 있다.

다시 말해, 보상 결정부(241)는 기지국 환경을 나타내는 적어도 하나의 제1 대표 데이터에 대해 기지국 모델(245)이 선택할 수 있는 동작을 시뮬레이션하여 제2 시간 별로 동작 각각의 보상을 연산할 수 있다.

보상 판단부(243)는 보상 결정부(241)가 연산한 시간별 보상에 기초하여, 기지국 모델(245)에 학습데이터를 전달할 수 있다. 보상 판단부(243)는 각 시간 별 보상에 대한 최소 보상의 총합을 이용하여 기지국 모델(245)이 최소 보상에 대응되는 동작을 수행하지 않도록 학습데이터를 제공할 수 있다.

즉, 보상 판단부(243)는 제1 대표 데이터로 대표되는 기지국 환경에 대해, 각 동작을 수행하므로써 발생할 수 있는 KPI(key performance indicator) 열화에 안전하게 동작할 수 있고, 에너지 절약이 최대화되도록 학습데이터를 생성하여 기지국 모델(245)을 학습시킬 수 있다.

일 실시예에 따른 기지국 모델(245)은 네트워크 디지털 트윈을 구축하기 위한 실제 기지국을 모사한 모델일 수 있다. 또한, 기지국 모델(245)은 강화 학습의 에이전트로서 보상에 따라 동작을 수행하는 주체로 학습의 대상이 될 수 있다.

기지국 모델(245)은 실제 기지국과 유사한 기능을 수행할 수 있도록 미리 설정되거나 사용자의 입력에 의해 기지국의 복수의 동작이 입력될 수 있고, 이에 대한 다양한 설정 값들이 입력될 수 있다.

예를 들어, 기지국 모델(245)의 동작은 PRB(physical resource block) 사용량에 기초하여, 적어도 하나의 셀을 온(on)시키는 동작 및 상기 적어도 하나의 셀을 오프(off)시키는 동작을 포함할 수 있다.

기지국 모델(245)이 적어도 하나의 제1 대표 데이터를 이용하여 강화 학습되는 과정은 이하 도 7을 참조하여 설명한다.

도 7은 일 실시예에 따른 기지국 모델을 학습시키기 위해 보상 값을 출력하는 과정을 나타낸다.

도 6 및 도 7을 참조하면, 보상 결정부(241)는 기지국 환경인 제1 컴팩션(511) 내지 제5 컴팩션(519)의 각 제2 시간 별로 각각 기지국 모델(245)의 동작을 수행하도록 시뮬레이션 할 수 있다. 여기서, 제1 컴팩션(511) 내지 제5 컴팩션(519)에서 기지국 모델(245)의 동작이 수행되는 경우 보상은 각각 R_max,R_75p, R_avg, R_25p 및 R_min로 정의될 수 있다.

보상 결정부(241)는 기지국 모델(245)의 특정 상태에서 기지국 모델(245)의 동작에 따라 기지국 모델(245)의 상태가 변하게 되므로, 변경된 기지국 모델(245)의 상태를 기반으로 소정의 규칙에 따라 보상값을 연산할 수 있다.

여기서 소정의 규칙은 통신 성능을 보장하고 전력 절감을 최대화하기 위한 규칙으로, 소비전력이 증가함에 따라 보상은 낮아지도록 설정된 규칙일 수 있다. 또한, 상기 소정의 규칙은 미리 설정된 소정의 값 보다 IP 처리량이 낮아지면 음수의 보상을 갖도록 설정된 규칙일 수 있다.

이와 같이 소정의 규칙은 목적이나, 기지국 환경에 따라 기 공지된 다양한 규칙이 적용될 수 있다.

보상 결정부(241)는 제2 시간 간격 별로 상기 제1 컴팩션(511) 내지 제5 컴팩션(519) 환경에서 기지국 모델(245)이 동작을 수행하는 경우, 통신 성능이 보장되면서 전력 절감이 최대화되도록 시간 별 보상을 연산할 수 있다. 보다 자세하게 보상 결정부(241)는 KPI열화를 최소화하도록 하기 위해 제2 시간 간격 별 제1 컴팩션(511) 내지 제5 컴팩션(519)의 보상 중에서 가장 최소 보상을 해당 제2 시간의 보상으로 선정할 수 있다.

예를 들어, 3시에서 제1 컴팩션(511)의 보상 R_max가 10, 제2 컴팩션(513)의 보상 R_75p가 7, 제3 컴팩션(515)의 보상 R_avg가 6, 제4 컴팩션(517)의 보상 R_25p가 -1, 제5 컴팩션의 보상 R_min이 1인 경우, 보상 결정부(241)는 제4 컴팩션(515)의 보상(703)을 3시의 보상으로 선정할 수 있다. 이와 같은 방법으로 보상 결정부(241)는 1시의 보상(701)부터 24시의 보상(707)을 연산 및 선정할 수 있다.

보상 판단부(243)는 보상 결정부(241)로부터 제2 시간 별 보상을 전달받아, 모든 학습 데이터를 하기의 수학식 1과 같이 연산할 수 있다.

여기서, a는 기지국 모델(245)의 동작을 의미하고, t는 제2 시간을 의미하고, c는 각 컴팩션을 의미하며,

는 각 시간에서 컴팩션 별 보상을 의미할 수 있다.

즉, 보상 판단부(243)는 기지국 모델(245)의 동작 및 동작에 대한 각 시간 별 보상에 대한 최소값의 합을 학습 데이터로 기지국 모델(245)에 전달하여, 기지국 모델(245)을 강화 학습시킬 수 있다.

일 실시예에 따른 기지국 모델(245)은 보상 판단부(243)로부터 획득된 학습 데이터를 이용하여 보상을 최대화되는 동작을 수행하도록 학습될 수 있다. 또한, 연산된 보상 값의 총합이 가장 작은 동작은 수행하지 않도록 기지국 모델(245)이 학습될 수 있다.

이와 같이 전자 장치(200)는 기지국 모델(245)을 강화학습 시켜 KPI 열화를 최소화하면서도 에너지 절감 효과를 포함하는 다양한 효과가 발생될 수 있다.

이상에서는, 기지국 모델 학습을 위한 기지국 대표 데이터 생성하는 전자 장치(200)의 구성 및 기능을 설명하였다. 이하에서는 전자 장치(200)가 기지국 모델 학습을 위해 대표 데이터를 생성하는 방법에 대해 설명한다.

도 8은 일 실시예에 따른 전자 장치가 기지국 모델을 학습시키기 위한 대표 데이터를 생성하는 방법을 나타내는 흐름도이다.

도 2 및 도 8을 참조하면, 전자 장치(200)는 획득된 적어도 하나의 기지국 데이터를 소정의 제1 시간 단위 마다 중첩시켜 제1 시간 단위의 제1 데이터를 생성할 수 있다(S810).

일 실시예에 따른 기지국 데이터는 PRB(physical resource block) 사용량, IP 처리량(throughput), 활동 UE(active user equipment)의 수 및 다운링크 양 중 하나의 데이터를 포함할 수 있다.

전자 장치(200)는 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 나누어 제2 시간 간격 별 적어도 하나의 확률 밀도 함수를 연산할 수 있다(S820).

보다 자세하게, 전자 장치(200)는 소정의 제2 시간 간격으로 나뉜 기지국 데이터를 랜덤 샘플링 하여 제2 시간 간격 별 히스토그램(histogram)을 생성할 수 있고, 2 시간 간격 별 히스토그램에 대한 상기 제2 시간 간격 별 확률 밀도 함수를 연산할 수 있다.

전자 장치(200)는 연산된 제2 시간 별 적어도 하나의 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성할 수 있다(S830).

전자 장치(200)는 제2 시간 간격으로 나뉜 제1 데이터를 랜덤 샘플링 하여 제2 시간 간격 별 히스토그램(histogram)을 생성하고, 제2 시간 간격 별 히스토그램에 대한 제2 시간 간격 별 확률 밀도 함수를 연산하고, 제2 시간 간격 별 확률 밀도 함수를 이용하여 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 생성하고, 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 제2 시간 간격으로 연결하여 적어도 하나의 제1 대표 데이터를 생성할 수 있다.

일 실시예에 따른 제1 대표 데이터는 기지국 모델 학습시키기 위한 기지국의 환경 데이터로, 제2 시간 간격 별 확률 밀도 함수의 평균(mean) 값 및 표준 편차(standard deviation) 값을 이용하여 생성될 수 있다.

전자 장치(200)는 생성된 적어도 하나의 대표 제1 데이터에 기초하여, 기지국 모델을 학습시킬 수 있다(S840).

기지국 모델(245)은 네트워크 디지털 트윈을 구축하기 위한 실제 기지국을 모사한 모델일 수 있다. 또한, 기지국 모델은 강화 학습의 에이전트로서 보상에 따라 동작을 수행하는 주체로 학습의 대상이 될 수 있다.

기지국 모델은 실제 기지국과 유사한 기능을 수행할 수 있도록 미리 설정되거나 사용자의 입력에 의해 기지국의 복수의 동작이 입력될 수 있고, 이에 대한 다양한 설정 값들이 입력될 수 있다.

도 9은 일 실시예에 따른 기지국 모델을 학습시키는 방법을 나타내는 흐름도이다.

도 2 및 도 9를 참조하면, 전자 장치(200)는 생성된 적어도 하나의 대표 데이터의 환경에 기지국 모델의 적어도 하나의 동작을 적용시켜 제2 시간 간격 별로 각 제1 대표 데이터의 보상 값을 출력할 수 있다(S910).

여기서, 기지국 모델의 동작은 PRB(physical resource block) 사용량에 기초하여, 적어도 하나의 셀을 온(on)시키는 동작 및 상기 적어도 하나의 셀을 오프(off)시키는 동작을 포함할 수 있다.

또한, 기지국 모델은 특정 상태에서 기지국 모델의 동작에 따라 기지국 모델의 상태가 변하게 되므로, 변경된 기지국 모델의 상태를 기반으로 소정의 규칙에 따라 보상값이 연산될 수 있다.

또한, 전자 장치(200)는 대표 데이터 및 에어전트로서 기지국 모델의 동작을 입력으로 입력 받아, 각 동작 및 대표 데이터에 대응되는 환경에 따른 제2 시간 간격 별 보상을 출력할 수 있다.

전자 장치(200)는 출력된 보상 값 중에서 제2 시간 별 대표 보상 값을 선정할 수 있다(S920).

여기서, 제2 시간 별 대표 보상 값은 적어도 하나의 제1 대표 데이터 중에서 제2 시간 별 보상 값이 가장 작은 값을 갖는 값이 선정될 수 있다. 이에 따라, 전자 장치(200)는 통신 성능이 보장되면서 전력 절감이 최대화되도록 제2 시간 별 대표 보상을 연산할 수 있다.

전자 장치(200)는 선정된 제2 시간 별 대표 보상 값의 총합을 연산하여 적어도 하나의 동작 중에서, 연산된 보상 값의 총합이 가장 작은 동작은 수행하지 않도록 기지국 모델을 학습시킬 수 있다(S930).

일 실시예에 따른 기지국 모델을 학습시키기 위한 대표 데이터를 생성하는 전자 장치는 적어도 하나 이상의 인스트럭션을 저장하는 메모리, 송수신부 및 상기 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 송수신부(130)를 통해 수신된 기지국 데이터를 소정의 제1 시간 단위로 분리하고, 상기 분리된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 나누어 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시킬 수 있다.

상기 기지국 데이터는, PRB(physical resource block) 사용량, IP 처리량(throughput), 활동 UE(active user equipment)의 수 및 다운링크 양 중 하나의 데이터를 포함할 수 있다.

상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 제2 시간 간격으로 나뉜 제1 데이터를 랜덤 샘플링 하여 상기 제2 시간 간격 별 히스토그램(histogram)을 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 제2 시간 간격 별 히스토그램에 대한 상기 제2 시간 간격 별 확률 밀도 함수를 연산할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 선정할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 상기 제2 시간 간격으로 연결하여 상기 적어도 하나의 제1 대표 데이터를 생성할 수 있다.

상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 제2 시간 간격으로 나뉜 제1 데이터 중에서, 상기 제1 시간 단위를 기준으로 먼저 기록된 제1 데이터가 더 적은 샘플 수를 갖도록 상기 랜덤 샘플링할 수 있다.

상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 제2 시간 간격 별 확률 밀도 함수의 평균값(mean) 및 표준 편차(standard deviation)를 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 선정할 수 있다.

상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 생성된 적어도 하나의 대표 데이터에 기초하여 상기 기지국 모델을 포함하는 네트워크 디지털 트윈의 적어도 하나의 파라미터를 설정하여 상기 네트워크 디지털 트윈을 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 적어도 하나의 대표 데이터의 환경에 상기 기지국 모델의 적어도 하나의 동작을 적용시켜 상기 제2 시간 간격 별로 각 제1 대표 데이터의 보상 값을 출력할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 출력된 보상 값 중에서 상기 제2 시간 별 대표 보상 값을 선정할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 선정된 제2 시간 별 대표 보상 값의 총합을 연산하여 상기 적어도 하나의 동작 중에서, 상기 연산된 보상 값의 총합이 가장 작은 동작은 수행하지 않도록 상기 기지국 모델을 학습시킬 수 있다

상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시 상기 제2 시간 간격 별 상기 출력된 보상 값 중에서 가장 작은 보상 값을 상기 제2 시간 별 대표 보상 값으로 선정할 수 있다.

상기 기지국 모델의 적어도 하나의 동작은, PRB(physical resource block) 사용량에 기초하여, 적어도 하나의 셀을 온(on)시키는 동작 및 상기 적어도 하나의 셀을 오프(Off)시키는 동작을 포함할 수 있다.

상기 적어도 하나의 셀을 온(on)시키는 동작은, 소정의 주파수 대역의 상기 IP 처리량 또는 상기 PRB 사용량이 소정의 제1 값 이상인 경우, 해당 주파수 대역의 적어도 하나의 셀을 온 시키는 동작을 포함하고, 상기 적어도 셀을 셀을 오프(Off)시키는 동작은, 소정의 주파수 대역의 상기 IP 처리량 또는 상기 PRB 사용량이 소정의 제2 값 이하인 경우, 해당 주파수 대역의 적어도 하나의 셀을 오프 시키는 동작을 포함할 수 있다.

상기 적어도 하나의 확률 밀도 함수를 연산하는 단계는, 상기 제2 시간 간격으로 나뉜 제1 데이터를 랜덤 샘플링 하여 상기 제2 시간 간격 별 히스토그램(histogram)을 생성하는 단계; 및 상기 제2 시간 간격 별 히스토그램에 대한 상기 제2 시간 간격 별 확률 밀도 함수를 연산하는 단계를 포함하고, 상기 적어도 하나의 제1 대표 데이터를 생성하는 단계는, 상기 제2 시간 간격 별 확률 밀도 함수를 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 생성하는 단계; 및 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 상기 제2 시간 간격으로 연결하여 상기 적어도 하나의 제1 대표 데이터를 생성하는 단계를 포함할 수 있다.

상기 제2 시간 간격 별 히스토그램(histogram)을 생성하는 단계는, 상기 제2 시간 간격으로 나뉜 제1 데이터 중에서, 상기 제1 시간 단위를 기준으로 먼저 기록된 제1 데이터가 더 적은 샘플 수를 갖도록 상기 랜덤 샘플링하는 단계를 포함할 수 있다.

상기 적어도 하나의 제2 대표 데이터를 생성하는 단계는, 상기 제2 시간 간격 별 확률 밀도 함수의 평균(mean) 값 및 표준 편차(standard deviation) 값을 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 생성하는 단계를 포함할 수 있다.

상기 학습 모델을 학습시키는 단계는, 상기 생성된 적어도 하나의 대표 데이터에 기초하여 상기 기지국 모델을 포함하는 네트워크 디지털 트윈의 적어도 하나의 파라미터를 설정하여 상기 네트워크 디지털 트윈을 생성하는 단계, 상기 생성된 적어도 하나의 대표 데이터의 환경에 상기 기지국 모델의 적어도 하나의 동작을 적용시켜 상기 제2 시간 간격 별로 각 제1 대표 데이터의 보상 값을 출력하는 단계; 상기 출력된 보상 값 중에서 상기 제2 시간 별 대표 보상 값을 선정하는 단계; 및 상기 선정된 제2 시간 별 대표 보상 값의 총합을 연산하여 상기 적어도 하나의 동작 중에서, 상기 연산된 보상 값의 총합이 가장 작은 동작은 수행하지 않도록 상기 기지국 모델을 학습시키는 단계를 포함할 수 있다.

상기 제2 시간 별 대표 보상 값을 선정하는 단계는, 상기 제2 시간 간격 별 상기 출력된 보상 값 중에서 가장 작은 보상 값을 상기 제2 시간 별 대표 보상 값으로 선정하는 단계를 포함할 수 있다.

상기 기지국 모델의 적어도 하나의 동작은, IP 처리량 또는 PRB(physical resource block) 사용량에 기초하여, 적어도 하나의 셀을 온(on)시키는 동작 및 상기 적어도 하나의 셀을 오프(off)시키는 동작을 포함할 수 있다.

기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims

기지국 모델을 학습시키기 위한 대표 데이터를 생성하는 전자 장치에 있어서,
적어도 하나 이상의 인스트럭션을 저장하는 메모리(120);
송수신부(130); 및
상기 메모리(120)에 저장된 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서(120)를 포함하고,
상기 적어도 하나의 프로세서(120)는,
상기 송수신부(130)를 통해 수신된 기지국 데이터를 소정의 제1 시간 단위로 분리하고, 상기 분리된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성하고,
상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 분리하여 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산하고,
상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성하고,
상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시키는, 전자 장치.
제1항에 있어서,
상기 기지국 데이터는,
PRB(physical resource block) 사용량, IP 처리량(throughput), 활동 UE(active user equipment)의 수 및 다운링크 양 중 하나와 연관된 데이터를 포함하는, 전자 장치.
제1항 또는 제2항에 있어서,
상기 적어도 하나의 프로세서(120)는,
상기 제2 시간 간격으로 분리된 제1 데이터를 랜덤 샘플링 하여 상기 제2 시간 간격 별 히스토그램(histogram)을 생성하고,
상기 제2 시간 간격 별 히스토그램에 대한 상기 제2 시간 간격 별 확률 밀도 함수를 연산하고,
상기 제2 시간 간격 별 확률 밀도 함수를 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 선정하고,
상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 상기 제2 시간 간격으로 연결하여 상기 적어도 하나의 제1 대표 데이터를 생성하는, 전자 장치.
제3항에 있어서,
상기 적어도 하나의 프로세서(120)는,
상기 제2 시간 간격으로 분리된 제1 데이터 중에서, 상기 제1 시간 단위를 기준으로 먼저 기록된 제1 데이터가 더 적은 샘플 수를 갖도록 상기 랜덤 샘플링을 수행하는, 전자 장치.
제3항 또는 제4항에 있어서,
상기 적어도 하나의 프로세서(120)는,
상기 제2 시간 간격 별 확률 밀도 함수의 평균값(mean) 및 표준 편차(standard deviation)를 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 선정하는, 전자 장치.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 적어도 하나의 프로세서(120)는,
상기 생성된 적어도 하나의 대표 데이터에 기초하여 상기 기지국 모델을 포함하는 네트워크 디지털 트윈의 적어도 하나의 파라미터를 설정하여 상기 네트워크 디지털 트윈을 생성하고,
상기 적어도 하나의 대표 데이터의 환경에 상기 기지국 모델의 적어도 하나의 동작을 적용시켜 상기 제2 시간 간격 별로 각 제1 대표 데이터의 보상 값을 출력하고,
상기 출력된 보상 값 중에서 상기 제2 시간 별 대표 보상 값을 선정하고,
상기 선정된 제2 시간 별 대표 보상 값의 총합을 연산하여 상기 적어도 하나의 동작 중에서, 상기 연산된 보상 값의 총합이 가장 작은 동작은 수행하지 않도록 상기 기지국 모델을 학습시키는, 전자 장치.
제6항에 있어서,
상기 적어도 하나의 프로세서(120)는,
상기 제2 시간 간격 별 상기 출력된 보상 값 중에서 가장 작은 보상 값을 상기 제2 시간 별 대표 보상 값으로 선정하는, 전자 장치.
제6항 또는 제7항에 있어서,
상기 기지국 모델의 적어도 하나의 동작은,
IP 처리량 또는 PRB(physical resource block) 사용량에 기초하여, 적어도 하나의 셀을 온(on)시키는 동작 및 상기 적어도 하나의 셀을 오프(Off)시키는 동작을 포함하는, 전자 장치.
제8항에 있어서,
상기 적어도 하나의 셀을 온(on)시키는 동작은,
소정의 주파수 대역의 상기 IP 처리량 또는 상기 PRB 사용량이 소정의 제1 값 이상인 경우, 해당 주파수 대역의 적어도 하나의 셀을 온 시키는 동작을 포함하고,
상기 적어도 셀을 셀을 오프(Off)시키는 동작은,
소정의 주파수 대역의 상기 IP 처리량 또는 상기 PRB 사용량이 소정의 제2 값 이하인 경우, 해당 주파수 대역의 적어도 하나의 셀을 오프 시키는 동작을 포함하는, 전자 장치.
기지국 모델을 학습시키기 위한 대표 데이터를 생성하는 방법에 있어서,
기지국 데이터를 소정의 제1 시간 단위로 분리하고, 상기 분리된 기지국 데이터를 중첩시켜 상기 제1 시간 단위의 제1 데이터를 생성하는 단계(S810);
상기 중첩된 제1 데이터를 소정의 제2 시간 간격 단위로 분리하여 상기 제2 시간 간격 별 확률 밀도 함수(probability density function)를 연산하는 단계(S820);
상기 제2 시간 간격 별 확률 밀도 함수를 이용하여, 적어도 하나의 제1 대표 데이터를 생성하는 단계(S830); 및
상기 생성된 적어도 하나의 제1 대표 데이터에 기초하여, 상기 기지국 모델을 학습시키는 단계(S840)를 포함하는, 방법.
제10항에 있어서,
상기 기지국 데이터는,
PRB(physical resource block) 사용량, IP 처리량(throughput), 활동 UE(active user equipment)의 수 및 다운링크 양 중 하나의 데이터를 포함하는, 방법.
제10항 또는 제11항에 있어서,
상기 적어도 하나의 확률 밀도 함수를 연산하는 단계는,
상기 제2 시간 간격으로 분리된 제1 데이터를 랜덤 샘플링 하여 상기 제2 시간 간격 별 히스토그램(histogram)을 생성하는 단계; 및
상기 제2 시간 간격 별 히스토그램에 대한 상기 제2 시간 간격 별 확률 밀도 함수를 연산하는 단계를 포함하고,
상기 적어도 하나의 제1 대표 데이터를 생성하는 단계는,
상기 제2 시간 간격 별 확률 밀도 함수를 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 생성하는 단계; 및
상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 각각 상기 제2 시간 간격으로 연결하여 상기 적어도 하나의 제1 대표 데이터를 생성하는 단계를 포함하는, 방법.
제12항에 있어서,
상기 제2 시간 간격 별 히스토그램(histogram)을 생성하는 단계는,
상기 제2 시간 간격으로 분리된 제1 데이터 중에서, 상기 제1 시간 단위를 기준으로 먼저 기록된 제1 데이터가 더 적은 샘플 수를 갖도록 상기 랜덤 샘플링을 수행하는 단계를 포함하는, 방법.
제12항 또는 제13항에 있어서,
상기 적어도 하나의 제2 대표 데이터를 생성하는 단계는,
상기 제2 시간 간격 별 확률 밀도 함수의 평균(mean) 값 및 표준 편차(standard deviation) 값을 이용하여 상기 제2 시간 간격 별 적어도 하나의 제2 대표 데이터를 생성하는 단계를 포함하는, 방법.
제10항 내지 제14항 중 어느 한 항에 있어서,
상기 학습 모델을 학습시키는 단계는,
상기 생성된 적어도 하나의 대표 데이터에 기초하여 상기 기지국 모델을 포함하는 네트워크 디지털 트윈의 적어도 하나의 파라미터를 설정하여 상기 네트워크 디지털 트윈을 생성하는 단계;
상기 적어도 하나의 대표 데이터의 환경에 상기 기지국 모델의 적어도 하나의 동작을 적용시켜 상기 제2 시간 간격 별로 각 제1 대표 데이터의 보상 값을 출력하는 단계;
상기 출력된 보상 값 중에서 상기 제2 시간 별 대표 보상 값을 선정하는 단계; 및
상기 선정된 제2 시간 별 대표 보상 값의 총합을 연산하여 상기 적어도 하나의 동작 중에서, 상기 연산된 보상 값의 총합이 가장 작은 동작은 수행하지 않도록 상기 기지국 모델을 학습시키는 단계를 포함하는, 방법.
제15항에 있어서,
상기 제2 시간 별 대표 보상 값을 선정하는 단계는,
상기 제2 시간 간격 별 상기 출력된 보상 값 중에서 가장 작은 보상 값을 상기 제2 시간 별 대표 보상 값으로 선정하는 단계를 포함하는, 방법.
제15항 또는 제16항에 있어서,
상기 기지국 모델의 적어도 하나의 동작은,
IP 처리량 또는 PRB(physical resource block) 사용량에 기초하여, 적어도 하나의 셀을 온(on)시키는 동작 및 상기 적어도 하나의 셀을 오프(off)시키는 동작을 포함하는, 방법.
제17항에 있어서,
상기 적어도 하나의 셀을 온(on)시키는 동작은,
소정의 주파수 대역의 상기 IP 처리량 또는 상기 PRB 사용량이 소정의 제1 값 이상인 경우, 해당 주파수 대역의 적어도 하나의 셀을 온 시키는 동작을 포함하고,
상기 적어도 셀을 셀을 오프(Off)시키는 동작은,
소정의 주파수 대역의 상기 IP 처리량 또는 상기 PRB 사용량이 소정의 제2 값 이하인 경우, 해당 주파수 대역의 적어도 하나의 셀을 오프 시키는 동작을 포함하는, 방법.
제9항 내지 제18항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.