KR20210140901A - 무선망 품질 관리장치 및 무선망 품질 관리방법 - Google Patents

무선망 품질 관리장치 및 무선망 품질 관리방법 Download PDF

Info

Publication number
KR20210140901A
KR20210140901A KR1020200057633A KR20200057633A KR20210140901A KR 20210140901 A KR20210140901 A KR 20210140901A KR 1020200057633 A KR1020200057633 A KR 1020200057633A KR 20200057633 A KR20200057633 A KR 20200057633A KR 20210140901 A KR20210140901 A KR 20210140901A
Authority
KR
South Korea
Prior art keywords
base station
quality management
wireless network
value
compensation
Prior art date
Application number
KR1020200057633A
Other languages
English (en)
Inventor
조연제
김성현
김영석
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020200057633A priority Critical patent/KR20210140901A/ko
Publication of KR20210140901A publication Critical patent/KR20210140901A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 출원은 무선망 품질 관리장치 및 무선망 품질 관리방법에 관한 것으로서, 본 발명의 일 실시예에 의한 무선망 품질 관리방법은 무선망 내에 포함되는 네트워크 요소로부터, 무선 통신환경에 대한 통신 품질 데이터를 수집하는 단계; DQN(Deep Q-Net) 기반의 강화학습 신경망(Reinforce Learning Neural Network)으로 구현한 품질관리모델에, 상기 통신 품질 데이터를 입력하는 단계; 및 상기 품질관리모델로부터, 대상 KPI(Key Performance Indicator)가 최적화조건을 만족하도록 하는, 기지국의 제어 파라미터들을 추출하는 단계를 포함할 수 있다.

Description

무선망 품질 관리장치 및 무선망 품질 관리방법 {Apparatus and method for quality management of wireless communication}
본 출원은 이동통신 시스템에서의 무선망 품질을 최적으로 유지할 수 있도록, 기지국의 제어 파라미터를 설정할 수 있는 무선망 품질 관리장치 및 무선망 품질 관리방법에 관한 것이다.
기존의 2G/3G 무선 네트워크에서는 많은 네트워크 요소들과 관련된 파라미터들이 수동으로 설정되었다. 네트워크 구성 요소들과 이와 관련된 파라미터들의 설계, 설정, 통합 및 관리 기능은 효율적이고 신뢰성 있는 네트워크 운용을 위하여 매우 중요하다. 다만, 네트워크 파라미터 조정은 전문적인 엔지니어의 수작업이 요구되고 있으며, 이러한 수작업 과정으로 인해 네트워크 파라미터 조정은 시간이 많이 걸리고 잠재적으로 수작업에 따른 오류 발생 가능성이 있는 문제점이 있다.
종래에는 이러한 수작업의 문제점을 보완하기 위해 최적화 싸이클을 반복하는 방법 등을 활용하였으나, 최적화 싸이클을 반복하는 방법은 여러 상황에서 문제없이 사용 가능한 디폴트 파라미터 값을 초기값으로 하여 파라미터 적용, 성능 평가 및 파라미터 재설정의 싸이클을 반복하는 것으로, 싸이클의 반복 횟수에 따라 소요 시간이 과다하게 오래 걸릴 수 있는 문제점이 있다.
본 출원은 무선망 품질을 최적으로 유지하기 위한 최적의 기지국 제어 파라미터를 추천할 수 있는 무선망 품질 관리장치 및 무선망 품질 관리방법을 제공하고자 한다.
본 출원은 DQN(Deep Q-net) 강화 학습을 기반으로, 최적의 기지국 제어 파라미터를 제공할 수 있는 무선망 품질 관리장치 및 무선망 품질 관리방법을 제공하고자 한다.
본 출원은 기지국의 제어 파라미터 설정시 인접 기지국의 무선 통신환경에 미치는 영향을 반영하여 설정할 수 있는 무선망 품질 관리장치 및 무선망 품질 관리방법을 제공하고자 한다.
본 발명의 일 실시예에 의한 무선망 품질 관리방법은, 무선망 내에 포함되는 네트워크 요소로부터, 무선 통신환경에 대한 통신 품질 데이터를 수집하는 단계; DQN(Deep Q-Net) 기반의 강화학습 신경망(Reinforce Learning Neural Network)으로 구현한 품질관리모델에, 상기 통신 품질 데이터를 입력하는 단계; 및 상기 품질관리모델로부터, 대상 KPI(Key Performance Indicator)가 최적화조건을 만족하도록 하는, 기지국의 제어 파라미터들을 추출하는 단계를 포함할 수 있다.
여기서 상기 품질관리모델은, 상기 통신 품질 데이터들의 조합을 상기 무선 통신환경의 상태(state), 상기 기지국의 제어 파라미터들을 설정하는 것을 행동(Action), 상기 행동에 따른 상기 대상 KPI의 가치평가 예측값을 큐값(Q-Value), 상기 행동에 따른 상기 대상 KPI의 가치평가 측정값을 보상(reward)으로 각각 설정하고, 상기 강화학습 신경망을 기반으로 학습하여 생성할 수 있다.
여기서 상기 품질관리모델은, 각각의 상태와 행동의 조합에 대응하는 보상을 포함하는 학습데이터를 딥 러닝(Deep learning) 또는 머신러닝(machine learning) 기반으로 학습한 것으로, 상기 상태가 입력되면, 가능한 모든 행동에 대응하는 각각의 큐값들의 예측값을 출력할 수 있다.
여기서 상기 품질관리모델은, 상기 큐값의 예측값과 실제 측정값 사이의 오차를 줄이는 방향으로 학습할 수 있다.
여기서, 상기 통신 품질 데이터는, 기지국의 안테나 구축 정보, 기지국 출력 정보, 타임스탬프, SINR(Signal to Inference plus Noise Ration) 통계, 접속단말 통계, 간섭 통계, 트래픽 통계, 부하율 통계 및 핸드오버 통계 중 적어도 어느 하나를 포함하고, 상기 제어 파라미터는, 기지국 내에 포함되는 각각의 안테나들의 안테나 고도각, 안테나 방위각, 안테나 출력, 세부 빔(beam) ID 별 HPBW(Half-Power Beam Width) 및 빔 형상(Beam Shape) 중 적어도 어느 하나를 포함하며, 상기 대상 KPI는 업링크 및 다운링크에 대한 각각의 SINR, BLER(Block Error Rate), 트래픽 부하율과, 기지국 소비 전력 중 적어도 어느 하나를 포함할 수 있다.
여기서 상기 보상은
Figure pat00001
를 이용하여 연산하는 것으로, r은 보상, wi는 i번째 대상 KPI의 보상값에 대한 가중치, KPIi(a)는 a 행동에 따른 i번째 대상 KPI 값, fi(*)는 i번째 대상 KPI 값을 보상값으로 환산하는 변환함수일 수 있다.
여기서 상기 추출하는 단계는, 상기 기지국의 제어 파라미터 추출시, 상기 제어 파라미터 설정이 인접하는 타 기지국의 무선 통신환경에 미치는 영향을 반영하여, 상기 기지국의 보상을 설정할 수 있다.
여기서 상기 추출하는 단계는,
Figure pat00002
Figure pat00003
를 이용하여 상기 기지국의 보상을 설정하는 것으로, rk tot는 k번째 기지국에 대한 전체 보상, rk는 k번째 기지국의 로컬환경에 대한 보상, ck,l는 k번째 기지국에 인접하는 l번째 타 기지국의 보상 변화량에 대한 가중치, Δrl은 l번째 타 기지국의 로컬환경에 대한 보상의 변화량일 수 있다.
본 발명의 일 실시예에 의하면, 하드웨어와 결합된 상기 무선망 품질 관리 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램이 존재할 수 있다.
본 발명의 일 실시예에 의한 무선망 품질 관리 장치는, 무선망 내에 포함되는 네트워크 요소로부터, 무선 통신환경에 대한 통신 품질 데이터를 수집하는 수집부; DQN(Deep Q-Net) 기반의 강화학습 신경망(Reinforce Learning Neural Network)으로 구현한 품질관리모델; 및 상기 품질관리모델에 상기 통신 품질 데이터를 입력하여, 대상 KPI(Key Performance Indicator)가 최적화조건을 만족하도록 하는, 기지국의 제어 파라미터들을 추출하는 제어부를 포함할 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 무선망 품질 관리장치 및 무선망 품질 관리방법에 의하면, 무선망 품질을 최적으로 유지하기 위한 최적의 기지국 제어 파라미터를 추출하여 운용자에게 추천하는 것이 가능하다. 따라서, 운용자는 추천받은 제어 파라미터에 따라 기지국을 설정하여, 대상 KPI 등 무선망 품질을 최적으로 유지시킬 수 있다. 또한, 제어 파라미터는 실시간으로 추천받을 수 있으므로, 운용자는 무선 통신 환경 변화에 대응하여 즉각적으로 판단하고 조치하는 것이 가능하다.
본 발명의 일 실시예에 의한 무선망 품질 관리장치 및 무선망 품질 관리방법에 의하면, 인접 기지국의 무선 통신환경에 미치는 영향을 반영하여, 해당 기지국의 제어 파라미터를 설정하는 것이 가능하다. 따라서, 주변의 영향을 최소화하면서 해당 기지국에 대한 최적화를 수행할 수 있다. 또한, 이를 최적화하고자 하는 대상 지역 내에 존재하는 모든 기지국에 대해 순차적으로 개별 적용함으로써, 대상 지역에 대한 실질적인 최적화를 수행할 수 있다.
도1은 본 발명의 일 실시예에 의한 무선망 품질 관리 시스템을 나타내는 블록도이다.
도2는 본 발명의 일 실시예에 의한 무선망 품질 관리장치를 나타내는 블록도이다.
도3은 본 발명의 일 실시예에 의한 강화학습 신경망의 동작을 나타내는 개략도이다.
도4는 본 발명의 일 실시예에 의한 DQN(Deep Q-Net)의 동작을 나타내는 개략도이다.
도5는 본 발명의 일 실시예에 의한 상태, 행동 및 보상을 나타내는 예시도이다.
도6은 본 발명의 다른 실시예에 의한 무선망 품질 관리 시스템의 동작을 나타내는 개략도이다.
도7은 본 발명의 일 실시예에 의한 무선망 품질 관리 방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "~부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
도1은 본 발명의 일 실시예에 의한 무선망 품질 관리 시스템을 나타내는 블록도이다.
도1을 참조하면, 본 발명의 일 실시예에 의한 무선망 품질 관리 시스템은, 기지국(10), EMS(20, Element Management System) 및 무선망 품질 관리 장치(100)를 포함할 수 있다.
이하 도1을 참조하여 본 발명의 일 실시예에 의한 무선망 품질 관리 시스템을 설명한다.
기지국(10)은 커버리지 내에 무선망을 제공하며, 커버리지 내에 위치하는 이동통신단말들에 대한 이동통신 서비스를 제공할 수 있다. 실시예에 따라서는, 기지국(10)은 5G NR(New Radio) 기지국일 수 있으며, 이 경우 네트워크 운용 효율을 높이기 위해, CU(Central Unit), DU(Distirbuted Unit), RU(Radio Unit)의 3단 구조로 기능에 따라 분리되어 구성될 수 있다. 각각의 CU, DU, RU는 모두 분리되어 구축되는 것이 일반적이나, CU-DU 일체형 또는 DU-RU 일체형 등의 구성도 가능하다.
여기서 RU는 기지국(10)에서 셀을 구성하는 기본 단위이며, 무선망 품질 관리는 각각의 RU, 즉 셀 단위로 수행할 수 있다. 기본적으로 통신 품질데이터는 RU 단위로 수집될 수 있으며, RU에서 수집된 통신품질데이터들은 해당 DU 및 CU를 거치면서 정해진 포맷으로 저장되어 EMS(20) 등 무선망을 형성하는 네트워크 요소로 전달될 수 있다. 여기서, 통신품질데이터는 각각의 RU가 제공하는 무선망 품질에 대한 통계정보일 수 있으며, 하나의 통신품질데이터에 수백개 단위의 복수의 무선망 품질 관련 파라미터정보가 포함되는 벡터형 데이터일 수 있다. 실시예에 따라서는, EMS(20)로 전달된 통신품질데이터를 일부 재가공하여 NMS(Network Management Systme)(미도시)로 전달하는 것도 가능하다.
EMS(20)는 커버리지를 고려하여 여러 지역에 분산 위치된 개별 기지국(10) 들을 관리하면서, 각각의 기지국(10)에 대한 통신품질데이터를 수집할 수 있다. 즉, EMS(20)를 이용하여 각각의 기지국(100)들에 대한 무선망 품질을 모니터링할 수 있으며, 무선망의 품질열화 등이 발생한 경우에는 품질복구를 위한 조치를 취하도록 할 수 있다.
여기서, EMS(20)를 이용하면, 미리 설정된 특정 기지국의 제어 파라미터에 따른 KPI(Key Performance Indicator)의 열화 여부나, 심각성 등을 판단하는 것은 가능하다. 다만, 현재 설정되어 있는 기지국의 제어 파라미터들이 현재 통신망 환경에서 최적으로 설정되어 있는지 여부나, 최적화를 위해 개선이 필요하다면 어떤 제어 파라미터를 어떻게 조정해야하는지를 판단할 수 없는 문제점이 존재한다.
일반적으로 기지국(10)의 제어 파라미터들에 대한 최적화는, 미리 설정된 주기별로 수행하거나, 무선 환경 개선의 필요성이 요구되는 경우 수행할 수 있다. 다만, 이러한 기지국의 제어 파라미터에 대한 업데이트 작업은 주로 수동 분석작업으로 이루어지며, 담당 운용자의 경험에 기반하기 때문에 적지 않은 시간이 소요될 뿐만 아니라, 체계적인 관리가 어려운 문제점이 존재한다. 이와 같은 문제점을 해결하기 위하여, 무선망 품질 관리장치(100)를 도입할 수 있다.
무선망 품질 관리장치(100)는, DQN(Deep Q-Net) 기반의 강화 학습 신경망(Reinforce Learning Neuarl Network)으로 학습한 품질관리모델을 활용할 수 있으며, 수집한 통신품질데이터를 기반으로, 기지국에 대한 최적의 제어 파라미터들을 추출하여, 운용자 등에게 추천할 수 있다. 즉, 딥러닝 등의 학습 알고리즘을 통해 학습된 품질관리모델을 이용하여, 모든 무선 환경 상태(State)에 대한 최적의 제어 파라미터를 실시간으로 도출할 수 있으며, 이를 운용자에게 추천하는 것이 가능하다. 이를 통하여, 운용자는 기지국(10)의 제어 파라미터의 조정여부를 즉각적으로 판단하여 조치할 수 있으며, 제어 파라미터 설정시 운용자의 숙련도에 대한 의존도를 최소화 할 수 있다. 이하, 본 발명의 일 실시예에 의한 무선망품질분석장치(100)를 설명한다.
도2는 본 발명의 일 실시예에 의한 무선망 품질 관리장치(100)를 나타내는 블록도이다. 도2를 참조하면, 본 발명의 일 실시예에 의한 무선망 품질 관리장치(100)는, 수집부(110), 품질관리모델(120) 및 제어부(130)를 포함할 수 있다.
수집부(110)는 무선망 내에 포함되는 네트워크 요소로부터, 무선 통신환경에 대한 통신 품질 데이터를 수집할 수 있다. 여기서, 네트워크 요소는 무선망을 형성하는 것이면 어떠한 것도 포함될 수 있으며, 네트워크의 운용환경에 따라, 무선망을 형성하는 다양한 종류의 서버들로부터 통신 품질 데이터를 수집할 수 있다. 실시예에 따라서는, EMS(20), NMS 등으로부터 기지국(10)들에 대한 통신 품질 데이터를 수집할 수 있다.
수집부(110)는 EMS(20) 등으로부터 일정한 수집주기(예를들어, 5분 또는 15분)마다 통신 품질 데이터를 제공받을 수 있으며, 이때 각각의 통신 품질 데이터들은 각각의 기지국별로 구분되어 있을 수 있다.
여기서, 수집부(110)가 수집하는 통신 품질 데이터에는, 기지국(10)의 안테나 구축 정보(예를들어, 안테나의 위치나 방향), 기지국 출력 정보, 타임스탬프(timestamp), SINR(Signal to Inference plus Noise Ration) 통계, 접속단말 통계, 간섭 통계, 트래픽 통계, 부하율 통계 및 핸드오버 통계 등을 포함할 수 있다.
품질관리모델(120)은 입력받은 통신 품질 데이터에 대응하여, 대상 KPI(Key Performance Indicator)의 최적화 조건을 만족하도록 하는 기지국의 제어 파라미터들을 추출할 수 있다. 여기서, 품질관리모델(120)은 DQN(Deep Q-Net) 기반의 강화학습 신경망(Reinforce Learning Neural Network)으로 학습하여 구현한 것일 수 있다.
구체적으로, 강화학습 신경망은 도3에 도시한 바와 같이, 동작하는 것일 수 있다. 즉, 주어진 환경(Environment)에서 정의되는 현재 상태(state)와 보상(reward)으로부터, 가치함수(value function)을 최대화하는 행동(action)이 어떠한 것인지를 판단하기 위한 학습을 수행할 수 있으며, 현 시점까지 학습된 학습모델을 기반으로 행동(action)을 결정하도록 할 수 있다. 여기서, 가치함수는 달성하고자 하는 최종 목표를 달성하기 위해 특정 행동(action)을 수행하는 경우, 특정 행동(action)이 얼마나 기여하는지를 수치로 나타내는 함수에 해당한다.
이때, 특정 행동이 얼마나 기여하는지를 연산하기 위하여, 도4(a)에 도시한 바와 같이, 지난 히스토리 데이터를 기반으로 지속적으로 업데이트되고 있는 큐 테이블(Quality-Table)을 이용할 수 있다. 히스토리 데이터는 현재까지 주어진 상태(state)에서 수행한 행동(Action)과, 그에 대응하는 보상(Reward)을 포함할 수 있으며, 큐 테이블은 히스토리 데이터를 기반으로 학습될 수 있다. 따라서, 큐 테이블은 히스토리 데이터가 지속적으로 누적되면서 점차 업데이트되어 수렴할 수 있으며, 이때 큐 테이블의 큐값(Q-value)는 특정 상태(state)와 행동(action)에서 예측되는 보상(reward)에 대응한다. 즉, 강화 학습을 통해 큐 테이블을 지속적으로 학습시킨 후, 해당 큐 테이블의 큐값을 참조하면, 특정 상태(state)에서의 최적의 행동(action)을 실시간으로 추출하는 것이 가능하다.
한편, 본 발명의 일 실시예에 의한 품질관리모델(120)은, 강화학습을 이용하여 기지국(10)의 제어 파라미터를 최적으로 관리하도록 할 수 있다. 이 경우, 상태는 EMS(20), NMS(미도시) 등으로부터 수집 되는 통신 품질 데이터들의 조합으로 정의하고, 행동은 원격 또는 비원격으로 조정 가능한 모든 기지국(10)의 제어 파라미터를 조정하거나 설정하는 등의 행위로 설정할 수 있다. 또한, 보상은 행동에 따른 무선 통신 환경(Envorinment)의 변화를 수치화한 것으로, 여기서는 최적화하고자 하는 대상 KPI를 점수화하여 나타낼 수 있다. 여기서, 대상 KPI에 대한 점수는, 주어진 상태-행동에 대응하여 실측된 큐값에 해당한다.
하지만, 상태의 경우 복수의 통신 품질 데이터들이 가지는 수치값의 조합으로 정의되므로, 이론적으로 가능한 상태의 개수는 무한대에 해당한다. 따라서, 도 4(a)의 큐 테이블을 이용하는 방식으로는, 실질적인 구현이 어려울 수 있다.
이를 해결하기 위하여, 본 발명에서는 도4(b)와 같이 DQN(Deep Q-Net)을 기반으로 품질관리모델(120)을 학습시킬 수 있다. 즉, 품질관리모델(120)은 각각의 상태(state)와 행동(action)의 조합에 대응하는 보상(reward)을 포함하는 학습데이터를 딥 러닝 또는 머신러닝 기반으로 학습할 수 있으며, 각각의 상태(state)가 입력되면, 가능한 모든 행동(action)에 대응하는 각각의 큐값(Q-value)들의 예측값을 출력할 수 있다.
구체적으로, 비선형 회귀(Regression) 모델링 방식으로써의 딥러닝 또는 머신러닝 알고리즘을 통해 품질관리모델(120)를 학습시키므로, 연속적인(Continuous) 모든 상태(state)에 대한 큐값의 추정치(Estimation)를 도출할 수 있다. 여기서, 큐값의 추정치는 예상되는 보상(reward)에 대응한다. 따라서, 품질관리모델(120)은 상태가 입력되면, 가능한 모든 행동들에 대하여 각각의 큐값을 출력할 수 있다.
이때, 품질관리모델(120)은, 특정 상태(State)와 행동(Action)의 조합에 대응하는 보상(Reward) 값에 대한 발생 히스토리 데이터를 학습데이터로 하여, 초기 학습을 수행할 수 있다. 이 경우, 품질관리모델(120)은 큐값의 예측값과 실제 측정값 사이의 오차를 줄이는 방향으로 학습할 수 있다.
즉, 기지국(10)이 제어 파라미터를 실제 필요에 따라서 설정하거나, 학습을 위해 허용 범위 내에서 임의로 설정하는 등의 사례가 누적 될수록, 학습 결과는 수렴하므로, 자연스럽게 품질관리모델(120)의 신뢰성을 확보할 수 있다. 또한, 학습 루틴을 지속적으로 실행하면, 무선 통신환경의 변화에도 자연스럽게 적응하는 것이 가능하다.
최종적으로는 품질관리모델(120)을 이용하면, 각 행동(Action) 별로 얻을 수 있는 대상 KPI에 대한 예상 보상을 추출하여 제공하거나, 최적의 대상 KPI를 얻을 수 있는 행동을 실시간으로 도출하여 운용자에게 제시하는 것이 가능하다. 여기서, 최적의 대상 KPI에 대응하는 최적화 조건은 미리 설정되어 있을 수 있다.
도5를 참조하면, 품질관리모델(120)의 생성시 활용하는 상태(state), 행동(action) 및 보상(reward)의 예시가 제시되어 있다.
상태는 통신 품질 데이터들의 조합에 의하여 정의될 수 있으며, 통신 품질 데이터에는 도5에 나열된 바와 같이, 기지국의 안테나 구축 정보, 기지국 출력 정보, 타임스탬프, SINR(Signal to Inference plus Noise Ration) 통계, 접속단말 통계, 간섭 통계, 트래픽 통계, 부하율 통계 및 핸드오버 통계 등이 포함될 수 있다.
또한, 행동은 기지국(10)의 제어 파라미터를 운용자 등이 설정하는 행위에 해당하며, 운용자가 설정할 수 있는 제어 파라미터에는 기지국(10) 내에 포함되는 각각의 안테나들의 안테나 고도각, 안테나 방위각, 안테나 출력, 세부 빔(beam) ID 별 HPBW(Half-Power Beam Width) 및 빔 형상(Beam Shape) 등이 포함될 수 있다.
큐값의 물리적 의미를나타내는 대상 KPI에는, 업링크(uplink) 및 다운링크(downlink)에 대한 각각의 SINR, BLER(Block Error Rate), 트래픽 부하율이 포함될 수 있으며, 이외에도 기지국 소비 전력 등이 포함될 수 있다.
한편, 보상은
Figure pat00004
을 이용하여 연산할 수 있다. 여기서, r은 보상, wi는 i번째 대상 KPI의 보상값에 대한 가중치, KPIi(a)는 a 행동에 따른 i번째 대상 KPI 값, fi(*)는 대상 KPI 값을 보상값으로 환산하는 변환함수에 각각 해당한다.
제어부(130)는 무선망 품질관리장치(100)에 대한 전반적인 제어를 수행할 수 있다. 실시예에 따라서는, 제어부(130)가 품질관리모델(120)에 통신 품질 데이터를 입력할 수 있으며, 품질관리모델(120)로부터 대상 KPI(Key Performance Indicator)가 최적화 조건을 만족하도록 하는 기지국의 제어 파라미터들을 추출할 수 있다. 이후, 제어부(130)는 추출한 제어 파라미터를 운용자에게 제공할 수 있다. 제어부(130)는 운용자의 입력에 따라 대상 KPI를 설정거나, 대상 KPI의 최적화조건 등을 설정하는 기능도 수행할 수 있다.
추가적으로, 본 발명의 일 실시예에 의한 무선망 품질 관리장치(100)는, 대상 KPI가 최적화 조건을 만족하도록 하는 기지국의 제어 파라미터 추출시, 해당 제어파라미터의 설정이 인접하는 타 기지국의 무선 통신환경에 미치는 영향을 반영하여, 해당 기지국의 보상을 설정하도록 할 수 있다. 즉, 기지국의 제어 파라미터 추출시, 제어 파라미터 설정이 인접하는 타 기지국의 무선 통신환경에 미치는 영향을 반영하여, 기지국의 보상을 설정하는 실시예도 가능하다.
기지국(10)은 각각의 RU별로 관리될 수 있으며, 특정 기지국의 제어 파라미터의 조정은 인접 타 기지국의 무선 환경에도 영향을 줄 수 있다. 즉, 기지국의 커버리지 품질은 상호 간 연관성이 존재하므로, 최적의 기지국 제어 파라미터를 설정하는 문제는, 인접 지역 내에 존재하는 모든 기지국 간의 상호 작용을 고려하여야 한다.
예를들어, 해당 기지국을 최적화하기 위하여 안테나 방위각과 고도각을 조정하거나, 안테나 출력을 조정하게 되면, 인접 타 기지국에는 간섭이 발생하거나, 트래픽 유입량이 변동하는 등 영향을 받게 된다. 따라서, 무선망 품질을 최적으로 유지하기 위해서는, 기지국 사이의 상호작용을 고려한 보상값 설정이 중요하다.
실시예에 따라서는, 최적화 대상이 되는 전체 무선 통신 환경에 속하는 복수의 기지국들의 상태와 행동을 한번에 고려하여 강화학습을 수행할 수도 있으나, 이 경우 고려해야하는 상태, 행동의 조합이 기하급수적으로 늘어나게 되므로, 이를 한번에 통합하여 학습하는 것은 현실적으로 무리가 있다.
이를 해소하기 위하여, 본 발명의 일 실시예에 의한 무선망 품질관리장치(100)는, 인접 기지국간의 상호작용을 고려하여, 각 기지국 별로 순차적으로 학습을 수행하는 방법론을 제안한다. 즉, 특정 n번째 상태에서 최적화 대상 무선 통신 환경 내에 포함되는 M개의 기지국에 대해 하나의 기지국씩 행동 및 전체 보상을 기반으로 피드백을 통한 학습을 순차적으로 수행하도록 할 수 있다.
도6을 참조하면, 특정 k번째 기지국에 대한 로컬 상태인 sk(n)이 주어진 상황에서 k번째 기지국의 품질관리모델을 기반으로 행동 ak(n)을 수행할 수 있다. 이 경우 k번째 기지국에 대한 보상 rk(n)과 함께, k번째 기지국을 제외한 나머지 주변 기지국의 무선 통신환경에도 영향이 발생할 수 있다. 이때 발생하는 모든 주변 기지국 무선 통신 환경에서의 보상은 벡터 r k(n)으로 나타낼 수 있다. 여기서, 벡터 r k(n) = [r1(n), ?? , rk-1(n), rk+1(n), ?? , rM(n)]로 나타낼 수 있다.
이때, 기지국간 상호작용을 고려한 k번째 기지국의 전체 보상(rk tot)은 다음과 같이 정의될 수 있다.
Figure pat00005
Figure pat00006
여기서, rk tot는 k번째 기지국에 대한 전체 보상, rk는 k번째 기지국의 로컬환경에 대한 로컬 보상, ck,l는 k번째 기지국에 인접하는 l번째 타 기지국의 보상 변화량에 대한 가중치, Δrl은 l번째 타 기지국의 로컬환경 변화에 따른 보상의 변화량에 해당한다.
즉, 전체 보상은 해당 k번째 기지국의 로컬 보상과, k번째 기지국을 제외한 나머지 타 기지국의 보상 변화량에 가중치 ck,l을 곱한 값을 더한 값에 해당한다. 여기서, 가중치 ck,l는 실수범위를 가지며, 그 크기와 부호는 대상 KPI의 물리적 의미와 최적화 목적에 따라 각각 설정될 수 있다.
이를 통하여, 특정 하나 또는 몇 개의 대상 기지국에 대해 주변의 영향을 최소화하면서 해당 기지국들 위주로 설정을 최적화하는 등의 실시예를 구현하는 것이 가능하다. 이외에도, 기지국간 로드 밸런싱이나 전력 절감을 위한 기지국 출력 조정 가능 범위 결정 등을 위하여 응용하는 것도 가능하다.
도7은 본 발명의 일 실시예에 의한 무선망 품질 관리 방법을 나타내는 순서도이다. 여기서, 무선망 품질 관리 방법의 각 단계는, 본 발명의 일 실시예에 의한 무선망 품질 관리장치에 의하여 수행될 수 있다.
도7을 참조하면, 무선망 품질 관리장치는 무선망 내에 포함되는 네트워크 요소로부터, 무선 통신환경에 대한 통신 품질 데이터를 수집할 수 있다(S110). 여기서, 네트워크 요소는 EMS 등일 수 있으며, EMS로부터 일정한 수집주기(예를들어, 5분 또는 15분)마다 통신 품질 데이터를 제공받을 수 있다.
이후, 무선망품질 관리장치는, DQN(Deep Q-Net) 기반의 강화학습 신경망(Reinforce Learning Neural Network)으로 구현한 품질관리모델에, 통신 품질 데이터를 입력할 수 있으며(S120), 품질관리모델로부터 대상 KPI가 최적화조건을 만족하도록 하는 기지국의 제어 파라미터들을 추출할 수 있다(S130).
여기서, DQN 기반의 강화학습을 적용하기 위하여, 통신 품질 데이터들의 조합을 무선 통신환경의 상태(state), 기지국의 제어 파라미터들을 설정하는 것을 행동(Action), 행동에 따른 대상 KPI의 가치평가 예측값을 큐값(Q-Value), 행동에 따른 실제 KPI의 가치평가 측정값을 보상(reward)으로 각각 설정할 수 있으며, 품질관리모델은 이를 바탕으로 학습을 수행할 수 있다. 품질관리모델은, 각각의 상태와 행동의 조합에 대응하는 보상을 포함하는 학습데이터를 딥 러닝 또는 머신 러닝 기반으로 학습하여 생성할 수 있으며, 이때 큐값의 예측값과 실제 측정값 사이의 오차를 줄이는 방향으로 학습을 수행할 수 있다.
이후, 품질관리모델에 통신 품질 데이터들의 조합에 대응하는 상태가 입력되면, 가능한 모든 행동에 대응하는 각각의 큐값들의 예측값을 출력하는 것이 가능하다. 따라서, 각 행동(Action) 별로 얻을 수 있는 대상 KPI에 대한 예상 보상을 추출하여 제공하거나, 최적의 대상 KPI를 얻을 수 있는 행동을 실시간으로 도출하여 운용자에게 제시할 수 있다.
한편, 통신 품질 데이터는, 기지국의 안테나 구축 정보, 기지국 출력 정보, 타임스탬프, SINR(Signal to Inference plus Noise Ratio) 통계, 접속단말 통계, 간섭 통계, 트래픽 통계, 부하율 통계 및 핸드오버 통계 등을 포함할 수 있으며, 제어 파라미터는, 기지국 내에 포함되는 각각의 안테나들의 안테나 고도각, 안테나 방위각, 안테나 출력, 세부 빔(beam) ID 별 HPBW(Half-Power Beam Width) 및 빔 형상(Beam Shape) 등을 포함할 수 있다. 또한, 대상 KPI는 업링크 및 다운링크에 대한 각각의 SINR, BLER(Block Error Rate), 트래픽 부하율과, 기지국 소비 전력 등을 포함할 수 있다.
보상은
Figure pat00007
를 이용하여 연산할수 있으며, r은 보상, wi는 i번째 대상 KPI의 보상값에 대한 가중치, KPIi(a)는 a 행동에 따른 i번째 대상 KPI 값, fi(*)는 i번째 대상 KPI 값을 보상값으로 환산하는 변환함수에 해당한다.
추가적으로, 추출하는 단계(S130)는, 기지국의 제어 파라미터 추출시, 제어 파라미터 설정이 인접하는 타 기지국의 무선 통신환경에 미치는 영향을 반영하여, 기지국의 보상을 설정할 수 있다.
구체적으로,
Figure pat00008
Figure pat00009
를 이용하여 기지국의 보상을 설정할 수 있다. 이 경우, rk tot는 k번째 기지국에 대한 전체 보상, rk는 k번째 기지국의 로컬환경에 대한 보상, ck,l는 k번째 기지국에 인접하는 l번째 타 기지국의 보상 변화량에 대한 가중치, Δrl은 l번째 타 기지국의 로컬환경에 대한 보상의 변화량일 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
10: 기지국 20: EMS(Element Management System)
100: 무선망 품질 관리장치 110: 수집부
120: 품질관리모델 130: 제어부

Claims (10)

  1. 무선망 내에 포함되는 네트워크 요소로부터, 무선 통신환경에 대한 통신 품질 데이터를 수집하는 단계;
    DQN(Deep Q-Net) 기반의 강화학습 신경망(Reinforce Learning Neural Network)으로 구현한 품질관리모델에, 상기 통신 품질 데이터를 입력하는 단계; 및
    상기 품질관리모델로부터, 대상 KPI(Key Performance Indicator)가 최적화조건을 만족하도록 하는, 기지국의 제어 파라미터들을 추출하는 단계를 포함하는 무선망 품질 관리방법.
  2. 제1항에 있어서, 상기 품질관리모델은
    상기 통신 품질 데이터들의 조합을 상기 무선 통신환경의 상태(state), 상기 기지국의 제어 파라미터들을 설정하는 것을 행동(Action), 상기 행동에 따른 상기 대상 KPI의 가치평가 예측값을 큐값(Q-Value), 상기 행동에 따른 상기 대상 KPI의 가치평가 측정값을 보상(reward)으로 각각 설정하고, 상기 강화학습 신경망을 기반으로 학습하여 생성하는 것을 특징으로 하는 무선망 품질 관리방법.
  3. 제2항에 있어서, 상기 품질관리모델은
    각각의 상태와 행동의 조합에 대응하는 보상을 포함하는 학습데이터를 딥 러닝(Deep learning) 또는 머신 러닝(machine learning) 기반으로 학습한 것으로, 상기 상태가 입력되면, 가능한 모든 행동에 대응하는 각각의 큐값들의 예측값을 출력하는 것을 특징으로 하는 무선망 품질 관리방법.
  4. 제3항에 있어서, 상기 품질관리모델은
    상기 큐값의 예측값과 실제 측정값 사이의 오차를 줄이는 방향으로 학습하는 것을 특징으로 하는 무선망 품질 관리방법.
  5. 제2항에 있어서,
    상기 통신 품질 데이터는, 기지국의 안테나 구축 정보, 기지국 출력 정보, 타임스탬프, SINR(Signal to Inference plus Noise Ration) 통계, 접속단말 통계, 간섭 통계, 트래픽 통계, 부하율 통계 및 핸드오버 통계 중 적어도 어느 하나를 포함하고,
    상기 제어 파라미터는, 기지국 내에 포함되는 각각의 안테나들의 안테나 고도각, 안테나 방위각, 안테나 출력, 세부 빔(beam) ID 별 HPBW(Half-Power Beam Width) 및 빔 형상(Beam Shape) 중 적어도 어느 하나를 포함하며,
    상기 대상 KPI는 업링크 및 다운링크에 대한 각각의 SINR, BLER(Block Error Rate), 트래픽 부하율과, 기지국 소비 전력 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 무선망 품질 관리방법.
  6. 제2항에 있어서, 상기 보상은
    Figure pat00010

    를 이용하여 연산하는 것으로, r은 보상, wi는 i번째 대상 KPI의 보상값에 대한 가중치, KPIi(a)는 a 행동에 따른 i번째 대상 KPI 값, fi(*)는 i번째 대상 KPI 값을 보상값으로 환산하는 변환함수인 것을 특징으로 하는 무선망 품질 관리방법.
  7. 제2항에 있어서, 상기 추출하는 단계는
    상기 기지국의 제어 파라미터 추출시, 상기 제어 파라미터 설정이 인접하는 타 기지국의 무선 통신환경에 미치는 영향을 반영하여, 상기 기지국의 보상을 설정하는 것을 특징으로 하는 무선망 품질 관리방법.
  8. 제7항에 있어서, 상기 추출하는 단계는
    Figure pat00011
    Figure pat00012

    를 이용하여 상기 기지국의 보상을 설정하는 것으로,
    rk tot는 k번째 기지국에 대한 전체 보상, rk는 k번째 기지국의 로컬환경에 대한 보상, ck,l는 k번째 기지국에 인접하는 l번째 타 기지국의 보상 변화량에 대한 가중치, Δrl은 l번째 타 기지국의 로컬환경에 대한 보상의 변화량인 것을 특징으로 하는 무선망 품질 관리 방법.
  9. 하드웨어와 결합된 청구항 제1항 내지 제8항 중 어느 한 항이 무선망 품질 관리 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.
  10. 무선망 내에 포함되는 네트워크 요소로부터, 무선 통신환경에 대한 통신 품질 데이터를 수집하는 수집부;
    DQN(Deep Q-Net) 기반의 강화학습 신경망(Reinforce Learning Neural Network)으로 구현한 품질관리모델; 및
    상기 품질관리모델에 상기 통신 품질 데이터를 입력하여, 대상 KPI(Key Performance Indicator)가 최적화조건을 만족하도록 하는, 기지국의 제어 파라미터들을 추출하는 제어부를 포함하는 무선망 품질관리장치.
KR1020200057633A 2020-05-14 2020-05-14 무선망 품질 관리장치 및 무선망 품질 관리방법 KR20210140901A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200057633A KR20210140901A (ko) 2020-05-14 2020-05-14 무선망 품질 관리장치 및 무선망 품질 관리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200057633A KR20210140901A (ko) 2020-05-14 2020-05-14 무선망 품질 관리장치 및 무선망 품질 관리방법

Publications (1)

Publication Number Publication Date
KR20210140901A true KR20210140901A (ko) 2021-11-23

Family

ID=78694896

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200057633A KR20210140901A (ko) 2020-05-14 2020-05-14 무선망 품질 관리장치 및 무선망 품질 관리방법

Country Status (1)

Country Link
KR (1) KR20210140901A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102445733B1 (ko) * 2022-01-12 2022-09-20 한화시스템(주) 전술환경에서의 시스템 망 최적화 방법, 서버 및 시스템
KR20230082188A (ko) 2021-12-01 2023-06-08 포항공과대학교 산학협력단 강화학습을 이용한 전력 한정 기지국 제어 방법 및 장치
CN117295096A (zh) * 2023-11-24 2023-12-26 武汉市豪迈电力自动化技术有限责任公司 基于5g短共享的智能电表数据传输方法及系统
WO2024058372A1 (ko) * 2022-09-13 2024-03-21 엘지전자 주식회사 무선 통신 시스템에서 상황 정보 기반 인공지능을 활용한 전력 절약을 위한 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230082188A (ko) 2021-12-01 2023-06-08 포항공과대학교 산학협력단 강화학습을 이용한 전력 한정 기지국 제어 방법 및 장치
KR102445733B1 (ko) * 2022-01-12 2022-09-20 한화시스템(주) 전술환경에서의 시스템 망 최적화 방법, 서버 및 시스템
WO2024058372A1 (ko) * 2022-09-13 2024-03-21 엘지전자 주식회사 무선 통신 시스템에서 상황 정보 기반 인공지능을 활용한 전력 절약을 위한 방법 및 장치
CN117295096A (zh) * 2023-11-24 2023-12-26 武汉市豪迈电力自动化技术有限责任公司 基于5g短共享的智能电表数据传输方法及系统
CN117295096B (zh) * 2023-11-24 2024-02-09 武汉市豪迈电力自动化技术有限责任公司 基于5g短共享的智能电表数据传输方法及系统

Similar Documents

Publication Publication Date Title
KR20210140901A (ko) 무선망 품질 관리장치 및 무선망 품질 관리방법
EP3635505B1 (en) System and method for deep learning and wireless network optimization using deep learning
US10375585B2 (en) System and method for deep learning and wireless network optimization using deep learning
EP3241379B1 (en) Analytics-assisted, multi-agents, self-learning, self-managing, flexible and adaptive framework for intelligent son
CN111666149B (zh) 基于深度强化学习的超密边缘计算网络移动性管理方法
US12021572B2 (en) Systems and methods for wireless signal configuration by a neural network
CN112913274B (zh) 用于自组织网络的优化的过程
US8897767B2 (en) Parameter setting apparatus and parameter setting method
CN105813112B (zh) 用于使用地理定位和网络建模进行动态网络优化的技术
JP5749349B2 (ja) ネットワーク管理
CN105813017A (zh) 用于使用地理定位和网络建模进行动态网络优化的技术
US10050826B2 (en) Outage compensation in a cellular network
EP2296410A1 (en) Telecommunications network node and methods
CN114731524A (zh) 监测多个网络节点的性能
Mirzaei Somarin et al. Big data based self-optimization networking in next generation mobile networks
CN113473480A (zh) 面向蜂窝网络的改进式强化学习网络覆盖优化方法
KR20220042928A (ko) 복수의 액세스 네트워크 장치들에 대한 자동 구성 네트워크를 구현하는 방법 및 이를 수행하는 전자 장치
Hu et al. A study of LTE network performance based on data analytics and statistical modeling
CN116506863A (zh) 决策优化方法、装置、电子设备及可读存储介质
US20240205101A1 (en) Inter-node exchange of data formatting configuration
CN114339962B (zh) 基站节能方法、装置及系统
JP2012529816A (ja) 遺伝的プログラミングによって遠隔通信ネットワークノードのためのアルゴリズムを進化させること
Virdis et al. A Practical Framework for Energy‐Efficient Node Activation in Heterogeneous LTE Networks
US20230127116A1 (en) Energy Savings in Cellular Networks
WO2024161637A1 (ja) システム、装置、方法、及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
A201 Request for examination