KR102481227B1 - 몬테 카를로 트리 서치를 이용하는 셀 접속 제어장치 및 그 동작방법 - Google Patents

몬테 카를로 트리 서치를 이용하는 셀 접속 제어장치 및 그 동작방법 Download PDF

Info

Publication number
KR102481227B1
KR102481227B1 KR1020210173864A KR20210173864A KR102481227B1 KR 102481227 B1 KR102481227 B1 KR 102481227B1 KR 1020210173864 A KR1020210173864 A KR 1020210173864A KR 20210173864 A KR20210173864 A KR 20210173864A KR 102481227 B1 KR102481227 B1 KR 102481227B1
Authority
KR
South Korea
Prior art keywords
cell
terminals
mcts
node
terminal
Prior art date
Application number
KR1020210173864A
Other languages
English (en)
Other versions
KR102481227B9 (ko
Inventor
홍인기
유현민
안희준
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020210173864A priority Critical patent/KR102481227B1/ko
Application granted granted Critical
Publication of KR102481227B1 publication Critical patent/KR102481227B1/ko
Publication of KR102481227B9 publication Critical patent/KR102481227B9/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/24—Cell structures
    • H04W16/32—Hierarchical cell structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/20—Selecting an access point

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은 셀 접속 제어장치 및 그 동작방법에 관한 것으로서, 일실시예에 따른 셀 접속 제어장치는 기설정된 공간에 위치한 복수의 단말과 복수의 무선 셀 간의 네트워크 정보를 수집하는 정보 수집부와, 수집된 네트워크 정보에 기반하여 MCTS(Monte Carlo Tree Search) 연산을 수행하는 MCTS 연산부 및 MCTS 연산의 수행 결과에 기반하여 복수의 단말 각각이 복수의 무선 셀 중 대응되는 무선 셀에 접속 되도록 제어하는 셀 접속 제어부를 포함한다.

Description

몬테 카를로 트리 서치를 이용하는 셀 접속 제어장치 및 그 동작방법 {APPARATUS FOR CONTROLLING CELL ASSOCIATION USING MONTE CARLO TREE SEARCH AND OPRATING METHOD THEREOF}
본 발명은 셀 접속 제어장치 및 그 동작방법에 관한 것으로, 보다 상세하게는 복수의 단말과 무선 셀 간의 접속을 제어하는 기술적 사상에 관한 것이다.
매크로 셀, 스몰 셀(펨토 셀, 피코 셀)과 같은 여러 종류의 RAT(Radio Access Technology)이 공존하는 HetNet은 하나의 매크로 셀에 다수의 스몰 셀을 구축해 데이터 처리 용량과 속도를 증가시킨 네트워크로, 데이터 트래픽 폭증이 예상되는 5G 시대에 매우 효과적인 네트워크로 주목받고 있다.
특히, 네트워크 용량(capacity)을 폭발적으로 증가시키기 위해 스몰 셀의 개수를 매우 많이 배치한 UDN(Ultra Dese Network) 환경은 매우 많은 경우의 수의 단말-기지국의 조합들이 만들어질 수 있다.
예를 들면, 스몰 셀이 N개 있고 단말이 M개 있으면, 가능한 경우의 수는 NM이 되고, 이렇게 많은 경우의 수 중에서 네트워크 제어부는 네트워크 전체의 용량을 최대한 높일 수 있는 경우를 찾아 네트워크 자원을 효율적으로 활용할 필요가 있다.
이를 위해, 기존 동종 네트워크(Homogeneous Network)에서는 다운링크 전송 시 단말의 수신 전력(Received Power)이 가장 높은 기지국을 선택하는 max-RSS(Received Signal Strength) 알고리즘이 주로 사용되고 있으나, max-RSS 알고리즘은 HetNet으로 구성되는 5G 네트워크에서 max-RSS 알고리즘은 매우 비효율 적이다.
구체적으로, max-RSS 알고리즘은 단말의 수신 전력의 크기(즉, 수신 거리)에 따라 기지국을 선택하는데, 단순히 거리가 가까운 스몰 셀로 단말을 오프로딩(offloading)하면, 특정 스몰 셀에만 단말들이 접속되는 문제가 발생될 수 있다.
즉, 스몰 셀에 연결된 단말들은 해당 스몰 셀의 대역폭 자원을 나눠서 사용하기 때문에, 다른 스몰 셀들에는 단말이 조금만 연결되어 있음에도 너무 많은 단말들이 하나의 스몰 셀에 몰리게 되므로 네트워크 전체의 용량(capacity)가 저하되는 문제가 발생될 수 있다.
이에 따라, 보다 효율적으로 매크로 셀의 부하를 여러 스몰 셀로 분산시킬 수 있는 부하 밸런싱(load balancing) 기술의 개발이 필요한 실정이다.
한국등록특허 제10-0819689호, "광대역 다중 셀 기반의 무선통신망에 있어 셀 영역을 분할하여 주파수 대역을 할당하는 방법과 그 셀 플래닝 방법"
본 발명은 MCTS 연산에 기반하는 셀 접속 제어를 통해, 부하 밸런싱 문제를 해결함과 동시에 네트워크 전체 용량을 극대화할 수 있는 셀 접속 제어장치 및 그 동작방법을 제공하고자 한다.
또한, 본 발명은 네트워크 전체 용량을 극대화하여 사용자의 QoS를 만족시킬 수 있는 셀 접속 제어장치 및 그 동작방법을 제공하고자 한다.
또한, 본 발명은 보다 적은 연산량으로 셀 접속을 제어할 수 있는 셀 접속 제어장치 및 그 동작방법을 제공하고자 한다.
본 발명의 일실시예에 따른 셀 접속 제어장치는 기설정된 공간에 위치한 복수의 단말과 복수의 무선 셀 간의 네트워크 정보를 수집하는 정보 수집부와, 수집된 네트워크 정보에 기반하여 MCTS(Monte Carlo Tree Search) 연산을 수행하는 MCTS 연산부 및 MCTS 연산의 수행 결과에 기반하여 복수의 단말 각각이 복수의 무선 셀 중 대응되는 무선 셀에 접속되도록 제어하는 셀 접속 제어부를 포함할 수 있다.
일측에 따르면, 무선 셀은 매크로 셀(macro cell), 스몰 셀(small cell), WiFi 억세스 포인트(access Point, AP), distributed antenna system(DAS) 및 Cell-free MIMO의 AP 중 적어도 하나를 포함할 수 있다.
일측에 따르면, 정보 수집부는 기설정된 공간에 위치하는 단말들 중 서비스 이용에 따른 데이터 레이트(data rate)가 기설정된 임계값 이상인 복수의 단말을 선정할 수 있다.
일측에 따르면, 정보 수집부는 복수의 무선 셀 중 복수의 단말 각각에서 기설정된 크기 이상의 수신 전력을 갖는 적어도 하나의 무선 셀을 이웃 셀(neighbor cells)로 결정하고, 복수의 단말, 복수의 단말 각각에 대응되는 이웃 셀 정보를 네트워크 정보로 수집할 수 있다.
일측에 따르면, MCTS 연산부는 복수의 단말 중 어느 하나의 단말에 대응되는 복수의 차일드 노드(Child node)와 연결되는 루트 노드(Root node)를 생성하고, 확장 과정을 통해 루트 노드와 연결되고 어느 하나의 단말과 어느 하나의 단말의 m개(여기서, m은 양의 정수)의 이웃 셀 중 어느 하나의 이웃 셀 간의 연결 상태 정보를 포함하는 제1 차일드 노드를 생성할 수 있다.
일측에 따르면, MCTS 연산부는 시뮬레이션 과정을 통해 제1 차일드 노드에서 복수의 단말 중 시뮬레이션 과정이 발생하는 현재 노드(current node)에 대응되는 특정 단말을 제외한 나머지 단말 각각과 나머지 단말 각각에 대응되는 이웃 셀을 랜덤하게 연결하는 플레이 아웃을 수행하고, 역전파 과정을 통해 플레이 아웃의 수행 결과에 따른 전체 네트워크의 용량(capacity) 값을 제1 차일드 노드를 포함하는 상위 노드에 저장할 수 있다.
일측에 따르면, MCTS 연산부는 확장 과정을 통해 루트 노드와 연결되고 m개의 이웃 셀 중 다른 하나의 이웃 셀에 대응되는 제2 차일드 노드를 생성하며, 제2 차일드 노드에서 시뮬레이션 과정 및 역전파 과정을 수행할 수 있다.
일측에 따르면, MCTS 연산부는 어느 하나의 단말의 이웃 셀과 동일한 개수의 차일드 노드를 생성할 수 있다.
일측에 따르면, MCTS 연산부는 차일드 노드 각각에 저장된 전체 네트워크의 용량 값과 차일드 노드와 같은 부모 노드를 가지는 차일드 노드들 각각에 저장된 전체 네트워크의 용량 값의 합산 값을 이용하는 UCT(Upper Confidence Boundary of Tree) 연산의 결과에 기반한 선택 과정을 통해, 복수의 차일드 노드 중 UCT 연산 값이 가장 큰 차일드 노드를 선택할 수 있다.
일측에 따르면, MCTS 연산부는 MCTS 연산을 통해 전체 네트워크 용량이 기설정된 최대 용량 값 이상이 되는 복수의 단말과 복수의 무선 셀 간의 조합을 도출하고, 도출된 조합을 MCTS 연산의 수행 결과로 출력할 수 있다.
본 발명의 일실시예에 따른 셀 접속 제어장치의 동작방법은 정보 수집부에서 기설정된 공간에 위치한 복수의 단말과 복수의 무선 셀 간의 네트워크 정보를 수집하는 단계와, MCTS 연산부에서 수집된 네트워크 정보에 기반하여 MCTS(Monte Carlo Tree Search) 연산을 수행하는 단계 및 셀 접속 제어부에서 MCTS 연산의 수행 결과에 기반하여 복수의 단말 각각이 복수의 무선 셀 중 대응되는 무선 셀에 접속되도록 제어하는 단계를 포함할 수 있다.
일실시예에 따르면, 본 발명은 MCTS 연산에 기반하는 셀 접속 제어를 통해, 부하 밸런싱 문제를 해결함과 동시에 네트워크 전체 용량을 극대화할 수 있다.
일실시예에 따르면, 본 발명은 네트워크 전체 용량을 극대화하여 사용자의 QoS를 만족시킬 수 있다.
일실시예에 따르면, 본 발명은 보다 적은 연산량으로 셀 접속을 제어할 수 있다.
도 1은 일실시예에 따른 셀 접속 제어장치를 설명하는 도면이다.
도 2a 내지 도 2j는 일실시예에 따른 셀 접속 제어장치에서 MCTS 연산을 수행하는 예시를 설명하는 도면이다.
도 3a 내지 도 3c는 일실시예에 따른 셀 접속 제어장치의 시뮬레이션 결과를 설명하는 도면이다.
도 4는 일실시예에 따른 셀 접속 제어장치의 동작방법을 설명하는 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들면 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들면 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 셀 접속 제어장치를 설명하는 도면이다.
도 1을 참조하면, 일실시예에 따른 셀 접속 제어장치(100)는 MCTS(Monte Carlo Tree Search, 몬테 카를로 트리 서치) 연산에 기반하는 셀 접속 제어를 통해, 부하 밸런싱 문제를 해결함과 동시에 네트워크 전체 용량(capacity)을 극대화할 수 있다.
또한, 셀 접속 제어장치(100)는 네트워크 전체 용량을 극대화하여 사용자의 QoS를 만족시킬 수 있다.
또한, 셀 접속 제어장치(100)는 보다 적은 연산량으로 셀 접속을 제어할 수 있다.
이를 위해, 셀 접속 제어장치(100)는 정보 수집부(110), MCTS 연산부(120) 및 셀 접속 제어부(130)를 포함할 수 있다.
일실시예에 따른 정보 수집부(110)는 기설정된 공간에 위치한 복수의 단말과 복수의 무선 셀 간의 네트워크 정보를 수집할 수 있다.
예를 들면, 무선 셀은 매크로 셀(macro cell), 스몰 셀(small cell), WiFi 억세스 포인트(access Point, AP), distributed antenna system(DAS) 및 Cell-free MIMO의 AP 중 적어도 하나의 이동통신 셀을 포함할 수 있다.
다시 말해, 셀 접속 제어장치(100)는 매크로 셀, 스몰 셀(펨토 셀, 피코 셀)과 WiFi 억세스 포인트(access Point, AP), distributed antenna system(DAS), Cell-free MIMO의 AP 같은 여러 종류의 RAT이 공존하는 HetNet 환경에서 이동통신 단말과 이동통신 셀(기지국) 간의 접속을 스케줄링 및 제어함으로써, 부하 밸런싱 문제를 해결함과 동시에 네트워크 전체 용량을 향상시킬 수 있다.
또한, 정보 수집부(110)는 기설정된 공간에 위치하는 단말들 중 서비스 이용에 따른 데이터 레이트(data rate)가 기설정된 임계값 이상인 복수의 단말을 선정하고, 선정된 복수의 단말과 무선 셀 간의 네트워크 정보를 수집할 수 있다.
구체적으로, 기설정된 공간에 위치하는 단말들은 모두 매크로셀을 앵커 셀(anchor cell)에 잡아 접속을 할 수 있으며, 이 중 메신저, 음성 통화, 인터넷 검색과 같이 높은 데이터 레이트를 필요로하지 않는 서비스를 이용하는 단말은 매크로 셀과의 연결을 유지하고, VR(Virtual Reality), 동영상 및 게임과 같은 높은 데이터 레이트를 필요로 하는 단말은 셀 접속 제어장치(100)를 통해 복수의 인접셀들 중 하나로 오프로딩될 수 있으며, 오프로딩 과정에서 적절한 부하 밸런싱을 통해 전체 네트워크의 용량을 향상시킬 수 있다.
다시 말해, 정보 수집부(110)는 높은 데이터 레이트를 필요로 하는 복수의 단말을 복수의 스몰 셀로 오프로딩하기 위해, 높은 데이터 레이트를 필요로 하는 복수의 단말에 대한 네트워크 정보를 수집할 수 있다.
일측에 따르면, 정보 수집부(110)는 복수의 무선 셀 중 복수의 단말 각각에서 기설정된 크기 이상의 수신 전력을 갖는 적어도 하나의 무선 셀을 이웃 셀(neighbor cells)로 결정하고, 복수의 단말, 복수의 단말 각각에 대응되는 이웃 셀 정보를 네트워크 정보로 수집할 수 있다.
예를 들면, 정보 수집부(110)는 단말 별로 가장 수신 전력이 높은 무선 셀 3개씩을 대응되는 단말의 이웃 셀로 결정할 수 있으나, 이웃 셀의 개수는 이에 한정되지 않고, 사용자 입력, 시스템 부하 및 연산량 중 적어도 하나를 고려하여 적응적으로 변경될 수 있다.
또한, 정보 수집부(110)는 대응되는 단말, 무선 셀 및 별도의 제어장비 중 적어도 하나로부터 복수의 단말 각각의 수신 전력에 대한 정보를 수신할 수 있다.
일실시예에 따른 MCTS 연산부(120)는 수집된 네트워크 정보에 기반하여 MCTS 연산을 수행할 수 있다. 일례로, MCTS 연산부(120)는 수집된 네트워크 정보를 입력으로 수신하는 MCTS 알고리즘을 통해 MCTS 연산의 결과를 출력할 수 있다.
일측에 따르면, MCTS 연산 과정에서 생성되는 노드에는 단말과 단말에 연결된 이웃 셀의 정보, 노드의 방문 횟수 정보, 노드에 방문될 때마다 플레이 아웃을 통해 얻은 전체 네트워크의 용량(capacity)의 누적 값 정보 및 노드의 방문 횟수에 대해 평균화된 전체 네트워크의 용량 값이 저장될 수 있다.
또한, MCTS 연산부(120)는 MCTS 연산을 통해 전체 네트워크의 용량이 기설정된 최대 용량 값 이상이 되는, 일례로 기존 알고리즘인 max-RSS가 적용되었을 때의 전체 네트워크 용량보다 커지는 복수의 단말과 복수의 무선 셀 간의 조합을 도출하고, 도출된 조합을 MCTS 연산의 수행 결과로 출력할 수 있다.
여기서, 몬테 카를로(Monte Carlo)는 확률 계산 알고리즘으로, 정확한 확률 분포를 구하기 어려울 때 무작위 표본 추출을 통해 확률 분포를 도출하는 것으로써 통계열역학으로부터 만들어진 방법론이며, 일실시예에 따른 MCTS 연산은 트리 서치(tree search)에 몬테 카를로 알고리즘을 응용한 연산을 의미한다.
구체적으로, 일실시예에 따른 MCTS 연산은 오프로딩될 복수의 단말들을 각자의 이웃 셀 중 하나에 연결하는 '게임'이 종료될 때까지의 모든 경우의 수를 탐색하지 않고, 몬테 카를로 기반의 시뮬레이션을 통해 랜덤한 수를 두어가면서 '게임'을 한차례 끝까지 진행해보고, 이 과정을 충분히 많이 반복하여 최적의 단말-이웃셀 조합을 도출할 수 있으며, 여기서 반복 횟수는 전체 경우의 수를 다 탐색하는 것보다 적어, 결과적으로 연산량을 저감할 수 있다.
일측에 따르면, MCTS 연산부(120)는 복수의 단말 중 어느 하나의 단말에 대응되는 복수의 차일드 노드(Child node)와 연결되는 루트 노드(Root node)를 생성하고(맨 처음의 루트 노드는 어떤 단말도 이웃셀로 오프로딩 되지 않은 상태이므로 대응되는 단말이 없음), 확장 과정을 통해 루트 노드와 연결되고 어느 하나의 단말과 어느 하나의 단말의 m개(여기서, m은 양의 정수)의 이웃 셀 중 어느 하나의 이웃 셀 간의 연결 상태 정보를 포함하는 제1 차일드 노드(Child node)를 생성할 수 있으며, 여기서 확장이 일어난 직후에 차일드 노드는 트리의 맨 밑이 되므로 리프 노드(leaf node)가 될 수 있다.
다음으로, MCTS 연산부(120)는 시뮬레이션 과정을 통해 제1 차일드 노드에서 복수의 단말 중 어느 하나의 단말을 제외한 나머지 단말 각각과 나머지 단말 각각에 대응되는 이웃 셀을 랜덤하게 연결하는 플레이 아웃을 수행하고, 역전파 과정을 통해 플레이 아웃의 수행 결과에 따른 전체 네트워크의 용량(capacity) 값을 제1 차일드 노드를 포함하는 상위 노드에 저장할 수 있다.
예를 들면, 시뮬레이션 과정의 플레이 아웃에서 사용되는 기본 정책(default policy)은 정통 MCTS 알고리즘과 같이 완전히 랜덤한 몬테 카를로법(Monte Carlo method)에 기반할 수 있다.
다음으로, MCTS 연산부(120)는 확장 과정을 통해 루트 노드와 연결되고 제1 차일드 노드의 단말의 m개의 이웃 셀 중 다른 하나의 이웃 셀에 대응되는 제2 차일드 노드를 생성하며, 제2 차일드 노드에서 시뮬레이션 과정 및 역전파 과정을 수행할 수 있다.
예를 들면, MCTS 연산부(120)는 어느 하나의 노드에 대해 어느 하나의 단말의 이웃 셀과 동일한 개수의 차일드 노드를 생성할 수 있다.
다시 말해, 하나의 노드에서의 차일드 노드의 개수는 루트 노드에 대응되는 단말의 그 다음 단말의 이웃 셀의 개수와 동일하게 설정될 수 있으며, 이웃 셀의 개수와 동일한 개수로 생성된 차일드 노드 각각에서 확장 과정, 시뮬레이션 과정 및 역전파 과정이 수행될 수 있다.
다음으로, MCTS 연산부(120)는 차일드 노드 각각에 저장된 전체 네트워크의 용량 값과 각 차일드 노드들에 저장된 전체 네트워크의 용량 값의 합산 값을 이용하는 UCT(Upper Confidence Boundary of Tree) 연산의 결과에 기반한 선택 과정을 통해, 복수의 차일드 노드 중 UCT 연산 값이 가장 큰 차일드 노드를 선택할 수 있다.
구체적으로, 일실시예에 따른 UCT는 트리 정책(Tree policy)으로, 하기 수식1을 통해 도출될 수 있다.
[수식1]
Figure 112021141805770-pat00001
여기서,
Figure 112021141805770-pat00002
는 탐색 정도를 조절하는 값이고,
Figure 112021141805770-pat00003
는 임의의 차일드 노드 j의 방문 횟수, n은 차일드 노드 j의 부모 노드(parent node)의 방문 횟수,
Figure 112021141805770-pat00004
는 [0, 1] 사이의 값을 갖는 차일드 노드 j의 평균 보상 값을 의미한다.
또한,
Figure 112021141805770-pat00005
는 (해당 차일드 노드의 전체 네트워크의 용량 값) / (해당 차일드 노드와 같은 부모 노드를 갖는 모든 차일드 노드의 전체 네트워크의 용량 값의 합산 값)의 연산을 통해 산출되고,
Figure 112021141805770-pat00006
는 값이 커질수록 수식1의 오른쪽 항의 증가 폭이 더 커져 탐색 횟수가 많아질 수 있다.
즉, MCTS 연산부(120)는 트리 정책에 의해 확장을 이어 나갈 노드를 결정하는 선택 과정, 차일드 노드를 생성하여 트리를 확장하는 확장 과정, 리프 노드(즉, 최하단의 차일드 노드)에서 오프로딩될 나머지 복수의 단말들을 각자의 이웃 셀 중 하나에 연결하는 '게임'이 종료될 때까지 플레이 아웃을 실행하는 시뮬레이션 과정 및 확장된 노드와 상위 노드에 시뮬레이션 결과를 반영(업데이트)하는 역전파 과정을 반복(iteration) 수행하여, 전체 네트워크 용량 값이 최대값이 되게 하는 복수의 단말과 무선 셀 간의 조합을 도출할 수 있다.
구체적으로, MCTS 연산을 통해 생성되는 트리는 반복이 많이 진행될수록 각 루트 노드에서 더 깊게 확장이 되고, 많은 경우의 수를 시행해 볼 수 있으며, 원하는 성능을 얻을 수 있는 확률이 높아질 수 있다.
이하에서는, 일실시예에 따른 MCTS 연산에 대하여 보다 구체적으로 설명하기로 한다.
MCTS 연산을 통해 생성되는 트리의 각 노드는 특정 단말이 각 셀과 연결된 상태를 나타내며, 맨 처음에 루트 노드는 아직 아무 단말도 스몰 셀로 오프로딩되지 않은 상황에 해당할 수 있다.
루트 노드에서 생성되는 차일드 노드들은 첫 번째 단말과 그것의 이웃 셀이 연결된 상황을 나타내는 노드를 의미할 수 있다.
확장 과정에서는 단말을 가까운 스몰 셀들 중 하나와 연결된 상황을 나타내는 차일드 노드가 만들어지고, 차일드 노드에서 바로 시뮬레이션 과정에 돌입하여 다른 모든 단말들도 그것의 가까운 스몰 셀들과 랜덤하게 연결하는 플레이아웃 작업을 통해 최종 상태와 각 단말의 스루풋(throughput)과 이들을 합한 전체 네트워크 용량을 산출하며, 역전파 과정을 통해 이 값을 해당 노드의 전체 네트워크 용량 값으로 저장할 수 있다.
첫 번째 단말에 대해 나머지 모든 가까운 스몰 셀들(즉, 이웃셀)에 대해서도 같은 과정을 반복하면 이웃 셀의 개수만큼 차일드 노드들이 생성되고, 즉 확장 가능한 차일드 노드가 모두 생성되어, 이때 루트 노드는 '완전 확장 노드'가 될 수 있다. 이후 루트 노드가 완전 확장 노드가 되면 선택 과정에 돌입하여 트리 정책에 따라 확장을 이어갈 차일드 노드를 선택할 수 있다.
또한, 해당 루트 노드에서 기 설정된 반복 횟수만큼 트리를 같은 방법으로 확장하고, 각 확장에는 시뮬레이션-역전파 단계가 뒤따르며, 설정된 반복 횟수만큼 확장-시뮬레이션-역전파가 일어난 후에는 확장된 트리 상태에서 루트 노드의 차일드 노드들 중 가장 전체 네트워크 용량이 높은 차일드 노드를 리턴하며, 그 다음 과정에서 이 리턴된 차일드 노드가 루트 노드가 되어 상술한 과정을 반복 수행할 수 있다.
일실시예에 따른 셀 접속 제어부(130)는 MCTS 연산의 수행 결과에 기반하여 복수의 단말 각각이 복수의 무선 셀 중 대응되는 무선 셀에 접속되도록 제어할 수 있다.
도 2a 내지 도 2j는 일실시예에 따른 셀 접속 제어장치에서 MCTS 연산을 수행하는 예시를 설명하는 도면이다.
도 2a 내지 도 2j를 참조하면, 이하에서 설명하는 'UEn'은 복수의 단말 중 제n 단말을 의미하고, 'BSn_k'은 n번째 단말의 k번째 이웃 셀을 의미하며, 이하에서는 k를 3으로 가정하여 설명하나 이에 한정되는 것은 아니다.
구체적으로, 일실시예에 따른 셀 접속 제어장치는 도면부호 201에 도시된 바와 같이 루트 노드(Root node)를 생성할 수 있으며, 여기서 루트 노드는 아직 높은 데이터 레이트를 요구하는 단말들이 그 들의 이웃 스몰 셀로 오프로딩되지 않은 상태를 나타낼 수 있다.
맨 처음에는 선택할 차일드 노드가 없으므로, 셀 접속 제어장치는 도면부호 201과 같이 확장 과정을 수행하여 차일드 노드를 만들 수 있으며, 루트 노드가 방문된 후에 확장 과정이 수행되는 것이므로 방문 수는 n = 1이 될 수 있다.
확장 과정에서 셀 접속 제어장치는 제1 단말(UE1)과 제1 단말의 제1 이웃 셀(BS1_1) 간의 연결 상태 정보를 포함하는 차일드 노드를 생성할 수 있다.
다음으로, 셀 접속 제어장치는 도면부호 202에 도시된 바와 같이, 시뮬레이션 과정에 돌입할 수 있으며, 시뮬레이션 과정에서는 제1 단말(UE1)을 제외한 나머지 단말 각각과 나머지 단말들 각각에 대응되는 3개의 이웃 셀들 중 하나의 이웃 셀을 랜덤하게 연결하는 플레이 아웃이 실행될 수 있다.
시뮬레이션 과정에서는 트리 정책으로 몬테 카를로법을 그대로 사용할 수 있으며, 이웃 셀에 몇 개의 단말이 연결되는지는 고려하지 않고 플레이 아웃을 실행할 수 있다.
이때, 하나의 스몰 셀이 많은 단말의 이웃 셀이 되어 플레이 아웃 결과에 따라, 특정 스몰 셀에 많은 단말들이 연결되는, 즉 로드 밸런싱이 되지 않는 단말-이웃 셀의 조합도 발생될 수 있으나, 이는 이후에 트리를 확장해 나가면서 이 플레이 아웃 작업이 여러 번 반복되므로, 최종 결과는 최적의 로드 밸런싱을 근사적으로 취할 수 있으며, 프로그램을 통한 시뮬레이션 결과는 이를 입증(validate)할 수 있다.
다음으로, 셀 접속 제어장치는 도면부호 203에 도시된 바와 같이, 시뮬레이션 과정이 끝나면(즉 플레이 아웃이 종료되면), 제1 단말(UE1)이 제1 단말의 제1 이웃셀(BS1_1)에 연결된 상태에서 나머지 단말들을 랜덤으로 각각의 이웃 셀에 연결시킨 하나의 조합을 도출할 수 있으며, 역전파 단계에서는 이 조합에서의 전체 네트워크의 용량(capacity) 값을 현재 생성된 차일드 노드(즉, UE1-BS1_1 노드)에 기록할 수 있다.
또한, 셀 접속 제어장치는 각 노드의 방문 수를 기록할 수 있다. 구체적으로, 확장 단계가 루트 노드에서 실행된 것이므로 루트 노드의 방문 수는 1, 확장을 통해 만들어진 차일드 노드인 UE1-BS1_1 노드에도 방문한 후 시뮬레이션이 일어났으므로 방문 수가 1이 될 수 있다.
다음으로, 셀 접속 제어장치는 도면부호 204에 도시된 바와 같이, 제1 단말(UE1)을 제1 단말의 제2 이웃 셀(BS1_2) 및 제3 이웃 셀(BS1_3) 각각에 연결하여 동일하게 시뮬레이션-역전파를 수행할 수 있다.
그러면 마찬가지로 제1 단말(UE1)이 각각의 이웃셀(BS1_2, BS1_3)에 연결되었을 때, 랜덤으로 만들어진 단말-이웃 셀들의 조합이 만들어질 것이고 그때의 전체 네트워크의 용량 값이 계산될 것이며 계산된 용량 값이 해당 노드에 기록될 수 있으며, 루트 노드는 세 번의 확장이 일어났으므로 총 방문 수는 3이 될 수 있다.
또한, 도 2a 내지 도 2j의 예시에서는 이웃 셀의 개수가 3개로 설정되어 있고, 루트 노드의 차일드 노드의 개수도 마찬가지로 3개가 되었으므로, 루트 노드가 완전 확장 노드가 될 수 있다.
다음으로, 셀 접속 제어장치는 도면부호 205에 도시된 바와 같이, 루트 노드가 완전 확장 노드가 되었으므로, 선택 과정에 돌입할 수 있으며, 선택 과정에서 수식1의 UCT 연산을 통해 복수의 차일드 노드 중 UCT 연산 값이 가장 큰 차일드 노드를 선택할 수 있다.
구체적으로, 수식1에서
Figure 112021141805770-pat00007
는 (해당 차일드 노드의 전체 네트워크의 용량 값) / (해당 차일드 노드와 같은 부모 노드를 갖는 모든 차일드 노드의 전체 네트워크의 용량 값의 합산 값)의 연산을 통해 산출되는 [0, 1] 사이의 값으로 정의되고, 현재 각 차일드 노드들을 한 번씩만 방문하여
Figure 112021141805770-pat00008
값은 모두 똑같이 1이므로
Figure 112021141805770-pat00009
은 복수의 차일드 노드에서 모두 똑같으며, 이에 따라
Figure 112021141805770-pat00010
값이 가장 높은 차일드 노드인 UE1-BS1_3 노드는 UCT 값도 가장 높으므로, UCT 값에 기초하여 UE1-BS1_3 노드가 선택될 수 있다.
즉, 셀 접속 제어장치는 차일드 노드의 선택 기준이 루트 노드에 대응되는 제1 단말(UE1)이 받는 스루풋(throughput)이 아니라, 나머지 단말들을 모두 각자의 이웃 셀에 연결한 후 전체 네트워크의 용량 값을 기준으로 하는데 특징이 있으며, 이를 통해 보다 최적의 용량 값을 갖는 조합을 도출할 수 있다.
다음으로, 셀 접속 제어장치는 도면부호 206 및 207에 도시된 바와 같이, 선택된 노드인 UE1-BS1_3 노드에서 확장 과정을 통해 제2 단말(UE2)과 제2 단말(UE2)의 이웃 셀 중 가장 수신 전력이 높은 제2 단말의 제1 이웃 셀(BS2_1)의 연결 상태 정보를 포함하는 UE2-BS2_1 노드가 생성될 수 있으며, 플레이 아웃을 통해 다른 단말들도 각자의 이웃 셀과 연결될 수 있다.
도면부호 207에서는 n번째 단말(UEn)이 도면부호 202와 마찬가지로 n번째 단말의 제2 이웃 셀(BSn_2)에 연결되었는데, 스루풋은 도면부호 202와 다르게 나타난 것을 확인할 수 있다. 이는 이번 플레이아웃에서 생성된 단말-이웃 셀의 조합에서는 n번째 단말의 제2 이웃 셀(BSn_2)에 부하가 적게 몰렸기 때문으로, 이렇게 다양한 케이스를 플레이 아웃을 통해 테스트해볼 수 있다.
도면부호 208에 도시된 바와 같이, 제1 단말(UE1)이 제1 단말의 제3 이웃 셀(BS1_3)에 연결되어 있고, 제2 단말(UE)이 제2 단말의 제1 이웃 셀(BS2_1)에 연결되었을 때 플레이 아웃 결과(해당 노드의 전체 네트워크의 용량 값)은 19018Mbs로 나타났으며, 이때 역전파 과정을 통해 UE2-BS2_1 노드에는 19018Mbps가 기록되고, 확장된 노드와 그 상위 노드인 UE1-BS1_3 노드와 루트 노드의 방문 횟수는 업데이트 될 수 있으며, 상위 노드인 UE1-BS1_3 노드에는 19018Mbps와 기존에 저장된 용량 값을 방문 횟수에 대해 평균한 값이 저장된다.
이를 통해 UE1-BS1_3 노드에는 이전에 구해진 용량 값인 24512와 19018을 현재 방문 수 2로 평균한 값이 21765가 기록되며, 이렇게 플레이 아웃이 반복되면 해당 노드에 저장된 용량 값이 방문 횟수로 평균 내어지면서 갱신되어 셀 접속을 위한 조합에 적용될 수 있다.
다음으로, 셀 접속 제어장치는 도면부호 209에 도시된 바와 같이, 루트 노드에서 재차 선택 과정을 수행할 수 있다.
이번에는 UE1-BS1_2 노드의
Figure 112021141805770-pat00011
값이 가장 높고, UCT 값도 가장 높으며, UE1-BS1_3 노드는
Figure 112021141805770-pat00012
값도 낮아진 데다,
Figure 112021141805770-pat00013
가 커져서
Figure 112021141805770-pat00014
값이 작아지므로 UCT 값이 더 작아지는 결과가 도출되었다.
즉, 셀 접속 제어장치는 UE1-BS1_2 노드를 선택한 이후, 상술한 확장-시뮬레이션-역전파 과정이 수행되어 트리를 점점 확장시킬 수 있다. 정해진 횟수만큼 확장-시뮬레이션-역전파 과정이 일어나며 트리가 확장된 상태에서 저장된 전체 네트워크 용량 값이 가장 높은 루트 노드의 차일드 노드가 리턴된다.
다음으로, 셀 접속 제어장치는 도면부호 210에 도시된 바와 같이, 리턴된 UE1-BS1_2 노드가 루트 노드가 되어 똑같은 과정을 반복하면, 갱신된 전체 네트워크 용량 값이 가장 높은 제2 단말-이웃 셀(UE2-neighbor cell)의 연결을 나타내는 노드가 리턴이 될 수 있으며, 이때는 제1 단말(UE1)은 항상 제1 단말의 제2 이웃 셀(BS1_2)에 연결된 채로 전체 네트워크 용량 값이 구해질 수 있다.
예를 들면, 제2 단말-제3 이웃셀(UE2-BS2_3)의 연결을 나타내는 노드가 리턴이 된다고 하면, 다음 단계에서는 제1 단말-제2 이웃셀(UE1-BS1_2), 제2 단말-제3 이웃 셀(UE2-BS2_3)로 정해진 채로 전체 네트워크 용량 값이 구해질 수 있다.
이러한 과정을 오프로딩될 모든 단말에 대해 기설정된 반복(iteration) 횟수만큼 반복 수행되면 전체 네트워크의 용량 값이 최대가 되는 최적의 단말-이웃 셀 조합을 도출할 수 있다.
도 3a 내지 도 3c는 일실시예에 따른 셀 접속 제어장치의 시뮬레이션 결과를 설명하는 도면이다.
도 3a 내지 도 3c를 참조하면, 도면부호 301는 기설정된 영역의 크기가 1km2이고, 매크로 셀의 PPP density가 '5', 스몰 셀의 PPP density가 '50', 단말의 PPP density가 '200'으로 설정되었을 때, 각 단말을 2, 3, 4, 5, 6, 7개의 이웃 셀로 로드 밸런싱 했을 때의 시뮬레이션 결과를 도시한다.
또한, 도면부호 302는 로드 밸런싱 레벨(load balancing level, LBL)이 '3'일 때, 반복(iteration) 횟수를 다르게 하면서 max-RSS 알고리즘에 대한 용량 값의 증가율을 시뮬레이션한 결과를 도시한다.
또한, 도면부호 303은 MCTS에서 탐사 정도를 나타내는
Figure 112021141805770-pat00015
가 변경되었을 때, 전체 네트워크의 용량 값의 증가율을 시뮬레이션한 결과를 도시한다.
도면부호 301에 따르면, 총 1000개의 PPP 환경에 대해 프로그램 시뮬레이션을 했을 때, 3개의 이웃 셀에 로드 밸런싱을 할 때 max-RSS에 대한 증가율의 평균 값이 가장 높았으며, 성능이 저하된 경우는 없었다.
오히려 너무 많은 이웃 셀로 로드 밸런싱을 하는 경우, max-RSS 알고리즘보다 전체 용량 값이 낮아지는 비율이 조금씩 관찰되었으며, 이는 거리가 멀어짐에 따라 수신 파워 감소에 의한 스루풋 감소가 로드 밸런싱의 효과보다 커서 오히려 용량 값이 낮아진 것으로 분석되었다.
도면부호 302에 따르면, nIter가 '100'일 때는 용량 값이 감소하는 비율이 9.2%로 매우 높았지만, Iter가 '500'으로 증가하면 용량 값이 감소하는 비율은 1000개의 환경 중 2개에 불과하며, nIter가 '3000'부터는 반복 횟수가 늘어나더라도 용량 값의 증가율이 특정 값에 수렴하는 현상을 보이는 것으로 나타났으며, 이는 시행 횟수가 늘어날수록 최적 값에 수렴하는 몬테 카를로법(Monte Carlo method)의 특징이 그대로 드러난 것으로 분석되었다.
도면부호 303에 따르면, 탐사를 전혀 하지 않는
Figure 112021141805770-pat00016
= 0일 때는 성능이 max-RSS보다 심각하게 감소되는 현상을 보이고, 거의 하지 않는
Figure 112021141805770-pat00017
= 10-3,
Figure 112021141805770-pat00018
= 10-2일 때도 크게 감소하는 것으로 확인되었다.
그러나
Figure 112021141805770-pat00019
= 10-1만 되어도 성능이 대폭 증가하며, 그보다 큰 값에서는 큰 차이는 없지만
Figure 112021141805770-pat00020
= 1일 때 최대 평균 증가율을 보이고 max-RSS 보다 성능이 감소하는 PPP 환경의 비율도 가장 적은 것으로 나타났다. 즉, 탐사를 너무 적게 해도, 많이 해도 안 된다는 것을 확인할 수 있었다.
도 4는 일실시예에 따른 셀 접속 제어장치의 동작방법을 설명하는 도면이다.
다시 말해, 도 4는 도 1 내지 도 3c를 통해 설명한 일실시예에 따른 셀 접속 제어장치의 동작방법을 설명하는 도면으로, 이하에서 도 4를 통해 설명하는 내용 중 도 1 내지 도 3c를 통해 설명한 내용과 중복되는 설명은 생략하기로 한다.
도 4를 참조하면, 410 단계에서 일실시예에 따른 동작방법은 정보 수집부에서 기설정된 공간에 위치한 복수의 단말과 복수의 무선 셀 간의 네트워크 정보를 수집할 수 있다.
에를 들면, 무선 셀은 매크로 셀(macro cell), 스몰 셀(small cell) 및 WiFi 억세스 포인트(access Point, AP), distributed antenna system(DAS), Cell-free MIMO의 AP 등의 무선 접속 네트워크(RAN:Radio Access Network) 중 적어도 하나를 포함할 수 있다.
일측에 따르면, 410 단계에서 일실시예에 따른 동작방법은 기설정된 공간에 위치하는 단말들 중 서비스 이용에 따른 데이터 레이트(data rate)가 기설정된 임계값 이상인 복수의 단말을 선정할 수 있다.
일측에 따르면, 410 단계에서 일실시예에 따른 동작방법은 복수의 무선 셀 중 복수의 단말 각각에서 기설정된 크기 이상의 수신 전력을 갖는 적어도 하나의 무선 셀을 이웃 셀(neighbor cells)로 결정하고, 복수의 단말, 복수의 단말 각각에 대응되는 이웃 셀 정보를 네트워크 정보로 수집할 수 있다.
다음으로, 420 단계에서 일실시예에 따른 동작방법은 MCTS 연산부에서 수집된 네트워크 정보에 기반하여 MCTS(Monte Carlo Tree Search) 연산을 수행할 수 있다.
일측에 따르면, 420 단계에서 일실시예에 따른 동작방법은 MCTS 연산을 통해 전체 네트워크 용량이 기설정된 최대 용량 값 이상이 되는, 일례로 기존 알고리즘인 max-RSS을 사용한 전체 네트워크 용량보다 높아지는 복수의 단말과 복수의 무선 셀 간의 조합을 도출하고, 도출된 조합을 MCTS 연산의 수행 결과로 출력할 수 있다.
일측에 따르면, 420 단계에서 일실시예에 따른 동작방법은 복수의 단말 중 어느 하나의 단말에 대응되는 복수의 차일드 노드(Child node)와 연결되는 루트 노드(Root node)를 생성하고(맨 처음의 루트 노드는 어떤 단말도 이웃셀로 오프로딩 되지 않은 상태이므로 대응되는 단말이 없음), 확장 과정을 통해 루트 노드와 연결되고 어느 하나의 단말과 어느 하나의 단말의 m개(여기서, m은 양의 정수)의 이웃 셀 중 어느 하나의 이웃 셀 간의 연결 상태 정보를 포함하는 제1 차일드 노드(Child node)를 생성할 수 있다.
다음으로, 420 단계에서 일실시예에 따른 동작방법은 시뮬레이션 과정을 통해 제1 차일드 노드에서 복수의 단말 중 시뮬레이션 과정이 발생하는 현재 노드(current node)가 가리키는 어느 하나의 단말을 제외한 나머지 단말 각각과 나머지 단말 각각에 대응되는 이웃 셀을 랜덤하게 연결하는 플레이 아웃을 수행하고, 역전파 과정을 통해 플레이 아웃의 수행 결과에 따른 전체 네트워크의 용량(capacity) 값을 제1 차일드 노드를 포함하는 상위 노드에 저장할 수 있다.
다음으로, 420 단계에서 일실시예에 따른 동작방법은 확장 과정을 통해 루트 노드와 연결되고 m개의 이웃 셀 중 다른 하나의 이웃 셀에 대응되는 제2 차일드 노드를 생성하며, 제2 차일드 노드에서 시뮬레이션 과정 및 역전파 과정을 수행할 수 있다.
일측에 따르면, 420 단계에서 일실시예에 따른 동작방법은, 한 노드는 어느 하나의 단말의 이웃 셀과 동일한 개수의 차일드 노드를 생성할 수 있다.
일측에 따르면, 420 단계에서 일실시예에 따른 동작방법은 차일드 노드 각각에 저장된 전체 네트워크의 용량 값과 같은 부모 노드를 가지는 모든 차일드 노드 각각에 저장된 전체 네트워크의 용량 값의 합산 값을 이용하는 UCT(Upper Confidence Boundary of Tree) 연산의 결과에 기반한 선택 과정을 통해, 복수의 차일드 노드 중 UCT 연산 값이 가장 큰 차일드 노드를 선택할 수 있다.
다음으로, 430 단계에서 일실시예에 따른 동작방법은 셀 접속 제어부에서 MCTS 연산의 수행 결과에 기반하여 복수의 단말 각각이 복수의 무선 셀 중 대응되는 무선 셀에 접속되도록 제어할 수 있다.
결국, 본 발명을 이용하면, MCTS 연산에 기반하는 셀 접속 제어를 통해, 부하 밸런싱 문제를 해결함과 동시에 네트워크 전체 용량을 극대화할 수 있다.
또한, 본 발명을 이용하면, 네트워크 전체 용량을 극대화하여 사용자의 QoS를 만족시킬 수 있으며, 보다 적은 연산량으로 셀 접속을 제어할 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들면, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 장치, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 셀 접속 제어장치 110: 정보 수집부
120: MCTS 연산부 130: 셀 접속 제어부

Claims (11)

  1. 기설정된 공간에 위치하며 하나의 앵커 셀(anchor cell)에 접속되어 있는 다수의 단말들 중 서비스 이용에 따른 데이터 레이트(data rate)가 기설정된 임계값 이상인 복수의 단말을 선정하고, 상기 복수의 단말과 복수의 무선 셀 간의 네트워크 정보를 수집하는 정보 수집부;
    상기 수집된 네트워크 정보에 기반하여 MCTS(Monte Carlo Tree Search) 연산을 수행하는 MCTS 연산부 및
    상기 MCTS 연산의 수행 결과에 기반하여 상기 복수의 단말 각각이 상기 복수의 무선 셀 중 대응되는 무선 셀에 접속 되도록 제어하는 셀 접속 제어부
    를 포함하는 셀 접속 제어장치.
  2. 제1항에 있어서,
    상기 무선 셀은,
    매크로 셀(macro cell), 스몰 셀(small cell), WiFi 억세스 포인트(access Point, AP), distributed antenna system(DAS), Cell-free MIMO의 AP 중 적어도 하나를 포함하는
    셀 접속 제어장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 정보 수집부는,
    상기 복수의 무선 셀 중 상기 복수의 단말 각각에서 기설정된 크기 이상의 수신 전력을 갖는 적어도 하나의 무선 셀을 이웃 셀(neighbor cells)로 결정하고, 상기 복수의 단말, 상기 복수의 단말 각각에 대응되는 이웃 셀 정보를 상기 네트워크 정보로 수집하는
    셀 접속 제어장치.
  5. 제4항에 있어서,
    상기 MCTS 연산부는,
    상기 복수의 단말 중 어느 하나의 단말에 대응되는 복수의 차일드 노드(Child node)와 연결되는 루트 노드(Root node)를 생성하고, 확장 과정을 통해 상기 루트 노드와 연결되고 상기 어느 하나의 단말과 상기 어느 하나의 단말의 m개(여기서, m은 양의 정수)의 이웃 셀 중 어느 하나의 이웃 셀 간의 연결 상태 정보를 포함하는 제1 차일드 노드를 생성하는
    셀 접속 제어장치.
  6. 제5항에 있어서,
    상기 MCTS 연산부는,
    시뮬레이션 과정을 통해 상기 제1 차일드 노드에서 상기 복수의 단말 중 상기 어느 하나의 단말을 제외한 나머지 단말 각각과 상기 나머지 단말 각각에 대응되는 이웃 셀을 랜덤하게 연결하는 플레이 아웃을 수행하고, 역전파 과정을 통해 상기 플레이 아웃의 수행 결과에 따른 전체 네트워크의 용량(capacity) 값을 상기 제1 차일드 노드를 포함하는 상위 노드에 저장하는
    셀 접속 제어장치.
  7. 제6항에 있어서,
    상기 MCTS 연산부는,
    상기 확장 과정을 통해 상기 루트 노드와 연결되고 상기 m개의 이웃 셀 중 다른 하나의 이웃 셀에 대응되는 제2 차일드 노드를 생성하며, 상기 제2 차일드 노드에서 상기 시뮬레이션 과정 및 상기 역전파 과정을 수행하는
    셀 접속 제어장치.
  8. 제7항에 있어서,
    상기 MCTS 연산부는,
    상기 어느 하나의 단말의 이웃 셀과 동일한 개수의 상기 차일드 노드를 생성하는
    셀 접속 제어장치.
  9. 제7항에 있어서,
    상기 MCTS 연산부는,
    상기 차일드 노드 각각에 저장된 전체 네트워크의 용량 값과 상기 차일드 노드와 같은 부모 노드를 가지는 차일드 노드 각각에 저장된 전체 네트워크의 용량 값의 합산 값을 이용하는 UCT(Upper Confidence Boundary of Tree) 연산의 결과에 기반한 선택 과정을 통해, 상기 복수의 차일드 노드 중 상기 UCT 연산 값이 가장 큰 차일드 노드를 선택하는
    셀 접속 제어장치.
  10. 제1항에 있어서,
    상기 MCTS 연산부는,
    상기 MCTS 연산을 통해 전체 네트워크 용량이 기설정된 최대 용량 값 이상이 되는 상기 복수의 단말과 상기 복수의 무선 셀 간의 조합을 도출하고, 상기 도출된 조합을 상기 MCTS 연산의 수행 결과로 출력하는
    셀 접속 제어장치.
  11. 정보 수집부에서, 기설정된 공간에 위치하며 하나의 앵커 셀(anchor cell)에 접속되어 있는 다수의 단말들 중 서비스 이용에 따른 데이터 레이트(data rate)가 기설정된 임계값 이상인 복수의 단말을 선정하고, 상기 복수의 단말과 복수의 무선 셀 간의 네트워크 정보를 수집하는 단계;
    MCTS 연산부에서, 상기 수집된 네트워크 정보에 기반하여 MCTS(Monte Carlo Tree Search) 연산을 수행하는 단계 및
    셀 접속 제어부에서, 상기 MCTS 연산의 수행 결과에 기반하여 상기 복수의 단말 각각이 상기 복수의 무선 셀 중 대응되는 무선 셀에 접속되도록 제어하는 단계
    를 포함하는 셀 접속 제어장치의 동작방법.
KR1020210173864A 2021-12-07 2021-12-07 몬테 카를로 트리 서치를 이용하는 셀 접속 제어장치 및 그 동작방법 KR102481227B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210173864A KR102481227B1 (ko) 2021-12-07 2021-12-07 몬테 카를로 트리 서치를 이용하는 셀 접속 제어장치 및 그 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210173864A KR102481227B1 (ko) 2021-12-07 2021-12-07 몬테 카를로 트리 서치를 이용하는 셀 접속 제어장치 및 그 동작방법

Publications (2)

Publication Number Publication Date
KR102481227B1 true KR102481227B1 (ko) 2022-12-26
KR102481227B9 KR102481227B9 (ko) 2023-06-09

Family

ID=84547599

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210173864A KR102481227B1 (ko) 2021-12-07 2021-12-07 몬테 카를로 트리 서치를 이용하는 셀 접속 제어장치 및 그 동작방법

Country Status (1)

Country Link
KR (1) KR102481227B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100819689B1 (ko) 2006-10-24 2008-04-04 주식회사 케이티 광대역 다중 셀 기반의 무선통신망에 있어 셀 영역을 분할하여 주파수 대역을 할당하는 방법과 그 셀 플래닝 방법
WO2021188022A1 (en) * 2020-03-17 2021-09-23 Telefonaktiebolaget Lm Ericsson (Publ) Radio resource allocation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100819689B1 (ko) 2006-10-24 2008-04-04 주식회사 케이티 광대역 다중 셀 기반의 무선통신망에 있어 셀 영역을 분할하여 주파수 대역을 할당하는 방법과 그 셀 플래닝 방법
WO2021188022A1 (en) * 2020-03-17 2021-09-23 Telefonaktiebolaget Lm Ericsson (Publ) Radio resource allocation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
유현민, 안희준, 홍인기, "Monte Carlo Tree Search 기반의 셀 선택 알고리즘 및 parameter 연구," 한국통신학회 추계학술대회논문집, pp. 348-349, 2021.11.19. *

Also Published As

Publication number Publication date
KR102481227B9 (ko) 2023-06-09

Similar Documents

Publication Publication Date Title
Alkhawlani et al. Access network selection based on fuzzy logic and genetic algorithms
CN110247793B (zh) 一种移动边缘云中的应用程序部署方法
EP2296410B1 (en) Telecommunications network node and methods
CN108924944B (zh) 基于Q-learning算法的LTE与WiFi共存竞争窗口值的动态优化方法
JP5351241B2 (ja) 反復リソース重みの更新を用いて通信システムにおいてノードにリソースを配分する装置及び方法
CN110913405B (zh) 基于场景分级与评估反馈的智能通信系统测试方法及系统
Mohanakrishnan et al. MCTRP: an energy efficient tree routing protocol for vehicular ad hoc network using genetic whale optimization algorithm
CN111988787B (zh) 一种任务的网络接入和服务放置位置选择方法及系统
CN109905864A (zh) 一种面向电力物联网的跨层资源分配方案
Barolli et al. Node placement for wireless mesh networks: Analysis of WMN-GA system simulation results for different parameters and distributions
JP5805303B2 (ja) ネットワークの基地局にユーザ端末を所属させる方法
KR102481227B1 (ko) 몬테 카를로 트리 서치를 이용하는 셀 접속 제어장치 및 그 동작방법
CN111917529B (zh) 一种基于改进exp3算法的水声ofdm资源分配方法
CN106060876A (zh) 一种异构无线网络均衡负载的方法
CN108512765B (zh) 一种基于网络节点分布式Pagerank的网络内容扩散方法
Fonseca et al. Adaptive height optimization for cellular-connected UAVs: A deep reinforcement learning approach
CN110009061B (zh) 一种基于机器学习的ap自适应优化选择方法
CN115499875B (zh) 一种卫星互联网任务卸载方法、系统以及可读存储介质
Amsalu et al. Design and performance evaluation of an energy efficient routing protocol for Wireless Sensor Networks
CN116634450A (zh) 一种基于强化学习的动态空地异构网络用户关联增强方法
US9047570B2 (en) Evolving algorithms for telecommunications network nodes by genetic programming
Tudzarov et al. M-RATS: Mobile-based radio access technology selector for heterogeneous wireless environment
CN106576259A (zh) 异构网络中的自适应小区选择
CN111935824B (zh) 无线资源分配策略更新方法、装置、设备及存储介质
CN104955059B (zh) 基于贝叶斯网络的蜂窝网基站状态时变模型建立方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]