KR20230073166A - 이종 noma 시스템의 리소스를 할당하는 장치 및 방법 - Google Patents

이종 noma 시스템의 리소스를 할당하는 장치 및 방법 Download PDF

Info

Publication number
KR20230073166A
KR20230073166A KR1020230062686A KR20230062686A KR20230073166A KR 20230073166 A KR20230073166 A KR 20230073166A KR 1020230062686 A KR1020230062686 A KR 1020230062686A KR 20230062686 A KR20230062686 A KR 20230062686A KR 20230073166 A KR20230073166 A KR 20230073166A
Authority
KR
South Korea
Prior art keywords
devices
learning
action
value
reward
Prior art date
Application number
KR1020230062686A
Other languages
English (en)
Inventor
최우열
시팟 레즈완
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020230062686A priority Critical patent/KR20230073166A/ko
Publication of KR20230073166A publication Critical patent/KR20230073166A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/56—Allocation or scheduling criteria for wireless resources based on priority criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H04W72/044—Wireless resource allocation based on the type of the allocated resource
    • H04W72/0446—Resources in time domain, e.g. slots or frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/54—Allocation or scheduling criteria for wireless resources based on quality criteria
    • H04W72/543—Allocation or scheduling criteria for wireless resources based on quality criteria based on requested quality, e.g. QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은 비직교 다중 접속 시스템(Non-Orthogonal Multiple Access)에서 리소스를 할당하는 장치에 관한 것으로서, 복수의 디바이스를 클러스터링하고, 클 러스터링 된 상기 복수의 디바이스의 우선 순위를 결정하여, 상기 우선 순위에 따 라 상기 복수의 디바이스를 타임 슬롯(Time Slot)에 할당하는 클러스터부; 및 Q-학 습(Q-Learning)을 이용하여 전력 할당에 따른 데이터 속도(Data rate)를 학습하고, 학습한 내용에 기반하여 상기 복수의 디바이스 마다 전력을 할당하는 Q-학습부를 구비한다.

Description

이종 NOMA 시스템의 리소스를 할당하는 장치 및 방법{APPARATUS AND METHOD FOR DYNAMIC RESOURCE ALLOCATION FOR HETEROGENEOUS NOMA SYSTEMS}
본 발명은 통신 시스템에서 리소스를 할당하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 우선 순위에 기반한 클러스터링을 이용하여 리소스를 할당하는 장치 및 방법에 관한 것이다.
5G 네트워크는 모바일 플랫폼을 위한 향상된 모바일 광대역(enhanced Mobile BroadBand, eMBB), IoT 서비스를 위한 대규모 사물통신(massive Machine Type Communications, mMTC) 및 매우 민감하고 중요한 애플리케이션에 적용 가능한 초고신뢰·저지연 통신(Ultra-Reliable and Low Latency Communications, URLLC)를 지원한다.
상기 세 가지 유형의 서비스가 하나의 셀(Cell)에 공존하므로, 기존의 LTE의 직교 다중 접속(Orthogonal Multiple Access, OMA) 방식으로는 서로 다른 서비스의 요구 사항을 충족하기가 어렵다. 따라서 다양한 요구 사항을 충족하기 위해 5G 이동 통신의 핵심 기술로 비직교 다중 접속(Non-Orthogonal Multiple Access, NOMA)이 고려된다. OMA 시스템과 달리, NOMA 시스템에서는 단일 시간 슬롯에서 여러 장치가 동일한 무선 자원 블록(Remote Resource Block)에 할당될 수 있다.
NOMA에서 기지국(Base Station)은 신호를 중첩하고, 동일한 무선 자원 블록에서 중첩된 신호를 모든 장치로 전송한다. 또한 동일한 시간 슬롯에서 여러 장치로부터 신호를 수신한다. 기지국과 디바이스 측 모두에서 연속 간섭 제거(Successive Interference Cancellation) 기술을 사용하여 서로 다른 장치의 신호를 구별한다. 따라서 NOMA는 eMBB, mMTC 및 URLLC 장치가 공존하는 대규모 연결 요구를 쉽게 충족할 수 있다.
그러나 앞서 언급한 서비스의 서비스 품질(QoS) 요구 사항을 충족하는 데 몇 가지 문제가 있다. 단일 시간 슬롯에서 단일 무선 자원 블록으로부터 서비스를 제공하면서 서로 다른 장치에 전력을 할당하는 문제가 발생한다. 전력 레벨에 따른 신호 대 간섭+잡음 비율(Signal to Interference plus Noise Ratio)은 장치마다 다르며, 전력 할당은 SIC 이후 신호 품질에 중요한 역할을 한다.
또 다른 문제는 NOMA 시스템을 위한 장치 클러스터링이다. 하나의 클러스터 내 장치들은 서로 다른 전력 레벨을 함께 제공받는다. 최적의 클러스터링 체계는 전반적인 성능을 높이고 다양한 서비스의 QoS 요구 사항을 충족하는 데 도움이 되지만, 그렇지 않은 경우 전체 시스템 성능을 쉽게 저하시키고 시스템을 더 복잡하게 만들 수 있다.
대한민국 공개특허공보 제10-2011-0030604호: 모바일 통신 디바이스에 대한 리소스 할당 관리를 위한 방법들 및 장치들
본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, NOMA 통신 시스템에서 우선순위에 기반한 클러스터링을 이용하여 리소스를 할당하는 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 상기와 같은 문제점을 개선하기 위해 5G 네트워크의 QoS 요구 사항을 충족하기 위해 우선 순위 기반 장치 클러스터링 방식을 갖춘 Q-learning 기반 리소스 할당 알고리즘을 제시한다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 비직교 다중 접속 시스템(NOMA)에서 리소스를 할당하는 방법은 (a) 복수의 장치를 클러스터링(Clustering)하는 단계; (b) 클러스터링 된 상기 복수의 장치의 우선 순위를 결정하는 단계; (c) 상기 우선 순위에 따라 상기 복수의 장치를 타임 슬롯(Time Slot)에 할당하는 단계; 및 (d) Q-학습(Q-Learning)을 이용하여 전력 할당에 따른 데이터 속도(Data rate)를 학습하고, 학습한 내용에 기반하여 전력을 할당하는 단계를 포함할 수 있다.
실시예에서, 상기 전력을 할당하는 단계는, (e) 상기 Q-학습의 상태, 행동 및 보상에 대해, 상기 디바이스의 데이터 속도를 상태로, 상기 전력 할당을 행동으로, 그리고 상기 데이터의 속도 중 최소값에 관한 함수값을 보상으로 각각 설정하는 단계; (f) 상기 Q-학습의 상태에서 임의의 상태값 및 상기 선택된 상태값에서 가능한 하나 이상의 행동값을 선택하는 단계; (g) 상기 선택된 상태값 및 행동값을 기초로 이에 대응하는 하나 이상의 보상값을 연산하는 단계; 및 (h) 상기 하나 이상의 보상값 중에서 최고의 보상값을 가지는 행동의 전력 할당을 최적의 전력 할당으로 결정하는 단계를 포함할 수 있다.
실시예에서, 상기 복수의 장치는, 향상된 모바일 광대역(eMBB) 장치, 대규모 사물통신(mMTC) 장치 및 초고신뢰·저지연 통신(URLLC) 장치 중 적어도 하나 이상을 포함할 수 있다.
15실시예에서, 상기 클러스터링하는 단계는, 상기 복수의 장치를 통신 방식에 따라 클러스터링할 수 있다.
실시예에서, 상기 클러스터링하는 단계는, 상기 장치의 종류에 따라 클러스터링할 수 있다.
실시예에서, 상기 데이터 속도는, 상기 복수의 장치의 데이터 속도들을 통합하여 계산되는 합산 데이터 속도(Sum-Rate)일 수 있다.
본 발명의 일 실시예에 따른 비직교 다중 접속 시스템(NOMA)에서 리소스를 할당하는 장치는 복수의 디바이스를 클러스터링(Clustering)하고, 클러스터링 된 상기 복수의 디바이스의 우선 순위를 결정하여, 상기 우선 순위에 따라 상기 복수의 디바이스를 타임 슬롯(Time Slot)에 할당하는 클러스터부; 및 Q-학습(Q-Learning)을 이용하여 전력 할당에 따른 데이터 속도(Data rate)를 학습하고, 학습한 내용에 기반하여 상기 복수의 디바이스 마다 전력을 할당하는 Q-학습부를 포함할 수 있다.
실시예에서, 상기 Q-학습부는, 상기 Q-학습의 상태, 행동 및 보상에 대해, 상기 디바이스의 데이터 속도를 상태로, 상기 전력 할당을 행동으로, 그리고 상기 데이터의 속도 중 최소값에 관한 함수값을 보상으로 각각 설정하고, 상기 Q-학습의 상태에서 임의의 상태값 및 상기 선택된 상태값에서 가능한 하나 이상의 행동값을 선택하고, 상기 선택된 상태값 및 행동값을 기초로 이에 대응하는 하나 이상의 보상값을 연산하고, 상기 하나 이상의 보상값 중에서 최고의 보상값을 가지는 행동의 전력 할당을 최적의 전력 할당으로 결정할 수 있다.
실시예에서, 상기 복수의 디바이스는, 향상된 모바일 광대역(eMBB) 장치, 대규모 사물통신(mMTC) 장치 및 초고신뢰· 저지연 통신(URLLC) 장치 중 적어도 하나 이상을 포함할 수 있다.
실시예에서, 상기 데이터 속도는, 상기 복수의 디바이스의 데이터 속도들을 통합하여 계산되는 합산 데이터 속도(Sum-Rate)일 수 있다.
22
본 발명의 일 실시예에 의하면, NOMA 시스템을 위한 우선 순위 기반 장치 클러스터링 기법을 적용하여 Q-러닝 기반으로 전력 할당함으로써 이종 서비스의 서비스 품질을 만족할 수 있다.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
26도 1은 본 발명에 따른 NOMA 시스템에 대한 개념도이고,
도 2는 일실시예에 따른 리소스 할당 장치에 대한 개념도이고,
도 3은 일실시예에 따른 전력을 할당하는 Q-학습부에 대한 상세 개념도이고,
도 4는 다양한 NOMA 시스템에 본 발명에 따른 클러스터링을 적용한 개념도이고,
도 5는 Q-학습에 기반한 전력 할당에 대한 알고리즘이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 NOMA 시스템의 리소스 할당 장치에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 일 실시예에 따른 비직교 다중 접속(이하, NOMA) 시스템을 설명한다. 도 1에서는 일실시예에 따른 향상된 모바일 광대역(이하, eMBB), 대규모 사물통신(이하, mMTC) 및 초고신뢰·저지연 통신(이하, URLLC) 장치를 포함하는 NOMA 시스템이 도시된다.
NOMA 시스템에서 기지국 단일 무선 자원 블록을 사용하여 여러 종류의 장치에 서비스를 제공할 수 있으며, 다양한 장치의 신호에 서로 다른 전력 레벨을 할당할 수 있다. 상기 다양한 장치는 업 링크 신호를 기지국에 동시에 전송할 수 있으며, 상기 기지국과 장치는 연속 간섭 제거(SIC)를 이용하여 중첩된 신호를 분리할 수 있다.
일실시예에 따른 eMBB, URLLC 및 mMTC 장치로 구성된 5G 네트워크를 이용하여 설명한다. 안테나가 있는 기지국에 연결되는 장치의 수는 이다. 기지국은 전력 레벨이 다른 개의 서로 다른 신호를 중첩하고, 동일한 무선 자원 블록(즉, 주파수, 코드, 시간)을 사용하여 중첩된 신호를 각 장치에 전송한다.
따라서 각 장치는 해당 장치의 신호와 함께 다른 장치의 신호를 노이즈 또는 간섭으로 수신한다. 각 장치에는 신호를 디코딩하는 SIC 디코더를 포함할 수 있다.
이 때, SIC 디코더는 원하는 신호보다 다른 장치의 신호가 높은 전력 레벨을 갖는 경우에 다른 장치의 신호를 먼저 디코딩한다. 그 후 SIC 디코더는 원하는 신호를 얻기 위해, 수신된 신호에서 상기 다른 장치의 신호를 간섭으로 취급하여 제거한다.
반면에 원하는 신호보다 다른 장치의 신호가 낮은 전력 레벨을 갖는 경우 SIC 디코더는 다른 장치의 신호를 노이즈로 무시하면서 원하는 신호를 직접 디코딩한다. SIC 디코더의 신호 품질 성능은 장치의 SINR에 따라 달라지며, SINR은 NOMA 시스템에서 신호의 전력 레벨을 변경하여 조작할 수 있다.
도 1에서는 URLLC, eMBB 및 mMTC 장치로 구성된 5G 네트워크가 도시되고, 여기서 1> 2> 3은 각 장치에 할당된 전력 레벨이다. 이 때, mMTC 장치는 연속 간섭 제거를 사용하여 eMBB 및 URLLC 장치의 간섭을 제거한다. eMBB 장치는 원하는 신호를 디코딩하기 위해 SIC를 사용하여 URLLC 장치의 간섭만을 제거할 수 있다. 마지막으로 URLLC 장치는 eMBB 및 mMTC 장치의 간섭을 제거하지 않고도 원하는 신호를 디코딩할 수 있다.
도 2는 일실시예에 따른 리소스 할당 장치에 대한 개념도이다. 일실시예에 따른 리소스 할당 장치(200)는 클러스터부(210) 및 Q-학습부(220)를 포함할 수 있다. 클러스터부는 기지국에 연결되는 장치들을 특정한 기준으로 클러스터링 하고, 상기 클러스터링에 기반하여 상기 장치들을 타임슬롯에 할당한다.
Q-학습부(220)는 Q-학습 방법을 이용하여 상기 장치들에 전력 레벨을 할당한다. 상기 Q-학습부(220)에 대해서는 도 3에서 상세히 설명하므로 이하에서는 클러스터부(210)를 상세히 살펴본다.
먼저, 5G 네트워크에서 마이크로 셀(Micro-Cell)은 개의 분산 장치를 담당하는 기지국(Base Station)으로 볼 수 있다. 기지국과 장치 모두 단일 안테나 구성을 포함할 수 있다.
예시적으로 그러나 한정되지 않게 상기 장치는 3 가지 유형이 있으며, URLLC 장치, eMBB 장치 및 mMTC 장치가 있다. 기지국의 총 가용 대역폭(Total Available Bandwidth)은 특정 대역폭을 갖는 여러 무선 자원 블록으로 나뉠 수 있다. 상기 특정 대역폭은 예를 들어 180kHz일 수 있다. 클러스터 당 장치 수 의 범위는 2≤n≤N이고, 총 클러스터의 수 는 1≤k≤N/2 이다.
구체적으로, URLLC 장치, eMBB 장치 및 mMTC 장치가 NOMA으로 단일 무선 자원 블록을 공유하는 우선 순위 기반의 장치 클러스터링 방식을 개시한다.
URLLC 장치, eMBB 장치 및 mMTC 장치는 서로 다른 전력 레벨로 동일한 무선 자원 블록을 통해 신호를 전송한다. 기지국은 상기 신호를 중합하여 클러스터 내의 모든 장치로 전송한다. 장치는 추가 잡음 σ0가 있는 상기 신호를 수신한다. 중첩된 신호에서 원하는 신호를 디코딩하기 위해 장치는 연속 간섭 제거(SIC) 방식을 사용할 수 있다. SIC 디코더는 수신된 디바이스단에서 중첩된 신호 중 가장 높은 전력 레벨의 신호를 먼저 디코딩한 후 다음 저전력 레벨의 신호를 디코딩한다. SIC는 장치가 원하는 신호를 얻을 때까지 수신된 중첩 신호에서 디코딩된 신호를 순차적으로 제거한다. 정리하면, 가장 높은 전력이 할당된 장치는 URLLC 장치의 QoS 요구 사항인 고신뢰(High Reliability), 최소 지연(Minimum Latency)의 원하는 신호를 얻을 수 있다.
여기서 기지국은 리소스 할당 장치(200)를 포함하고, 상기 리소스 할당 장치(200)의 클러스터부(210)는 상기 기지국에 연결되는 장치들을 URLLC 장치 그룹UR1, UR2, ... ,URl, eMBB 장치 그룹UE1, UE2, ...,UEu 및 mMTC 장치 그룹MT1,MT2, ..., MTm으로 클러스터링 할 수 있다.
상기 클러스터부(210)는 클러스터링 된 복수의 디바이스의 우선 순위를 결정할 수 있다.
구체적으로, 첫번째 우선 순위는 높은 QoS 요구 사항을 갖는 URLLC 장치이고, 두번째 우선 순위는 중간 QoS 요구 사항을 갖는 eMBB 장치이며, 마지막 우선 순위는 낮은 QoS 요구 사항을 갖는 mMTC 장치로 결정할 수 있다. 여기서 QoS는 예시적으로 그러나 한정되지 않게 안정성, 대기시간, 속도, 패킷오류율, 지연시간 등이 될 수 있다. 이는 예시적일뿐 한정되는 것은 아니며, 다른 통신 장치의 종류가 달라지는 경우에 우선 순위도 달라질 수 있다.
마지막으로 상기 클러스터부(210)는 결정한 우선 순위에 따라 상기 장치들을 타임 슬롯(Time Slot)에 할당할 수 있다. 상기 타임 슬롯에 할당하는 내용에 대해서는 도 4에서 상세히 설명한다.
도 3은 일실시예에 따른 전력을 할당하는 Q-학습부에 대한 상세 개념도이다. 전력 할당 방법을 이해하기 위해 먼저 합산 데이터 속도(Sum-Rate)를 다음과 같이 정의한다. 합산 데이터 속도는 NOMA 시스템에서 각 장치의 데이터 전송 속도를 모두 통합한 속도를 의미한다.
구체적으로, 하나의 장치의 데이터 전송 속도 또는 데이터 속도(Ri)는 다음의 식 1을 사용하여 계산할 수 있다.
Figure pat00001
여기 서 Pi 는 장치 i에 할당된 전력 레벨이고, Hi 는 기지국으로부터 장치 i 로의 채널 게인(Channel Gain)이다. 그리고 σ0 은 노이즈 전력 스펙트럼 밀도이다.
일실시예에 따른 네트워크 성능의 지표로 합산 데이터 전송 속도(Sum-Rate) 을 사용할 수 있고, 본 실시예에서의 합산 데이터 전송 속도 Rsum은 다음과 같이 정 의 할 수 있다.
Figure pat00002
여기 서 클러스터의 모든 장치에 할당된 전력의 합계는 전력 예산 PT보다 작 거나 같아야하며 다음과 같이 표현될 수 있다.
Figure pat00003
그리고 모든 장치에 대한 최소 데이터 전송 속도의 요구 조건은 다음과 같이 표현될 수 있다.
Figure pat00004
여기서 장치 간에 할당된 전력 레벨 Pi는 모든 장치에서 Pi≥0 이어야하며, 모든 장치는 NOMA 시스템의 하나의 클러스터에서 제공 되어야 한다.
다시 도 3을 살펴보면, Q-학습부(220)는 설정부(201) , 선택부(203), 연산부(205) 및 결정부(207)를 포함할 수 있다.
예시적으로 그러나 한정되지 않게 상기 설정부(201)는 Q-학습의 상 태(State), 행동(Action) 및 보상(Reward)에 대해, 상기 디바이스의 데이터 속도를 상태로, 상기 전력 할당을 행동으로, 그리고 상기 데이터의 속도 중 최소값에 관한 함수값을 보상으로 각각 설정할 수 있다.
보다 구체적으로, 상기 최소값에 관한 함수값은 상기 복수의 장치의 데이터 속도들을 통합하여 계산되는 합산 데이 터 속도(Sum-Rate)에 연관되는 값일 수 있다.
선 택부(203)는 상기 Q-학습의 상태에서 임의의 상태값 및 상기 선택된 상태 값에서 가능한 하나 이상의 행동값을 선택할 수 있다. 예를 들면, Q-학습에서 다양 한 상태값이 발생할 수 있으며, 상기 다양한 상태값에 대해 복수의 행동값이 존재 할 수 있다. 따라서 선택부(203)는 여러 행동값 중에서 어느 하나의 행동값을 선택 할 수 있다. 실시예에서는 전력의 할당이므로 전력 할당의 크기를 다양하게 조절하 는 구성일 수 있다.
연산부(205)는 상기 선택된 상태값 및 행동값을 기초로 이에 대응하 는 하나 이상의 보상값을 연산할 수 있다. 보상값을 연산하는 구체 적인 방법에 대해서는 식 7에서 상세히 설명하므로 여기서 세부적인 설명은 생략한다.
한편, Q-학습 방식에서는 상태(State)에 따른 행동(Action)의 결과를 보상값을 이용해 분석하므로, 상기 연산부는 상기 선택부(203)에 의 해 선택된 상태값 및 행동값 또는 행동의 결과 등을 이용하여 보상값 을 연산할 수 있다.
마지막으로 결정부(207)는 상기 하나 이상의 보상값 중에서 최고의 보상값을 가지는 행동의 전력 할당을 최적의 전력 할당으로 결정할 수 있다. 일실시예에 따라 최적의 전력 할당을 수행하는 경우에 합산 데이터 전송 속도가 최대될 수 있다.
도 4는 일실시예에 따른 다양 한 NOMA 시스템에 클러스터링을 적용하는 경우를 도시한다. 보다 구 체적으로, 도 4는 다양한 리소스블록 갯수 또는 클러스터 갯수를 갖 는 경우의 NOMA 시스템에서 일실시예에 따른 우선 순위 기반 디바이스 클러 스터링을 도시한다.
QoS 요구 사항을 충족하기 위해 기지국의 커버리지 영역에서 사용 가 능한 전체 장치는 QoS 요구 사항에 따라 URLLC, eMBB, mMTC 장치로 분류된다. 그리고 URLLC, eMBB 및 mMTC 장치 각각은 상기 기지국으로 부터의 거리에 따라 오름차순으로 정렬된다.
예를 들어 기지국으로부터 가장 가까운 URLLC 장치가 UR1이 되고, 기지국으 로부터 가장 먼 URLLC 장치가 URk가 된다. 마찬가지로 기지국으로부터 가장 가까운 mMTC 장치가 MT1이 되고, 기지국으로부터 가장 먼 mMTC 장치가 MTk가 된다.
URLLC 장치의 수 이 클러스터 수 보다 적으면, 모든 URLLC 장치가 클러스터 1, 2 , ..., k 내에서 가장 높은 순위에 배치된다. 유사하게 eMBB 장치는 URLLC 장 치 다음으로 가능한 가장 높은 순위에 배치된다. 마지막으로, mMTC 장치는 클러스 터 1, 2, ..., k 내에서 eMBB 장치 다음으로 가능한 가장 높은 순위에 배치된다.
예시적 으로 그러나 한정되지 않게 동일한 종류의 장치 간에는 기지국과의 거 리를 기준으로 배치될 수 있다.
구체적으로 설명하면, 도 2는 4 개의 URLLC 장치, 5 개의 eMBB 장치 및 3 개의 mMTC 장치를 포함하는 총 12 개의 장치를 NOM A 시스템에서 클러스터링하는 경우의 예시를 도시한다.
구체적으로 2 개의 리소스 블록과 6 개의 클러스터를 갖는 NOMA 시스템에서 는, 4 개의 URLLC 장치가 가장 높은 순위에 배치되고, 2 개의 eMBB 장치가 가장 높 은 순위에 배치된다. 그리고 나머지 3 개의 eMBB 그리고 3개의 mMTC 장치가 가장 낮은 순위에 배치된다.
다음으로 3 개의 리소스 블록과 4 개의 클러스터를 갖는 NOMA 시 스템에서는 4 개의 URLLC 장치가 가장 높은 순위에 배치되고, 4 개 의 eMBB 장치가 중간 순위에 배치된다. 그리고 나머지 1 개의 eMBB 그리고 3개의 mMTC 장치가 가장 낮은 순위에 배치된다.
동일한 방식으로 4 개의 리소스 블록과 3 개의 클러스터를 갖는 NOMA 시스템 에서는 3 개의 URLLC 장치가 가장 높은 순위에 배치된다. 그리고 1 개의 URLLC 장 치 및 2 개의 eMBB 장치가 다음으로 높은 순위에 배치된다. 이어서 나머지 3 개의 eMBB 장치가 다음으로 높은 순위에 배치된다. 마지막으로 3 개의 mMTC 장치가 가장 낮은 순위에 배치된다.
6 개의 리소스 블록과 2 개의 클러스터를 갖는 NOMA 시스템에서도 동일한 원리로 각 장치들이 우선 순위를 갖고 배치될 수 있다. 가장 높은 순위에는 URLLC 장치가, 가장 낮은 순위에는 mMTC 장치가 배치 된다.
도 5는 일실시예에 따른 Q-러닝 기반 전력 할당 알고리즘을 도시한다. 일실시예에 따른 Q-학습부는 다음에서 설명하는 알고리 즘에 따라 전력을 할당할 수 있다. 일실시예에서, 기지국은 Q-학습 부를 포함할 수 있고, 상기 기지국에 연결되는 장치의 SINR 환경과 상호작용할 수 있다.
구체적으로, Markov 결정 프로세스를 사용하여 최대 확률을 갖는 적 합한 전략을 식별하기 위한 Q-학습 기반 전력 할당 알고리즘을 제시 한다. Q-학습부는 초기에 무작위 행동(Random Action)을 수행하여 N OMA 시스템 환경의 모든 상태(State)를 탐색(Explore)하고 나서, 시 스템의 가능한 최대 합산 데이터 속도를 달성하기 위해 활용(Exploi t)하기 위한 경험을 사용한다.
Markov 의사 결정 프로세스에는 각각의 상태-작업 쌍에 대 한 할인된 예상 보상을 생성하는 품질 함수(Quality Function)를 포 함할 수 있다. 여기서, 연결되는 장치의 달성된 데이터 속도가 시간 t에서의 상태(State) st이고, 하나의 클러스터 내에 있는 장치들에 서로 다른 전력 레벨을 할당하는 것이 Q-학습부의 행 동(Action)이다.
학습 과정에서 알고리즘의 성능은 탐색(Exploration)과 활용(Exploitat ion) 사이의 트레이드(Trade)에 의해 영향을 받는다. 따라서 에이전 트는 -greedy 정책을 사용하여 전력 할당 계수 를 얻고, 다음과 같이 주어진다.
Figure pat00005
초기에 Q-학습부는 Q-테이블(Q- table)의 모든 null 값으로 인해 학습 과정의 시작 부분에서 탐색을 시작한다. 일실시예에 따르면 핫부팅(Hot-Booting) 기법을 사용하여 사전에 교육 데이터로 Q-테이블을 대규모로 초기화하는 것도 가능하다. 핫부팅 후 에이전트는 도 3에서 도시된 대로 최대 합산 데이터 전송 속도를 달성하 기 위해 환경을 활용(Exploitation)하기 시작한다. Q-테이블은 Markov 결정 프로세 스에서 얻은 할인된 보상(Reward)으로 업데이트되고 다음과 같이 주어진다.
Figure pat00006
여기서 학습률 α는 α∈ (0, 1]이고, 현재 경험의 가중치를 반영한다. 에 이전트는 행동(Action)에 대한 보상(Reward) 을 받으며 할인 계수 σ는 (0, 1] 에 서 미래 이득의 불확실성에 따라 선택될 수 있다. 각 시간 슬롯에 대한 보상 은 다 음의 식으로 주어진다.
Figure pat00007
여기서 지시함수(Indicator Function) I(·)는 조건이 참이면 값 1을, 그렇 지 않으면 0을 취한다.
일실시예에 따른 리소스 할당 장치는, 도 6에서 도시되고, 상술한 알고리즘에 따라 NOMA 시스템에 접속하는 디바이스에 최적의 전력 레벨을 할당할 수 있다.
이상에서 일실시예에 따른 URLLC 장치, eM BB장치, 그리고 mMTC 장치 등을 지원하는 이종 NOMA 시스템을 위한 우선 순위 기반 장치 클러스터링 기법을 적용한 Q-러닝 기반 전력 할 당 방법을 설명했다.
일실시예에 따른 전력 할당 방법을 사용하는 경우에 합산 데이터 속 도가 개선되어 효율적으로 NOMA 시스템을 운영할 수 있다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식 을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실 시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에 게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시 예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
200: 리소스 할당 장치

Claims (8)

  1. 비직교 다중 접속 시스템(Non-Orthogonal Multiple Access)에서 리소스를 할당하는 방법에 있어서,
    (a) 복수의 장치를 클러스터링(Clustering)하는 단계;
    (b) 상기 클러스터링된 복수의 장치의 QoS 요구사항에 따라 상기 클러스터링된 복수의 장치를 URLLC(Ultra-Reliable and Low Latency Communications), eMBB(enhanced Mobile BroadBand) 및 mMTC(massive Machine Type Communications) 장치로 분류하고, 상기 분류된 복수의 장치 각각을 기지국으로부터의 거리에 따라 오름차순으로 정렬하여 상기 복수의 장치의 우선 순위를 결정하는 단계;
    (c) 상기 우선 순위에 따라 상기 복수의 장치를 타임 슬롯(Time Slot)에 할당하는 단계; 및
    (d) Q-학습(Q-Learning)을 이용하여 전력 할당에 따른 데이터 속도(Data rate)를 학습하고, 학습한 내용에 기반하여 전력을 할당하는 단계
    를 포함하는,
    리소스 할당 방법.
  2. 제1항에 있어서,
    상기 전력을 할당하는 단계는,
    (e) 상기 Q-학습의 상태, 행동 및 보상에 대해, 상기 복수의 장치의 데이터 속도를 상태로, 상기 전력 할당을 행동으로, 그리고 상기 데이터의 속도 중 최소값에 관한 함수값을 보상으로 각각 설정하는 단계;
    (f) 상기 Q-학습의 상태에서 임의의 상태값 및 상기 상태값에서 가능한 하나 이상의 행동값을 선택하는 단계;
    (g) 상기 선택된 상태값 및 행동값을 기초로 이에 대응하는 하나 이상의 보상값을 연산하는 단계; 및
    (h) 상기 하나 이상의 보상값 중에서 최고의 보상값을 가지는 행동의 전력 할당을 최적의 전력 할당으로 결정하는 단계
    를 포함하는 리소스 할당 방법.

  3. 제1항에 있어서,
    상기 클러스터링하는 단계는,
    상기 복수의 장치를 통신 방식에 따라 클러스터링하는 리소스 할당 방법.
  4. 제1항에 있어서,
    상기 클러스터링하는 단계는,
    상기 장치의 종류에 따라 클러스터링하는 리소스 할당 방법.
  5. 제1항에 있어서,
    상기 데이터 속도는,
    상기 복수의 장치의 데이터 속도들을 통합하여 계산되는 합산 데이터 속도(Sum-Rate)인 리소스 할당 방법.
  6. 비직교 다중 접속 시스템(Non-Orthogonal Multiple Access)에서 리소스를 할당하는 장치에 있어서,
    복수의 장치를 클러스터링(Clustering)하고, 상기 클러스터링된 복수의 장치의 QoS 요구사항에 따라 상기 클러스터링된 복수의 장치를 URLLC(Ultra-Reliable and Low Latency Communications), eMBB(enhanced Mobile BroadBand) 및 mMTC(massive Machine Type Communications) 장치로 분류하고, 상기 분류된 복수의 장치 각각을 기지국으로부터의 거리에 따라 오름차순으로 정렬하여 상기 복수의 장치의 우선 순위를 결정하여, 상기 우선 순위에 따라 상기 복수의 장치를 타임 슬롯(Time Slot)에 할당하는 클러스터부; 및
    Q-학습(Q-Learning)을 이용하여 전력 할당에 따른 데이터 속도(Data rate)를 학습하고, 학습한 내용에 기반하여 상기 복수의 장치 마다 전력을 할당하는 Q-학습부
    를 포함하는,
    리소스 할당 장치.
  7. 제6항에 있어서,
    상기 Q-학습부는,
    상기 Q-학습의 상태, 행동 및 보상에 대해, 상기 복수의 장치의 데이터 속도를 상태로, 상기 전력 할당을 행동으로, 그리고 상기 데이터의 속도 중 최소값에 관한 함수값을 보상으로 각각 설정하고,
    상기 Q-학습의 상태에서 임의의 상태값 및 상기 상태값에서 가능한 하나 이상의 행동값을 선택하고,
    상기 선택된 상태값 및 행동값을 기초로 이에 대응하는 하나 이상의 보상값을 연산하고,
    상기 하나 이상의 보상값 중에서 최고의 보상값을 가지는 행동의 전력 할당을 최적의 전력 할당으로 결정하는,
    리소스 할당 장치.

  8. 제7항에 있어서,
    상기 데이터 속도는,
    상기 복수의 장치의 데이터 속도들을 통합하여 계산되는 합산 데이터 속도(Sum-Rate)인 리소스 할당 장치.
KR1020230062686A 2020-10-08 2023-05-15 이종 noma 시스템의 리소스를 할당하는 장치 및 방법 KR20230073166A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230062686A KR20230073166A (ko) 2020-10-08 2023-05-15 이종 noma 시스템의 리소스를 할당하는 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200129924A KR20220046814A (ko) 2020-10-08 2020-10-08 이종 noma 시스템의 리소스를 할당하는 장치 및 방법
KR1020230062686A KR20230073166A (ko) 2020-10-08 2023-05-15 이종 noma 시스템의 리소스를 할당하는 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200129924A Division KR20220046814A (ko) 2020-10-08 2020-10-08 이종 noma 시스템의 리소스를 할당하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230073166A true KR20230073166A (ko) 2023-05-25

Family

ID=81212044

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200129924A KR20220046814A (ko) 2020-10-08 2020-10-08 이종 noma 시스템의 리소스를 할당하는 장치 및 방법
KR1020230062686A KR20230073166A (ko) 2020-10-08 2023-05-15 이종 noma 시스템의 리소스를 할당하는 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200129924A KR20220046814A (ko) 2020-10-08 2020-10-08 이종 noma 시스템의 리소스를 할당하는 장치 및 방법

Country Status (1)

Country Link
KR (2) KR20220046814A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110030604A (ko) 2008-06-17 2011-03-23 콸콤 인코포레이티드 모바일 통신 디바이스에 대한 리소스 할당 관리를 위한 방법들 및 장치들

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110030604A (ko) 2008-06-17 2011-03-23 콸콤 인코포레이티드 모바일 통신 디바이스에 대한 리소스 할당 관리를 위한 방법들 및 장치들

Also Published As

Publication number Publication date
KR20220046814A (ko) 2022-04-15

Similar Documents

Publication Publication Date Title
US9609650B2 (en) Adaptive uplink/downlink timeslot assignment in a hybrid wireless time division multiple access/code division multiple access communication system
JP5424006B2 (ja) ワイヤレス通信システムにおける確率ベースのリソース割り当てのためのシステムおよび方法
CN101909303B (zh) 无线蜂窝网络的调度方法、装置及系统
KR101630563B1 (ko) 스펙트럼 관리 시스템 및 방법
CN102726087A (zh) 在认知无线网络中用于信道和/或功率分配的方法及设备
CN101227701A (zh) 一种信道分配方法以及装置
WO2019134666A1 (zh) 软频分复用方法及装置、大规模多天线系统和存储介质
CN110445518B (zh) 大规模mimo异构网络系统下基于微小区分簇的导频分配方法
Chehri et al. Real‐time multiuser scheduling based on end‐user requirement using big data analytics
CN107409399B (zh) 跨接入点的卸载控制
CN103634916B (zh) 信道分配方法及装置
KR101073294B1 (ko) 무선 인지 시스템을 위한 유전자 알고리즘 기반의 동적 주파수 선택 시스템 및 방법
KR20230073166A (ko) 이종 noma 시스템의 리소스를 할당하는 장치 및 방법
CN111866979B (zh) 基于多臂老虎机在线学习机制的基站与信道动态分配方法
Liu et al. Minimizing energy consumption in UAV assisted NOMA-MEC networks
KR20090128789A (ko) Ｏｆｄｍａ 시스템에서 부채널 할당과 간섭을 제어하는방법 및 장치
WO2016169122A1 (zh) 一种数据调度方法及装置
KR101717921B1 (ko) 무선통신 시스템에서 자원할당 스케줄링 장치 및 방법
Saeed et al. Backhaul pairing of small cells using non-orthogonal multiple access
JP2016513900A (ja) 無線通信方法および装置
CN114826355B (zh) 一种信号发送方法、装置、电子设备及存储介质
CN109121217B (zh) 分配pdma图样的方法及装置
CN113938956B (zh) 资源分配方法、装置及计算机可读存储介质
JP4510888B2 (ja) 中央化された基地局におけるリソース分配および信号ルーティング方法
KR101015657B1 (ko) 통신시스템에서, 중첩코딩을 이용한 다중 전송을 위한 다중사용자 전력 할당 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application
E801 Decision on dismissal of amendment