KR20210050454A

KR20210050454A - 변조 및 코딩 기법 선택 장치 및 방법

Info

Publication number: KR20210050454A
Application number: KR1020200131961A
Authority: KR
Inventors: 원석호; 김일규; 정희상
Original assignee: 한국전자통신연구원
Priority date: 2019-10-28
Filing date: 2020-10-13
Publication date: 2021-05-07

Abstract

통신 시스템의 변조 및 코딩 기법 선택 방법이 개시된다. 본 발명의 일 실시예에 따른 변조 및 코딩 기법 선택 방법은, 무선 채널 품질에 따라 MCS를 결정하고, 오차를 보정하여 보정된 MCS를 생성하는 단계; 수신 장치로부터 수신한 정보를 통해 연접하는 ACK 패킷의 길이를 도출하고, 목적하는 패킷 오율에 따라 연접 ACK 패킷의 길이를 계산하는 단계; 상기 보정된 MCS를 적용해 연접하는 ACK 패킷의 길이를 다시 측정하여 보정된 연접 ACK 패킷의 길이를 산출하는 단계; 및 채널 품질에 따라 결정된 MCS와 상기 보정된 MCS의 차이를 나타내는 MCS차이, 그리고 상기 연접 ACK 패킷의 길이와 상기 보정된 연접 ACK 패킷의 길이 간의 차이를 나타내는 연접 ACK 패킷 차이를 기초로 한 머신러닝 방식을 이용해 신경망을 학습시키는 단계를 포함할 수 있다.

Description

변조 및 코딩 기법 선택 장치 및 방법{APPARATUS AND METHOD FOR DETERMINING MODULATION AND CODING SCHEME}

본 발명은 변조 및 코딩 기법 선택 장치 및 방법에 관한 것으로, 더욱 상세하게는 통신 시스템의 변조 및 코딩 기법 선택 장치 및 방법에 관한 것이다.

이동통신 시스템을 비롯한 무선통신 시스템에서 정보 전송은 채널의 용량에 따라 전송속도(Throughput) 등이 결정된다. 전송 속도의 결정은 전송 정보 데이터의 변조 및 코딩 기법(Modulation and Coding Scheme; MCS)에 따른다. 표준규격(3GPP TS 38.214)에 따르면 MCS는 예를 들어, 0에서 31까지 부여되는 인덱스 값에 따라 변조차수(Modulation Order), 타겟 코딩율(Target code Rate) 등이 정의된다. 값이 상대적으로 작은 MCS인덱스는 전송율이 낮아서 채널 상태가 나쁠 때 적용되고, 값이 상대적으로 큰 MCS 인덱스는 전송율이 높아서 채널 상태가 좋을 때 선택된다.

채널 상태가 나쁠 때 높은 MCS를 할당하면 높은 변조차수, 코딩율로 흔히 1 msec 이하의 전송단위(Transmission Time Interval; TTI)로 송신하는 데이터 크기는 증가되지만, 패킷오율(Packet Error Rate; PER)이 증가되어 재전송이 많아지고, 따라서 오히려 전송률은 떨어지게 된다. 반면, 채널 상태가 좋을 때 낮은 MCS를 할당하면, TTI당 보낼 수 있는 데이터 량은 충분함에도 불구하고 낮은 변조차수와 코딩율로 적은 데이터량만을 전송하여 그만큼 귀중한 무선 자원을 낭비하는 결과를 초래한다.

따라서, 다양하게 변화하는 무선채널에 적합한 MCS를 결정하기 위한 방안으로, 송신기가 수신기로부터 채널의 품질 지시자(Channel Quality Indicator; CQI)을 피드백 받아서 자신이 전송할 MCS를 결정하는 방식이 제안되었다. 해당 방식에서는 CQI 대 MCS 상관 테이블을 사용하여 MCS를 결정하는데, 이 경우 정확한 매핑이 불가능하다는 문제가 발생한다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 통신 시스템에서의 변조 및 코딩 기법 선택 방법을 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 상기 변조 및 코딩 기법 선택 방법을 이용하는 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 변조 및 코딩 기법 선택 방법은 통신 시스템에서의 변조 및 코딩 기법 선택 방법으로서, 무선 채널 품질에 따라 MCS(Modulation and Coding Scheme)를 결정하고, 오차를 보정하여 보정된 MCS를 생성하는 단계; 수신 장치로부터 수신한 정보를 통해 연접하는 ACK 패킷의 길이를 도출하고, 목적하는 패킷 오율에 따라 연접 ACK 패킷의 길이를 계산하는 단계; 상기 보정된 MCS를 적용해 연접하는 ACK 패킷의 길이를 다시 측정하여 보정된 연접 ACK 패킷의 길이를 산출하는 단계; 및 채널 품질에 따라 결정된 MCS와 상기 보정된 MCS의 차이를 나타내는 MCS차이, 그리고 상기 연접 ACK 패킷의 길이와 상기 보정된 연접 ACK 패킷의 길이 간의 차이를 나타내는 연접 ACK 패킷 차이를 기초로 한 머신러닝 방식을 이용해 신경망을 학습시키는 단계를 포함하는, 변조 및 코딩 기법 선택 방법을 제공하는 데 있다.

상기 변조 및 코딩 기법 선택 방법은 학습된 상기 신경망을 이용해 MCS를 결정하는 단계를 더 포함할 수 있다.

상기 머신러닝 방식은 강화학습 알고리즘 및 패턴 매칭 알고리즘 중 하나 이상을 포함할 수 있다.

상기 머신러닝 방식을 이용해 신경망을 학습시키는 단계는, 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키는 단계를 포함할 수 있다.

상기 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키는 단계는, 무선 통신 관련 요소들을 환경 또는 에이전트의 상태로 설정하고 에이전트로 하여금 보상을 최대로 하는 액션을 취하도록 함으로써, 최적의 상태를 도출하는 단계를 포함할 수 있다.

상기 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키는 단계는, 상기 송신 장치, 상기 수신 장치 및 무선 채널을 상기 에이전트의 환경으로 설정하는 단계; 및 상기 MCS차이 및 상기 연접 ACK 패킷 차이, 상기 MCS 차이의 변화율, 상기 연접 ACK 패킷 차이의 변화율을 강화학습의 상태로 설정하는 단계를 포함할 수 있다.

상기 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키는 단계는, 상기 상태에 따른 액션을 선택하고, 상기 환경에서 선택한 액션으로 진행함으로써 보상을 획득하는 단계; 상기 상태, 액션, 보상, 및 환경으로부터 새로 결정된 상태를 리플레이 메모리에 저장하는 단계; 상기 리플레이 메모리에 저장된 데이터를 무작위로 추출하여 TNN((Target Neural Network)을 훈련시키는 단계; 및 상기 TNN 훈련의 결과를 상기 신경망에 적용하는 단계를 더 포함할 수 있다.

상기 강화학습 알고리즘은, DQN(Deep-Q-Network), Double DQN, Dualing DQN, DRQN(Deep Recurrent Q-Network), A2C(Advantage Actor Critic), 및 A3C(Asynchronous Advantage Actor Critic) 중 하나 이상을 포함할 수 있다.

상기 패턴 매칭 알고리즘은, 상기 MCS차이 대비 상기 연접 ACK 패킷 차이 값에 대한 패턴을 이용해 학습시킨 심층 신경망을 이용해 수행될 수 있다.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 변조 및 코딩 기법 선택 장치는 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고, 상기 적어도 하나의 명령은, 무선 채널 품질에 따라 MCS(Modulation and Coding Scheme)를 결정하고, 오차를 보정하여 보정된 MCS를 생성도록 하는 명령; 수신 장치로부터 수신한 정보를 통해 연접하는 ACK 패킷의 길이를 도출하고, 목적하는 패킷 오율에 따라 연접 ACK 패킷의 길이를 계산하도록 하는 명령; 상기 보정된 MCS를 적용해 연접하는 ACK 패킷의 길이를 다시 측정하여 보정된 연접 ACK 패킷의 길이를 산출하도록 하는 명령; 및 채널 품질에 따라 결정된 MCS와 상기 보정된 MCS의 차이를 나타내는 MCS차이, 그리고 상기 연접 ACK 패킷의 길이와 상기 보정된 연접 ACK 패킷의 길이 간의 차이를 나타내는 연접 ACK 패킷 차이를 기초로 한 머신러닝 방식을 이용해 신경망을 학습시키도록 하는 명령을 포함할 수 있다.

상기 적어도 하나의 명령은, 학습된 상기 신경망을 이용해 MCS를 결정하도록 하는 명령을 더 포함할 수 있다.

상기 머신러닝 방식을 이용해 신경망을 학습시키도록 하는 명령은, 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키도록 하는 명령을 포함할 수 있다.

상기 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키도록 하는 명령은,

무선 통신 관련 요소들을 환경 또는 에이전트의 상태로 설정하고 에이전트로 하여금 보상을 최대로 하는 액션을 취하도록 함으로써, 최적의 상태를 도출하도록 하는 명령을 포함할 수 있다.

상기 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키도록 하는 명령은, 상기 송신 장치, 상기 수신 장치 및 무선 채널을 강화학습의 환경으로 설정하도록 하는 명령; 및 상기 MCS차이 및 상기 연접 ACK 패킷 차이, 상기 MCS 차이의 변화율, 상기 연접 ACK 패킷 차이의 변화율을 강화학습의 상태로 설정하도록 하는 명령을 포함할 수 있다.

상기 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키도록 하는 명령은, 상기 상태에 따른 액션을 선택하고, 상기 환경에서 선택한 액션으로 진행함으로써 보상을 획득하도록 하는 명령; 상기 상태, 액션, 보상, 및 환경으로부터 새로 결정된 상태를 리플레이 메모리에 저장하도록 하는 명령; 상기 리플레이 메모리에 저장된 데이터를 무작위로 추출하여 TNN((Target Neural Network)을 훈련시키도록 하는 명령; 및 상기 TNN 훈련의 결과를 상기 신경망에 적용하도록 하는 명령을 더 포함할 수 있다.

상기와 같은 본 발명의 실시예들에 따라 사전 얼굴 인식을 수행하고 그 결과를 이용하는 본 발명에 따른 방법을 활용하면, 서버의 부담을 줄일 수 있을 뿐 아니라 트래킹을 통하여 얼굴 검출이 실패하는 프레임에서도 얼굴에 대한 정보를 제공할 수 있는 가능성이 커진다.

또한, 본 발명에서 제공하는 엑스트라 모드에 따른 얼굴인식 정보 검색의 경우 검색이 실패할 확률을 줄일 수 있는 장점이 있다.

도 1은 통신 시스템의 일 예를 도시한 개념도이다.
도 2는 통신 시스템을 구성하는 통신 노드의 일 실시예를 도시한 블록도이다.
도 3은 CQI 매핑 테이블의 일 예를 나타낸다.
도 4는 측정된 CQI와 최적 MCS의 상관 분포도를 나타낸다.
도 5는 본 발명에 적용될 수 있는 강화학습에서의 에이전트와 환경과의 상호작용관계를 순차적 행동결정 표현으로 나타낸 그래프이다.
도 6은 미리 측정된

대비

값의 패턴 예들을 나타낸다.
도 7은 본 발명의 일 실시예에 따른 변조 및 코딩 기법 선택 방법의 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 발명에 따른 실시예들이 적용되는 통신 시스템(communication system)이 설명될 것이다. 본 발명에 따른 실시예들이 적용되는 통신 시스템은 아래 설명된 내용에 한정되지 않으며, 본 발명에 따른 실시예들은 다양한 통신 시스템에 적용될 수 있다. 여기서, 통신 시스템은 통신 네트워크(network)와 동일한 의미로 사용될 수 있다.

도 1은 통신 시스템의 일 예를 도시한 개념도이다.

도 1을 참조하면, 통신 시스템(100)은 복수의 통신 노드들(110-1, 110-2, 110-3, 120-1, 120-2, 130-1, 130-2, 130-3, 130-4, 130-5, 130-6)을 포함할 수 있다. 복수의 통신 노드들은 3GPP(3rd generation partnership project) 표준에서 규정된 4G 통신(예를 들어, LTE(long term evolution), LTE-A(advanced)), 5G 통신(예를 들어, NR(new radio)) 등을 지원할 수 있다. 4G 통신은 6GHz 이하의 주파수 대역에서 수행될 수 있고, 5G 통신은 6GHz 이하의 주파수 대역뿐만 아니라 6GHz 이상의 주파수 대역에서 수행될 수 있다.

예를 들어, 4G 통신 및 5G 통신을 위해 복수의 통신 노드들은 CDMA(code division multiple access) 기반의 통신 프로토콜, WCDMA(wideband CDMA) 기반의 통신 프로토콜, TDMA(time division multiple access) 기반의 통신 프로토콜, FDMA(frequency division multiple access) 기반의 통신 프로토콜, OFDM(orthogonal frequency division multiplexing) 기반의 통신 프로토콜, Filtered OFDM 기반의 통신 프로토콜, CP(cyclic prefix)-OFDM 기반의 통신 프로토콜, DFT-s-OFDM(discrete Fourier transform-spread-OFDM) 기반의 통신 프로토콜, OFDMA(orthogonal frequency division multiple access) 기반의 통신 프로토콜, SC(single carrier)-FDMA 기반의 통신 프로토콜, NOMA(Non-orthogonal Multiple Access), GFDM(generalized frequency division multiplexing) 기반의 통신 프로토콜, FBMC(filter bank multi-carrier) 기반의 통신 프로토콜, UFMC(universal filtered multi-carrier) 기반의 통신 프로토콜, SDMA(Space Division Multiple Access) 기반의 통신 프로토콜 등을 지원할 수 있다.

또한, 통신 시스템(100)은 코어 네트워크(core network)를 더 포함할 수 있다. 통신 시스템(100)이 4G 통신을 지원하는 경우, 코어 네트워크는 S-GW(serving-gateway), P-GW(PDN(packet data network)-gateway), MME(mobility management entity) 등을 포함할 수 있다. 통신 시스템(100)이 5G 통신을 지원하는 경우, 코어 네트워크는 UPF(user plane function), SMF(session management function), AMF(access and mobility management function) 등을 포함할 수 있다.

한편, 통신 시스템(100)을 구성하는 복수의 통신 노드들(110-1, 110-2, 110-3, 120-1, 120-2, 130-1, 130-2, 130-3, 130-4, 130-5, 130-6) 각각은 다음과 같은 구조를 가질 수 있다.

도 2는 통신 시스템을 구성하는 통신 노드의 일 실시예를 도시한 블록도이다.

도 2를 참조하면, 통신 노드(200)는 적어도 하나의 프로세서(210), 메모리(220) 및 네트워크와 연결되어 통신을 수행하는 송수신 장치(230)를 포함할 수 있다. 또한, 통신 노드(200)는 입력 인터페이스 장치(240), 출력 인터페이스 장치(250), 저장 장치(260) 등을 더 포함할 수 있다. 통신 노드(200)에 포함된 각각의 구성 요소들은 버스(bus)(270)에 의해 연결되어 서로 통신을 수행할 수 있다.

다만, 통신 노드(200)에 포함된 각각의 구성요소들은 공통 버스(270)가 아니라, 프로세서(210)를 중심으로 개별 인터페이스 또는 개별 버스를 통하여 연결될 수도 있다. 예를 들어, 프로세서(210)는 메모리(220), 송수신 장치(230), 입력 인터페이스 장치(240), 출력 인터페이스 장치(250) 및 저장 장치(260) 중에서 적어도 하나와 전용 인터페이스를 통하여 연결될 수도 있다.

프로세서(210)는 메모리(220) 및 저장 장치(260) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(210)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(220) 및 저장 장치(260) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(220)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.

본 발명의 일 실시예에 따른 통신 노드(200)는, 프로세서(processor); 및 상기 프로세서에 의해 실행되는 하나 이상의 명령을 저장하는 메모리(memory)를 포함할 수 있다.

이때, 하나 이상의 명령은, 무선 채널 품질에 따라 MCS(Modulation and Coding Scheme)를 결정하고, 오차를 보정하여 보정된 MCS를 생성도록 하는 명령; 수신 장치로부터 수신한 정보를 통해 연접하는 ACK 패킷의 길이를 도출하고, 목적하는 패킷 오율에 따라 연접 ACK 패킷의 길이를 계산하도록 하는 명령; 상기 보정된 MCS를 적용해 연접하는 ACK 패킷의 길이를 다시 측정하여 보정된 연접 ACK 패킷의 길이를 산출하도록 하는 명령; 및 채널 품질에 따라 결정된 MCS와 상기 보정된 MCS의 차이를 나타내는 MCS차이, 그리고 상기 연접 ACK 패킷의 길이와 상기 보정된 연접 ACK 패킷의 길이 간의 차이를 나타내는 연접 ACK 패킷 차이를 기초로 한 머신러닝 방식을 이용해 신경망을 학습시키도록 하는 명령 및 학습된 상기 신경망을 이용해 MCS를 결정하도록 하는 명령을 포함할 수 있다.

다시 도 1을 참조하면, 통신 시스템(100)은 복수의 기지국들(base stations)(110-1, 110-2, 110-3, 120-1, 120-2), 복수의 단말들(130-1, 130-2, 130-3, 130-4, 130-5, 130-6)을 포함할 수 있다. 기지국(110-1, 110-2, 110-3, 120-1, 120-2) 및 단말(130-1, 130-2, 130-3, 130-4, 130-5, 130-6)을 포함하는 통신 시스템(100)은 "액세스 네트워크"로 지칭될 수 있다. 제1 기지국(110-1), 제2 기지국(110-2) 및 제3 기지국(110-3) 각각은 매크로 셀(macro cell)을 형성할 수 있다. 제4 기지국(120-1) 및 제5 기지국(120-2) 각각은 스몰 셀(small cell)을 형성할 수 있다. 제1 기지국(110-1)의 셀 커버리지(cell coverage) 내에 제4 기지국(120-1), 제3 단말(130-3) 및 제4 단말(130-4)이 속할 수 있다. 제2 기지국(110-2)의 셀 커버리지 내에 제2 단말(130-2), 제4 단말(130-4) 및 제5 단말(130-5)이 속할 수 있다. 제3 기지국(110-3)의 셀 커버리지 내에 제5 기지국(120-2), 제4 단말(130-4), 제5 단말(130-5) 및 제6 단말(130-6)이 속할 수 있다. 제4 기지국(120-1)의 셀 커버리지 내에 제1 단말(130-1)이 속할 수 있다. 제5 기지국(120-2)의 셀 커버리지 내에 제6 단말(130-6)이 속할 수 있다.

여기서, 복수의 기지국들(110-1, 110-2, 110-3, 120-1, 120-2) 각각은 노드B(NodeB), 고도화 노드B(evolved NodeB), gNB, BTS(base transceiver station), 무선 기지국(radio base station), 무선 트랜시버(radio transceiver), 액세스 포인트(access point), 액세스 노드(node) 등으로 지칭될 수 있다. 복수의 단말들(130-1, 130-2, 130-3, 130-4, 130-5, 130-6) 각각은 UE(user equipment), 터미널(terminal), 액세스 터미널(access terminal), 모바일 터미널(mobile terminal), 스테이션(station), 가입자 스테이션(subscriber station), 모바일 스테이션(mobile station), 휴대 가입자 스테이션(portable subscriber station), 노드(node), 다바이스(device) 등으로 지칭될 수 있다.

한편, 복수의 기지국들(110-1, 110-2, 110-3, 120-1, 120-2) 각각은 서로 다른 주파수 대역에서 동작할 수 있고, 또는 동일한 주파수 대역에서 동작할 수 있다. 복수의 기지국들(110-1, 110-2, 110-3, 120-1, 120-2) 각각은 아이디얼 백홀 링크(ideal backhaul link) 또는 논(non)-아이디얼 백홀 링크를 통해 서로 연결될 수 있고, 아이디얼 백홀 링크 또는 논-아이디얼 백홀 링크를 통해 서로 정보를 교환할 수 있다. 복수의 기지국들(110-1, 110-2, 110-3, 120-1, 120-2) 각각은 아이디얼 백홀 링크 또는 논-아이디얼 백홀 링크를 통해 코어 네트워크와 연결될 수 있다. 복수의 기지국들(110-1, 110-2, 110-3, 120-1, 120-2) 각각은 코어 네트워크로부터 수신한 신호를 해당 단말(130-1, 130-2, 130-3, 130-4, 130-5, 130-6)에 전송할 수 있고, 해당 단말(130-1, 130-2, 130-3, 130-4, 130-5, 130-6)로부터 수신한 신호를 코어 네트워크에 전송할 수 있다.

또한, 복수의 기지국들(110-1, 110-2, 110-3, 120-1, 120-2) 각각은 MIMO 전송(예를 들어, SU(single user)-MIMO, MU(multi user)-MIMO, 대규모(massive) MIMO 등), CoMP(coordinated multipoint) 전송, CA(carrier aggregation) 전송, 비면허 대역(unlicensed band)에서 전송, 단말 간 직접 통신(device to device communication, D2D)(또는, ProSe(proximity services)) 등을 지원할 수 있다. 여기서, 복수의 단말들(130-1, 130-2, 130-3, 130-4, 130-5, 130-6) 각각은 기지국(110-1, 110-2, 110-3, 120-1, 120-2)과 대응하는 동작, 기지국(110-1, 110-2, 110-3, 120-1, 120-2)에 의해 지원되는 동작을 수행할 수 있다. 예를 들어, 제2 기지국(110-2)은 SU-MIMO 방식을 기반으로 신호를 제4 단말(130-4)에 전송할 수 있고, 제4 단말(130-4)은 SU-MIMO 방식에 의해 제2 기지국(110-2)으로부터 신호를 수신할 수 있다. 또는, 제2 기지국(110-2)은 MU-MIMO 방식을 기반으로 신호를 제4 단말(130-4) 및 제5 단말(130-5)에 전송할 수 있고, 제4 단말(130-4) 및 제5 단말(130-5) 각각은 MU-MIMO 방식에 의해 제2 기지국(110-2)으로부터 신호를 수신할 수 있다.

제1 기지국(110-1), 제2 기지국(110-2) 및 제3 기지국(110-3) 각각은 CoMP 방식을 기반으로 신호를 제4 단말(130-4)에 전송할 수 있고, 제4 단말(130-4)은 CoMP 방식에 의해 제1 기지국(110-1), 제2 기지국(110-2) 및 제3 기지국(110-3)으로부터 신호를 수신할 수 있다. 복수의 기지국들(110-1, 110-2, 110-3, 120-1, 120-2) 각각은 자신의 셀 커버리지 내에 속한 단말(130-1, 130-2, 130-3, 130-4, 130-5, 130-6)과 CA 방식을 기반으로 신호를 송수신할 수 있다. 제1 기지국(110-1), 제2 기지국(110-2) 및 제3 기지국(110-3) 각각은 제4 단말(130-4)과 제5 단말(130-5) 간의 D2D를 제어할 수 있고, 제4 단말(130-4) 및 제5 단말(130-5) 각각은 제2 기지국(110-2) 및 제3 기지국(110-3) 각각의 제어에 의해 D2D를 수행할 수 있다.

이하에서 설명되는 통신 시스템에서 통신 노드의 동작 방법들이 설명될 것이다. 통신 노드들 중에서 제1 통신 노드에서 수행되는 방법(예를 들어, 신호의 전송 또는 수신)이 설명되는 경우에도 이에 대응하는 제2 통신 노드는 제1 통신 노드에서 수행되는 방법과 상응하는 방법(예를 들어, 신호의 수신 또는 전송)을 수행할 수 있다. 즉, 단말의 동작이 설명된 경우에 이에 대응하는 기지국은 단말의 동작과 상응하는 동작을 수행할 수 있다. 반대로, 기지국의 동작이 설명된 경우에 이에 대응하는 단말은 기지국의 동작과 상응하는 동작을 수행할 수 있다.

살펴본 바와 같은 통신 시스템에서 단말과 기지국 간에 존재는 무선 환경은 시시각각으로 변화할 수 있다. 따라서, 다양하게 변화하는 무선 채널에 적합한 MCS를 결정하기 위해서, 송신기는 수신기가 측정한 채널의 정보(Channel Stat Information; CSI) 일부로서 채널의 품질 지시자 (Channel Quality Indicator; CQI)을 피드백받아 자신이 전송할 MCS를 결정한다.

도 3은 CQI 매핑 테이블의 일 예를 나타낸다.

도 3에 도시된 CQI 매핑 테이블은 표준 규격에서 정의하는 테이블의 일 예로서, 0부터 15까지 설정되는 CQI 인덱스에 따라 변조 방식 및 부호율을 다르게 부여하고 있다. 이처럼, CQI에 대해 MCS를 매핑하는 방법은 일정한 규칙을 따른다.

수신기에서의 CQI측정은 신호대 잡음비(Signal-to-noise ratio; SNR), 신호대 간섭 및 잡음비(Signal-to-interference plus noise ratio; SINR), 신호대 잡음 및 왜곡비(Signal-to-noise plus distortion ratio; SNDR)와 상관관계를 가지며, 상관관계 값들은 송수신 안테나 개수, 전송 모드 등에 따라서 달라질 수 있다. 또한, 이동체 속도, 주변의 다중경로 특성 등 다양한 무선 환경에 따라서도 달라질 수 있으며, 특히, 모뎀 칩셋 제조자에 따라서도 달라질 수 있다. 이러한 특성들은 표준 규격에서 정의할 수 없는 특성으로, 모뎀 칩셋 제조자들은 다양한 환경에서 수많은 실험 데이터를 가지고 CQI대 MCS 상관테이블을 생성하여 사용하게 된다. 따라서, 여기에 소요되는 시간과 비용이 막대함에도 불구하고 정확한 상관테이블을 작성하는 것은 불가능하다.

뿐만 아니라, 아래 도 4에 나타낸 측정 CQI와 최적 MCS의 상관 분포도 예에 도시된 바와 같이 CQI와 MCS의 일대일 매핑은 매우 어렵다.

도 4는 측정된 CQI와 최적 MCS의 상관 분포도를 나타낸다.

도 4에서 가로축은 CQI이고 세로축은 MCS를 나타낸다. CQI 대한 MCS 매핑에 흔히 사용하는 방법으로 도 4의 상관 분포도에서 경향선(Trend line)을 도출하여 CQI와 MCS를 일대일로 매핑하는 방법이 사용될 수 있다.

하지만, CQI 대한 MCS 매핑 분포가 매우 넓은 경우에는 이러한 방법이 효과적으로 동작하기 어렵다. 예를 들어, 도 4을 참조하면 가로축 CQI가 8인 경우, 상황에 따라서, 최적 MCS가 최소 5에서 15 사이에 균등하게 분포함을 확인할 수 있다. 따라서, 이러한 경우 CQI 대 MCS 간의 정확한 매핑은 불가능하며, 무선 상황에 따른 적응적인 매핑 규칙이 요구될 수 있다. 따라서, 전술한 문제점들을 해결하기 위해 본 발명에서는 MCS를 결정할 때, 기계학습(Machine Learning; ML) 기법을 사용하여 다양하게 변화하는 무선 채널 환경에 적응적이고 목적 PER(Packet Error Rate) 조건에서 최적의 MCS를 선정하는 방법을 제공하고자 한다.

우선 무선채널 품질에 따라 결정된 MCS를

, 측정 및 결정오차 등을 보정한 새로운 MCS를

라 하고, 이 두 MCS 간의 차이를

라 하면, 두 MCS 간의 차이

는 아래 수학식 1과 같이 표현될 수 있다.

또한, 송신기는 수신 측이 전송하는 ACK, NACK 등의 정보로부터 오류가 난 패킷까지의 길이를 알 수 있다. ACK로 간주되는 송신 패킷의 수, 즉 연접하는 오류 없는 패킷의 길이(length of consecutive ACK packets)를

라고 하고, 목적하는 패킷 오률로 계산되는

를

라 하고, 상기 보정 MCS 등을 적용하여 새로 측정된

를

라 하면, 그 차이

는 아래 수학식 2와 같이 표현될 수 있다.

본 발명에 따른 변조 및 코딩 방법의 선택에 적용될 수 있는 기계학습 관련 방법들 중 먼저 강화 이론을 예로 들어 설명한다.

강화학습(Reinforcement Learning; RL)에서 에이전트(Agent)는 환경과 지속적으로 상호작용하고, 보상(Reward)을 최대로 하는 액션을 취하게 됨으로써, 최적의 상태에 도달하게 된다. 따라서, 에이전트가 특정한 시간 t에서 임의의 상태

에 있을 때, 임의의 행동

를 취하는 경우, 환경으로부터 t+1 후에 받는 보상을

라고 하고, 행동에 의해 변화된 새로운 상태를

라 정의할 수 있다.

통상의 finite MDP(Markov Decision Process)를 따른다고 가정하면, 아래 수학식 3과 같은 확률값이 정의될 수 있다.

수학식 3에서, 결정변수들의 범위는 각각

&,

A,

R, 및

& 라고 설정될 수 있다. 본 발명의 실시예들에서는

,

로 설정될 수 있다.

여기서, 랜덤변수의 결정변수

가 취할 수 있는 값들인

에서 인덱스

는 최대

및 최소

값 사이의 값들 중 하나를 나타내고, 인덱스

는 서브밴드 혹은 서브밴드 그룹들 중에서 지시하는 하나의 값을 나타낸다. 이를 근거로 에이전트와 환경과의 상호작용관계를 순차적 행동결정 표현으로 나타낸 그래프(통상의 기술자들 용어로는 백업 그래프(backup graph))가 도 5에 도시되어 있다.

도 5는 본 발명에 적용될 수 있는 강화학습에서 에이전트와 환경의 상호작용관계를 순차적 행동결정 표현으로 나타낸 그래프이다.

본 발명에 따른 실시예들에서 도 5의 그래프가 의미하는 바는 다음과 같다.

각 서브밴드 그룹

에서 초기값으로 흔히 0을 가지는 특정 상태

, 즉 d 값을 기반으로 하여, 특정 확률 값으로 새로운 임의의 상태

, 즉 d' 를 결정하는 행동을 취하면, 그 때 받게 되는 보상

은 수학식 3에 따라 평균값을 취하여 도출된다. 이러한 백업 그래프를 활용하면, 본 발명에서 해결하고자 하는 최적의 MCS를 결정할 수 있다.

본 발명의 목적인 최적의 MCS를 선정하는 행동을 획득하기 위한 순차적 행동 결정의 문제는 MDP로서, 수학식 3과 백업 그래프를 기반으로 성립되는 Bellman의

함수값의 기대방정식 기반의 정책 반복(policy iteration) 방법과 Bellman의 행동 최적 방정식(optimal equation) 기반의 값 반복(value iteration) 방법을 이용할 수 있다.

또한 이를 기반으로 좀 더 개선된 방법들인, SARSA, Q-Learning 혹은 그 이상의 기계학습 기법들, 예를 들면, 심층신경학습 Q-Learning 등을 활용할 수 있다.

여기서, 본 발명의 실시예들에 따르면, MCS 결정에서 도 4에 도시된 경향선 (파란색 선)을 따라서 CQI에 해당되는 MCS 값과 새로 조정해야 하는 MCS값의 차이를 상태 S로 설정할 수 있다. 그에 따라, 총 취할 수 있는 상태 집합의 원소의 개수를 줄이고, 또한 수신기로부터 피드백되는 ACK/NACK 정보로부터 미리 설정된 패킷 오류와 측정된 패킷 오류의 차이를 이용하여 NACK가 오기 전까지 연속적인 ACK의 개수의 차이 값의 평균 값을 보상 R로 이용함으로써, 역시 저 복잡도이면서 빠르고 정확한 제어가 가능하다는 장점을 가진다.

따라서, 본 발명에서의 방법을 적용하면, 상기 알고리즘의 적용에 있어서 복잡도를 줄여서 실시간 연산 및 계산자원의 효율화를 기대할 수 있다. 아래에서는 이에 대한 일 예로, DQN(Deep-Q-Network) 알고리즘을 본 발명의 방법에 적용한 일종의 보상 기반 강화학습 방법을 기술한다.

우선, 매 순간

및

의 최적 값들을 계산하여 행동(action)으로 결정할 확률 값들을 계산한다. 이 확률 값들을 이용한

-탐욕정책(greedy policy)에 따라 실제 액션으로서

을 선택한다.

다음으로, 액션에 대한 결과로서 목적하는 패킷오율과 수신기로부터 피드백받는 ACK/NACK 신호를 통하여,

값을 계산하고, 이를 보상으로 환산하여 정책(policy) 혹은 전략(strategy)으로서, 각 액션(action) 확률 값을 업데이트 하는 방법이다.

보다 구체적으로, 송신기의 MCS 결정 장치를 에인전트(Agent)라 하고, 송신기, 무선채널 및 수신기 등을 환경(Environment)이라고 가정하면, 본 발명에서의 문제는 에이전트가 액션을 취하고, 환경으로부터 보상(Reward)을 받는 형태가 된다. 에이전트는 이 보상에 따라서 정책(policy) 혹은 전략(strategy)을 변경하여 각 액션을 취할 확률 값들을 업데이트한다.

이때, 에이전트의 상태는 네 개의 원소를 가지는 벡터

로 정의할 수 있다.

여기서,

,

는 각각

및

값을 TTI 구간 값으로 변환한 값을 의미하고,

는 일정 시구간, 즉 일정한 패킷의 길이로 정의될 수 있다. 따라서

는

의 변화율을 표현하며,

는

의 변화율을 표현하고 있다.

또한, 에이전트가 취할 수 있는 액션 벡터는 [

0

로 설정할 수 있으며, 이는 n시점에서

를 현재값 그대로 혹은

만큼 변경하여 전송함을 의미한다. 본 발명의 실시예들에서는 단순화를 위해서 액션 벡터를 [

, 즉, 좌/우로 이동하는 행동만 있는 것으로 가정하며, 이 동작은 다음과 같다.

우선 상태에 따른 액션을 선택한 후, 환경에서 선택한 액션으로 한 타임 스텝을 진행한다. 다시 말해,

을 결정하여 상기 정의된 보상을 받게 된다. 에이전트는 이러한 한 사이클 동안의 데이터 셋, 즉 <s, a, r, s’>을 리플레이 메모리에 저장한다. <s, a, r, s’>에서 각 기호는 순서대로 상태(state), 액션(action), 보상(reward), 및 환경으로부터 새로 결정된 상태를 의미한다.

리플레이 메모리를 사용하는 이유는 미니배치 (minibatch) 기법을 사용하기 위함이다. 본 발명에서는 미니 배치를 위한 새로운 신경망을 사용하는데, 이를 TNN (Target Neural Network)라 지칭하기로 한다. TNN은 ANN과 구조는 유사하지만, 역할이 다르다. 즉, 샘플 간의 상관성(correlation)을 없애기 위해 리플레이 메모리로부터 무작위로 <S, A, R, S’> 샘플 데이터를 추출하여, TNN을 훈련시키고, 그 결과를 ANN에 적용하게 된다.

ANN의 입력은 상태가 되고, 출력은 상태 가치 함수를 나타내는 Q-함수가 된다. ANN 및 TNN의 가중치 벡터 셋(weight vector set)을 각각

,

라 하면, 각 계수를 업데이트하기 위한 TNN의 평균제곱오차(Mean Square Error) 값은 아래 수학식 4와 같이 정의될 수 있다.

수학식 4에서, n는 시간 인덱스(time index),

는 미래 보상의 현재가치를 나타내는 감가 삼각율이다.

DQN 알고리즘을 적용한 대표적인 문제로 Cart-Pole 문제를 들 수 있다. Cart-Pole문제는 바퀴달린 Cart에 Pole대가 연결되어 있는 구조와 관련된 문제이다. 해당 문제에서 Cart는 x축 즉, 좌/우로만 이동 가능하고, 연결된 Pole대가 쓰러지지 않도록 유지하는 미션을 가진다.

Cart-Pole 문제와 본 발명의 방법에 따른 문제 해결을 다음과 같이 비교하여 기술할 수 있다.

먼저 상태의 정의이다. Cart-Pole 문제에서 상태는

로 정의된다. 여기서

는 카트의 수평선 상의 위치이고,

는 카트의 수평선 상의 위치 이동속도,

는 폴의 수직선으로부터 기운 각도이며,

는 폴의 수직선으로부터 기운 각도의 시간대비 변화량, 즉, 각속도이다.

한편, 본 발명의 변조 및 코딩 기법 선택 방법에서 대응되는 상태의 정의는

로 표현될 수 있다. 상태 정보에 대한 이러한 설정은 본 발명에서 중요한 의미한 의미를 가지며, 통상의 기술보다 빠르고 정확한 상태정보를 획득하여 이용함으로써, 3배 이상의 성능 개선치를 얻을 수 있도록 한다.

Cart-pole에서 에피소드는 t=0에서 시작하여 Pole이 일정 각도 이상으로 떨어지거나

혹은 화면에서 벗어나면

종료된다. 마찬가지로, 본 발명의 방법에서도 n=0에서 시작하여

이 일정값 이상

이거나 혹은

이 일정값 이상으로 벌어지면 (

>

) 에피소드가 종료될 수 있다.

다만, 본 발명의 방법에서 에피소드가 종료된다는 의미는 학습을 위해 그동안의 동작을 정리하고 새로운 동작을 다시 시작함을 의미할 수 있다.

전술한 실시예들을 통해서 본 발명에 따른 변조 및 코딩 기법 선택 방법을 강화학습 방식을 중심으로 기준으로 기술하였다. 다만, 본 발명은 상술한 DQN 알고리즘뿐만 아니라, Double DQN, Dualing DQN, DRQN(Deep Recurrent Q-Network), A2C(Advantage Actor Critic), A3C(Asynchronous Advantage Actor Critic) 등 다양한 알고리즘에 적용될 수 있으며, 향후, 더욱 개선된 알고리즘에도 적용할 수 있다. 이러한 알고리즘을 사용하는 경우에도 앞서 설명한 실시예에서 기술한 기본적인 상태, 행동, 및 보상 등과 대응되는 정의들은 모두 동일하게 적용될 수 있다.

이하 도 6에서는 머신 러닝 알고리즘들 중 패턴 매칭(Pattern Matching) 기법을 이용한 MCS 결정 방법에 대하여 기술한다.

도 6은 미리 측정된

대비

값의 패턴 예들을 나타낸다.

본 실시예에서는

대비

값의 패턴을

이라 가정한다. 송신기에서는 셋팅되고 측정된

대비

값이 어느 패턴에 매칭되는지 판단하여 최적값 (예를 들어 중앙의 0값)을 유지하도록 패턴 매칭 알고리즘을 사용하고, 이 패턴 매칭 알고리즘으로서, 심층 신경망 등을 사용할 수 있다.

도 7은 본 발명의 일 실시예에 따른 변조 및 코딩 기법 선택 방법의 순서도이다.

도7 에 도시된 변조 및 코딩 기법 선택 방법은 도 2에 도시된 통신 노드(200), 즉 기지국 또는 단말에 의해 수행될 수 있으나, 동작 주체가 이에 한정되는 것은 아니다. 아래 실시예에서는 편의상 그 동작 주체를 통신 노드로 가정하고 설명한다.

본 발명의 실시예에 따르면, 통신 노드는 무선 채널 품질에 따라 MCS (Modulation and Coding Scheme)를 결정하고, 오차를 보정하여 보정된 MCS를 생성한다(S701).

통신 노드는, 수신 장치로부터 수신한 정보를 통해 연접하는 ACK 패킷의 길이를 도출하고, 목적하는 패킷 오율에 따라 연접 ACK 패킷의 길이를 계산한다(S702). 이어서 통신 노드는, 보정된 MCS를 적용해 연접하는 ACK 패킷의 길이를 다시 측정함으로써 보정된 연접 ACK 패킷의 길이를 산출한다(S703).

통신 노드는 산출된 값들에 기초하여 MCS차이 및 연접 ACK 패킷 차이를 도출하고, 도출된 값들을 기초로 신경망을 학습시킨다(S704).

여기서, MCS차이는 채널 품질에 따라 결정된 MCS와 상기 보정된 MCS의 차이를 나타내고, 연접 ACK 패킷 차이는 연접하는 ACK 패킷의 길이와 상기 보정된 연접 ACK 패킷의 길이 간의 차이를 나타낼 수 있다.

본 발명에 사용될 수 있는 머신러닝 방식으로는 강화학습 알고리즘, 패턴 매칭 알고리즘 등이 있다. 상기 강화학습 알고리즘으로는, DQN(Deep-Q-Network), Double DQN, Dualing DQN, DRQN(Deep Recurrent Q-Network), A2C(Advantage Actor Critic), 및 A3C(Asynchronous Advantage Actor Critic) 등이 사용될 수 있다.

강화학습 알고리즘에 기초하여 상기 신경망을 학습시키는 경우에는, 무선 통신 관련 요소들을 환경 또는 에이전트의 상태로 설정하고 에이전트로 하여금 보상을 최대로 하는 액션을 취하도록 함으로써, 최적의 상태를 도출할 수 있다.

보다 구체적으로, 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키는 경우, 상기 송신 장치, 상기 수신 장치 및 무선 채널을 상기 에이전트의 환경으로 설정하고, 상기 MCS차이 및 상기 연접 ACK 패킷 차이, 상기 MCS 차이의 변화율, 상기 연접 ACK 패킷 차이의 변화율을 강화학습의 상태로 설정하여, 상기 상태에 따른 액션을 선택하고, 상기 환경에서 선택한 액션으로 진행함으로써 보상을 획득하고, 상기 상태, 액션, 보상, 및 환경으로부터 새로 결정된 상태를 리플레이 메모리에 저장할 수 있다. 또한, 상기 리플레이 메모리에 저장된 데이터를 무작위로 추출하여 TNN((Target Neural Network)을 훈련시키고, 상기 TNN 훈련의 결과를 상기 신경망에 적용할 수 있다.

한편, 패턴 매칭 알고리즘을 이용하는 경우에는, 상기 MCS차이 대비 상기 연접 ACK 패킷 차이 값에 대한 패턴을 이용해 심층 신경망을 학습시킬 수 있다.

이후, 통신 노드는 상술한 방법을 통해 학습된 신경망을 이용해 실시간으로 변화하는 무선 환경에서 MCS를 결정할 수 있다(S705). 도 7에 도시된 신경망 학습 단계(S704)와 학습된 신경망을 이용해 MCS를 결정하는 단계(S705)는 시간적으로 멀지 않은 간격으로 수행될 수 있지만, 상당한 시간 간격을 두고 수행될 수도 있다.

본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.

또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.

실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.

이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

통신 시스템에서의 변조 및 코딩 기법 선택 방법으로서,
무선 채널 품질에 따라 MCS(Modulation and Coding Scheme)를 결정하고, 오차를 보정하여 보정된 MCS를 생성하는 단계;
수신 장치로부터 수신한 정보를 통해 연접하는 ACK 패킷의 길이를 도출하고, 목적하는 패킷 오율에 따라 연접 ACK 패킷의 길이를 계산하는 단계;
상기 보정된 MCS를 적용해 연접하는 ACK 패킷의 길이를 다시 측정하여 보정된 연접 ACK 패킷의 길이를 산출하는 단계; 및
채널 품질에 따라 결정된 MCS와 상기 보정된 MCS의 차이를 나타내는 MCS차이, 그리고 상기 연접 ACK 패킷의 길이와 상기 보정된 연접 ACK 패킷의 길이 간의 차이를 나타내는 연접 ACK 패킷 차이를 기초로 한 머신러닝 방식을 이용해 신경망을 학습시키는 단계를 포함하는, 변조 및 코딩 기법 선택 방법.
청구항 1에 있어서,
학습된 상기 신경망을 이용해 MCS를 결정하는 단계를 더 포함하는, 변조 및 코딩 기법 선택 방법.
청구항 1에 있어서,
상기 머신러닝 방식은 강화학습 알고리즘 및 패턴 매칭 알고리즘 중 하나 이상을 포함하는, 변조 및 코딩 기법 선택 방법.
청구항 3에 있어서,
상기 머신러닝 방식을 이용해 신경망을 학습시키는 단계는,
강화학습 알고리즘에 기초하여 상기 신경망을 학습시키는 단계를 포함하는, 변조 및 코딩 기법 선택 방법.
청구항 4에 있어서,
상기 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키는 단계는,
무선 통신 관련 요소들을 환경 또는 에이전트의 상태로 설정하고 에이전트로 하여금 보상을 최대로 하는 액션을 취하도록 함으로써, 최적의 상태를 도출하는 단계를 포함하는, 변조 및 코딩 기법 선택 방법.
청구항 4에 있어서,
상기 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키는 단계는,
상기 송신 장치, 상기 수신 장치 및 무선 채널을 상기 에이전트의 환경으로 설정하는 단계; 및
상기 MCS차이 및 상기 연접 ACK 패킷 차이, 상기 MCS 차이의 변화율, 상기 연접 ACK 패킷 차이의 변화율을 강화학습의 상태로 설정하는 단계를 포함하는, 변조 및 코딩 기법 선택 방법.
청구항 6에 있어서,
상기 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키는 단계는,
상기 상태에 따른 액션을 선택하고, 상기 환경에서 선택한 액션으로 진행함으로써 보상을 획득하는 단계;
상기 상태, 액션, 보상, 및 환경으로부터 새로 결정된 상태를 리플레이 메모리에 저장하는 단계;
상기 리플레이 메모리에 저장된 데이터를 무작위로 추출하여 TNN((Target Neural Network)을 훈련시키는 단계; 및
상기 TNN 훈련의 결과를 상기 신경망에 적용하는 단계를 더 포함하는, 변조 및 코딩 기법 선택 방법.
청구항 3에 있어서,
상기 강화학습 알고리즘은,
DQN(Deep-Q-Network), Double DQN, Dualing DQN, DRQN(Deep Recurrent Q-Network), A2C(Advantage Actor Critic), 및 A3C(Asynchronous Advantage Actor Critic) 중 하나 이상을 포함하는, 변조 및 코딩 기법 선택 방법.
청구항 3에 있어서,
상기 패턴 매칭 알고리즘은,
상기 MCS차이 대비 상기 연접 ACK 패킷 차이값에 대한 패턴을 이용해 학습시킨 심층 신경망을 이용해 수행되는, 변조 및 코딩 기법 선택 방법.
프로세서; 및
상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고,
상기 적어도 하나의 명령은,
무선 채널 품질에 따라 MCS(Modulation and Coding Scheme)를 결정하고, 오차를 보정하여 보정된 MCS를 생성하도록 하는 명령;
수신 장치로부터 수신한 정보를 통해 연접하는 ACK 패킷의 길이를 도출하고, 목적하는 패킷 오율에 따라 연접 ACK 패킷의 길이를 계산하도록 하는 명령;
상기 보정된 MCS를 적용해 연접하는 ACK 패킷의 길이를 다시 측정하여 보정된 연접 ACK 패킷의 길이를 산출하도록 하는 명령; 및
채널 품질에 따라 결정된 MCS와 상기 보정된 MCS의 차이를 나타내는 MCS차이, 그리고 상기 연접 ACK 패킷의 길이와 상기 보정된 연접 ACK 패킷의 길이 간의 차이를 나타내는 연접 ACK 패킷 차이를 기초로 한 머신러닝 방식을 이용해 신경망을 학습시키도록 하는 명령을 포함하는, 변조 및 코딩 기법 선택 장치.
청구항 10에 있어서,
상기 적어도 하나의 명령은,
학습된 상기 신경망을 이용해 MCS를 결정하도록 하는 명령을 더 포함하는, 변조 및 코딩 기법 선택 장치.
청구항 10에 있어서,
상기 머신러닝 방식은 강화학습 알고리즘 및 패턴 매칭 알고리즘 중 하나 이상을 포함하는, 변조 및 코딩 기법 선택 장치.
청구항 10에 있어서,
상기 머신러닝 방식을 이용해 신경망을 학습시키도록 하는 명령은,
강화학습 알고리즘에 기초하여 상기 신경망을 학습시키도록 하는 명령을 포함하는, 변조 및 코딩 기법 선택 장치.
청구항 13에 있어서,
상기 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키도록 하는 명령은,
무선 통신 관련 요소들을 환경 또는 에이전트의 상태로 설정하고 에이전트로 하여금 보상을 최대로 하는 액션을 취하도록 함으로써, 최적의 상태를 도출하도록 하는 명령을 포함하는, 변조 및 코딩 기법 선택 장치.
청구항 13에 있어서,
상기 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키도록 하는 명령은,
상기 송신 장치, 상기 수신 장치 및 무선 채널을 강화학습의 환경으로 설정하도록 하는 명령; 및
상기 MCS차이 및 상기 연접 ACK 패킷 차이, 상기 MCS 차이의 변화율, 상기 연접 ACK 패킷 차이의 변화율을 강화학습의 상태로 설정하도록 하는 명령을 포함하는, 변조 및 코딩 기법 선택 장치.
청구항 15에 있어서,
상기 강화학습 알고리즘에 기초하여 상기 신경망을 학습시키도록 하는 명령은,
상기 상태에 따른 액션을 선택하고, 상기 환경에서 선택한 액션으로 진행함으로써 보상을 획득하도록 하는 명령;
상기 상태, 액션, 보상, 및 환경으로부터 새로 결정된 상태를 리플레이 메모리에 저장하도록 하는 명령;
상기 리플레이 메모리에 저장된 데이터를 무작위로 추출하여 TNN((Target Neural Network)을 훈련시키도록 하는 명령; 및
상기 TNN 훈련의 결과를 상기 신경망에 적용하도록 하는 명령을 더 포함하는, 변조 및 코딩 기법 선택 장치.
청구항 12에 있어서,
상기 강화학습 알고리즘은,
DQN(Deep-Q-Network), Double DQN, Dualing DQN, DRQN(Deep Recurrent Q-Network), A2C(Advantage Actor Critic), 및 A3C(Asynchronous Advantage Actor Critic) 중 하나 이상을 포함하는, 변조 및 코딩 기법 선택 장치.
청구항 12에 있어서,
상기 패턴 매칭 알고리즘은,
상기 MCS차이 대비 상기 연접 ACK 패킷 차이 값에 대한 패턴을 이용해 학습시킨 심층 신경망을 이용해 수행되는, 변조 및 코딩 기법 선택 장치.