KR102151317B1 - 강화학습 기법을 활용한 LoRa Enabled IoT 장치의 에너지 최적화 방법 및 시스템 - Google Patents

Abstract

강화학습 기법을 활용한 IoT 장치의 에너지 최적화 방법 및 시스템이 개시된다. IoT 에너지 최적화 방법은, IoT 디바이스와 통신하는 게이트웨이 또는 상기 게이트웨이와 연결된 컴퓨터 시스템에서 수행되는 방법으로서, 상기 IoT 디바이스의 SF(spreading factor) 값이 설정된 상황에서 상기 IoT 디바이스의 전송 파워를 조정하는 단계를 포함할 수 있다.

Description

강화학습 기법을 활용한 LoRa Enabled IoT 장치의 에너지 최적화 방법 및 시스템{METHOD AND SYSTEM FOR ENERGY EFFICIENT LORA ENABLED IOT DEVICE USING REINFORCEMENT LEARNING}

아래의 설명은 초소형 IoT(Internet of Things) 장치에 대한 에너지 최적화 기술에 관한 것이다.

사물인터넷에서 한 단계 진화된 CPS(Cyber-Physical System)의 등장으로 인해 초소형 IoT 디바이스가 등장하게 된다.

초소형 IoT 디바이스는 한정적인 물리적 이벤트를 측정할 수 있는 센서 및 정보를 전송할 통신 모듈, 그리고 센싱 정보를 디지털 정보로 인식하고 통신 모듈에 맞게 데이터를 파싱해 줄 최소한의 컴퓨팅 파워를 가진 마이크로컨트롤러(microcontroller)를 포함하는 디바이스를 의미한다.

초소형 IoT 디바이스는 컴퓨팅 파워가 없는 물리적인 사물에서 물리적인 이벤트가 발생하였을 때 사이버 공간에서 파악할 수 있도록 도움을 주기 때문에 CPS를 구현하기 위해서 가장 중요한 기술 요소라고 할 수 있다.

초소형 IoT 디바이스의 사용 예는 다음과 같다.

- 상대방이 자신이 보낸 서류를 읽었는지 확인하기 위해 초소형 IoT 디바이스를 서류 봉투에 부착하고 서류 봉투가 개봉될 때 신호를 보내서 서류 수신을 확인한다.

- 초소형 IoT 디바이스를 이용하여 산에 여러 군데에 초소형 IoT 디바이스를 살포하고 온도 혹은 연기 감지 센서를 통해 겨울철 산불 정보 등을 실시간으로 수집한다.

이러한 초소형 IoT 디바이스는 무선 통신을 통해서 발견한 물리적 이벤트를 게이트웨이로 전송하게 되는데 이를 위해서는 초소형 IoT 디바이스를 위한 무선 통신 프로토콜이 필요하다.

이를 위해, Sigfox, LoRa, RPMA, LTE-M, NB-IoT와 같은 LPWA(Low Power Wide Area) 통신 프로토콜이 사용되고 있다.

Sigfox는 Admiral Ivory, Admiral Blue와 같은 초소형 IoT 디바이스를 위한 통신 서비스를 제공하며, LoRa에서도 초소형 IoT 디바이스가 LoRa 기술 및 LoRaWan 프로토콜을 활용하여 게이트웨이와 통신을 할 수 있다.

초소형 IoT 디바이스 간 통신은 Cellular LPWA와 Non-cellular LPWA로 나눌 수 있다.

ABI Research의 조사로는 Non-cellular LPWA의 사용이 급증할 것이라 예측하고 있으며, Non-cellular LPWA로는 대표적으로 LoRa와 Sigfox가 존재한다.

LoRa의 경우 통신 모듈의 가격이 Sigfox보다 약간 비싸지만 LoRa의 PHY 기술로 인해 높은 간섭저항성과 최대 17배 높은 데이터율(data rate)을 보여주기 때문에 Non-cellular LPWA 기술 중에서도 LoRa의 사용이 더 많을 것이라 예상되고 있다.

초소형 IoT 디바이스는 기존 IoT 디바이스와는 달리 충전 혹은 전력 공급 형식이 아닌 배터리를 통해서 에너지를 공급받기 때문에 전력을 효율적으로 사용할 필요가 있다.

LoRa 모듈의 경우 정보를 송신할 때 가장 많은 에너지를 소비하며 전송 파워의 세기에 따라서도 두 배 이상의 에너지를 소비한다.

따라서, 적절한 전송 파워 세기를 통해서 성공적으로 센싱 정보를 게이트웨이에 전달하는 것이 초소형 IoT 디바이스의 에너지 효율을 증가시키는데 중요하다.

이를 통해서 초소형 IoT 디바이스의 라이프 타임(life time)을 증가시켜 안정적으로 물리적인 이벤트를 감지할 수 있다.

LoRa에서는 CSS(chirp spread spectrum)를 사용해서 같은 채널을 사용하는 센서들끼리 간섭이 발생하지 않도록 신호를 모듈레이션 하여 한 채널을 통해서 서로 다른 CSS로 모듈레이션 된 신호는 게이트웨이에서 동시에 수신이 가능하다.

SF(Spreading factor)는 각 신호가 어떤 CSS를 사용해서 모듈레이션 됐는지를 알려주는 인덱스를 의미하며, 서로 다른 SF를 사용해서 동시에 신호를 보냈을 때 두 신호간 직교성이 존재한다.

하지만, 이론적으로는 두 신호 간 간섭이 무시할 수 있을 정도로 작지만, 최근 서로 다른 SF 간 직교성을 실측해본 연구에서는 실제로는 SF가 다른 두 신호간 간섭이 이론보다 더 심한 것으로 나타나고 있다.

SF가 서로 다른 두 신호 간에 SIR(Signal-to-Interference Ratio) 차이가 8dB 이상이어야 SF7을 사용하는 신호가 있을 때 SF8을 사용하는 신호가 성공적으로 수신이 가능하다.

게이트웨이의 근거리에 SF7을 사용하는 디바이스가 있고 SF8 이상을 사용하는 디바이스가 멀리 있을 때 SF7을 사용하는 디바이스의 송신 파워 세기가 일정 범위 이상 존재하면 SF8 이상을 사용하는 디바이스의 송신 정보가 성공적으로 수신되지 않을 수 있다.

현재 LoRa 망에서는 망에서 간섭으로 인해 발생하는 송신 데이터 손실 때문에 전송 에너지의 낭비가 발생하고 있으며, 정보를 전송할 때에 초소형 IoT 디바이스에서 많은 에너지를 사용하고 있다.

따라서, 초소형 IoT 디바이스의 에너지 효율을 높이기 위해서는 LoRa 망 내의 송신 데이터의 손실을 줄여야 한다.

LoRa 망 내의 송신 데이터 손실의 요인은 서로 다른 SF를 사용하는 신호 간 간섭이기 때문에 이 신호간 간섭을 줄임으로써 데이터 전송 성공율을 높이고 정보를 전송하는데 사용하는 에너지를 줄일 수 있다.

강화학습 기법을 활용한 LoRa Enabled IoT 에너지 최적화 기술을 제공한다.

초소형 IoT 디바이스의 전송 파워를 결정하기 위한 강화학습 알고리즘을 게이트웨이 혹은 게이트웨이에 연결된 엣지 서버에서 구동할 수 있다.

서로 다른 SF를 사용하는 신호를 인식하기 위해 게이트웨이에서 성공적으로 수신한 서로 다른 SF를 사용한 신호의 RSSI 값을 측정해서 강화학습 알고리즘에 반영할 수 있다.

IoT 디바이스와 통신하는 게이트웨이 또는 상기 게이트웨이와 연결된 컴퓨터 시스템에서 수행되는 방법으로서, 상기 IoT 디바이스의 SF(spreading factor) 값이 설정된 상황에서 상기 IoT 디바이스의 전송 파워를 조정하는 단계를 포함하는 IoT 에너지 최적화 방법을 제공한다.

일 측면에 따르면, 상기 조정하는 단계는, 상기 게이트웨이에서 측정된, 상기 IoT 디바이스의 RSSI 값을 이용하여 상기 전송 파워를 결정할 수 있다.

다른 측면에 따르면, 상기 조정하는 단계는, LoRaWan 표준 기술 상의 ADR(Adaptive Date Rate) 알고리즘으로 상기 전송 파워를 조정할 수 있다.

또 다른 측면에 따르면, 상기 조정하는 단계는, 강화학습 기법인 Q 러닝 알고리즘을 이용하여 상기 전송 파워를 결정하는 단계를 포함할 수 있다.

또 다른 측면에 따르면, 상기 결정하는 단계는, 상기 Q 러닝 알고리즘을 통해 상기 IoT 디바이스와 다른 SF에 속한 디바이스와의 간섭 정도를 나타내는 상태(state)에 대해 최대의 보상(reward)을 획득하는 행동(action)인 최적의 전송 파워를 결정할 수 있다.

또 다른 측면에 따르면, 상기 결정하는 단계는, 각 SF 별 수신 신호에 대한 RSSI 값을 이용하여 상기 IoT 디바이스와 다른 SF에 속한 디바이스와의 간섭 정도를 나타내는 상태를 설정하는 단계; 및 상기 IoT 디바이스의 전송 파워 세기 설정 정보에 기초하여 상기 상태에 대해 최대의 보상을 획득하는 행동인 최적의 전송 파워를 결정하는 단계를 포함할 수 있다.

또 다른 측면에 따르면, 상기 게이트웨이에서는 상기 Q 러닝 알고리즘을 통해 결정된 전송 파워를 LoRaWan 표준 기술 상의 필드를 이용하여 상기 IoT 디바이스로 전송할 수 있다.

IoT 디바이스와 통신하는 게이트웨이 또는 상기 게이트웨이와 연결된 컴퓨터 시스템에서 수행되는 방법으로서, 상기 IoT 디바이스의 SF 값이 설정된 상황에서 강화학습 기법인 Q 러닝 알고리즘을 통해 상기 IoT 디바이스와 다른 SF에 속한 디바이스와의 간섭 정도를 나타내는 상태에 대해 최대의 보상을 획득하는 최적의 전송 파워를 결정하여 상기 IoT 디바이스의 전송 파워를 조정하는 단계를 포함하는 IoT 에너지 최적화 방법을 제공한다.

IoT 에너지 최적화 시스템에 있어서, IoT 디바이스와 통신하는 게이트웨이 또는 상기 게이트웨이와 연결된 컴퓨터 시스템 상에 구현되고, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 IoT 디바이스의 SF(spreading factor) 값이 설정된 상황에서 상기 IoT 디바이스의 전송 파워를 결정하는 전송 파워 결정부를 포함하는 IoT 에너지 최적화 시스템을 제공한다.

본 발명의 실시예들에 따르면, LoRaWan 표준 기술 상의 ADR(Adaptive Date Rate) 알고리즘으로 각 디바이스의 SF값이 설정된 상황에서 각 디바이스의 전송 파워만 조정하면서 더 많은 디바이스의 신호를 손실 없이 받아들이고 디바이스들의 재전송 횟수를 줄여 각 디바이스의 송신 에너지를 줄일 수 있다.

본 발명의 실시예들에 따르면, 강화학습 기법 중 Q Learning을 통해서 얻은 각 디바이스의 송신 파워 세기는 LoRaWan 표준 프로토콜 상의 LinkADRReq 필드를 활용하여 각 디바이스에게 전송할 수 있고 각 디바이스는 전송 받은 송신 파워 세기로 파워 설정이 가능하다.

도 1은 ADR 알고리즘을 통한 디바이스 별 SF 배치 예시를 도시한 것이다.
도 2는 각 디바이스의 SF값이 설정된 상황에서 전송 파워만 조정하는 기술의 성능을 설명하기 위한 예시 도면이다.
도 3은 본 발명의 일 실시예에 있어서 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 4는 각 LoRa 모듈별 SIR_xy 값의 테이블 예시를 도시한 것이다.
도 5는 각 센서의 상태(state), 활동(action), 및 보상(reward)에 대한 정의를 설명하기 위한 예시 도면이다.
도 6은 Q Learning 알고리즘 예시를 도시한 것이다.
도 7은 Q Learning 알고리즘을 이용한 IoT 에너지 최적화를 위한 전체 시스템 구조를 도시한 것이다.
도 8은 Q Learning 알고리즘을 통해 최적 송신 파워 세기를 결정하는 방법을 도시한 순서도이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명의 실시예들은 강화학습 기법을 활용한 LoRa Enabled IoT 에너지 최적화 기술에 관한 것이다.

강화학습 기법 중 Q Learning 알고리즘을 활용하여 서로 다른 SF를 사용하는 신호를 인식하고 서로 다른 SF를 사용하는 신호 간 간섭을 줄여 에너지를 최적화 하고자 초소형 IoT 디바이스의 전송 파워를 예측하고 예측 값으로 조정하여 한다.

각 디바이스의 전송 파워를 조정하기 위해서 각 디바이스 상에 Q Learning 알고리즘을 수행해야 하지만, 초소형 IoT 디바이스는 각 디바이스 상에서 Q Learning 알고리즘을 수행할 컴퓨팅 파워가 없다.

또한, 한 디바이스가 정보를 송신할 때에 서로 다른 SF 신호를 감지하기 위해서는 디바이스에서 Full Duplex 모드에서 Rx slot과 Tx slot이 함께 열려야 하는데, 초소형 IoT 디바이스에서는 Half Duplex 모드일 경우도 있어 정보를 전송 할 때에 다른 신호를 수신할 수 없는 경우도 있다.

따라서, 본 발명에서는 초소형 IoT 디바이스의 전송 파워를 결정하기 위한 Q Learning 알고리즘을 게이트웨이 혹은 게이트웨이에 연결된 엣지 서버에서 구동한다.

그리고, 서로 다른 SF를 사용하는 신호를 인식하기 위해 게이트웨이에서 성공적으로 수신한 서로 다른 SF를 사용한 신호의 RSSI 값을 측정해서 Q Learning 알고리즘에 반영한다.

본 발명의 실시예들에 따르면, LoRaWan 표준 기술 상의 ADR(Adaptive Date Rate) 알고리즘으로 각 디바이스의 SF값이 설정된 상황에서 각 디바이스의 전송 파워만 조정하면서 더 많은 디바이스의 신호를 손실 없이 받아들이고 디바이스 들의 재전송 횟수를 줄여 각 디바이스의 송신 에너지를 줄일 수 있다.

또한, Q Learning을 통해서 얻은 각 디바이스의 송신 파워 세기는 LoRaWan 표준 프로토콜 상의 LinkADRReq 필드를 활용하여 각 디바이스에게 전송할 수 있고 각 디바이스는 전송 받은 송신 파워 세기로 파워 설정이 가능하다. 즉, 표준을 헤치지 않고 사용 가능한 기술이라 할 수 있다.

현재 LoRaWan 표준에 명기된 도 1의 "ADR 알고리즘을 통한 디바이스별 SF 배치"를 기반으로 본 기술이 적용 되기 전(도 2의 (A))과 후(도 2의 (B))에 대한 성능 비교를 하고자 한다.

여기서는 같은 게이트웨이에 같은 채널을 활용하여 모든 디바이스들이 통신을 하고 각 디바이스는 SF 값이 정해진 상황을 가정한다.

도 2의 (A)의 경우에는 SF9를 사용하여 정보를 송신하는 디바이스가 최대 세기를 사용해서 정보를 보내더라도 경로 손실(path loss) 때문에 게이트웨이에서 수신하는 신호 세기(RSSI)는 1dBm 밖에 되지 않게 되며, 이때 게이트웨이에 근거리에 위치한 SF7을 사용하는 디바이스의 RSSI 값 보다 역치 이하가 되어 게이트웨이에서 수신이 불가능 하다.

도 2의 (B)의 경우에는 본 기술을 통해서 SF7을 사용하는 디바이스가 Tx power를 17dBm에서 5dBm으로 낮춰 자신이 송신한 정보뿐만 아니라 SF9를 사용하는 디바이스의 정보도 게이트웨이에서 받을 수 있게 된다.

이를 통해 LoRa 망에서의 정보 손실을 줄이고 재전송에 드는 송신 에너지를 줄일 수 있어 디바이스의 에너지 효율을 증가시킬 수 있다.

이하에서 강화학습 기법을 활용한 LoRa Enabled IoT 장치의 에너지 최적화 기술의 구체적인 실시예를 설명하기로 한다.

도 3은 본 발명의 일 실시예에 있어서 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.

본 발명의 실시예들에 따른 IoT 에너지 최적화 시스템이 도 3의 컴퓨터 시스템(300)을 통해 구현될 수 있다. 도 3에 도시한 바와 같이, 컴퓨터 시스템(300)은 강화학습 기법을 활용한 IoT 에너지 최적화 방법을 실행하기 위한 구성요소로서 프로세서(310), 메모리(320), 영구 저장 장치(330), 버스(340), 입출력 인터페이스(350) 및 네트워크 인터페이스(360)를 포함할 수 있다.

프로세서(310)는 명령어들의 시퀀스를 처리할 수 있는 임의의 장치를 포함하거나 그의 일부일 수 있다. 프로세서(310)는 예를 들어 컴퓨터 프로세서, 이동 장치 또는 다른 전자 장치 내의 프로세서 및/또는 디지털 프로세서를 포함할 수 있다. 프로세서(310)는 예를 들어, 서버 컴퓨팅 디바이스, 서버 컴퓨터, 일련의 서버 컴퓨터들, 서버 팜, 클라우드 컴퓨터, 컨텐츠 플랫폼, 이동 컴퓨팅 장치, 스마트폰, 태블릿, 셋톱 박스 등에 포함될 수 있다. 프로세서(310)는 버스(340)를 통해 메모리(320)에 접속될 수 있다.

메모리(320)는 컴퓨터 시스템(300)에 의해 사용되거나 그에 의해 출력되는 정보를 저장하기 위한 휘발성 메모리, 영구, 가상 또는 기타 메모리를 포함할 수 있다. 예를 들어, 메모리(320)는 랜덤 액세스 메모리(RAM: random access memory) 및/또는 동적 RAM(DRAM: dynamic RAM)을 포함할 수 있다. 메모리(320)는 컴퓨터 시스템(300)의 상태 정보와 같은 임의의 정보를 저장하는 데 사용될 수 있다. 메모리(320)는 예를 들어 IoT 에너지 최적화를 제어하기 위한 명령어들을 포함하는 컴퓨터 시스템(300)의 명령어들을 저장하는 데에도 사용될 수 있다. 컴퓨터 시스템(300)은 필요에 따라 또는 적절한 경우에 하나 이상의 프로세서(310)를 포함할 수 있다.

버스(340)는 컴퓨터 시스템(300)의 다양한 컴포넌트들 사이의 상호작용을 가능하게 하는 통신 기반 구조를 포함할 수 있다. 버스(340)는 컴퓨터 시스템(300)의 컴포넌트들 사이에, 예를 들어 프로세서(310)와 메모리(320) 사이에 데이터를 운반할 수 있다. 버스(340)는 컴퓨터 시스템(300)의 컴포넌트들 간의 무선 및/또는 유선 통신 매체를 포함할 수 있으며, 병렬, 직렬 또는 다른 토폴로지 배열들을 포함할 수 있다.

영구 저장 장치(330)는 (예를 들어 메모리(320)에 비해) 소정의 연장된 기간 동안 데이터를 저장하기 위해 컴퓨터 시스템(300)에 의해 사용되는 바와 같은 메모리 또는 다른 영구 저장 장치와 같은 컴포넌트들을 포함할 수 있다. 영구 저장 장치(330)는 컴퓨터 시스템(300) 내의 프로세서(310)에 의해 사용되는 바와 같은 비휘발성 메인 메모리를 포함할 수 있다. 예를 들어, 영구 저장 장치(330)는 플래시 메모리, 하드 디스크, 광 디스크 또는 다른 컴퓨터 판독 가능 매체를 포함할 수 있다.

입출력 인터페이스(350)는 키보드, 마우스, 마이크, 카메라, 디스플레이 또는 다른 입력 또는 출력 장치에 대한 인터페이스들을 포함할 수 있다. 구성 명령들 및/또는 IoT 에너지 최적화와 관련된 입력이 입출력 인터페이스(350)를 통해 수신될 수 있다.

네트워크 인터페이스(360)는 근거리 네트워크 또는 인터넷과 같은 네트워크들에 대한 하나 이상의 인터페이스를 포함할 수 있다. 네트워크 인터페이스(360)는 유선 또는 무선 접속들에 대한 인터페이스들을 포함할 수 있다. 구성 명령들은 네트워크 인터페이스(360)를 통해 수신될 수 있다. 그리고, IoT 에너지 최적화와 관련된 정보들은 네트워크 인터페이스(360)를 통해 수신 또는 송신될 수 있다.

또한, 다른 실시예들에서 컴퓨터 시스템(300)은 도 3의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 시스템(300)은 상술한 입출력 인터페이스(350)와 연결되는 입출력 장치들 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 컴퓨터 시스템(300)이 스마트폰과 같은 모바일 기기의 형태로 구현되는 경우, 일반적으로 모바일 기기가 포함하고 있는 카메라, 가속도 센서나 자이로 센서, 카메라, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 컴퓨터 시스템(300)에 더 포함되도록 구현될 수 있다.

본 실시예에서는 하나의 게이트웨이 안에 N개의 LoRa 기반 초소형 IoT 디바이스들이 존재한다고 가정한다.

이후에서는 설명을 간소화 하기 위해 초소형 IoT 디바이스를 센서로도 명시한다. 센서의 인덱스는 i로 하고, 센서를 명명할 때에는 s_i로 한다.

본 기술에서는 한 게이트웨이에서 하나의 채널에서 모든 센서들이 게이트웨이와 통신을 하는 상황을 가정하며, 이때 SF(spreading factor)는 이미 각 센서 s_i 별로 지정이 되어 있다고 가정한다.

이외로 전송 파워 이외에 데이터율에 영향을 미치는 요소들은 다 고정된 값으로 가정한다. 예를 들어, Coding Rate는 모두 4/5로 동일하다고 가정하고 센서들의 uplink Bandwidth는 125kHz 등과 같이 동일한 BW를 설정한다고 가정한다.

초기의 각 센서 별 전송 파워값(P_i)은 게이트웨이에서 지정한 값으로 설정이 되며, (따라서 게이트웨이는 각 센서의 전송 파워를 항상 알 수 있으며 P_i에 따른 정보 수신 상태 및 RSSI_i 값 매칭이 가능) 게이트웨이에서는 각 시간 별로 자신이 성공적으로 수신한 신호에 대한 RSSI 값을 파악할 수 있다고 가정한다.

센서들은 시간당 d_i의 속도로 센싱 데이터를 생성하고 이 정보를 전부 게이트웨이로 전송한다. 만약에 전송이 실패하여 센싱 데이터를 송신하지 못한 경우, 다음 전송 기회 때 송신하지 못한 센싱 데이터를 포함해서 센싱 데이터를 송신한다고 가정한다.

손실된 정보를 저장할 만큼의 버퍼는 각 디바이스에 존재한다고 가정한다. 따라서, 만약 정보 손실이 발생하면 각 센서는 손실된 만큼의 데이터를 보내기 위해 전송 에너지를 추가로 사용해야 한다.

본 실시예에서는 문제에 대한 정의를 다음과 같이 진행한다.

문제:

여기에서 E는 N개의 센서들의 전송 에너지 효율을 의미하며 bit/Joule로 나타낼 수 있다.

정확한 의미로 E는 (특정 주기 별 전송한 총 데이터량)/(그 데이터량을 전송할 때에 사용한 에너지)로 정의할 수 있으며, 한정된 에너지를 이용하여 얼마만큼의 데이터를 전송했는지를 파악하는 파라미터를 의미한다.

E는 수학식 1과 같이 정의할 수 있다.

[수학식 1]

d_i는 s_i의 초당 데이터 센싱 속도(bit/s)를 의미하며 D는 일정 시간 주기 (s)를 의미한다. β는 (전송되는 데이터 사이즈)/(payload 사이즈)를 의미하며, α는 (1-DER)을 의미한다. DER은 data extraction rate, 즉, 일정 주기에 전송된 데이터 중 수신 측에서 전송 받은 데이터의 비율을 의미하며, 결국 α는 전송 중 손실된 데이터의 비율을 의미한다.

P_i는 s_i가 데이터를 전송할 때의 송신 파워를 의미하며 T_i는 s_i가 1-bit를 전송할 때 전송 시간을 의미하며, T_i는 s_i의 데이터율의 역수로 나타낼 수 있다.

LoRa에서는 s_i의 이론적인 DR_i 값을 수학식 2와 같이 정의하고 있다.

[수학식 2]

SF_i는 s_i의 spreading factor 값을 의미하고 BW와 CR은 각각 채널 대역폭과 Coding rate를 의미한다. 이를 반영하게 되면 E 함수는 수학식 3과 같이 구성된다.

[수학식 3]

여기에서 d_i와 D, BW, CR, β값을 상수로 가정하고 SF_i값도 이미 각 센서 s_i마다 배정이 되어 있는 상황이라고 가정했을 때, 한 게이트웨이에서 담당하는 센서들의 총 전송 에너지 합은 α와 P_i에 의해서 결정될 수 있다.

즉, 로스율이 작거나 각 센서 s_i의 전송 파워 P_i가 낮을 때 전체적인 센서의 통신 에너지 효율을 높일 수 있다.

일반적으로 무선 통신에서는 송신 파워를 높이게 되면 로스율을 줄일 수 있으나 본 실시예에서는 높은 에너지 효율을 달성하기 위해서 P_i와 로스율을 함께 고려해야 하기 때문에 새로운 접근 방법을 통해서 문제를 해결해야 한다.

또한, 본 실시예에서 가정하는 센서들은 다수의 센서들 간의 상호 송신 파워 세기와 각 센서의 위치에 따라서 로스율이 가변적으로 변하기 때문에 수학적 혹은 통계적으로 모델링을 통해서 문제를 풀기 어렵다.

전체 센서들의 로스율 α은 Pi에 비선형적으로 존재하게 되므로 본 발명에서는 강화학습을 이용하여 적은 송신 파워를 소비하면서 작은 로스율을 갖도록 최적의 Pi 값을 찾는 기술을 제공한다.

본 발명에서는 강화학습을 통해서 LoRa 기반으로 통신하는 초소형 IoT 디바이스들의 통신 에너지 효율을 증가시키고자 하는 것이다.

본 발명에서는 각 센서가 최적의 송신 파워 P_i를 얻기 위해서 강화학습 중 한 부류인 Q learning 알고리즘을 사용한다. 각 센서 s_i의 최적의 P_i 값을 찾기 위한 Q learning 알고리즘은 각 초소형 IoT 디바이스에 존재하는 것이 아니라 게이트웨이에 위치하여 연산이 되기 때문에, 게이트웨이에서 측정된 각 센서 s_i의 RSSI_i 값을 이용하여 센서 s_i가 높은 에너지 효율을 가지면서 정보를 전송할 수 있도록 최적의 P_i를 탐색한다. Q learning 알고리즘을 사용하기 위해서는 상태(state) 및 행동(action) 그리고 보상(reward)에 대한 정의가 필요하다.

본 발명에서는 각 센서 s_i 별로 상태, 행동, 및 보상을 정의하고, 이 정보들은 모두 게이트웨이에 존재한다.

상태

각 s_i의 상태 S_i는 수학식 4와 같이 정의될 수 있다.

[수학식 4]

I_ij는 s_i와 s_j 사이의 간섭의 정도를 의미한다. x는 s_i의 SF 값을 의미하고, y는 s_j의 SF 값을 의미한다.

s_i의 신호를 게이트웨이에서 받을 때에 s_i의 신호와 s_j의 신호, 그리고 SIR_xy 값을 비교하여 만약 s_j의 신호가 s_i의 상황에 상관없이 수신 가능하다면 0, 만약에 s_i의 신호가 너무 세서 s_j의 신호를 받지 못한다면 -1, 그 반대는 1의 값으로 설정한다.

SIR_xy 값은 도 4에 도시한 테이블과 같이 각 LoRa 모듈별로 실측하여 구할 수 있다.

k는 s_i가 속하지 않은 SF 인덱스 값을 의미하며 수학식 5와 같이 나타낼 수 있다.

[수학식 5]

j_k는 s_i의 신호가 게이트웨이에 도달했을 때에 SF_k를 쓰는 센서 s_j 중에 성공적으로 게이트웨이가 정보를 수신한 센서를 의미한다.

ε_k는 SF 별 가중치 팩터를 의미하며, SF 별로 신호 특성이 다르기 때문에 본 실시예에서는 그 특성을 반영하여 가중치 팩터를 산정한다. 예를 들어, SF 12의 경우 data rate이 낮아서 한번 신호가 간섭이 일어나서 전송이 안되면 다시 긴 시간 전송이 발생해야 되기 때문에 SF7에서 발생하는 간섭보다 SF12에서 발생하는 간섭을 더 신경써야 할 수 있다. 그럴 경우, ε₁₂는 ε₇보다 클 수 있으며, 이 가중치 팩터들은 상태를 discrete하게 하기 위해 정수의 범위에서 설정한다.

즉, S_i는 s_i의 입장에서 다른 SF에 속한 디바이스가 얼마나 간섭을 받고 있는지 상태를 파악하는 파라미터라고 할 수 있다.

행동

각 s_i의 행동 A_i는 수학식 6과 같이 정의할 수 있다.

[수학식 6]

여기서, m은 센서 s_i에서 적용할 수 있는 송신 파워 level 수를 의미한다. 예를 들어서, 센서에서 -10, 0, 10, 20dBm으로 송신 파워를 설정할 수 있다면, m은 4이며, P_i ^(m)은 각 송신 파워 level에서의 송신 파워량을 의미한다. 해당 예에서 P_i ⁽¹⁾은 -10dBm을 의미한다.

보상

각 상태(state)에서 행동(action)을 진행할 때에 보상은 다음과 같이 정의할 수 있다.

S_i 값이 높다는 의미는 다른 SF를 사용하는 센서들 때문에 s_i가 제대로 정보를 송신 못하는 상황을 의미하므로 S_i가 높을 때는 행동을 높은 송신 전력을 가지도록 보상을 줘야 하며, 반대로 S_i 값이 음수일 때에는 s_i의 송신 파워로 인해 다른 센서들의 정보가 제대로 게이트웨이로 보내지지 않는다는 뜻이므로, s_i의 송신 파워를 낮추도록 보상을 설정해야 한다.

그리고, S_i가 0의 값에 가까울 때에는 평형 상태를 의미하기 때문에 되도록 전송 전력의 값을 안 바꾸도록 보상을 설정해야 한다.

결국, S_i와 A_i가 차이가 없을 때 높은 보상을 줘야 하므로, 엔트로피(Entropy) 공식을 이용하여 보상 함수(reward function)를 구하며, 이때에 S_i와 A_i의 단위가 다를 수 있으므로 모두 0과 1 사이의 값으로 정규화를 진행한 후 보상 식(수학식 7)에 대입한다.

S_i는 모든 정수 범위에서 존재하기 때문에 정규화를 위해서는 sigmoid, tanh, arctan 등의 함수를 활용하여 정규화를 진행하고, A_i의 경우에도 A_i를 실행한 후 보상에 잘 반영될 수 있도록 함수를 구성한다(도 5 참조).

[수학식 7]

여기에서, S_i'는 정규화 된 S_i 값을 의미하고, A_i'는 정규화 된 A_i 값을 의미한다. 예를 들어, S_i'와 A_i'는 수학식 8 및 수학식 9와 같이 정규화 될 수 있다.

[수학식 8]

[수학식 9]

P_i의 단계가 m개 이기 때문에, h번째 파워 레벨은 h/m로 정규화 할 수 있다.

S_i와 A_i의 차이가 적을수록 높은 보상을 얻을 수 있으며, S_i와 A_i의 차이가 다를 경우 가장 낮은 보상을 얻게 된다.

앞에서 설정한 각 센서 s_i의 S_i, A_i, 그리고 R_i를 기반으로 각 센서별 Q Learning 알고리즘을 구동할 수 있다(도 6 참조).

γ는 learning rate을 의미하며 0부터 1 사이의 값을 가진다.

ε은 ε-greedy parameter를 의미하며 0.01부터 0.05 사이의 값을 가진다. ε-greedy parameter는 Q Learning을 통해서 얻은 최적의 P_i 값이 local optimum일 경우를 방지하기 위해서 ε 확률에 따라 랜덤하게 P_i 값으로 신호를 송신하게 한다.

λ는 discount factor를 의미하며 0부터 1사이의 값을 가진다.

Q learning algorithm을 통해 센서 s_i가 특정 S_i일 때에 어떤 A_i를 실행해야 하는지, 즉, 최적의 P_i 값을 예측하는 policy를 학습한다.

도 7은 전체 시스템 구조를 도시한 것이다.

LoRa 게이트웨이(710)는 RSSI 측정부(711), RSSI DB(712), 전송파워 설정부(713)를 포함할 수 있다.

RSSI 측정부(711)는 각 SF 별 성공적으로 수신되는 신호에 대한 RSSI 값을 측정하여 측정된 정보를 RSSI DB(712)에 전송한다.

RSSI DB(712)는 각 SF 별로 성공적으로 수신되는 신호에 대한 RSSI 값을 시간 인덱스를 기준으로 리스트나 tuple, 행렬 등의 형식으로 저장한다.

전송파워 설정부(713)는 Q Learning 모듈(730)에서 결정된 해당 디바이스의 전송 파워 정보를 LoRaWan 표준의 LinkADRReq 필드에 담아 LoRa 디바이스(720)에 전송한다.

LoRa 디바이스(720)는 전송파워 설정부(721)를 포함할 수 있으며, 전송파워 설정부(7210)는 LoRa 게이트웨이(710)로부터 컨트롤 메세지를 받으면 그 안에 있는 LinkADRReq 필드에서 전송 파워(Tx power) 값을 참조하여 전송파워를 설정한다.

Q Learning 모듈(730)은 물리적으로 LoRa 게이트웨이(710) 상에 존재하거나 LoRa 게이트웨이(710)와 연결된 컴퓨터 시스템 상에 존재할 수 있으며 각 LoRa 디바이스(720)별로 하나의 Q Learning 모듈(730)이 존재하게 된다. Q Learning 모듈(730)이 존재하는 컴퓨팅 공간이 도 3을 통해 설명한 컴퓨터 시스템(300)과 대응된다.

Q Learning 모듈(730)은 강화학습기반 전송 파워 결정부(731)과 데이터베이스(732)를 포함할 수 있다.

강화학습기반 전송 파워 결정부(731)는 LoRa 게이트웨이(710)에 있는 RSSI DB 값에서 동시에 측정된 각 SF 별 RSSI 값을 가져와서 디바이스의 현재 상태를 설정할 수 있다. 그리고, 행동은 LoRa 디바이스(710) 별로 사전에 각 디바이스의 송신 파워 세기 설정 정보를 획득하여 가지고 있으며, 앞서 설정된 상태와 행동을 통해 보상이 가장 높은 행동인 디바이스의 송신 파워 세기를 결정할 수 있다. 이때, Q(s,a), Q(s,a') 등의 Q 값 및 파라미터, 하이퍼파라미터 들은 모두 데이터베이스(732)에 저장한다.

Q Learning 모듈(730)(각 모듈이 하나의 센서 s_i마다 존재)에서 최적 송신 파워 세기를 결정하는 순서도는 도 8과 같다.

도 8을 참조하면, Q Learning 모듈(730)은 센서 s_i의 초기 송신 파워(P_i0)를 결정하고 SIR 테이블과 함께 데이터베이스로부터 A_i 값을 획득한다(S801).

Q Learning 모듈(730)은 LoRa 게이트웨이(710)의 전송파워 설정부(713)에 상기 결정된 송신 파워 값을 전송한다(S802).

Q Learning 모듈(730)은 일정주기 마다 LoRa 게이트웨이(710) 상의 RSSI DB(712)에 접속하여 해당 주기의 전체 센서들의 RSSI 값을 체크한다(S803).

Q Learning 모듈(730)은 센서 s_i의 RSSI_i 값이 유효한지 여부를 판단하여(S804) 유효하면SF 별로 성공적으로 수신된 신호에 대한 RSSI 값을 LoRa 게이트웨이(710)에서 측정된 RSSI_i 값으로 결정하고(S805) 유효하지 않으면 디폴트로 설정된 RSSI_i 값으로 결정한다(S806).

Q Learning 모듈(730)은 RSSI 값과 SIR 테이블 상의 정보를 활용하여 S_i를 설정하고(S807), 각 송신 파워 레벨에서의 송신 파워 값을 활용하여 A_i 설정한다(S808).

Q Learning 모듈(730)은 S_i, A_i를 통해 A_i'(최적의 전송 파워 값)를 예측할 수 있다(S809). 서로 다른 SF를 사용하는 신호를 인식하고 서로 다른 SF를 사용하는 신호 간 간섭을 줄여 에너지를 최적화 하고자 전송 파워를 예측하고 예측 값으로 조정할 수 있다.

이처럼 본 발명에 따른 IoT 에너지 최적화 기술은 LoRa 기반 무선 통신을 하는 초소형 IoT 디바이스들이 대규모로 존재해야 할 때에 효과적으로 사용 가능하다. LoRa에서 발생하고 있는 간섭을 줄여주기 때문에 LoRa 디바이스의 에너지 효율을 높여줄 수 있고 또한 인터넷 프로바이더 입장에서는 LoRa 망의 전반적인 손실을 줄여주기 때문에 LoRa 망의 품질을 올려주는 기대효과를 볼 수 있다. 또한, LoRa 기반으로 통신하는 디바이스에서는 정보를 송신하는데 드는 에너지가 많이 들기 때문에 LoRa에 사용하는 에너지를 줄임으로써 디바이스의 life time을 증가시킬 수 있다. 본 발명에서 에너지 효율을 높이고자 타겟팅하고 있는 디바이스는 초소형 IoT 디바이스이다. 초소형 IoT 디바이스는 기본적으로 전원공급을 배터리를 통해서 공급을 받는 1회용 센서를 의미하는데, 한 센서의 life time이 증가하게 되면 1회용인 초소형 IoT 디바이스를 더 오래 사용이 가능하며 이를 통해 자원 절약 및 서비스 비용 절약이 가능하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

1. IoT 디바이스와 통신하는 게이트웨이 또는 상기 게이트웨이와 연결된 컴퓨터 시스템에서 수행되는 방법으로서,
   상기 IoT 디바이스의 SF(spreading factor) 값이 설정된 상황에서 상기 IoT 디바이스의 전송 파워를 조정하는 단계
   를 포함하고,
   상기 조정하는 단계는,
   강화학습 기법인 Q 러닝 알고리즘을 이용하여 상기 전송 파워를 결정하는 단계
   를 포함하고,
   상기 결정하는 단계는,
   상기 IoT 디바이스의 SIR(Signal-to-Interference Ratio) 정보와 전송 파워 세기 설정 정보를 획득하는 단계;
   상기 게이트웨이에서 측정된 전체 IoT 디바이스들의 RSSI 값을 체크하는 단계;
   상기 IoT 디바이스의 RSSI 값이 유효하면 각 SF 별 수신 신호에 대한 RSSI 값을 상기 게이트웨이에서 측정된 RSSI 값으로 결정하는 단계;
   상기 IoT 디바이스의 RSSI 값이 유효하지 않으면 각 SF 별 수신 신호에 대한 RSSI 값을 디폴트로 설정된 RSSI 값으로 결정하는 단계;
   상기 SIR 정보와 상기 IoT 디바이스의 RSSI 값을 이용하여 상기 IoT 디바이스와 다른 SF에 속한 디바이스와의 간섭 정도를 나타내는 상태(state)를 설정하는 단계;
   상기 전송 파워 세기 설정 정보에 기초하여 상기 설정된 상태에 대해 최대의 보상(reward)을 획득하는 행동(action)인 최적의 전송 파워를 예측하는 단계; 및
   상기 예측된 전송 파워를 LoRaWan 표준 기술의 LinkADRReq 필드를 이용하여 상기 IoT 디바이스로 전송하는 단계
   를 포함하는 IoT 에너지 최적화 방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. IoT 에너지 최적화 시스템에 있어서,
   IoT 디바이스와 통신하는 게이트웨이 또는 상기 게이트웨이와 연결된 컴퓨터 시스템 상에 구현되고,
   컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
   를 포함하고,
   상기 적어도 하나의 프로세서는,
   상기 IoT 디바이스의 SF(spreading factor) 값이 설정된 상황에서 상기 IoT 디바이스의 전송 파워를 결정하는 전송 파워 결정부
   를 포함하고,
   상기 전송 파워 결정부는,
   강화학습 기법인 Q 러닝 알고리즘을 이용하여 상기 전송 파워를 결정하는 것으로,
   상기 IoT 디바이스의 SIR(Signal-to-Interference Ratio) 정보와 전송 파워 세기 설정 정보를 획득하고,
   상기 게이트웨이에서 측정된 전체 IoT 디바이스들의 RSSI 값을 체크하고,
   상기 IoT 디바이스의 RSSI 값이 유효하면 각 SF 별 수신 신호에 대한 RSSI 값을 상기 게이트웨이에서 측정된 RSSI 값으로 결정하고,
   상기 IoT 디바이스의 RSSI 값이 유효하지 않으면 각 SF 별 수신 신호에 대한 RSSI 값을 디폴트로 설정된 RSSI 값으로 결정하고,
   상기 SIR 정보와 상기 IoT 디바이스의 RSSI 값을 이용하여 상기 IoT 디바이스와 다른 SF에 속한 디바이스와의 간섭 정도를 나타내는 상태(state)를 설정하고,
   상기 전송 파워 세기 설정 정보에 기초하여 상기 설정된 상태에 대해 최대의 보상(reward)을 획득하는 행동(action)인 최적의 전송 파워를 예측하고,
   상기 예측된 전송 파워를 LoRaWan 표준 기술의 LinkADRReq 필드를 이용하여 상기 IoT 디바이스로 전송하는 것
   을 특징으로 하는 IoT 에너지 최적화 시스템.
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제

Images