KR102405691B1 - Rf 충전 후방산란 cr 네트워크 시스템 및 그것을 이용한 동작 모드 선택 방법 - Google Patents

Rf 충전 후방산란 cr 네트워크 시스템 및 그것을 이용한 동작 모드 선택 방법 Download PDF

Info

Publication number
KR102405691B1
KR102405691B1 KR1020210007158A KR20210007158A KR102405691B1 KR 102405691 B1 KR102405691 B1 KR 102405691B1 KR 1020210007158 A KR1020210007158 A KR 1020210007158A KR 20210007158 A KR20210007158 A KR 20210007158A KR 102405691 B1 KR102405691 B1 KR 102405691B1
Authority
KR
South Korea
Prior art keywords
mode
slot
energy
state
backscattering
Prior art date
Application number
KR1020210007158A
Other languages
English (en)
Other versions
KR20220021846A (ko
Inventor
신요안
오선애
Original Assignee
숭실대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교 산학협력단 filed Critical 숭실대학교 산학협력단
Publication of KR20220021846A publication Critical patent/KR20220021846A/ko
Application granted granted Critical
Publication of KR102405691B1 publication Critical patent/KR102405691B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/22—Scatter propagation systems, e.g. ionospheric, tropospheric or meteor scatter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J50/00—Circuit arrangements or systems for wireless supply or distribution of electric power
    • H02J50/001—Energy harvesting or scavenging
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J50/00—Circuit arrangements or systems for wireless supply or distribution of electric power
    • H02J50/20—Circuit arrangements or systems for wireless supply or distribution of electric power using microwaves or radio frequency waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H04B1/401—Circuits for selecting or indicating operating mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W74/00—Wireless channel access
    • H04W74/08—Non-scheduled access, e.g. ALOHA
    • H04W74/0808—Non-scheduled access, e.g. ALOHA using carrier sensing, e.g. carrier sense multiple access [CSMA]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은, RF 충전 후방산란 CR 네트워크를 기반으로 하는 2차 송신기를 이용한 동작 모드 선택 방법에 있어서, 동작 주기에 해당한 매 프레임마다, 상기 프레임을 구성한 2개 슬롯 중 제1 슬롯 동안에, 상기 2차 송신기는 네트워크 상의 1차 채널 상에 존재한 RF 신호의 에너지를 수집하기 위한 에너지 수집 모드로 동작하면서 에너지 변화를 검출하는 단계와, 상기 제1 슬롯의 마지막 시점에서 검출된 에너지 변화량을 기초로 상기 RF 신호의 존재 여부를 판단하고, 판단 결과에 대응한 관찰값을 획득하는 단계와, 상기 관찰값, 현재의 에너지 저장 상태 및 데이터 대기행렬 상태를 포함한 현재 상태 정보를 기반으로 대기 모드, 에너지 수집 모드, 주변 후방산란 모드, 액티브 전송 모드 중 하나의 동작 모드를 선택하는 단계, 및 상기 2차 송신기는 상기 제1 슬롯 이후의 제2 슬롯 동안에, 상기 선택된 동작 모드에 대응하여 동작하는 단계를 포함하는 동작 모드 선택 방법을 제공한다.
본 발명에 따르면, RF 충전 후방산란 CR 네트워크에서 2차 송신기가 에너지 수집 모드를 통하여 1차 채널의 에너지 변화 상태를 스스로 관찰한 후에 적합한 동작 모드를 직접 선택할 수 있도록 하여, 채널 점유 상태 판단 시에 전력 소모가 큰 에너지 검출기를 전혀 불필요로 하며 전력 손실을 줄이고 시스템 성능을 높일 수 있다.

Description

RF 충전 후방산란 CR 네트워크 시스템 및 그것을 이용한 동작 모드 선택 방법{RF-powered backscatter cognitive radio network system and action mode selection method using the same}
본 발명은RF 충전 후방산란 CR 네트워크 시스템 및 그것을 이용한 동작 모드 선택 방법에 관한 것으로서, 보다 상세하게는 네트워크 내 2차 사용자가 1차 채널의 에너지 상태를 스스로 관찰한 후 적합한 동작 모드를 매 동작 주기마다 선택할 수 있도록 하는 RF 충전 후방산란 CR 네트워크 시스템 및 그것을 이용한 동작 모드 선택 방법에 관한 것이다.
RF(Radio Frequency) 충전 후방산란 인지 무선(Cognitive Radio; CR) 네트워크에서 1차 사용자(Primary User; PU)는 스펙트럼 대역(primary 채널)에 접근할 수 있는 권한을 갖고 있는 사용자이다.
따라서, 네트워크 내의 주 채널 즉, 1차 채널(primary 채널)의 상태는 1차 사용자(PU)의 전송 패턴에 따라 점유되거나 혹은 비어있게 된다. 이때, 1차 사용자(PU)가 1차 채널을 사용하지 않는 구간에서는 2차 사용자(Secondary User; SU)의 데이터 전송이 가능해진다.
즉, 1차 채널이 1차 사용자(PU)에 의해 사용(점유) 중이면 2차 사용자(SU)의 데이터 전송이 제한되고, 1차 채널이 비어 있으면 2차 사용자(SU)의 데이터 전송이 가능해진다.
도 1은 RF 후방 산란 인지 무선 시스템 모델에서 1차 사용자에 의해 점유된 1차 채널에 2차 사용자가 접근한 경우의 동작 모드를 설명한 도면이다.
네트워크에는 1차 시스템과 2차 시스템이 공존한다. 1차 시스템은 1차 송신기(Primary Transmitter; PT)과 1차 수신기(Primary Receiver; PR)을 포함하고, 2차 시스템은 2차 송신기(Secondary Transmitter; ST)과 2차 수신기(Secondary Receiver; SR)을 포함한다.
도 1에서 primary 신호(1차 신호)는 1차 송신기(PT)이 1차 채널을 통하여 1차 수신기(RP)로 보내는 신호이다.
이러한 도 1은 1차 채널이 1차 사용자에 의해 점유 중인 동안에 2차 사용자가 1차 사용자의 primary 신호를 이용하여 '에너지 수집(Energy Harvesting) 모드' 또는 '주변 후방산란(Ambient Backscatter) 모드'로 동작하는 모습을 나타낸다.
이와 같이, 1차 사용자(PU)에 의해 1차 채널이 사용 중인 동안, 2차 송신기(ST)은 1차 채널에 접근하여 해당 채널에 존재한 1차 신호(Primary 신호)를 전기 신호로 변환하여 저장 장치(예: 배터리)에 저장하는 에너지 수집 모드로 동작할 수도 있으며, 안테나에 수신되는 1차 신호를 반사하면서 2차 수신기(Secondary Receiver; SR)로 정보(각종 데이터 등)를 전달하는 주변 후방산란 모드로 동작할 수 있다.
도 1에서는 2차 송신기(ST)이 주변 후방산란 모드를 이용하여 db 개의 데이터 패킷을 2차 수신기(SR)로 백스캐터링 방식으로 전송하는 모습이 확인된다.
주변 후방산란 통신은 안테나의 임피던스를 제어하여 주변 RF 신호를 반사하면서 정보를 전송하기 때문에 회로에서 소모하는 전력을 무시할 수 있다. 따라서, 에너지 수집 모드에서 수집한 에너지는 후술하는 도 2에서와 같이, 1차 채널이 비어 있는 동안에 2차 사용자가 액티브(Active) 전송 모드를 수행하면서 RF 신호를 직접 생성하여 전달하기 위해 주로 사용된다.
도 2는 도 1의 시스템 모델에서 비어 있는 1차 채널에 2차 사용자가 접근한 경우의 동작 모드를 설명한 도면이다.
도 2는 1차 채널이 미점유 중인 동안에, 2차 송신기(ST)이 이러한 비어있는 1차 채널을 통하여 2차 수신기(SR)로 데이터를 전송하는 '액티브(Active) 전송 모드'의 동작을 나타낸 것이다. 이러한 도 2에서는 2차 송신기(ST)이 액티브 전송 모드를 가동하여 da 개의 데이터 패킷을 2차 수신기(SR)로 전송하는 모습이 확인된다.
그런데, RF 후방산란 인지 무선 시스템에서, 2차 송신기(ST)은 '에너지 수집 모드' 또는 '주변 후방산란 모드'로 동작하는 동안에는 주변에 존재하는 1차 신호를 정확하게 검출할 수 있어야 하고, '액티브 전송 모드'로 데이터를 전송하는 동안에는 1차 시스템과의 충돌을 효율적으로 회피할 수 있어야 한다.
물론 이를 위해서는 현재 1차 사용자(PU)에 의한 1차 채널의 점유 상태에 관한 정확도 높은 정보가 요구된다.
도 3은 1차 채널의 점유 상태를 센싱하기 위한 기존의 슬롯 구조를 나타낸 도면이다,
일반적으로 2차 송신기(ST)은 CR 네트워크에서 1차 채널의 점유 상태를 획득하기 위해, 도 3에 나타낸 센싱 기반 스펙트럼 접근 방식을 고려한다.
이때, 길이 T를 가지는 한 개의 슬롯은 도 3과 같이, 2차 송신기(ST)이 1차 채널의 상태를 센싱하는 센싱 구간(τs)과 센싱 결과에 따라 선택한 동작 모드로 구동하게 되는 동작 구간(T-τs)으로 구분된다.
즉, 2차 송신기(ST)은 슬롯의 시작점에서 일정 시간(센싱 구간; τs) 동안에 1차 채널에 대해 센싱을 수행한 후, 센싱 결과에 따라 선택한 동작 모드를 나머지 구간(동작 구간; T-τs)에서 실행시킨다. 이러한 방식을 센싱 기반 스펙트럼 접근 방식이라 한다.
이때, 센싱 구간(τs)에 적용되는 센싱 기법으로는 구현 복잡도가 낮은 에너지 검출(Energy Detection) 기법을 주로 사용한다.
그런데, 에너지 검출 기법은 센싱 구간(τs) 동안에 샘플링 주파수 fs로 수신 신호의 샘플을 취하여, 검정 통계량(Test Statistics)을 얻고, 이후 검정 통계량과 사전에 선택한 검출 임계값(Detection Threshold; ε)을 비교하면서 1차 채널의 사용(점유) 유무를 결정한다.
검정 통계량이 ε보다 크면 1차 채널이 1차 사용자(PU)에 의해 사용되고 있다고 판단한다. 이처럼 센싱 구간(τs)에서 1차 채널이 1차 사용자에 의해 점유 중인 것으로 판단되면, 2차 송신기(ST)은 동작 구간 동안에 에너지 수집 모드와 주변 후방산란 모드 중 하나를 실행시켜 주변 에너지를 수집하거나 주변 후방산란 방식을 통해 2차 수신기(SR)로 데이터를 전송한다.
물론, 센싱 구간(τs)에서 센싱한 결과, 검정 통계량이 ε 이하인 경우에는 1차 채널이 비어 있다고 판단하여, 2차 송신기(ST)은 동작 구간(T-τs) 동안 액티브 전송 모드를 실행시켜, 현재 비어 있는 1차 채널을 사용하여 2차 수신기(SR)로 데이터를 전송한다.
그런데, 검정 통계량을 얻을 때는 전력 소모가 많은 아날로그-디지털 변환기(Analog-to-Digital Converter)가 필요하다.
따라서 상술한 에너지 검출 기반 접근 방식은 에너지 소모가 많은 독립적인 에너지 검출기를 필요로 한다. 그런데, RF 에너지 수집 이외에 추가적인 전력 공급원이 없는 경우에는, 단말이 활용 가능한 에너지는 주변 RF 공급원의 영향을 크게 받게 된다. 따라서, 에너지 검출 기반 접근 방식은 무선 센서와 같은 소형 단말의 동작 방식으로는 적합하지 않다.
또한, RF 충전 후방산란 CR 네트워크에서 2차 시스템의 전송 성능은 에너지 검출 기법의 정확도의 영향을 크게 받는다. 주변에 RF 신호가 없으나 검출된 것으로 오판단하면, 2차 송신기은 액티브 전송 모드로 데이터를 전송할 수 있는 기회를 상실하게 된다. 또한 RF 신호가 실제 존재하지만 미검출된 것으로 오판단하면, 2차 송신기은 1차 시스템과 충돌이 발생하는 동시에, 에너지 수집 기회 또는 주변 후방산란 모드를 통한 정보 전송 기회를 상실하게 되어, 2차 시스템의 전송 성능이 저하되는 문제가 발생하게 된다.
또한, 1차 채널이 1차 사용자에 의해 점유 중인 상황에서, 에너지 검출기가 1차 채널의 점유 상태를 판단하기 위해 수신한 RF 전력은 채널 센싱이 종료된 이후에는 소멸되므로, 에너지 활용이 어려운 단점이 있다.
본 발명의 배경이 되는 기술은 한국등록특허 제10-1971392호(2019.04.23 공고)에 개시되어 있다.
본 발명은 전력 소모가 많은 에너지 검출기의 사용 없이 2차 사용자가 에너지 수집 모드를 통하여 1차 채널의 점유 상태를 스스로 파악한 후에 현재 상태에 적합한 동작 모드를 매 동작 주기마다 선택하여 구동할 수 있도록 하는 RF 충전 후방산란 CR 네트워크 시스템 및 그것을 이용한 동작 모드 선택 방법을 제공하는데 목적이 있다.
본 발명은, RF 충전 후방산란 CR 네트워크를 기반으로 하는 2차 송신기를 이용한 동작 모드 선택 방법에 있어서, 동작 주기에 해당한 매 프레임마다, 상기 프레임을 구성한 2개 슬롯 중 제1 슬롯 동안에, 상기 2차 송신기는 네트워크 상의 1차 채널 상에 존재한 RF 신호의 에너지를 수집하기 위한 에너지 수집 모드로 동작하면서 에너지 변화를 검출하는 단계와, 상기 제1 슬롯의 마지막 시점에서 검출된 에너지 변화량을 기초로 상기 RF 신호의 존재 여부를 판단하고, 판단 결과에 대응한 관찰값을 획득하는 단계와, 상기 관찰값, 현재의 에너지 저장 상태 및 데이터 대기행렬 상태를 포함한 현재 상태 정보를 기반으로 대기 모드, 에너지 수집 모드, 주변 후방산란 모드, 액티브 전송 모드 중 하나의 동작 모드를 선택하는 단계, 및 상기 2차 송신기는 상기 제1 슬롯 이후의 제2 슬롯 동안에, 상기 선택된 동작 모드에 대응하여 동작하는 단계를 포함하는 동작 모드 선택 방법을 제공한다.
또한, 상기 프레임을 구성하는 제1 슬롯과 제2 슬롯은 상기 프레임 내에서 균등 시간 길이로 분할되어 형성될 수 있다.
또한, 상기 관찰값을 획득하는 단계는, 상기 제1 슬롯을 복수 시점으로 분할할 경우 마지막 시점에서 관측된 에너지 크기를 직전 시점의 에너지 크기와 비교한 편차를 이용하여 상기 에너지 변화량을 검출하고, 상기 에너지 변화량이 최소 변화량 이상이면 상기 RF 신호가 존재하는 것으로 판단할 수 있다.
또한, 상기 제1 슬롯에서 획득한 관찰값은, 상기 RF 신호 존재 여부 판단 결과에 따라 1차 사용자가 1차 채널을 점유 중인 상태를 나타내는 1의 값 또는 미점유 상태를 나타내는 0의 값으로 결정될 수 있다.
또한, 상기 동작 모드를 선택하는 단계는, 상기 제1 슬롯에서 획득한 관찰값(o), 현재의 에너지 저장 상태(e), 데이터 대기행렬 상태(d)를 이용하여 아래 조건에 따라 복수의 동작 모드 중 하나의 동작 모드(mode)를 선택할 수 있다.
Figure 112021006733792-pat00002
여기서, I는 대기 모드, H는 에너지 수집 모드, B는 주변 후방산란 모드, A는 액티브 전송 모드, ea는 한 개의 슬롯 동안에 액티브 전송 모드로 da 개의 데이터 패킷을 전송하는 경우에 소모하는 에너지, db는 한 개의 슬롯 동안에 주변 후방산란 모드로 전송 가능한 데이터 패킷 수, da는 한 개의 슬롯 동안에 액티브 전송 모드로 전송 가능한 데이터 패킷 수를 나타낸다.
또한, 상기 동작 모드를 선택하는 단계는, 기 학습된 DQN(Deep Q-Network) 알고리즘을 기반으로 현재 상태에서 선택 가능한 복수의 동작 모드 중 가장 높은 Q 값을 가지는 하나의 동작 모드를 선택할 수 있다.
또한, 상기 동작 모드 선택 방법은, 상기 2차 송신기가 상기 제1 슬롯에서 관측한 상태 정보를 상태(s)로, 해당 상태에서 제2 슬롯을 위해 임의 선택한 동작 모드를 행동 값(a)으로 설정하여, 해당 상태에서 선택한 행동에 따른 즉각적인 보상(R)을 수행하면서 상기 DQN 알고리즘을 학습시키는 단계를 더 포함하며, 해당 상태(s)에서 선택한 행동 값(a)에 따라 주어지는 보상 R(s,a)은 아래 수학식으로 정의될 수 있다.
Figure 112021006733792-pat00003
여기서, a는 각각의 동작 모드에 대응하는 행동 값(0 = 대기 모드, 1 = 에너지 수집 모드, 2 = 주변 후방산란 모드, 3 = 액티브 전송 모드), db는 한 개의 슬롯 동안에 주변 후방산란 모드로 전송 가능한 데이터 패킷 수, da는 한 개의 슬롯 동안에 액티브 전송 모드로 전송 가능한 데이터 패킷 수를 나타낸다.
그리고, 본 발명은 1차 채널을 통해 1차 수신기로 RF 신호로 구성된 데이터를 전송하는 1차 송신기, 및 1차 채널이 점유 중일 때 상기 RF 신호로부터 에너지를 수집하거나 주변 후방산란 방식을 통하여 2차 수신기로 데이터를 전송하고, 1차 채널이 미점유 중일 때는 상기 1차 채널을 이용하여 2차 수신기로 데이터를 전송하는 송신기를 포함하며, 상기 2차 송신기는, 동작 주기에 해당한 매 프레임마다 동작 모드를 결정하되, 상기 프레임을 구성한 2개 슬롯 중 제1 슬롯 동안에는 1차 채널 상에 존재한 RF 신호의 에너지를 수집하기 위한 에너지 수집 모드로 동작하고, 제1 슬롯 이후의 제2 슬롯 동안에는 모드 선택부에서 선택된 동작 모드에 따라 동작하도록 제어하는 모드 제어부와, 상기 제1 슬롯 동안에 에너지 변화를 검출하되, 상기 제1 슬롯의 마지막 시점에서 검출된 에너지 변화량을 기초로 상기 RF 신호의 존재 여부를 판단하고, 판단 결과에 대응한 관찰값을 획득하는 상태 검출부, 및 상기 관찰값, 현재의 에너지 저장 상태 및 데이터 대기행렬 상태를 포함한 현재 상태 정보를 기반으로 대기 모드, 에너지 수집 모드, 주변 후방산란 모드, 액티브 전송 모드 중 하나의 동작 모드를 선택하여 상기 모드 제어부로 전달하는 모드 선택부를 포함하는 RF 충전 후방산란 CR 네트워크 시스템을 제공한다.
본 발명에 따르면, 2차 송신기가 에너지 수집 모드를 통하여 1차 채널의 에너지 변화 상태를 스스로 관찰한 후에 적합한 동작 모드를 매 동작 주기마다 직접 선택할 수 있도록 하여, 1차 채널의 점유 상태 검출 시에 전력 소모가 큰 에너지 검출기를 전혀 불필요로 함은 물론 이를 통해 전력 손실을 줄이고 전력 효율 및 시스템 성능을 높일 수 있다.
아울러, 본 발명은 2차 송신기가 현재 상태에 적합한 최적의 동작 모드를 학습할 수 있는데, 특히 동적으로 변화하는 1차 채널 환경에서 2차 송신기가 선택한 동작 모드에 따라 상태가 변하고 선택한 모드에 따른 즉각적인 보상을 부가하면서 임의의 상태에서 최적의 동작 모드를 스스로 학습함으로써, 2차 시스템의 전송 성능을 향상시킬 수 있다.
도 1은 RF 후방 산란 인지 무선 시스템 모델에서 1차 사용자에 의해 점유된 1차 채널에 2차 사용자가 접근한 경우의 동작 모드를 설명한 도면이다.
도 2는 도 1의 시스템 모델에서 비어 있는 1차 채널에 2차 사용자가 접근한 경우의 동작 모드를 설명한 도면이다.
도 3은 1차 채널의 점유 상태를 센싱하기 위한 기존의 슬롯 구조를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 RF 충전 후방산란 CR 네트워크 시스템을 나타낸 도면이다.
도 5는 도 4에 도시된 2차 송신기의 구성을 나타낸 도면이다.
도 6은 본 발명의 실시예에 적용된 동작 주기의 한 프레임의 구조를 설명한 도면이다.
도 7은 도 4를 기반으로 하는 2차 송신기의 동작 모드 선택 방법을 설명하는 도면이다.
도 8은 본 발명의 실시예에 적용되는 주변 후방산란 모드의 동작을 예시한 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 RF 충전 후방산란 CR 네트워크 시스템과 이를 이용한 2차 송신기의 동작 모드 선택 방법을 제안한다.
도 4는 본 발명의 실시예에 따른 RF 충전 후방산란 CR 네트워크 시스템을 나타낸 도면이다.
도 4와 같이, RF 충전 후방산란 CR 네트워크 시스템은 1차 송신기(100)(Primary Transmitter; PT)와 1차 수신기(200)(Primary Receiver; PR), 그리고 2차 송신기(300)(Secondary Transmitter; ST)와 2차 수신기(Secondary Receiver; SR)를 포함한다.
1차 송신기(100)와 1차 수신기(200)는 네트워크 내 primary 채널(이하, 1차 채널)의 사용 권한을 가진 1차 사용자(Primary User, PU) 측에 해당하며, 네트워크 내에서 1차 시스템(primary 시스템)을 형성한다.
2차 송신기(300)와 2차 수신기(400)는 1차 채널을 2차적으로 사용하는 2차 사용자(Secondary User; SU) 측에 해당하며, 2차 시스템(Secondary 시스템)을 형성한다.
본 발명의 실시예는 이러한 1차 사용자(PU) 측의 1차 시스템과, 2차 사용자(SU) 측의 2차 시스템이 공존하는 도 4의 네트워크 구조를 기반으로 한다. 이러한 도 4의 네트워크 시스템 구조는 앞서 설명한 도 1과 동일하며, 다만 본 발명의 실시예는 2차 송신기(300)에서 동작 모드를 매 프레임 마다 적절하게 선택할 수 있도록 하는 기법을 제안한다.
도 4와 같은 RF 충전 후방산란 CR 네트워크 시스템에서 1차 송신기(100)는 일반적으로 데이터를 RF 신호 헝태로 만들어 1차 채널을 통하여 1차 수신기(200)로 전송한다. 도 4에서 primary 신호(이하, 1차 신호)는 1차 송신기(100)가 1차 채널을 통하여 1차 수신기(200)로 전송하는 데이터를 나타낸다.
2차 송신기(300)는 1차 사용자(PU)에 의해 1차 채널이 점유(사용) 중일 때는 1차 채널에 접근하여 1차 채널에 존재한 RF 신호(1차 신호)로부터 에너지를 무선 수집하거나, 자신의 안테나에 수신되는 1차 신호를 반사하면서 후방산란 방식을 통하여 자신의 데이터를 2차 수신기(400)로 전송할 수 있다.
물론, 2차 송신기(300)는 1차 채널이 미점유 중일 때는 비어 있는 1차 채널을 이용하여 2차 수신기(400)로 데이터를 RF 신호 형태로 만들어 전송한다.
이와 같이, 2차 송신기(300)는 1차 송신기(100)가 1차 채널을 통하여 1차 신호를 전송하는 동안에, 주변의 1차 신호로부터 에너지를 무선 수집(하베스팅)하는 '에너지 수집 모드', 또는 주변의 1차 신호를 이용하여 데이터를 후방산란 변조하여 2차 수신기(400)로 전송하는 '주변 후방산란 모드'로 동작할 수 있다.
또한, 2차 송신기(300)는 1차 송신기(100)가 1차 채널을 사용하고 있지 않는 동안에는, 1차 채널을 사용하여 데이터를 2차 수신기(400)로 전송하는 '액티브 전송 모드'로 동작할 수 있다.
여기서, 본 발명의 실시예는 2차 송신기(300)에서 현재 관측된 상태 정보에 따라 최적의 동작 모드를 매 동작 주기마다 선택하도록 하여, 전력 손실을 줄이고 송신 효율을 높인다.
도 5는 도 4에 도시된 2차 송신기의 구성을 나타낸 도면이다.
도 5에 나타낸 것과 같이, 본 발명의 실시예에서 2차 송신기(300)는 모드 제어부(310), 상태 검출부(320), 모드 선택부(330), 학습부(340)를 포함한다. 여기서, 각 부(310~340)의 동작 및 각 부 간의 데이터 흐름은 제어부(미도시)에 의해 제어될 수 있다.
여기서 상술한 각 요소(310~340)는 하나의 모드 제어 모듈 내에 통합 구현될 수 있고 2차 송신기()는 이러한 모드 제어 모듈을 내장 또는 포함하도록 구현될 수 있다. 또한, 2차 송신기(300)는 도 5에 도시된 구성요소 이외에도, 데이터의 송수신을 위한 신호 처리부, 송수신 안테나 등을 포함함은 자명하다. 따라서 2차 송신기(300)는 모드 제어 모듈 이외에도 안테나 모듈, 배터리 모듈, 신호 처리 모듈, 메모리, 프로세서 등을 포함하여 구현될 수 있다.
본 발명의 실시예에서, 모드 제어부(310)는 동작 주기에 해당한 매 프레임마다 2차 송신기(300)의 동작 모드를 결정할 수 있다. 여기서, 동작 모드는 4가지 모드(대기 모드, 에너지 수집 모드, 주변 후방산란 모드, 액티브 전송 모드) 중에서 결정될 수 있다.
도 6은 본 발명의 실시예에 적용된 동작 주기의 한 프레임의 구조를 설명한 도면이다.
도 6과 같이 한 개의 프레임은 균등한 시간 길이를 가지는 제1 슬롯(#1)과 제2 슬롯(#2)으로 구분된다. 이러한 제1 및 제2 슬롯은 한 프레임 내에서 분할된 것이므로 프레임 내의 서브 슬롯에 해당한다. 본 발명의 실시예는 이와 같이, 2개의 서브 슬롯으로 구성된 한 개 프레임을 동작 주기로 고려한다.
여기서, 제1 슬롯(#1)은 2차 송신기(300)가 에너지 수집 모드를 가동하는 동시에 에너지 변화를 관측하는 구간이며, 제2 슬롯(#2)은 제1 슬롯에서 관측된 상태에 따라 결정된 동작 모드가 실행되는 구간을 나타낸다.
즉, 모드 제어부(310)는, 프레임 내 연속한 두 개의 슬롯(#1, #2) 중 제1 슬롯(#1) 동안에는 2차 송신기(300)가 1차 채널 상에 존재한 RF 신호의 에너지를 수집하기 위한 에너지 수집 모드로 동작하도록 제어하고, 제2 슬롯 동안(#2)에는 2차 송신기(300)가 모드 선택부(330)에서 선택된 동작 모드에 따라 동작하도록 제어한다.
모드 제어부(310)는 2차 송신기(300) 내의 안테나 모듈, 신호 처리 모듈, 메모리, 프로세서 등에 접근하여, 매 프레임 별로 제1 슬롯 동안에는 2차 송신기(300)가 에너지 수집 모드로 동작하도록 제어할 수 있다. 물론 제2 슬롯에 대한 동작 모드 제어 이러한 원리가 적용될 수 있다.
상태 검출부(320)는 제1 슬롯(#1) 동안에 에너지 변화를 검출하되, 제1 슬롯(#1)의 마지막 시간 구간에서 검출된 에너지 변화량을 기초로 1차 채널 상의 RF 신호의 존재 여부를 판단하고, 판단 결과에 대응한 관찰값을 획득한다.
상태 검출부(320)는 역시 2차 송신기(300) 내의 안테나 모듈, 신호 처리 모듈, 메모리, 프로세서 등과 연결되어, 제1 슬롯 동안에 시간 별 에너지 크기 및 크기 변화를 관측할 수 있다.
모드 선택부(330)는 관찰값, 현재의 에너지 저장 상태 및 현재의 데이터 대기행렬 상태를 포함하는 현재 상태 정보를 이용하여, 4개의 동작 모드 중 하나의 동작 모드를 선택하고, 선택한 동작 모드의 정보를 모드 제어부(310)로 전달한다.
이에 따라, 모드 제어부(310)는 모드 선택부(330)에서 선택된 동작 모드를 제1 슬롯(#1) 이후의 제2 슬롯(#2)의 구간에 적용하여, 해당 동작 모드로 2차 송신기(300)를 구동시킨다. 만일, 선택된 동작 모드가 액티브 전송 모드라면, 2차 송신기(300)를 액티브 전송 모드로 구동시키고, 에너지 수집 모드라면, 2차 송신기(300)를 에너지 수집 모드로 동작시킨다.
즉, 2차 송신기(300)는 제1 슬롯에서는 에너지 수집 모드로 구동하고, 제2 슬롯에서는 에너지 수집 모드에서 관측된 결과를 기반하여 4가지 모드 중에서 선택된 하나의 동작 모드로 구동한다.
이와 같은 동작은 매 프레임마다 수행된다. 이에 따르면, 매 프레임마다 첫 번째 슬롯에서는 에너지를 수집할 수 있는 기회가 발생하고 두 번째 슬롯에서는 첫 번째 슬롯에서 관측된 상태에 따라 적합한 동작 모드로 구동함으로써 전력 소모를 최소화하면서 송신 효율을 높일 수 있다.
이하에서는 본 발명의 실시예에 따른 2차 송신기에서의 동작 모드 선택 방법을 보다 구체적으로 설명한다.
도 7은 도 4를 기반으로 하는 2차 송신기의 동작 모드 선택 방법을 설명하는 도면이다.
먼저, 2차 송신기(300)는 프레임을 구성하는 두 슬롯(#1, #2) 중 제1 슬롯(#2) 동안에, 네트워크 상의 1차 채널(primary 채널) 상에 존재한 RF 신호의 에너지를 수집할 수 있도록 에너지 수집 모드로 동작하면서, 에너지 변화를 검출한다(S710).
따라서, 제1 슬롯 구간에서, 2차 송신기(300)는 주변에서 검출되는 RF 신호의 에너지를 무선 수집하여 저장 장치(10)에 저장하여 두고, 추후 저장된 에너지를 데이터 전송(예: 액티브 전송 모드) 등에 필요한 에너지로 활용할 수 있다.
만일, 제1 슬롯(#1) 구간에서, 1차 송신기(100)가 1차 채널을 사용하여 데이터를 전송 중인 경우라면, 1차 채널은 1차 사용자에 의해 점유 중인 상태에 해당하고, 그렇지 않은 경우에는 1차 채널은 비어 있는 상태에 해당한다. 전자의 경우에는 제1 슬롯 동안에 주변으로부터 수집 가능한 에너지가 존재할 것이고 후자의 경우에는 그렇지 않다.
2차 송신기(300)는 이와 같이 제1 슬롯 동안에 에너지 수집 모드로 동작하면서, 에너지 변화를 검출한다. 이때, 에너지 변화란 시간에 따라 가변하는 에너지 크기(세기) 변화에 해당할 수 있다.
여기서, 2차 송신기(300)는 제1 슬롯(#1)의 마지막 시점에서 검출된 에너지 변화량을 기초로 RF 신호의 존재 여부를 판단하고, 판단 결과에 대응한 관찰값을 획득한다(S720). 물론 이러한 S730단계는 매우 짧은 시간 동안 처리될 수 있으며 S720 단계와 거의 동시에 진행될 수 있다.
여기서, 2차 송신기(300)는 제1 슬롯(#1)을 복수 시점 또는 구간으로 분할할 경우 마지막 시점(또는 마지막 구간)에서 관측된 에너지 크기를 직전 시점(또는 직전 구간)의 에너지 크기와 비교한 편차(Δe)를 이용하여 에너지 변화량을 검출할 수 있다. 이때, 에너지 변화량이 기 설정된 최소 변화량 이상이면 RF 신호가 존재하는 것으로 판단한다.
이와 같이, 2차 송신기(300)는 첫 번째 슬롯(#1) 동안에 에너지 수집 모드로 동작하면서 에너지 상태에 발생하는 변화를 관찰한다.
2차 송신기(300)는 에너지 수집 모드가 종료되는 첫 번째 슬롯(#1)의 마지막 시점에서의 에너지 상태에 발생하는 변화에 기초하여 수학식 1의 방법으로 관찰값(o)을 결정할 수 있다.
Figure 112021006733792-pat00004
여기서, Δe는 에너지 변화량(편차), emin은 주변 RF 신호의 존재 유무를 결정하기 위해 설정한 최소 에너지 변화량(기준값)을 나타낸다.
즉, 2차 송신기(300)는 수학식 1과 같이 제1 슬롯(#1)의 마지막 시점에서 관측된 에너지 변화량이 최소 변화량 이상이면(Δe≥emin), 주변에 RF 신호가 존재하는 것으로 판단하여 관찰값을 '1'의 값으로 결정하고, 최소 변화량 미만이면(Δe<emin), RF 신호가 미존재하는 것으로 판단하여 관찰값을 '0'의 값으로 결정한다.
이때 에너지 변화량이 최소 변화량 미만인 경우는 1차 채널이 비어있거나 RF 신호원이 충분히 멀리 떨어진 경우에 해당할 수 있다.
수학식 1에 따라, 제1 슬롯(#1)에서 관측되는 관찰값(o)은 RF 신호 존재 여부 판단 결과에 따라 1차 사용자가 1차 채널을 점유 중인 상태를 나타내는 '1'의 값 또는 미점유 상태를 나타내는 '0'의 값으로 결정되는 것을 알 수 있다.
그리고, 2차 송신기(300)는 관찰값, 현재의 에너지 저장 상태 및 현재의 데이터 대기행렬 상태를 포함하는 현재 상태 정보를 기반으로, 4 가지 동작 모드 중에서 하나의 동작 모드를 선택한다(S730).
여기서 물론, 현재의 에너지 저장 상태, 데이터 대기행렬 상태 또한 제1 슬롯(#1)의 마지막 시점(또는 구간)에서 상태 검출부(320)에 의해 관측된 상태에 해당할 수 있다. 상태 검출부(320)는 2차 송신기(300) 내의 신호 처리 모듈, 배터리 모듈, 메모리, 프로세서 등에 접근하여 현재 데이터 대기행렬 상태와 에너지 저장 상태를 파악할 수 있다.
이때, 2차 송신기(300)는 제1 슬롯(#1)에서 획득한 관찰값(o), 현재의 에너지 저장 상태(e), 데이터 대기행렬 상태(d)를 이용하여 아래 수학식 2의 조건에 따라 복수의 동작 모드 중 하나의 동작 모드(mode)를 선택할 수 있다.
Figure 112021006733792-pat00005
여기서, I는 대기 모드(Idle Mode), H는 에너지 수집 모드(Energy Harvesting Mode), B는 주변 후방산란 모드(Ambient Backscatter Mode), A는 액티브 전송 모드(Active Transmit Mode)를 나타낸다.
ea는 한 개의 슬롯(슬롯 한 단위) 동안에 액티브 전송 모드로 da 개의 데이터 패킷을 전송하는 경우에 2차 송신기(300)가 소모하는 에너지, db는 한 개의 슬롯 동안에 주변 후방산란 모드로 전송 가능한 데이터 패킷 수, da는 한 개의 슬롯 동안에 액티브 전송 모드로 전송 가능한 데이터 패킷 수이다. ea, da, da는 2차 송신기(300)의 설계 사양, 스펙, 동작 설정 등에 따라 사전에 설정될 수 있다.
수학식 2에서, 제1 슬롯(#1)의 마지막 시점에서 획득한 관찰값(o) = 0인 경우, 주변에 RF 신호가 미검출된 상태(1차 채널이 미점유 중인 상태))를 나타낸다. 이러한 경우에는 에너지 저장 상태(e)와 데이터 대기열 상태(d) 값에 따라, 대기 모드(I)나 액티브 전송 모드(A)가 선택되는 것을 알 수 있다.
또한, 관찰값(o) = 1인 경우, 주변에 RF 신호가 검출된 상태 즉, 1차 채널이 점유 중인 상태이며, 이때에는 에너지 저장 상태(e) 및 데이터 대기열 상태(d) 중 적어도 하나에 따라, 대기 모드(I), 에너지 수집 모드(H) 또는 주변 후방산란 모드(B)가 선택되는 것을 알 수 있다.
물론, 수학식 2에서, e<ea는 2차 송신기(300)의 배터리 내 현재 에너지 저장량이 ea 보다는 낮은 상태로서, 전력이 부족한 상황을 나타낸다.
d<da는 2차 송신기(300)에서 전송하고자 하는 데이터의 대기열이 da 보다는 작은 상태로서, 한 개 슬롯에서 송신할 데이터 패킷의 양이 아직 모자란 상황으로, 대기열이 꽉 찰 때까지 데이터 전송을 대기해도 됨을 의미한다.
반대로, d≥da은 현재 데이터 대기열에 한 슬롯 동안 전송 가능한 데이터 패킷량이 da 이상으로 채워진 상태로, 데이터 전송이 가능한 상태를 의미한다. 이때 아래첨자 a는 액티브 전송 모드와 관련한 것으로, d≥da은 현재 데이터 대기열 상태가 액티브 전송 모드의 데이터 전송이 가능한 상태임을 의미한다.
db의 경우도 이와 동일한 원리를 가진다. 예르 들어, d≥db는 현재 데이터 데이열 상태가 주변 후방산란 모드로 데이터 전송이 가능한 상태임을 나타낸다.
예를 들어, 수학식 2의 첫번째 행의 경우, 관찰값(o)= 0인 상황(채널 미점유 상태)이라 하더라도, 에너지 저장량(e)이 기준값(ea) 보다 부족하거나 데이터 대기열 상태(d)이 da 값에 미치지 못한 경우라면, 2차 송신기(300)가 그대로 대기하도록 하는 대기 모드(I)가 선택된다. 물론, 관찰값(o)= 1인 상황(채널 점유 상태)에서는, 에너지 저장량(e)이 기준값(ea)을 충족하더라도 데이터 대기열 상태(d)이 db 값에 미치지 못한 경우라면, 대기 모드(I)가 선택된다.
마지막 행의 경우, 관찰값(o)= 0인 상황(채널 점유 상태)에서, 에너지 저장량(e)이 기준값(ea) 이상을 충족하는 동시에 데이터 대기열 상태(d)이 da 값 이상을 충족한 경우라면, 액티브 전송 모드(A)가 선택된다.
이러한 선택 동작에 따라, 제1 슬롯(#1) 이후의 제2 슬롯(#2) 동안에, 2차 송신기(300)는 S730에서 선택한 동작 모드에 대응하여 구동할 수 있다(S740).
이때, S730 단계에서, 모드 선택부(330)는 기 학습된 DQN(Deep Q-Network) 알고리즘을 기반으로 현재 상태에서 선택 가능한 복수의 동작 모드 중 가장 높은 Q 값을 가지는 하나의 동작 모드를 선택할 수 있다.
물론, 이를 위해, 본 발명의 실시예는 2차 송신기(300)가 학습부(340)를 통하여 DQN(Deep Q-Network) 알고리즘을 학습하는 과정을 포함할 수 있다. 이러한 학습 과정은 S710 단계 이전에 수행될 수 있다. 학습 과정을 설명하면 다음과 같다.
우선, 학습을 위하여, 학습부(340)는 상태(s)와 액션(a)을 정의하며, 주어진 상태에서 임의 선택한 액선(a)에 대한 즉각적인 보상(R)을 수여하면서 DQN 알고리즘을 학습시킨다.
구체적으로, 학습부(340)는 2차 송신기(300)가 제1 슬롯(#1)에서 관측한 o, d, e를 포함한 상태 정보를 상태(s)로, 해당 상태에서 제2 슬롯(#2)을 위해 임의 선택한 동작 모드를 행동 값(a)으로 설정하여, 해당 상태에서 선택한 행동에 따른 즉각적인 보상(R)을 수행하면서 DQN 알고리즘을 학습시킨다.
DQN 알고리즘의 학습을 위하여, MDP(Markov Decision Process) 문제를 정의하면 다음과 같다.
2차 송신기(300)는 첫번째 슬롯(#1)에서 에너지 상태의 변화를 관찰한 후, 수학식 3과 같이 주어지는 상태 공간 (State Space)을 갖게 된다.
Figure 112021006733792-pat00006
여기서, o는 관찰값이고, d와 e는 현재 데이터 대기열(Data Queue)의 상태 및 에너지 저장 상태를 나타내고, Q와 E는 각각 Data Queue의 사이즈와 에너지 저장 장치의 용량을 의미한다. 여기서, Q는 Queue에서 비롯된 것으로, Q 함수와 관련한 Q값은 아니다.
2차 송신기(300)가 제1 슬롯(#1)에서 에너지 수집 모드(H)를 수행한 후에, 제2 슬롯(#2)에서 취할 수 있는 동작 모드(행동 a)는 다음과 같다.
Figure 112021006733792-pat00007
여기서, {j,k}의 j는 첫 번째 슬롯(#1)에서 수행하는 동작 모드이고, k는 두 번째 슬롯(#2)에서 취한 동작 모드를 나타낸다. 첫 번째 슬롯은 항상 에너지 수집 모드로 구동된다.
수학식 4에서, a는 행동(Action) 값으로, a = 0,1,2,3은 각각 대기 모드(I), 에너지 수집 모드(E), 주변 후방산란 모드(B), 액티브 전송 모드(A)를 나타낸다.
그리고, 2차 송신기(300)는 다음과 같이 주어지는 행동 공간(Action Space; As)를 갖게 된다.
Figure 112021006733792-pat00008
여기서, 수학식 5의 행동 공간은 수학식 4와 대응된다. 또한, 수학식 5에서 오른쪽 조건은 앞서 수학식 2와 대응되는 것을 알 수 있다. DQN 알고리즘의 경우 이러한 조건에 최적화되도록 학습될 수 있다.
본 발명의 실시예에서는 후방산란 회로가 소모하는 에너지를 고려하지 않는데, 이유는 다음과 같다.
도 8은 본 발명의 실시예에 적용되는 주변 후방산란 모드의 동작을 예시한 도면이다.
도 8에서 도시한 것과 같이, 후방산란 회로는 다이폴 안테나의 Branch 사이에 트랜지스터로 구성된 스위치를 연결하여 구현될 수 있다. 스위치의 입력은 '1'과 '0'으로 구성된 시퀀스이며 안테나의 임피던스를 제어하여 에너지를 반사하거나 흡수하면서 후방산란을 수행한다.
스위치에 '0'이 입력되면 트랜지스터가 꺼지면서 수신 신호를 흡수하기 때문에 안테나에서 소량의 에너지가 반사되는 반면, '1'이 입력되면 트랜지스터가 켜지면서 다이폴 안테나의 Branch 사이에서 Short 현상이 발생하여 많은 양의 에너지가 안테나로부터 반사된다. 후방산란 회로를 구현하기 위해 Reflective 스위치의 하나인 ADG902 RF 스위치를 사용할 수 있으며, ADG902 RF 스위치의 소모전력은 약 0.275
Figure 112021006733792-pat00009
이다. 따라서 본 발명에서는 후방산란 회로가 소모하는 에너지를 고려하지 않는다.
2차 송신기(300)는 에너지 수집 모드(E)를 수행하면서 액티브 전송 모드로 동작할 수 있는 에너지를 확보하고, 주변 후방산란 모드(B)와 액티브 전송 모드(A)를 통해 데이터를 전송하면서 동적으로 변화하는 환경인 1차 채널로부터 보상(Reward)을 받게 된다.
2차 송신기(300)가 데이터를 전송하기 위해 선택한 행동에 따라 받게될 보상 R은 다음 수학식 6과 같다.
Figure 112021006733792-pat00010
여기서, R(s,a)는 해당 상태(s)에서 선택한 행동 값(a)에 따라 주어지는 보상 값이고, a는 각 동작 모드에 대응하는 행동 값(0 = 대기 모드, 1 = 에너지 수집 모드, 2 = 주변 후방산란 모드, 3 = 액티브 전송 모드)이다.
현재의 주어진 상태에서 대기 모드(I) 혹은 에너지 수집 모드(E)를 행동으로 취한 경우 보상 값은 0이고, 주변 후방산란 모드(B)를 취한 경우에 보상 값은 db이며, 액티브 전송 모드(A)를 취한 경우에 보상 값은 da이 된다.
본 발명에서 2차 송신기(300)는 DQN 알고리즘의
Figure 112021006733792-pat00011
-탐욕 정책을 통하여 선택된 동작 모드에 따라 구동하면서 수학식 6과 같이 주어지는 보상을 받으며, 수학식 5에서와 같이 행동 공간이 상태 공간에 매핑되도록(2차 송신기의 상태에서 최적의 동작 모드를 선택하도록) 학습할 수 있게 되며, 주어진 에피소드 내에서 반복적인 학습을 통해 2차 시스템의 전송 성능을 향상시킬 수 있게 된다.
이러한 본 발명의 경우, 2차 송신기가 에너지 수집 모드를 통해 변화하는 에너지 상태를 스스로 관찰한 후 적합한 동작 모드를 선택하여 구동할 수 있기 때문에, 기회적으로 1차 채널에 접근하기 위해 전력 소모가 많은 독립적인 에너지 검출기를 필요로 하지 않는다.
또한, 2차 송신기가 현재의 주어진 상태에 적합한 최적의 동작 모드를 학습 가능한데, 특히 동적으로 변화하는 1차 채널 환경에서 2차 송신기는 수행한 동작 모드에 따라 상태가 변하고 환경으로부터 보상을 받으면서 임의의 상태에서 최적의 동작 모드를 스스로 학습하여, 2차 시스템의 전송 성능을 향상시킬 수 있게 된다.
따라서, 본 발명에 따르면, 2차 송신기가 에너지 수집 모드를 통하여 1차 채널의 에너지 변화 상태를 스스로 관찰한 후에 적합한 동작 모드를 직접 선택할 수 있도록 하여, 1차 채널의 점유 상태 검출 시에 전력 소모가 큰 에너지 검출기를 전혀 필요로 하지 않으며 그에 따른 불필요한 전력 소모를 방지할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 1차 송신기 200: 1차 수신기
300: 2차 송신기 310: 모드 제어부
320: 상태 검출부 330: 모드 선택부
340: 학습부 400: 2차 수신기

Claims (14)

  1. RF 충전 후방산란 CR 네트워크를 기반으로 하는 2차 송신기를 이용한 동작 모드 선택 방법에 있어서,
    동작 주기에 해당한 매 프레임마다, 상기 프레임을 구성한 2개 슬롯 중 제1 슬롯 동안에, 상기 2차 송신기는 네트워크 상의 1차 채널 상에 존재한 RF 신호의 에너지를 수집하기 위한 에너지 수집 모드로 동작하면서 에너지 변화를 검출하는 단계;
    상기 제1 슬롯의 마지막 시점에서 검출된 에너지 변화량을 기초로 상기 RF 신호의 존재 여부를 판단하고, 판단 결과에 따라 1차 사용자가 1차 채널을 점유 중인 상태를 나타내는 1의 값 또는 미점유 상태를 나타내는 0의 값을 갖는 관찰값을 획득하는 단계;
    상기 제1 슬롯에서 획득한 관찰값(o), 현재의 에너지 저장 상태(e) 및 데이터 대기행렬 상태(d)를 포함한 현재 상태 정보를 기반으로 대기 모드, 에너지 수집 모드, 주변 후방산란 모드, 액티브 전송 모드 중 하나의 동작 모드(mode)를 아래 조건에 따라 선택하는 단계; 및
    상기 2차 송신기는 상기 제1 슬롯 이후의 제2 슬롯 동안에, 상기 선택된 동작 모드에 대응하여 동작하는 단계를 포함하는 동작 모드 선택 방법:
    Figure 112022032376447-pat00024

    여기서, I는 대기 모드, H는 에너지 수집 모드, B는 주변 후방산란 모드, A는 액티브 전송 모드, ea는 한 개의 슬롯 동안에 액티브 전송 모드로 da 개의 데이터 패킷을 전송하는 경우에 소모하는 에너지, db는 한 개의 슬롯 동안에 주변 후방산란 모드로 전송 가능한 데이터 패킷 수, da는 한 개의 슬롯 동안에 액티브 전송 모드로 전송 가능한 데이터 패킷 수를 나타낸다.
  2. 청구항 1에 있어서,
    상기 프레임을 구성하는 제1 슬롯과 제2 슬롯은 상기 프레임 내에서 균등 시간 길이로 분할되어 형성된 동작 모드 선택 방법.
  3. 청구항 1에 있어서,
    상기 관찰값을 획득하는 단계는,
    상기 제1 슬롯을 복수 시점으로 분할할 경우 마지막 시점에서 관측된 에너지 크기를 직전 시점의 에너지 크기와 비교한 편차를 이용하여 상기 에너지 변화량을 검출하고,
    상기 에너지 변화량이 최소 변화량 이상이면 상기 RF 신호가 존재하는 것으로 판단하는 동작 모드 선택 방법.
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    상기 동작 모드를 선택하는 단계는,
    기 학습된 DQN(Deep Q-Network) 알고리즘을 기반으로 현재 상태에서 선택 가능한 복수의 동작 모드 중 가장 높은 Q 값을 가지는 하나의 동작 모드를 선택하는 동작 모드 선택 방법.
  7. 청구항 6에 있어서,
    상기 2차 송신기가 상기 제1 슬롯에서 관측한 상태 정보를 상태(s)로, 해당 상태에서 제2 슬롯을 위해 임의 선택한 동작 모드를 행동 값(a)으로 설정하여, 해당 상태에서 선택한 행동에 따른 즉각적인 보상(R)을 수행하면서 상기 DQN 알고리즘을 학습시키는 단계를 더 포함하며,
    해당 상태(s)에서 선택한 행동 값(a)에 따라 주어지는 보상 R(s,a)은 아래 수학식으로 정의되는 동작 모드 선택 방법:
    Figure 112021006733792-pat00013

    여기서, a는 각각의 동작 모드에 대응하는 행동 값(0 = 대기 모드, 1 = 에너지 수집 모드, 2 = 주변 후방산란 모드, 3 = 액티브 전송 모드), db는 한 개의 슬롯 동안에 주변 후방산란 모드로 전송 가능한 데이터 패킷 수, da는 한 개의 슬롯 동안에 액티브 전송 모드로 전송 가능한 데이터 패킷 수를 나타낸다.
  8. 1차 채널을 통해 1차 수신기로 RF 신호로 구성된 데이터를 전송하는 1차 송신기; 및
    1차 채널이 점유 중일 때 상기 RF 신호로부터 에너지를 수집하거나 주변 후방산란 방식을 통하여 2차 수신기로 데이터를 전송하고, 1차 채널이 미점유 중일 때는 상기 1차 채널을 이용하여 2차 수신기로 데이터를 전송하는 2차 송신기를 포함하며,
    상기 2차 송신기는,
    동작 주기에 해당한 매 프레임마다 동작 모드를 결정하되, 상기 프레임을 구성한 2개 슬롯 중 제1 슬롯 동안에는 1차 채널 상에 존재한 RF 신호의 에너지를 수집하기 위한 에너지 수집 모드로 동작하고, 제1 슬롯 이후의 제2 슬롯 동안에는 모드 선택부에서 선택된 동작 모드에 따라 동작하도록 제어하는 모드 제어부;
    상기 제1 슬롯 동안에 에너지 변화를 검출하되, 상기 제1 슬롯의 마지막 시점에서 검출된 에너지 변화량을 기초로 상기 RF 신호의 존재 여부를 판단하고, 판단 결과에 따라 1차 사용자가 1차 채널을 점유 중인 상태를 나타내는 1의 값 또는 미점유 상태를 나타내는 0의 값을 갖는 관찰값을 획득하는 상태 검출부; 및
    상기 제1 슬롯에서 획득한 관찰값(o), 현재의 에너지 저장 상태(e) 및 데이터 대기행렬 상태(d)를 포함한 현재 상태 정보를 기반으로 대기 모드, 에너지 수집 모드, 주변 후방산란 모드, 액티브 전송 모드 중 하나의 동작 모드(mode)를 아래 조건에 따라 선택하여 상기 모드 제어부로 전달하는 모드 선택부를 포함하는 RF 충전 후방산란 CR 네트워크 시스템:
    Figure 112022032376447-pat00025

    여기서, I는 대기 모드, H는 에너지 수집 모드, B는 주변 후방산란 모드, A는 액티브 전송 모드, ea는 한 개의 슬롯 동안에 액티브 전송 모드로 da 개의 데이터 패킷을 전송하는 경우에 소모하는 에너지, db는 한 개의 슬롯 동안에 주변 후방산란 모드로 전송 가능한 데이터 패킷 수, da는 한 개의 슬롯 동안에 액티브 전송 모드로 전송 가능한 데이터 패킷 수를 나타낸다.
  9. 청구항 8에 있어서,
    상기 프레임을 구성하는 제1 슬롯과 제2 슬롯은 상기 프레임 내에서 균등 시간 길이로 분할되어 형성된 RF 충전 후방산란 CR 네트워크 시스템.
  10. 청구항 8에 있어서,
    상기 상태 검출부는,
    상기 제1 슬롯을 복수 시점으로 분할할 경우 마지막 시점에서 관측된 에너지 크기를 직전 시점의 에너지 크기와 비교한 편차를 이용하여 상기 에너지 변화량을 검출하고,
    상기 에너지 변화량이 최소 변화량 이상이면 상기 RF 신호가 존재하는 것으로 판단하는 RF 충전 후방산란 CR 네트워크 시스템.
  11. 삭제
  12. 삭제
  13. 청구항 8에 있어서,
    상기 모드 선택부는,
    기 학습된 DQN(Deep Q-Network) 알고리즘을 기반으로 현재 상태에서 선택 가능한 복수의 동작 모드 중 가장 높은 Q 값을 가지는 하나의 동작 모드를 선택하는 RF 충전 후방산란 CR 네트워크 시스템.
  14. 청구항 13에 있어서,
    상기 2차 송신기가 상기 제1 슬롯에서 관측한 상태 정보를 상태(s)로, 해당 상태에서 제2 슬롯을 위해 임의 선택한 동작 모드를 행동 값(a)으로 설정하여, 해당 상태에서 선택한 행동에 따른 즉각적인 보상(R)을 수행하면서 상기 DQN 알고리즘을 학습시키는 학습부를 더 포함하며,
    해당 상태(s)에서 선택한 행동 값(a)에 따라 주어지는 보상 R(s,a)은 아래 수학식으로 정의되는 RF 충전 후방산란 CR 네트워크 시스템:
    Figure 112021006733792-pat00015

    여기서, a는 각각의 동작 모드에 대응하는 행동 값(0 = 대기 모드, 1 = 에너지 수집 모드, 2 = 주변 후방산란 모드, 3 = 액티브 전송 모드), db는 한 개의 슬롯 동안에 주변 후방산란 모드로 전송 가능한 데이터 패킷 수, da는 한 개의 슬롯 동안에 액티브 전송 모드로 전송 가능한 데이터 패킷 수를 나타낸다.
KR1020210007158A 2020-08-14 2021-01-19 Rf 충전 후방산란 cr 네트워크 시스템 및 그것을 이용한 동작 모드 선택 방법 KR102405691B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200102173 2020-08-14
KR1020200102173 2020-08-14

Publications (2)

Publication Number Publication Date
KR20220021846A KR20220021846A (ko) 2022-02-22
KR102405691B1 true KR102405691B1 (ko) 2022-06-07

Family

ID=80493921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210007158A KR102405691B1 (ko) 2020-08-14 2021-01-19 Rf 충전 후방산란 cr 네트워크 시스템 및 그것을 이용한 동작 모드 선택 방법

Country Status (1)

Country Link
KR (1) KR102405691B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102050283B1 (ko) * 2018-07-23 2019-11-29 숭실대학교산학협력단 인지 무선 네트워크에서 2차 사용자의 패킷 전송 성능 개선 방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102050283B1 (ko) * 2018-07-23 2019-11-29 숭실대학교산학협력단 인지 무선 네트워크에서 2차 사용자의 패킷 전송 성능 개선 방법 및 그 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Tran The Anh et al., "Deep Reinforcement Learning for Time Scheduling in RF-Powered Backscatter Cognitive Radio Networks," IEEE WCNC, (2019)*
권영민, 박형근, "사용자의 공평성과 채널품질을 고려한 분산형 무선인지MAC 프로토콜," 한국정보통신학회논문지, Vol. 20, No. 1 : 37~44 (2016.01)*

Also Published As

Publication number Publication date
KR20220021846A (ko) 2022-02-22

Similar Documents

Publication Publication Date Title
CN108282166B (zh) 天线共存互扰处理方法、装置、存储介质及电子设备
US7706846B2 (en) Mobile terminal capable of re-selecting cell in accordance of residual amount of battery and method of operating the same
CN101690327B (zh) 用于无线网的信道改变判决机制和方法
KR102050283B1 (ko) 인지 무선 네트워크에서 2차 사용자의 패킷 전송 성능 개선 방법 및 그 장치
US9270320B2 (en) Wireless communication apparatus and control method therefor
US20100085907A1 (en) Wireless relay device, wireless terminal, and recording medium that records program
JP6181211B2 (ja) 電源制御システム及び電源制御装置
JP2015092706A (ja) マルチモードワイヤレスデバイスにおけるアンテナとトランシーバとのマッピング
US20120170474A1 (en) System and Method of Adaptive Roaming for WLAN Clients
JP5135268B2 (ja) 無線システム、受信機
US20120116724A1 (en) Sensor data transmission frequency controller using sensor situation information
CN107231202B (zh) 一种LoRa工作模式的切换方法、装置及系统
KR102029930B1 (ko) 백스캐터 시스템에서 신호 검출 방법 및 장치
KR101714975B1 (ko) Wi-Fi 백스캐터 시스템 및 그것을 이용한 통신 성능 향상 방법
CN106301441A (zh) 一种降低移动终端辐射伤害的方法及系统
JP4318050B2 (ja) ワイヤレスチャンネル決定選択方法およびアクセスポイント装置
KR102405691B1 (ko) Rf 충전 후방산란 cr 네트워크 시스템 및 그것을 이용한 동작 모드 선택 방법
EP1901200A2 (en) RFID interrogator and RFID-interrogator control method
CN109286455B (zh) 一种防止多机干扰的通讯方法和通讯系统
NL2015432B1 (en) Method of transmitting data from a mobile transmitter device to a host unit, and mobile transmitter device.
KR101536696B1 (ko) Ｒｆｉｄ 인터로게이터
CN110290564A (zh) 干扰控制方法及相关产品
CN114513224B (zh) 终端天线的工作模式确定方法、装置、终端及存储介质
CN105549402A (zh) 一种智能家居控制方法及其装置
JPWO2006046283A1 (ja) 無線移動局装置及び通信切替判定方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant