KR20150053180A - 강화학습 기반의 에너지 효율과 평형을 고려한 무선 인체 영역 네트워크 라우팅 프로토콜 - Google Patents

강화학습 기반의 에너지 효율과 평형을 고려한 무선 인체 영역 네트워크 라우팅 프로토콜 Download PDF

Info

Publication number
KR20150053180A
KR20150053180A KR1020130135040A KR20130135040A KR20150053180A KR 20150053180 A KR20150053180 A KR 20150053180A KR 1020130135040 A KR1020130135040 A KR 1020130135040A KR 20130135040 A KR20130135040 A KR 20130135040A KR 20150053180 A KR20150053180 A KR 20150053180A
Authority
KR
South Korea
Prior art keywords
energy
area network
body area
wireless body
node
Prior art date
Application number
KR1020130135040A
Other languages
English (en)
Inventor
홍충선
고람 라비 울 알람 엠디
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020130135040A priority Critical patent/KR20150053180A/ko
Publication of KR20150053180A publication Critical patent/KR20150053180A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은 무선 신체 영역 네트워크의 고유 특성에 맞는 강화 학습을 기반으로 하는 라우팅 프로토콜로, 더욱 효율적인 전력 소비와 더불어 전력 소비의 적절한 배분이 가능한 라우팅 방법에 관한 것이다.

Description

강화학습 기반의 에너지 효율과 평형을 고려한 무선 인체 영역 네트워크 라우팅 프로토콜{A reinforce learning based energy-efficient and energy-balanced routing protocol for wireless body area network}
본 발명은 무선 신체 영역 네트워크의 고유 특성에 맞는 강화 학습을 기반으로 하는 라우팅 프로토콜로, 더욱 효율적인 전력 소비와 더불어 전력 소비의 적절한 배분이 가능한 라우팅 방법에 관한 것이다.
무선 신체 영역 네트워크(WBAN)이 심한 감쇠, 작은 크기의 생체 센서, 높은 신뢰성과 에너지 효율 요구 및 높은 처리량, 낮은 잠복(latency) 요구 등과 같은 독특한 특징을 가진다. 이러한 요구로 인하여, 무선 신체 영역 네트워크를 위한 네트워크 프로토콜에 대한 설계가 필요하다.
본 발명의 목적은 강화 학습(reinforcement learning) 기법의 Q-학습 방법을 사용하여 무선 신체 영역 네트워크에서 낮은 패킷 삭제 비율을 유지하면서 에너지 효율, 에너지 균형 및 최소 홉라우팅을 달성하는 것이다.
복잡한 연산량을 요구하지 않으며 최적에 가까운 정책을 생성하는, 센서 노드로부터 싱크 노드로의 라우팅 경로를 검색할 수 있는 강화 학습 기법의 Q-학습 기법인 것을 특징으로 한다.
본 발명은 강화 학습(reinforcement learning) 기법의 Q-학습 방법을 사용하여 무선 신체 영역 네트워크에서 낮은 패킷 삭제 비율을 유지하면서 에너지 효율, 에너지 균형 및 최소 홉 라우팅을 달성할 수 있다.
도 1은 본 발명에 따른 무선 신체 영역 네트워크를 설명하기 위한 도면이다.
무선 센서 네트워크의 기존 라우팅 방법은 자원이 제한된 무선 신체 네트워크에 적합하지 않다. 따라서 복잡한 계산 없이 최적에 가까운 정책을 생성할 수 있는 몇 가지 추정 방법이 필요하다. 확률 모델을 모른 채 최적의 정책을 학습하기 때문에 강화 학습 전략을 사용하여 상태 동작 쌍으로 작업 환경을 학습하는 Q- 학습 방식을 사용했다. Q-테이블과 같은 학습을 통해 최적의 정책을 사용하여 환경에 최적의 행동을 수행할 수 있다.
신체 영역 네트워크에 데이터 패킷의 라우팅을 위한 Q-학습을 적용하려면, 센서 노드들 각각의 상태를 고려하여야 한다. 따라서 상태의 집합은 {X1, X2, ... XN} = {A, B, ... P}이다. 각 상태에서 노드는 패킷 포워딩 작업을 수행할 수 있으며 패킷을 포워딩하기 위한 또 다른 경로를 검색할 수 있다. 데이터 패킷은 성공적으로 포워드되거나 또는 노드가 동일한 경로 또는 다른 적절한 경로를 통해 패킷을 재전송하는 경우 패킷 실패가 발생할 수 있다. 그래서, 작업 세트{A1, A2, ...}를 고려한다.
Q- 학습은 상태-동작 쌍 Q(x,a)로 동작한다. 정책(π)을 사용하는 경우 상태(x)에서 취해진 동작의 값을 정책(π)에서 취한 동작에 대한 기대 보상으로 아래의 수학식(1)로 규정할 수 있다.
[수학식 1]
Figure pat00001
여기서 Rt는 시간 t에서의 기대 보상을 의미한다. 보상은 이전에 성공적으로 수행된 단계를 다시 수행하는 동기를 부여하는 것의 하나이다. 일반적으로, 학습 에이전트에 대한 보상으로 성공적인 작동 또는 효율적인 운영을 위해 양수 값을 할당한다. 때로는 보상이 다수의 효율적인 동작에 종속하는 다중 함수 결과를 이용하여 보상이 결정된다. 비효율적인 작업에 대해, 부정적인 보상을 제공함으로써 학습 에이전트를 처벌할 수 있다. 따라서 보상 함수의 목적은 만약 수학식(4)에서 규정하는 신호 세기와 휴리스틱(heuristic) 거리를 고려하여 이전 시간에 패킷을 성공적으로 송신하였다면, Q-학습 에이전트로 하여금 동일한 링크를 다시 따르도록 동기를 부여하여 것이다. 또한 수학식(8)의 전송 실패에 대해서는 에이전트에게 처벌을 적용할 수 있다. 수학식(2)와 같이 최적의 정책에 따라 반복에 의해 근사화되는 최적 값을 검색할 수 있다.
[수학식 2]
Figure pat00002
여기서 β는 0 또는 1의 값을 가지는 수렴 비율이다.
신체 영역 네트워크의 효율적인 라우팅 정책을 위하여, 상태, 동작과 보상을 아래와 같이 정의한다..
상태: X={xi, 신체 영역 네트워크의 센서 노드, i=(1,2,3 ...... N)}
동작: A={a(xil터), 센서 노드(xi)와 센서 노드(xj) 사이의 패킷 포워딩 동작, 여기서 xj는 xi의 송신 범위에 위치한다}
보상 함수: 보상 함수는 아래의 수학식(3)과 같다.
[수학식 3]
Figure pat00003
여기서
Figure pat00004
는 노드 xi에서 노드 xj로 동작a를 이용하여 성공적으로 패킷을 송신할 확률을 의미하며, xi는 xj에 인접하여 위치한다.
Figure pat00005
는 아래의 수학식(4)와 같이 정의된다.
[수학식 4]
Figure pat00006
여기서 A1, A2 및 A3는 잔여 에너지의 가중치 요인, 신호 세기 및 휴리스틱 거리을 의미하며 A1+A2+A3=1이다.
C(energyresidual)는 센서 노드 i의 초기 에너지(Einit)와 현재 잔여 에너지에 의존하는 잔여 에너지의 비용 함수이다. 성공적으로 패킷을 송신하는 경우, 송신기 노드(xi)와 발신기 노드(xj)는 모두 에너지를 손실한다. 노드가 적은 잔여 에너지를 가지고 있다면 패킷을 전달하는 노드가 사용하는 잔여 에너지 비용은 수학식(5)와 같이 더 커진다. 노드는 수학식(4)의 기대 함수에 따라 처벌될 것이다.
[수학식 5]
Figure pat00007
D(signalstrength)는 송신기 노드(xi)가 주변 노드(xj)로부터 수신하는 신호 세기의 기대 함수를 의미하며 아래의 수학식(6)과 같다.
[수학식 6]
Figure pat00008
E(Heuristicdistance)는 싱크 노드(xp)와 기대 수신기 노드(xj) 사이의 직선 라인 거리의 허용가능한 휴리스틱 값에 대한 기대 함수이며, 아래의 수학식(7)과 같다.
[수학식 7]
Figure pat00009
Figure pat00010
는 실패한 패킷 전송에 대한 보상 함수이며, 아래의 수학식(8)과 같다.
[수학식 8]
Figure pat00011
무선 신체 영역 네트워크(WBAN)는 통신 기술, 생체 의공학, 유비쿼터스 컴퓨팅 및 에너지 효율, 신뢰성, 유비쿼터스 센서 소형화, 헬스케어 애플리케이션을 위한 나노 통신이 결합되는 새로운 무선 네트워킹 기술이다. 강화 학습에 기반한 본 발명의 라우팅은 무선 신체 센서 네트워크 또는 신체 영역 네트워크 도는 바이오 센서 네트워크와 같은 무선 개인 영역 네트워크에 적절하게 사용될 수 있는데, 네트워크 수명을 증가시키기 위해 에너지 균형과 에너지 효율을 고려하여야 한다. 따라서 본 발명은 환자 모니터링, e- 헬스케어, U- 헬스케어, m- 헬스 케어, i-헬스케어와 같은 헬스케어 애프리케이션에 적용 가능하며 운동 트레이닝 및 개인 생활 보호에도 적용 가능하다.
도 1은 본 발명에 따른 무선 신체 영역 네트워크를 설명하기 위한 도면이다.
도 1을 참고로 보다 구체적으로 살펴보면, 무선 신체 영역 네트워크에서 센서 노드 및 싱크 노드의 2가지 타입의 센서 노드를 고려할 수 있다. 노드는 자신의 통신 범위에 따라 서로 연결되어 있다. 도 1에 n개의 센서 노드들이 존재한다. 센서 노드의 세트로 X={A, B, C, D, ..... P }이다. 여기서 P는 싱크 노드이며 다른것들은 다른 센서 노드들이다. WBAN에서 싱크 노드로 모든 센서 노드들은 데이터 패킷을 포워드하며 싱크 노드는 무선 개인 영역 네트워크(WPAN) 또는 무선 도시 영역 네트워크(WMAN)로 데이터 패킷을 송신한다. 이웃 노드의 세트는 수신 신호의 세기에 기초하여 다른 노드들과 통신할 수 있는 노드로 규정된다. 노드는 한계 범위 내에서 통신 요구에 따라 소인 에너지를 능동적으로 조절할 수 있다.
여기에서 복잡한 연산량을 요구하지 않으며 최적에 가까운 정책을 생성하는, 센서 노드로부터 싱크 노드로의 라우팅 경로를 검색할 수 있는 강화 학습 기법의 Q-학습 기법을 사용한다.
본 발명에서 각 센서 노드는 Q값을 갱신하여 싱크 노드로의 거의 최단의 라우트를 학습할 수 있다. 최적 Q값에 대한 보상 함수는 잔여 에너지, RSS 및 허용 가능한 휴리스틱 거리를 보상한다. 따라서 라우팅 프로토콜(QRP)에 기반한 본 발명의 Q-학습은 WBAN 네트워크 센서의 균형된 에너지 소비를 이용하여 낮은 패킷 손실율을 유지하며 효율적으로 최적 라우트를 선택할 수 있다.

Claims (1)

  1. 복잡한 연산량을 요구하지 않으며 최적에 가까운 정책을 생성하는, 센서 노드로부터 싱크 노드로의 라우팅 경로를 검색할 수 있는 강화 학습 기법의 Q-학습 방법
KR1020130135040A 2013-11-07 2013-11-07 강화학습 기반의 에너지 효율과 평형을 고려한 무선 인체 영역 네트워크 라우팅 프로토콜 KR20150053180A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130135040A KR20150053180A (ko) 2013-11-07 2013-11-07 강화학습 기반의 에너지 효율과 평형을 고려한 무선 인체 영역 네트워크 라우팅 프로토콜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130135040A KR20150053180A (ko) 2013-11-07 2013-11-07 강화학습 기반의 에너지 효율과 평형을 고려한 무선 인체 영역 네트워크 라우팅 프로토콜

Publications (1)

Publication Number Publication Date
KR20150053180A true KR20150053180A (ko) 2015-05-15

Family

ID=53389832

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130135040A KR20150053180A (ko) 2013-11-07 2013-11-07 강화학습 기반의 에너지 효율과 평형을 고려한 무선 인체 영역 네트워크 라우팅 프로토콜

Country Status (1)

Country Link
KR (1) KR20150053180A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200117423A (ko) * 2019-04-04 2020-10-14 영남대학교 산학협력단 무선 센서 네트워크에서의 라우팅 방법, 이를 수행하기 위한 기록매체 및 장치
KR102405545B1 (ko) * 2020-12-31 2022-06-07 숭실대학교 산학협력단 무선 센서 네트워크를 위한 강화 학습 기반 노드 연결 방법 및 장치와 이를 위한 컴퓨터 프로그램
CN114786236A (zh) * 2022-04-27 2022-07-22 曲阜师范大学 无线传感器网络启发式学习路由协议的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200117423A (ko) * 2019-04-04 2020-10-14 영남대학교 산학협력단 무선 센서 네트워크에서의 라우팅 방법, 이를 수행하기 위한 기록매체 및 장치
KR102405545B1 (ko) * 2020-12-31 2022-06-07 숭실대학교 산학협력단 무선 센서 네트워크를 위한 강화 학습 기반 노드 연결 방법 및 장치와 이를 위한 컴퓨터 프로그램
CN114786236A (zh) * 2022-04-27 2022-07-22 曲阜师范大学 无线传感器网络启发式学习路由协议的方法及装置
CN114786236B (zh) * 2022-04-27 2024-05-31 曲阜师范大学 无线传感器网络启发式学习路由协议的方法及装置

Similar Documents

Publication Publication Date Title
Zhang et al. A multi-path routing protocol based on link lifetime and energy consumption prediction for mobile edge computing
US9191304B1 (en) Reinforcement learning-based distributed network routing method utilizing integrated tracking and selective sweeping
Li et al. A multi-agent reinforcement learning routing protocol for underwater optical sensor networks
Wang et al. Multi-hop deflection routing algorithm based on reinforcement learning for energy-harvesting nanonetworks
DE60332217D1 (de) System und verfahren zur bereitstellung einer adaptiven regelung der sendeleistung und datenrate in ad-hoc-netzwerken
Naddafzadeh-Shirazi et al. Distributed reinforcement learning frameworks for cooperative retransmission in wireless networks
Plate et al. Utilizing kinematics and selective sweeping in reinforcement learning-based routing algorithms for underwater networks
Mostafa et al. A multi-agent ad hoc on-demand distance vector for improving the quality of service in MANETs
Alkhayyat et al. Cooperative communication based: Efficient power allocation for wireless body area networks
KR20150053180A (ko) 강화학습 기반의 에너지 효율과 평형을 고려한 무선 인체 영역 네트워크 라우팅 프로토콜
Memon et al. Enhanced probabilistic route stability (EPRS) protocol for healthcare applications of WBAN
Karim et al. QL-EEBDG: QLearning based energy balanced routing in underwater sensor networks
Shah et al. A balanced energy consumption protocol for underwater ASNs
Sensarma et al. Iwdra: An intelligent water drop based qos-aware routing algorithm for manets
US9250689B2 (en) Control server, network control method, and program
Tewari et al. Optimized hybrid ant colony and greedy algorithm technique based load balancing for energy conservation in WSN
Aftab et al. A Deep Reinforcement-Learning-Based Relay Selection for Underwater Sensors Network
Merabtine et al. One-step clustering protocol for periodic traffic wireless sensor networks
Anish Pon Yamini et al. New approach for advanced energy efficiency in MANET (AEE-M) by improving optimized link state routing protocol version 2 (OLSRv2)
Dhanapal et al. A sector based energy efficient adaptive routing protocol for large scale MANET
Alharbi et al. A mobile ad hoc network q-routing algorithm: Self-aware approach
Leanna et al. Comparison of proactive and reactive routing protocol in mobile adhoc network based on “ant-algorithm”
Alam et al. A Q-learning based routing protocol for body area networks
Kumar et al. Optimal route life time prediction of dynamic mobile nodes in manets
KR101294366B1 (ko) 노드 장치 및 상기 노드 장치가 수행하는 메시지 전송 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid