KR20200117423A - 무선 센서 네트워크에서의 라우팅 방법, 이를 수행하기 위한 기록매체 및 장치 - Google Patents

무선 센서 네트워크에서의 라우팅 방법, 이를 수행하기 위한 기록매체 및 장치 Download PDF

Info

Publication number
KR20200117423A
KR20200117423A KR1020190039506A KR20190039506A KR20200117423A KR 20200117423 A KR20200117423 A KR 20200117423A KR 1020190039506 A KR1020190039506 A KR 1020190039506A KR 20190039506 A KR20190039506 A KR 20190039506A KR 20200117423 A KR20200117423 A KR 20200117423A
Authority
KR
South Korea
Prior art keywords
routing
current state
node
wireless sensor
sensor network
Prior art date
Application number
KR1020190039506A
Other languages
English (en)
Other versions
KR102224269B1 (ko
Inventor
김성원
유사프빈지크리아
무사띠크아르스란
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020190039506A priority Critical patent/KR102224269B1/ko
Publication of KR20200117423A publication Critical patent/KR20200117423A/ko
Application granted granted Critical
Publication of KR102224269B1 publication Critical patent/KR102224269B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/04—Communication route or path selection, e.g. power-based or shortest path routing based on wireless node resources
    • H04W40/10—Communication route or path selection, e.g. power-based or shortest path routing based on wireless node resources based on available power or energy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/18—Communication route or path selection, e.g. power-based or shortest path routing based on predicted events
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/24—Connectivity information management, e.g. connectivity discovery or connectivity update
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

센서 노드가 무선 센서 네트워크 환경에서 실행한 라우팅에 의해 축적된 정보인 라우팅 정보를 획득하여 상기 센서 노드의 현재 상태를 나타내는 현재 상태 정보를 산출하는 단계, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하거나, 상기 센서 노드의 상태 정보 별로 특정 부모 노드로 패킷을 전송하는 경우 상기 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 매칭하여 저장한 Q-테이블과 상기 현재 상태 정보를 비교하여 부모 노드를 선택하는 단계 및 선택한 부모 노드로 패킷을 전송하고 상기 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 획득하여 상기 Q-테이블을 갱신하는 단계를 포함하는 무선 센서 네트워크에서의 라우팅 방법이 개시된다.

Description

무선 센서 네트워크에서의 라우팅 방법, 이를 수행하기 위한 기록매체 및 장치{METHOD OF ROUTING IN WIRELESS SENSOR NETWORKS, COMPUTER READABLE MEDIUM AND APPARATUS FOR PERFORMING THE METHOD}
본 발명은 무선 센서 네트워크에서의 라우팅 방법, 이를 수행하기 위한 기록매체 및 장치에 관한 것으로, 더욱 상세하게는 강화 학습에 기반하여 라우팅 경로를 선택하는 무선 센서 네트워크에서의 라우팅 방법, 이를 수행하기 위한 기록매체 및 장치에 관한 것이다.
무선 센서 네트워크(WSN: Wireless sensor networks)는 데이터 전송을 위해 링크로 연결되어 있는 센서 노드들이 형성하는 조밀한 메쉬 네트워크라 할 수 있다. 무선 센서 네트워크의 규모가 커짐에 따라 효율성 및 신뢰성의 보장이 중요한데, 이를 위한 라우팅 메커니즘은 매우 복잡한 수학적 모델을 필요로한다.
예를 들면, IETF(International engineering task force)는 RPL이라 하는 라우팅 프로토콜을 표준화한 바 있다.
RPL 라우팅 프로토콜은 저전력 및 저손실 네트워크를 구축하기 위한 라우팅 프로토콜로, 네트워크가 초기화되는 즉시 경로를 찾는 프로액티브(proactive) 라우팅 프로토콜이다. RPL 라우팅 프로토콜은 DODAG(destination oriented directed acyclic graph)로 불리는 라우팅 토폴로지를 생성하는데, 이는 루트 노드 또는 싱크 노드라 하는 하나 이상의 노드를 루트로 하는 대상 지향적 비순환 그래프이다.
이러한 라우팅 토폴로지는 특정 목적 함수를 기반으로 생성될 수 있다. 여기서는 예상 전송 횟수를 사용하는 히스테리시스 목표 함수를 이용하여 최소 순위를 표준화하고, 경로 선택을 위한 기본 매트릭으로 홉 수를 사용하는 함수를 이용한다.
이처럼 RPL 라우팅 프로토콜은 에너지가 높은 제어 패킷의 교환을 필요로하며, 계산이 복잡하고 독립적이지 못하다는 문제점이 있다.
본 발명의 일측면은 무선 센서 네트워크 환경으로부터 상태(State) 정보를 획득하고, 상태 정보에 따라 부모 노드를 선택하는 동작(Action)을 발생시키며, 무선 센서 네트워크 환경으로부터 동작에 따른 보상(Reward)을 획득하고, 강화 학습 알고리즘에 기반한 상태-동작-보상 데이터의 학습을 수행하여 센서 노드의 라우팅 정책을 결정하는 무선 센서 네트워크에서의 라우팅 방법, 이를 수행하기 위한 기록매체 및 장치를 제공한다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 무선 센서 네트워크에서의 라우팅 방법은 무선 센서 네트워크를 구성하는 센서 노드가 패킷을 전송할 부모 노드를 선택하기 위한 무선 센서 네트워크에서의 라우팅 방법에 있어서, 상기 센서 노드가 상기 무선 센서 네트워크 환경에서 실행한 라우팅에 의해 축적된 정보인 라우팅 정보를 획득하여 상기 센서 노드의 현재 상태를 나타내는 현재 상태 정보를 산출하는 단계, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하거나, 상기 센서 노드의 상태 정보 별로 특정 부모 노드로 패킷을 전송하는 경우 상기 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 매칭하여 저장한 Q-테이블과 상기 현재 상태 정보를 비교하여 부모 노드를 선택하는 단계 및 선택한 부모 노드로 패킷을 전송하고 상기 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 획득하여 상기 Q-테이블을 갱신하는 단계를 포함한다.
한편, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하거나, 상기 센서 노드의 상태 정보 별로 특정 부모 노드로 패킷을 전송하는 경우, 상기 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 매칭하여 저장한 Q-테이블과 상기 현재 상태 정보를 비교하여 부모 노드를 선택하는 단계는, 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로의 학습 여부를 결정하기 위한 MAB 알고리즘을 실행하는 단계, 상기 MAB 알고리즘 실행 결과, 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로를 학습하는 것으로 결정되는 경우, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하는 단계 및 상기 MAB 알고리즘의 실행 결과, 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로를 학습하지 않는 것으로 결정되는 경우, 상기 Q-테이블에서 상기 현재 상태 정보와 매칭되어 저장된 부모 노드 중 에너지 소비량이 최소값을 갖는 부모 노드를 선택하는 단계를 포함할 수 있다.
또한, 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로의 학습 여부를 결정하기 위한 MAB 알고리즘을 실행하는 단계는, 상기 센서 노드의 패킷 전송이 최초인지 여부를 확인하는 단계, 상기 센서 노드의 패킷 전송이 최초인 경우, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하는 단계 및 상기 센서 노드의 패킷 전송이 최초가 아닌 경우, 상기 MAB 알고리즘을 실행하는 단계를 포함할 수 있다.
또한, 상기 Q-테이블을 이용하여 상기 현재 상태에서의 라우팅 정책을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 Q-테이블을 이용하여 상기 현재 상태에서의 라우팅 정책을 생성하는 단계는, 상기 Q-테이블에서 상기 현재 상태와 매칭되어 저장된 부모 노드 중 에너지 소비량이 최소값을 갖는 부모 노드를 선택하는 것을 상기 현재 상태에서의 라우팅 정책으로 생성하는 단계일 수 있다.
또한, 상기 Q-테이블을 갱신할 때마다 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로의 학습 진행을 나타내는 학습률(α)을 갱신하는 단계 및 상기 학습률(α)에 따라 상기 현재 상태에서의 라우팅 정책을 평가하여 상기 현재 상태에서의 최적 라우팅 정책으로 선정하는 단계를 더 포함할 수 있다.
또한, 상기 센서 노드가 상기 무선 센서 네트워크 환경에서 실행한 라우팅에 의해 축적된 정보인 라우팅 정보를 획득하여 상기 센서 노드의 현재 상태를 나타내는 현재 상태 정보를 산출하는 단계는, 상기 무선 센서 네트워크 환경으로부터 ETX(Expected transmission count), RSSI(Receive Signal Strength) 및 MAC(Medium access control) layer 개수를 포함하는 상기 라우팅 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 센서 노드가 상기 무선 센서 네트워크 환경에서 실행한 라우팅에 의해 축적된 정보인 라우팅 정보를 획득하여 상기 센서 노드의 현재 상태를 나타내는 현재 상태 정보를 산출하는 단계는, 상기 센서 노드가 상기 무선 센서 네트워크 환경에서 라우팅을 실행하는 동안의 ETX(Expected transmission count), RSSI(Receive Signal Strength) 및 MAC(Medium access control) layer 개수의 평균을 더하여 상기 현재 상태 정보로 산출하는 단계를 포함할 수 있다.
또한 상기 무선 센서 네트워크에서의 라우팅 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체일 수 있다.
한편 본 발명의 무선 센서 네트워크에서의 라우팅 장치는 무선 센서 네트워크를 구성하는 센서 노드에 탑재되어 패킷을 전송할 부모 노드를 선택하기 위한 무선 센서 네트워크에서의 라우팅 장치에 있어서, 상기 센서 노드가 상기 무선 센서 네트워크 환경에서 실행한 라우팅에 의해 축적된 정보인 라우팅 정보를 획득하여 상기 센서 노드의 현재 상태를 나타내는 현재 상태 정보를 산출하는 현재 상태 정보 산출부 및 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하거나, 상기 센서 노드의 상태 정보 별로 특정 부모 노드로 패킷을 전송하는 경우 상기 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 매칭하여 저장한 Q-테이블과 상기 현재 상태 정보를 비교하여 부모 노드를 선택하며, 선택한 부모 노드로의 패킷 전송 결과 상기 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 획득하여 상기 Q-테이블을 갱신하는 라우팅 경로 학습부를 포함한다.
한편, 상기 라우팅 경로 학습부는, 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로의 학습 여부를 결정하기 위한 MAB 알고리즘을 실행하는 MAB 알고리즘 실행부 및 상기 MAB 알고리즘 실행 결과, 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로를 학습하는 것으로 결정되는 경우, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하고, 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로를 학습하지 않는 것으로 결정되는 경우, 상기 Q-테이블에서 상기 현재 상태 정보와 매칭되어 저장된 부모 노드 중 에너지 소비량이 최소값을 갖는 부모 노드를 선택하는 라우팅 경로 설정부를 포함할 수 있다.
또한, 상기 라우팅 경로 설정부는, 상기 센서 노드의 패킷 전송이 최초인지 여부를 확인하여, 상기 센서 노드의 패킷 전송이 최초인 경우, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하고, 상기 센서 노드의 패킷 전송이 최초가 아닌 경우, 상기 MAB 알고리즘을 실행하도록 할 수 있다.
또한, 상기 Q-테이블을 이용하여 상기 현재 상태에서의 라우팅 정책을 생성하는 라우팅 정책 생성부를 더 포함할 수 있다.
또한, 상기 라우팅 정책 생성부는, 상기 Q-테이블에서 상기 현재 상태와 매칭되어 저장된 부모 노드 중 에너지 소비량이 최소값을 갖는 부모 노드를 선택하는 것을 상기 현재 상태에서의 라우팅 정책으로 생성할 수 있다.
또한, 상기 라우팅 경로 학습부는, 상기 Q-테이블을 갱신하는 경우, 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로의 학습 진행을 나타내는 학습률(α)을 갱신할 수 있다.
또한, 상기 라우팅 경로 학습부는, 상기 학습률(α)에 따라 상기 현재 상태에서의 라우팅 정책을 평가하여 상기 현재 상태에서의 최적 라우팅 정책으로 선정하는 라우팅 정책 평가부를 더 포함할 수 있다.
또한, 상기 라우팅 경로 설정부는, 상기 현재 상태에서의 최적 라우팅 정책이 선정된 경우, 상기 최적 라우팅 정책에 따른 부모 노드를 선택할 수 있다.
또한, 상기 현재 상태 정보 산출부는, 상기 무선 센서 네트워크 환경으로부터 ETX(Expected transmission count), RSSI(Receive Signal Strength) 및 MAC(Medium access control) layer 개수를 포함하는 상기 라우팅 정보를 획득할 수 있다.
또한, 상기 현재 상태 정보 산출부는, 상기 센서 노드가 상기 무선 센서 네트워크 환경에서 라우팅을 실행하는 동안의 ETX(Expected transmission count), RSSI(Receive Signal Strength) 및 MAC(Medium access control) layer 개수의 평균을 더하여 상기 현재 상태 정보로 산출할 수 있다.
본 발명에 따르면 MAB(multi-armed bandit) 기술 기반의 강화 학습(RL: Reinforcement Learning) 알고리즘에 따라 상태-동작-보상 데이터를 학습하여, 에너지 소비량을 최소로 하는 라우팅 정책을 결정할 수 있으며, 이는 센서 노드의 에너지를 보존하여 수명을 길게 할 수 있고, 나아가 무선 센서 네트워크의 효율성 및 신뢰성을 보장할 수 있다.
도 1은 본 발명의 일 실시예에 따른 라우팅 장치의 실 적용예를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 라우팅 장치의 블록도이다.
도 3은 도 2에 도시된 라우팅 경로 학습부의 세부 블록도이다.
도 4는 본 발명의 일 실시예에 따른 무선 센서 네트워크에서의 라우팅 방법을 간략히 보여주는 흐름도이다.
도 5는 도 4에 도시된 본 발명의 일 실시예에 따른 무선 센서 네트워크에서의 라우팅 방법을 세부적으로 보여주는 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 라우팅 장치의 실 적용예를 보여주는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 라우팅 장치(1)는 무선 센서 네트워크를 구성하는 노드에 탑재되어 라우팅 정책을 결정할 수 있다.
본 발명의 일 실시예에 따른 라우팅 장치(1)는 무선 센서 네트워크를 구성하는 센서 노드에 탑재되어, 복수의 이웃 노드(21, 22, 23) 중 패킷을 전송할 하나의 부모 노드를 선택할 수 있다.
본 발명의 일 실시예에 따른 라우팅 장치(1)는 무선 센서 네트워크 환경으로부터 상태(State) 정보를 획득하고, 상태 정보에 따라 부모 노드를 선택하는 동작(Action)을 발생시키며, 무선 센서 네트워크 환경으로부터 동작에 따른 보상(Reward)을 획득할 수 있다. 본 발명의 일 실시예에 따른 라우팅 장치(1)는 이러한 상태-동작-보상을 학습하여 센서 노드의 라우팅 정책을 결정할 수 있다.
본 발명의 일 실시예에 따른 라우팅 장치(1)는 MAB(multi-armed bandit) 기술 기반의 강화 학습(RL: Reinforcement Learning) 알고리즘에 따라 상태-동작-보상 데이터를 학습하여, 에너지 소비량을 최소로 하는 라우팅 정책을 결정할 수 있으며, 이는 센서 노드의 에너지를 보존하여 수명을 길게 할 수 있다.
이하 도 1에서와 같이 제1 부모 노드(21), 제2 부모 노드(22) 및 제3 부모 노드(23)의 세 개의 노드가 부모 노드를 지원하는 경우를 예로 들어, 본 발명의 일 실시예에 따른 라우팅 장치(1)에서의 부모 노드 선택 방법에 대해 간략하게 설명한다.
먼저 본 발명의 일 실시예에 따른 라우팅 장치(1)는 제1 부모 노드(21), 제2 부모 노드(22) 및 제3 부모 노드(23) 중 랜덤으로 제1 부모 노드(21)를 선택할 수 있다. 본 발명의 일 실시예에 따른 라우팅 장치(1)는 이러한 제1 부모 노드(21)를 선택하는 제1 동작(Action a1)에 따라 제1 보상(Reward r1)을 획득할 수 있으며, 현재 상태인 제1 상태(State s1)를 업데이트할 수 있다.
여기서 제1 보상(Reward r1)은 제1 부모 노드(21)로의 패킷 전송에 따른 에너지 소비량이고, 제1 상태(State s1)는 ETX(Expected transmission count), RSSI(Receive Signal Strength) 및 MAC(Medium access control) layer 개수로, 제1 부모 노드(21)가 아닌 무선 센서 네트워크 매체(medium)로부터 획득할 수 있다.
본 발명의 일 실시예에 따른 라우팅 장치(1)는 제1 상태(State s1)-제1 동작(Action a1)-제1 보상(Reward r1)을 s1(a1, r1)과 같이 매칭하여 저장할 수 있다.
또한 본 발명의 일 실시예에 따른 라우팅 장치(1)는 MAB 알고리즘을 실행하고, 그 결과에 따라 새로운 라우팅 경로를 탐색하거나, 저장된 상태-동작-보상 데이터를 이용하여 기존 라우팅 경로를 이용하여 부모 노드를 선택할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 라우팅 장치(1)는 새로운 라우팅 경로를 탐색하는 경우, 제2 부모 노드(22)를 선택하고 제2 상태(State s2)-제2 동작(Action a1)-제2 보상(Reward r2)을 획득하여 s2(a2, r2)를 학습하거나, 제3 부모 노드(23)를 선택하고 제3 상태(State s3)-제3 동작(Action a3)-제3 보상(Reward r3)을 획득하여 s3(a3, r3)을 학습할 수 있다.
본 발명의 일 실시예에 따른 라우팅 장치(1)는 이와 같은 방식으로 보상 데이터가 미리 설정된 최고점에 도달할 때까지 이웃 노드에 대한 상태-동작-보상 데이터를 학습할 수 있을 것이다.
이하 도 2 이하를 참조하여 본 발명의 일 실시예에 따른 라우팅 장치의 구체적인 동작에 대해 설명한다.
도 2는 본 발명의 일 실시예에 따른 라우팅 장치의 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 라우팅 장치(1)는 현재 상태 정보 산출부(10) 및 라우팅 경로 학습부(30)를 포함할 수 있다.
상술한 것처럼 본 발명의 일 실시예에 따른 라우팅 장치(1)는 무선 센서 네트워크를 구성하는 노드에 탑재되어 라우팅 경로를 설정할 수 있으며, 이하 설명의 편의를 위해 본 발명의 일 실시예에 따른 라우팅 장치(1)가 무선 센서 네트워크에서 패킷을 전송하는 센서 노드에 탑재되어, 패킷을 전송할 부모 노드를 선택하여 라우팅 경로를 설정하는 것을 예로 들어 설명한다.
본 발명의 일 실시예에 따른 라우팅 장치(1)는 정보의 입출력이 가능한 장치로, 본 발명의 일 실시예에 따른 라우팅 방법을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있다.
도 2에 도시된 현재 상태 정보 산출부(10) 및 라우팅 경로 학습부(30)의 구성은 본 발명의 일 실시예에 따른 라우팅 장치(1)에서 실행되는 소프트웨어에 의해 제어될 수 있다.
이하 도 2에 도시된 본 발명의 일 실시예예 다른 라우팅 장치(1)의 각 구성요소에 대해 구체적으로 설명한다.
현재 상태 정보 산출부(10)는 센서 노드가 무선 센서 네트워크 환경에서 실행한 라우팅에 의해 축적된 정보인 라우팅 정보를 획득하여 센서 노드의 현재 상태를 나타내는 현재 상태 정보를 산출할 수 있다.
라우팅 정보는 센서 노드가 k-윈도우를 통해 N 개의 패킷을 전송하는 동안 축적되는 정보로, ETX(Expected transmission count), RSSI(Receive Signal Strength) 및 MAC(Medium access control) layer 개수가 포함될 수 있다.
ETX는 성공한 패킷 전송의 역함수로 산출되며(ETX=1/PDR), 각 시간 간격 동안 링크 품질을 근사화하는 데 사용될 수 있다.
RSSI는 자유 공간 전파 모델을 이용하여 계산되며, 전송 성능 또는 두 노드 간의 거리를 나타낼 수 있다.
MAC layer 개수는 재전송을 시도하는 MAC 계층 수로, 손상되거나 손실된 패킷에 의한 재전송을 나타낼 수 있다. 이때 재전송은 CSMA 프로토콜에 의해 처리될 수 있다.
현재 상태 정보 산출부(10)는 무선 센서 네트워크 환경으로부터 ETX, RSSI 및 MAC layer 개수를 획득할 수 있다. 예를 들면, 현재 상태 정보 산출부(10)는 무선 센서 네트워크 환경을 관장하는 매체로부터 현재의 ETX, RSSI 및 MAC layer 개수를 포함하는 라우팅 정보를 획득할 수 있다.
현재 상태 정보 산출부(10)는 라우팅 정보를 이용하여 센서 노드의 현재 상태 정보를 산출할 수 있다.
현재 상태 정보 산출부(10)는 센서 노드가 k-윈도우를 통해 N 개의 패킷을 전송하는 동안의 라우팅 정보를 평균 내어 현재 상태 정보로 산출할 수 있다. 이를 수식으로 표현하면 아래 수학식 1과 같다.
Figure pat00001
수학식 1은 k-윈도우를 통해 N 개의 패킷을 전송한 경우 센서 노드의 현재 상태 정보(Sk)를 산출하는 식으로, 센서 노드가 k-윈도우를 통해 N 개의 패킷을 전송하는 동안의 ETX, RSSI 및 MAC layer 개수 각각의 평균을 더하여 산출할 수 있다.
라우팅 경로 학습부(30)는 센서 노드가 패킷을 전송할 부모 노드를 선택하고, 무선 센서 네트워크 환경으로부터 부모 노드로의 패킷 전송에 따른 보상을 수신하여 해당 라우팅 경로를 학습할 수 있다.
라우팅 경로 학습부(30)는 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택할 수 있다. 또는, 라우팅 경로 학습부(30)는 센서 노드의 상태 정보 별로 특정 부모 노드로 패킷을 전송하는 경우, 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 매칭하여 저장한 Q-테이블을 이용하여 센서 노드의 현재 상태에 적합한 부모 노드를 선택할 수 있다.
라우팅 경로 학습부(30)는 센서 노드로부터 선택한 부모 노드로의 패킷 전송 결과 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 보상으로 획득하여, Q-테이블을 갱신할 수 있다.
아울러, 라우팅 경로 학습부(30)는 Q-테이블을 이용하여 센서 노드의 상태 정보 별 라우팅 정책을 생성하고, 상태 정보 별 라우팅 정책을 평가할 수 있다.
이와 같은 라우팅 경로 학습부(30)의 동작과 관련하여 도 3을 참조하여 구체적으로 설명한다.
도 3은 도 2에 도시된 라우팅 경로 학습부의 세부 블록도이다.
도 3을 참조하면, 라우팅 경로 학습부(30)는 MAB 알고리즘 실행부(31), 라우팅 경로 설정부(33), 라우팅 정책 생성부(35) 및 라우팅 정책 평가부(37)를 포함한다.
MAB 알고리즘 실행부(31)는 센서 노드의 현재 상태에서의 새로운 라우팅 경로의 학습 여부를 결정하기 위한 MAB 알고리즘을 실행할 수 있다.
MAB 알고리즘은 현재 상태에서의 최적값을 찾기 위해 널리 사용되는 ε-그리디(greedy) 알고리즘에 기반한 강화 학습 알고리즘으로, 변수 입실론(ε)을 이용하여 새로운 학습 여부를 결정할 수 있다.
즉 MAB 알고리즘 실행부(31)는 MAB 알고리즘을 실행하여 센서 노드의 현재 상태 정보와 매칭되는 새로운 라우팅 경로 학습을 선택하거나, 센서 노드의 현재 상태 정보와 매칭되는 기존 라우팅 경로를 이용하는 것을 선택할 수 있다. 본 실시예에서 라우팅 경로 학습은 센서 노드의 현재 상태 정보 별로 특정 부모 노드로 패킷을 전송하고, 이에 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 보상으로 받음으로써, 센서 노드의 현재 상태 정보-부모 노드(라우팅 경로)-에너지 소비량(보상)을 매칭하여 Q-테이블에 저장하는 것이라 할 수 있다.
구체적으로는 MAB 알고리즘 실행부(31)는 0 내지 1 사이의 난수를 생성할 수 있다.
MAB 알고리즘 실행부(31)는 생성한 난수와 입실론(ε)을 비교할 수 있다. 입실론(ε)은 라우팅 경로 학습이 진행됨에 따라 변하는 변수로, 일예로 0.7이라 하면 70%는 센서 노드의 현재 상태 정보에 대한 새로운 라우팅 경로 학습이 필요함을 의미할 수 있다.
MAB 알고리즘 실행부(31)는 생성한 난수가 입실론(ε)보다 작은 경우, 센서 노드의 현재 상태 정보와 매칭되는 새로운 라우팅 경로를 학습하지 않는 것으로 결정할 수 있다.
MAB 알고리즘 실행부(31)는 생성한 난수가 입실론(ε)보다 크거나 같은 경우, 센서 노드의 현재 상태 정보와 매칭되는 새로운 라우팅 경로를 학습하는 것으로 결정할 수 있다.
라우팅 경로 설정부(33)는 센서 노드의 복수의 이웃 노드 중 패킷을 전송할 부모 노드를 선택하여, 선택한 부모 노드로 패킷을 전송하도록 할 수 있다. 그리고 라우팅 경로 설정부(33)는 부모 노드로의 패킷 전송에 따른 에너지 소비량을 수신하여 Q-테이블을 작성할 수 있다.
구체적으로는, 라우팅 경로 설정부(33)는 먼저 센서 노드의 패킷 전송이 최초인지 여부를 확인할 수 있다.
라우팅 경로 설정부(33)는 센서 노드의 패킷 전송이 최초인 경우, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택할 수 있다.
이와 같은 경우, 라우팅 경로 설정부(33)는 센서 노드로부터 선택한 부모 노드로 패킷이 전송되도록 하고, 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 획득할 수 있다. 예를 들면, 라우팅 경로 설정부(33)는 무선 센서 네트워크 환경을 관장하는 매체로부터 부모 노드로의 패킷 전송에 따른 에너지 소비량을 보상으로 수신할 수 있다.
라우팅 경로 설정부(33)는 현재 상태 정보 산출부(10)를 통해 센서 노드의 현재 상태 정보를 전달 받을 수 있다. 그리고 라우팅 경로 설정부(33)는 센서 노드의 현재 상태 정보-선택한 부모 노드-에너지 소비량을 매칭하여 Q-테이블을 생성할 수 있다.
Q-테이블은 센서 노드의 상태 정보 별로 특정 부모 노드로 패킷을 전송하는 경우, 무선 센서 네트워크 환경에서 발생하는 에너지 소비량이 저장된 테이블이다. 예를 들면, Q-테이블은 센서 노드의 상태 정보(s)를 열(row)으로 하고, 센서 노드가 패킷 전송을 위해 선택한 부모 노드(a)를 행(column)으로 하는 테이블로, 각 열과 행의 크기는 해당 상태 정보에서 부모 노드로 패킷을 전송하는 경우의 에너지 소비량으로 채워질 수 있다.
라우팅 경로 설정부(33)는 센서 노드의 패킷 전송이 최초가 아닌 경우, MAB 알고리즘 실행부(31)의 결정에 따라 라우팅 경로를 설정할 수 있다.
라우팅 경로 설정부(33)는 MAB 알고리즘 실행부(31)에 의해 센서 노드의 현재 상태 정보와 매칭되는 새로운 라우팅 경로를 학습하지 않는 것으로 결정되는 경우, Q-테이블과 현재 상태 정보 산출부(10)에서 산출하는 현재 상태 정보를 비교하여 부모 노드를 선택할 수 있다.
예를 들면, 라우팅 경로 설정부(33)는 Q-테이블에서 현재 상태 정보와 매칭되어 저장된 부모 노드 중 에너지 소비량이 최소값을 갖는 부모 노드를 선택할 수 있다.
라우팅 경로 설정부(33)는 MAB 알고리즘 실행부(31)에 의해 센서 노드의 현재 상태 정보와 매칭되는 새로운 라우팅 경로를 학습하는 것으로 결정되는 경우, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택할 수 있다.
이와 같은 경우, 라우팅 경로 설정부(33)는 센서 노드로부터 선택한 부모 노드로 패킷이 전송되도록 하고, 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 획득하여 Q-테이블을 갱신할 수 있다.
라우팅 경로 설정부(33)는 Q-테이블을 갱신하는 경우, 학습률(running rate)(α) 또한 갱신할 수 있다. 예를 들면, 라우팅 경로 설정부(33)는 Q-테이블을 갱신하는 경우, 학습률(α)을 소정의 기준에 따라 낮아지도록 갱신할 수 있다.
학습률(α)는 라우팅 경로 학습이 진행됨에 따라 변하는 변수로, 0 내지 1의 값을 가지며, 그 값이 높을수록 추가 학습이 요구됨을 의미하고, 0.1 이하로 되면 학습 결과가 최적값으로 수렴하였음을 의미할 수 있다. 본 실시예예 따르면 에너지 소비량을 최소화하는 라우팅 경로 설정을 골자로 하므로, 학습률(α)이 0.1 이하가 되면 센서 노드의 특정 상태 정보에서 에너지 소비량을 최소화할 수 있는 최적의 라우팅 경로 선택 정책을 획득한 것으로 간주할 수 있을 것이다.
라우팅 정책 생성부(35)는 Q-테이블을 이용하여 라우팅 정책을 생성할 수 있다.
라우팅 정책 생성부(35)는 Q-테이블을 이용하여 센서 노드의 특정 상태 정보 별 라우팅 정책을 생성할 수 있다.
Figure pat00002
수학식 2에 따르면 라우팅 정책 생성부(35)는 Q-테이블을 참조하여 센서 노드의 특정 상태 정보(s)에서 패킷 전송에 따른 에너지 소비량(Q)을 최소로 하는 부모 노드를 선택하는 동작(a)을 센서 노드의 해당 상태 정보의 라우팅 정책으로 생성할 수 있다.
라우팅 정책 평가부(37)는 센서 노드의 특정 상태 정보에서의 라우팅 정책을 평가하여 해당 라우팅 정책을 센서 노드의 특정 상태 정보에서의 최적 라우팅 정책으로 설정할 수 있다. 여기서 최적 라우팅 정책은 센서 노드의 특정 상태 정보에서 에너지 소비량을 최소화할 수 있는 라우팅 정책에 해당한다. 본 실시예에서 라우팅 경로 학습, 즉, Q-테이블의 갱신은 센서 노드의 상태 정보 별로 최적 라우팅 정책이 설정될 때까지 반복 수행될 수 있다.
라우팅 정책 평가부(37)는 학습률(α)을 확인하여 센서 노드의 특정 상태 정보에서의 라우팅 경로 학습이 충분히 이루어졌는지를 예측할 수 있다.
라우팅 정책 평가부(37)는 학습률(α)이 0.1 이하인 경우, 라우팅 정책 생성부(35)에서 생성하는 라우팅 정책을 최적 라우팅 정책으로 설정할 수 있다. 이때, 라우팅 경로 설정부(33)는 센서 노드의 현재 상태 정보에서의 최적 라우팅 정책이 설정되어 있는 경우, 최적 라우팅 정책에 따른 부모 노드를 선택할 수 있을 것이다.
이하 도 4 및 도 5를 참조하여 본 발명의 일 실시예에 따른 무선 센서 네트워크에서의 라우팅 방법에 대해 설명한다.
도 4는 본 발명의 일 실시예에 따른 무선 센서 네트워크에서의 라우팅 방법을 간략히 보여주는 흐름도이고, 도 5는 도 4에 도시된 본 발명의 일 실시예에 따른 무선 센서 네트워크에서의 라우팅 방법을 세부적으로 보여주는 흐름도이다.
본 발명의 일 실시예에 따른 무선 센서 네트워크에서의 라우팅 방법은 도 2 및 도 3에 도시된 본 발명의 일 실시예에 따른 무선 센서 네트워크에서의 라우팅 장치(1)와 실질적으로 동일한 구성 하에서 진행될 수 있다. 따라서 도 2 및 도 3의 무선 센서 네트워크에서의 라우팅 장치(1)와 동일한 구성요소는 동일한 도면부호를 부여하고 반복되는 설명은 생략한다.
먼저 도 4를 참조하면, 현재 상태 정보 산출부(10)는 센서 노드의 현재 상태 정보를 획득할 수 있다(S100).
현재 상태 정보 산출부(10)는 센서 노드가 무선 센서 네트워크 환경에서 실행한 라우팅에 의해 축적된 정보인 라우팅 정보를 획득하여 센서 노드의 현재 상태를 나타내는 현재 상태 정보를 산출할 수 있다.
라우팅 정보는 센서 노드가 k-윈도우를 통해 N 개의 패킷을 전송하는 동안 축적되는 정보로, ETX(Expected transmission count), RSSI(Receive Signal Strength) 및 MAC(Medium access control) layer 개수가 포함될 수 있다.
현재 상태 정보 산출부(10)는 무선 센서 네트워크 환경으로부터 ETX, RSSI 및 MAC layer 개수를 획득할 수 있다. 예를 들면, 현재 상태 정보 산출부(10)는 무선 센서 네트워크 환경을 관장하는 매체로부터 현재의 ETX, RSSI 및 MAC layer 개수를 포함하는 라우팅 정보를 획득할 수 있다.
현재 상태 정보 산출부(10)는 수학식 1과 같이 라우팅 정보를 이용하여 센서 노드의 현재 상태 정보를 산출할 수 있다.
라우팅 경로 학습부(30)는 부모 노드를 선택하여 패킷을 전송하고(S200), 패킷 전송에 따른 에너지 소비량을 획득할 수 있다(S300).
라우팅 경로 학습부(30)는 센서 노드가 패킷을 전송할 부모 노드를 선택할 수 있는데, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하거나, 센서 노드의 상태 정보 별로 특정 부모 노드로 패킷을 전송하는 경우, 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 매칭하여 저장한 Q-테이블을 이용하여 센서 노드의 현재 상태에 적합한 부모 노드를 선택할 수 있다.
라우팅 경로 학습부(30)는 센서 노드로부터 선택한 부모 노드로의 패킷 전송 결과 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 보상으로 획득할 수 있다.
라우팅 경로 학습부(30)는 현재 상태 정보, 부모 노드 및 에너지 소비량을 학습할 수 있다(S400).
라우팅 경로 학습부(30)는 센서 노드의 현재 상태 정보-선택한 부모 노드-에너지 소비량을 매칭하여 Q-테이블을 생성 또는 갱신할 수 있다. Q-테이블은 센서 노드의 상태 정보 별로 특정 부모 노드로 패킷을 전송하는 경우, 무선 센서 네트워크 환경에서 발생하는 에너지 소비량이 저장된 테이블이다. 예를 들면, Q-테이블은 센서 노드의 상태 정보(s)를 열(row)으로 하고, 센서 노드가 패킷 전송을 위해 선택한 부모 노드(a)를 행(column)으로 하는 테이블로, 각 열과 행의 크기는 해당 상태 정보에서 부모 노드로 패킷을 전송하는 경우의 에너지 소비량으로 채워질 수 있다.
도 5를 참조하면, 라우팅 경로 설정부(33)는 센서 노드가 첫 번째 패킷 전송인지를 확인할 수 있다(S1100).
라우팅 경로 설정부(33)는 센서 노드가 첫 번째 패킷을 전송하는 경우(S1100), 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택할 수 있다(S1200).
라우팅 경로 설정부(33)는 센서 노드의 첫 번째 패킷 전송이 아닌 경우(S1100), 현재 상태 정보 산출부(10)를 통해 현재 상태 정보를 산출할 수 있다(S1300).
현재 상태 정보 산출부(10)는 센서 노드가 무선 센서 네트워크 환경에서 실행한 라우팅에 의해 축적된 정보인 라우팅 정보를 획득하여 센서 노드의 현재 상태를 나타내는 현재 상태 정보를 산출할 수 있다.
MAB 알고리즘 실행부(31)는 센서 노드의 첫 번째 패킷 전송이 아닌 경우(S1100), 센서 노드의 현재 상태에서의 새로운 라우팅 경로의 학습 여부를 결정하기 위한 MAB 알고리즘을 실행할 수 있다(S1400).
MAB 알고리즘 실행부(31)는 MAB 알고리즘을 실행하여 센서 노드의 현재 상태 정보와 매칭되는 새로운 라우팅 경로 학습을 선택하거나, 센서 노드의 현재 상태 정보와 매칭되는 기존 라우팅 경로를 이용하는 것을 선택할 수 있다. 본 실시예에서 라우팅 경로 학습은 센서 노드의 현재 상태 정보 별로 특정 부모 노드로 패킷을 전송하고, 이에 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 보상으로 받음으로써, 센서 노드의 현재 상태 정보-부모 노드(라우팅 경로)-에너지 소비량(보상)을 매칭하여 Q-테이블에 저장하는 것이라 할 수 있다.
라우팅 경로 설정부(33)는 MAB 알고리즘의 실행 결과, 새로운 라우팅 경로를 학습하지 않는 것으로 결정되는 경우(S1450), Q-테이블 및 현재 상태 정보를 이용하여 부모 노드를 선택할 수 있다(S1500).
예를 들면, 라우팅 경로 설정부(33)는 Q-테이블에서 현재 상태 정보와 매칭되어 저장된 부모 노드 중 에너지 소비량이 최소값을 갖는 부모 노드를 선택할 수 있다.
라우팅 경로 설정부(33)는 MAB 알고리즘의 실행 결과, 새로운 라우팅 경로를 학습하는 것으로 결정되는 경우(S1450), 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택할 수 있다(S1200).
라우팅 경로 설정부(33)는 센서 노드로부터 선택한 부모 노드로 패킷이 전송되도록 하고, 에너지 소비량을 획득할 수 있다(S1600).
라우팅 경로 설정부(33)는 무선 센서 네트워크 환경을 관장하는 매체로부터 부모 노드로의 패킷 전송에 따른 에너지 소비량을 보상으로 수신할 수 있다.
라우팅 경로 설정부(33)는 Q-테이블을 갱신할 수 있으며, 라우팅 정책 생성부(35)는 Q-테이블을 이용하여 현재 상태에서의 라우팅 정책을 생성할 수 있다(S1700).
라우팅 경로 설정부(33)는 센서 노드의 현재 상태 정보-부모 노드(라우팅 경로)-에너지 소비량(보상)을 매칭하여 Q-테이블을 갱신할 수 있다. 또한 라우팅 경로 설정부(33)는 Q-테이블을 갱신하는 경우, 학습률(α) 또한 갱신할 수 있다. 예를 들면, 라우팅 경로 설정부(33)는 Q-테이블을 갱신하는 경우, 학습률(α)을 소정의 기준에 따라 낮아지도록 갱신할 수 있다.
라우팅 정책 생성부(35)는 Q-테이블을 이용하여 수학식 2에 따라 센서 노드의 현재 상태 정보에서 패킷 전송에 따른 에너지 소비량을 최소로 하는 부모 노드를 선택하는 동작을 센서 노드의 현재 상태 정보의 라우팅 정책으로 생성할 수 있다.
라우팅 정책 평가부(37)는 라우팅 정책이 최적 라우팅 정책인지를 평가할 수 있다(S1800).
라우팅 정책 평가부(37)는 학습률(α)을 확인하여 센서 노드의 특정 상태 정보에서의 라우팅 경로 학습이 충분히 이루어졌는지를 예측할 수 있다. 라우팅 정책 평가부(37)는 학습률(α)이 0.1 이하인 경우, 현재 상태에서의 라우팅 정책을 최적 라우팅 정책으로 평가할 수 있다.
라우팅 정책 평가부(37)는 라우팅 정책이 최적 라우팅 정책으로 평가되는 경우(S1800), 해당 라우팅 정책을 현재 상태에서의 최적 라우팅 정책으로 선정할 수 있다(S1900).
라우팅 정책 평가부(37)는 학습률(α)이 0.1 이하인 경우, 라우팅 정책 생성부(35)에서 생성하는 라우팅 정책을 현재 상태에서의 최적 라우팅 정책으로 설정할 수 있다.
이때, 라우팅 경로 설정부(33)는 센서 노드의 현재 상태 정보에서의 최적 라우팅 정책이 설정되어 있는 경우, 최적 라우팅 정책에 따른 부모 노드를 선택할 수 있을 것이다.
또한 라우팅 경로 설정부(33)는 센서 노드의 현재 상태 정보에서의 최적 라우팅 정책이 설정되어 있지 않은 경우, 최적 라우팅 정책이 설정될 때까지 라우팅 경로 학습을 반복 수행할 수 있다.
이와 같은, 본 발명의 무선 센서 네트워크에서의 라우팅 방법은 어플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1: 무선 센서 네트워크에서의 라우팅 장치
10: 현재 상태 정보 산출부
30: 라우팅 경로 학습부

Claims (19)

  1. 무선 센서 네트워크를 구성하는 센서 노드가 패킷을 전송할 부모 노드를 선택하기 위한 무선 센서 네트워크에서의 라우팅 방법에 있어서,
    상기 센서 노드가 상기 무선 센서 네트워크 환경에서 실행한 라우팅에 의해 축적된 정보인 라우팅 정보를 획득하여 상기 센서 노드의 현재 상태를 나타내는 현재 상태 정보를 산출하는 단계;
    복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하거나, 상기 센서 노드의 상태 정보 별로 특정 부모 노드로 패킷을 전송하는 경우 상기 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 매칭하여 저장한 Q-테이블과 상기 현재 상태 정보를 비교하여 부모 노드를 선택하는 단계; 및
    선택한 부모 노드로 패킷을 전송하고 상기 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 획득하여 상기 Q-테이블을 갱신하는 단계를 포함하는 무선 센서 네트워크에서의 라우팅 방법.
  2. 제1항에 있어서,
    복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하거나, 상기 센서 노드의 상태 정보 별로 특정 부모 노드로 패킷을 전송하는 경우, 상기 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 매칭하여 저장한 Q-테이블과 상기 현재 상태 정보를 비교하여 부모 노드를 선택하는 단계는,
    상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로의 학습 여부를 결정하기 위한 MAB 알고리즘을 실행하는 단계;
    상기 MAB 알고리즘 실행 결과, 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로를 학습하는 것으로 결정되는 경우, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하는 단계; 및
    상기 MAB 알고리즘의 실행 결과, 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로를 학습하지 않는 것으로 결정되는 경우, 상기 Q-테이블에서 상기 현재 상태 정보와 매칭되어 저장된 부모 노드 중 에너지 소비량이 최소값을 갖는 부모 노드를 선택하는 단계를 포함하는 무선 센서 네트워크에서의 라우팅 방법.
  3. 제2항에 있어서,
    상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로의 학습 여부를 결정하기 위한 MAB 알고리즘을 실행하는 단계는,
    상기 센서 노드의 패킷 전송이 최초인지 여부를 확인하는 단계;
    상기 센서 노드의 패킷 전송이 최초인 경우, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하는 단계; 및
    상기 센서 노드의 패킷 전송이 최초가 아닌 경우, 상기 MAB 알고리즘을 실행하는 단계를 포함하는 무선 센서 네트워크에서의 라우팅 방법.
  4. 제1항에 있어서,
    상기 Q-테이블을 이용하여 상기 현재 상태에서의 라우팅 정책을 생성하는 단계를 더 포함하는 무선 센서 네트워크에서의 라우팅 방법.
  5. 제4항에 있어서,
    상기 Q-테이블을 이용하여 상기 현재 상태에서의 라우팅 정책을 생성하는 단계는,
    상기 Q-테이블에서 상기 현재 상태와 매칭되어 저장된 부모 노드 중 에너지 소비량이 최소값을 갖는 부모 노드를 선택하는 것을 상기 현재 상태에서의 라우팅 정책으로 생성하는 단계인 무선 센서 네트워크에서의 라우팅 방법.
  6. 제4항에 있어서,
    상기 Q-테이블을 갱신할 때마다 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로의 학습 진행을 나타내는 학습률(α)을 갱신하는 단계; 및
    상기 학습률(α)에 따라 상기 현재 상태에서의 라우팅 정책을 평가하여 상기 현재 상태에서의 최적 라우팅 정책으로 선정하는 단계를 더 포함하는 무선 센서 네트워크에서의 라우팅 방법.
  7. 제1항에 있어서,
    상기 센서 노드가 상기 무선 센서 네트워크 환경에서 실행한 라우팅에 의해 축적된 정보인 라우팅 정보를 획득하여 상기 센서 노드의 현재 상태를 나타내는 현재 상태 정보를 산출하는 단계는,
    상기 무선 센서 네트워크 환경으로부터 ETX(Expected transmission count), RSSI(Receive Signal Strength) 및 MAC(Medium access control) layer 개수를 포함하는 상기 라우팅 정보를 획득하는 단계를 포함하는 무선 센서 네트워크에서의 라우팅 방법.
  8. 제7항에 있어서,
    상기 센서 노드가 상기 무선 센서 네트워크 환경에서 실행한 라우팅에 의해 축적된 정보인 라우팅 정보를 획득하여 상기 센서 노드의 현재 상태를 나타내는 현재 상태 정보를 산출하는 단계는,
    상기 센서 노드가 상기 무선 센서 네트워크 환경에서 라우팅을 실행하는 동안의 ETX(Expected transmission count), RSSI(Receive Signal Strength) 및 MAC(Medium access control) layer 개수의 평균을 더하여 상기 현재 상태 정보로 산출하는 단계를 포함하는 무선 센서 네트워크에서의 라우팅 방법.
  9. 제1항 내지 제8항 중 어느 하나의 항에 따른 무선 센서 네트워크에서의 라우팅 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
  10. 무선 센서 네트워크를 구성하는 센서 노드에 탑재되어 패킷을 전송할 부모 노드를 선택하기 위한 무선 센서 네트워크에서의 라우팅 장치에 있어서,
    상기 센서 노드가 상기 무선 센서 네트워크 환경에서 실행한 라우팅에 의해 축적된 정보인 라우팅 정보를 획득하여 상기 센서 노드의 현재 상태를 나타내는 현재 상태 정보를 산출하는 현재 상태 정보 산출부; 및
    복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하거나, 상기 센서 노드의 상태 정보 별로 특정 부모 노드로 패킷을 전송하는 경우 상기 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 매칭하여 저장한 Q-테이블과 상기 현재 상태 정보를 비교하여 부모 노드를 선택하며, 선택한 부모 노드로의 패킷 전송 결과 상기 무선 센서 네트워크 환경에서 발생하는 에너지 소비량을 획득하여 상기 Q-테이블을 갱신하는 라우팅 경로 학습부;를 포함하는 무선 센서 네트워크에서의 라우팅 장치.
  11. 제10항에 있어서,
    상기 라우팅 경로 학습부는,
    상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로의 학습 여부를 결정하기 위한 MAB 알고리즘을 실행하는 MAB 알고리즘 실행부; 및
    상기 MAB 알고리즘 실행 결과, 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로를 학습하는 것으로 결정되는 경우, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하고, 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로를 학습하지 않는 것으로 결정되는 경우, 상기 Q-테이블에서 상기 현재 상태 정보와 매칭되어 저장된 부모 노드 중 에너지 소비량이 최소값을 갖는 부모 노드를 선택하는 라우팅 경로 설정부를 포함하는 무선 센서 네트워크에서의 라우팅 장치.
  12. 제11항에 있어서,
    상기 라우팅 경로 설정부는,
    상기 센서 노드의 패킷 전송이 최초인지 여부를 확인하여, 상기 센서 노드의 패킷 전송이 최초인 경우, 복수의 이웃 노드에서 랜덤으로 부모 노드를 선택하고, 상기 센서 노드의 패킷 전송이 최초가 아닌 경우, 상기 MAB 알고리즘을 실행하도록 하는 무선 센서 네트워크에서의 라우팅 장치.
  13. 제11항에 있어서,
    상기 Q-테이블을 이용하여 상기 현재 상태에서의 라우팅 정책을 생성하는 라우팅 정책 생성부를 더 포함하는 무선 센서 네트워크에서의 라우팅 장치.
  14. 제13항에 있어서,
    상기 라우팅 정책 생성부는,
    상기 Q-테이블에서 상기 현재 상태와 매칭되어 저장된 부모 노드 중 에너지 소비량이 최소값을 갖는 부모 노드를 선택하는 것을 상기 현재 상태에서의 라우팅 정책으로 생성하는 무선 센서 네트워크에서의 라우팅 장치.
  15. 제13항에 있어서,
    상기 라우팅 경로 학습부는,
    상기 Q-테이블을 갱신하는 경우, 상기 센서 노드의 현재 상태에서의 새로운 라우팅 경로의 학습 진행을 나타내는 학습률(α)을 갱신하는 무선 센서 네트워크에서의 라우팅 장치.
  16. 제15항에 있어서,
    상기 라우팅 경로 학습부는,
    상기 학습률(α)에 따라 상기 현재 상태에서의 라우팅 정책을 평가하여 상기 현재 상태에서의 최적 라우팅 정책으로 선정하는 라우팅 정책 평가부를 더 포함하는 무선 센서 네트워크에서의 라우팅 장치.
  17. 제16항에 있어서,
    상기 라우팅 경로 설정부는,
    상기 현재 상태에서의 최적 라우팅 정책이 선정된 경우, 상기 최적 라우팅 정책에 따른 부모 노드를 선택하는 무선 센서 네트워크에서의 라우팅 장치.
  18. 제10항에 있어서,
    상기 현재 상태 정보 산출부는,
    상기 무선 센서 네트워크 환경으로부터 ETX(Expected transmission count), RSSI(Receive Signal Strength) 및 MAC(Medium access control) layer 개수를 포함하는 상기 라우팅 정보를 획득하는 무선 센서 네트워크에서의 라우팅 장치.
  19. 제18항에 있어서,
    상기 현재 상태 정보 산출부는,
    상기 센서 노드가 상기 무선 센서 네트워크 환경에서 라우팅을 실행하는 동안의 ETX(Expected transmission count), RSSI(Receive Signal Strength) 및 MAC(Medium access control) layer 개수의 평균을 더하여 상기 현재 상태 정보로 산출하는 무선 센서 네트워크에서의 라우팅 장치.
KR1020190039506A 2019-04-04 2019-04-04 무선 센서 네트워크에서의 라우팅 방법, 이를 수행하기 위한 기록매체 및 장치 KR102224269B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190039506A KR102224269B1 (ko) 2019-04-04 2019-04-04 무선 센서 네트워크에서의 라우팅 방법, 이를 수행하기 위한 기록매체 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190039506A KR102224269B1 (ko) 2019-04-04 2019-04-04 무선 센서 네트워크에서의 라우팅 방법, 이를 수행하기 위한 기록매체 및 장치

Publications (2)

Publication Number Publication Date
KR20200117423A true KR20200117423A (ko) 2020-10-14
KR102224269B1 KR102224269B1 (ko) 2021-03-08

Family

ID=72847368

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190039506A KR102224269B1 (ko) 2019-04-04 2019-04-04 무선 센서 네트워크에서의 라우팅 방법, 이를 수행하기 위한 기록매체 및 장치

Country Status (1)

Country Link
KR (1) KR102224269B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929991A (zh) * 2021-02-10 2021-06-08 上海工程技术大学 传感器的管理方法、装置、设备及存储介质
CN112954769A (zh) * 2021-01-25 2021-06-11 哈尔滨工程大学 基于强化学习的水下无线传感器网络路由方法
CN114374989A (zh) * 2021-11-30 2022-04-19 深圳市联洲国际技术有限公司 基于强化学习优化组网的方法、装置及系统
KR102405545B1 (ko) * 2020-12-31 2022-06-07 숭실대학교 산학협력단 무선 센서 네트워크를 위한 강화 학습 기반 노드 연결 방법 및 장치와 이를 위한 컴퓨터 프로그램
KR20220081912A (ko) * 2020-12-09 2022-06-16 중앙대학교 산학협력단 무선 멀티 홉 네트워크에서 강화 학습 기반 지연 감소 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090044249A (ko) * 2007-10-31 2009-05-07 한국전자통신연구원 무선 센서 네트워크 상에서 에너지 효율성 및 신뢰성을제공하는 센서노드의 센싱 데이터 라우팅 장치 및 방법
KR20140098301A (ko) * 2013-01-30 2014-08-08 중앙대학교 산학협력단 무선 애드 혹 네트워크에서 에너지 효율적 라우팅 방법 및 장치
KR20150053180A (ko) * 2013-11-07 2015-05-15 경희대학교 산학협력단 강화학습 기반의 에너지 효율과 평형을 고려한 무선 인체 영역 네트워크 라우팅 프로토콜
KR101876116B1 (ko) * 2017-01-24 2018-07-09 한경대학교 산학협력단 무선 센서 네트워크에서 데이터 병합 트리의 생성 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090044249A (ko) * 2007-10-31 2009-05-07 한국전자통신연구원 무선 센서 네트워크 상에서 에너지 효율성 및 신뢰성을제공하는 센서노드의 센싱 데이터 라우팅 장치 및 방법
KR20140098301A (ko) * 2013-01-30 2014-08-08 중앙대학교 산학협력단 무선 애드 혹 네트워크에서 에너지 효율적 라우팅 방법 및 장치
KR20150053180A (ko) * 2013-11-07 2015-05-15 경희대학교 산학협력단 강화학습 기반의 에너지 효율과 평형을 고려한 무선 인체 영역 네트워크 라우팅 프로토콜
KR101876116B1 (ko) * 2017-01-24 2018-07-09 한경대학교 산학협력단 무선 센서 네트워크에서 데이터 병합 트리의 생성 방법 및 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220081912A (ko) * 2020-12-09 2022-06-16 중앙대학교 산학협력단 무선 멀티 홉 네트워크에서 강화 학습 기반 지연 감소 방법 및 장치
KR102405545B1 (ko) * 2020-12-31 2022-06-07 숭실대학교 산학협력단 무선 센서 네트워크를 위한 강화 학습 기반 노드 연결 방법 및 장치와 이를 위한 컴퓨터 프로그램
CN112954769A (zh) * 2021-01-25 2021-06-11 哈尔滨工程大学 基于强化学习的水下无线传感器网络路由方法
CN112954769B (zh) * 2021-01-25 2022-06-21 哈尔滨工程大学 基于强化学习的水下无线传感器网络路由方法
CN112929991A (zh) * 2021-02-10 2021-06-08 上海工程技术大学 传感器的管理方法、装置、设备及存储介质
CN112929991B (zh) * 2021-02-10 2022-12-23 上海工程技术大学 传感器的管理方法、装置、设备及存储介质
CN114374989A (zh) * 2021-11-30 2022-04-19 深圳市联洲国际技术有限公司 基于强化学习优化组网的方法、装置及系统

Also Published As

Publication number Publication date
KR102224269B1 (ko) 2021-03-08

Similar Documents

Publication Publication Date Title
KR102224269B1 (ko) 무선 센서 네트워크에서의 라우팅 방법, 이를 수행하기 위한 기록매체 및 장치
US9191304B1 (en) Reinforcement learning-based distributed network routing method utilizing integrated tracking and selective sweeping
US9525617B2 (en) Distributed predictive routing using delay predictability measurements
US9722905B2 (en) Probing technique for predictive routing in computer networks
CN105075179B (zh) 用于基于学习机器对异常网络性能的检测的方法和装置
US20150195136A1 (en) Optimizing network parameters based on a learned network performance model
US20070097873A1 (en) Multiple model estimation in mobile ad-hoc networks
US9197495B1 (en) Determining locations of network failures
Delaney et al. A stable routing framework for tree-based routing structures in WSNs
US9210038B1 (en) Determining locations of network failures
Mao et al. S4: Small state and small stretch compact routing protocol for large static wireless networks
US7756021B2 (en) Method for finding minimal cost paths under uncertainty
Chen et al. Balanced itinerary planning for multiple mobile agents in wireless sensor networks
Lopez Millan et al. A model of self‐avoiding random walks for searching complex networks
Ahvar et al. An energy-aware routing protocol for query-based applications in wireless sensor networks
US20160173341A1 (en) Bounded-budget monitor deployment in monitoring networks via end-to-end probes
Chettibi et al. A survey of reinforcement learning based routing protocols for mobile ad-hoc networks
Tate et al. Evolutionary and principled search strategies for sensornet protocol optimization
US20190297004A1 (en) Bayesian dynamic multihop wireless best path prediction
Gai et al. Online learning for combinatorial network optimization with restless Markovian rewards
Alsaqour et al. A comparative study of simulation based performance evaluation of routing protocol for ad-hoc networks
Weikert et al. Mobility-aware multi-objective task allocation for wireless sensor networks
Harishankar et al. E-MAnt net: An ACO-based energy efficient routing protocol for mobile ad hoc networks
Singh et al. Double Q-learning based routing protocol for opportunistic networks
Lichtblau et al. Probabilistic breadth-first search-a method for evaluation of network-wide broadcast protocols

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant