KR20190013156A - 동적 네트워크에서 네트워크 형성 방법 및 장치 - Google Patents

동적 네트워크에서 네트워크 형성 방법 및 장치 Download PDF

Info

Publication number
KR20190013156A
KR20190013156A KR1020170097310A KR20170097310A KR20190013156A KR 20190013156 A KR20190013156 A KR 20190013156A KR 1020170097310 A KR1020170097310 A KR 1020170097310A KR 20170097310 A KR20170097310 A KR 20170097310A KR 20190013156 A KR20190013156 A KR 20190013156A
Authority
KR
South Korea
Prior art keywords
network
policy
state
action
node
Prior art date
Application number
KR1020170097310A
Other languages
English (en)
Other versions
KR101975104B1 (ko
Inventor
박형곤
권민혜
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020170097310A priority Critical patent/KR101975104B1/ko
Priority to PCT/KR2018/007008 priority patent/WO2019027142A1/ko
Publication of KR20190013156A publication Critical patent/KR20190013156A/ko
Application granted granted Critical
Publication of KR101975104B1 publication Critical patent/KR101975104B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/046—Network management architectures or arrangements comprising network management agents or mobile agents therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0806—Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0894—Policy-based network configuration management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0888—Throughput
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/04—TPC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0876—Aspects of the degree of configuration automation
    • H04L41/0886—Fully automatic configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/14—Spectrum sharing arrangements between different networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명은 네트워크를 구성하는 노드들이 자체적으로 정책에 따라 전송 전력을 변화시켜 전송 범위를 조절함으로써, 동적 네트워크 환경에 따라 네트워크를 변화시킬 수 있다. 이때, 변화된 네트워크의 노드의 수가 변하지 않는 고정된 네트워크로 수렴하도록 초기 상태는 결정될 수 있다.
본 발명의 일실시예에 따르면, 복수의 중간 노드를 통해 소스 노드와 종단 노드를 연결하는 네트워크 형성 장치가 수행하는 네트워크 형성 방법에 있어서, 마르코프 특성(Markov property)을 만족하는 상태 스페이스, 액션 스페이스, 상태 이전 확률, 유틸리티 함수, 디스카운트 팩터를 판단하는 단계; 상기 복수의 중간 노드 중에서 데이터를 전송하는 중간 노드인 에이전트의 전송 범위의 변화 여부를 판단하는 상기 에이전트의 정책을 결정하는 단계; 상기 결정된 정책에 기초하여, 극한확률분포를 이용함으로써 네트워크의 초기 상태를 형성하는 단계를 포함하는 네트워크 형성 방법일 수 있다.

Description

동적 네트워크에서 네트워크 형성 방법 및 장치{A METHOD AND APPARATUS FOR NETWORK FORMATION IN DYNAMIC NETWORKS}
본 발명은 동적 네트워크에서 네트워크 형성 방법 및 장치에 관한 것으로, 정책에 따라 중간 노드에서 전송 범위를 결정하는 네트워크 형성 방법 및 장치에 관한 것이다.
자율주행 자동차, UAV (unmanned aerial vehicle), 사물 인터넷과 같은 최신 네트워크 응용기술 에서는 네트위크의 구성원들이 높은 이동성을 가지고, 이로 인한 네트워크 구성멤버 변화가 빈번하다는 특징을 가지고 있다. 이러한 동적 네트워크 (dynamic network)는 네트워크 내부의 채널 상태가 불안정하게 되어 높은 링크 실패율 (link failure rate)을 초래하는 문제점이 있다.
따라서, 이러한 동적 네트워크 환경에서도 네트워크 구성원들이 주체적으로 네트워크의 환경에 따라 구성원 간 연결을 결정 및 변화시킴으로써 네트워크의 토폴로지를 적절히 진화시켜 나아가며 강인한 (robust) 네트워크를 형성할 필요가 있다.
본 발명은 네트워크를 구성하는 노드들이 자체적으로 정책에 따라 전송 전력을 변화시킴으로써 전송 범위를 변화시키는 네트워크 형성 장치 및 방법을 제공한다.
본 발명은 동적인 네트워크의 변화에 따라, 네트워크를 구성하는 노드들이 자체적으로 전송 범위를 변화시키며 네트워크를 변화시키는 네트워크 형성 장치 및 방법을 제공한다.
본 발명은 동적 네트워크 환경에서도, 네트워크에 포함되는 노드의 수가 일정한 고정된 네트워크에 수렴하는 네트워크 형성 장치 및 방법을 제공한다.
본 발명은 고정된 네트워크에 보다 빨리 수렴하도록 네트워크의 초기 상태를 결정하는 네트워크 형성 장치 및 방법을 제공한다.
본 발명의 일실시예에 따르면, 복수의 중간 노드를 통해 소스 노드와 종단 노드를 연결하는 네트워크 형성 장치가 수행하는 네트워크 형성 방법에 있어서, 마르코프 특성(Markov property)을 만족하는 상태 스페이스, 액션 스페이스, 상태 이전 확률, 유틸리티 함수, 디스카운트 팩터를 판단하는 단계; 상기 복수의 중간 노드 중에서 데이터를 전송하는 중간 노드인 에이전트의 전송 범위의 변화 여부를 판단하는 상기 에이전트의 정책을 결정하는 단계; 상기 결정된 정책에 기초하여, 극한확률분포 (limiting distribution)를 이용함으로써 네트워크의 초기 상태를 형성하는 단계를 포함하는 네트워크 형성 방법일 수 있다.
상기 상태 스페이스는, 상기 복수의 중간 노드 중에서 데이터를 전송하는 중간 노드인 에이전트로부터 상기 데이터를 수신한 유효 노드의 수를 나타내는 상태의 집합을 나타내고, 상기 액션 스페이스는, 상기 에이전트로부터 상기 데이터가 전송 가능한 상기 전송 범위의 변화를 나타내는 액션의 집합을 나타내고, 상기 상태 이전 확률은, 상기 액션에 의해 현재 상태에서 다음 상태로 이전하는 확률을 나타내고, 상기 유틸리티 함수는, 상기 현재 상태에서 상기 다음 상태로 이전할 때 네트워크 처리량 향상과 소비되는 전송 전력을 포함하며, 상기 디스카운트 팩터는, 시간에 따라 유틸리티의 감소하는 정도를 나타내는 네트워크 형성 방법 일 수 있다.
상기 정책은, 특정한 시간에서 누적적인 유틸리티 함수인 상태-가치 함수를 최적화하는 제1 정책이거나 또는 상기 제1 정책에 의한 상태-가치 함수와의 오차가 미리 설정된 값보다 작은 상태-가치 함수를 나타내는 제2 정책인 네트워크 형성 방법 일 수 있다.
상기 중간 노드는, 상기 소스 노드 또는 다른 중간 노드로부터 수신한 데이터를 갈로이스 필드에서 인코딩하는 네트워크 형성 방법 일 수 있다.
상기 액션은, 상기 액션이 0보다 큰 경우, 상기 전송 범위를 증가시키고, 또는 상기 액션이 0보다 작은 경우, 상기 전송 범위를 감소시키며, 또는 상기 액션이 0인 경우, 상기 전송 범위를 변화시키지 않는 네트워크 형성 방법 일 수 있다.
상기 디스카운트 팩터는, 동적 네트워크의 채널환경의 일관성에 기초하여 결정되는 네트워크 형성 방법 일 수 있다.
초기 상태는, 정책에 액션이 0인 경우를 포함할 때 최대의 극한확률분포를 갖는 상태를 나타내거나, 또는 정책에 액션이 0인 경우를 포함하지 않을 때 아이겐벨류가 1인 것에 대응되는 상태 이전 행렬의 행 아이겐벡터를 갖는 상태를 나타내는 네트워크 형성 방법 일 수 있다.
상기 유틸리티 함수는 네트워크 처리량 향상을 나타내는 보상과 소비되는 전송 전력의 비용의 밸런스를 조절하는 가중치를 사용하는 네트워크 형성 방법 일 수 있다.
본 발명의 일실시예에 따르면, 복수의 중간 노드를 통해 소스 노드와 종단 노드를 연결하는 네트워크 형성 장치가 수행하는 네트워크 형성 방법에 있어서, 상기 중간 노드인 에이전트의 정책에 기초하여 형성된 네트워크의 초기 상태에 포함된 상기 에이전트로부터 데이터를 수신하는 유효 노드의 수를 확인하는 단계; 상기 초기 상태를 형성한 정책을 이용하여 액션을 결정하는 단계; 상기 결정된 액션에 따라, 상기 데이터의 상기 전송 범위를 업데이트 하는 단계를 더 포함하는 네트워크 형성 방법일 수 있다.
본 발명의 일실시예에 따르면, 네트워크 형성 장치에 있어서, 상기 네트워크 형성 장치는 프로세서를 포함하고, 상기 프로세서는, 복수의 중간 노드를 통해 소스 노드와 종단 노드를 연결하고, 마르코프 특성(Markov property)을 만족하는 상태 스페이스, 액션 스페이스, 상태 이전 확률, 유틸리티 함수, 디스카운트 팩터를 판단하고, 상기 복수의 중간 노드 중에서 데이터를 전송하는 중간 노드인 에이전트의 전송 범위의 변화 여부를 판단하는 상기 에이전트의 정책을 결정하며, 상기 결정된 정책에 기초하여, 극한확률분포를 이용함으로써 네트워크의 초기 상태를 형성하는 네트워크 형성 장치 일 수 있다.
본 발명의 일실시예에 따르면, 네트워크 형성 장치에 있어서, 상기 네트워크 형성 장치는 프로세서를 포함하고, 상기 프로세서는, 복수의 중간 노드를 통해 소스 노드와 종단 노드를 연결할 때, 상기 중간 노드인 에이전트의 정책에 기초하여 형성된 네트워크의 초기 상태에 포함된 상기 에이전트로부터 데이터를 수신하는 유효 노드의 수를 확인하고, 상기 초기 상태를 형성한 정책을 이용하여 액션을 결정하고, 상기 결정된 액션에 따라, 상기 데이터의 상기 전송 범위를 업데이트하는 네트워크 형성 장치일 수 있다.
본 발명의 일실시예에 의하면, 네트워크를 구성하는 노드들이 자체적으로 정책에 따라 전송 전력을 변화시킴으로써 전송 범위를 변화시키는 네트워크 형성 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 의하면, 동적인 네트워크의 변화에 따라, 네트워크를 구성하는 노드들이 자체적으로 전송 범위를 변화시키며 네트워크를 변화시키는 네트워크 형성 장치 및 방법을 제공 할 수 있다.
본 발명의 일실시예에 의하면, 동적 네트워크 환경에서도, 네트워크에 포함되는 노드의 수가 일정한 고정된 네트워크에 수렴하는 네트워크 형성 장치 및 방법을 제공 할 수 있다.
본 발명의 일실시예에 의하면, 고정된 네트워크에 보다 빨리 수렴하도록 네트워크의 초기 상태를 결정하는 네트워크 형성 장치 및 방법을 제공 할 수 있다.
도 1은 본 발명의 일실시예에 따른, 네트워크를 구성하는 소스 노드, 중간 노드, 종단 노드를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른, 네트워크를 초기화 하는 방법을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른, 네트워크를 변화시키는 방법을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따라, 액션에 따라 전송 범위의 변화를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른, 정책을 결정하는 algorithm 1을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른, 패킷의 전송과 함께 네트워크를 변화시키는 algorithm 2를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른, 네트워크 사이즈에 따른 노드의 수를 나타내는 시뮬레이션을 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른, 제2 정책에 따른 시뮬레이션을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른, 디스카운트 팩터에 따라 제2 정책에 따른 수렴 속도의 시뮬레이션을 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른, 네트워크 연결에서 가중치(w)에 따른 시뮬레이션을 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른, 링크 실패율에 따른 네트워크 연결을 도시한 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제 1 또는 제 2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소는 제 1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른, 네트워크를 구성하는 소스 노드, 중간 노드, 종단 노드를 도시한 도면이다.
네트워크는 소스 노드(110)(source node), 중간 노드(120)(intermediate node), 종단 노드(130)(terminal node)를 포함할 수 있다. 각각의 소스 노드(110)는 독립적인 세트의 종단 노드(130)와 연결될 수 있다. 예를 들면, 소스 노드(110)은 복수의 종단 노드(130)에게 데이터를 멀티캐스트(multicast) 할 수 있다. 소스 노드(110)는 데이터를 전송할 수 있고, 종단 노드(130)은 데이터를 수신할 수 있다.
소스 노드(110)로부터 종단 노드(130)로 데이터는 직접 전송되는 경우, 중간 노드(120)는 사용되지 않을 수 있다. 또는 소스 노드(110)로부터 종단 노드(130)로 데이터가 직접 전송되지 않는 경우, 중간 노드(120)는 소스 노드(110)로부터 데이터를 수신하여, 종단 노드(130)으로 데이터를 송신하는 릴레이(relay) 역할을 수행할 수 있다.
네트워크에 있는 소스 노드(110)의 수를
Figure pat00001
, 종단 노드(130)의 수를
Figure pat00002
, 중간 노드(120)의 수를
Figure pat00003
라고 한다면, 네트워크에 있는 총 노드의 수는
Figure pat00004
를 나타낼 수 있다.
중간 노드(120)는 이동성(mobility)를 가질 수 있으며, 중간 노드(120)는 유/무선 디바이스 일 수 있다. 또한 중간 노드(120)는 전송 전력(transmission power)을 조정함으로써, 데이터를 송신할 수 있는 전송 범위(transmission range)를 결정할 수 있다.
일례로,
Figure pat00005
는 특정한 시간(
Figure pat00006
)에서 중간 노드(
Figure pat00007
)의 전송 범위의 반지름(radius)를 나타내며,
Figure pat00008
는 특정한 시간(
Figure pat00009
)에서 중간 노드(
Figure pat00010
)에서 다른 중간 노드
Figure pat00011
로의 유클리디안 거리(Euclidean distance)를 나타낸다. 만약 중간 노드
Figure pat00012
의 전송 범위에
Figure pat00013
가 있다면,
Figure pat00014
는
Figure pat00015
로부터 데이터를 수신할 수 있다. 여기서, 유클리디안 거리는 노드 사이의 직선거리를 나타낼 수 있으며, 최단거리는 직선거리에 포함될 수 있다. 일례로, 중간 노드(
Figure pat00016
)에서 다른 중간 노드(
Figure pat00017
)로의 유클리디안 거리는 직선거리를 나타낼 수 있으며, 또한 최단거리를 나타낼 수 있다.
소스 노드, 중간 노드, 종단 노드 간의 링크(link)는 연결될 수 있거나, 연결에 실패할 수 있다. 일례로, 중간 노드 간의 링크의 연결이 실패할 확률을
Figure pat00018
라고 한다면, 중간 노드(
Figure pat00019
)가 다른 중간 노드(
Figure pat00020
)로부터 링크의 연결에 성공할 확률은
Figure pat00021
일 수 있다.
중간 노드 간의 연결은 네트워크를 형성할 수 있다. 일례로, 중간 노드의 연결을 통해 멀티-홉 애드 혹 네트워크(multi-hop ad hoc network)를 형성할 수 있다. 소스 노드로부터 종단 노드까지 데이터의 전송은 복수의 중간 노드 중에서 선택된 중간 노드에 의한 경로에 따라, 데이터 전송의 처리량/속도 등이 결정될 수 있다.
노드 가치(node value)는 다른 중간 노드가 데이터 전달에 얼마나 도움이 되는지를 수치화 한 값을 나타내며, 노드 가치 함수(
Figure pat00022
)는 중간 노드
Figure pat00023
에서 평가한 다른 중간 노드
Figure pat00024
의 가치를 나타낼 수 있다. 이때, 노드 가치 함수는 다음의 수학식 1과 같을 수 있다.
Figure pat00025
이때,
Figure pat00026
에서
Figure pat00027
는 중간 노드(
Figure pat00028
)와
Figure pat00029
의 종단 노드(
Figure pat00030
) 간의 홉(hop)의 수를 나타낼 수 있다.
중간 노드(
Figure pat00031
)로부터 종단 노드(
Figure pat00032
)까지 홉(hop)의 수와
Figure pat00033
와 중간노드(
Figure pat00034
) 사이의 거리가 감소하는 것으로 노드 가치를 정의함으로써,
Figure pat00035
는 전송 에너지 소모를 최소화 할 수 있는 가까운 중간 노드(
Figure pat00036
)에 연결하고, 동시에 중간 노드(
Figure pat00037
)가 적은 홉수로 종단 노드(
Figure pat00038
,
Figure pat00039
)와 연결됨으로써 노드 가치 함수(
Figure pat00040
)는 증가할 수 있다. 그러므로, 적절한 중간 노드(
Figure pat00041
)를 선택하는 것에 의해서, 중간 노드(
Figure pat00042
)는 더 적은 전송 전력을 소비하고 데이터 전송의 딜레이(delay)를 줄일 수 있다.
a) Network Coding Based Encoding Process
소스 노드(
Figure pat00043
)는 데이터(
Figure pat00044
)를 특정한 시간(
Figure pat00045
)에서 생성할 수 있다`. 그리고 소스 노드는 생성된 데이터를 전송 전력(
Figure pat00046
)으로 전송할 수 있고, 이때 함수 g는 유/무선 채널의 경로 손실 모델(path loss model)에 기반하여 결정될 수 있다. 소스 노드에서 전송 범위의 반지름(
Figure pat00047
)은 시간과 관계없는 독립적인 값이다.
특정한 시간(
Figure pat00048
)에서 중간 노드(
Figure pat00049
)가 소스 노드(
Figure pat00050
)의 전송 범위에 위치하고 있다면, 중간 노드(
Figure pat00051
)는 데이터(
Figure pat00052
)를 소스 노드로부터 수신하고 버퍼(
Figure pat00053
)에 데이터를 저장할 수 있다. 데이터는 타임 스탬프(time stamp)에 따라 구별되어 저장될 수 있다. 예를 들면, 저장된 후, 오랜 시간이 지난 데이터는 버퍼의 앞쪽에 위치할 수 있다.
패킷은 제한된 수명 기간(limited life span, e.g. time to live(TTL))을 가지고 있으며, 수명 기간이 만료된 패킷은 버려질 수 있다.
중간 노드(
Figure pat00054
)는 버퍼(
Figure pat00055
)에 저장된 같은 타임 스탬프(time stamp)를 가진 패킷을 조합함으로써 네트워크 코딩을 수행할 수 있고, 그 결과 인코딩된 인코딩 데이터(
Figure pat00056
)를 미래 시간(
Figure pat00057
)에서 생성할 수 있다. 여기서, 인코딩 데이터(
Figure pat00058
)는 다음의 수학식 2로 표현될 수 있다
Figure pat00059
Figure pat00060
는 중간 노드(
Figure pat00061
)의 글로벌 코딩 계수(global coding codfficient)를 나타낸다. 네트워크 코딩은 갈로이스 필드(GF)영역에서 수행될 수 있고, 연산자
Figure pat00062
및
Figure pat00063
는 갈로이스 필드영역에서 각각 덧셈과 곱셈을 나타낼 수 있다. 다만, 네트워크 코딩은 갈로이스 필드영역에서만 수행되는 것은 아니며, 본 발명은 다른 영역에서 네트워크 코딩이 수행되는 것도 포함할 수 있다.
코딩이 수행될 때, 동일한 타임 스탬프(time stamp)를 가진 데이터는 조합되며, 그리고 패킷(
Figure pat00064
)은 다음의 수학식 3과 같이 형성 될 수 있다. 여기서, 패킷(
Figure pat00065
)은 조합된 데이터의 타임 스탬프(
Figure pat00066
)를 가지며, 글로벌 코딩 계수(
Figure pat00067
)는 헤더(header)에 위치하며, 인코딩 데이터(
Figure pat00068
)는 페이로드(payload)에 위치할 수 있다.
Figure pat00069
만약, 중간 노드(
Figure pat00070
)가 특정한 시간(
Figure pat00071
)에 인코딩된 인코딩 데이터(
Figure pat00072
)를 수신한 경우, 중간 노드(
Figure pat00073
)는 수신한 데이터를 재조합하고 특정한 시간(
Figure pat00074
)에 인코딩된 인코딩 데이터(
Figure pat00075
)를 다음의 수학식 4를 따라 생성할 수 있다.
여기서 로컬 코딩 계수(local coding coefficient,
Figure pat00076
)는 중간 노드(
Figure pat00077
)에서 일시적으로 사용하는 코딩 계수이다. 여기서, 로컬 코딩 계수와 종래의 글로벌 코딩 계수를 연산함으로써 글로벌 코딩 계수를 업데이트 할 수 있다. 하기 기술할 패킷은 로컬 코딩 계수가 아닌 글로벌 코딩 계수를 포함할 수 있다.
Figure pat00078
본 발명에서, 네트워크 코딩은 RLNC(Random Linear Network coding)에 기반하여 실행될 수 있다. 그래서 로컬 코딩 계수(
Figure pat00079
)는 크기가
Figure pat00080
인 갈로이스 필드영역으로부터 균일하고(uniformly) 임의적으로(randomly) 선택될 수 있다.(즉,
Figure pat00081
) 네트워크 코딩은 RLNC에 의한 코딩에 한정되지 않고, NC-SVD(Network Coding Singular Value Decomposition) 또는 NC-EGD(Network Coding Eigen Decomposition) 또는 NC-UHM(Network Coding Unitary Hessenberg Matrix)와 같은 다른 네트워크 코딩 방법에 의해서도 수행될 수 있다.
b) Source Reconstruction at Terminal Nodes
종단 노드는 수신한 데이터를 디코딩할 수 있다. 네트워크 코딩된 데이터(
Figure pat00082
)의 벡터 및 글로벌 코딩 계수 행렬(global coding codfficient matrix)은 다음의 수학식 5와 같이 표현될 수 있다.
Figure pat00083
Figure pat00084
Figure pat00085
도 2는 본 발명의 일실시예에 따른, 네트워크를 초기화 하는 방법을 도시한 도면이다.
단계(301)에서, 네트워크 형성 장치는 마르코프 특성(Markov property)을 만족하는 상태 스페이스, 액션 스페이스, 상태 이전 확률, 유틸리티 함수, 디스카운트 팩터를 판단할 수 있다.
상태(state, s)는 데이터를 전송하는 중간 노드인 에이전트의 전송 범위에 있는 유효 노드(effective node)의 예상되는 수를 나타낸다. 상태 스페이스(state space, S)는 상태(state)의 집합(
Figure pat00086
)을 나타낸다.
여기서, 유효 노드는 최대
Figure pat00087
개수 일 수 있으며, 채널의 링크 실패율(link failure rate,
Figure pat00088
)을 고려할 경우
Figure pat00089
개수 일 수 있다. 여기서, 네트워크 형성 장치가 데이터를 수신한 유효 노드의 수를 알 수 있는 경우와 달리, 알 수 없는 경우 에이전트의 전송 범위 내에 있는 노드(node)의 개수와 링크 실패율을 이용하여 기대값(expectation value)을 통해 유효 노드의 수는 계산될 수 있다.
만약, 동적 네트워크(dynamic network)인 경우, 특정한 시간(
Figure pat00090
)에서 상태(s)는 노드(node)의 이동성(mobility)과 채널의 링크 실패율로 인해 노드 밀도(
Figure pat00091
)가 정확한 값이 아닐 수 있기 때문에, 중간 노드의 전송 범위의 반지름(
Figure pat00092
)에 의해서 직접적으로 결정될 수 없다. 따라서, 네트워크가 상태(s)에 의해 형성될 경우, 동적 네트워크에 따라 중간 노드의 전송 범위의 반지름(
Figure pat00093
)이 변화하여 네트워크가 형성될 수 있으므로, 강인한(robust) 네트워크를 형성할 수 있고, 자세한 과정은 이하 서술한다. 이하, 강인한 네트워크는 각각의 노드가 정책에 따라 전송 범위를 결정하고, 네트워크의 환경의 동적변화에 따라, 네트워크를 지속적으로 변화/진화시켜 네트워크의 데이터 전송 성공률 및 데이터 전송량을 유지 및 향상 시킬수 있다.
액션(action, a)은 에이전트의 이전 시간의 전송 범위(transmission range)와 비교해서, 전송 범위의 변화를 나타낸다. 이전 시간(
Figure pat00094
)의 전송 범위
Figure pat00095
, 현재 시간(
Figure pat00096
)의 전송 범위
Figure pat00097
라고 할 때, 현재 시간(t)에서의 액션(a)는
Figure pat00098
로 표현될 수 있다. 즉, 액션은 이전 시간과 비교한 현재 시간의 전송 범위의 변화 여부를 결정할 수 있다. 이때, 전송 범위는 에이전트로부터의 거리, 반지름, 면적등 다양하게 표현될 수 있다.
이때, a>0 경우 이전 시간과 비교하여 현재 시간에서 에이전트의 전송 범위를 증가시키고, a=0 경우 이전 시간과 비교하여 현재 시간에서 에이전트의 전송 범위는 변화가 없으며, a<0 경우 이전 시간과 비교하여 현재 시간에서 에이전트의 전송 범위를 감소시킨다.
상태 이전 확률(state transition probability,
Figure pat00099
)은 액션(a)인 경우 상태(s)에 있는 노드가 다른 상태(s')로 이전할 확률을 나타낸다. 이때, 상태(s)를 현재 상태, 상태(s')을 다음 상태라 할 수 있다. 네트워크 내 노드 분포 밀도가
Figure pat00100
인 경우에, 상태 이전 확률은 다음의 수학식 6과 같이 표현될 수 있다. 이때,
Figure pat00101
는 특정한 시간(
Figure pat00102
)에서 전송 범위(
Figure pat00103
)에 포함되는 노드의 수를 나타낸다.
Figure pat00104
수학식 6은 액션(a)이 0보다 큰 경우 전송 범위에
Figure pat00105
개의 노드가 포함되는 확률을 나타내며, 액션(a)가 0보다 작은 경우 전송 범위에
Figure pat00106
가 포함될 확률을 나타내며, 액션(a)가 0인 경우 전송 범위에 변화가 없어
Figure pat00107
=
Figure pat00108
일 수 있다.
수학식 6은 조건부 확률(conditional probability)의 Kolmogorov 정의(definition)에 기초하여 증명될 수 있다. 수학식 6의 상태 이전 확률은 다음의 수학식 7로 표현될 수 있다.
Figure pat00109
이때, 데이터를 전송 받은 유효 노드의 수를 알고 있는 경우, 유효 노드의 수를 이용하여 수학식 7은 계산 될 수 있다. 또는, 유효 노드의 수를 알 수 없는 경우, 전송 범위에 위치한 중간 노드의 수 및 채널의 링크 실패율을 이용한 기대값을 계산하여, 수학식 7은 계산될 수 있다.(즉, 후자의 경우
Figure pat00110
로 표현될 수 있음.)
ⅰ) 액션이 0보다 큰 경우, 전송 범위의 증가로 인해 더 많은 노드가 전송 범위에 포함될 수 있고, 수학식 7은 다음의 과정을 통해 증명될 수 있다.
Figure pat00111
ⅱ) 액션이 0보다 큰 경우와 마찬가지 방법으로, 액션이 0보다 작은 경우도 증명될 수 있고, 동일한 결과를 나타낼 수 있다.
ⅲ) 액션이 0인 경우는
Figure pat00112
Figure pat00113
를 통해 액션이 0보다 크거나 작은 경우와 동일한 결과를 나타낼 수 있다.
유틸리티 함수(utility function,
Figure pat00114
)는 네트워크 처리량(network throughput) 의 향상(improvement)과 관련된 보상(reward,
Figure pat00115
) 및 소비되는 전송 전력에 대한 비용(cost)를 포함한다. 즉, 유틸리티 함수는 다음의 수학식 8와 같이 표현될 수 있다.
Figure pat00116
이때, 가중치(weight, w)는 0에서 1사이의 값이며, 보상(reward)과 비용(cost) 간의 밸런스(balance)를 유지하기 위해 사용될 수 있다. 예를 들면, w=1인 경우, 액션(a)와 관련된 추가적으로 소비된 전송 전력에 대한 비용은 고려되지 않고, 오직 네트워크 처리량의 향상만 고려될 수 있다. 반대로, w=0인 경우, 보상 (R(s,s'))과 관련된 네트워크 처리량 향상은 고려하지 않고 오직 추가적으로 소비된 전송 전력에 대한 비용만 고려될 수 있다.
수학식 8에서 a>0 경우, 전송 범위를 넓게 하기 위해 소비 전력을 더 많이 사용해야 하므로 비용(cost)가 증가할 수 있다. 반대로, a<0 경우, 수학식 8에서 -(1-w)*a 는 양수가 되어 유틸리티 함수의 값은 증가할 수 있다.
유틸리티 함수는 일반적으로 음수가 아닌(non-negative) 값으로, 이를 위해 상수 u가 이용되고 있다. 따라서, 유틸리티 함수(utility function,
Figure pat00117
)는 0보다 크거나 같도록 설정될 수 있다.
보상(reward)과 관련된 함수
Figure pat00118
는 다음의 수학식 9와 같이 정의될 수 있다. 이때,
Figure pat00119
는 상태(s)인 경우 네트워크 처리량을 나타내고,
Figure pat00120
는 상태(s')인 경우 네트워크 처리량을 나타낸다.
Figure pat00121
디스카운트 팩터(discount factor,
Figure pat00122
)는 0에서 1사이의 값으로, 예측한 미래 유틸리티 함수의 값이 시간에 따라 감소하는 정도를 나타낸다. 따라서, 디스카운트 팩터(
Figure pat00123
)를 이용하여 미래의 유틸리티 함수의 값을 누적한 장기적인 관점의 현재 상태의 가치를 결정할 수 있다.
디스카운트 팩터는 네트워크 동적환경의 일관성(consistency)에 기초하여 결정될 수 있다. 예를 들면, 네트워크의 조건이 정적(static)이라면, 즉 네트워크가 변하지 않는 경우라면, 예측한 미래의 유틸리티 함수의 값이 신뢰성이 높아지기에 높은 가중치를 부과(impose)하기 위해 큰 값의 디스카운트 팩터를 사용한다. 반면에, 동적환경의 일관성이 적은 네트워크인 경우, 디스카운트 팩터는 작은 값일 수 있다.
상태 스페이스(S), 액션 스페이스(A), 상태 이전 확률, 유틸리티 함수, 디스카운트 팩터는 마르코프 특성(Markov property)을 만족하며, 다음의 과정을 통해 증명될 수 있다. 마르코프 특성은 연속적인 이벤트가 발생하는 경우에 미래의 이벤트는 과거의 이벤트와 관계 없이 현재의 이벤트에 의해서만 영향을 받는 것으로, 아래의 수학식 를 의미할 수 있다.
Figure pat00124
는 연속적인 이벤트(sequence of event)로서,
Figure pat00125
는 특정한 시간(
Figure pat00126
)에서의 액션(a)와 상태(s)를 포함하는 이벤트를 나타낸다. 초기의 전송 범위는
Figure pat00127
를 나타내며, 이에 따른 상태는
Figure pat00128
을 나타낸다.
액션(
Figure pat00129
) 및 상태(
Figure pat00130
)일 경우, 상태 이전 확률은 새로운 상태
Figure pat00131
로 상태를 이전 시키며, 이는 다음의 수학식 10과 같이 표현될 수 있다. 이때,
Figure pat00132
는 상태가
Figure pat00133
에서
Figure pat00134
로 이전할 때 추가적으로 포함되는 노드를 나타낼 수 있다.
Figure pat00135
마찬가지 방식으로,
Figure pat00136
는 다음의 수학식 11과 같은 과정을 통해 표현될 수 있다.
Figure pat00137
따라서, 마찬가지 방식으로,
Figure pat00138
는 다음의 수학식 12와 같이 표현될 수 있다.
Figure pat00139
이때, 수학식 13에 의해서, 수학식 12는 수학식 14와 같이 표현될 수 있다.
Figure pat00140
Figure pat00141
Figure pat00142
수학식 14로부터 아래의 수학식 15를 도출할 수 있으므로, 미래의 이벤트는 과거의 이벤트와 관계 없이 현재의 이벤트에 의해서만 결정된다는 마르코프 특성(Markov property)은 증명될 수 있다.
Figure pat00143
단계(202)에서, 네트워크 형성 장치는 복수의 중간 노드 중에서 데이터를 전송하는 중간 노드인 에이전트의 전송 범위의 변화 여부를 판단하는 상기 에이전트의 정책을 결정할 수 있다.
네트워크의 노드들이 전송 전력을 변화 시킴으로써 전송 범위를 변경할 수 있고, 전송 범위의 변화하는 정도는 네트워크의 노드들의 각각의 정책(policy)에 따라 결정될 수 있다. 즉, 각각의 네트워크의 노드들이 전송 범위 설정을 네트워크의 환경에 따라 변화시킬 수 있다.
네트워크의 노드들의 자신의 정책은 최적의 정책을 나타내는 제1 정책과 계산 복잡도를 고려한 제1 정책에 근사화된 제2 정책일 수 있다. 제1 정책과 제2 정책의 자세한 사항은 이하에서 상세히 설명한다.
단계(203)에서, 네트워크 형성 장치는 결정된 정책에 기초하여, 극한확률분포를 이용함으로써 네트워크의 초기 상태를 형성할 수 있다.
네트워크의 노드는 정책에 따라 전송 범위를 변화시킬 수 있고, 그 결과, 네트워크가 고정(stationary)될 수 있다. 즉 네트워크를 구성하는 노드의 수가 변하지 않을 수 있다. 즉, 동적 네트워크일지라도, 정책에 따라 전송 범위를 변화시키는 과정을 반복(iteration)하면, 네트워크는 고정될 수 있다.
이때, 네트워크의 초기 상태가 설정된 조건에 따라, 고정된 네트워크로 수렴하는 것은 보다 신속히 처리될 수 있다. 즉, 고정된 네트워크로 수렴하도록 네트워크의 초기 상태는 설정 될 수 있다.
도 3은 본 발명의 일실시예에 따른, 네트워크를 변화시키는 방법을 도시한 도면이다.
단계(301)에서, 네트워크 형성 장치는 네트워크의 초기 상태에 포함된 상기 에이전트로부터 데이터를 수신하는 유효 노드의 수를 확인할 수 있다. 여기서, 초기 상태는 중간 노드인 에이전트의 정책에 기초하여 형성될 수 있다. 네트워크 형성 장치는 보다 빨리 수렴할 수 있도록 형성된 네트워크의 초기 상태에 포함된 중간 노드 중에서, 에이전트로부터 데이터를 수신하는 유효 노드의 수를 확인할 수 있다.
단계(302)에서, 네트워크 형성 장치는 분산된 노드들의 초기 상태를 형성한 정책을 이용하여 액션을 결정할 수 있다. 액션은 각각의 노드들의 정책에 따라 결정될 수 있다. 이때, 정책은 최적의 정책인 제1 정책을 의미할 수 있고, 또는 계산 복잡도를 고려한 제1 정책에 근사화된 제2 정책을 의미할 수 있다.
단계(303)에서, 네트워크 형성 장치는 결정된 액션에 따라, 각각의 에이전트에서 데이터의 전송 범위를 업데이트 할 수 있다. 즉, 결정된 액션에 따라, 에이전트에서 데이터의 전송 범위는 증가할지, 감소할지 여부가 결정될 수 있다. 결정된 데이터의 전송 범위를 기초로 각각의 에이전트에서 데이터의 전송 범위는 업데이트 될 수 있다. 업데이트 이후, 다시 단계(301)에서 단계(303)까지 반복될 수 있고, 반복을 통해 정적인 네트워크로 수렴될 수 있다.
도 4는 본 발명의 일실시예에 따라, 액션에 따라 전송 범위의 변화를 도시한 도면이다.
a) 액션이 0보다 큰 경우
도 4a에서 확인 가능하듯이, 현재 시간(
Figure pat00144
)에서 데이터를 전송하는 에이전트의 전송 범위는 미래 시간(
Figure pat00145
)에서 증가할 수 있다. 예를 들면, 현재 시간(
Figure pat00146
)에서 에이전트의 전송 범위에 포함된 중간 노드의 수가 5개이며, 이중에서 데이터를 전송 받는 유효 노드의 수는 4개이다 (여기서 에이전트도 유효 노드의 수에 포함된다). 미래 시간(
Figure pat00147
)에서 에이전트의 전송 범위는 증가하였으며, 그 결과 중간 노드의 수는 10개이며, 이중에서 데이터를 전송 받는 유효 노드의 수는 7개 이다.
b) 액션이 0인 경우
도 4b에서 확인 가능하듯이, 현재 시간(
Figure pat00148
)에서 데이터를 전송하는 에이전트의 전송 범위는 미래 시간(
Figure pat00149
)에서 전송 범위와 동일할 수 있다. 예를 들면, 현재 시간(
Figure pat00150
)에서 에이전트의 전송 범위에 포함된 중간 노드의 수가 5개이고, 이중에서 데이터를 전송 받는 유효 노드의 수는 4개 이다. 미래 시간(
Figure pat00151
)에서 에이전트의 전송 범위는 동일하며, 그 결과 중간 노드의 수는 5개이며, 이중에서 데이터를 전송 받는 유효 노드의 수는 4개 이다.
c) 액션이 0보다 작은 경우
도 4c에서 확인 가능하듯이, 현재 시간(
Figure pat00152
)에서 데이터를 전송하는 에이전트의 전송 범위는 미래 시간(
Figure pat00153
)에서 감소될 수 있다. 예를 들면, 현재 시간(
Figure pat00154
)에서 에이전트의 전송 범위에 포함된 중간 노드의 수가 5개이며, 이중에서 데이터를 전송 받는 유효 노드의 수는 4개이다. 미래 시간(
Figure pat00155
)에서 에이전트의 전송 범위는 감소되었으며, 그 결과 중간 노드의 수는 4개이며, 이중에서 데이터를 전송 받는 유효 노드의 수는 3개 이다.
도 5는 본 발명의 일실시예에 따른, 정책을 결정하는 algorithm 1을 도시한 도면이다.
도 5의 단계(502)에서
Figure pat00156
가 0으로 설정되는 경우 제1 정책을 결정하는 algorithm 1을 수행할 수 있고,
Figure pat00157
가 0으로 설정되지 않은 경우 제2 정책을 결정하는 algorithm 1을 수행할 수 있다.
Algorithm 1을 간략히 설명하면, 단계(501)은 네트워크를 초기화 하는 것을 나타내며, 단계(502)는
Figure pat00158
를 만족할 때까지
Figure pat00159
를 업데이트하며, 단계(503)에서 조건을 만족하는 정책을 결정하고, 단계(504)에서 결정된 정책을 리턴할 수 있다.
이하, 제1 정책 및 제2 정책을 결정하는 방법을 자세하게 서술한다.
a) 제1 정책
각각의 노드에서 전송 범위의 변화는 노드의 정책(policy)에 따라 결정될 수 있다. 즉, 정책은
Figure pat00160
의 함수로서,
Figure pat00161
로 표현될 수 있다. 만약, 상태-가치 함수(state-value function,
Figure pat00162
)를 최대화 할 수 있다면, 정책은 최적화(optimal)될 수 있다.
여기서, 상태-가치 함수(state-value function,
Figure pat00163
)는 특정한 시간(
Figure pat00164
)에서의 상태(s)의 가치를 평가하는 함수로 현재 상태(s)에서 다음 상태(s')로의 변화를 통해 얻어지는 유틸리티 함수의 값과, 미래의 연쇄적인 상태변화로인해 얻어지는 유틸리티 함수의 시간에 따른 디스카운트 팩터를 곱한 누적 유틸리티를 나타내며, 다음의 수학식 16과 같이 표현될 수 있다.
Figure pat00165
상태-가치 함수의 기대값(expected value)은 다음의 수학식 17과 같이 표현될 수 있다. 즉, 기대값은 상태-가치 함수와 상태 이전 확률(
Figure pat00166
)의 곱으로 표현될 수 있다.
Figure pat00167
최적의(optimal) 상태-가치 함수
Figure pat00168
는 모든 정책에서 최대의(maximum) 상태-가치 함수를 의미할 수 있으며, 다음의 수학식 18과 같이 표현될 수 있다. 여기서, 는 모든 상태(every state)에서 정책에 의해 결정되는 액션에 의해 성취되는 최적의 상태-가치 함수를 의미할 수 있다.
Figure pat00170
따라서, 최적의 정책
Figure pat00171
은 최적의 상태-가치 함수
Figure pat00172
를 유도하는 정책을 나타내며, 다음의 수학식 19와 같이 정의될 수 있다. 또한, 수학식 19는 Bellman 최적 방정식(optimality equation)으로 알려져 있다.
Figure pat00173
주어진 최적의 정책
Figure pat00174
에 의해서, 각각의 상태(s)에서 최적의 액션
Figure pat00175
은 다음의 수학식 20과 같이 결정될 수 있다. 이와 같은 최적의 정책
Figure pat00176
은 제1 정책이라고 할 수 있다.
Figure pat00177
도 5의 algorithm 1에서(502)
Figure pat00178
로 설정된 경우, 다음의 수학식 21과 같이 algorithm 1은 제2 정책이 아닌 제1 정책으로 수렴할 수 있다.
Figure pat00179
(for all
Figure pat00180
)
b) 제2 정책
실제로, 제1 정책의 계산의 복잡성으로 인해, 계산의 복잡성을 낮출수 있는 근사화된 최적의 정책이 많이 이용되고 있다. 근사화된 최적의 정책은
Figure pat00181
로서
Figure pat00182
로 표현될 수 있다. 이때, 근사화된 최적의 정책을 제2 정책이라고 할 수 있다. 제2 정책은 다음의 수학식 22을 통해 표현될 수 있다.
Figure pat00183
제2 정책(
Figure pat00184
)에 의한 상태-가치 함수
Figure pat00185
와 제1 정책(
Figure pat00186
)에 의한 상태-가치 함수
Figure pat00187
의 차이는 최적 레벨(optimality level)
Figure pat00188
에 의해 제한되어 있다.
제2 정책은 도 5의 algorithm 1을 이용하여 결정될 수 있다. 반복(iteration)이 다음의 수학식 23과 같은 조건에 따라 멈춘다면, 제2 정책은 algorithm 1에 의해 결정될 수 있다.
Figure pat00189
(for all
Figure pat00190
)
수학식 23과 algorithm 1은 디스카운트 팩터
Figure pat00191
에 의존하게 되므로, 수학식 23과 algorithm 1에서 수렴하는 속도는 디스카운트 팩터
Figure pat00192
에 의해 조절될 수 있다.
따라서, 정책을 이용함으로써, 각각의 노드는 동적 네트워크(dynamics network)에 대해 전송 범위를 변화할 수 있고, 그 결과 강인한(robust) 네트워크를 형성할 수 있다.
도 6은 본 발명의 일실시예에 따른, 패킷의 전송과 함께 네트워크를 변화시키는 algorithm 2를 도시한 도면이다.
Algorithm 2를 간략히 설명하면, 단계(601)은 노드의 수가 일정한 고정된 네트워크로 수렴하도록 초기 상태를 결정하며, 단계(602)는 네트워크가 작동할 때, 노드가 수신한 패킷을 버퍼에 저장하도록 하며, 단계(603)은 버퍼가 empty하지 않으면 수학식 4에 의해 네트워크 코딩된 패킷을 형성하며, 단계(604)는 현재 상태(s)를 확인하며, 단계(605)는 상태 및 정책에 따라 액션을 결정하며, 단계(606)은 액션을 기초로 전송 범위를 변화시키며, 단계(607)은 네트워크 코딩된 패킷을 복수의 수신자에게 broadcast방식을 통해 전송한다.
이때, 단계(601)에서 초기 상태를 결정하는 방법은 이하 자세하게 설명한다.
네트워크의 노드는 정책에 따라 전송 범위를 변화시킬 수 있고, 그 결과, 네트워크가 고정(stationary)될 수 있다. 즉 네트워크를 구성하는 노드의 수가 변하지 않을 수 있다. 고정된 네트워크로 수렴하는 것이 보다 신속히 처리될 수 있도록, 네트워크의 초기 상태는 설정될 수 있다.
상태 이전 행렬(P)의 (s, s') 구성요소는 P(s, s')이며, 이는 다음의 수학식 24로 표현 될 수 있다. 이는, 최적의 액션
Figure pat00193
일 때, 상태 이전 확률(
Figure pat00194
)을 나타내며, 상태 이전 확률(P(s, s'))은 현재 상태 s에서 다음 상태 s'으로 이전할 확률을 나타낸다.
Figure pat00195
리미팅 행렬(limiting matrix,
Figure pat00196
) 및 극한확률분포(limiting distribution,
Figure pat00197
Figure pat00198
)에서 극한확률분포의 구성요소(
Figure pat00199
)은 다음의 수학식 25를 통해 계산될 수 있다.
Figure pat00200
여기서, 극한확률분포의 구성요소
Figure pat00201
는 무한번의 상태 이전(infinite number of state transitions)을 한 이후, 상태 s에 수렴할 확률을 나타낸다. 따라서, 초기 상태(initial state,
Figure pat00202
)는 다음의 수학식 26과 같이 최대의 극한확률분포의 구성요소(
Figure pat00203
)을 갖는 상태를 선택함으로써 결정될 수 있다.
Figure pat00204
결정된 초기 상태의 네트워크는 매우 높은 확률로 고정된 네트워크(stationary network)와 유사하게 형성될 수 있다. 이때, 고정된 네트워크는 여러번 상태의 이전이 발생한 이후, 네트워크의 노드의 수가 변하지 않는 고정된 네트워크로 수렴된 경우를 의미할 수 있다.
a) 정책에 액션(a)=0 포함되는 경우
정책에 액션(a)=0인 경우를 포함할 때 전송 범위는 변하지 않을 수 있다. 상태 이전 행렬(P)의
Figure pat00205
번째 행은 상태 이전 확률(
Figure pat00206
)의 정의에 의해서 다음 수학식 27과 같인 표현될 수 있다.
Figure pat00207
Figure pat00208
는 상태 스페이스(S)에서
Figure pat00209
를 제외하는 것을 의미할 수 있다. 이때 상태 이전 행렬(P)는 다음의 수학식 28과 같이 표현될 수 있다.
Figure pat00210
이때, 정규형 P의 행렬성분 Q는 음수가 아닌 원소로 구성된 행렬(non-negative matrix)이며, R은 양의 원소로 구성된 행렬(positive matrix)이며, 0은 영행렬(matrix with zeros)을 나타내며, I는 단위 행렬(identity matrix)을 나타낸다. 이때, 단위 행렬 I의 크기는 액션(a)가 0인 상태(state)의 개수 일 수 있다. 예를 들면, P가 4*4 행렬인 경우, Q/R/0/I 모두 2*2행렬일 수 있으며, 또는 Q/I는 1*1행렬 0/R는 3*3행렬을 나타낼 수 있으며, 또는 다른 방식으로 P를 나타낼 수도 있다..
그래서, 리미팅 행렬(limiting matrix)는 다음의 수학식 29와 같이 표현될 수 있다.
Figure pat00211
여기서, Q는 0에서 1사이의 값이기 때문에
Figure pat00212
되며, F는
Figure pat00213
로 표현될 수 있다. 이때, 극한확률분포(limiting distribution,
Figure pat00214
)의 구성요소인
Figure pat00215
는 다음의 수학식 30과 같이 표현될 수 있다.
Figure pat00216
여기서,
Figure pat00217
는 행렬 FR의 (i, j)번째 구성요소를 나타내며,
Figure pat00218
로서 상수를 나타낼 수 있다. 그러므로 초기 상태(
Figure pat00219
)는 다음의 수학식 31과 같이 결정될 수 있다.
Figure pat00220
초기 상태가 수학식 31을 통해 결정될 경우, 네트워크는 노드의 수가 변하지 않는 고정된 네트워크에 보다 빨리 수렴할 수 있다. 왜냐하면, 초기 상태가 높은 확률로 고정된 네트워크에 유사하게 형성되기 때문이다.
b) 정책에 액션(a)=0 포함되지 않는 경우
정책에 액션(a)=0인 경우를 포함하는 경우와 달리 정책에 액션(a)=0이 포함되지 않을 때, 상태 이전 행렬(P)는 수학식 28과 같이 표현될 수 없다.
만약, 액션이 0보다 크다면 이는 에이전트의 전송 범위를 넓히는 것을 의미할 수 있으며, 상태 이전 행렬(P)의 s번째 행(sth row)은 다음의 수학식 32와 같이 표현될 수 있다.
Figure pat00221
마찬가지로, 만약 액션이 0보다 작으면 이는 에이전트의 전송 범위를 줄이는 것을 의미할 수 있으며, 상태 이전 행렬(P)의 s번째 행(sth row)은 다음의 수학식 33과 같이 표현될 수 있다.
Figure pat00222
정책에 액션이 0인 경우를 포함할 때 상태 이전 행렬(P)은 수학식 28에 대응하여, 정책에 액션이 0인 경우를 포함하지 않을 때 상태 이전 행렬(P) 은 다음의 수학식 34와 같이 표현될 수 있다.
Figure pat00223
여기서, U는 upper triangular matrix를 나타내며, L은 lower triangular matrix를 나타내며,
Figure pat00224
및
Figure pat00225
는 양의 원소로 구성된 행렬을 나타낼 수 있다. 일례로, upper triangular matrix는 정사각행렬의 주대각선을 기준으로 아래쪽 원소들이 모두 0인 경우를 의미하며, 다음의 수학식 35로 표현될 수 있다. 또한, lower triangular matrix는 정사각행렬의 주대각선을 기준으로 위쪽 원소들이 모두 0인 경우를 의미하며, 다음의 수학식 36으로 표현될 수 있다.
Figure pat00226
Figure pat00227
수학식 34로 표현되는 상태 이전 행렬(P)의 정규형은 n이 2이상인 경우,
Figure pat00228
은 양의 성분을 가지는 행렬을 나타낼 수 있다. 예를 들면, n=2인 경우
Figure pat00229
Figure pat00230
로서, 행렬을 구성하는 원소는 양의 성분일 수 있다. 왜냐하면, Q1/Q2 모두 양의 원소를 가지는 행렬이며, L/U는 확률을 나타내기 때문이다.
이때, 상태 이전 행렬(P)는 확률 행렬(stochastic matrix)이기 때문에, perron-Frobenius theorem은 고유의 아이겐밸류(eigenvalue)가 있고, 가장 큰 아이겐밸류(eigenvalue)는 1이라는 것을 보증할 수 있다.
그러므로, 극한확률분포(limiting distribution,
Figure pat00231
)은 아이겐밸류(eigenvalue) 1(
Figure pat00232
)과 관련된 상태 이전 행렬(P)의 행 아이겐벡터(row eigenvector) 일 수 있다. 그리고 초기 상태는 수학식 26에 보이는 가장 큰 극한확률분포(largest limiting distribution)을 갖는 상태가 될 수 있다.
도 7은 본 발명의 일실시예에 따른, 네트워크 사이즈에 따른 노드의 수를 나타내는 시뮬레이션을 도시한 도면이다.
이하 도 7 내지 도 13의 시뮬레이션은 복수의 중간 노드(120)가 네트워크 코딩(network coding)을 이용하여, 소스 노드(110)로부터 복수의 종단 노드(130)로 데이터를 전송하는 것을 전제로 한다. 이때, 각각의 중간 노드는 자신의 정책을 따르며, 이는 각각의 중간 노드는 각각의 정책을 통해 전송 범위 내에 있는 노드의 수에 기초하여 전송 범위의 변화 결정하는 것을 의미할 수 있다.
도 7 내지 도 13은 명세서를 통해 제안된 전략에 의해 정책을 이용하여 형성된 네트워크를 제시하며, 또한 다른 전략에 의해 형성된 네트워크와 성능을 비교하는 시뮬레이션을 제시할 수 있다.
도 7은 2개의 소스 노드와 2개의 종단 노드 및 복수의 중간 노드가 형성하는 네트워크에서, 중간 노드의 수는 노드 밀도가 4/5인 PPP에 따라 결정될 수 있다. 여기서, 4/5 노드 밀도는 시뮬레이션을 하기 위한 일례에 해당할 뿐이며, 노드 밀도는 다른 값일 수 있다. 또한, 시뮬레이션에서 중간 노드인 모바일 노드가 실제로 분포하는 상황을 고려하기 위해 PPP가 이용될 수 있다.
네트워크의 사이즈는 영역의 사이즈(size of the area)를 나타내며, 3개의 다른 네트워크의 사이즈가 고려될 수 있다. 시뮬레이션의 결과는 1000번의 독립적인 시뮬레이션의 결과에 기초한다. 여기서, 영역의 사이즈는 소스 노드, 중간 노드, 종단 노드가 펼쳐진 영역의 사이즈를 나타낼 수 있다.
네트워크의 사이즈가 36, 64, 100인 경우, 각각의 네모상자(710, 720, 730) 안에 있는 선(712, 722, 732)은 시뮬레이션 결과의 중간 값을 나타낸다. 즉, 시뮬레이션 결과 네트워크 사이즈가 36인 경우 중간 값은 29, 네트워크 사이즈가 64인 경우 중간 값은 51, 네트워크 사이즈가 100인 경우 중간 값은 80을 나타낸다.
각각의 네모상자의 위선(top of box)(711, 721, 731)는 25번째 백분위수(percentile)를 나타내며, 상대적으로 각각의 네모상자의 아래선(bottom of box)(713, 723, 733)는 75번째 백분위수(percentile)를 나타낸다.
여기서, PPP는 면적과 density를 이용하여, 면적에 포함되는 노드의 수를 return하는 랜덤함수의 하나일 수 있다. 따라서 1000번의 독립시행을 할 경우, 각 독립시행에서 나오는 숫자값의 스펙트럼은 중간값(50번째 백분위)이 29이며, 상위 25번째로 큰 숫자, 아래로 75번째로 작은 숫자를 나타낼 수 있다. 따라서 네모상자가 길어지면 분산이 커진다는 것을 나타낼 수 있다.
따라서, 중간 노드는 노드 밀도에 기반하여 PPP에 의해서 생성된다는 것을 확인될 수 있다.
도 8은 본 발명의 일실시예에 따른, 제2 정책에 따른 시뮬레이션을 도시한 도면이다.
데이터를 전송하는 각각의 에이전트는 도 5에 의해 제2 정책을 결정할 수 있다. 제2 정책을 결정할 때,
Figure pat00233
의 값을 기준으로 수학식 23을 만족하는 제2 정책을 결정할 수 있다. 이때, 일례로, 상태 스페이스(S)는 20이며 액션 스페이스(A)는 5로서,
Figure pat00234
및
Figure pat00235
를 나타낸다.
도 8의 시뮬레이션에서 확인 가능하듯이, 수학식 23에서 제시되는
Figure pat00236
는 상태 스페이스(S)에 포함되는 모든 상태(s)에 대해(즉,
Figure pat00237
) 반복(iteration)이 증가할수록 0에 수렴하는 것을 나타낸다.
여기서, 반복(iteration)은
Figure pat00238
를 만족할 때 종결될 수 있다.. 따라서 많은 반복(iteration)이 수행된 이후 반복이 종결될 경우, 결국
Figure pat00239
Figure pat00240
를 만족하게 된다. 따라서, 제안된 알고리즘은 수렴하는 것을 나타낼 수 있다.
디스카운트 팩터
Figure pat00241
가 0.3 및 0.9에 따라 수렴하는 속도가 상이한 것을 확인할 수 있다. 즉, 디스카운트 팩터
Figure pat00242
= 0.3일 때(801)가
Figure pat00243
= 0.9일 때(802)보다 더 빨리 수렴할 수 있다. 디스카운트 팩터
Figure pat00244
에 따른 수렴 속도의 차이는 도 9에서 자세히 살펴본다.
도 9는 본 발명의 일실시예에 따른, 디스카운트 팩터에 따라 제2 정책에 따른 수렴 속도의 시뮬레이션을 도시한 도면이다.
디스카운트 팩터
Figure pat00245
에 따라 수렴하는 속도가 결정되는 것을 확인할 수 있다. 즉, 도 9는 제2 정책에 따라 노드가 자신의 전송 범위를 결정하고 네트워크가 수렴할 때까지 실행되는 반복(iteration)이 디스카운트 팩터
Figure pat00246
에 따라 결정되는 것을 나타낼 수 있다.
디스카운트 팩터
Figure pat00247
는 0에서 1사이의 값을 가지며, 디스카운트 팩터
Figure pat00248
가 크다는 것은 상대적으로 예측된 미래의 상태-가치에 더 큰 가중치를 부과할 수 있다는 것을 의미할 수 있다.
따라서, 디스카운트 팩터
Figure pat00249
가 상대적으로 클 경우, 예측된 미래의 상태-가치에 큰 가중치를 두게 되므로 상태-가치 함수가 수학식 22를 만족하며 수렴하는데 더 오랜 시간이 소비될 수 있다. 즉, 다시 말하면, 제2 정책을 결정하기 위해 상대적으로 더 많은 반복을 해야 하므로, 더 오랜 시간이 소비될 수 있다.
반대로, 디스카운트 팩터
Figure pat00250
가 상대적으로 작을 경우, 상태-가치 함수가 수학식 22를 만족하며 수렴하는데 더 짧은 시간이 소비될 수 있다. 즉, 다시 말하면, 제2 정책을 결정하기 위해 상대적으로 더 적은 반복을 해야 하므로, 더 짧은 시간이 소비될 수 있다.
도 10은 본 발명의 일실시예에 따른, 네트워크 연결에서 가중치(w)에 따른 시뮬레이션을 도시한 도면이다.
도 10은 네트워크의 사이즈에 대해 네트워크 내 설정된 링크의 수(the number of links) 관점에서 시뮬레이션 결과를 나타낼 수 있다. 또한, 도 11은 링크 실패율에 따른 네트워크 내 설정된 링크의 수(the number of links) 및 대수적 연결정도(algebraic connectivity)관점에서 시뮬레이션 결과를 나타낼 수 있다.
네트워크 내 설정된 링크의 수(the number of links constructed in the network)는 네트워크의 연결정도를 측정하는 정량적 단위로서 네트워크 내에 설정된 링크의 수를 카운팅함으로써 수량화(quantified)될 수 있다.
대조적으로, 대수적 연결정도(algebraic connectivity)는 네트워크의 연결정도를 평가하는 정성적 단위로서 해당 네트워크의 구성원소들이 서로 얼마나 잘 연결 되어있는지를 나타낼 수 있다.
도 10은 네트워크 연결(network connectivity)에서 유틸리티 함수의 가중치(w)의 영향을 나타낸다. 이때, 가중치(w)는, 0에서 1사이의 값으로, 유틸리티 함수에서 보상(reward)의 가중(weight)을 나타낼 수 있다. 왜냐하면, 가중치(w)는 보상(reward)와 전송 전력의 비용(cost)의 밸런스를 맞추는데 사용되기 때문이다.
따라서, 가중치(w)가 높은 경우, 네트워크는 전송 전력의 비용(cost)보다 보상(reward)에 더 많은 가중을 한다는 것을 의미할 수 있고, 반대로, 가중치(w)가 낮은 경우, 네트워크는 보상(reward) 보다 전송 전력의 비용(cost)에 더 많은 가중을 한다는 것을 의미할 수 있다.
도 10은 링크 실패율이 없으며(
Figure pat00251
), 디스카운트 팩터는 0.5(
Figure pat00252
)를 가정한다.
도 10는 링크의 수는 네트워크 사이즈와 가중치(w) 모두에 비례하는 것을 나타낸다. 즉, 높은 가중치(w)의 경우 중간 노드는 많은 링크의 수가 포함되도록 전송 범위를 넓힘으로써, 전송 전력의 소비보다 네트워크 처리량(network throughput)의 이득을 제공한다.
도 11은 본 발명의 일실시예에 따른, 링크 실패율에 따른 네트워크 연결을 도시한 도면이다.
도 11 (a)는 링크 실패율
Figure pat00253
가 증가할 때, 더 많은 링크의 수(1110, 1120. 1130)를 나타낸다. 이는, 네트워크가 대략적으로 같은 수의 유효 노드를 유지하기 위함이다. 즉, 채널의 링크 실패율이 증가하더라도, 같은 수의 유효 노드를 유지하기 위해, 더 많은 링크의 수를 포함해야 하기 때문이다. 따라서, 도 11(a)는 링크 실패율이 증가하더라도, 거의 일정한 유효 노드의 수(1111, 1121, 1131)를 나타내는 것을 확인할 수 있다.
도 11 (b)는 링크 실패율
Figure pat00254
가 증가할 때, 대수적 연결정도(algebraic connectivity)가 네트워크의 사이즈에 관계없이 증가하는 것을 나타낸다. 이는, 불안정한 채널을 극복하기 위해 더 긴밀하게 연결된 네트워크를 구성하기 때문이다.
그러므로 채널의 링크 실패율(link failure rates of the channel)을 고려함으로써, 네트워크의 노드의 수가 변하지 않고 고정된 네트워크로 변화할 수 있음을 나타낸다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
110: 소스 노드
120: 중간 노드
130: 종단 노드

Claims (11)

  1. 복수의 중간 노드를 통해 소스 노드와 종단 노드를 연결하는 네트워크 형성 장치가 수행하는 네트워크 형성 방법에 있어서,
    마르코프 특성(Markov property)을 만족하는 상태 스페이스, 액션 스페이스, 상태 이전 확률, 유틸리티 함수, 디스카운트 팩터를 판단하는 단계;
    상기 복수의 중간 노드 중에서 데이터를 전송하는 중간 노드인 에이전트의 전송 범위의 변화 여부를 판단하는 상기 에이전트의 정책을 결정하는 단계; 및
    상기 결정된 정책에 기초하여, 극한확률분포를 이용함으로써 네트워크의 초기 상태를 형성하는 단계
    를 포함하는 네트워크 형성 방법
  2. 제1항에 있어서,
    상기 상태 스페이스는, 상기 복수의 중간 노드 중에서 데이터를 전송하는 중간 노드인 에이전트로부터 상기 데이터를 수신한 유효 노드의 수를 나타내는 상태의 집합을 나타내고,
    상기 액션 스페이스는, 상기 에이전트로부터 상기 데이터가 전송 가능한 상기 전송 범위의 변화를 나타내는 액션의 집합을 나타내고,
    상기 상태 이전 확률은, 상기 액션에 의해 현재 상태에서 다음 상태로 이전하는 확률을 나타내고,
    상기 유틸리티 함수는, 상기 현재 상태에서 상기 다음 상태로 이전할 때 네트워크 처리량 향상과 소비되는 전송 전력을 포함하며,
    상기 디스카운트 팩터는, 시간에 따라 유틸리티 함수의 감소하는 정도를 나타내는 네트워크 형성 방법.
  3. 제2항에 있어서,
    상기 정책은,
    특정한 시간에서 누적적인 유틸리티 함수인 상태-가치 함수를 최적화하는 제1 정책이거나 또는
    상기 제1 정책에 의한 상태-가치 함수와의 오차가 미리 설정된 값보다 작은 상태-가치 함수를 나타내는 제2 정책인 네트워크 형성 방법.
  4. 제2항에 있어서,
    상기 중간 노드는,
    상기 소스 노드 또는 다른 중간 노드로부터 수신한 데이터를 갈로이스 필드에서 인코딩하는 네트워크 형성 방법.
  5. 제2항에 있어서,
    상기 액션은,
    상기 액션이 0보다 큰 경우, 상기 전송 범위를 증가시키고,
    또는 상기 액션이 0보다 작은 경우, 상기 전송 범위를 감소시키며,
    또는 상기 액션이 0인 경우, 상기 전송 범위를 변화시키지 않는 네트워크 형성 방법.
  6. 제2항에 있어서,
    상기 디스카운트 팩터는,
    네트워크의 일관성에 기초하여 결정되는 네트워크 형성 방법.
  7. 제2항에 있어서,
    초기 상태는,
    정책에 액션이 0인 경우를 포함할 때 최대의 극한확률분포를 갖는 상태를 나타내거나,
    또는 정책에 액션이 0인 경우를 포함하지 않을 때 아이겐벨류가 1과 관련된 상태 이전 행렬의 행 아이겐벡터를 나타내는 네트워크 형성 방법.
  8. 제2항에 있어서,
    상기 유틸리티 함수는 네트워크 처리량 향상을 나타내는 보상과 소비되는 전송 전력의 비용의 밸런스를 조절하는 가중치를 사용하는 네트워크 형성 방법.
  9. 복수의 중간 노드를 통해 소스 노드와 종단 노드를 연결하는 네트워크 형성 장치가 수행하는 네트워크 형성 방법에 있어서,
    상기 중간 노드인 에이전트의 정책에 기초하여, 형성된 네트워크의 초기 상태에 포함된 상기 에이전트로부터 데이터를 수신하는 유효 노드의 수를 확인하는 단계;
    상기 초기 상태를 형성한 정책을 이용하여 액션을 결정하는 단계; 및
    상기 결정된 액션에 따라, 상기 데이터의 상기 전송 범위를 업데이트 하는 단계
    를 포함하는 네트워크 형성 방법.
  10. 네트워크 형성 장치에 있어서,
    상기 네트워크 형성 장치는 프로세서를 포함하고,
    상기 프로세서는,
    복수의 중간 노드를 통해 소스 노드와 종단 노드를 연결하고,
    마르코프 특성(Markov property)을 만족하는 상태 스페이스, 액션 스페이스, 상태 이전 확률, 유틸리티 함수, 디스카운트 팩터를 판단하고,
    상기 복수의 중간 노드 중에서 데이터를 전송하는 중간 노드인 에이전트의 전송 범위의 변화 여부를 판단하는 상기 에이전트의 정책을 결정하며,
    상기 결정된 정책에 기초하여, 극한확률분포를 이용함으로써 네트워크의 초기 상태를 형성하는 네트워크 형성 장치.
  11. 네트워크 형성 장치에 있어서,
    상기 네트워크 형성 장치는 프로세서를 포함하고,
    상기 프로세서는,
    복수의 중간 노드를 통해 소스 노드와 종단 노드를 연결할 때, 상기 중간 노드인 에이전트의 정책에 기초하여 형성된 네트워크의 초기 상태에 포함된 상기 에이전트로부터 데이터를 수신하는 유효 노드의 수를 확인하고,
    상기 초기 상태를 형성한 정책을 이용하여 액션을 결정하고,
    상기 결정된 액션에 따라, 상기 데이터의 상기 전송 범위를 업데이트하는 네트워크 형성 장치.
KR1020170097310A 2017-07-31 2017-07-31 동적 네트워크에서 네트워크 형성 방법 및 장치 KR101975104B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170097310A KR101975104B1 (ko) 2017-07-31 2017-07-31 동적 네트워크에서 네트워크 형성 방법 및 장치
PCT/KR2018/007008 WO2019027142A1 (ko) 2017-07-31 2018-06-21 동적 네트워크에서 네트워크 형성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170097310A KR101975104B1 (ko) 2017-07-31 2017-07-31 동적 네트워크에서 네트워크 형성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190013156A true KR20190013156A (ko) 2019-02-11
KR101975104B1 KR101975104B1 (ko) 2019-05-03

Family

ID=65233939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170097310A KR101975104B1 (ko) 2017-07-31 2017-07-31 동적 네트워크에서 네트워크 형성 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101975104B1 (ko)
WO (1) WO2019027142A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114326826A (zh) * 2022-01-11 2022-04-12 北方工业大学 多无人机队形变换方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111006693B (zh) * 2019-12-12 2021-12-21 中国人民解放军陆军工程大学 智能飞行器航迹规划系统及其方法
CN115665189B (zh) * 2022-09-23 2024-05-10 中国人民解放军国防科技大学 面向边缘指控的贴源数据传输方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060134904A (ko) * 2003-08-21 2006-12-28 콸콤 인코포레이티드 브로드캐스트/멀티캐스트 컨텐트용 외부 코딩 및 관련된장치
KR20090070547A (ko) * 2007-12-27 2009-07-01 주식회사 케이티 종단 간의 시간 지연을 최소화하는 데이터 전송 시스템 및그 방법
KR20100016909A (ko) * 2008-08-05 2010-02-16 주식회사 케이티 부분 관측 마코프 의사결정 과정 기반의 정책 모델링 장치및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070268516A1 (en) * 2006-05-19 2007-11-22 Jamsheed Bugwadia Automated policy-based network device configuration and network deployment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060134904A (ko) * 2003-08-21 2006-12-28 콸콤 인코포레이티드 브로드캐스트/멀티캐스트 컨텐트용 외부 코딩 및 관련된장치
KR20090070547A (ko) * 2007-12-27 2009-07-01 주식회사 케이티 종단 간의 시간 지연을 최소화하는 데이터 전송 시스템 및그 방법
KR20100016909A (ko) * 2008-08-05 2010-02-16 주식회사 케이티 부분 관측 마코프 의사결정 과정 기반의 정책 모델링 장치및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Csaba Szepesvari, "Algorithms for Reinforcement Learning", Morgan & Claypool Publishers, Jan. 2010* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114326826A (zh) * 2022-01-11 2022-04-12 北方工业大学 多无人机队形变换方法及系统

Also Published As

Publication number Publication date
KR101975104B1 (ko) 2019-05-03
WO2019027142A1 (ko) 2019-02-07

Similar Documents

Publication Publication Date Title
Sandoval et al. Optimizing and updating lora communication parameters: A machine learning approach
KR101975104B1 (ko) 동적 네트워크에서 네트워크 형성 방법 및 장치
CN111065105B (zh) 一种面向无人机网络切片的分布式智能路由方法
US8724516B2 (en) Unifying connected dominating set using localized two hop information with a flexible dominating factor
US11178056B2 (en) Communication method and apparatus for optimizing TCP congestion window
CN111770546A (zh) 一种基于q学习的容迟网络随机网络编码策略
Sharma et al. Poisson's probability‐based Q‐Routing techniques for message forwarding in opportunistic networks
Zehtabi et al. Event-triggered decentralized federated learning over resource-constrained edge devices
Jadbabaie On geographic routing without location information
CN116155805A (zh) 分布式智能路由方法、系统、电子设备和存储介质
EP4071563A1 (en) Method, device and system for configuring communication links used for exchanging data related to a cooperative control algorithm
KR102308799B1 (ko) 사물 인터넷 네트워크 환경에서 mac 계층 충돌 학습을 기초로 전달 경로를 선택하는 방법, 이를 수행하기 위한 기록 매체 및 장치
Hamad et al. Modulated relay based stable election protocol for large‐scale wireless sensor networks
Cruz et al. Reinforcement Learning-based Wi-Fi Contention Window Optimization
Sahayaraj et al. Relay node selection with energy efficient routing using hidden Markov model in wireless sensor networks
Mansourifard et al. Percentile Policies for Tracking of Markovian Random Processes with Asymmetric Cost and Observation
Si et al. UAV-assisted Semantic Communication with Hybrid Action Reinforcement Learning
Raissi-Dehkordi et al. UAV placement for enhanced connectivity in wireless ad-hoc networks
EP4195687A1 (en) Otn network resource optimization method and apparatus, computer device and storage medium
Kaneko et al. A greedy stable time via LEACH-based 2-hop trees in wireless sensor networks
WO2024009801A1 (ja) 通信装置、制御方法、及び、プログラム
KR102554676B1 (ko) 무선 네트워크를 통한 베이지안 연합학습 구동 방법 및 시스템
Vanitha et al. Smart Bandwidth Prediction, Power Management and Adaptive Network Coding for WSN
WO2024009800A1 (ja) 通信装置、制御方法、及び、プログラム
CN117676757A (zh) 基于cnn和q学习的车载边缘网络概率路由算法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right