JP6600917B2 - Ai学習による経路制御手法、サーバ装置及び経路制御プログラム - Google Patents
Ai学習による経路制御手法、サーバ装置及び経路制御プログラム Download PDFInfo
- Publication number
- JP6600917B2 JP6600917B2 JP2016230507A JP2016230507A JP6600917B2 JP 6600917 B2 JP6600917 B2 JP 6600917B2 JP 2016230507 A JP2016230507 A JP 2016230507A JP 2016230507 A JP2016230507 A JP 2016230507A JP 6600917 B2 JP6600917 B2 JP 6600917B2
- Authority
- JP
- Japan
- Prior art keywords
- router
- next hop
- route
- network
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Description
ネットワークに含まれるルータの経路を制御する経路制御方法であって、
最適パス計算部が、前記ネットワークに含まれるルータの経路における入口ルータ及び出口ルータを対とする教師データ用の通信要求及び最適経路を取得し、最適経路上の各ルータにおける次ホップを、各最適経路について求める次ホップ導出ステップと、
関数学習部が、最適経路上の各ルータについて、当該最適経路のときの各ルータの通信要求及び当該最適経路のときの次ホップを教師データに用い、次ホップを求める次ホップ導出関数を学習する関数学習ステップと、
次ホップ設定部が、前記ネットワークにおいて発生した通信要求及び当該通信要求の入口ルータ及び出口ルータを取得し、当該通信要求に対する次ホップを、前記次ホップ導出関数を用いて求める次ホップ設定ステップと、
を有する。
前記ネットワークに含まれるルータが、
パケットを受信するステップと、
当該パケットの入口ルータ及び出口ルータを決定するステップと、
決定した入口ルータ及び出口ルータに対応する次ホップを、前記次ホップ設定部で設定された次ホップに従って選択するステップと、
選択した次ホップへ向けて当該パケットを送出するステップと、
を有する態様を含む。
前記次ホップ設定部は、前記ネットワークに含まれるルータの経路を制御するサーバ装置に備わり、
前記サーバ装置が、前記次ホップ設定部の設定した次ホップを、前記ネットワークに含まれる各ルータに設定するルータ設定ステップをさらに有する態様を含む。
前記関数学習部は、前記ネットワークに含まれるルータの経路を制御するサーバ装置に備わり、
前記次ホップ設定部は、前記ネットワークに含まれる各ルータに備わり、
前記サーバ装置が、前記次ホップ導出関数を、前記ネットワークに含まれる各ルータに設定するルータ設定ステップを、前記関数学習ステップと前記次ホップ設定ステップの間にさらに有し、
前記次ホップ設定ステップにおいて、前記次ホップ設定部が、前記ネットワークにおいて発生した通信要求に対する自装置の次ホップを、前記次ホップ導出関数を用いて求める態様を含む。
前記次ホップ設定ステップにおいて、前記次ホップ設定部が、前記ネットワークにおいて発生した通信要求に対する当該通信要求の入口ルータから出口ルータまでの各ルータにおける次ホップを、前記次ホップ導出関数を用いて求め、
前記ネットワークに含まれるルータは、
受信したパケットの入口ルータが自装置である場合、
当該パケットの入口ルータから出口ルータまでの各ルータにおける次ホップを用いて、受信したパケットの経路を設定する態様を含む。
ネットワークに含まれるルータの経路を制御するサーバ装置であって、
前記ネットワークに含まれるルータの経路における入口ルータ及び出口ルータを対とする教師データ用の通信要求及び最適経路を取得し、最適経路上の各ルータにおける次ホップを、各最適経路について求める最適パス計算部と、
最適経路上の各ルータについて、当該最適経路のときの各ルータの通信要求及び当該最適経路のときの次ホップを教師データに用い、次ホップを求める次ホップ導出関数を学習する関数学習部と、
前記ネットワークにおいて発生した通信要求及び当該通信要求の入口ルータ及び出口ルータを取得し、当該通信要求に対する次ホップを、前記次ホップ導出関数を用いて求める次ホップ設定部と、
を備える。
交流行列に対して、各入口ルータから出口ルータまでのパスを学習する場合、ネットワークが大規模になると、オフラインでも現実的な期間で完了しないほどに、事前の学習時間が長くなる。本開示では、交流行列に対して、各入口ルータから出口ルータまでのパスを学習するのではなく、ルータごとに次ホップを学習することにより、学習の高速化を行った。各ルータの次ホップの数は、ルータ数に対して指数的に増加することはない。これにより、事前学習にて最適なパスを現実的な期間で学習でき、リアルタイムにNP困難の問題を解くことなく、交流行列に適したパスを設定するTEを実現できる。
〔機械学習〕
TEのために機械学習を利用する。本開示では、機械学習を次のように定義する。関数の引数と戻り値のペアがいくつか与えられているとする。たとえば、xを引数、yを戻り値とすると、(x(1),y(1))、(x(2),y(2))、…となる。機械学習では、これらを教師データと呼ぶ。機械学習は、近年、注目されているディープニューラルネットワーク等の技術(非特許文献2)を示しており、教師データから、y=f(x)の関数形を「学習」する。すると、教師データに含まれないx’に対しても、y’=f(x’)を推定できるようになる。なお、x、yはベクトルや行列でもよい。
パス学習・設定サーバ91は、事前準備を実行する。図4に、事前準備のフローチャートの一例を示す。事前準備では、最適パス計算部11が教師データを用いて最適なパスpsdを計算し(S103)、関数学習部12が最適なパスpsdを用いて関数を学習する(S105)。
運用開始後、パス学習・設定サーバ91は、パスの計算及び設定を実行する。図6に運用開始後のフローチャートの一例を示す。運用開始後、ルータ設定部14は、一定時間ごとに交流行列D’を更新する(S201)。そして、ルータ設定部14は、学習済みの関数fsdを用いてパスp’sd=fsd(D’)を計算し、計算結果であるパスp’sdを入口ルータsに設定する。
各ルータα〜δは、ルータ設定部14の設定に従ってパケット転送を行う。図7に、パケット転送のフローチャートの一例を示す。入口ルータsはパケットを受信すると(S301)、経路表などを用いて、出口ルータdを決定し(S302)、設定されたパスp’sdに従って送り出す(S303)。
〔次ホップの学習〕
ネットワーク93が大規模になると、事前の学習時間が長くなる。これは、関数fの値域(パス数)が大きいことが原因である。パス数は、ネットワーク規模に対して指数的に増加することがある。そこで、パスを学習するのではなく、ルータごとに次ホップを学習することで、この問題を解決する。
運用開始後、パス学習・設定サーバ91は、次ホップの計算及び設定を実行する。図11に運用開始後のフローチャートの一例を示す。基本技術と同様に、運用開始後、ルータ設定部14は、一定時間ごとに交流行列D’を更新する(S201)。そして、学習済みの次ホップ導出関数nsdrを用いて次ホップn’sdr=fsdr(D’)を計算し、ルータrに設定する(S211〜S212)。
各ルータα〜δは、ルータ設定部14の設定に従ってパケット転送を行う。図12に、パケット転送のフローチャートの一例を示す。ルータrはパケットを受信すると(S301)、送信元アドレスや経路表を用いて入口ルータsと出口ルータdを決定し(S311)、パス/次ホップ格納部22に格納された次ホップn’sdrに送り出す(S312)。
実施形態1では、次ホップn’sdr=fsdr(D’)をルータrに設定したが、本開示はこれに限定されない。例えば、ルータ92は学習済みの次ホップ導出関数nsdr=fsdr(D)を保持していてもよい。この場合のルータ92の機能ブロックの一例を図13に示す。ルータ92は、次ホップ設定部27をさらに備え、パス/次ホップ格納部22に代えて学習済み関数格納部25を備え、パス/次ホップ選択部23に代えて次ホップ選択部26を備える。パス学習・設定サーバ91の機能ブロックは図2のとおりである。以下、実施形態1と異なる点について説明する。
実施形態1において説明したように、ネットワーク93を運用し始める前に、関数学習部12が、教師データを用いて、次ホップ導出関数nsdr=fsdr(D)を学習しておく。学習完了後、図2に示すルータ設定部14は、学習済み関数格納部13に格納されている学習済みの次ホップ導出関数nsdr=fsdr(D)をルータrに送信する。
運用開始後、次ホップ設定部27は、次ホップの計算及び設定を実行する。次ホップの計算及び設定は、実施形態1におけるルータ設定部14と同様である。すなわち、次ホップ設定部27は、一定時間ごとに交流行列D’を更新し(S201)、学習済みの次ホップ導出関数nsdrを用いて次ホップn’sdr=fsdr(D’)を計算し、ルータrに設定する(S211〜S212)。
各ルータα〜δにおいて、パケット受信・転送部24がパケットを受信すると、次ホップ選択部26は、パケットの送信元及び送信先をパケットから読み出し、パケットの入口ルータs及び出口ルータdを特定する。そして、次ホップ選択部26は、学習済み関数格納部25に格納されている次ホップn’sdrのなかから、入口ルータs及び出口ルータdに対応する次ホップn’sdrを選択する。パケット受信・転送部24は、次ホップ選択部26の選択した次ホップn’sdrに向けてパケットを転送する。
〔パスによる転送〕
実施形態1及び2において、各ルータα〜δが次ホップを選択するとしたが、本開示はこれに限定されない。例えば、入口ルータに集約してパスを構成し、基本技術と同様にパスを指定して送出してもよい。次ホップn’sdrを入口ルータsから出口ルータdへ順に並べれば、パスを構成できる。この場合、図11は、図6と同様に、入口ルータsのみにパスを設定することになる。また、図12は、図7と同じになる。
12:関数学習部
13:学習済み関数格納部
14:ルータ設定部
21:関数受信部
22:パス/次ホップ格納部
23:パス・次ホップ選択部
24:パケット受信・転送部
25:学習済み関数格納部
26:次ホップ選択部
27:次ホップ設定部
91:パス学習・設定サーバ
92:ルータ
93:ネットワーク
Claims (7)
- ネットワークに含まれるルータの経路を制御する経路制御方法であって、
最適パス計算部が、前記ネットワークに含まれるルータの経路における入口ルータ及び出口ルータを対とする教師データ用の通信要求及び最適経路を取得し、最適経路上の各ルータにおける次ホップを、各最適経路について求める次ホップ導出ステップと、
関数学習部が、最適経路上の各ルータについて、当該最適経路のときの各ルータの通信要求及び当該最適経路のときの次ホップを教師データに用い、次ホップを求める次ホップ導出関数を学習する関数学習ステップと、
次ホップ設定部が、前記ネットワークにおいて発生した通信要求及び当該通信要求の入口ルータ及び出口ルータを取得し、当該通信要求に対する次ホップを、前記次ホップ導出関数を用いて求める次ホップ設定ステップと、
を有する経路制御方法。 - 前記ネットワークに含まれるルータが、
パケットを受信するステップと、
当該パケットの入口ルータ及び出口ルータを決定するステップと、
決定した入口ルータ及び出口ルータに対応する次ホップを、前記次ホップ設定部で設定された次ホップに従って選択するステップと、
選択した次ホップへ向けて当該パケットを送出するステップと、
を有する、
請求項1に記載の経路制御方法。 - 前記次ホップ設定部は、前記ネットワークに含まれるルータの経路を制御するサーバ装置に備わり、
前記サーバ装置が、前記次ホップ設定部の設定した次ホップを、前記ネットワークに含まれる各ルータに設定するルータ設定ステップをさらに有する、
請求項1又は2に記載の経路制御方法。 - 前記関数学習部は、前記ネットワークに含まれるルータの経路を制御するサーバ装置に備わり、
前記次ホップ設定部は、前記ネットワークに含まれる各ルータに備わり、
前記サーバ装置が、前記次ホップ導出関数を、前記ネットワークに含まれる各ルータに設定するルータ設定ステップを、前記関数学習ステップと前記次ホップ設定ステップの間にさらに有し、
前記次ホップ設定ステップにおいて、前記次ホップ設定部が、前記ネットワークにおいて発生した通信要求に対する自装置の次ホップを、前記次ホップ導出関数を用いて求める、
請求項1又は2に記載の経路制御方法。 - 前記次ホップ設定ステップにおいて、前記次ホップ設定部が、前記ネットワークにおいて発生した通信要求に対する当該通信要求の入口ルータから出口ルータまでの各ルータにおける次ホップを、前記次ホップ導出関数を用いて求め、
前記ネットワークに含まれるルータは、
受信したパケットの入口ルータが自装置である場合、
当該パケットの入口ルータから出口ルータまでの各ルータにおける次ホップを用いて、受信したパケットの経路を設定する、
請求項4に記載の経路制御方法。 - ネットワークに含まれるルータの経路を制御するサーバ装置であって、
前記ネットワークに含まれるルータの経路における入口ルータ及び出口ルータを対とする教師データ用の通信要求及び最適経路を取得し、最適経路上の各ルータにおける次ホップを、各最適経路について求める最適パス計算部と、
最適経路上の各ルータについて、当該最適経路のときの各ルータの通信要求及び当該最適経路のときの次ホップを教師データに用い、次ホップを求める次ホップ導出関数を学習する関数学習部と、
前記ネットワークにおいて発生した通信要求及び当該通信要求の入口ルータ及び出口ルータを取得し、当該通信要求に対する次ホップを、前記次ホップ導出関数を用いて求める次ホップ設定部と、
を備えるサーバ装置。 - 請求項1から5のいずれかに記載の各ステップをコンピュータに実行させるための経路制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016230507A JP6600917B2 (ja) | 2016-11-28 | 2016-11-28 | Ai学習による経路制御手法、サーバ装置及び経路制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016230507A JP6600917B2 (ja) | 2016-11-28 | 2016-11-28 | Ai学習による経路制御手法、サーバ装置及び経路制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018088602A JP2018088602A (ja) | 2018-06-07 |
JP6600917B2 true JP6600917B2 (ja) | 2019-11-06 |
Family
ID=62493876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016230507A Active JP6600917B2 (ja) | 2016-11-28 | 2016-11-28 | Ai学習による経路制御手法、サーバ装置及び経路制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6600917B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102240278B1 (ko) * | 2019-10-29 | 2021-04-14 | (주)누리텔레콤 | 자가 통신망 경로 설정 방법 및 장치 |
CN112905166B (zh) * | 2021-03-04 | 2024-04-05 | 青岛海科智汇信息科技有限公司 | 人工智能编程系统、计算机设备、计算机可读存储介质 |
CN115022231B (zh) * | 2022-06-30 | 2023-11-03 | 武汉烽火技术服务有限公司 | 一种基于深度强化学习的最优路径规划的方法和系统 |
-
2016
- 2016-11-28 JP JP2016230507A patent/JP6600917B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018088602A (ja) | 2018-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108667734B (zh) | 一种基于q学习和lstm神经网络的快速路由决策方法 | |
JP6571090B2 (ja) | 協働するネットワークコントローラに基づくマルチドメイン送信元ルート選択転送 | |
JP6831527B2 (ja) | 経路制御方法及び経路設定装置 | |
US9699077B2 (en) | Method for determining a packet forwarding path, network device, and control device | |
JP6600917B2 (ja) | Ai学習による経路制御手法、サーバ装置及び経路制御プログラム | |
US11477100B2 (en) | Residence time measurement for traffic engineered network | |
US20140222725A1 (en) | Fast learning to train learning machines using shadow joining | |
CN117041132B (zh) | 一种基于深度强化学习的分布式负载均衡卫星路由方法 | |
Tang et al. | Constructing a DRL decision making scheme for multi-path routing in All-IP access network | |
CN105684362B (zh) | 流保留协议的第一协议实体与路由选择协议的第二协议实体之间的互相配合 | |
JP4971292B2 (ja) | オーバーレイネットワーク経路選択システムと方法およびプログラム | |
JP4806367B2 (ja) | 経路選択装置 | |
Blose et al. | Scalable Hybrid Switching-Driven Software Defined Networking Issue: From the Perspective of Reinforcement Learning | |
O'Halloran | Dynamic adaptation of OSPF interface metrics based on network load | |
Tran et al. | Real-Time state-dependent routing based on user perception | |
JP7041917B2 (ja) | 制御装置及び経路制御方法 | |
WO2021214848A1 (ja) | 実行手順探索装置、方法及びプログラム | |
Qiu et al. | SFCPlanner: An Online SFC Planning Approach With SRv6 Flow Steering | |
Pinyoanuntapong | Reinforcement Learning Based Multi-Layer Traffic Engineering for Intelligent Wireless Networking: From System to Algorithms | |
Ghosh et al. | Comparative analysis between SPF and BAR algorithm in SDN unicast network | |
JP2010124127A (ja) | ネットワーク診断装置、ネットワーク診断方法およびプログラム | |
CN115277432A (zh) | 一种路径确定方法及装置 | |
Goteti et al. | An Approach to Integrate Reinforcement Learning in Wireless Sensor Network to Evade Congestion | |
Farrugia et al. | Solving the multicommodity flow problem using an evolutionary routing algorithm in a computer network environment | |
WO2024072478A1 (en) | Method and system for advertising srlg information between multiple layers of communication network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190918 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6600917 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |