WO2023105647A1 - フロー情報収集システム、フロー情報収集方法、および、フロー情報収集プログラム - Google Patents

フロー情報収集システム、フロー情報収集方法、および、フロー情報収集プログラム Download PDF

Info

Publication number
WO2023105647A1
WO2023105647A1 PCT/JP2021/045004 JP2021045004W WO2023105647A1 WO 2023105647 A1 WO2023105647 A1 WO 2023105647A1 JP 2021045004 W JP2021045004 W JP 2021045004W WO 2023105647 A1 WO2023105647 A1 WO 2023105647A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
flow
bandwidth
flows
band
Prior art date
Application number
PCT/JP2021/045004
Other languages
English (en)
French (fr)
Inventor
裕平 林
賢杜 山田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/045004 priority Critical patent/WO2023105647A1/ja
Publication of WO2023105647A1 publication Critical patent/WO2023105647A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/026—Capturing of monitoring data using flow identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0882—Utilisation of link capacity

Definitions

  • the present invention relates to a flow information collection system, a flow information collection method, and a flow information collection program.
  • the RMON MIB can only generate TOP N flow information with the host IP key.
  • NetFlow also transmits information on flows other than TOP N.
  • NetFlow transmits flow information for each of the TOP N flows.
  • the present invention provides an information acquisition unit that acquires bandwidth information for each flow, arranges the acquired bandwidth information for each flow in descending order of the bandwidth values indicated in the bandwidth information, and and a fitting unit that finds a function and parameters that fit the band value distribution in which the band values of the flows are arranged in descending order and a transmission processing unit configured to transmit, via a network, a function and parameters that fit the distribution of bandwidth values of the top N flows as bandwidth information of the top N flows. It is characterized by
  • FIG. 1 is a diagram for explaining a configuration example and outline of a flow information collection system (system).
  • FIG. 2 is a diagram illustrating a configuration example of an encoder.
  • FIG. 3 is a diagram showing a configuration example of a decoder.
  • FIG. 4 is a diagram for explaining graph fitting and restoration.
  • FIG. 5 is a flow chart showing an example of a processing procedure executed by the system.
  • FIG. 6 is a diagram for explaining how the system determines the value of N.
  • FIG. 7 is a diagram showing a configuration example of a computer that executes a flow information collection program.
  • the system comprises a controller 10 , a flow exporter 11 , an encoder 12 , a decoder 13 and a flow collector 14 .
  • controllers 10 control the flow exporters 11, encoders 12, decoders 13 and flow collectors 14 .
  • flow exporters 11, encoders 12, decoders 13 and flow collectors 14 are not limited to those shown in FIG.
  • the controller 10 controls the encoder 12 and the decoder 13.
  • the controller 10 sets, for example, the flow definition, functions and parameters used for fitting (to be described later), metrics, and the like in the encoder 12 .
  • the controller 10 sets, for example, a flow definition, a function used for fitting, and the like in the decoder 13 .
  • the flow exporter 11 creates statistical information (flow statistical information) for each flow.
  • the flow statistical information is, for example, information obtained by statistically processing the packet transfer amount (bandwidth value) per hour of each flow observed by the flow exporter 11 .
  • Flow exporter 11 outputs flow statistics to encoder 12 .
  • the encoder 12 encodes the flow statistical information output from the flow exporter 11 and transmits it to the decoder 13 .
  • Decoder 13 decodes the information transmitted from encoder 12 .
  • the flow collector 14 acquires information (flow statistical information) decoded by the decoder 13 .
  • the encoder 12 and decoder 13 are each realized by, for example, a computer that can communicate via a network.
  • the encoder 12 is based on the flow definition (flow def., e.g., 5-tuple), function (distribution function, e.g., zipf), metric (e.g., bps), etc. set by the controller 10.
  • flow definition flow def., e.g., 5-tuple
  • function distributed function, e.g., zipf
  • metric e.g., bps
  • the encoder 12 fits a graph in which the bandwidth values of the identified TOP N flows are arranged in descending order with an appropriate function (for example, zipf set by the controller 10), and instead of the bandwidth value of each flow, Information on the function (eg, zipf) and parameter (eg, ⁇ ) used for graph fitting is sent to the decoder 13 .
  • an appropriate function for example, zipf set by the controller 10
  • the decoder 13 restores a graph in which the band values of the TOP N flows are arranged in descending order. Then, the decoder 13 outputs the band value (flow statistical information) of each TOP N flow in the restored graph to the flow collector 14 .
  • the encoder 12 sends to the decoder 13 the functions and parameters used for fitting the graph showing the band distribution of each flow when the band values of the TOP N flows are arranged in descending order. Therefore, it is possible to reduce the amount of data when transmitting the flow statistics information. This allows the system to reduce network bandwidth pressure when collecting flow statistics.
  • the encoder 12 includes an information acquisition unit 120, a load balancer 121, a plurality of threads 122, and an information transmission unit 126.
  • the information acquisition unit 120 acquires flow statistical information from the flow exporter 11 .
  • the load balancer 121 distributes the flow statistical information acquired by the information acquisition unit 120 to one of the threads 122 based on the processing load of each thread 122 .
  • the information transmission unit 126 transmits the information processed by each thread 122 to the decoder 13 via the network.
  • the thread 122 includes a TOP N filter section (filter section) 123 , a fitting section 124 and a compression section 125 .
  • the TOP N filter unit 123 Based on the setting from the controller 10, the TOP N filter unit 123 extracts the top N flow statistical information from the flow statistical information in descending order of the band value, and sorts them in descending order of the band value.
  • the TOP N filter unit 123 includes a flow aggregation unit 1231 and a sorting unit 1232.
  • the flow aggregation unit 1231 aggregates the flow statistical information output from the load balancer 121 and outputs the aggregated flow statistical information to the sorting unit 1232 .
  • the sorting unit 1232 sorts the flow statistical information output from the flow aggregation unit 1231 in descending order (in descending order) of the bandwidth value based on the metric set by the controller 10 and the value of N, and sorts the data into the top N ranks. It outputs up to (TOP N) flow statistical information to the fitting unit 124 .
  • the fitting unit 124 Based on the statistical information of the TOP N flows output from the sorting unit 1232, the fitting unit 124 converts a graph showing the distribution of the band values when the band values of the TOP N flows are arranged in descending order to a predetermined function (for example, zipf) set by the controller 10 for fitting. After that, the fitting unit 124 outputs the TOP N flow definition information (for example, 5-tuple), the function (for example, zipf) and the parameter (for example, ⁇ ) used for graph fitting to the compression unit 125. .
  • a predetermined function for example, zipf
  • the fitting unit 124 uses the TOP N flow statistical information to create a TOP N flow graph with a certain metric (eg, bps, etc.). Then, the fitting unit 124 fits the created graph using a certain function (for example, zipf, etc.). After that, the fitting unit 124 outputs the TOP N flow definition information, the function (eg, zipf) and the parameter (eg, ⁇ ) used for fitting to the compression unit 125 .
  • a certain metric eg, bps, etc.
  • the fitting unit 124 fits the created graph using a certain function (for example, zipf, etc.). After that, the fitting unit 124 outputs the TOP N flow definition information, the function (eg, zipf) and the parameter (eg, ⁇ ) used for fitting to the compression unit 125 .
  • the compression section 125 compresses the information output by the fitting section 124 .
  • the compression unit 125 stores the TOP N flow definition information (eg, 5-tuple) output by the fitting unit 124, the function (eg, zipf) and parameter (eg, ⁇ ) used for graph fitting, is compressed by the compression method set by the controller 10 . Then, compression section 125 outputs the compressed information (compressed information) to information transmission section 126 .
  • the decoder 13 includes an information receiving section 130, a load balancer 131, a plurality of threads 132, and an information output section 135.
  • the information receiving unit 130 compresses TOP N flow information (eg, 5-tuple), the function (eg, zipf) and parameter (eg, ⁇ ) used for graph fitting from the encoder 12 via the network. receive compressed information (compressed information).
  • the load balancer 131 distributes the information (for example, the compressed information described above) acquired by the information receiving unit 130 to one of the threads 132 based on the processing load of each thread 132 .
  • the thread 132 includes a decompression unit 133 and a restoration unit 134.
  • the decompression unit 133 decompresses the compressed information output from the load balancer 131 .
  • the decompression unit 133 decompresses the compressed information output from the load balancer 131 using the decompression method set by the controller 10 .
  • the decompression unit 133 then outputs the decompressed information to the decompression unit 134 .
  • the restoration unit 134 uses the information output by the decompression unit 133 to restore the statistical information of the TOP N flows.
  • the decompression unit 134 uses the TOP N flow definition information (e.g., 5-tuple) output by the decompression unit 133, the function (e.g., zipf) and parameter (e.g., ⁇ ) used for fitting the graph. information) and to restore the statistical information of the TOP N flows.
  • the restoring unit 134 then outputs the restored TOP N flow statistical information to the information output unit 135 .
  • the restoration unit 134 generates a graph using the functions and parameters used for fitting the graph, which are output from the decompression unit 133 . Then, the restoration unit 134 restores the TOP N flow statistical information by fitting the TOP N flow information (flow definition information) into the generated graph.
  • the information output unit 135 outputs the information (TOP N flow statistical information) output from the restoration unit 134 to the flow collector 14 .
  • the flow collector 14 can obtain TOP N flow statistical information among the flow statistical information created by the flow exporter 11 (see FIG. 1).
  • the encoder 12 After S1, the encoder 12 creates a graph in which the TOP N flow bands are arranged in descending order based on the flow statistical information output in S1, and fits the created graph with a predetermined function. The encoder 12 then transmits information indicating the 5-tuple of the TOP N flow, the function used for fitting, and the parameters to the decoder 13 (S2).
  • the decoder 13 restores the TOP N flow statistical information received from the encoder 12 using the function and parameter information used for fitting (S3). After that, the decoder 13 transmits the information restored in S3 (TOP N flow statistical information) to the flow collector 14 (S4).
  • the encoder 12 only needs to send to the decoder 13 the functions and parameters used for fitting the graph in which the bands of the TOP N flows are arranged in descending order. Data volume can be reduced. This allows the system to reduce network bandwidth pressure when collecting flow statistics.
  • the sorting unit 1232 of the encoder 12 extracts top N (TOP N) flow statistical information from the flow statistical information output from the flow aggregation unit 1231 based on the value of N set by the controller 10.
  • TOP N top N
  • the sorting unit 1232 uses the value of N, but when the threshold is set by the controller 10, the above threshold N may be determined automatically so as to collect flow statistical information for the above ratio of flows.
  • the sorting unit 1232 receives information from the controller 10 that the ratio of the total bandwidth value of the flow from which the flow statistical information is to be extracted to the total bandwidth value of each flow is greater than or equal to a predetermined threshold value. Calculate whether to extract the flow statistics up to. That is, the sorting unit 1232 calculates the value of N. Then, the sorting unit 1232 uses the calculated value of N to extract TOP N flow statistical information.
  • the sorting unit 1232 receives from the controller 10 the setting of the metric and threshold used for calculating TOP N, it sorts the flow statistical information according to the metric and uses the Lorenz curve (vertical axis: cumulative relative frequency of traffic, horizontal axis: cumulative flow relative frequency) is calculated ((1)).
  • the sorting unit 1232 calculates the flow frequency based on the Lorenz curve calculated in (1) and the threshold set by the controller 10 ((2)). That is, the sorting unit 1232 calculates the flow frequency corresponding to the above threshold on the Lorenz curve shown in FIG. Then, the sorting unit 1232 sets the total number of flows ⁇ flow frequency to N ((3)).
  • the encoder 12 can determine the value of N according to the traffic volume of the entire flow.
  • each constituent element of each part shown in the figure is functionally conceptual, and does not necessarily need to be physically configured as shown in the figure.
  • the specific form of distribution and integration of each device is not limited to the illustrated one, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • all or any part of each processing function performed by each device can be implemented by a CPU and a program executed by the CPU, or implemented as hardware based on wired logic.
  • encoder 12 may be implemented as part of flow exporter 11 and decoder 13 may be implemented as part of flow collector 14 .
  • the encoder 12 and decoder 13 described above can be implemented by installing a program (flow information collection program) as package software or online software on a desired computer.
  • the information processing device can function as the encoder 12 and the decoder 13 by causing the information processing device to execute the above program.
  • the information processing apparatus referred to here includes mobile communication terminals such as smart phones, cellular phones, PHS (Personal Handyphone System), and terminals such as PDA (Personal Digital Assistant).
  • FIG. 7 is a diagram showing an example of a computer that executes a flow information collection program.
  • the computer 1000 has a memory 1010 and a CPU 1020, for example.
  • Computer 1000 also has hard disk drive interface 1030 , disk drive interface 1040 , serial port interface 1050 , video adapter 1060 and network interface 1070 . These units are connected by a bus 1080 .
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM (Random Access Memory) 1012 .
  • the ROM 1011 stores a boot program such as BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • Hard disk drive interface 1030 is connected to hard disk drive 1090 .
  • a disk drive interface 1040 is connected to the disk drive 1100 .
  • a removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100 .
  • Serial port interface 1050 is connected to mouse 1110 and keyboard 1120, for example.
  • Video adapter 1060 is connected to display 1130, for example.
  • the hard disk drive 1090 stores, for example, an OS 1091, application programs 1092, program modules 1093, and program data 1094. That is, a program that defines each process executed by the encoder 12 and the decoder 13 is implemented as a program module 1093 in which computer-executable code is described. Program modules 1093 are stored, for example, on hard disk drive 1090 .
  • the hard disk drive 1090 stores a program module 1093 for executing processing similar to the functional configurations in the encoder 12 and decoder 13 .
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the data used in the processes of the above-described embodiments are stored as program data 1094 in the memory 1010 or the hard disk drive 1090, for example. Then, the CPU 1020 reads out the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as necessary and executes them.
  • the program modules 1093 and program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in a removable storage medium, for example, and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program modules 1093 and program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). Program modules 1093 and program data 1094 may then be read by CPU 1020 through network interface 1070 from other computers.
  • LAN Local Area Network
  • WAN Wide Area Network
  • controller 11 flow exporter 12 encoder (information transmission device) 13 decoder (information receiving device) 14 flow collector 120 information acquisition unit 121, 131 load balancer 122, 132 thread 123 TOP N filter unit (filter unit) 124 fitting unit 125 compression unit 126 information transmission unit 130 information reception unit 133 decompression unit 134 restoration unit 135 information output unit

Abstract

システムのエンコーダ（１２）は、フローエクスポータ（１１）から取得したフロー統計情報を帯域が大きい順にソートし、帯域が上位N位までのフロー統計情報を抽出する。その後、エンコーダ（１２）は、上位N位までのフロー統計情報の帯域の値を降順に並べた値の分布にフィットする関数とパラメータを求める。次に、エンコーダ（１２）は、上位N位までのフロー統計情報の帯域の値の分布にフィットする関数およびパラメータをネットワーク経由でデコーダ（１３）へ送信する。その後、デコーダ（１３）は、当該上位N位までのフロー統計情報の帯域の値の分布にフィットする関数およびパラメータに基づき、上位N位までのフロー統計情報を復元する。

Description

フロー情報収集システム、フロー情報収集方法、および、フロー情報収集プログラム
　本発明は、フロー情報収集システム、フロー情報収集方法、および、フロー情報収集プログラムに関する。
　ネットワーク内のフロー分析を行う場合、例えば、転送パケット数が上位N個のフローについての情報があれば充分な場合が多い。ここで、従来、RMON　MIB（Remote　network　MONitoring　Manegement　Information　Base）によれば、セグメント内での転送パケット数が上位N個（TOP　N）のフローのホスト名を取得することができる。また、NetFlow（登録商標）によればフローの統計情報を送出することができる。
S.　Waldbusser,　"Remote　Network　Monitoring　Management　Information　Base,"　IETF,　Network　Working　Group,　RFC　2819,　May　2000.,[online],　[2021年11月27日検索],　＜URL：https://datatracker.ietf.org/doc/html/rfc2819.html＞ B.　Claise,　Ed.,　"Cisco　Systems　NetFlow　Services　Export　Version　9,"　IETF,　Network　Working　Group,　RFC　3954,　October　2004.　,[online],　[2021年11月27日検索],　＜URL：https://datatracker.ietf.org/doc/html/rfc3954.html＞
　しかし、RMON　MIBは、ホストIPのkeyでしかTOP　Nのフローの情報を生成することができない。また、NetFlowは、TOP　N以外のフローの情報も送信する。また、NetFlowは、TOP　Nのフローそれぞれのフローの情報を送信する。このため、フローの情報の送信データ量が多くなり、経路上のネットワーク帯域を圧迫してしまうという問題がある。そこで、本発明は、前記した問題を解決し、各フローの情報を送信する際のネットワーク帯域の圧迫を低減することを課題とする。
　前記した課題を解決するため、本発明は、フローごとの帯域情報を取得する情報取得部と、取得したフローごとの帯域情報を、前記帯域情報に示される帯域の値の大きい順に並べ、前記帯域の値が上位N位までのフローの帯域情報を抽出するフィルタ部と、前記上位N位までのフローの帯域の値を大きい順に並べた帯域の値の分布にフィットする関数およびパラメータを求めるフィッティング部と、前記上位N位までのフローの帯域の値の分布にフィットする関数およびパラメータを、前記上位N位までのフローの帯域情報としてネットワーク経由で送信する送信処理部とを備える情報送信装置を有することを特徴とする。
　本発明によれば、各フローの情報を送信する際のネットワーク帯域の圧迫を低減することができる。
図１は、フロー情報収集システム（システム）の構成例と概要を説明するための図である。 図２は、エンコーダの構成例を示す図である。 図３は、デコーダの構成例を示す図である。 図４は、グラフのフィッティングと復元を説明するための図である。 図５は、システムが実行する処理手順の例を示すフローチャートである。 図６は、システムによるNの値の決定方法を説明するための図である。 図７は、フロー情報収集プログラムを実行するコンピュータの構成例を示す図である。
　以下、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。本発明は、本実施形態に限定されない。
［概要］
　まず、図１を用いて、本実施形態のフロー情報収集システム（システム）の構成例と概要を説明する。システムは、コントローラ１０と、フローエクスポータ１１と、エンコーダ１２と、デコーダ１３と、フローコレクタ１４とを備える。コントローラ１０、フローエクスポータ１１、エンコーダ１２、デコーダ１３およびフローコレクタ１４の数は、図１に示す数に限定されない。
　コントローラ１０は、エンコーダ１２およびデコーダ１３を制御する。コントローラ１０は、例えば、エンコーダ１２に、フロー定義、後記するフィッティングに用いる関数およびパラメータ、メトリック等を設定する。また、コントローラ１０は、例えば、デコーダ１３に、フロー定義、フィッティングに用いる関数等を設定する。
　フローエクスポータ１１は、各フローの統計情報（フロー統計情報）を作成する。フロー統計情報は、例えば、フローエクスポータ１１で観測された各フローの時間あたりのパケット転送量（帯域値）を統計処理した情報である。フローエクスポータ１１は、フロー統計情報をエンコーダ１２へ出力する。
　エンコーダ１２は、フローエクスポータ１１から出力されたフロー統計情報をエンコードし、デコーダ１３へ送信する。デコーダ１３は、エンコーダ１２から送信された情報をデコードする。フローコレクタ１４は、デコーダ１３によりデコードされた情報（フロー統計情報）を取得する。なお、エンコーダ１２およびデコーダ１３はそれぞれ、例えば、ネットワーク経由で通信可能なコンピュータにより実現される。
　例えば、エンコーダ１２は、コントローラ１０により設定されたフローの定義（flow　def.、例えば、5-tuple）、関数（distribution関数、例えば、zipf）、メトリック（例えば、bps）等に基づき、フロー定義に設定されるフローのうち、帯域値の大きいものから順に上位N位まで（TOP　N）のフローを特定する。
　そして、エンコーダ１２は、特定したTOP　Nのフローの帯域値を降順に並べたグラフを、適当な関数（例えば、コントローラ１０により設定されたzipf）でフィッティングし、各フローの帯域値の代わりに、グラフのフィッティングに用いた関数（例えば、zipf）およびパラメータ（例えば、α）の情報をデコーダ１３に送る。
　その後、デコーダ１３は、エンコーダ１２から受け取った情報に基づき、TOP　Nのフローの帯域値を降順に並べたグラフを復元する。そして、デコーダ１３は、復元したグラフにおけるTOP　Nのフローそれぞれの帯域値（フロー統計情報）をフローコレクタ１４へ出力する。
　このようなシステムによれば、エンコーダ１２は、デコーダ１３へTOP　Nのフローの帯域値を降順に並べたときの各フローの帯域の分布を示すグラフのフィッティングに用いた関数とパラメータとを送ればよいので、フロー統計情報を送信する際のデータ量を低減することができる。これにより、システムは、フロー統計情報を収集する際のネットワーク帯域の圧迫を低減することができる。
［構成例］
［エンコーダ］
　次に、図２を用いて、エンコーダ１２の構成例を説明する。ここでは、エンコーダ１２は、TOP　Nのフローのフィルタリング処理およびグラフのフィッティング処理をマルチスレッドで実行する場合を例に説明するが、これに限定されない。
　エンコーダ１２は、情報取得部１２０と、ロードバランサ１２１と、複数のスレッド１２２と、情報送信部１２６とを備える。情報取得部１２０は、フローエクスポータ１１からフロー統計情報を取得する。
　ロードバランサ１２１は、各スレッド１２２の処理負荷に基づき、情報取得部１２０により取得されたフロー統計情報をいずれかのスレッド１２２に振り分ける。情報送信部１２６は、各スレッド１２２で処理された情報を、ネットワーク経由でデコーダ１３へ送信する。
　スレッド１２２は、TOP　Nフィルタ部（フィルタ部）１２３と、フィッティング部１２４と、圧縮部１２５とを備える。
　TOP　Nフィルタ部１２３は、コントローラ１０からの設定に基づき、フロー統計情報のうち、帯域値が大きいものから順に上位N位までのフロー統計情報を抽出し、帯域値が大きい順にソートする。
　例えば、TOP　Nフィルタ部１２３は、フロー集約部１２３１とソート部１２３２とを備える。そして、フロー集約部１２３１は、コントローラ１０から設定されたフロー定義（フローの定義情報）に基づき、ロードバランサ１２１から出力されたフロー統計情報を集約し、ソート部１２３２へ出力する。そして、ソート部１２３２は、コントローラ１０から設定されたメトリックとNの値に基づき、フロー集約部１２３１から出力されたフロー統計情報を帯域値が大きいものから順に（降順に）ソートし、上位N位まで（TOP　N）のフロー統計情報をフィッティング部１２４に出力する。
　フィッティング部１２４は、ソート部１２３２から出力されたTOP　Nのフローの統計情報に基づき、TOP　Nのフローの帯域値を降順に並べたときの帯域値の分布を示すグラフを所定の関数（例えば、コントローラ１０により設定されたzipf）でフィッティングする。その後、フィッティング部１２４は、TOP　Nのフローの定義情報（例えば、5-tuple）と、グラフのフィッティングに用いた関数（例えば、zipf）およびパラメータ（例えば、α）とを圧縮部１２５へ出力する。
　例えば、フィッティング部１２４は、図４に示すように、TOP　Nのフロー統計情報を用いて、あるメトリック（例えば、bps等）によりTOP　Nのフローのグラフを作成する。そして、フィッティング部１２４は、作成したグラフをある関数（例えば、zipf等）によりフィッティングする。その後、フィッティング部１２４は、TOP　Nのフローの定義情報と、フィッティングに用いた関数（例えば、zipf）およびパラメータ（例えば、α）とを圧縮部１２５へ出力する。
　図２の説明に戻る。圧縮部１２５は、フィッティング部１２４により出力された情報を圧縮する。例えば、圧縮部１２５は、フィッティング部１２４により出力されたTOP　Nのフローの定義情報（例えば、5-tuple）と、グラフのフィッティングに用いた関数（例えば、zipf）およびパラメータ（例えば、α）とを、コントローラ１０により設定された圧縮方法で圧縮する。そして、圧縮部１２５は、圧縮した情報（圧縮情報）を、情報送信部１２６に出力する。
［デコーダ］
　次に、図３を用いて、デコーダ１３の構成例を説明する。ここでは、デコーダ１３は、圧縮情報の解凍処理とフロー統計情報の復元処理とをマルチスレッドで実行する場合を例に説明するが、これに限定されない。
　デコーダ１３は、情報受信部１３０と、ロードバランサ１３１と、複数のスレッド１３２と、情報出力部１３５とを備える。情報受信部１３０は、ネットワーク経由でエンコーダ１２から、TOP　Nのフローの情報（例えば、5-tuple）と、グラフのフィッティングに用いた関数（例えば、zipf）およびパラメータ（例えば、α）とを圧縮した情報（圧縮情報）を受信する。
　ロードバランサ１３１は、各スレッド１３２の処理負荷に基づき、情報受信部１３０により取得された情報（例えば、上記の圧縮情報）を、いずれかのスレッド１３２に振り分ける。
　スレッド１３２は、解凍部１３３と、復元部１３４とを備える。解凍部１３３は、ロードバランサ１３１から出力された圧縮情報を解凍する。例えば、解凍部１３３は、コントローラ１０により設定された解凍方法で、ロードバランサ１３１から出力された圧縮情報を解凍する。そして、解凍部１３３は、解凍した情報を復元部１３４に出力する。
　復元部１３４は、解凍部１３３により出力された情報を用いて、TOP　Nのフローの統計情報を復元する。例えば、復元部１３４は、解凍部１３３により出力された、TOP　Nのフローの定義情報（例えば、5-tuple）と、グラフのフィッティングに用いた関数（例えば、zipf）およびパラメータ（例えば、α）の情報）とを用いて、TOP　Nのフローの統計情報を復元する。そして、復元部１３４は、復元したTOP　Nのフローの統計情報を情報出力部１３５に出力する。
　例えば、復元部１３４は、図４に示すように、解凍部１３３から出力された、グラフのフィッティングに用いた関数およびパラメータを用いてグラフを生成する。そして、復元部１３４は、生成したグラフにTOP　Nのフロー情報（フローの定義情報）をはめ込むことにより、TOP　Nのフロー統計情報を復元する。
　図３の説明に戻る。情報出力部１３５は、復元部１３４から出力された情報（TOP　Nのフロー統計情報）を、フローコレクタ１４へ出力する。これにより、フローコレクタ１４は、フローエクスポータ１１（図１参照）で作成されたフロー統計情報のうち、TOP　Nのフロー統計情報を得ることができる。
［処理手順の例］
　次に、図５を用いてシステムの処理手順の例を説明する。まず、システムのフローエクスポータ１１は、各フローのフロー統計情報を作成し、エンコーダ１２へ出力する（Ｓ１）。
　Ｓ１の後、エンコーダ１２は、Ｓ１で出力されたフロー統計情報に基づき、TOP　Nのフローの帯域を降順に並べたグラフを作成し、作成したグラフを所定の関数でフィッティングする。そして、エンコーダ１２は、TOP　Nのフローの5-tuple、フィッティングに用いた関数、パラメータを示す情報をデコーダ１３へ送信する（Ｓ２）。
　Ｓ２の後、デコーダ１３は、エンコーダ１２から受信したTOP　Nのフロー統計情報を、フィッティングに用いた関数、パラメータの情報を用いて復元する（Ｓ３）。その後、デコーダ１３は、Ｓ３で復元した情報（TOP　Nのフロー統計情報）をフローコレクタ１４へ送信する（Ｓ４）。
　このようなシステムによれば、エンコーダ１２は、デコーダ１３へTOP　Nのフローの帯域を降順に並べたグラフのフィッティングに用いた関数とパラメータとを送ればよいので、フロー統計情報を送信する際のデータ量を低減することができる。これにより、システムは、フロー統計情報を収集する際のネットワーク帯域の圧迫を低減することができる。
［その他の実施形態］
　なお、エンコーダ１２のソート部１２３２は、コントローラ１０から設定されたNの値に基づき、フロー集約部１２３１から出力されたフロー統計情報から、上位N位まで（TOP　N）のフロー統計情報を抽出することとしたが、これに限定されない。
　例えば、ソート部１２３２は、コントローラ１０から直接Nの値が設定された場合は、当該Nの値を用いるが、コントローラ１０から閾値を設定された場合は、全体のトラヒックに対して、上記の閾値以上の割合のフローのフロー統計情報を収集できるよう、Nを自動で決定してもよい。
　例えば、ソート部１２３２は、コントローラ１０から、各フローの帯域の合計値に対する、フロー統計情報の抽出対象のフローの帯域の合計値の割合が所定の閾値以上となるには、帯域の値が上位何位までのフロー統計情報を抽出すればよいかを計算する。つまり、ソート部１２３２は、Nの値を計算する。そして、ソート部１２３２は、計算したNの値を用いて、TOP　Nのフロー統計情報を抽出する。
　このことを、図６を参照しながら説明する。例えば、ソート部１２３２は、コントローラ１０からTOP　Nの計算に用いるメトリックと閾値の設定を受け付けると、フロー統計情報をメトリックによりソートし、ローレンツ曲線（縦軸：トラヒック累積相対度数、横軸：フロー累積相対度数）を計算する（（１））。
　次に、ソート部１２３２は、（１）で計算したローレンツ曲線と、コントローラ１０から設定された閾値とを基にフロー度数を計算する（（２））。つまり、ソート部１２３２は、図６に示すローレンツ曲線上で上記の閾値に対応するフロー度数を計算する。そして、ソート部１２３２は、全体のフロー数×フロー度数をNとする（（３））。
　このようにすることで、エンコーダ１２は、フロー全体のトラヒック量に応じて、Nの値を決定することができる。
［システム構成等］
　また、図示した各部の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。例えば、エンコーダ１２を、フローエクスポータ１１の一部に実装し、デコーダ１３をフローコレクタ１４の一部に実装してもよい。
　また、前記した実施形態において説明した処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
　前記したエンコーダ１２およびデコーダ１３は、パッケージソフトウェアやオンラインソフトウェアとしてプログラム（フロー情報収集プログラム）を所望のコンピュータにインストールさせることによって実装できる。例えば、上記のプログラムを情報処理装置に実行させることにより、情報処理装置をエンコーダ１２およびデコーダ１３として機能させることができる。ここで言う情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等の端末等がその範疇に含まれる。
　図７は、フロー情報収集プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ（Random　Access　Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記のエンコーダ１２およびデコーダ１３が実行する各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、エンコーダ１２およびデコーダ１３における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施形態の処理で用いられるデータは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続される他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
１０　コントローラ
１１　フローエクスポータ
１２　エンコーダ（情報送信装置）
１３　デコーダ（情報受信装置）
１４　フローコレクタ
１２０　情報取得部
１２１，１３１　ロードバランサ
１２２，１３２　スレッド
１２３　TOP　Nフィルタ部（フィルタ部）
１２４　フィッティング部
１２５　圧縮部
１２６　情報送信部
１３０　情報受信部
１３３　解凍部
１３４　復元部
１３５　情報出力部

Claims (7)

  1. 　フローごとの帯域情報を取得する情報取得部と、
    　取得したフローごとの帯域情報を、前記帯域情報に示される帯域の値の大きい順に並べ、前記帯域の値が上位N位までのフローの帯域情報を抽出するフィルタ部と、
    　前記上位N位までのフローの帯域の値を大きい順に並べた帯域の値の分布にフィットする関数およびパラメータを求めるフィッティング部と、
    　前記上位N位までのフローの帯域の値の分布にフィットする関数およびパラメータを、前記上位N位までのフローの帯域情報としてネットワーク経由で送信する情報送信部と
    　を備える情報送信装置を有することを特徴とするフロー情報収集システム。
  2. 　前記情報送信装置から送信された、前記上位N位までのフローの帯域の値の分布にフィットする関数およびパラメータに基づき、前記上位N位までのフローそれぞれの帯域情報を復元する情報受信装置
    　をさらに有することを特徴とする請求項１に記載のフロー情報収集システム。
  3. 　前記フィルタ部は、
    　各フローの帯域の合計値に対する、前記帯域情報の抽出対象のフローの帯域の合計値の割合が所定の閾値以上となるには、帯域の値が上位何位までのフローの帯域情報を抽出すればよいかを決定し、前記決定した順位までのフローの帯域情報を抽出する
    　ことを特徴とする請求項１に記載のフロー情報収集システム。
  4. 　前記情報送信装置の送信処理部は、
    　前記上位N位までのフローの帯域の値の分布にフィットする関数およびパラメータを圧縮した圧縮データを送信し、
    　前記情報受信装置は、
    　前記情報送信装置から送信された、前記圧縮データを解凍し、前記上位N位までのフローそれぞれの帯域情報を復元する
    　ことを特徴とする請求項２に記載のフロー情報収集システム。
  5. 　前記帯域の値の分布にフィットする関数は、
    　zipf関数である
    　ことを特徴とする請求項１に記載のフロー情報収集システム。
  6. 　フロー情報を収集するフロー情報収集システムにより実行されるフロー情報収集方法であって、
    　フローごとの帯域情報を取得する工程と、
    　取得したフローごとの帯域情報を、前記帯域情報に示される帯域の値の大きい順に並べ、前記帯域の値が上位N位までのフローの帯域情報を抽出する工程と、
    　前記上位N位までのフローの帯域の値を大きい順に並べた帯域の値の分布にフィットする関数およびパラメータを求める工程と、
    　前記上位N位までのフローの帯域の値の分布にフィットする関数およびパラメータを、前記上位N位までのフローの帯域情報としてネットワーク経由で送信する工程と
    　を含むことを特徴とするフロー情報収集方法。
  7. 　フローごとの帯域情報を取得する工程と、
    　取得したフローごとの帯域情報を、前記帯域情報に示される帯域の値の大きい順に並べ、前記帯域の値が上位N位までのフローの帯域情報を抽出する工程と、
    　前記上位N位までのフローの帯域の値を大きい順に並べた帯域の値の分布にフィットする関数およびパラメータを求める工程と、
    　前記上位N位までのフローの帯域の値の分布にフィットする関数およびパラメータを、前記上位N位までのフローの帯域情報としてネットワーク経由で送信する工程と
    　をコンピュータに実行させるためのフロー情報収集プログラム。
PCT/JP2021/045004 2021-12-07 2021-12-07 フロー情報収集システム、フロー情報収集方法、および、フロー情報収集プログラム WO2023105647A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045004 WO2023105647A1 (ja) 2021-12-07 2021-12-07 フロー情報収集システム、フロー情報収集方法、および、フロー情報収集プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045004 WO2023105647A1 (ja) 2021-12-07 2021-12-07 フロー情報収集システム、フロー情報収集方法、および、フロー情報収集プログラム

Publications (1)

Publication Number Publication Date
WO2023105647A1 true WO2023105647A1 (ja) 2023-06-15

Family

ID=86729839

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045004 WO2023105647A1 (ja) 2021-12-07 2021-12-07 フロー情報収集システム、フロー情報収集方法、および、フロー情報収集プログラム

Country Status (1)

Country Link
WO (1) WO2023105647A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008154204A (ja) * 2006-11-21 2008-07-03 Nippon Telegr & Teleph Corp <Ntt> フロー情報制限装置および方法
US20100054151A1 (en) * 2008-08-26 2010-03-04 International Business Machines Corporation System and method for network flow traffic rate encoding
JP2020028087A (ja) * 2018-08-16 2020-02-20 日本電信電話株式会社 通信制御装置、および、通信制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008154204A (ja) * 2006-11-21 2008-07-03 Nippon Telegr & Teleph Corp <Ntt> フロー情報制限装置および方法
US20100054151A1 (en) * 2008-08-26 2010-03-04 International Business Machines Corporation System and method for network flow traffic rate encoding
JP2020028087A (ja) * 2018-08-16 2020-02-20 日本電信電話株式会社 通信制御装置、および、通信制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YULIANG LI ∗ RUI MIAO ∗ CHANGHOON KIM † MINLAN YU ∗∗UNIVERSITY OF SOUTHERN CALIFORNIA †BAREFOO: "FlowRadar: A Better NetFlow for Data Centers", USENIX, USENIX, THE ADVANCED COMPUTING SYSTEMS ASSOCIATION, 16 March 2016 (2016-03-16), Usenix, the Advanced Computing Systems Association , pages 318 - 331, XP061024933 *

Similar Documents

Publication Publication Date Title
US20080025298A1 (en) Techniques for balancing throughput and compression in a network communication system
US8073973B2 (en) Method of processing data packets
CN107295036B (zh) 一种数据发送方法及数据合并设备
CN105991625B (zh) 一种进行数据传输的方法和设备
CN100433841C (zh) 用于因特网协议第6版移动子协议MIPv6的鲁棒性头标压缩／解压方法
CN103379140A (zh) 一种日志处理规则同步方法及相关设备和系统
CN112335202B (zh) 处理局域网诊断数据
CN105577836A (zh) 一种可穿戴设备的数据处理方法及可穿戴设备
EP1266455A1 (en) Method and apparatus for optimized lossless compression using a plurality of coders
WO2023105647A1 (ja) フロー情報収集システム、フロー情報収集方法、および、フロー情報収集プログラム
KR101471482B1 (ko) 압축해제 방법 및 장치
CN112335203A (zh) 处理局域网诊断数据
CN111447229B (zh) 一种基于压缩感知理论的大规模数据采集方法及装置
CN104038307A (zh) 数据流传输系统及方法
CN108574684B (zh) 一种解压缩的方法和装置
CN112732810A (zh) 数据发送系统及方法、装置、存储介质、电子装置
CN112017049B (zh) 一种证券行情转发系统和方法
CN114244911A (zh) 语音解析方法、装置、接收端设备及存储介质
CN112422525A (zh) 一种故障数据传输方法、装置、设备及存储介质
CN106776794B (zh) 一种海量数据处理方法及系统
GB2587427A (en) Processing local area network diagnostic data
KR101331095B1 (ko) 개방형 모바일 기기관리 기반의 ｘｍｌ 메시지 압축 전송방법 및 그 시스템
CN100442708C (zh) 一种主备备份的方法及系统
WO2017170088A1 (ja) 管理ノード、管理システム、管理方法およびコンピュータ読み取り可能記録媒体
US11979477B2 (en) Processing local area network diagnostic data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21967149

Country of ref document: EP

Kind code of ref document: A1