WO2020175130A1 - 品質計測装置、品質計測方法および品質計測プログラム - Google Patents

品質計測装置、品質計測方法および品質計測プログラム Download PDF

Info

Publication number
WO2020175130A1
WO2020175130A1 PCT/JP2020/005218 JP2020005218W WO2020175130A1 WO 2020175130 A1 WO2020175130 A1 WO 2020175130A1 JP 2020005218 W JP2020005218 W JP 2020005218W WO 2020175130 A1 WO2020175130 A1 WO 2020175130A1
Authority
WO
WIPO (PCT)
Prior art keywords
load
network
measurement
quality
target network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/005218
Other languages
English (en)
French (fr)
Inventor
直幸 丹治
高田　篤
恭子 山越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/433,371 priority Critical patent/US11743164B2/en
Publication of WO2020175130A1 publication Critical patent/WO2020175130A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/062—Generation of reports related to network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/14—Arrangements for monitoring or testing data switching networks using software, i.e. software packages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements

Definitions

  • Quality measuring device Quality measuring device, quality measuring method and quality measuring program
  • the present invention relates to a quality measuring device, a quality measuring method and a quality measuring program for measuring the quality of a measurement target network.
  • a network shares resources among a plurality of users, so the quality of the measured network is affected by the load depending on the usage status of each user, such as the presence or absence of mass communication.
  • quality design will be performed in consideration of the impact of load.
  • quality-specific changes such as whether or not there is a change in quality due to network load.
  • quality characteristics may change due to changes in mainstream services such as addition or renewal of devices in network services, trend changes in users' terminals, transition of text data display to delivery of high-quality video, etc. is there.
  • Prior art documents may change due to changes in mainstream services such as addition or renewal of devices in network services, trend changes in users' terminals, transition of text data display to delivery of high-quality video, etc. is there.
  • Non-Patent Document 1 Network Working Group, "A Two-Way Active Measurement Protocol (TWAMP),, [online] N 2008, 10th, [February 20, 1991, search], Internet URL: https://tooLs ⁇ ietf ⁇ org/htmL/rfc5357 ⁇
  • Non-patent document 2 Network Working Group, “Benchmarking Methodology for Ne twork Interconnect Devices”, [online] N 1 March 999, [Heisei 3 1 year February 20 search], Internet á URL: https://too ls. i etf .org/htm l/ rf c2544>
  • the load applied to each user may be larger than expected due to sudden or extraordinary day due to a large-scale update of software.
  • the observed value of quality per user may be lower than the design value, and user satisfaction may decrease. Since such quality deterioration occurs suddenly, it may be difficult to monitor quality identification.
  • an object of the present invention is to provide a quality measuring device, a quality measuring method, and a quality measuring program for reproducing and measuring a sudden network load.
  • the first feature of the present invention relates to a quality measuring device for measuring the quality of a network to be measured.
  • the quality measuring apparatus includes a load analysis unit that analyzes the load of the measurement target network, a reference load acquisition unit that acquires reference load data that is the load of the reference network, and a reference network.
  • a test condition determination unit that determines the load to be added to the measurement point corresponding to the reference point of the measurement target network based on the load at the reference point in the network, and test traffic that gives the traffic corresponding to the determined load to the measurement point. It has a birth part.
  • the test condition determination unit may determine the load to be added to the measurement point by referring to the change parameter calculated based on the difference between the size of the measurement target network and the reference network.
  • a second feature of the present invention relates to a quality measuring method for measuring the quality of a measurement target network.
  • the quality measuring method according to the second aspect of the present invention includes a step in which a computer analyzes a load on a network to be measured, and a computer includes: ⁇ 2020/175 130 3 units (: 170? 2020 /005218
  • the load to be added to the measurement point may be determined by referring to the change parameter calculated based on the difference in the scale of the measurement target network and the reference network.
  • a quality measurement program for causing a computer to function as the quality measurement device according to any one of claims 1 and 2.
  • a third feature of the present invention relates to a quality measuring program for causing a computer to function as the quality measuring device according to the first feature of the present invention.
  • the present invention it is possible to provide a quality measuring device, a quality measuring method, and a quality measuring program that reproduce and measure a sudden network load.
  • FIG. 1 is a diagram illustrating a system configuration of a quality measuring system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a hardware configuration and a functional block of the quality measuring device according to the embodiment of the present invention.
  • FIG. 3 A diagram illustrating a data structure of traffic acquisition condition data and an example of the data.
  • FIG. 4 A diagram illustrating a data structure of load analysis condition data and an example of the data.
  • FIG. 5 A diagram illustrating a data structure of test condition data and an example of the data.
  • FIG. 6 is a flow _ Chiya _ Bok that describes the test condition determination process according to the test condition determining section according to the embodiment of the present invention.
  • FIG. 7 An example of test conditions determined by the test condition determination unit according to the embodiment of the present invention ⁇ 02020/175 130 4 (: 17 2020/005218
  • the quality measurement system 5 includes a quality measurement device 1, a measurement target network 2, and a reference network 3.
  • the measurement target network 2 is a network whose quality is to be measured by the quality measuring device 1.
  • the reference network 3 is a network to be referred to when calculating the load applied to the measurement target network 2.
  • the quality measuring device 1 is connected to the measurement target network 2 and measures the quality of the measurement target network 2.
  • the quality measuring device 1 is only required to be able to acquire the load data of the reference network 3 even if it is not connected to the reference network 3.
  • the load acquired from the reference network 3 is the load of the network when a suddenly large amount of traffic occurs.
  • the quality measurement device 1 measures the quality of the measurement target network 2 by adding the test traffic that causes a sudden network load to the measurement target network 2 in addition to the normal traffic.
  • the measurement target network 2 can be designed so that appropriate quality can be ensured even when the measurement target network 2 is suddenly subjected to a heavy load.
  • the reference network 3 may be the same as the measurement target network 2.
  • the quality measurement device 1 The test traffic may be generated based on the sudden traffic load generated in the target network 2.
  • the quality measuring device 1 includes a storage device 10, a processing device 20 and a communication control device 30.
  • the quality measuring device 1 may be a single computer including a storage device 10, a processing device 20 and a communication control device 30 or a virtual computer formed by a plurality of hardware. Is also good. By executing a quality measurement program by such a computer, the functions and quality measurement method shown in Fig. 2 are realized.
  • the storage device 10 is a ROM (Read On Memory), a RAM (Random access memory), a hard disk, etc., and is used as input data, output data, and intermediate data for the processing device 20 to execute processing. Stores various data such as.
  • the processing unit 20 is a CPU (Central Processing Unit), which reads and writes data stored in the storage unit 10 and inputs and outputs data to and from the communication control unit 30. , Perform the process in the quality measurement device 1.
  • the communication control device 30 is an interface for the quality measuring device 1 to communicably connect to the measurement target network 2 and the reference network 3.
  • the storage device 10 stores the quality measurement program, and also acquires traffic acquisition condition data 11 1, load analysis condition data 1 2, load data 1 3, reference load data 1 4, change parameter data 15 and test conditions. Store data 1 6
  • the traffic acquisition condition data 11 is data of conditions for acquiring traffic as the load analysis unit 21 analyzes the load of the measurement target network 2.
  • the traffic acquisition condition data 11 is, for example, as shown in Fig. 3, data in which the acquisition method, the acquisition interval, and the information input to the load analysis unit 21 are associated with each other.
  • the load analysis unit 21 acquires traffic from the measurement target network 2 according to any of the acquisition conditions defined in the traffic acquisition condition data 11. ⁇ 2020/175 130 6 ⁇ (: 170? 2020 /005218
  • the load analysis condition data 12 is data that the load analysis unit 21 refers to when analyzing the acquired traffic.
  • the load analysis condition data 12 is, for example, as shown in Fig. 4, a data in which the granularity of aggregation as the measurement point and the items to be aggregated are associated with each other.
  • the load analysis unit 21 analyzes the acquired traffic according to one of the analysis conditions defined by the load analysis condition data 12.
  • the analysis condition is determined depending on the acquisition condition (acquisition method)
  • the load analysis condition data 12 may be associated with the analysis condition. For example, if the acquisition method is 3 Mimi, the granularity of aggregation will be for each interface of the network device.
  • the load data 13 is data of the analysis result of the measurement target network 2 by the load analysis unit 21.
  • the load data 13 is data in which the items to be totaled are associated with each other according to the granularity of totaling defined in the load analysis condition data.
  • the reference load data 14 is data of the analysis result of the reference network 3.
  • Reference load data 14 has similar items for similar nodes so that it can be compared with load data 13.
  • the change parameter data 15 is a parameter calculated based on the difference in scale between the measurement target network 2 and the reference network 3.
  • the change parameter may be calculated in advance, or may be input by an operator or the like. In some cases, there is a difference in the number of users of the measurement target network 2 and the reference network 3, etc., and it is not possible to simply compare them.
  • the change parameter is used to convert the load at the reference point of the reference network 3 into the load at the measurement point of the measurement target network 2.
  • the change parameter is, for example, the ratio of the number of users in the measurement target network 2 to the number of users in the reference network 3.
  • the test condition data 16 is data indicating a test traffic generation condition by the test traffic generation unit 24.
  • the test condition data 16 is, for example, as shown in Fig. 5, data that associates packet types, destinations, and transmission conditions. is there.
  • the transmission condition includes the transmission start time, the transmission time, the number of transmissions, or the traffic volume.
  • the test condition data 16 is calculated by the test condition determining unit 23.
  • the processing device 20 includes a load analysis unit 21, a reference load acquisition unit 22, and a test condition determination unit.
  • test traffic generator 24 The test traffic generator 23 and a test traffic generator 24.
  • the load analysis unit 21 analyzes the load of the measurement target network 2 with reference to the traffic acquisition condition data 11 and the load analysis condition data 12.
  • the load analysis unit 21 first measures the network 2 to be measured according to one of the acquisition conditions set in the traffic acquisition condition data 1 1 and the analysis condition corresponding to the acquisition condition of the load analysis condition data 1 2.
  • the load at the measurement point of is acquired.
  • the measurement point is, for example, an oral balancer that distributes the traffic to the servers that perform the processing in the measurement target network 2.
  • the load analyzer 21 acquires the amount of transmitted/received traffic and the number of bucket counts every 5 minutes and each interface by S NMP/MIB (Simple Network Management Protocol/Management Information Base) in the mouth balancer ..
  • the load analysis unit 21 totals each amount of b p s /p p s (Bit Per Second/Packets Per S econd) for each interface as the analysis condition corresponding to S NMP/M I B.
  • the load analysis unit 21 outputs the load data 13 in which each amount of b p s /p p s is associated with each interface.
  • the reference load acquisition unit 22 uses the reference load data that is the load of the reference network 3.
  • the reference load acquisition unit 22 acquires a load at a reference point in the reference network 3 according to the acquisition condition and the analysis condition referred to by the load analysis unit 21.
  • the reference points in the reference network 3 correspond to the measurement points in the measurement target network 2.
  • the measurement point in the measurement target network 2 is the mouth balancer
  • the reference point in the reference network 3 is also the mouth-balancer.
  • the measurement balancer at the measurement point of the measurement target network 2 distributes the traffic to the servers responsible for processing in the measurement target network 2, and the communication balancer at the reference point of the reference network 3 is the reference network 3 ⁇ 2020/175 130 8 ⁇ (: 170? 2020 /005218
  • Traffic is distributed to the server responsible for processing in.
  • the test condition determination unit 23 determines the load to be added to the measurement point corresponding to the reference point of the measurement target network 2 based on the load at the reference point of the reference network 3.
  • the test condition determination unit 23 calculates the load to be added to the measurement point by subtracting the load already applied to the measurement point from the load at the reference point of the reference network 3 and calculates the load to be added to the measurement point.
  • the test condition determination unit 23 sets the type of packet to be generated, the destination (measurement point) and the transmission condition in association with each other, and sets them in the test condition data 16.
  • the test condition determination unit 23 refers to the load at the reference point of the reference network 3 and calculates the difference from the load at the measurement point of the measurement target network 2.
  • the traffic corresponding to the calculated load can be additionally generated in the measurement target network 2 by the test traffic generation unit 24.
  • the test condition determination unit 23 determines the load to be added to the measurement point by referring to the change parameter calculated based on the difference in the scale between the measurement target network 2 and the reference network 3. Is also good. This makes it possible to determine appropriate test conditions that take into account the rules of the measurement target network 2.
  • the test condition determination unit 23 calculates the load at the measurement point of the network 2 to be measured by multiplying the load at the reference point of the reference network 3 by the change parameter.
  • the test condition determination unit 23 calculates the load to be added to the measurement point by subtracting the load already applied to the measurement point from the calculated load.
  • test condition determination process will be described.
  • test condition determination unit 23 refers to the reference load data 14 and acquires the load at the reference point in the reference network 3.
  • step 32 the test condition determination unit 23 calculates the load applied to the measurement point of the measurement target network 2 from the load of the reference point of the reference network 3 and the change parameter of the change parameter data 15. The test condition determination unit 23 multiplies the load at the reference point of the reference network 3 and the change parameter to calculate the load applied to the measurement point of the measurement target network 2.
  • step 33 the test condition determination unit 23 subtracts the load already applied to the measurement point from the load applied to the measurement point calculated in step 32 to calculate the load to be added to the measurement point. .. In step 34, the test condition determination unit 23 determines the test condition for giving the additional load calculated in step 33, and generates the test condition data 16.
  • FIG. Fig. 7 (3) shows the measurement points on the measurement target network 2, which are the mouth balancer !_ 1 and the servers under it 11 and 12.
  • Figure 7 ( ⁇ ) shows the mouth balancer !_ 2 which is the reference point in the reference network 3, and the servers 2 1 to 26 under it.
  • the mouth balancer!_ 1 which is the measurement point is 2
  • the server may be the measurement point/reference point.
  • 2 servers are operating in the measurement target network 2
  • 6 servers are operating in the irradiating network 3 and the processing amount depends on the number of servers. There is a difference in the harm done to each other. Therefore, if the servers are multiplexed, the load given to all servers in the measurement target network 2 is calculated, and then the load given to each server is calculated.
  • the test traffic generation unit 24 gives the traffic corresponding to the determined load to the measurement point. According to the test condition data 16, the test traffic generation unit 24 transmits the packet specified by the bucket type to the destination (measurement point) according to the transmission condition. As a result, in addition to the normal load, a sudden load acquired from the reference network 3 can be applied to the measurement point, so that the load analysis unit 21 can measure the measurement target network under a sudden load. Network 2 can be monitored.
  • the network 2 to be measured is referred to the load in the reference network 3 to give a sudden network load.
  • the quality measurement system 5 can reproduce the network load that suddenly occurs and measure the measurement target network 2.
  • the quality measurement system 5 can design the measurement target network 2 in consideration of the suddenly occurring network.
  • the quality measuring apparatus described in the embodiments of the present invention may be configured on one piece of hardware as shown in Fig. 2, or a plurality of pieces of hardware may be provided according to its function and the number of processes. It may be configured on top. It may also be realized on an existing communication system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

突発的に生じるネットワーク負荷を再現して測定する。品質計測装置１は、計測対象ネットワーク２の負荷を分析する負荷分析部２１と、参照ネットワーク３の負荷である参照負荷データ１４を取得する参照負荷取得部２２と、参照ネットワーク３における参照点における負荷に基づいて、計測対象ネットワーク２の参照点に対応する計測点に追加する負荷を決定する試験条件決定部２３と、決定した負荷に対応するトラフィックを計測点に与える試験トラフィック発生部２４を備える。

Description

明 細 書
発明の名称 ：
品質計測装置、 品質計測方法および品質計測プログラム
技術分野
[0001] 本発明は、 計測対象ネッ トワークの品質を計測する品質計測装置、 品質計 測方法および品質計測プログラムに関する。
背景技術
[0002] 高品質なネッ トワークサービスを提供し続けるため、 ネッ トワーク品質の 定期的な計測および監視が有効である。 既存のネッ トワーク品質計測方法と して、 TWAMPや RFC2544などの規格が知られている (非特許文献 1および非特 許文献 2参照) 。 これらの規格に基づいて、 計測のための通信を行い、 ネッ 品質を計測する手法が普及している。
[0003] 一般にネッ トワークは複数のユーザ間でリソースを共有するため、 計測さ れるネッ トワークの品質は、 大量通信の有無などの、 各ユーザの利用状況に 伴う負荷の影響を受ける。 ネッ トワークサービスを設計する際、 負荷の影響 も踏まえた品質設計を行う。 さらにネッ トワークサービスを運用する間、 ネ ッ トワーク負荷に伴う品質の変化の有無などの、 品質特定の変化を監視する 。 例えば、 ネッ トワークサービスにおける機器の追加や更改、 ユーザの利用 端末の傾向変化、 テキストデータの表示から高品質動画の配信の遷移などの 主流となるサービスの変化などにより、 品質特性が変化する場合がある。 先行技術文献
非特許文献
[0004] 非特許文献 1 : Network Working Group、 ” A Two-Way Active Measurement Pr otocol (TWAMP)，，、 [online] N 2008年 1 0日、 [平成 3 1年 2月 2〇日 検索] 、 インターネッ ト áURL : https://tooLs· ietf· org/htmL/rfc5357 ñ 非特許文献 2 : Network Working Group、 ” Benchmarking Methodology for Ne twork Interconnect Devices”、 [online] N 1 999年 3月、 [平成 3 1年 2月 2 0日検索］ 、 インターネッ ト áURL : https ://too ls. i etf . org/htm l/ rf c2544>
発明の概要
発明が解決しようとする課題
［0005］ しかしながら、 日常のネッ トワーク運用において、 ソフトウェアの大規模 アップデートなど、 突発的にまたは非日常的に、 ユーザあたりにかかる負荷 が想定よりも大きくなる場合がある。 このような場合、 ユーザあたりの品質 の観測値は設計値を下回り、 ユーザの満足度が低下する場合がある。 このよ うな品質の低下は、 突発的に生じるので、 品質特定の監視が難しい場合があ る。
［0006］ 従って本発明の目的は、 突発的に生じるネッ トワーク負荷を再現して測定 する品質計測装置、 品質計測方法および品質計測プログラムを提供すること である。
課題を解決するための手段
［0007］ 上記課題を解決するために、 本発明の第 1の特徴は、 計測対象ネッ トワー クの品質を計測する品質計測装置に関する。 本発明の第 1の特徴に係る品質 計測装置は、 計測対象ネッ トワークの負荷を分析する負荷分析部と、 参照ネ ッ トワークの負荷である参照負荷データを取得する参照負荷取得部と、 参照 ネッ トワークにおける参照点における負荷に基づいて、 計測対象ネッ トワー クの参照点に対応する計測点に追加する負荷を決定する試験条件決定部と、 決定した負荷に対応するトラフィックを計測点に与える試験トラフィック発 生部を備える。
［0008］ ここで試験条件決定部は、 計測対象ネッ トワークと参照ネッ トワークの規 模の差に基づいて算出された変化パラメータを参照して、 計測点に追加する 負荷を決定しても良い。
［0009］ 本発明の第 2の特徴は、 計測対象ネッ トワークの品質を計測する品質計測 方法に関する。 本発明の第 2の特徴に係る品質計測方法は、 コンピュータが 、 計測対象ネッ トワークの負荷を分析するステップと、 コンピュータが、 参 〇 2020/175130 3 卩（：170? 2020 /005218
照ネッ トワークの負荷である参照負荷データを取得するステップと、 コンビ ュータが、 参照ネッ トワークにおける参照点における負荷に基づいて、 計測 対象ネッ トワークの参照点に対応する計測点に追加する負荷を決定するステ ップと、 コンピュータが、 決定した負荷に対応するトラフィックを計測点に 与えるステップを備える。
［0010］ ここで決定するステップは、 計測対象ネッ トワークと参照ネッ トワークの 規模の差に基づいて算出された変化パラメータを参照して、 計測点に追加す る負荷を決定しても良い。
［001 1］ コンピュータを、 請求項 1ないし請求項 2のいずれか 1項に記載の品質計 測装置として機能させるための品質計測プログラム。
［0012］ 本発明の第 3の特徴は、 コンビュータを、 本発明の第 1の特徴に記載の品 質計測装置として機能させるための品質計測プログラムに関する。
発明の効果
［0013］ 本発明によれば、 突発的に生じるネッ トワーク負荷を再現して測定する品 質計測装置、 品質計測方法および品質計測プログラムを提供することができ る。
図面の簡単な説明
［0014］ ［図 1］本発明の実施の形態に係る品質計測システムのシステム構成を説明する 図である。
［図 2］本発明の実施の形態に係る品質計測装置のハードウエア構成と機能ブロ ックを説明する図である。
［図 3］トラフィック取得条件データのデータ構造とデータの一例を説明する図 である。
［図 4］負荷分析条件データのデータ構造とデータの一例を説明する図である。 ［図 5］試験条件データのデータ構造とデータの一例を説明する図である。
［図 6］本発明の実施の形態に係る試験条件決定部による試験条件決定処理を説 明するフロ _チヤ _卜である。
［図 7］本発明の実施の形態に係る試験条件決定部が決定する試験条件の一例を \¥02020/175130 4 卩（：17 2020/005218
説明する図である。
発明を実施するための形態
[0015] 次に、 図面を参照して、 本発明の実施の形態を説明する。 以下の図面の記 載において、 同一または類似の部分には同一または類似の符号を付している
[0016] （品質計測システム）
図 1 を参照して、 本発明の実施の形態に係る品質計測装置 1が用いられる 品質計測システム 5を説明する。
[0017] 品質計測システム 5は、 品質計測装置 1、 計測対象ネッ トワーク 2および 参照ネッ トワーク 3を備える。 計測対象ネッ トワーク 2は、 品質計測装置 1 が品質を計測する対象となるネッ トワークである。 参照ネッ トワーク 3は、 計測対象ネッ トワーク 2に与える負荷を算出する際に参照するネッ トワーク である。
[0018] 品質計測装置 1は、 計測対象ネッ トワーク 2に接続して、 計測対象ネッ ト ワーク 2の品質を計測する。 本発明の実施の形態において品質計測装置 1は 、 参照ネッ トワーク 3に接続する場合を説明する。 品質計測装置 1は、 参照 ネッ トワーク 3に接続しない場合でも、 参照ネッ トワーク 3の負荷のデータ を取得できれば良い。 参照ネッ トワーク 3から取得する負荷は、 突発的に膨 大なトラフィックが発生した際のネッ トワークの負荷である。
[0019] 品質計測装置 1は、 通常のトラフィックに加え、 計測対象ネッ トワーク 2 に、 突発的なネッ トワーク負荷を摸した試験トラフィックを追加して、 計測 対象ネッ トワーク 2の品質を計測する。 これにより、 計測対象ネッ トワーク 2に突発的に高い負荷がかかった場合でも、 適切な品質を担保できるように 、 計測対象ネッ トワーク 2を設計することができる。
[0020] 本発明の実施の形態において参照ネッ トワーク 3は、 計測対象ネッ トワー ク 2と異なる場合を説明するが、 参照ネッ トワーク 3は計測対象ネッ トワー ク 2と同じであっても良い。 例えば、 計測対象ネッ トワーク 2において生じ た突発的なトラフィックの情報を取得できた場合、 品質計測装置 1は、 計測 対象ネッ トワーク 2で生じた突発的なトラフィックの負荷に基づいて試験卜 ラフィックを発生しても良い。
[0021 ] (品質計測装置)
図 2を参照して、 本発明の実施の形態に係る品質計測装置 1 を説明する。 品質計測装置 1は、 記憶装置 1 〇、 処理装置 2 0および通信制御装置 3 0を 備える。 品質計測装置 1は、 記憶装置 1 0、 処理装置 2 0および通信制御装 置 3 0を内蔵する一つのコンビユータであっても良いし、 複数のハードウエ アにより形成される仮想的なコンビユータであっても良い。 このようなコン ピユータが品質計測プログラムを実行することにより、 図 2に示す機能と品 質測定方法を実現する。
[0022] 記憶装置 1 0は、 R O M (Read On ly Memory) 、 R A M (Random access m emory) 、 ハードディスク等であって、 処理装置 2 0が処理を実行するための 入カデータ、 出カデータおよび中間データなどの各種データを記憶する。 処 理装置 2 0は、 C P U (Cent ra l Process i ng Un i t) であって、 記憶装置 1 0 に記憶されたデータを読み書きしたり、 通信制御装置 3 0とデータを入出力 したりして、 品質計測装置 1 における処理を実行する。 通信制御装置 3 0は 、 品質計測装置 1が、 計測対象ネッ トワーク 2および参照ネッ トワーク 3と 通信可能に接続するためのインタフエースである。
[0023] 記憶装置 1 0は、 品質計測プログラムを記憶するとともに、 トラフィック 取得条件データ 1 1、 負荷分析条件データ 1 2、 負荷データ 1 3、 参照負荷 データ 1 4、 変化パラメータデータ 1 5および試験条件データ 1 6を記憶す る。
[0024] トラフィック取得条件データ 1 1は、 負荷分析部 2 1が計測対象ネッ トワ —ク 2の負荷の分析に伴い、 トラフィックを取得する際の条件のデータであ る。 トラフィック取得条件データ 1 1は、 例えば図 3に示すように、 取得方 法、 取得間隔、 および負荷分析部 2 1 に入力する情報を対応づけたデータで ある。 負荷分析部 2 1は、 トラフィック取得条件データ 1 1で定義されたい ずれかの取得条件に従って、 計測対象ネッ トワーク 2からトラフィックを取 〇 2020/175130 6 卩（：170? 2020 /005218
得する。
[0025] 負荷分析条件データ 1 2は、 負荷分析部 2 1が取得したトラフィックを分 析する際に参照するデータである。 負荷分析条件データ 1 2は、 例えば図 4 に示すように、 計測点となる集計の粒度と集計する項目とを対応づけたデー 夕である。 負荷分析部 2 1は、 負荷分析条件データ 1 2で定義されたいずれ かの分析条件に従って、 取得したトラフィックを分析する。 分析条件が、 取 得条件 （取得方法） に依存して決定される場合、 負荷分析条件データ 1 2に 、 分析条件に取得方法が対応づけられても良い。 例えば、 取得方法が、 3 丨 巳である場合、 集計の粒度は、 ネッ トワーク装置のインタフエー ス毎となる。
[0026] 負荷データ 1 3は、 負荷分析部 2 1 による、 計測対象ネッ トワーク 2の分 析結果のデータである。 負荷データ 1 3は、 負荷分析条件データで定められ た集計の粒度毎に、 集計する項目が対応づけられたデータである。
[0027] 参照負荷データ 1 4は、 参照ネッ トワーク 3の分析結果のデータである。
参照負荷データ 1 4は、 負荷データ 1 3と対比できるように、 同様のノード に対する同様の項目を備える。
[0028] 変化パラメータデータ 1 5は、 計測対象ネッ トワーク 2と参照ネッ トワー ク 3の規模の差に基づいて算出されたパラメータである。 本発明の実施の形 態において変化パラメータは、 予め算出されても良いし、 オペレータ等によ り入力されても良い。 計測対象ネッ トワーク 2と参照ネッ トワーク 3の利用 ユーザ数等の規模に差異があり、 単純に比較できない場合がある。 変化パラ メータは、 参照ネッ トワーク 3の参照点における負荷を、 計測対象ネッ トワ —ク 2における計測点における負荷に変換するために用いられる。 変化パラ メータは、 例えば、 参照ネッ トワーク 3におけるユーザ数に対する計測対象 ネッ トワーク 2のユーザ数の割合である。
[0029] 試験条件データ 1 6は、 試験トラフィック発生部 2 4による試験トラフィ ックの発生条件を示すデータである。 試験条件データ 1 6は、 例えば図 5に 示すように、 パケッ トの種別、 送信先および送信条件を対応づけたデータで ある。 送信条件は、 送信開始時刻とともに、 送信する時間、 送信回数または トラフィック量を含む。 試験条件データ 1 6は、 試験条件決定部 23により 算出される。
[0030] 処理装置 20は、 負荷分析部 2 1、 参照負荷取得部 22、 試験条件決定部
23および試験トラフィック発生部 24を備える。
[0031] 負荷分析部 2 1は、 トラフィック取得条件データ 1 1 と負荷分析条件デー 夕 1 2を参照して、 計測対象ネッ トワーク 2の負荷を分析する。
[0032] 負荷分析部 2 1は、 まず、 トラフィック取得条件データ 1 1 に設定された いずれかの取得条件と、 負荷分析条件データ 1 2の取得条件に対応する分析 条件に従って、 計測対象ネッ トワーク 2の計測点における負荷を取得する。 計測点は例えば、 計測対象ネッ トワーク 2における処理を担うサーバにトラ フィックを分配する口ードバランサである。
[0033] 負荷分析部 2 1は、 例えば、 口ードバランサにおいて、 S NMP/M I B( Simple Network Management Protocol/Management Information Base)により 5分毎かつインタフェース毎に、 送受信トラフィック量とバケッ トカウント 数を取得する。 負荷分析部 2 1は、 S NMP/M I Bに対応する分析条件と して、 インタフェース毎に、 b p s / p p s (B i t Per Second/Packets Per S econd)の各量を集計する。 負荷分析部 2 1は、 インタフェース毎に、 b p s /p p sの各量を対応づけた負荷データ 1 3を出力する。
[0034] 参照負荷取得部 22は、 参照ネッ トワーク 3の負荷である参照負荷データ
1 4を取得する。 参照負荷取得部 22は、 参照ネッ トワーク 3における参照 点について、 負荷分析部 2 1が参照した取得条件と分析条件に従って、 負荷 を取得する。 参照ネッ トワーク 3における参照点は、 計測対象ネッ トワーク 2における計測点に対応する。 例えば、 計測対象ネッ トワーク 2における計 測点が、 口ードバランサの場合、 参照ネッ トワーク 3における参照点も、 口 -ドバランサである。 計測対象ネッ トワーク 2の計測点の口ードバランサは 、 計測対象ネッ トワーク 2における処理を担うサーバにトラフィックを分配 し、 参照ネッ トワーク 3の参照点の口ードバランサは、 参照ネッ トワーク 3 〇 2020/175130 8 卩（：170? 2020 /005218
における処理を担うサーバにトラフィックを分配する。
[0035] 試験条件決定部 2 3は、 参照ネッ トワーク 3における参照点における負荷 に基づいて、 計測対象ネッ トワーク 2の参照点に対応する計測点に追加する 負荷を決定する。 試験条件決定部 2 3は、 参照ネッ トワーク 3の参照点の負 荷から、 計測点に既にかかっている負荷を減算して、 計測点に追加する負荷 を算出し、 計測点に追加する負荷を、 試験条件データ 1 6に設定する。 試験 条件決定部 2 3は、 図 5に示すように、 発生させるパケッ トの種別、 送信先 （計測点） および送信条件を対応づけて、 試験条件データ 1 6に設定する。
[0036] 試験条件決定部 2 3は、 参照ネッ トワーク 3の参照点の負荷を参照して、 計測対象ネッ トワーク 2の計測点の負荷との差分を算出する。 算出された負 荷に対応するトラフィックが、 試験トラフィック発生部 2 4によって、 計測 対象ネッ トワーク 2に追加的に発生させることができる。
[0037] 例えば、 計測対象ネッ トワーク 2のユーザ数が、 参照ネッ トワーク 3のユ —ザ数よりも少ない場合、 計測点に、 参照点と同様の負荷が生じると、 計測 対象ネッ トワーク 2では発生しえない大きな負荷がかかってしまう場合があ る。 逆に、 計測対象ネッ トワーク 2のユーザ数が、 参照ネッ トワーク 3のユ —ザ数よりも多い場合、 計測点に、 参照点と同様の負荷が生じたとしても、 本来測定すべき計測対象ネッ トワーク 2で生じる突発的な負荷を再現できな い場合がある。
[0038] そこで試験条件決定部 2 3は、 計測対象ネッ トワーク 2と参照ネッ トワー ク 3の規模の差に基づいて算出された変化パラメータを参照して、 計測点に 追加する負荷を決定しても良い。 これにより、 計測対象ネッ トワーク 2の規 摸を考慮した適切な試験条件を決定することができる。 試験条件決定部 2 3 は、 参照ネッ トワーク 3の参照点の負荷に、 変化パラメータを乗算して、 計 測対象ネッ トワーク 2の計測点における負荷を算出する。 試験条件決定部 2 3は、 算出された負荷から、 計測点に既にかかっている負荷を減算して、 計 測点に追加する負荷を算出する。
[0039] 図 6を参照して、 本発明の実施の形態に係る試験条件決定部 2 3による試 〇 2020/175130 9 卩（：170? 2020 /005218
験条件決定処理を説明する。
[0040] まずステップ 31 において試験条件決定部 23は、 参照負荷データ 1 4を 参照して、 参照ネッ トワーク 3における参照点の負荷を取得する。
[0041] ステップ 32において試験条件決定部 23は、 参照ネッ トワーク 3の参照 点の負荷と変化パラメータデータ 1 5の変化パラメータとから、 計測対象ネ ッ トワーク 2の計測点に与える負荷を算出する。 試験条件決定部 23は、 参 照ネッ トワーク 3の参照点の負荷と変化パラメータを乗算して、 計測対象ネ ッ トワーク 2の計測点に与える負荷を算出する。
[0042] ステップ 33において試験条件決定部 23は、 ステップ 32で算出した計 測点に与える負荷から、 現在既に計測点に与えられている負荷を減算して、 計測点に追加する負荷を算出する。 ステップ 34において試験条件決定部 2 3は、 ステップ 33で算出した追加する負荷を与えるための試験条件を決定 し、 試験条件データ 1 6を生成する。
[0043] 図 7を参照して、 試験条件決定部 23が決定する追加する負荷の例を説明 する。 図 7 (3) は、 計測対象ネッ トワーク 2における計測点である口ード バランサ !_ 1 と、 その配下のサーバ巳 1 1および巳 1 2を示す。 図 7 (匕) は、 参照ネッ トワーク 3における参照点である口ードバランサ !_ 2と、 その 配下のサーバ巳 2 1ないし巳 26を示す。
[0044] 計測対象ネッ トワーク 2において計測点である口ードバランサ!_ 1は、 2
O OMb ^ 3のデータ〇 1 を処理する。 これに対し参照ネッ トワーク 3にお いて計測点である口ードバランサ 1- 2は、 1 200 IV!匕 3のデータ 02を 処理する。
[0045] ここで変化パラメータが 1. 0の場合、 計測対象ネッ トワーク 2の口ード バランサ 1_ 1 に、 1 0001\/1匕 3 (1 2001\/16 3 -2001\/16 3) の負荷が追加される。 また変化パラメータが〇. 5の場合、 計測対象ネッ ト ワーク 2の口ードバランサ!_ 1 に、 4001\/16 3 (1 2001\/16 3 *0 . 5— 200!\/1匕 3) の負荷が追加することになる。
[0046] 上記の例では、 口ードバランサが計測点/参照点である場合を説明したが 〇 2020/175130 10 卩（：170? 2020 /005218
、 サーバが計測点/参照点であっても良い。 図 7に示す例の場合、 計測対象 ネッ トワーク 2において 2台のサーバが稼働するのに対し、 參照ネッ トワー ク 3において 6台のサーバが稼働しており、 サーバ数に依存して、 処理量の 害恰に差異が生じる。 そこでサーバが多重化されている場合、 計測対象ネッ トワーク 2のサーバ全体に与える負荷を算出した後に、 各サーバに与える負 荷を算出する。
[0047] ここで変化パラメータが 1. 0の場合、 計測対象ネッ トワーク 2のサーバ
2台に、 合計 1 0001\/16 3 (1 2001\/16 3 -2001\/16 3) の負 荷を追加するので、 計測点であるサーバ巳 1 1 に 500 IV!匕 3の負荷を追 加する。 また変化パラメータが〇. 5の場合、 計測対象ネッ トワーク 2のサ -バ 2台に、 合計 4001\/16 3 (1 2001\/16 3 *0· 5-2001\/16 3) の負荷を追加するので、 計測点であるサーバ巳 1 1 に 2001\/16 3 の負荷を追加する。
[0048] 試験トラフィック発生部 24は、 決定した負荷に対応するトラフィックを 計測点に与える。 試験トラフィック発生部 24は、 試験条件データ 1 6に従 って、 送信先 (計測点) に対して、 バケッ トの種別で特定されたパケッ トを 、 送信条件に従って送信する。 これにより計測点には、 通常の負荷の他、 参 照ネッ トワーク 3から取得した突発的な負荷を与えることができるので、 負 荷分析部 2 1 により、 突発的な負荷がかかった計測対象ネッ トワーク 2の監 視が可能になる。
[0049] このように本発明の実施の形態に係る品質計測システム 5によれば、 計測 対象ネッ トワーク 2に、 参照ネッ トワーク 3における負荷を参照して、 突発 的に生じるネッ トワーク負荷を与えることができる。 また、 品質計測システ ム 5は、 突発的に生じるネッ トワーク負荷を再現して、 計測対象ネッ トワー ク 2を測定することができる。 これにより品質計測システム 5は、 突発的に 生じるネッ トワークを考慮して計測対象ネッ トワーク 2を設計することがで きる。
[0050] (その他の実施の形態) 〇 2020/175130 11 卩（：170? 2020 /005218
上記のように、 本発明の実施の形態によって記載したが、 この開示の一部 をなす論述および図面はこの発明を限定するものであると理解すべきではな い。 この開示から当業者には様々な代替実施の形態、 実施例および運用技術 が明らかとなる。
[0051] 例えば、 本発明の実施の形態に記載した品質測定装置は、 図 2に示すよう に一つのハードウエア上に構成されても良いし、 その機能や処理数に応じて 複数のハードウエア上に構成されても良い。 また、 既存の通信システム上に 実現されても良い。
[0052] 本発明はここでは記載していない様々な実施の形態等を含むことは勿論で ある。 従って、 本発明の技術的範囲は上記の説明から妥当な請求の範囲に係 る発明特定事項によってのみ定められるものである。
符号の説明
[0053] 1 品質計測装置
2 計測対象ネッ トワーク
3 参照ネッ トワーク
5 品質計測システム
1 0 記憶装置
1 1 トラフィック取得条件データ
1 2 負荷分析条件データ
1 3 負荷データ
1 4 参照負荷データ
1 5 変化パラメータデータ
1 6 試験条件データ
20 処理装置
2 1 負荷分析部
22 参照負荷取得部
23 試験条件決定部
24 試験トラフィック発生部

Claims

〇 2020/175130 12 卩（：170? 2020 /005218 請求の範囲
[請求項 1 ] 計測対象ネッ トワークの品質を計測する品質計測装置であって、 計測対象ネッ トワークの負荷を分析する負荷分析部と、
参照ネッ トワークの負荷である参照負荷データを取得する参照負荷 取得部と、
前記参照ネッ トワークにおける参照点における負荷に基づいて、 前 記計測対象ネッ トワークの前記参照点に対応する計測点に追加する負 荷を決定する試験条件決定部と、
決定した負荷に対応するトラフィックを前記計測点に与える試験卜 ラフィック発生部
を備えることを特徴とする品質計測装置。
[請求項 2] 前記試験条件決定部は、 前記計測対象ネッ トワークと前記参照ネッ トワークの規模の差に基づいて算出された変化パラメータを参照して 、 前記計測点に追加する負荷を決定する
ことを特徴とする請求項 1 に記載の品質計測装置。
[請求項 3] 計測対象ネッ トワークの品質を計測する品質計測方法であって、 コンピュータが、 計測対象ネッ トワークの負荷を分析するステップ と、
前記コンピュータが、 参照ネッ トワークの負荷である参照負荷デー 夕を取得するステップと、
前記コンピュータが、 前記参照ネッ トワークにおける参照点におけ る負荷に基づいて、 前記計測対象ネッ トワークの前記参照点に対応す る計測点に追加する負荷を決定するステップと、
前記コンピュータが、 決定した負荷に対応するトラフィックを前記 計測点に与えるステップ
を備えることを特徴とする品質計測方法。
[請求項 4] 前記決定するステップは、 前記計測対象ネッ トワークと前記参照ネ ッ トワークの規模の差に基づいて算出された変化パラメータを参照し 〇 2020/175130 13 卩（：170? 2020 /005218
て、 前記計測点に追加する負荷を決定する
ことを特徴とする請求項 3に記載の品質計測方法。
[請求項 5] コンピュータを、 請求項 1ないし請求項 2のいずれか 1項に記載の 品質計測装置として機能させるための品質計測プログラム。
PCT/JP2020/005218 2019-02-26 2020-02-12 品質計測装置、品質計測方法および品質計測プログラム Ceased WO2020175130A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/433,371 US11743164B2 (en) 2019-02-26 2020-02-12 Quality measuring device, quality measuring method, and quality measuring program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019032849A JP7161109B2 (ja) 2019-02-26 2019-02-26 品質計測装置、品質計測方法および品質計測プログラム
JP2019-032849 2019-02-26

Publications (1)

Publication Number Publication Date
WO2020175130A1 true WO2020175130A1 (ja) 2020-09-03

Family

ID=72238344

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005218 Ceased WO2020175130A1 (ja) 2019-02-26 2020-02-12 品質計測装置、品質計測方法および品質計測プログラム

Country Status (3)

Country Link
US (1) US11743164B2 (ja)
JP (1) JP7161109B2 (ja)
WO (1) WO2020175130A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130031242A1 (en) * 2011-07-29 2013-01-31 Vijayakumar Raghavendran Quantitative management assessments of data communication networks with converged architectures
US20160072730A1 (en) * 2014-09-09 2016-03-10 Microsoft Corporation Nonintrusive dynamically-scalable network load generation
US20160092207A1 (en) * 2014-09-25 2016-03-31 Bank Of America Corporation Datacenter configuration management tool

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9946619B1 (en) * 2015-12-21 2018-04-17 Amazon Technologies, Inc. Simulating service disruptions for an operational production system
US10608893B2 (en) * 2017-12-06 2020-03-31 Nokia Technologies Oy SDN control plane performance testing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130031242A1 (en) * 2011-07-29 2013-01-31 Vijayakumar Raghavendran Quantitative management assessments of data communication networks with converged architectures
US20160072730A1 (en) * 2014-09-09 2016-03-10 Microsoft Corporation Nonintrusive dynamically-scalable network load generation
US20160092207A1 (en) * 2014-09-25 2016-03-31 Bank Of America Corporation Datacenter configuration management tool

Also Published As

Publication number Publication date
US20220173989A1 (en) 2022-06-02
JP2020137101A (ja) 2020-08-31
JP7161109B2 (ja) 2022-10-26
US11743164B2 (en) 2023-08-29

Similar Documents

Publication Publication Date Title
US8769120B2 (en) Method and system to monitor parameters of a data flow path in a communication system
US10284444B2 (en) Visual representation of end user response time in a multi-tiered network application
CN108989136B (zh) 业务端到端性能监控方法及装置
US7673042B2 (en) System and method for comparing service levels to a service level objective
US20130031240A1 (en) Capacity Evaluation of Computer Network Capabilities
EP3126995B1 (en) Cloud computing benchmarking
US20120046999A1 (en) Managing and Monitoring Continuous Improvement in Information Technology Services
US20140089493A1 (en) Minimally intrusive cloud platform performance monitoring
CN102473132A (zh) 监控软件应用的性能的方法
US8700632B2 (en) Managing heterogeneous data
US8332507B2 (en) Method for determining service demands in a network load balanced scenario
CN109600280A (zh) 压力测试系统、方法、装置及计算机可读存储介质
US10419303B2 (en) Real-time ranking of monitored entities
JP5957419B2 (ja) ＱｏＥ推定装置、ＱｏＥ推定方法及びプログラム
US20080195728A1 (en) Network Subscriber Experience Modeling
WO2020175130A1 (ja) 品質計測装置、品質計測方法および品質計測プログラム
CN110515782A (zh) 服务器的测试方法、测试装置及测试系统
Xia et al. Web traffic modeling at finer time scales and performance implications
CN114500170B (zh) 一种vpn线路筛选方法、装置、设备及存储介质
JP2014137635A (ja) 応答時間監視プログラム、方法および応答時間監視装置
He et al. Prediction of TCP throughput: formula-based and history-based methods
JP3362003B2 (ja) 遅延・スループット評価方法およびネットワーク管理装置
CN119211083B (zh) 一种IPv6网络数据流监测方法
CN120186056B (zh) 基于智能体的时延确定方法、装置及计算机程序产品
US20240031252A1 (en) Methods for measuring user experience and satisfaction and identifying bottlenecks on communications networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20763273

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20763273

Country of ref document: EP

Kind code of ref document: A1